본문 바로가기
[Day82] Product Serving 1-3 Model Serving Model Serving Serving production 환경에 모델을 사용할 수 있도록 배포 서비스화 batch serving, online serving, edge serving 등이 있다 serving과 inference 용어 자체가 혼재되어 많이 사용되니 참고! Online Serving Web Server Server와 Client가 request와 response를 주고 받으며 다양한 요청을 처리 web server는 client의 다양한 요청을 처리한다 Machine learning Server machine learning server도 client 의 다양한 요청을 처리한다. 어떤 input을 주면서 예측해달라고 요청(request)하면 모델을 사용해 예측값을 response하는 서버 ..
[Day13] DL Basic 3. Optimization 최적화 - 1 1. Generalization 대부분 일반화 성능을 높히는 것이 목적이다. training error가 낮아져도 학습이 잘 됬다는 보장은 없다. test error에 대해서는 커질 수 있다. 그래서 training error와 test error 사이의 차이를 generalization gap이라고 하고, generalization 성능이 좋다는 것은 이 network의 성능이 학습 데이터의 성능과 비슷할 것이라는 의미이다. 2. Underfitting vs Overfitting Underfitting Balanced Overfitting 과적합 training을 너무 적게 해서 학습 데이터 조차도 잘 못 맞추는 현상 그 사이 좋은 network 학습 데이터에 대해서는 잘 동작하지만 test 데이터에 ..
[Day10] Pytorch 10. Troubleshooting OOM : Out Of Memory iteration을 돌면서 발생 왜,어디서 발생했는지 알기 어려워서 대처가 어려움 #1 CUDNN_STATUS_NOT_INIT #GPU를 제대로 설치하지 않았을 때 #2 device-side-assert #OOM의 일종 1. 간단한 방법 Batch size를 줄이고 CPU를 비우고(커널 재실행) 다시 실행해보기 2. GPUUtil GPU Util 로 현재 내 GPU의 상태를 확인한다 iteration 마다 메모리가 늘어나는지 확인할 수 있다 !pip install GPUtil import GPUtil GPUtil.showUtilization() 3. torch.cuda.empty_cache() GPU에서 사용하지 않는 캐시 cache 정리 del은 주소 관계만 끊기 때..

티스토리툴바