본문 바로가기
[Day86] Product Serving 2-4 Cloud Cloud Cloud 서비스를 사용하는 이유 localhost로 서비스를 할 수는 있지만 내 컴퓨터가 종료되면 서비스도 종료된다. 그래서 서버실을 만들어서 운영했었다. 갑자기 트래픽이 몰리면 갑자기 컴퓨터를 설치할 수 없기 떄문에 터졌다. cloud를 사용하면 scale in out이 쉬워진다. 또한 기본 설정이 개발자가 하지 않아도 자동으로 빠르게 설정할 수 있다. SAAS : service 어느정도 많이 쉽게 쓸 수 있다. 아예 솔루션을 사용하는 것 ex) 구글 독스를 사용하는 것 자체 PAAS : software IAAS : infra 직접 다 한다 Cloud 서비스의 다양한 제품 Computing service(server) = 가상컴퓨터= 서버 = VM(Virtual Machine) = inst..
[Boostcamp AI tech 3기] Week 18 학습 정리/회고 (5/16~5/22) 학습 정리 강의/스스로 도전 한 것/과제/결과물 모더레이터 정하자고 제안하기 product serving 강의 + special mission1 프로젝트 과정 draw.io로 구체화 셀레니움 기초 코드 익히기 streamlit baseline 코드 확인 streamlit 으로 prototype 초안 완성 이력서 쓰기 피어세션 최종 프로젝트 online serving vs batch serving 중에 어떤 것으로 할까 토론 Elastic Search 사용 여부 토론 elastic search보다 쉽고 좋은 것이 없을까 사용할 feature 정리 데이터 GCP에 저장 UI 개요 잡기 멘토링 이력서 작성법 강의 학생일 때 적는 방법 팁 summary가 중요하다 skill 수준 프린트해서최종확인 마스터 클래스..
[Day82] Product Serving 2-2 프로토타이핑 - 웹 서비스 형태(Streamlit) Streamlit voila는 레이아웃을 잡기는 어렵다. 자바스크립트, react를 사용해서 프로토타입을 만드는 것은 시간적으로 효율성이 없다. 다른 조직 프론트나 PM의 도움 없이 빠르게 웹 서비스를 만드는 것이 streamlit이다. streamlit의 대안 voila : notebook을 바로 시각화, ux나 layout 잡기가 어려움 dash : 문서를 읽고 코드를 고쳐야함 flask+fastAPI : 백엔드와 프론트를 직접 구성해야 함 streamlit의 장점 백엔드 개발이 필요 없다 파이썬을 조금만 수정하면 된다 UI를 구성할 수 있다. 배포까지 할 수 있게 되어 있다. pip install streamlit 를 CLI에 쳐서 설치한다. 나머지 것들은 GitHub - zzsza/Boostcam..
[Day82] Product Serving 2-1 프로토타이핑 - Notebook 베이스(Voila) Voila 내가 만든 코드를 다른 사람들이 구현하려면 라이브러리 설치, 버전 등 신경써야할 것이 많고, 개발을 잘 모르는 사람이라면 이 부분에서 어려울 수 있다. 모델을 개발한 후 프로토타입을 만들어서 가능성을 테스트할 수 있다. 웹서비스를 만드는 것은 시간이 많이 소요되기 때문에 노트북으로 프로그램으로 만들면 시간을 많이 아낄 수 있다. 그 역할을 voila가 한다. 사용자가 값을 바꿀 수 있는 대시보드를 구축할 수도 있다. 1차 프로토타입을 웹형태로 단시간에 띄울 수 있다. Voilà Gallery gpx-viewer GPX Viewer web app built with ipywidgets, ipyleaflet, bqplot and voila voila-gallery.org R의 shiny, 파이썬의..
[Day82] Product Serving 1-3 Model Serving Model Serving Serving production 환경에 모델을 사용할 수 있도록 배포 서비스화 batch serving, online serving, edge serving 등이 있다 serving과 inference 용어 자체가 혼재되어 많이 사용되니 참고! Online Serving Web Server Server와 Client가 request와 response를 주고 받으며 다양한 요청을 처리 web server는 client의 다양한 요청을 처리한다 Machine learning Server machine learning server도 client 의 다양한 요청을 처리한다. 어떤 input을 주면서 예측해달라고 요청(request)하면 모델을 사용해 예측값을 response하는 서버 ..
[Day80] Product Serving 1-2 MLOps 개론 MLOps 개론 모델 개발 프로세스(Research) 문제정의 EDA 데이터 특성 확인 Feature Engineering Train Predict 보통 주피터 노트북으로 GPU instance 안에서 고정된 데이터를 사용해 학습했을 것이다. 학습된 모델을 웹 등의 서비스에서 사용할 수 있도록 하는 과정을 real world환경 / production 환경에 모델을 배포한다고 한다. 모델 개발 프로세스(Production) 문제정의 EDA Feature Engineering Train Predict Deploy 웹이나 앱에서 활용할 수 있게 만드는 과정 모델에 input을 제공하고 output을 요청 모델이 배포되었다고 가정하면 모델의 결과값이 이상할 수 있다. 그럴 때는 원인을 알아보고, input값을..
[Boostcamp AI tech 3기] Week 17 학습 정리/회고 (5/9~5/15) 학습 정리 강의/스스로 도전 한 것/과제/결과물 Feature 생성, 추가, 정리 Feature selection LGCN sweep 0,1 비율 EDA overfitting되는 feature 수정 ensemble 마스터클래스 발표 준비 wrap up report 피어세션 최종 프로젝트 원하는 포지션 논의 1과 0의 비율 sequence의 맨 끝값을 볼 것인지, 전체 비율을 볼 것인지 Wrapper z-time elapsed 피어세션 시간을 잘 보내기 위해서 스크럼 때 논의 내용 미리 정하기 overfitting이 일어나는 feature: latent하지 않고 답을 확정짓는 값들을 넣는 것들인 것 같다. 멘토링 데이터 분석가가 내가 생각한 직무가 아니었다. AI engineer, MLops가 부스트캠프의..
[Boostcamp AI tech 3기] Week 16 학습 정리/회고 (5/2~5/8) 학습 정리 강의/스스로 도전 한 것/과제/결과물 NMF 구현 TabNet 시도 overfitting이 심한 feature correlation 구하기 relative answer code : featrue 만들기 및 성능 test 강의 듣기 피어세션 validation과 LB AUROC가 크게 차이나는 이유 validation AUROC가 특히 크게 나오는 feature들의 특징 answerCode를 활용한 feature이기 때문일 것이라는 생각이 들었다. test와 validation에 feature engineering을 적용하는 범위가 test의 마지막 sequence를 넣지 않아서 차이가 생길 수 있다. Feature Engineering 추가 각자 개인의 이번 대회 목표 피어세션에 침묵이 길어지..

티스토리툴바