[Day37] Context-aware Recommendation 8-3 : GBM 다양한 오픈 CTR 데이터에 대해서 GBM 모델이 FM,FFM 계열보다 높은 성능을 보이고 있다. 라이브 서비스시에는 데이터의 특징에 다양한 환경에 따라 바뀌기 쉽게 때문에 데이터의 특성에 관계없이 하이퍼파라미터에 민감하지 않은 robust한 모델을 원한다. 이 때에, FM계열 < 기존의 휴리스틱 모델 < GBM 계열 모델 순으로 성능이 좋았다. Boosting 앙상블 기법의 일종. 앙상블은 한 가지 모델만 사용시에 생기는 편향에 따른 예측 오차를 줄이기 위해서 여러 모델을 한 번 예측하는데 결합해서 사용하는 기법이다. Decision tree로 된 weak learner들을 연속적으로 학습하여 결합하는데, 여기에서 weak learner는 정확도와 복잡도가 비교적 낮은 간단한 분류기 이다. 이전 단계의.. 추천 모델에 따른 데이터 사용 정보 유저 정보 아이템 정보 유저-아이템 상호적용 정보 context-aware O O O contents-based O O X association rule analysis X X O Collaborative Filter X X O Top-N X X O UBCF/IBCF X X O MBCF(SVD, MF,ALS,BPR) X X O ANN X X O AutoRec X X O GNN X X O RNN X X O [Day37] Context-aware Recommendation 8-2 : FM & FFM Factorization Machines SVM과 MF의 장점을 결합 커널 공간을 사용한 non-linear dataset에 대해서 SVM이 ML 모델중에 가장 사용되는 모델이었다. 그럼에도 CF환경(유저와 아이템에 대한 평점예측)에서는 MF계열의 모델이 더 좋은 성능을 내왔다. 하지만 MF는 또 그런 CF환경에서만 적용이 가능했다. CF환경은 sparse해서 SVM이 좋은 성능을 내지 못했다. \hat{y}(x)=w_0+\sum_{i=1}^{n}w_ix_i+\sum_{i=1}^{n}\sum_{j=i+1}^{n}\left x_ix_j, \quad w_0\in\mathbb{R}, w_i\in\mathbb{R}, v_i\in\mathbb{R}^k 앞의 term은 logistic regression과 .. [Day37] Context-aware Recommendation 8-1 What is Context-aware Recommendation 유저와 아이템 사이의 상호작용말고 다양한 context 정보를 사용하는 모델들을 알아보자 추천 시스템에서 사용하는 정보 유저 관련 정보 유저 ID는 제외한다 ex) 성별, 연령 아이템 관련 정보 아이템 ID는 제외한다 ex) category, 출시년도 유저-아이템 상호작용 정보 ex)유저가 소비한 아이템, 유저가 아이템에 매긴 rating 한계 MF같은 모델은아이템의 특성을 추천 시스템에 반영할 수 없다. 또한, 상호작용 정보가 부족할 경우 cold start문제에 대한 대처가 어렵다. Context-aware Recommendation : CAR : 컨텍스트 기반 추천 시스템 유저와 아이템 상호적용 정보와 맥락적 정보도 같이 사용한다. 맥락(context)적 정보는 유저와 부가정보, 아이템의 부가정도,.. [Day35] RecSys with DL 7-2 RecSys with RNN RNN Families RNN : Recurrent Neural Network 시퀀스 데이터의 처리와 이해에 좋은 성능을 보이는 신경망 구조 현재 상태가 다음 상태에 영향을 미치도록 루프구조로 고안되어 있다. sequencial한 input이 들어오면 각 셀이 계산되어서 다음으로 넘어간다. LSTM : Long-Short Term Memory RNN계열의 대표적인 모델 시퀀스가 길어질 수록 학습능력이 떨어지는 RNN의 한계를 cell state라는 구조로 극복했다. forget gate 전 cell에서 전달된 기억을 얼마나 살릴 것인지 input gate 입력된 입력변수를 얼마나 사용할 것인지 output gate 얼마나 출력할 것인지 cell state는 계속 해서 다음 cell 로 넘어가기 때문에 장.. [Day35] RecSys with DL 7-1 RecSys with GNN Graph Node(꼭짓점)과 그 Node들을 잇는 Edge로 이루어진 자료구조 데이터들이 서로 연결되어 있을 때 표현하기 적합니다. G=(V,E) ex) G=(A,B,C,A,B,C,A) V Node들의 집합 → {A,B,C} E Edge들의 집합 →{{A,B},{C,A}} Graph를 사용하는 이유 객체 사이의 관계나 상호작용같은 추상적인 개념을 테이블같은 정형화된 구조보다 다루기 적합하다. ex) 소셜 네트워크, 바이러스 확산 유저-아이템 소비 관계도 유저, 아이템을 노드로 두고 유저가 아이템을 사용하면 두 노드를 엣지로 이으면 표현할 수 있다. Non-Euclidean Space의 표현 및 학습이 가능하다 우리가 흔히 다루는 이미지, 엑셀과는 다른 데이터를 사용한.. [Day33] RecSys with DL 6-2 RecSys with AE AutoEncoder : AE : 오토인코더 입력값을 output layer에서 똑같이 복원하게 하는 비지도학습 모델 보통 AE는 encoder과 decoder구조로 쌍을 이루고 있다. input data가 encoder를 통해서 compressed representation이 되고, 이 compressed representation이 다시 decoder를 통해서 기존 input data와 최대한 비슷하게 reconstructed input으로 표현된다. reconstructed input과 original input의 차이를 최대한 줄이도록 loss function을 설계한다 (ex. image data->RMSE) AE는 이상치 탐지, 이미지 노이즈 제거에도 이용되고, 이라는 hidden layer가.. [Day33] RecSys with DL 6-1 RecSys with DL/MLP 추천시스템 분야는 다른 분야에 비해서 ML 모델에 비해 월등히 성능이 좋지는 않다. latency를 고려해서 복잡한 모델을 사용하기도 어렵다. 그래도 연구가 이루어지고 있기 때문에 딥러닝을 이용한 추천모델을 알아보자 추천시스템에서 딥러닝을 활용하는 이유 Nonlinear Transformation 데이터가 가진 비선형의 패턴을 효과적으로 나타내고 모델링할 수 있다. 추천시스템에서 ReLU와 같은 비선형함수들이 복잡한 user-item interaction pattern을 효과적으로 모델링하여 큰 도움을 준다. MF는 유저와 아이템을 임베딩한 이후에는 dot product(내적)라는 선형결합을 해서 선호도를 예측했다. 다른 모델들도 선형으로 모델이 설계되어 있는 경우가 많다. 이런 가정은 모델을 단순화하고.. 이전 1 2 3 4 5 6 ··· 12 다음 목록 더보기
