본문 바로가기

[Day62] DKT 3. Baseline (LGBM, LSTM, Transformer) Sequence 모델링 transcaction data 같은 sequence data를 사용하기 위해서는 feature engineering을 통해 집계해서 non-sequence하게 만들어 사용할 수도 있다. 집계 : Aggregation 다음과 같은 방법으로 feature engineering을 해서 사용할 수 있다. 여러 유저의 신용카드 사용 내역이 있다고 하면 한 유저에 대해서 여러 사용내역이 있게 되고 이것을 한 유저에 대해서 집계할 수 있다. categorical 변수같은 경우는 많이 나온 한 카테고리를 선택할 수도 있다. null이 아닌 것의 횟수를 센다 연속형 변수면 평균을 취한다 하지만 집계하는 과정에서 정보들이 많이 손실된다. 집계하지 않고 transaction을 그대로 sequence..
[Day62] DKT 1. DKT 이해 및 DKT Trend 소개 DKT Task 이해 DKT : Keep Knowlege Tracing : DL + KT 교육AI의 중심에 있다. KT : Knowledge Tracing 지식 구성 요소(Knowledge component, ex. 일차방정식)에 대한 학생의 이해도를 지식 상태(Knowledge state)라 하고, 지식 상태는 계속해서 변화하며 그 상태를 지속적으로 추적하는 것 문제 풀이 정보(문제를 맞았는지 틀렸는지)로 지식상태를 추적하는데, 당연히 문제 풀이 정보가 많아질 수록 지식 상태를 더 정확하게 예측할 수 있다. 데이터가 적을수록 over-fitting 이 쉽게 일어난다. 가지고 있는 지식 상태에 대한 정보를 기반으로 다음 문제를 맞출 수 있을지를 예측한다. 문제추천이나 학업도를 파악하는데 쓰일 수 있다. ..