[Day37] Context-aware Recommendation 8-3 : GBM 다양한 오픈 CTR 데이터에 대해서 GBM 모델이 FM,FFM 계열보다 높은 성능을 보이고 있다. 라이브 서비스시에는 데이터의 특징에 다양한 환경에 따라 바뀌기 쉽게 때문에 데이터의 특성에 관계없이 하이퍼파라미터에 민감하지 않은 robust한 모델을 원한다. 이 때에, FM계열 < 기존의 휴리스틱 모델 < GBM 계열 모델 순으로 성능이 좋았다. Boosting 앙상블 기법의 일종. 앙상블은 한 가지 모델만 사용시에 생기는 편향에 따른 예측 오차를 줄이기 위해서 여러 모델을 한 번 예측하는데 결합해서 사용하는 기법이다. Decision tree로 된 weak learner들을 연속적으로 학습하여 결합하는데, 여기에서 weak learner는 정확도와 복잡도가 비교적 낮은 간단한 분류기 이다. 이전 단계의.. [DAY3] AI math 4. 경사하강법 -2 경사하강법으로 선형괴휘 계수 구하기 2022.01.19 - [부스트캠프 AI Tech 3기/이론 : U-stage] - [DAY3] AI math 2. 행렬이 뭐예요? [DAY3] AI math 2. 행렬이 뭐예요? 행렬 Matrix 여러 백터들을 원소로 가지는 2차원 배열 여러 점들 x=np.array([[1,2,3], [4,5,6]]) 2개의 행 벡터가 하나의 배열안에 담겨있다. numpy에서는 행이 기본 단위, 기준이 된다. 행 row 열 column $ x_{i.. chae52.tistory.com 의 맨 마지막을 보면 예측한 선형식의 값 $\hat{y}$과 원래 y값의 차이($\hat{y}-y$)를 최소화하는 것이 선형회귀의 방향이다. $$\hat{y}=X\beta$$ 이므로 선형회귀의 목적식은.. [DAY3] AI math 3. 경사하강법 -1 미분 Differentiation 변수의 움직임에 따른 함수값의 변화 측정법 기울기=변화율 변화율의 극한 = 미분 = 한 점에서의 접선의 기울기 import sympy as sym from sympy.abc import x fx=sym.poly(x**2 +2*x +3) # 다항식 sym.diff(fx,x) #x로 미분하라 >>>Poly(2𝑥+2,𝑥,𝑑𝑜𝑚𝑎𝑖𝑛=ℤ) 미분을 어디에 쓸까? 현재 주어진 점에서 어느 방향으로 움직여야 함수값이 증가 혹은 감소하는지 알 수 있다. 차원이 높아질 수록 어느 방향으로 가야 함수값이 커질지 작아질지 에측하기 어렵다. 어느 차원에서든 미분값이 양수든 음수든 상관없이 함수값을 증가시키고 싶으면 미분값을 더해준다 경사상승법 (gradient ascent) : 함수 최대화,.. 이전 1 다음
