본문 바로가기

[Day 68] DKT 4. Sequence Data 문제 정의에 맞는 Transformer Architecture 설계 Transformer encoder를 활용해서 여러 문제에 적용할 수 있다. transformer는 sequence데이터가 강점을 보이지만 많은 데이터를 요구한다. Inductive Bias CNN은 기본적으로 kernel을 통해서 locality를 보면서 bias를 학습하게 설계되어 있고, RNN은 sequence를 보도록 설계되어 있다(inductive bias가 있다). 이렇게 모델 구조상에서 bias가 있는데, MLP나 transfomer는 bias가 적다. transformer는 inductive bias가 없는 것이 장점이지만 또 단점이 되기도 한다. 데이터에서 다양한 feature를 뽑아내기 위해서는 데이터가 많이 필요하게 되는 것이다. feature engineering가 많이 필요하면 t..
[공업수학] 1-1 Basic Concepts. Modeling 주변의 문제들은 시간에 따라 변한다. 미분은 시간에 따른 변화율이다. 그래서 미분이 포함된 미분 방정식으로 표현식을 찾게 된다. ex)시간에 따른 몸무게 변화 공업수학의 목적 미분방정식을 어떻게 하면 잘 구할 수 있는가를 다룬다 미분방정식의 풀이를 구하는 과정 Function : 함수 정의역과 치역의 대응관계 방정식 : 정의역을 찾고자 하는 것 미정계수 결정법 : 함수를 찾고자 하는 것 ex)일반항을 찾는 문제 System : 체계적인 것 ex)인사 시스템 시스템은 함수다. 정해진 입력에 대해 정해진 출력이 나오는 것 Modeling 어떠한 대상을 모사할 수 있는 수학적 표현(미분 방정식)을 찾는 과정 ODEs : Ordinary Differential Equations : 상미분방정식 ex)dt/dx ..