[Day 68] DKT 4. Sequence Data 문제 정의에 맞는 Transformer Architecture 설계 Transformer encoder를 활용해서 여러 문제에 적용할 수 있다. transformer는 sequence데이터가 강점을 보이지만 많은 데이터를 요구한다. Inductive Bias CNN은 기본적으로 kernel을 통해서 locality를 보면서 bias를 학습하게 설계되어 있고, RNN은 sequence를 보도록 설계되어 있다(inductive bias가 있다). 이렇게 모델 구조상에서 bias가 있는데, MLP나 transfomer는 bias가 적다. transformer는 inductive bias가 없는 것이 장점이지만 또 단점이 되기도 한다. 데이터에서 다양한 feature를 뽑아내기 위해서는 데이터가 많이 필요하게 되는 것이다. feature engineering가 많이 필요하면 t.. 이전 1 다음
