[Day14] DL Basic 5. Modern CNN AlexNet ReLU 선형 모델이 갖는 gradient가 커도 유지된다는 특성을 가진다. SGD, mini batch를 이용한 optimize가 쉽고 gradient vanishing 문제를 해결했다. 결과적으로 generalization performance가 좋다. 2 GPU Data Augmentation Dropout Overlapping pooling VGGNet 3x3 convolution filter만 사용했다. Receptive field : convolution 한 값이 영향을 받은 input의 크기 ex) 3x3을 2번하는 것과 5x5를 한 번 하는 것은 Receptive field는 같다. 하지만 파라미터는 1.5배 차이가 난다. 그래서 7x7이상으로는 거의 사용하지 않게 된다. l.. [Day14] DL Basic 4. Convolution은 무엇인가? Convolution 신호 처리에서 두 함수 f와 g를 섞어주는 것으로 나타난다. Continuous convolution $$(f*g)(t) = \int f(\tau)g(t-\tau)d\tau=\int f(t-\tau)g(t)d\tau$$ Discrete convolution $$(f*g)(t)=\displaystyle\sum^{\infty}_{i=-\infty} f(i)g(t-i)=\displaystyle\sum_{i=-\infty}^{\infty}f(t-i)g(i)$$ 2D image convolution $$(I*K)(i,j)=\displaystyle\sum_{m}\displaystyle\sum_{n}I(m,n)K(i-m, j-n)=\displaystyle\sum_{m}\displaystyle\s.. 이전 1 다음
