[Day7] Pytorch 4. AutoGrad & Optimizer : Module, Parameter

torch로 layer 구성하기

torch.nn.Module

: 딥러닝을 구성하는 Layer의 base class

• input
• output
• forward
  $\hat{y}$값을 구하는 과정
  cost 구하기
• backward
  weight를 autograd(미분)
  optimize를 해서 gradient를 update

nn.Parameter

• weight같은 것들
• nn.Module 내에 attribute가 될 때 required_grad=True로 자동 지정된다.
• required_grad=True의 뜻은 backward 때 미분의 대상이라는 의미이다.
• Tensor의 상속객체