[인공지능] - dropout

https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf

 

• 모델을 훈련하는 동안 무작위로 층의 일부 출력 특성을 제외

• 뉴런의 부정확한 부분을 제거하기 위해 착안

---

• dropout 효과

  • Voting

    모든 뉴런에 의존하는 것이 아닌 dropout을 통해 임의로 몇개의 뉴런만으로 학습을 시킨다. 이러한 과정을 통해 뉴런들을 평균적으로 잘 예측하게 만든다.

  • Co-adaptation

    어떠한 뉴런은 다른 뉴런에 크게 의존하고 있는데, 이 떄 만약 '나쁜' 입력을 받게 된다면 의존하고 있는 뉴런도 영향을 받게 된다. 이러한 문제를 dropout을 통해 해결 할 수 있다. dropout을 할 경우, 특정 뉴런의 영향을 받지 않기 떄문에 뉴런들이 서로 동조화 되는 것을 피할 수 있다.

---

참고&도움

Dive into deep learing

라온피플

Dropout: A simple way to Prevent Neural Networks from Overfitting