[인공지능] - 최적의 가중치 찾기

• 정규분포 초기화의 문제점

  • w(weight) 값이 정규 분포 0~1 사이의 값으로 설정

    • wx+b에서 sum.wx을 할 경우 수치가 거대해짐

    • sigmoid(wx+b)의 모든 값이 1

  • w 값이 정규 분포 -4~4 사이의 값으로 설정

    • sigmoid(wx+b)의 값이 0 또는 1 부분에 집중됨

  • w 값이 N(0,0.1) 값으로 설정

    • sigmoid(wx+b)의 값이 대다수가 존재

 

• Xavier 초기화 - sigmoid

  • 입력과 출력 노드의 수를 이용한 초기화

• He 초기화 - ReLU

  • 입력 노드의 수를 이용한 초기화

---

참조 & 도움

EXCELSIOR