Head vs breakz

정규분포 초기화의 문제점 w(weight) 값이 정규 분포 0~1 사이의 값으로 설정 wx+b에서 sum.wx을 할 경우 수치가 거대해짐 sigmoid(wx+b)의 모든 값이 1 w 값이 정규 분포 -4~4 사이의 값으로 설정 sigmoid(wx+b)의 값이 0 또는 1 부분에 집중됨 w 값이 N(0,0.1) 값으로 설정 sigmoid(wx+b)의 값이 대다수가 존재 Xavier 초기화 - sigmoid 입력과 출력 노드의 수를 이용한 초기화 He 초기화 - ReLU 입력 노드의 수를 이용한 초기화 참조 & 도움 EXCELSIOR