Head vs breakz

학습 속도를 빠르고, 안정적으로 하는 것을 목표 Gradient Descent 가장 기초 학습식으로 전체데이터를 사용 전체 데이터를 사용하기 때문에 시간이 오래걸림 Stochastic Gradient Descent 전체데이터가 아닌 분할하여 학습 Momentum gradient를 수정 Gradient Descent를 통해 이동하는 과정에 관성을 추가 momentum term은 0.9 정도사용 Oscilation 현상 시 유용 SGD 방식에 비해 상대적으로 빠르게 이동 adam gradient, learning rate 모두 수정 RMSProp + Momentum Nesterov Accelerated Gradient Adagrad RMSProp AdaDelta Mini-batch Gradinet Desce..

활성화 함수 노드에 들어온 값(xw)들에 대해서 출력값에 대해서 활성화을 할것인지 결정 Data를 비선형으로 바꾸기 위해 사용 sigmoid S 자 모양을 가지는 함수 초창기에 많이 사용한 함수 중심을 기준으로 왼쪽은 0, 오른쪽은 1로 수렴하는 함수 모든 구간에서 미분이 가능한 특징 Vanishing gradient problem 발생 ReLU sigmoid의 Vanishing gradient problem 해결하는 함수 Leaky ReLU Dying ReLu 현상을 해결하는 함수 Softmax 분류 할때 사용 모델의 출력층에서 입력데이터가 어떤 클래스로 분류되는지에 대한 확률값 각 출력값들의 합은 1 지수함수를 사용하여, 값이 급격하게 증가하여 overflow 발생 hyperbolic Tangent ..

1. import 진행중 상황 MLP 모델을 실행하기 위해 Import를 하는과정 오류메세지 AttributeError: module 'keras.backend.tensorflow_backend' has no attribute '_is_tf_1' 오류 부분 1 import matplotlib.pyplot as plt 2 from sklearn.model_selection import train_test_split ----> 3 from keras.datasets import mnist 4 from keras.models import Sequential 5 from keras.utils.np_utils import to_categorical 현재 상태 virtual env (anaconda) keras =..

정규분포 초기화의 문제점 w(weight) 값이 정규 분포 0~1 사이의 값으로 설정 wx+b에서 sum.wx을 할 경우 수치가 거대해짐 sigmoid(wx+b)의 모든 값이 1 w 값이 정규 분포 -4~4 사이의 값으로 설정 sigmoid(wx+b)의 값이 0 또는 1 부분에 집중됨 w 값이 N(0,0.1) 값으로 설정 sigmoid(wx+b)의 값이 대다수가 존재 Xavier 초기화 - sigmoid 입력과 출력 노드의 수를 이용한 초기화 He 초기화 - ReLU 입력 노드의 수를 이용한 초기화 참조 & 도움 EXCELSIOR