Head vs breakz

Gradient Clipping는 깊은 신경망에서 발생하는 gradient exploding를 막기 위해 사용한다. 깊은 신경망에서 역전파 과정에서 기울기가 점차 작아지거나 비 정상적으로 큰 값이 되면서 기울기에 대한 문제가 발생하는데, Gradient Clipping는 깊은 신경망에서 발생하는 gradient exploding를 줄이기 위해 사용한다. Gradient Clipping는 말 그대로, 기울기 값을 잘라내는 방법으로, 특정 임계값을 설정하여 그 값을 넘지 못하도록 잘라내는 방법이다. Tensorflow에서는 Optimizer의 compute_gradients 를 먼저 호출하고, 그 다음 clip_by_value() 함수를 사용하여 Clipping하는 연산을 생성한다. 그리고 apply_gra..