[인공지능] - 가중치 규제

 

• 개별 가중치 값을 제한하여 모델의 복잡도를 줄이는 방법

• 모델이 복잡해 진다는 것은 불필요한 항이 많다는 것

---

• L1 규제

  • L1 규제는 손실함수에 가중치 절대값을 추가

  • 대부분의 특성 가중치 값이 0

  • 실제로 관련 없는 특성이 많은 데이터의 경우 , 모델의 중요한 특성이 나타남

  • 회귀 모델에 L1 규제를 추가 - Lasso 모델

• L2 규제

  • 손실함수에 가중치에 대한 제곱값 추가

  • L1보다 L2 규제를 많이사용

  • 회귀 모델에 L2 규제를 추가 - Ridge 모델

 

#모델에 가중치 추가하기
from keras import regularizers

#L1 규제
regularizers.l1(0.001)

#L1,L2 규제 병합
regularizers.l1_l2(l1=  , l2= )

#model안에서 사용
model.layers.Dense(size, kernel_regularizer=regularizers.l1(0.001), activation= , input_shape= )

---

The Elements of Statistical learning

https://web.stanford.edu/~hastie/Papers/ESLII.pdf

3.4절에 Ridge 모델, Lasso 모델 설명

 

---

참조& 도움

hack your life