[DL] Bias(편향) vs Variance(분산)

• Bias-Variance trade-off 란, 모델링을 할 때 error 처리를 위해 중요하게 알아야하는 개념이며, 자주 헷갈릴 수 있다.

Bias

• Bias(편향)는 예측값과 실제값의 차이이다.
• 즉, Bias(편향)가 크다는 것은, 예측값과 실제값의 차이가 크다는 것이며, 이는 과소적합을 의미한다.

Variance

• Variance(분산)는 입력에 따른 예측값의 변동성을 의미한다.
• 즉, Variance(분산)가 크다는 것은, 입력에 따른 예측값의 변동성이 크다는 것이며, 이는 과대적합을 의미한다.

Trade-off

• Trade-off는 시소처럼 한쪽이 올라가면 한쪽이 내려가는 관계를 의미한다.

예제 1

• 파란 점이 예측값, 빨간 원이 실제값을 의미한다.
• Bias가 높다는 것은, 예측값과 실제값의 오차가 크다는 것을 의미한다. (과소적합 상황)
• Variance가 높다는 것은, 예측값의 변동성이 크다는 것을 의미한다. (과대적합 상황)

예제 2

• 왼쪽 그래프는 큰 bias, 작은 variance
• 오른쪽 그래프는 작은 bias, 큰 variance
• 왼쪽 그래프의 예측 값, 실제 값이 차이는 오른쪽 그래프보다 크다. (큰 bias)
• 오른쪽 그래프의 예측 값, 실제 값의 차이는 0이다. (작은 bias)
• 왼쪽 그래프는 일반화가 잘 되어 있기 때문에 예측 값이 일정한 패턴을 나타낸다. (작은 variance)
• 오른쪽 그래프는 예측 값이 일정한 패턴 없이 들쑥날쑥하다. (큰 variance)

예제 3

• 모델을 학습을 시킬수록 모델의 복잡도는 더 올라간다.
• 이를 X축 모델 복잡도(model complexity)로 표현하면,
• 모델이 단순해질수록, Bias는 증가하고 Variance는 감소한다. (과소적합 상황)
• 모델이 복잡해질수록, Bias는 감소하고 Variance는 증가한다. (과대적합 상황)
• 결국, 전체 Error는 Bias와 Variance 간의 Trade-off 관계 때문에, 계속 학습 시킨다고 해도 쉽게 줄어든지 않는다.
• 즉, 무조건 Bias만 줄일 수도, 무조건 Variance만 줄일 수도 없기 때문에, Bias와 Variance의 합이 최소가 되는 적당한 지점을 찾아 최적의 모델을 만들어야한다.