로지스틱 회귀-Logistic regression

로지스틱 회귀

범주형 숫자로 이루어진 데이터를 사용하여 회귀 계수를 추정하는 모델 

S-커브 함수를 나타냄 (시그모이드 함수) → 출력 값이 항상 0과1 사이의 값을 가짐

source: wikimidia commons

• 승산 (Odds) 

임의의 사건 A가 발생하지 않을 확률 대비 일어날 확률의 비율

 

odds = P(A) / 1 - P(A) 

P(A)가 1에 가까울 수록 승산은 커진다. P(A)가 0일 경우 승산도 0 

 

• 이항 로지스틱 회귀

Y=b0+b1x1+b2x2+...+bkxk

Y가 범주형 일 경우, 회귀 모델을 적용할 수 없음

 

1. Y를 확률식으로 바꿔줌 

좌변의 범위는 [0,1], 우변의 범위는 [-inf, inf] 

 

2. Y를 승산으로 바꿔줌 

좌변의 범위는 [0, inf], 우변의 범위는 [-inf, inf] 

 

3. Y 승산에 로그를 취해줌 

좌변의 범위는 [-inf, inf] , 우변의 범위는 [-inf, inf] 

 

4. 우변을 치환하고 양 변에 e를 취해주어 우변의 log를 소거 시킨 후 정리해줌  

 

• 결정 경계

<입력 벡터 x를 넣었을 때 범주를 분류하는 판단 기준>