Ch4. 모델 훈련(4.6)

4.6 로지스틱 회귀

 

  ■ 로지스틱 회귀

    - 샘플이 특정 클래스에 속할 확률을 추정하는 데 사용된다.

    - 추정 확률이 50%를 넘으면 1, 아니면 0으로 판단하는 이진 분류기

 

4.6.1 확률 추정

    - 로지스틱 회귀 모델은 입력 특성의 가중치 합을 계산한 후, 바로 결과를 출력하는 것이 아니라 로지스틱을 출력한다.

 

  ■ 로지스틱, Logistic

    - 0과 1사이의 값을 출력하는 시그모이드 함수

    - 로지스틱 모델의 결과 p를 기준 0.5와 비교하여 예측값 y를 구해낼 수 있다.

 

4.6.2 훈련과 비용 함수

  ■ 로지스틱 회귀 모델 훈련

    - 양성 샘플(y = 1)에 대해서는 높은 확률을, 음성 샘플(y = 0)에 대해서는 낮은 확률을 추정하는 파라미터 벡터 θ를 찾도록 한다.

    - 로지스틱 회귀의 비용함수

      • 하나의 훈련 샘플에 대한 비용함수

      • 로지스틱 회귀의 비용함수 (로그 손실): 전체 훈련 세트에 대한 비용함수

        -> 𝐽(𝜽)=−1𝑚∑𝑖=1𝑚[𝑦(𝑖)𝑙𝑜𝑔(𝑝̂ (𝑖))+(1−𝑦(𝑖))𝑙𝑜𝑔(1−𝑝̂ (𝑖))]

      • 로지스틱 비용 함수의 편도함수: 각 샘플에 대한 예측 오차를 계산하고 j번째 특성값을 곱해서 모든 훈련 샘플에 대해 평균을 낸다.

 

4.6.3 결정 경계

  ■ 결정 경계, decision boundary

    - 데이터의 특성에서 0과 1, 양의 클래스와 음의 클래스를 결정하는 기준이 되는 경계선

 

4.6.4 소프트맥스 회귀

  ■ 소프트맥스 회귀, softmax regression

    - 다항 로지스틱 회귀, multinomial logistic regression

    - 샘플 x의 각 클래스 k에 대한 점수를 계산하고 소프트맥스 함수를 적용하여 각 클래스의  확률을 추정한다.

    - 추정 확률이 가장 높은 클래스를 예측값으로 반환한다.

 

    - 소프트맥스 함수

      • K: 샘플의 클래스의 수

      • s(x): 샘플 x에 대한 각 클래스의 점수를 담고 있는 벡터 (소프트맥스 점수)

      • σ(s(x))k: 샘플 x에 대한 각 클래스의 점수가 주어졌을때 이 샘플이 클래스 k에 속할 추정확률

 

  ■ 크로스 엔트로피, cross entropy

    - 모델이 타깃 클래스에 대해서는 높은 확률을 다른 클래스에 대해서는 낮은 확률을 추정하도록 한다.

    - 크로스 엔트로피는 추정된 클래스의 확률이 타깃 클래스에 얼마나 잘 맞는지 측정하는 용도로 사용

    - 크로스 엔트로피 비용 함수

      • i번째 샘플에 대한 타깃 클래스가 k일때 y의 값이 1, 그 외에는 0이 된다.