10장 엔트로피¶
이 장은 확률론에서의 엔트로피 개념을 공부한다. 엔트로피는 확률분포의 모양을 설명하는 특징값이며 확률분포가 가지고 있는 정보의 양을 나타내는 값이기도 하다. 우선 엔트로피의 수학적 정의를 공부한 후 가변길이 인코딩에서 엔트로피가 어떻게 활용되는지 살펴본다. 엔트로피는 두 확률분포의 모양이 어떤 관계를 가지는지 혹은 유사한지를 표현하는 데도 쓰인다. 조건부엔트로피는 한 확률분포에 의해 다른 확률분포가 받는 영향을 설명한다. 교차엔트로피와 쿨백-라이블러 발산은 두 확률분포가 얼마나 닮았는지를 나타낸다. 마지막으로 두 확률분포의 독립 및 상관관계를 나타내는 상호정보량에 대해서 공부한다.
학습 목표¶
엔트로피의 정의를 익히고 가변길이 인코딩과 엔트로피의 관계에 대해 알아본다.
결합엔트로피와 조건부엔트로피를 계산하는 법을 익히고 조건부 엔트로피가 분류 문제에 어떻게 활용되는지 알아본다.
교차엔트로피, 쿨백-라이블러 발산의 정의를 알아보고 분류모형의 성능을 평가하는데 어떻게 사용되는지 살펴본다.
두 확률변수 상관관계를 계산하기 위한 상호정보량을 공부한다.