다운로드
작성자: admin 작성일시: 2019-08-29 21:14:37 조회수: 164 다운로드: 10
카테고리: 기초 수학 태그목록:

10장 엔트로피

이 장은 확률론에서의 엔트로피 개념을 공부한다. 엔트로피는 확률분포의 모양을 설명하는 특징값이며 확률분포가 가지고 있는 정보의 양을 나타내는 값이기도 하다. 우선 엔트로피의 수학적 정의를 공부한 후 가변길이 인코딩에서 엔트로피가 어떻게 활용되는지 살펴본다. 엔트로피는 두 확률분포의 모양이 어떤 관계를 가지는지 혹은 유사한지를 표현하는 데도 쓰인다. 조건부엔트로피는 한 확률분포에 의해 다른 확률분포가 받는 영향을 설명한다. 교차엔트로피와 쿨백-라이블러 발산은 두 확률분포가 얼마나 닮았는지를 나타낸다. 마지막으로 두 확률분포의 독립 및 상관관계를 나타내는 상호정보량에 대해서 공부한다.

학습 목표

  • 엔트로피의 정의를 익히고 가변길이 인코딩과 엔트로피의 관계에 대해 알아본다.
  • 결합엔트로피와 조건부엔트로피를 계산하는 법을 익히고 조건부 엔트로피가 분류 문제에 어떻게 활용되는지 알아본다.
  • 교차엔트로피, 쿨백-라이블러 발산의 정의를 알아보고 분류모형의 성능을 평가하는데 어떻게 사용되는지 살펴본다.
  • 두 확률변수 상관관계를 계산하기 위한 상호정보량을 공부한다.

질문/덧글

아직 질문이나 덧글이 없습니다. 첫번째 글을 남겨주세요!