Kullback–Leibler divergence (KL divergence)

https://ko.wikipedia.org/wiki/%EC%BF%A8%EB%B0%B1-%EB%9D%BC%EC%9D%B4%EB%B8%94%EB%9F%AC_%EB%B0%9C%EC%82%B0

1) Q를 P대신 사용할 경우의 엔트로피 변화가 0이라는건 Q와 P가 동일한 양의 정보를 가지고 있다라는 의미

2) KLD는 항상 0보다 크거나 같은 값을 갖는다

3) KLD를 최소화 ▶ Q와 P가 동일한 양의 정보를 가지도록 강요

4) (-1 x KLD)를 최소화 ▶ KLD를 최대화 ▶ Q와 P가 다른 양의 정보를 가지도록 강요