반응형
1) Q를 P대신 사용할 경우의 엔트로피 변화가 0이라는건 Q와 P가 동일한 양의 정보를 가지고 있다라는 의미
2) KLD는 항상 0보다 크거나 같은 값을 갖는다
3) KLD를 최소화 ▶ Q와 P가 동일한 양의 정보를 가지도록 강요
4) (-1 x KLD)를 최소화 ▶ KLD를 최대화 ▶ Q와 P가 다른 양의 정보를 가지도록 강요
'Deep Learning' 카테고리의 다른 글
| Entropy, Mutual Information, KL Divergence (1) | 2022.12.02 |
|---|---|
| Kullback–Leibler divergence (KL divergence) (0) | 2022.11.18 |
| How to make novel ideas? (0) | 2022.08.16 |
| [Pytorch] Stop updating params of a layer of a model during back-propagation (0) | 2022.07.22 |
| [Pytorch] Assign (loaded) pre-trained model params to a specific layer of a new model (0) | 2022.07.22 |
