CrossEntropy

信息量:

信息熵:

互信息:

假设 是真实分布, 是预测分布

KL散度:

交叉熵:

实际上, 对于给定数据集, 其真实的概率分布(标签分布)是一个确定值, 因此, 可是视作一个常数, 在梯度反向传播时不做贡献(求导得0)