大家好，欢迎来到IT知识分享网。
CE formulation：
NNL公式：
NNL是CE的一种应用形式，使用的就是CE的计算公式，但在通常看到的计算形式是这种：
为什么累加符号以及
没有了呢？
首先CE计算的是两个分布（真实分布与预测分布）之间的交叉熵，即距离，以此距离值作为损失值。而在多分类（multi-class）任务中，预测分布式模型经过softmax函数后的输出vector，而真实分布则是每个输出目标类（ground truth）的onehot编码，将该值带入CE公式后就得到了最下面所展示的形式。
另外一种解释：
如何评估分类效果的好坏，这个评估方式需要满足：1.值越高代表结果越好，2.考虑预测值与真实值之间的一致性。一种满足这两种性质的公式如下：
这个公式的值越高，代表预测结果越好，那么模型效果越好，反之值越低代表结果越差。而模型是通过降低loss值来调整参数，不能直接应用这个公式的结果需要进行一定变化。
变换方式很简单：加负号“-”来变换单调性，使之值越小代表结果越好；同时为了便于计算则加log由连乘与幂乘变成连加与乘法形式。经过变形后NLL公式就变成这样：
参考文献：
Cross entropy and log likelihood
Understanding Categorical Cross-Entropy Loss, Binary Cross-Entropy Loss, Softmax Loss, Logistic Loss, Focal Loss and all those confusing names
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://haidsoft.com/130947.html
