目标检测回归损失函数1：L1 loss, L2 loss以及Smooth L1 Loss的对比

总结对比下\(L_1\) 损失函数，\(L_2\) 损失函数以及\(\text{Smooth} L_1\) 损失函数的优缺点。 均方误差MSE (\(L_2\) Loss) 均方误差（Mean Square Error,MSE）是模型预测值\(f(x)\) 与真实样本值\(y\) 之间差值平方的平均值，其公式如下\[ MSE = \frac{\sum_{i=1}^n(f_{x_i} - y_i...

https://www.cnblogs.com/wangguchangqing/p/12021638.html

L1 loss L2 loss smooth L1 loss

1. L1 loss： 公式和求导公式： （带绝对值求导时，先去掉绝对值符号，再分情况求导） 一个batch的形式： L1 loss 图形和求导图形如下： 图的底部是预测值和label的差值。 我们可以看到L1 loss的底部是尖的。底部是不存在导数的。而在其他地方，导数大小都是一样的。 优缺点： 优点： 1. L1 loss的鲁棒性(抗干扰性)比L2 loss...

一、 L1 Loss1. 函数特性L1 Loss也称为平均绝对值误差（MAE），是指模型预测值f(x)和真实值y之间绝对差值的平均值，公式如下： 其中 和 分别表示第 个样本的预测值及相应真实值， 为样本的个数。曲线分布如下：L1损失函数的导数是常量，有着稳定的梯度，所以不会有梯度爆炸的问题。对于离群点造成的惩罚是固定的，不会被放大。2. 存在的问题MAE函数虽然连续，但是在0处不可导。而...

L1范数误差(L1 loss) 代表：MAE(Mean Absolute Error, 均绝对误差)。即估计值f(x)f(x)f(x)与真实值yyy之间距离的均值。 MAE=1n∑i=1n∣f(xi)−yi∣MAE=\frac{1}{n}\sum_{i=1}^n|f(x_i)-y_i|MAE=n1​i=1∑n​∣f(xi​)−yi​∣ 优点 无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。 对于离群点不那么敏感。因为MAEMAEMAE计算的是误差y−f(x)y−f(x)

内涵资源获取链接

在机器学习实践中，你也许需要在神秘的L1和L2中做出选择。通常的两个决策为：1) L1范数 vs L2范数 的损失函数； 2) L1正则化 vs L2正则化。 作为损失函数   L1范数损失函数，也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。总的说来，它是把目标值（YiYi）与估计值（f(xi)f(xi)）的绝对差值的总和（SS）最小化： S=∑i=1n|Yi−f(xi)...

为了解决CIoU的问题，有学者在CIOU的基础上将纵横比拆开，提出了EIOU Loss，并且加入Focal聚焦优质的预测框，与CIoU相似的，EIoU是损失函数的解决方案，只用于训练。在错误率小的地方，梯度的值也应当小，反之在错误率大的地方，梯度也应当大，因为这时候我们需要对错误率小的情况进行微调，而错误率大的地方进行大刀阔斧的调整；如下图所示，三种情况IoU都相等，但看得出来他们的重合度是不一样的，左边的图回归的效果最好，右边的最差。DIoU的作者考虑到，在两个框中心点重合时，c与d的值都不变。

Pytorch机器学习（五）——目标检测中的损失函数（l2，IOU，GIOU,CIOU） 目录 Pytorch机器学习（五）——目标检测中的损失函数（l2，IOU，GIOU,CIOU） 前言 一、l2范数损失 二、IOU损失 二、GIOU损失 三、CIOU损失 总结 前言 目标检测领域，从发展到现在这个阶段，出现过很多次有关预测框损失函数的讨论与更新，从l2范数损失，到IOU损失，GIOU损失，DIOU损失等等，今天记录一下有关l2范数损失，IOU损失和GIOU损失 .

1、L1 loss 在零点不平滑，用的较少  2、Smooth L1 Loss 修改零点不平滑问题  3、L2 loss：对离群点比较敏感，如果feature 是 unbounded的话，需要好好调整学习率，防止出现梯度爆炸的情况[fast rcnn]   4、一般来说，L1正则会制造稀疏的特征，大部分无用特征的权重会被置为0。 L2正则会让特征的权重不过大，使得特征的权重比较平均。 5、...

多任务损失（来自Fast R-CNN） multi-task数据结构Fast R-CNN网络有两个同级输出层（cls score和bbox_prdict层），都是全连接层，称为multi-task。① clsscore层：用于分类，输出k+1维数组p，表示属于k类和背景的概率。对每个RoI（Region of Interesting）输出离散型概率分布通常，p由k+1类的全连接层利用softmax...

一、 L1 Loss1. 函数特性L1 Loss也称为平均绝对值误差（MAE），是指模型预测值f(x)和真实值y之间绝对差值的平均值，公式如下： 其中 和 分别表示第 个样本的预测值及相应真实值， 为样本的个数。曲线分布如下：L1损失函数的导数是常量，有着稳定的梯度，所以不会有梯度爆炸的问题。对于离群点造成的惩罚是固定的，不会被放大。2. 存在的问题MAE函数虽然连续，但是在0处不可导。而...

本文翻译自文章：Differences between L1 and L2 as Loss Function and Regularization，如有翻译不当之处，欢迎拍砖，谢谢~   在机器学习实践中，你也许需要在神秘的L1和L2中做出选择。通常的两个决策为：1) L1范数 vs L2范数 的损失函数； 2) L1正则化 vs L2正则化。 作为损失函数   L1范数损失函数，也...

SmoothL1 Loss 采用该Loss的模型（Faster RCNN，SSD，，） SmoothL1 Loss是在Faster RCNN论文中提出来的，依据论文的解释，是因为smooth L1 loss让loss对于离群点更加鲁棒，即：相比于L2 Loss，其对离群点、异常值（outlier）不敏感，梯度变化相对更小，训练时不容易跑飞。 假设x是预测框与 groud truth 之间 elementwise 的差异，那么对比L1/L2/SmoothL1 Loss如下： 对应的曲线图如下： 对三个lo

本文转载自知乎，已获作者授权转载。链接：https://zhuanlan.zhihu.com/p/342991797目标检测任务的损失函数由Classificition Loss和BBo...