1. 首页
  2. 教育
  3. 深度学习

算法工程师炼丹Trick手册

FocalLoss针对类别不平衡问题,用预测概率对不同类别的loss进行加权。Focalloss对CEloss增加了一个调制系数来降低容易样本的权重值,使得训练过程更加关注困难样本。

FocalLoss

算法工程师炼丹Trick手册

针对类别不平衡问题,用预测概率对不同类别的loss进行加权。Focalloss对CEloss增加了一个调制系数来降低容易样本的权重值,使得训练过程更加关注困难样本。

loss=-np.log(p)loss=(1-p)^G*loss

Dropout

算法工程师炼丹Trick手册

随机丢弃,抑制过拟合,提高模型鲁棒性。

Normalization

BatchNormalization于2015年由Google提出,开Normalization之先河。其规范化针对单个神经元进行,利用网络训练时一个mini-batch的数据来计算该神经元的均值和方差,因而称为BatchNormalization。

x=(x-x.mean())/x.std()

relu

算法工程师炼丹Trick手册

用极简的方式实现非线性激活,缓解梯度消失。

x=max(x,0)

CyclicLR

算法工程师炼丹Trick手册

每隔一段时间重启学习率,这样在单位时间内能收敛到多个局部最小值,可以得到很多个模型做集成。

scheduler=lambdax:((LR_INIT-LR_MIN)/2)*(np.cos(PI*(np.mod(x-1,CYCLE)/(CYCLE)))+1)+LR_MIN

WithFlooding

算法工程师炼丹Trick手册

当trainingloss大于一个阈值时,进行正常的梯度下降;当trainingloss低于阈值时,会反过来进行梯度上升,让trainingloss保持在一个阈值附近,让模型持续进行“randomwalk”,并期望模型能被优化到一个平坦的损失区域,这样发现testloss进行了doubledecent。

flood=(loss-b).abs()+b

GroupNormalization

算法工程师炼丹Trick手册

FacebookAIresearch(FAIR)吴育昕-恺明联合推出重磅新作GroupNormalization(GN),提出使用GroupNormalization替代深度学习里程碑式的工作Batchnormalization。一句话概括,GroupNormbalization(GN)是一种新的深度学习归一化方式,可以替代BN。

defGroupNorm(x,gamma,beta,G,eps=1e-5):#x:inputfeatureswithshape[N,C,H,W]#gamma,beta:scaleandoffset,withshape[1,C,1,1]#G:numberofgroupsforGNN,C,H,W=x.shapex=tf.reshape(x,[N,G,C//G,H,W])mean,var=tf.nn.moments(x,[2,3,4],keepdims=True)x=(x-mean)/tf.sqrt(var+eps)x=tf.reshape(x,[N,C,H,W])returnx*gamma+beta

LabelSmoothing

算法工程师炼丹Trick手册

算法工程师炼丹Trick手册

abelsmoothing将hardlabel转变成softlabel,使网络优化更加平滑。标签平滑是用于深度神经网络(DNN)的有效正则化工具,该工具通过在均匀分布和hard标签之间应用加权平均值来生成soft标签。它通常用于减少训练DNN的过拟合问题并进一步提高分类性能。

targets=(1-label_smooth)*targets+label_smooth/num_classes

算法工程师炼丹Trick手册

WassersteinGAN

算法工程师炼丹Trick手册

彻底解决GAN训练不稳定的问题,不再需要小心平衡生成器和判别器的训练程度

基本解决了Collapsemode的问题,确保了生成样本的多样性

训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程,数值越小代表GAN训练得越好,代表生成器产生的图像质量越高

不需要精心设计的网络架构,最简单的多层全连接网络就可以做到以上3点。

SkipConnection

一种网络结构,提供恒等映射的能力,保证模型不会因网络变深而退化。

F(x)=F(x)+x

责任编辑:lq

免责声明:本站旨在传递信息,不代表有传资讯的观点和立场。本站遵循行业规范,如转载您的文章未标注版权,请联系我们(QQ:78799268)改正。本站的原创文章,如若转载,请注明出处:http://www.ainoline.cn/jiaoyu/shenduxuexi/16950.html

发表评论

邮箱地址不会被公开。 必填项已用*标注

联系我们

在线咨询:点击这里给我发消息

邮件:78799268@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code