pytorch梯度剪裁方式是什么

本篇内容介绍了“pytorch梯度剪裁方式是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

创新互联主要从事成都网站制作、成都网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务永善,十载网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575

我就废话不多说,看例子吧!

import torch.nn as nnoutputs = model(data)loss= loss_fn(outputs, target)optimizer.zero_grad()loss.backward()nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)optimizer.step()

nn.utils.clip_grad_norm_ 的参数:

parameters – 一个基于变量的迭代器,会进行梯度归一化

max_norm – 梯度的最大范数

norm_type – 规定范数的类型,默认为L2

“pytorch梯度剪裁方式是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!


分享名称:pytorch梯度剪裁方式是什么
链接URL:http://bzwzjz.com/article/pocjgo.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 手机网站建设 攀枝花网站设计 LED网站设计方案 品牌网站建设 专业网站设计 企业网站设计 营销型网站建设 成都网站建设 古蔺网站建设 手机网站制作 网站制作公司 成都网站设计公司 四川成都网站建设 成都网站建设 成都企业网站建设 定制网站设计 网站建设 移动网站建设 外贸营销网站建设 成都网站设计 重庆手机网站建设 网站建设公司