今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。
在网上查了下解决方案。我的问题是出在学习率上了。
我自己做的样本数据集比较小，就三类，每类大概三百多张，初始学习率是0.5。后来设置为0.1就解决了。
按照解决方案上写的。出现nan的情况还有以下几种：
学习率太大，但是样本数据集又很小。（我的情况）
自定义的loss除以了一个很小的数字，小到接近0。
数据不干净，数据本身就有nan，可以用numpy.isnan检查。
target，即label是大于等于0的。从1到类别数目-1变化。
以上这篇Pytorch训练过程出现nan的解决方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持【听图阁-专注于Python设计】。
pytorch之添加BN层 批标准化 模型训练并不容易，特别是一些非常复杂的模型，并不能非常好的训练得到收敛的结果，所以对数据增加一些预处理，同时使用批标准化能够得到非常好的收敛结果，这...
Python中，列表和元组是一种数据结构：序列，序列中的每个元素都被分配一个序号，元素的位置，第一原元素的位置为0，因此类推。序列是最基本的数据结构，列表和元组他们之间具有一定的区别，即...
一个功能的实现，可以用多种语句来实现，比如说:while语句、for语句、生成器、列表推导、内置函数等实现，然而他们的效率并不一样。写了一个小程序来测试它们执行的效率。 测试内容: 将...
在 Python 的项目中，如何管理所用的全部依赖库呢？最主流的做法是维护一份“requirements.txt”，记录下依赖库的名字及其版本号。 那么，如何来生成这份文件呢？在上篇文章...
前面我们介绍了cookies，主要应用在用户登录上，保存用户登录状态，不过cookies直接放在了浏览器上，安全性较低，所以我们便引出了session功能与cookies相同，不同的是它...