Pytorch训练过程出现nan的解决方式

yipeiwu_com7年前Python基础

今天使用shuffleNetV2+,使用自己的数据集,遇到了loss是nan的情况,而且top1精确率出现断崖式上升,这显示是不正常的。

在网上查了下解决方案。我的问题是出在学习率上了。

我自己做的样本数据集比较小,就三类,每类大概三百多张,初始学习率是0.5。后来设置为0.1就解决了。

按照解决方案上写的。出现nan的情况还有以下几种:

学习率太大,但是样本数据集又很小。(我的情况)

自定义的loss除以了一个很小的数字,小到接近0。

数据不干净,数据本身就有nan,可以用numpy.isnan检查。

target,即label是大于等于0的。从1到类别数目-1变化。

以上这篇Pytorch训练过程出现nan的解决方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

用Python配平化学方程式的方法

用Python配平化学方程式的方法

不知不觉已经毕业多年了,不知道大家是否还记得怎么配平化学方程式呢?反正小编我是已经记不太清了,所以今天的文章除了分享如何用python配平化学方程式,顺带着还会复习 一些化学方程式的知识...

python3 自动识别usb连接状态,即对usb重连的判断方法

在做自动化测试时,遇到两种情况需要判断usb是否已连接上(注,本文仅针对用adb命令来control手机) 一种是在开测时(前提是同时要测试多台), 希望等待所有设备usb全部识别后同时...

django之静态文件 django 2.0 在网页中显示图片的例子

小白,有错的地方,希望大家指正~ 使用的是django2.0 python3.6 1、首先,要在settings.py中设置 MEDIA_URL = '/media/' MEDIA_...

Python字符串逐字符或逐词反转方法

目的   把字符串逐字符或逐词反转过来,这个蛮有意思的。 方法   先看逐字符反转吧,第一种设置切片的步长为-1 复制代码 代码如下:   revchars=astring[::-1]...

Python OpenCV读取png图像转成jpg图像存储的方法

如下所示: import os import cv2 import sys import numpy as np path = "F:\\ImageLib\\VRWorks_36...