pytorch的batch normalize使用详解

yipeiwu_com6年前Python基础

torch.nn.BatchNorm1d()

1、BatchNorm1d(num_features, eps = 1e-05, momentum=0.1, affine=True)

对于2d或3d输入进行BN。在训练时,该层计算每次输入的均值和方差,并进行平行移动。移动平均默认的动量为0.1。在验证时,训练求得的均值/方差将用于标准化验证数据。

num_features:表示输入的特征数。该期望输入的大小为'batch_size x num_features [x width]'

Shape: - 输入:(N, C)或者(N, C, L) - 输出:(N, C)或者(N,C,L)(输入输出相同)

2、BatchNorm2d(同上)

对3d数据组成的4d输入进行BN。

num_features: 来自期望输入的特征数,该期望输入的大小为'batch_size x num_features x height x width'

Shape: - 输入:(N, C,H, W) - 输出:(N, C, H, W)(输入输出相同)

3、BatchNorm3d(同上)

对4d数据组成的5d输入进行BN。

以上这篇pytorch的batch normalize使用详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

在Python3 numpy中mean和average的区别详解

mean和average都是计算均值的函数,在不指定权重的时候average和mean是一样的。指定权重后,average可以计算一维的加权平均值。 具体如下: import num...

windows下python安装paramiko模块和pycrypto模块(简单三步)

前言 Python中使用SSH需要用到OpenSSH,而OpenSSH依赖于paramiko模块,而paramiko模块又依赖于pycrypto模块,因此要在python中使用SSH,我...

python 专题九 Mysql数据库编程基础知识

python 专题九 Mysql数据库编程基础知识

在Python网络爬虫中,通常是通过TXT纯文本方式存储,其实也是可以存储在数据库中的;同时在WAMP(Windows、Apache、MySQL、PHP或Python)开发网站中,也可以...

用yum安装MySQLdb模块的步骤方法

前言 本文主要介绍的是用yum安装MySQLdb模块的步骤,下面话不多说了,来看看详细的介绍吧。 步骤如下 MySQLdb依赖于mysql-devel包,所以首先我们需要先安装mysql...

Python中的闭包总结

前几天又有人在我的这篇文章 python项目练习一:即时标记 下留言,关于其中一个闭包和re.sub的使用不太清楚。我在自己的博客上搜索了下,发现没有写过闭包相关的东西,所以决定总结一下...