pytorch的batch normalize使用详解

yipeiwu_com6年前Python基础

torch.nn.BatchNorm1d()

1、BatchNorm1d(num_features, eps = 1e-05, momentum=0.1, affine=True)

对于2d或3d输入进行BN。在训练时,该层计算每次输入的均值和方差,并进行平行移动。移动平均默认的动量为0.1。在验证时,训练求得的均值/方差将用于标准化验证数据。

num_features:表示输入的特征数。该期望输入的大小为'batch_size x num_features [x width]'

Shape: - 输入:(N, C)或者(N, C, L) - 输出:(N, C)或者(N,C,L)(输入输出相同)

2、BatchNorm2d(同上)

对3d数据组成的4d输入进行BN。

num_features: 来自期望输入的特征数,该期望输入的大小为'batch_size x num_features x height x width'

Shape: - 输入:(N, C,H, W) - 输出:(N, C, H, W)(输入输出相同)

3、BatchNorm3d(同上)

对4d数据组成的5d输入进行BN。

以上这篇pytorch的batch normalize使用详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Pytorch修改ResNet模型全连接层进行直接训练实例

之前在用预训练的ResNet的模型进行迁移训练时,是固定除最后一层的前面层权重,然后把全连接层输出改为自己需要的数目,进行最后一层的训练,那么现在假如想要只是把 最后一层的输出改一下,不...

Django 中自定义 Admin 样式与功能的实现方法

Django 中自定义 Admin 样式与功能的实现方法

自定义 Admin 样式与功能 1 页面修改中文 1.1 语言设置为中文 settings.py LANGUAGE_CODE = 'zh-hans' 修改结果 1.2 应用管理设置为...

Python文件处理

本文给大家介绍Python文件处理相关知识,具体内容如下所示: 1.文件的常见操作 文件是日常编程中常用的操作,通常用于存储数据或应用系统的参数。python提供了os、os.path...

python根据多个文件名批量查找文件

python根据多个文件名批量查找文件

本文实例为大家分享了python根据多个文件名批量查找文件的具体代码,供大家参考,具体内容如下 老板给了我一个文件列表,让我在一堆文件中挑出来,他要的文件有500多个,一堆文件有上千个,...

Python closure闭包解释及其注意点详解

Python closure闭包解释及其注意点详解

一、闭包 1.定义:当一个函数在内部定义函数,并且内部的函数应用外部函数的参数或者局部变量,当内部函数被当做返回值的时候,相关参数和变量保存在返回的函数之中,这种结果,叫做闭包。 2.例...