pytorch的batch normalize使用详解

yipeiwu_com6年前Python基础

torch.nn.BatchNorm1d()

1、BatchNorm1d(num_features, eps = 1e-05, momentum=0.1, affine=True)

对于2d或3d输入进行BN。在训练时,该层计算每次输入的均值和方差,并进行平行移动。移动平均默认的动量为0.1。在验证时,训练求得的均值/方差将用于标准化验证数据。

num_features:表示输入的特征数。该期望输入的大小为'batch_size x num_features [x width]'

Shape: - 输入:(N, C)或者(N, C, L) - 输出:(N, C)或者(N,C,L)(输入输出相同)

2、BatchNorm2d(同上)

对3d数据组成的4d输入进行BN。

num_features: 来自期望输入的特征数,该期望输入的大小为'batch_size x num_features x height x width'

Shape: - 输入:(N, C,H, W) - 输出:(N, C, H, W)(输入输出相同)

3、BatchNorm3d(同上)

对4d数据组成的5d输入进行BN。

以上这篇pytorch的batch normalize使用详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

动态规划之矩阵连乘问题Python实现方法

动态规划之矩阵连乘问题Python实现方法

本文实例讲述了动态规划之矩阵连乘问题Python实现方法。分享给大家供大家参考,具体如下: 给定n个矩阵{A1,A2,…,An},其中Ai与Ai+1是可乘的,i=1,2 ,…,n-1。如...

python3 读写文件换行符的方法

最近在处理文本文件时,遇到编码格式和换行符的问题。 基本上都是GBK 和 UTF-8 编码的文本文件,但是python3 中默认的都是按照 utf-8 来打开。用不正确的编码参数打开,在...

Python pickle模块用法实例

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,...

使用pyqt5 tablewidget 单元格设置正则表达式

使用pyqt5 tablewidget 单元格设置正则表达式

tablewidget pyqt5的tablewidget组件比较特殊,每个方格可以装载其他组件来搭配实现不同的效果,所以在qtdesigner上找不到可视化直接设置mask或者其他可...

Python cookbook(数据结构与算法)找到最大或最小的N个元素实现方法示例

本文实例讲述了python找到最大或最小的N个元素实现方法。分享给大家供大家参考,具体如下: 问题:想在某个集合中找出最大或最小的N个元素 解决方案:heapq模块中的nlargest(...