PyTorch中常用的激活函数的方法示例

yipeiwu_com5年前Python基础

神经网络只是由两个或多个线性网络层叠加,并不能学到新的东西,简单地堆叠网络层,不经过非线性激活函数激活,学到的仍然是线性关系。

但是加入激活函数可以学到非线性的关系,就具有更强的能力去进行特征提取。

构造数据

import torch
import torch.nn.functional as F
from torch.autograd import Variable

import matplotlib.pyplot as plt

x = torch.linspace(-5, 5, 200)  # 构造一段连续的数据
x = Variable(x)	 # 转换成张量
x_np = x.data.numpy()	# 换成 numpy array, 出图时用

Relu

表达式:


代码:

y_relu = F.relu(x).data.numpy()
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.show()

形状如图:

在这里插入图片描述

Sigmoid

表达式:

代码:

y_sigmoid = F.sigmoid(x).data.numpy()
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

在这里插入图片描述

Tanh

表达式:

代码:

y_tanh = F.tanh(x).data.numpy()
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

在这里插入图片描述

Softplus

表达式:


代码:

y_softplus = F.softplus(x).data.numpy()
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

形状如图:

在这里插入图片描述

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python遍历zip文件输出名称时出现乱码问题的解决方法

本文实例讲述了Python遍历zip文件输出名称时出现乱码问题的解决方法。分享给大家供大家参考。具体如下: windows中使用python2.7遍历zip文件之后输出文件名等信息,co...

Python 读取 YUV(NV12) 视频文件实例

Python 读取 YUV(NV12) 视频文件实例

一、YUV 简介 YUV:是一种颜色编码方法,常使用在各个视频处理组件中 Y'UV, YCbCr, YPbPr等专有名词都可以称为 YUV,彼此有重叠 Y表示明亮度(单取此通道即可...

Python线程中对join方法的运用的教程

join 方法:阻塞线程 , 直到该线程执行完毕 因此  ,可以对join加一个超时操作 , join([timeout]),超过设置时间,就不再阻塞线程 jion加上还有一个...

python迭代器实例简析

本文实例讲述了python迭代器的简单用法,分享给大家供大家参考。具体分析如下: 生成器表达式是用来生成函数调用时序列参数的一种迭代器写法 生成器对象可以遍历或转化为列表(或元组等数据结...

OpenCV2.3.1+Python2.7.3+Numpy等的配置解析

OpenCV2.3.1+Python2.7.3+Numpy等的配置解析

最近自己准备学习Python,之前也看了点基础知识。做图形这块需要用到OpenCV所以就需要配置环境,之前准备用的是Python3,后来发现好多python貌似并不兼容Python3,所...