博客
关于我
pytorch 激活函数
阅读量:89 次
发布时间:2019-02-26

本文共 627 字,大约阅读时间需要 2 分钟。

mobilefacenet:

prelu 平均106ms

relu 平均94ms,快12ms,快10%

relu6 平均97ms,收敛慢

leakyrelu,平均106ms,收敛更慢。

inplace=True会x把输入前的删掉了,都变成了输入后的,

没有inplace,输入还是输入,输出是新的了。

import torchimport torch.nn as nn#inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出m = nn.LeakyReLU(inplace=True)input = torch.randn(7)print("输入处理前图片:")print(input)output = m(input)print("ReLU输出:")print(output)print("输入处理后图片:")print(input)

 

import torchimport torch.nn.functional as Fconf_mask = torch.FloatTensor([0.0, 1.0, 0.0, 1.0, 1.0])conf_data = torch.FloatTensor([-20.1, -0.9, 0.0, 0.2,0.5,0.99, 2.2])import torchimport torch.nn as nn#inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出

转载地址:http://tpak.baihongyu.com/

你可能感兴趣的文章
MySQL-数据目录
查看>>
MySQL-数据页的结构
查看>>
MySQL-架构篇
查看>>
MySQL-索引的分类(聚簇索引、二级索引、联合索引)
查看>>
Mysql-触发器及创建触发器失败原因
查看>>
MySQL-连接
查看>>
mysql-递归查询(二)
查看>>
MySQL5.1安装
查看>>
mysql5.5和5.6版本间的坑
查看>>
mysql5.5最简安装教程
查看>>
mysql5.6 TIME,DATETIME,TIMESTAMP
查看>>
mysql5.6.21重置数据库的root密码
查看>>
Mysql5.6主从复制-基于binlog
查看>>
MySQL5.6忘记root密码(win平台)
查看>>
MySQL5.6的Linux安装shell脚本之二进制安装(一)
查看>>
MySQL5.6的zip包安装教程
查看>>
mysql5.7 for windows_MySQL 5.7 for Windows 解压缩版配置安装
查看>>
Webpack 基本环境搭建
查看>>
mysql5.7 安装版 表不能输入汉字解决方案
查看>>
MySQL5.7.18主从复制搭建(一主一从)
查看>>