博客
关于我
pytorch 激活函数
阅读量:89 次
发布时间:2019-02-26

本文共 627 字,大约阅读时间需要 2 分钟。

mobilefacenet:

prelu 平均106ms

relu 平均94ms,快12ms,快10%

relu6 平均97ms,收敛慢

leakyrelu,平均106ms,收敛更慢。

inplace=True会x把输入前的删掉了,都变成了输入后的,

没有inplace,输入还是输入,输出是新的了。

import torchimport torch.nn as nn#inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出m = nn.LeakyReLU(inplace=True)input = torch.randn(7)print("输入处理前图片:")print(input)output = m(input)print("ReLU输出:")print(output)print("输入处理后图片:")print(input)

 

import torchimport torch.nn.functional as Fconf_mask = torch.FloatTensor([0.0, 1.0, 0.0, 1.0, 1.0])conf_data = torch.FloatTensor([-20.1, -0.9, 0.0, 0.2,0.5,0.99, 2.2])import torchimport torch.nn as nn#inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出

转载地址:http://tpak.baihongyu.com/

你可能感兴趣的文章
Netty工作笔记0025---SocketChannel API
查看>>
Netty工作笔记0027---NIO 网络编程应用--群聊系统2--服务器编写2
查看>>
Netty工作笔记0050---Netty核心模块1
查看>>
Netty工作笔记0057---Netty群聊系统服务端
查看>>
Netty工作笔记0060---Tcp长连接和短连接_Http长连接和短连接_UDP长连接和短连接
查看>>
Netty工作笔记0063---WebSocket长连接开发2
查看>>
Netty工作笔记0070---Protobuf使用案例Codec使用
查看>>
Netty工作笔记0077---handler链调用机制实例4
查看>>
Netty工作笔记0084---通过自定义协议解决粘包拆包问题2
查看>>
Netty工作笔记0085---TCP粘包拆包内容梳理
查看>>
Netty常用组件一
查看>>
Netty常见组件二
查看>>
netty底层源码探究:启动流程;EventLoop中的selector、线程、任务队列;监听处理accept、read事件流程;
查看>>
Netty心跳检测机制
查看>>
Netty核心模块组件
查看>>
Netty框架内的宝藏:ByteBuf
查看>>
Netty框架的服务端开发中创建EventLoopGroup对象时线程数量源码解析
查看>>
Netty源码—2.Reactor线程模型一
查看>>
Netty源码—3.Reactor线程模型三
查看>>
Netty源码—4.客户端接入流程一
查看>>