Decoder

Transformer onnx模型的导出

0.Encoder.onnx和decoder.onnxSeq2seq结构也称为encoder-decoder结构，在decoder结构为单步解码时，seq2seq的导出的与只有encoder时（如BERT
haroldLiu001·2023-01-30 08:37

Transformer模型压缩

这里只讨论transformer机制的seq2seq结构，模型压缩的方法主要涉及：1.模型尺寸减少如以下参数尺寸的减少--num_encoder_layers--num_decoder_layers--
haroldLiu001·2023-01-30 08:07

Seq2Seq模型

Seq2Seq模型实际上是一个Encoder-Decoder的网络模型，由Encoder将变长的序列编码压缩成固定长度的向量，然后由Decoder将解码成目标序列Seq2Seq[GO]启动序列的解码，当解码到输出
_Megamind_·2023-01-30 08:23

Netty之Http与Websocket

HTTP（应用层协议）默认是80端口，最早推出于1991年请求/响应客户端：HttpResponseDecoder解码器，处理服务端的响应HttpRequestEncoder编码器，处理服务端请求服务端
闪电7·2023-01-29 15:35

SimSwap: An Efficient Framework For High Fidelity Face Swapping

offificalinfernececode背景Deepfake式的换脸decoder的目的是将B的脸换到A的头上。但输入特征是由从B处得到，因此要求decoder学习到了A的表示。
咆哮的阿杰·2023-01-29 11:18

手撕transformer

1.从encoder-decoder说起encoder-decoder是一个框架，在生成模型中使用广泛，这里以翻译系统为例。
3ce0470dc2f4·2023-01-29 11:40

【Pytorch项目实战】之机器翻译：编码器-解码器、注意力机制AM

文章目录机器翻译-中英文翻译算法一：编码器-解码器（Encoder-Decoder）算法二：注意力机制（AttentionModel，AM）2.1为何要引入注意力机制？
胖墩会武术·2023-01-29 11:11

基于torch函数TransformerEncoder出现AssertionError问题的解决

在使用transformermodel时，由于存在encoder-decoder,encoder-only,decoder-only三种结构以应对不同的task。
小乖乖的臭坏坏·2023-01-29 10:37

2021-09-10reading

双向模型只在encoder，不在decoder（前向预测）吗？类的继承github页面上传只有25M类的写法，其中继承自父类的构造方法写作super.
Cipolee·2023-01-28 23:59

FFmpeg4Android：音频解码

新建，MedioPlayer项目，其目录结构如下：目录结构java端代码，MainActivity.java：packagecom.lzp.decoder;importjava.io.File;importcom.lzp.decoder.vie
walker不抽烟·2023-01-28 19:53

Netty源码笔记（三）LengthFieldBasedFrameDecoder

在RPC通信中，对于接收到的二进制字节流，我们必须要能确定每一条消息的边界，然后进行反序列化解析成相应的消息对象，去进行相应的业务处理。常用的确定消息边界的方式有两种：1、长度前缀法。就是在每一条消息的前面固定几个字节来表示当前这条消息的长度，以此来界定一条完整的消息；2、字符分隔法。在一串二进制流中，每两条消息之间、每个字段之间以特殊的字符分隔开，来确定每条消息每个字段。Netty实现了一些列开
李亚林1990·2023-01-28 14:25

Encoder-decoder模型及Attention机制

Encoder-decoder模型及Attention机制论文Encoder-Decoder模型EncoderDecoder存在问题Attention机制decoderencoder推荐文章NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate
Sais_Z·2023-01-28 08:30

Encoder-Decoder、Attention、Transformer

Encoder-Decoder、Attention、Transformer1、Encoder-Decoder2、Attention2.1SoftAttention公式求解2.2代码2.2.1Encoder2.2.2Attention2.2.3Decoder3
u010823625·2023-01-28 08:30

从Encoder-Decoder到Attention

参考大白话浅谈注意力机制64注意力机制【动手学深度学习v2】Attention机制详解（二）——Self-Attention与TransformerEncoder-Decoder架构文本处理和语音识别的
HDU-Dade·2023-01-28 08:29

Transformer进阶分解之Encoder-Decoder、Self-Attention

Transformer进阶分解一、Encoder-Decoder1.1简介1.2结构1.3缺点二、AttentionModel2.1Attention注意力机制简介（一）Attention2.1.1Attention
Wabi―sabi·2023-01-28 08:29

Encoder/Decoder/Attention/Transformer

Attention:本质：从全部关注→重点关注，将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。1）SoftAttention：是比较常见的Attention方式，对所有key求权重概率，每个key都有一个对应的权重，是一种全局的计算方式（也叫GlobalAttention）。这种方式比较理性，参考了所有key的内容，再进行加权。但计算量较大。2）HardAttention：直
lalalacodegogogo·2023-01-28 08:59

再梳理一下seqtoseq，encoder-decoder，attention,transformer的概念

1.encoder-decoder模型不是具体的某一种算法，而是一类算法的统称，经常用于NLP领域(比如中文翻英文)在这里，encoder和decoder都可以选择cnn,rnn,lstm,birnn,
浅蓝的爽肤水·2023-01-28 08:28

Grounded Conversation Generation as Guided Traverses in Commonsense Knowledge Graphs

任务描述user输入话语X（有m个单词），对话生成模型使用encoder-decoder框架产生回答ConceptGraphConstruction先找到出现在对话里的概念V_0，然后再去常识库找到1-
xiaomao979·2023-01-28 07:15

Transformer 中的mask

简单聊聊transformer里的mask——转载自链接一1.paddingmask在encoder和decoder两个模块里都有paddingmask，位置是在softmax之前，为什么要使用paddingmask
思考实践·2023-01-27 15:20

编码器解码器架构、Seq2Seq简要笔记

编码器解码器架构后续自然语言处理都基本使用这个架构来实现的Seq2Seq最早是用来做机器翻译的，现在用Bert比较多，Seq2Seq是一个Encoder-Decoder的架构，Seq2Seq模型的编码器使用的
思考实践·2023-01-27 11:54

opencv4.1.0+cuda10.0安装

InstallOpenCV=4.1.0(ForCUDA10.0only)CUDA9.xshouldhavenoproblem.VideodecoderisdeprecatedinCUDA10.0.Tohandlethis
搬砖小能手123·2023-01-27 09:22

Transformer笔记

1-1、Transformer的结构：1-2、自注意力机制1-3、使用位置编码表示序列的顺序1-4、Add&Normalize1-5、全连接层FeedForward1-6、Decoder整体结构1-7、
ㄣ知冷煖★·2023-01-27 08:59

Java图片画框，算法标记

不带前缀以9j/开头的*@returnBufferedImage对象*/publicstaticBufferedImagebase64ToBufferedImage(Stringbase64){Base64.Decoderdecoder
蒋仁勇·2023-01-27 06:05

BERT模型

发展史seq-to-seq在encode阶段，第一个节点输入一个词，之后的节点输入的是下一个词与前一个节点的hiddenstate，最终encoder会输出一个context，这个context又作为decoder
1015号居民·2023-01-26 12:47

seq2seq模型实现英文反义词翻译

一、seq2seq简介seq2seq模型是自然语言处理任务中一个常见的模型，于2014年由Google团队提出，该模型的创新之处在于将encoder-decoder框架应用到了RNN/LSTM中，文章中输入序列通过多层
ENJOYTHELIFE321·2023-01-26 03:09

scale_dot_product_attention and multi_head_attention tf2.x

Transformer用到了两个attention模块：一个模块被用于encoder，一个模块位于decoder。
github_元宝·2023-01-25 22:01

【论文阅读】CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding

目录一、简介二、预训练a.Identifier-awareDenoisingPre-trainingb.IdentifierTagging(IT)c.MaskedIdentifierPrediction(MIP)d.BimodalDualGeneration三、实验发表于EMNLP2021paper地址：https://aclanthology.org/2021.emnlp-main.685.pd
知识的芬芳和温柔的力量全都拥有的小王同学·2023-01-25 13:25

【Pre-train】SpeechT5

SpeechT5:Unified-ModalEncoder-DecoderPre-trainingforSpokenLanguageProcessingcodeAbstract本文提出了一种基于encoder-decoder
cxxx17·2023-01-25 13:55

Python中json.loads()无法解析单引号字符串问题的两种解决方法

问题描述：数据传输过程中数据存入数据库是将json文件默认转为字符串，所以导致从数据库中取出数据是字符串，需要用loads进行转化，但是转化的时候报错：json.decoder.JSONDecodeError
柚纸君@blog·2023-01-25 09:58

attention中计算权重值的几种方法

权重αi\alpha_iαidecoder的初始状态是encoder的最后一个状态hmh_mhm，在attention下，encoder的所有状态都要保留下来。
夜色如墨·2023-01-25 07:50

sequence2sequence

Seq2Seq一般是通过Encoder-Decoder（编码-解码）框架实现，Encoder和Decoder部分可以是任意的文字，语音，图像，视频
杨戬没有你我怎么活·2023-01-25 07:43

FastSpeech2代码理解之模型实现（一）

文章目录参考FastSpeech21.FastSpeech2实现2.模型结构FastSpeech2各模块实现1.Encoder2.Decoder3.VarianceAdaptor参考参考项目：FastSpeech2
象牙塔♛·2023-01-25 07:10

【Attention Decoder的三种方式】

三种方式:1、dot方式：直接做点积2、general方式：两个向量之间加入一个参数矩阵，可以训练得到。3、concat方式：两个向量做拼接如下图所示：
A half moon·2023-01-24 15:12

Transformers代码笔记系列1(T5 model）

重要参数注释past_key_value:只有Decoder模型在文本生成过程（训练过程用不上）中才能用到。
真炎破天·2023-01-24 08:11

论文阅读|POET

AbstractIntroductionRelatedWorkTransformersinvisionandbeyondPoseestimationThePOETmodelPOETarchitectureCNNbackboneEncoder-Decodertr
xiaoweiyuya·2023-01-24 07:07

为了小论文之跟着李沐学AI(二十)

Encoder和Decoder其实现在发现其实LSTM,GRU就是一个Encoder和Decoder的例子。我们把最后的全链接层想象成解码前，前面的RNN网络想象成编码器。是不是有那味儿了。
70pice·2023-01-22 23:33

吴恩达《深度学习-序列模型》3 -- 序列模型和注意力机制

1.Basicmodel基础模型例如将法语翻译成英语：首先将法语单词逐个输入到CNN，这部分称为encodernetwork，然后一次输出一个英语单词，这部分称为decodernetwork。
寻梦梦飞扬·2023-01-22 08:52

Attention Model详解

在Encoder-Decoder框架中，在预测每一个yi时对应的语义编码c都是一样的，也就意味着无论句子X中的每个单词对输出Y中的每一个单词的影响都是相同的。
飞驰的拖鞋·2023-01-21 01:21

Attention 理解汇总

在Encoder-Decoder中，预测每个Decoder的语义编码c是一样的，句子X中每个词对输出Y的每个词的影响都是相同的。
Mark_Aussie·2023-01-21 01:50

关于Attention的超详细讲解

文章目录一、动物的视觉注意力二、快速理解Attention思想三、从Encoder-Decoder框架中理解为什么要有Attention机制四、Attention思想步骤五、Self-Attention5.1Self-Attention
WGS.·2023-01-21 01:20

87.序列到序列学习（seq2seq）以及代码实现

1.机器翻译2.Seq2Seq双向RNN可以做encoder，但不能做decoder。
chnyi6_ya·2023-01-20 07:10

Python调用C++代码

仿照darknet中的做法一、首先编写c++的源码，如下：.h文件#ifndef_H264DECODER_H#define_H264DECODER_H...//Opencv#include...
z_muyangren·2023-01-19 18:14

Transformer-Attention is all your need论文详读-PartⅡ(模型架构)

1706.03762*黑字——原文翻译*绿字——主观分析(未对全部细节进行分析，仅针对本文内容补充)3.ModelArchitecture大多数具有竞争力的神经序列转换模型都有一个编码器-解码器(Encoder-Decoder
蛮有趣的_·2023-01-19 15:49

论文阅读：Attention is all you need

文章目录前言前言在seq2seq中,encoder隐层的输出可以当作K,decoder隐层的输出作为Q,这里不能反过来,因为我们是根据注意力过滤掉K的内容,所以K对应encoder比如下面这张图,Q是running
live_for_myself·2023-01-19 12:45

论文阅读笔记：Attention is All You Need

AttentionisAllYouNeed1.摘要2.前言3.模型结构自注意力机制多头自注意力机制注意力机制在Transformer中的应用1.摘要过去最优的模型是带有attention连接的encoder-decoder
Bruce-XIAO·2023-01-19 12:12

RetinaNet解读网络理解

BalancedCrossEntropy4.3，FocalLossDefinition5，代码解读5.1，Backbone5.2，Neck5.3，Head5.4，先验框Anchor赋值5.5，BBoxEncoderDecoder5.6
qq_1041357701·2023-01-19 10:58

Datawhale组队学习NLP之transformer Task03 BERT

Datawhale组队学习NLP之transformerTask03BERT前言一、句子分类二、模型架构1.模型输入2.模型输出三、词嵌入（扩展）1.词嵌入2.语境问题三、BERT：从Decoder到Encoder1
Codewith_jing·2023-01-19 08:24

项目笔记（一）：实验——用神经网络实现midi音乐旋律音轨的确定

零、写在前面计划要用seq2seq模型做一个交响乐编曲程序，encodernetwork的输入是一个乐句旋律，decodernetwork的目标target是这个乐句完整的管弦配乐版本。
weixin_41405111·2023-01-18 20:13

mmsegmentation导出onnx模型的问题

看到了导出的onnx自动执行了sofmax操作，不想要这个操作修改如下代码：改为在encoder_decoder_mapy.pydefsimple_test(self,img,img_meta,rescale
Chen_Nlin·2023-01-18 19:32

端到端语音识别模型LAS（listen-attention-spell）

AttendandSpell(LAS)的神经网络结构，由listener和speller组成，listener是以fbank为输入的pyramidalRNNencoder，speller是基于attention的RNNdecoder
ash.deep·2023-01-18 19:13
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他