encoder-decoder

论文阅读笔记|NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

在传统的Encoder-Decoder模型中，源文本被Encoder转化为一个固定长度的向量，而Decode
BillDingDJ·2019-05-18 15:00

Baby Talk and Neural Baby Talk

code文章列出了传统babytalk，neuralbabytalk和主流encoder-decoder三种生成图像描述方法的示意图。这个方法主要的思
fuxin607·2019-05-16 21:54

CVPR 2019 | 基于场景图信息的图像描述生成方法

在imagecaptioning任务中，常规的encoder-decoder框架都是利用检测网络，如CNN提取特征，然后直接送到decoder端进行解码生成句子。
a609640147·2019-05-05 09:04

transformer 翻译模型

google出品,基于encoder-decoder架构的seq2seq自然语言翻译模型.paper见参考[1].创新之处是弃用RNN,CNN这样的结构,采用self-attention与positional-encoding
yichudu·2019-04-21 23:36

transformer

传统的神经机器翻译大都是利用RNN或者CNN来作为encoder-decoder的模型基础，而谷歌最新的只基于Attention的T
Mr_wuliboy·2019-04-10 10:49

计算机视觉中attention机制的理解

文章提出，以往nlp里大量使用RNN结构和encoder-decoder结构，RNN及其衍生网络的缺点就是慢，问题在于前后隐藏状态的依赖性，无法实现并
托尼小白·2019-04-04 16:36

深度学习：transformer模型

arxiv上的一篇文章《Attentionisallyouneed》，提出解决sequencetosequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder
AcceptedLin·2019-03-30 15:21

Attention如何在Encoder-Decoder循环神经网络中见效（原理篇）

转眼间来到了二年级下学期，马上就要面临找工作的巨大压力。起风了，唯有努力生存~愿努力可以有所成效。这一篇想要讲一讲Attention机制。文章框架主要翻译自HowDoesAttentionWorkinEncoder-DecoderRecurrentNeuralNetworks，也参考了一些笔者觉得比较不错的博客。Attention（注意力机制）是为了提高Encoder-DecoderRNN在机器翻
翻滚的老鼠屎·2019-03-26 15:37

【深度学习】各种注意力机制：encoder-decoder,self-attention,multi-head attention的区别

最近以QA形式写了一篇nlp中的Attention注意力机制+Transformer详解分享一下自己的观点，目录如下：一、Attention机制剖析1、为什么要引入Attention机制？2、Attention机制有哪些？（怎么分类？）3、Attention机制的计算流程是怎样的？4、Attention机制的变种有哪些？5、一种强大的Attention机制：为什么自注意力模型（self-Atten
UESTC_20172222·2019-03-24 21:04

Transformer 与BERT模型

Transformer与BERT模型1.Transformer1.1序列到序列任务与Encoder-Decoder框架1.2Transformer的优势1.3Transformer的框架原理参考链接2.
紫砂痕·2019-03-22 22:37

编码器—解码器和注意力机制

输入是可以是英语的一段话，输出可以是法语的一段话，输入和输出皆不定长，例如英语：Theyarewatching.法语：Ilsregardent.当输入输出都是不定长序列时，我们可以使用编码器—解码器（encoder-decoder
lizzy05·2019-03-19 00:04

深度学习的attention机制笔记

原文关于深度学习中的注意力机制，这篇文章从实例到原理都帮你参透了不能转载，就自己摘要了一些．attention机制源于人类快速处理视觉信息的大脑机制．通过重点关注目标区域，抑制无关区域，从而从大量信息中快速筛选出有价值的信息Encoder-Decoder
koibiki·2019-03-18 19:01

【Show, Attend and Tell】--- 阅读笔记

转自对酒当鸽CSDN这篇论文提出了Attention机制对于Encoder-Decoder进行改进。在Encoder-Decoder结构中，Encoder将输入序列编码为hnh_nhn。
PandaDreamer·2019-03-14 20:02

零基础学nlp【2】 注意力机制(Neural machine translation by jointly learning to align and translate)

BengioY.Neuralmachinetranslationbyjointlylearningtoalignandtranslate[J].arXivpreprintarXiv:1409.0473,2014主要内容在使用encoder-decoder
rory0114·2019-03-08 16:51

SegNet 笔记

2019March08segnetSegNet笔记关键点encode-decode结构upsampling：poolingindices一、网络结构SegNet是一个encoder-decoder的网络结构
cpongo3·2019-03-08 10:37

Encoder-Decoder具体过程

原文链接Encoder的具体实现input:不是原始的序列，而是将序列中的每个元素都转换为字典中对应的id。不管是train还是inference阶段，为了效率都是一次输入一个mini-batch，所以需要为input定义一个int型rank=2的placeholder。？embedding：embedding作用，定义为trainable=True的变量，这样即使使用pre-trained的词向
jiaqi71·2019-02-22 14:07

attention、self-attention、transformer和bert模型基本原理简述笔记

my.oschina.net/u/3851199/blog/30124762019独角兽企业重金招聘Python工程师标准>>>attention以google神经机器翻译(NMT)为例无attention：encoder-decoder
weixin_33836874·2019-02-20 16:00

[LSTM学习笔记7]How to Develop Encoder-Decoder LSTMs

一.结构Encoder-DecoderLSTM是为了解决NLP问题开发的，在统计机器翻译领域展示出强大的性能。这种架构常用于：MachineTranslationLearningtoExecuteConversationalModelingMovementClassification示例：model=Sequential()model.add(LSTM(...,input_shape=(...))
cskywit·2019-02-19 17:29

transformer

arxiv上的一篇文章《Attentionisallyouneed》，提出解决sequencetosequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder
Xwei1226·2019-02-14 16:34

Seq2Seq模型应用案例

Seq2Seq模型应用案例（：Seq2Seq是Encoder-Decoder（编码器与解码器）模型，输入是一个序列,输出也是一个序列，适用于输入序列与输出序列长度不等长的场景，如机器翻译、人机对话、聊天机器人等
段智华·2019-02-12 20:38

机器翻译Seq2Seq(Encoder-Decoder)+Attention模型Tensorflow实现

英法机器翻译Tensorflow代码实现1、Encoder-Decoder在网上大家能够找到很多关于，sequencetosequence模型。
梯度下降·2019-02-12 11:50

NLP课程：Encoder-Decoder框架、Attention、Transformer、ELMO、GPT、Bert学习总结

Encoder-Decoder框架：可以把它看作适合处理由一个句子（或篇章）生成另外一个句子（或篇章）的通用处理模型。
张楚岚·2019-01-31 11:48

[深度学习概念]·深度学习Transformer模型介绍

Transformer结构亮点self-AttentionMultiHeadAttentionpositionEncoding总结一下动机常见的seq2seq问题，比如摘要提取，机器翻译等大部分采用的都是encoder-decoder
小宋是呢·2019-01-18 22:36

图解什么是 Transformer

Transformer在机器翻译任务上的表现超过了RNN，CNN，只用encoder-decoder和attention机制就能达到很好的效果，最大的优点是可以高效地并行化。
Alice熹爱学习·2019-01-10 15:09

【译】Keras中实现带有attention机制的encoder-decoder rnn 结构

最近正好要实现带有attention机制的encoder-decoder结构，发现Jason大神https://machinelearningmastery.com/encoder-decoder-attention-sequence-to-sequence-prediction-keras
婶婶world_peace·2019-01-07 14:05

Seq2Seq(Encoder-Decoder)、Attention的详细介绍

目录Seq2Seq介绍与挑战Encoder-Decoder结构Encoder-Decoder模型的四种结构直接编码-解码模型（DirectEncoder
婶婶world_peace·2018-12-24 22:42

在NLP中广泛应用的transformer（Self-Attention）剖析笔记

在NLP中广泛应用的transformer（Self-Attention）的剖析笔记模块剖析整体框图Encoder-Decoder框架EncoderInputEmbeddingPositionalEncodingEncoderstacksMulti-HeadAttentionExampleforhowSelf-AttentionworksWhyMulti-HeadFeedForwardDecode
zhyuxie·2018-12-21 09:13

循环神经网络及其变体的学习与博客总结

它有很多变体，比如LSTM和GRU，这一部分还涉及到Seq-2-Seq、Encoder-Decoder和Attention知识点，总之内容很多，需要细学与总结。
婶婶world_peace·2018-12-14 22:12

【Transformer模型】：Attention is all your need(附attention的代码)

这篇论文摒弃了传统encoder-decoder模型必须结合cnn或者rnn的固有模式，只用了attention模型，可谓大道至简。
DivinerShi·2018-12-12 21:29

深度学习：transformer模型

arxiv上的一篇文章《Attentionisallyouneed》，提出解决sequencetosequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder
-柚子皮-·2018-12-10 21:24

注意力机制实现机器翻译

上图是Encoder-Decoder模型，Decoder中每个单词生成过程如下：其中C是“语义编码C”，f是Decoder的非线性变换函数。
醇岩·2018-12-08 00:00

详解Transformer模型（Atention is all you need）

1概述在介绍Transformer模型之前，先来回顾Encoder-Decoder中的Attention。
微笑sun·2018-12-05 16:00

TensorFlow学习之LSTM ---机器翻译（Seq2Seq + Attention模型）

这两个循环神经网络分别称为编码器（Encoder）和解码器（Decoder），所以也称为encoder-decoder模型。
CharlesWu123·2018-12-04 19:08

Encoder-Decoder模型学习中（更新中）

毕业答辩要做，导师给了Encoder-Decoder模型，完全不知道是什么？希望用笔记的方式记录下学习的过程。
qq_36098284·2018-11-25 19:28

RNN激活函数、Encoder-Decoder、Seq2Seq、Attention

RNN中为什么使用使用tanh激活，不用sigmoid、ReluSigmoid函数的导数范围是(0,0.25],Tanh函数的导数是(0,1]。由于RNN中会执行很多累乘，小于1的小数累乘会导致梯度越来越接近于0,出现梯度消失现象。Tanh与Sigmoid相比，梯度更大，收敛速度更快并且出现梯度消失的情况要优于Sigmoid。另一点是Sigmoid的输出均大于0，不是零对称的，这会导致偏移现象，因
-牧野-·2018-11-23 16:01

All you need is attention（Tranformer） --学习笔记

1、回顾传统的序列到序列的机器翻译大都利用RNN或CNN来作为encoder-decoder的模型基础。实际上传统机器翻译基于RNN和CNN进行构建模型时，最关键一步就是如何编码这些句子的序列。
Juanly Jack·2018-11-16 17:43

机器学习与深度学习系列连载： 第二部分 深度学习（十八) Seq2Seq 模型

特点是：Encoder-Decoder大框架适用于语言模型、图片模型、甚至是预测1.RNN相关的生成应用：(1)作诗(2)图片生成pixelRNN2.条件生成ConditionGeneration：我们生成的结构化的结果是基于一个条件的基础
人工智能插班生·2018-11-13 09:05

【论文笔记】Neural Machine Translation by Jointly Learning to Align and Translate

NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate--这篇论文算是在自然语言处理(NLP)中或是encoder-decoder中第一个使用
我从崖边跌落·2018-11-05 22:58

深度学习中的注意力机制(Attention Model)

目录一、人类的视觉注意力二、Encoder-Decoder框架三、Attention模型四、SoftAttention模型Attention机制的本质思想五、SelfAttention模型六、Attention
hearthougan·2018-11-05 00:00

详解注意力机制（Attention）——Global/Local/Self Attention

详解注意力（Attention）机制注意力机制在使用encoder-decoder结构进行神经机器翻译（NMT）的过程中被提出来，并且迅速的被应用到相似的任务上，比如根据图片生成一段描述性语句、梗概一段文字的内容
盐味橙汁·2018-10-25 21:28

2. Attention Is All You Need（Transformer）算法原理解析

1.语言模型2.AttentionIsAllYouNeed（Transformer）算法原理解析3.ELMo算法原理解析4.OpenAIGPT算法原理解析5.BERT算法原理解析6.从Encoder-Decoder
hyc339408769·2018-10-18 23:00

Attention本质剖析

Why语音识别或机器翻译领域传统Encoder-Decoder方案遇到性能瓶颈。
chinabing·2018-10-13 13:02

Attention机制

在sequence-to-sequence学习中，输入和输出都是序列，通常采用Encoder-Decoder的框架进行处理。
zxhohai·2018-09-24 22:51

摒弃encoder-decoder结构，Pervasive Attention模型与Keras实现

1.引言现有的主流机器翻译模型，基本都是基于encoder-decoder的结构，其思想就是对于输入句子序列，通过RNN先进行编码（encoder），转化为一个上下文向量contextvector，然后利用另一个
林楚海·2018-09-15 17:46

论文阅读：Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

google出品，deeplabv3+，在v3的基础上添加了decoder模块，以此来改进算法，在性能上有0.8%的提升。写的蛮不错的，做了很多实验来论证，insight也很清楚，motivation也讲得很明白。给作者笔芯芯。
涂山容容·2018-09-13 23:39

Encoder-Decoder模型和Attention模型

1.Encoder-Decoder模型及RNN的实现所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。那么seq2seq又是什么呢？
奔跑的毛毛虫·2018-09-11 22:51

使用Encoder-Decoder模型自动生成对联的思路——encode-decoder理解（3）

|Encoder-Decoder模型Encoder-Decoder框架可以看作是一种文本处理领域的研究模式，应用场景异常广泛。
奔跑的毛毛虫·2018-09-11 22:12

深度学习（BOT方向） 学习笔记（2） RNN Encoder-Decoder 及 LSTM 学习

再看RNNEncoder-Decoder框架这里复习下Sequence2Sequence任务到底是什么，所谓的Sequence2Sequence任务主要是泛指一些Sequence到Sequence的映射问题，Sequence在这里可以理解为一个字符串序列，当我们在给定一个字符串序列后，希望得到与之对应的另一个字符串序列（如翻译后的、如语义上对应的）时，这个任务就可以称为Sequence2Seque
奔跑的毛毛虫·2018-09-11 21:35

人脸对齐（二十一）--A Recurrent Encoder-Decoder Network for Sequential Face Alignment

转自：https://blog.csdn.net/shuzfan/article/details/52438910本次介绍一篇关于人脸关键点检测(人脸对齐)的文章：《ECCV16ARecurrentEncoder-DecoderNetworkforSequentialFaceAlignment》.作者主页：https://sites.google.com/site/xipengcshomepage
Eason.wxd·2018-08-22 15:12

Seq2Seq+Attention+Beam Search

Seq2SeqSeq2Seq本质上是条件生成模型（ConditionalGeneration），在现有的模型中，看图说话（Imagecaption）也是类似的条件生成模型，它们的结构很类似，如下图所示都是Encoder-Decoder
Ding_xiaofei·2018-08-10 10:03
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他