E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Transformer
[模型学习]
Transformer
机制及其过程
Transformer
的基本结构
Transformer
模型结构与seq2seq模型类似,
Transformer
是一种编码器-解码器结构的模型
Transformer
的过程——编码器(Encoder)Encoder
Amigo_5610
·
2024-02-20 04:46
学习
transformer
-Attention is All You Need(二)
transformer
中的解码器解码器层每个解码器层根据给定的输入向目标方向进行特征提取,即完成解码过程
transformer
的解码器也是一个自回归模型,根据编码器的结果以及上一次预测的结果,对下一次可能出现的值进行特征表示
liaolaa
·
2024-02-20 04:45
transformer
深度学习
人工智能
Sora 和之前 Runway 在架构上的区别
答:简单来说Runway是基于扩散模型(DiffusionModel)的,而Sora是基于Diffusion
Transformer
。
richerg85
·
2024-02-20 03:00
人工智能
AIGC
openai
【AIGC】大语言模型
这些模型基于
Transformer
架构,其中包含多头注意力层,堆叠在一个非常深的神经网络中。常见的LLM包括GPT-3、PaLM、Gala
AIGCExplore
·
2024-02-20 02:57
AIGC
AIGC
语言模型
人工智能
OpenAI全新发布文生视频模型:Sora!
我们利用对视频和图像潜在代码的时空Patches进行操作的
Transformer
架构。我
凌青羽
·
2024-02-20 01:39
#
AIGC
Sora
OpenAI
AIGC
文生图
Sora技术报告——Video generation models as world simulators
文章目录1.视频生成模型,可以视为一个世界模拟器2.技术内容2.1将可视数据转换成patches2.2视频压缩网络2.3SpacetimeLatentPatches2.4Scaling
transformer
s
我想静静,
·
2024-02-20 01:24
AGI
sora
ai
openAI的sora的技术原理是什么
OpenAI的Sora模型是一个视频生成模型,与GPT模型类似,Sora使用了
Transformer
架构,有很强的扩展性。
kfjh
·
2024-02-20 01:23
transformer
【论文精读】ESViT
摘要基于
transformer
的SSL方法在ImageNet线性检测任务上取得了最先进的性能,其关键原因在于使用了基于对比学习方法训练单尺度
Transformer
架构。
None-D
·
2024-02-19 22:40
自监督学习
深度学习
人工智能
计算机视觉
算法
【论文精读】DALL·E
摘要本文利用从互联网上收集的2.5亿个图像/文本对数据,训练了一个120亿参数的自回归
transformer
,进而得到一个可以通过自然语言/图像控制生成的高保真图像生成模型。
None-D
·
2024-02-19 22:40
图像生成
深度学习
人工智能
计算机视觉
生成对抗网络
gan
transformer
GPT
【论文精读】Latent Diffusion
摘要Diffusionmodels(DMs)被证明在复杂自然场景的高分辨率图像合成能力优于以往的GAN或autoregressive(AR)
transformer
。
None-D
·
2024-02-19 22:03
图像生成
人工智能
deep
learning
深度学习
计算机视觉
算法
stable
diffusion
利用ChatGPT提升工作效率
ChatGPT,全称GenerativePre-trained
Transformer
,是一种基于深度学习的自然语言处理技术。它由OpenAI团队开发,并已经在2018年6
沐知全栈开发
·
2024-02-19 21:49
chatgpt
ChatGPT魔法1: 背后的原理
的三个阶段1)上世纪50~60年代,计算机刚刚产生2)Machinelearning3)Deeplearning,有神经网络,最有代表性的是ChatGPT,GPT(GenerativePre-Trained
Transformer
王丰博
·
2024-02-19 18:22
GPT
chatgpt
深度学习的应用实例
自然语言处理(NLP)情感分析:深度学习模型如循环神经网络(RNN)和
Transformer
等已被广泛用于情感分析任务,例如识别文本中的情感倾向或情感类别。
数字化信息化智能化解决方案
·
2024-02-19 16:27
深度学习
人工智能
人工智能技术应用笔记(二):OpenAI SORA文生视频模型技术报告全文中英对照 (GPT4翻译+人工润色)
Turningvisualdataintopatches(将视觉数据转换为图像块)Videocompressionnetwork(视频压缩网络)SpacetimeLatentPatches(隐空间时空编码块)Scaling
transformer
sforvideogeneration
穿越光年
·
2024-02-19 16:25
人工智能技术应用
人工智能
学习
笔记
【AGI视频】Sora的奇幻之旅:未来影视创作的无限可能
Sora基于先进的
Transformer
架构,将AI与人类的创造力完美结合,为观众带来了前所未有的视听盛宴。Sora原理及代码Sora的核心原理基于先进的扩散模型。
德天老师
·
2024-02-19 16:24
AI模型专栏
AI故事专栏
Python
提升
agi
音视频
OpenAI:Sora视频生成模型技术报告(中文)
我们利用
transformer
架构,在视频和图像潜在代码的时空补丁上运行。我们最大的模型Sora能够生成一分钟的高保真视频。我们的结果表明,缩放视频生成模型是构建物理世界通用模拟器的一条有希望的道路。
缘起性空、
·
2024-02-19 16:21
人工智能
OpenAI视频生成模型Sora背后的技术及其深远的影响
其核心技术包括使用视觉块编码将不同格式的视频统一编码成
Transformer
可训练的嵌入向量,以及类似于扩散过程的UNet方法进行降维和升维的加噪与去噪操作。
知来者逆
·
2024-02-19 16:45
Sora
Sora
文字生成视频
视频生成
OpenAI
初识OLMo,一个完全开源的大模型代码
[all]orpipinstallai2-olmo2.基础的推理fromhf_olmoimport*#registerstheAuto*classesfrom
transformer
simportAutoModelForCausal
瓶子好亮
·
2024-02-19 15:47
10天学完OLMo
人工智能
语言模型
ai
peft库编写逻辑分析
Peft库编写逻辑分析(以LLaMa+prefix为例)Peft库加载finetune模型分析Peft生成代码importtorchfrompeftimportPeftModelfrom
transformer
simport
瓶子好亮
·
2024-02-19 15:17
python
深度学习
pytorch
Transformer
实战-系列教程19:DETR 源码解读6(编码器:
Transformer
Encoder类/
Transformer
EncoderLayer类)
Transformer
实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1(项目配置/CocoDetection
机器学习杨卓越
·
2024-02-19 13:45
Transformer实战
transformer
深度学习
pytorch
DETR
人工智能
计算机视觉
Transformer
实战-系列教程20:DETR 源码解读7(解码器:
Transformer
Decoder类/
Transformer
DecoderLayer类)
Transformer
实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1(项目配置/CocoDetection
机器学习杨卓越
·
2024-02-19 13:45
Transformer实战
transformer
深度学习
计算机视觉
DETR
人工智能
物体检测
Transformer
实战-系列教程18:DETR 源码解读5(
Transformer
类)
Transformer
实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1(项目配置/CocoDetection
机器学习杨卓越
·
2024-02-19 13:44
Transformer实战
transformer
深度学习
人工智能
pytorch
DETR
物体检测
Attention Is All Your Need论文笔记
提出了一个新的简单网络架构——
transformer
,仅仅是基于注意力机制,完全免去递推和卷积,使得神经网络训练地速度极大地提高。
xiaoyan_lu
·
2024-02-19 13:09
论文笔记
论文阅读
PointMixer论文阅读笔记
MLP-mixer是最近很流行的一种网络结构,比起
Transformer
和CNN的节构笨重,MLP-mixer不仅节构简单,而且在图像识别方面表现优异。
ZHANG8023ZHEN
·
2024-02-19 13:35
论文阅读
笔记
MTR++论文阅读
不过在infer的时候这一部分不会进行用数据集聚类获得query轨迹点(goal点):将goal点也进行
Transformer
,并且让上一帧模型的结果用于下一帧的模型推理,可以使模型的推
ZHANG8023ZHEN
·
2024-02-19 13:35
论文阅读
Transformer
实战-系列教程21:DETR 源码解读8 损失计算:(SetCriterion类)
Transformer
实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1(项目配置/CocoDetection
机器学习杨卓越
·
2024-02-19 13:03
Transformer实战
transformer
深度学习
人工智能
计算机视觉
DETR
物体检测
多模态基础---BERT
1.BERT简介BERT用于将一个输入的句子转换为word_embedding,本质上是多个
Transformer
的Encoder堆叠在一起。
aolaf
·
2024-02-19 12:02
AIGC
bert
人工智能
深度学习
关于VIT(Vision
Transformer
)的架构记录
在VIT模型设计中,尽可能地紧密遵循原始的
Transformer
模型(Vaswani等人,2017年)。
一条小小yu
·
2024-02-19 12:53
transformer
深度学习
人工智能
关于Swin
Transformer
的架构记录
Swin
Transformer
可以说是批着
Transformer
外表的卷积神经网络。具体的架构如下图所示:首先我们得到一张224*224*3的图片。通过分成4*4的patch,变成了56*56*48。
一条小小yu
·
2024-02-19 12:53
transformer
深度学习
人工智能
Transformer
能解释一切吗?
提出
Transformer
的那篇论文《AttentionisAllYouNeed》问世已经是六年前的事了。当初的8位论文作者有6人出自谷歌,但到现在大多也已转身寻找新的故事。
软件工匠
·
2024-02-19 12:45
网络
大数据
数据库
NLP_BERT与GPT争锋
文章目录介绍小结介绍在开始训练GPT之前,我们先比较一下BERT和GPT这两种基于
Transformer
的预训练模型结构,找出它们的异同。
you_are_my_sunshine*
·
2024-02-19 12:13
NLP
大模型
自然语言处理
bert
gpt
flutter报错总结
becausethefollowingdependenciesdon'tsupportnullsafety:package:flutter_swiperpackage:flutter_page_indicatorpackage:
transformer
_page_viewForsolutions
孤雁_南飞
·
2024-02-19 11:45
【报告解析】OpenAI Sora视频模型官方报告全解析 | 效果,能力以及基本原理
省流版1核心数据处理将视频数据整合成一个一个的Patch,方便统一训练数据,利用扩散
Transformer
架构2功能效果除了可以实现基础的文生视频外,实际上还有非常惊艳的视频延展,视频编辑,视频连接等多种功能
Qodicat
·
2024-02-19 11:54
Midjourney
音视频
SORA:OpenAI最新文本驱动视频生成大模型技术报告解读
Turningvisualdataintopatches:将视觉数据转换为补丁3、Videocompressionnetwork:视频压缩网络4、SpacetimeLatentPatches:时空潜在补丁5、Scaling
transformer
sforvideogeneration
_企鹅_
·
2024-02-19 11:21
计算机视觉
#
计算机知识科普
音视频
stable
diffusion
OpenAI视频生成模型Sora的全面解析:从扩散
Transformer
到ViViT、DiT、NaViT、VideoPoet
前言真没想到,距离视频生成上一轮的集中爆发(详见《视频生成发展史:从Gen2、EmuVideo到PixelDance、SVD、Pika1.0、W.A.L.T》)才过去三个月,没想OpenAI一出手,该领域又直接变天了自打2.16日OpenAI发布sora以来,不但把同时段Google发布的GemmiPro1.5干没了声音,而且网上各个渠道,大量新闻媒体、自媒体(含公号、微博、博客、视频)做了大量的
v_JULY_v
·
2024-02-19 10:27
扩散Transformer
ViViT
DiT
VideoPoet
视频生成
OpenAI
Sora
NLP_GPT到ChatGPT
GPT:2018年,OpenAl发布了这款基于
Transformer
架构的预训练语言模型,其参数数量为1.17亿(117M)。
you_are_my_sunshine*
·
2024-02-15 09:39
NLP
大模型
自然语言处理
gpt
chatgpt
LLM大模型相关问题汇总---包括问题与答案
-
Transformer
体系:由Google提出的
Transformer
模型及其变体,如BERT、GPT等。
lichunericli
·
2024-02-15 09:56
LLM
人工智能
语言模型
Transformer
s中的Beam Search高效实现
来自:纸鱼AI目前Github上的大部分实现均针对于单个样本的beamsearch,而本文主要介绍了针对单个样本和批量样本的beamsearch实现。本文代码可以点击“查看原文”找到BeamSearch的原理设输入序列为,输出序列为,我们需要建模如下概率分布:(公式向右滑动)在执行解码时,我们有几种选词方案,第一种则是穷举所有可能序列,这种成本过大无法承受。如果每一步都选择概率最大的词,这种解码方
zenRRan
·
2024-02-15 08:13
算法
python
深度学习
机器学习
搜索引擎
Attention +
Transformer
学习记录(二)
目录a.注意力机制和自注意力机制的区别b.引入自注意力机制的原因c.计算公式d.代码实现二、Multi-HeadAttention1.Multi-HeadAttention的计算2.位置编码三、
Transformer
LLC74
·
2024-02-15 08:41
transformer
学习
深度学习
[机器学习]详解
transformer
---小白篇
1.背景:
Transformer
是2017年的一篇论文《AttentionisAllYouNeed》提出的一种模型架构,这篇论文里只针对机器翻译这一种场景做了实验,并且由于encoder端是并行计算的,
是安澜啊
·
2024-02-15 08:11
深度学习
神经网络
如何使用Hugging Face:对
Transformer
和pipelines的介绍
一、
transformer
介绍众所周知,
transformer
模型(如GPT-3、LLaMa和ChatGPT)已经彻底改变了人工智能领域。
第欧根尼的酒桶
·
2024-02-15 08:10
transformer
深度学习
人工智能
基于
Transformer
的机器学习模型的主动学习
主动学习和基于
Transformer
的机器学习模型的结合为有效地训练深度学习模型提供了强有力的工具。通过利用主动学习,数据科学家能够减少训练模型所需的标记数据的数量,同时仍然达到高精度。
第欧根尼的酒桶
·
2024-02-15 08:09
transformer
机器学习
学习
FaE:基于符号知识的适应性和可解释的神经记忆
AdaptableandInterpretableNeuralMemoryoverSymbolicKnowledge论文作者:GoogleResearch论文地址:https://arxiv.org/abs/2007.00849收录会议:NAACL202101介绍大规模语言模型,如BERT、
Transformer
NLP论文解读
·
2024-02-15 08:36
Task6 基于深度学习的文本分类3
基于深度学习的文本分类学习目标了解
Transformer
的原理和基于预训练语言模型(Bert)的词表示学会Bert的使用,具体包括pretrain和finetune文本表示方法Part4
Transformer
listentorain_W
·
2024-02-15 07:53
四、OpenAI之文本生成模型
文本生成模型OpenAI的文本生成模型(也叫做生成预训练的转换器(Generativepre-trained
transformer
s)或大语言模型)已经被训练成可以理解自然语言、代码和图片的模型。
挑大梁
·
2024-02-14 15:08
#
大模型入门
人工智能
gpt-3
chatgpt
语音识别
自然语言处理N天-AllenNLP学习(实现简单的词性标注)
新建MicrosoftPowerPoint演示文稿(2).jpg1.前言在了解了
Transformer
之后,这个模型是否可用呢?
我的昵称违规了
·
2024-02-14 12:54
使用模型Helsinki-NLP/opus-mt-en-zh实现英译中
googlecodlab运行需要5秒from
transformer
simportAutoModel,AutoTokenizer,MarianMTModelfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921
·
2024-02-14 11:18
huggingface
自然语言处理
机器翻译
人工智能
在pipeline中使用distilbert-base-uncased-finetuned-sst-2-english模型做sentiment-analysis情感分析
googlecolab运行成功:from
transformer
simportAutoTokenizer,AutoModel,pipelinefromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921
·
2024-02-14 11:48
huggingface
java
数据库
前端
huggingface pipeline零训练样本分类Zero-Shot Classification的实现
fromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')from
transformer
simportMBartForConditionalGeneration
hehui0921
·
2024-02-14 11:47
huggingface
分类
python
数据挖掘
使用LORA微调RoBERTa
RoBERTa(RobustlyoptimizedBERTapproach)是由FacebookAI提出的一种基于
Transformer
架构的预训练语言模型。
deephub
·
2024-02-14 08:15
python
深度学习
pytorch
语言模型
lora
transformer
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他