transformers 第6页

BERT：来自 Transformers 的双向编码器表示 – 释放深度上下文化词嵌入的力量

BERT是Transformers双向编码器表示的缩写，是2018年推出的改变游戏规则的NLP模型之一。BERT的情感分类、文本摘要和问答功能使其看起来像是一站式NLP模型。

TD程序员·2023-11-06 03:06

10 DETR 论文精读【论文精读】End-to-End Object Detection with Transformers

DETR这篇论文，大家为什么喜欢它？为什么大家说它是一个目标检测里的里程碑式的工作？而且为什么说它是一个全新的架构？大家好，今天我们来讲一篇ECCV20的关于目标检测的论文。它的名字想必大家都不陌生，也就这两年火热的DETR，其实就是detectionTransformer的缩写。这篇论文当时在2020年5月第一次挂到arxiv上的时候，就引起了CV圈的强烈反响，网上很多人都觉得这篇论文应该是EC

云淡风轻__·2023-11-05 20:26

论文阅读—— BiFormer(cvpr2023)

CVPR2023]Officialcodereleaseofourpaper"BiFormer:VisionTransformerwithBi-LevelRoutingAttention"一、介绍1、要解决的问题：transformers

じんじん·2023-11-05 09:53

Transformers使用教程

模型参数下载数据集查找Transformers中文使用说明Huggingface超详细介绍-知乎HuggingFace的Transformers库快速入门文档说明Transformers提供文本相关的预训练模型

来路与归途·2023-11-05 09:03

NLP学习1 - 使用Huggingface Transformers框架从头训练语言模型

摘要由于huaggingface放出了Tokenizers工具，结合之前的transformers，因此预训练模型就变得非常的容易，本文以学习官方example为目的，由于huggingface目前给出的

逆旅ROS·2023-11-03 22:35

利用python GPT-2写一个机器学习模型开发案例

以下是详细的步骤：1.安装所需库首先，我们需要安装一些必要的库，如TensorFlow、numpy和transformers。

田晖扬·2023-11-03 19:45

transformers库使用--模型构建

orangerfun·2023-11-03 02:12

【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

【论文阅读】BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding前言BERT是Google于2018年提出的NLP预训练技术，全称是BidirectionalEncoderRepresentationsfromTransformers，直译可以理解为双向Transformer的Enocder。你可能听说过B

EmoryHuang·2023-11-02 22:58

ModuleNotFoundError: No module named ‘transformers.models.mmbt‘

使用simpletransformers时出现ModuleNotFoundError:Nomodulenamed'transformers.models.mmbt’错误。

hj_caas·2023-11-02 08:29

解决‘BaichuanTokenizer‘ object has no attribute ‘sp_model‘，无需重装transformers和torch

如https://github.com/baichuan-inc/Baichuan2/issues/204中所说：修改下tokenization_baichuan.py，把super()修改到最后执行self.vocab_file=vocab_fileself.add_bos_token=add_bos_tokenself.add_eos_token=add_eos_tokenself.sp_mo

夏离·2023-11-01 18:10

Py之sentence-transformers：sentence-transformers的简介、安装、使用方法之详细攻略

Py之sentence-transformers：sentence-transformers的简介、安装、使用方法之详细攻略目录sentence-transformers的简介1、一些亮点包括2、可以使用此框架进行以下用途

一个处女座的程序猿·2023-11-01 02:46

ICCV 2021 | High-Fidelity Pluralistic Image Completion with Transformers 阅读笔记（部分翻译）

High-FidelityPluralisticImageCompletionwithTransformers作者：ZiyuWan1^11JingboZhang1^11DongdongChen2^22JingLiao1∗^{1*}1∗单位：1^11CityUniversityofHongKong2^22MicrosoftCloud+AI会议：ICCV2021项目地址：raywzy.com/ICTA

ybacm·2023-10-31 18:46

研一入门经验总结

方便复习）积累适合学习、集中精神的方法抱着强目的性去做事情遇到的问题案例与解决方法扩展阅读2.学习方法主动学习读论文的方法看代码的方法小技巧3.代码运行环境深度学习框架（python->pytorch->transformers

SofiaT·2023-10-31 16:57

Are Transformers Effective for Time Series Forecasting论文全文翻译

Transformers对时间序列预测有效吗？摘要最近，针对长期时间序列预测（LTSF）任务的基于Transformer的解决方案激增。

happylife_mini·2023-10-31 06:30

iTransformer: INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTING

#论文题目：ITRANSFORMER:INVERTEDTRANSFORMERSAREEFFECTIVEFORTIMESERIESFORECASTING#论文地址：https://arxiv.org/abs/2310.06625#论文源码开源地址：https://github.com/thuml/Time-Series-Library#论文所属会议：MachineLearning(cs.LG)#论文

堇禤·2023-10-31 06:22

[nlp] 基于 transformers 的 generate() decode推理时解码多样性策略(beam search multinomial sampling)

最近在做文本生成，用到huggingfacetransformers库的文本生成generate()函数，是GenerationMixin类的实现（classtransformers.generation_utils.GenerationMixin），是自回归文本生成预训练模型相关参数的集大成者。因此本文解读一下这些参数的含义以及常用的GreedySearch、BeamSearch、Samplin

心心喵·2023-10-31 03:10

linux操作命令随笔

1、scp拷贝文件假设远程服务器IP：39.02.150.51远程路径：/sentence-transformers/examples本地路径：/sentence-transformers/examples

colourmind·2023-10-30 22:42

【错误解决方案】ModuleNotFoundError: No module named ‘transformers‘

1.错误提示在python程序中，尝试导入一个名为'transformers'的模块，但Python提示找不到这个模块。

DRobot·2023-10-30 18:27

LeCun怒赞！90.4%准确率！DeepMind新作：CNN可媲美视觉Transformer

在相同计算量下，卷积神经网络模型和视觉Transformers模型的性能居然能旗鼓相当

Amusi（CVer）·2023-10-30 17:46

Transformers实战（二）快速入门文本相似度、检索式对话机器人

Transformers实战（二）快速入门文本相似度、检索式对话机器人1、文本相似度1.1文本相似度简介文本匹配是一个较为宽泛的概念，基本上只要涉及到两段文本之间关系的，都可以被看作是一种文本匹配的任务

undo_try·2023-10-29 12:50

论文阅读——BART

是一个结合了双向和自回归transformers的模型。

じんじん·2023-10-28 05:14

huggingface官网教程里面的几个用transformers做下游任务的例子(上)

1.请见官网：TextclassificationTokenclassificationquestion_answeringLanguagemodelingtranslationSummarizationMultiplechoice

不当菜鸡的程序媛·2023-10-27 17:38

量化HuggingFace的Transformers 模型

量化Transformers模型原文地址：https://huggingface.co/docs/transformers/main/en/main_classes/quantizationAutoGPTQ

Tim_Van·2023-10-27 04:00

大模型训练框架

一文搞定分布式训练：dataparallel、distirbuted、deepspeed、accelerate、transformers、horovod-知乎代码地址：taishan1994/pytorch-distributed-NLP

Kun Li·2023-10-26 07:18

On Moving Object Segmentation from Monocular Video with Transformers 论文阅读

论文信息标题：OnMovingObjectSegmentationfromMonocularVideowithTransformers作者：来源：ICCV时间：2023代码地址：暂无Abstract通过单个移动摄像机进行移动对象检测和分割是一项具有挑战性的任务，需要了解识别、运动和3D几何。将识别和重建结合起来可以归结为融合问题，其中需要结合外观和运动特征来进行分类和分割。在本文中，我们提出了一种

玛卡巴卡_qin·2023-10-25 17:47

从零开始的Transformers第二篇:代码解析transformer架构

代码解析transformer架构总体解析输入部分词向量InputEmbedding位置编码编码器自注意力机制掩码多头自注意力机制FeedForwardLayerNorm残差链接EncoderLayer解码器输出头总体模型所有代码总体解析上面是transformer的论文中的架构图，从上面拆分各个模块的话，我们可以得到InputEmbedding:对输入的词向量的表示方法进一步压缩其维度，使得其表

浅冲一下·2023-10-25 11:57

华为昇腾NPU卡大模型LLM ChatGLM2模型推理使用

/model_cards/glm2.md#chatglm2-6b1、安装环境：昇腾NPU卡对应英伟达GPU卡，CANN对应CUDA底层；mindspore对应pytorch；mindformers对应transformers

loong_XL·2023-10-25 07:37

解决报错RuntimeError: Failed to import transformers.trainer_seq2seq because of the following error

RuntimeError:Failedtoimporttransformers.trainer_seq2seqbecauseofthefollowingerror(lookuptoseeitstraceback):cannotimportname'is_npu_available'from'accelerate.utils'(/usr/local/lib/python3.10/dist-packa

夏离·2023-10-25 02:10

decapoda-research/llama-7b-hf 的踩坑记录

使用transformers加载decapoda-research/llama-7b-hf的踩坑记录。

夏离·2023-10-25 02:38

轻量ViT王者 | EfficientFormerV2：全新轻量级视觉Transformer

摘要随着视觉Transformers（ViTs）在计算机视觉任务中的成功，最近的技术试图优化ViT的性能和复杂性，以实现在移动设备上的高效部署。

自动驾驶之心·2023-10-25 01:59

阅读文献1：Bootstrapping ViTs: Towards Liberating Vision Transformers from Pre-training（文章翻译及自身的理解和总结）

目录前言一、文章标题二、摘要我在这里直接翻译过来：三、Introduction这里也没有什么好解释哒，我也直接翻译过来：四、RelatedWork（1）VisionTransformers（2）KnowledgeDistillation五、Method1.Preliminaries1.1Convolution1.2MHSA2.AgentCNN2.1GeneralizedConvolution2.2

G氏yousa·2023-10-24 11:52

Transformer用于目标检测- End-to-End Object Detection with Transformers

目前为止看到的讲解transformer最清晰的文章文章目录传统方法存在的问题该方法的创新点网络结构与具体操作实验结果分析FacebookAI的研究者推出了Transformer的视觉版本—DetectionTransformer（以下简称DETR），用于目标检测和全景分割。与之前的目标检测系统相比，DETR的架构进行了根本上的改变。这是第一个将Transformer成功整合为检测pipeline

Chan_Zeng·2023-10-24 06:24

Transformer模型 | 用于目标检测的视觉Transformers训练策略

基于视觉的Transformer在预测准确的3D边界盒方面在自动驾驶感知模块中显示出巨大的应用，因为它具有强大的建模视觉特征之间远程依赖关系的能力。然而，最初为语言模型设计的变形金刚主要关注的是性能准确性，而不是推理时间预算。对于像自动驾驶这样的安全关键系统，车载计算机的实时推理是绝对必要的。这使得我们的目标检测算法在非常紧张的运行时间预算下。在本文中，我们评估了各种策略来优化基于视觉变换的物体检

算法如诗·2023-10-24 06:49

Transformers基本组件（二）快速入门Datasets、Evaluate、Trainer

Transformers基本组件（二）快速入门Datasets、Evaluate、Trainer1、基础组件Datasets数据集部分的工作，一部分在于数据集的收集，另一部分在于数据集的处理。

undo_try·2023-10-23 01:40

基于transformers T5相关模型用法

weixin_43870390·2023-10-22 00:18

Transformers基本组件（一）快速入门Pipeline、Tokenizer、Model

Transformers基本组件（一）快速入门Pipeline、Tokenizer、ModelHuggingFace出品的Transformers工具包可以说是自然语言处理领域中当下最常用的包之一，实现了大量的主流预训练模型架构

undo_try·2023-10-21 18:55

【debug】安装diffusion的bug解决合集

环境问题ImportError:cannotimportname‘CLIPImageProcessor’from‘transformers’(D:\Python\lib\site-packages\transformers_init

prinTao·2023-10-20 19:42

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

目录VisionTransformer（ViT）标题摘要引言如何将Transformers用在计算机视觉未来创新工作相关工作ViT模型、实验总结VisionTransformer（ViT）ViT挑战了卷积神经网络在计算机视觉领域的绝对统治地位

Q渡劫·2023-10-20 17:49

FROZEN TRANSFORMERS IN LANGUAGE MODELS ARE EFFECTIVE VISUAL ENCODER LAYERS

本文是LLM系列文章，针对《FROZENTRANSFORMERSINLANGUAGEMODELSAREEFFECTIVEVISUALENCODERLAYERS》的翻译。语言模型中的冻结Transformer是有效的视觉编码器层摘要1引言2相关工作3方法：用于视觉编码的冷冻LLMTransformer4LLMTransformer在视觉任务中的适用性5面向可视化任务的LLMTransformer分析

UnknownBody·2023-10-20 15:10

论文阅读：SegFormer: Simple and Efficient Design for SemanticSegmentation with Transformers

来源：nips2021GitHub-NVlabs/SegFormer:OfficialPyTorchimplementationofSegFormer0、Abstract摘要本文提出了一种简单、高效、强大的语义分割框架SegFormer，它将transformer与轻量级多层感知器(MLP)解码器结合在一起。SegFormer有两个吸引人的特点:1)SegFormer包含了一个新的分层结构的变压器

shiyueyueya·2023-10-19 19:04

【计算机视觉 | 自然语言处理】Hugging Face 超详细介绍和使用教程

使用模型3.4.2.1tokenizer3.5model3.6后处理一、前言HuggingFace起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers

旅途中的宽~·2023-10-19 03:15

抱抱脸（hugging face）教程-中文翻译-创建一个自定义架构

wwlsm_zql·2023-10-19 03:45

RAG:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文阅读

2020NeuralPS文章地址：https://arxiv.org/abs/2005.11401源码地址：GitHub-huggingface/transformers:Transformers:State-of-the-artMachineLearningforPytorch

小白的咆哮·2023-10-18 14:54

使用transformers过程中出现的bug

encoder_attention_mask'](note:typosinthegenerateargumentswillalsoshowupinthislist)使用text_decoder就出现上述错误，这是由于transformers

MK422·2023-10-18 09:47

变换器鲁棒性-6：Understanding Robustness of Transformers for Image Classification

https://arxiv.org/pdf/2103.14586.pdf理解用于图像分类的Transformers的鲁棒性深卷积神经网络（CNN）长期以来一直是计算机视觉任务的首选架构。

Valar_Morghulis·2023-10-17 16:47

基于Transformers的自然语言处理入门【二】-Transformer相关原理

基于Transformers的自然语言处理入门（二）1Tansformer相关原理1.1seq2seq框架1.2Attention2Transformer详解2.1多头注意力机制2.2解码器2.3线性层和

hezzfew·2023-10-16 20:37

解码自然语言处理之 Transformers

自2017年推出以来，Transformer已成为机器学习领域的一支重要力量，彻底改变了翻译和自动完成服务的功能。最近，随着OpenAI的ChatGPT、GPT-4和Meta的LLama等大型语言模型的出现，Transformer的受欢迎程度进一步飙升。这些引起了巨大关注和兴奋的模型都是建立在Transformer架构的基础上的。通过利用Transformer的力量，这些模型在自然语言理解和生成方

冷冻工厂·2023-10-16 20:36

【VQGAN论文精读】Taming Transformers for High-Resolution Image Synthesis

【VQGAN论文精读】TamingTransformersforHigh-ResolutionImageSynthesis0、前言Abstract1.Introduction2.RelatedWork3.Approach3.1.LearninganEffectiveCodebookofImageConstituentsforUseinTransformers学习一个有效的图像成分的Codebook

旋转的油纸伞·2023-10-16 08:20

cpu部署chatglm 报错No compiled kernel found.

Nocompiledkernelfound.Compilingkernels:C:\Users\admin.cache\huggingface\modules\transformers_modules\

像夏天一样热·2023-10-16 05:12

HuggingFace transformers 中文文档

完整文档请见github项目：https://github.com/liuzard/transformers_zh_docs.git1.开始使用Transformers简介快速开始安装2.教程通过pipline

liuzard·2023-10-16 00:30

推荐频道

transformers