transformers

【程序员AI入门：应用】11.从零构建智能问答引擎：LangChain + RAG 实战优化指南

一、技术选型与核心组件解析1.1黄金技术栈选型组件推荐方案核心优势资源需求文本嵌入模型sentence-transformers/all-MiniLM-L6-v2轻量级（128MB）、支持多语言语义编码
无心水·2025-05-24 08:27

（中转及国内）其他Embedding嵌入模型的配置与使用

配置步骤安装必要包安装langchain-huggingfaceLangChain团队基于huggingface封装的第三方社区包安装sentence-transformers用于生成和使用预训练的文本嵌入基于
yibuapi_com·2025-05-23 11:34

多头自注意力机制—Transformer模型的并行特征捕获引擎

Transformers-论文+源码：https://download.csdn.net/
Stara-AI·2025-05-18 19:20

Transformer中的位置编码详解

Transformers使用的位置编码方法，其中每个位置/词素都被分配一个编号。到此，位置编码的输出是一个矩阵，其中每行的每一
风筝超冷·2025-05-15 01:46

BUG: 加载部分sentence transformers模型报错HFValidationError: Repo_id must be in the form repo_name

没耐心看的直接跳到最后的加粗字体，其实是缺少文件。解释：以bge-m3为例，除了常见的config.json、pytorch_model.bin等等外还需要下载1_Pooling文件夹，里面包含了一个config.json，这是sentencetransformers模型中的pooling层。这是下载1_Pooling文件夹后的加载输出，没有异常情况。fromsentence_transforme
the_3rd_bomb·2025-05-12 13:35

《AI大模型应知应会100篇》第53篇：Hugging Face生态系统入门

本文将深入介绍HuggingFace生态系统的核心组件，包括Transformers、Datasets、Tokenizers和Hub平台
带娃的IT创业者·2025-05-11 12:56

开源python-打包发布

python开源系列文章开源Python-单元测试开源python-文档撰写开源python-代码规范与检查开源python-打包发布开源python-自动集成开源python-向transformers
YueTann·2025-05-10 11:38

在Mac M1/M2上使用Hugging Face Transformers进行中文文本分类（完整指南）

在MacM1/M2上使用HuggingFaceTransformers进行中文文本分类（完整指南）前言随着AppleSilicon芯片（M1/M2）的普及，越来越多的开发者希望在Mac上运行深度学习任务。本文将详细介绍如何在MacM1/M2设备上使用HuggingFaceTransformers库进行中文文本分类任务，包括环境配置、数据处理、模型训练和性能优化等完整流程。环境准备1.硬件和系统要求
zeroporn·2025-05-10 08:22

探索视频分类的新境界：`video-transformers`

video-transformersvideo-transformersEasiestwayoffine-tuningHuggingFacevideoclassificationmodels项目地址:https://gitcode.com/gh_mirrors/vi/video-transformers
高慈鹃Faye·2025-05-09 20:58

深入解析 Transformers 框架（五）：嵌入（Embedding）机制和 Word2Vec 词嵌入模型实战

微信公众号：老牛同学公众号标题：深入解析Transformers框架（五）：嵌入（Embedding）机制和Word2Vec词嵌入模型实战公众号链接：https://mp.weixin.qq.com/s
老牛同学·2025-05-09 09:14

AI 学习笔记：在 Macbook M1上对 DeepSeek进行无 GPU 环境下的 SFT微调，Transformers+LoRA，已跑通并出结果。

一、背景通用模型除了挂载知识库，去回答垂类问题以外，还有就是做SFT的微调，而大多数人其实是没有英伟达显卡的，但又挡不住学习的渴望，还想在老旧的电脑上去尝试微调，而我翻看了很多教程，都没有一个完整能够完全跑通的完整案例，决定一定要整一个出来。二、目标在没有专业显卡的普通笔记本上去做Deepseek的微调，将它由一个通用模型改造为能够回答专业医疗问题的模型。它的特点是：微调电脑只有集成显卡，纯CPU
极极光·2025-05-07 23:42

[论文笔记] pai-megatron qwen1.5报错

Qwen1.5-0.5b-chat使用example中fintune.py报错·Issue#77·QwenLM/Qwen1.5·GitHub解决方案：transformers升级到4.37.0pipinstallsetuptools
心心喵·2025-05-06 16:03

Transformers （HuggingFace Pipelines 实战）

Transformers（HuggingFacePipelines实战）本教程基于HuggingFace的transformers库，展示如何使用预训练模型完成以下任务：情感分析（SentimentAnalysis
pen-ai·2025-05-06 12:09

LLM论文笔记 27: Looped Transformers for Length Generalization

Arxiv日期：2024.9.25关键词长度泛化transformer结构优化核心结论1.RASP-L限制transformer无法处理包含循环的任务的长度泛化2.LoopTransformer显著提升了长度泛化能力InputInjection显著提升了模型的长度泛化性能，尤其在二进制加法等复杂任务上效果显著在推理中，通过输出置信度判断迭代停止点的策略能够实现接近最佳的性能主要方法Transfor
Zhouqi_Hua·2025-05-05 10:49

【RAG实战】基于 LangChain+Transformers+Qwen3 的RAG 智能产品助手实现

1、背景介绍就在2025年4月29日凌晨，阿里巴巴正式推出新一代大语言模型通义千问Qwen3，并宣布全面开源。这一消息瞬间引爆AI圈，被誉为“开源大模型王座再易主”的里程碑事件。作为国内首个支持“混合推理”的模型，Qwen3不仅在技术上实现颠覆性创新，更以开源生态加速行业变革。Qwen3大模型的主要创新点有：1、支持两种思考模式：思考模式：在这种模式下，模型会逐步推理，经过深思熟虑后给出最终答案，
大模型研究院·2025-05-05 10:16

Few-Shot Object Detection with Sparse Context Transformers-CVPR论文汇报

Few-ShotObjectDetectionwithSparseContextTransformers-CVPR论文汇报背景（Background）迁移学习（transferlearning）是目前解决少样本问题的一个有效方法迁移学习就是在源域（sourcedomain）上训练好一个检测模型后，送到目标域（targetdomain）上微调。目标域(targetdomain)因标注少因此无法有效识
joseanne_josie·2025-05-04 12:26

Switch Transformers：核心贡献与MoE的区别

SwitchTransformers：核心贡献与MoE的区别《SwitchTransformers:ScalingtoTrillionParameterModelswithSimpleandEfficientSparsity》是WilliamFedus、BarretZoph和NoamShazeer于2022年发表在《JournalofMachineLearningResearch》的一篇重要论文，
阿正的梦工坊·2025-05-03 18:31

深度学习论文: CAS-ViT: Convolutional Additive Self-attention Vision Transformers

深度学习论文:CAS-ViT:ConvolutionalAdditiveSelf-attentionVisionTransformersforEfficientMobileApplicationsCAS-ViT:ConvolutionalAdditiveSelf-attentionVisionTransformersforEfficientMobileApplicationsPDF:https:/
mingo_敏·2025-05-01 09:07

使用SGLang部署Qwen3大模型的完整指南

使用SGLang部署Qwen3大模型的完整指南一、前言二、环境准备1.安装ModelScope库2.创建Python虚拟环境三、依赖安装1.安装SGLang框架2.更新Transformers库四、模型部署
engchina·2025-04-30 08:24

基于预训练模型Bart的英文文本摘要summary生成

环境python==3.7transformers==4.9.2rouge-score==0.0.4数据准备将数据放在一个txt中，每行为一条，文章正文跟label的摘要用\t分割构建数据集fromdatasetsimportDatasetclassData
yuhengshi·2025-04-29 12:25

transformers之SFT和VLLM部署Llama3-8b模型

-3-8b-instruct的使用参考1.环境安装pipinstall-q-Ubitsandbytespipinstall-q-Ugit+https://github.com/huggingface/transformers.gitpipinstall-q-Ugit
AIVoyager·2025-04-28 10:06

Transformers之环境安装

Transformers安装指南使用pip安装源码安装开发模式安装docker安装自定义dockerfile缓存设置离线模式获取离线时使用的模型和分词器参考Transformers提供了数以千计的预训练模型
AIVoyager·2025-04-28 10:06

Python Transformers 库介绍

HuggingFace的Transformers库是一个用于自然语言处理（NLP）的强大Python库，它提供了对各种预训练模型的访问和使用接口。
qq_27390023·2025-04-27 23:51

关于开源大模型（如 LLaMA、InternLM、Baichuan、DeepSeek、Qwen 等）二次开发或训练经验的关键点和概述

工具如Transformers、LMDeploy和LoRA常用于优化性能和效率。不同模型有各自特点，经验
weixin_40941102·2025-04-27 21:11

Hugging Face模型下载方法指南

二、使用huggingface_hub库（适合批量或受限模型）三、手动下载文件（适用于无代码环境）四、使用GitLFS下载（适合大型模型）五、镜像加速与离线方案注意事项一、通过代码自动下载（推荐）使用transformers
llmbe·2025-04-26 08:14

基于text- generation- webUI工具创建大模型webUI交互

常用的比较流行的用于大型语言模型WebUI的工具如下，它们都具有不错的兼容性和扩展性：Text-generation-webui:这是一个功能非常强大的GradioWebUI，支持多种模型后端，包括Transformers
Kelaru·2025-04-24 22:48

Python Transformers库【NLP处理库】全面讲解

以下是一份关于transformers库的全面讲解，包含基础知识、高级用法、案例代码及学习路径。内容经过组织，适合不同阶段的学习者。
老胖闲聊·2025-04-23 19:49

量化方案不如 GGUF 灵活

safetensors格式是HuggingFace的transformers库使用的默认序列化格式。它在开源社区中广泛用于共享、训练、微调和部署AI模型。
·2025-04-23 04:57

自然语言处理——Hugging Face 详解

HuggingFace旗下最为著名的项目是Transformers库，它为NLP任务提供了大量的预训练模型，并且支持多种主流深度学习框架，如PyTorch和TensorFlow。
goTsHgo·2025-04-20 18:25

再读bert（Bidirectional Encoder Representations from Transformers）

再读BERT，仿佛在数字丛林中邂逅一位古老而智慧的先知。初次相见时，惊叹于它以Transformer架构为罗盘，在预训练与微调的星河中精准导航，打破NLP领域长久以来的迷雾。而如今，书页间跃动的不再仅是Attention机制精妙的数学公式，更是一场关于语言本质的哲学思辨——它让我看见，那些被编码的词向量，恰似人类思维的碎片，在双向语境的熔炉中不断重组、淬炼，将离散的文字升华为可被计算的意义。BER
watersink·2025-04-19 22:13

论文笔记《TAG-DTA:Binding-region-guidedstrategytopredictdrug-target affinity using transformers》

TAG-DTA:结合区域引导策略，使用transformer预测药物-靶标亲和力对目标特异性化合物选择性的适当评估在药物发现环境中至关重要，促进药物-靶标相互作用(DTI)的识别和潜在线索的发现。考虑到这一点，准确预测无偏药物-靶标结合亲和力(DTA)指标对于理解绑定过程至关重要。然而，大多数硅计算方法忽略了蛋白质组学、化学和药理学空间之间的相互依赖关系以及模型构建过程中的可解释性。此外，这些方法
I_dyllic·2025-04-18 08:04

一起学Hugging Face Transformers（10）- 使用Transformers 库的 Trainer API 进行模型微调

文章目录前言二、环境准备三、数据准备四、模型选择与加载五、数据预处理1.代码2.详细解析3.小结六、微调模型七、模型评估八、保存模型总结前言在自然语言处理（NLP）领域，预训练模型如BERT、GPT等已经展示了其强大的能力。然而，实际应用中，预训练模型往往需要进一步微调（Fine-tuning）以适应具体任务。HuggingFaceTransformers库提供了强大的TrainerAPI，使得模
做个天秤座的程序猿·2025-04-15 18:15

BERT - 直接调用transformers.BertModel, BertTokenizerAPI不进行任何微调

本节代码将使用transformers库加载预训练的BERT模型和分词器（Tokenizer），并处理文本输入。
风筝超冷·2025-04-15 17:13

【5090d】配置运行和微调大模型所需基础环境【一】

Failedtoimporttransformers.integrations.bitsandbytesbecauseofthefollowingerror(lookuptoseeitstraceback):Nomodulenamed'triton.ops'原因：是因为在导入transformers.integrations.bitsandbytes
Monee..·2025-04-13 21:53

新书速览|深入探索Mamba模型架构与应用

《深入探索Mamba模型架构与应用》本书内容Mamba是一种新型的深度学习架构，在保持对序列长度近似线性扩展性的同时，提供了与Transformers相当的建模能力。
全栈开发圈·2025-04-13 11:22

(GNN) Graphormer：Transformers在图表示中的表现真的很差吗？

摘要Transformer架构已经成为许多领域的主流选择，例如自然语言处理和计算机视觉。然而，与主流的GNN变体相比，它在图级预测的热门排行榜上尚未取得竞争力的表现。因此，如何使Transformer在图表示学习中表现良好仍然是一个谜。在本文中，我们通过提出Graphormer来解决这个谜题，Graphormer基于标准的Transformer架构，可以在广泛的图表示学习任务中取得出色的结果，尤其
无声之钟·2025-04-13 10:11

【人工智能】Transformers之Pipeline（一）：音频分类（audio-classification）

目录一、引言二、音频分类（audio-classification）2.1概述2.2技术原理2.2.1Wav2vec2.0模型2.2.1HuBERT模型2.3pipeline参数2.3.1pipeline对象实例化参数2.3.2pipeline对象使用参数2.4pipeline实战2.4.1指令识别（默认模型）2.4.2情感识别2.5模型排名三、总结一、引言pipeline（管道）是hugging
LDG_AGI·2025-04-11 21:42

多语种语音识别新突破：使用Transformers微调Whisper模型，实现精准识别！

前言本文提供了一个使用HuggingFaceTransformers在任意多语种语音识别(ASR)数据集上微调Whisper的分步指南。同时，我们还深入解释了Whisper模型、CommonVoice数据集以及微调等理论知识，并提供了数据准备和微调的相关代码。简介Whisper是一系列用于自动语音识别(automaticspeechrecognition，ASR)的预训练模型，它由来自于OpenA
大模型入门学习·2025-04-11 21:39

Hugging Face核心组件介绍

HuggingFace账户2.2.安装HuggingFace库3.模型探索与下载3.1.在模型库中搜索模型4.HuggingFaceAPI使用4.1.匿名访问API4.2.使用InferenceAPI5.使用Transformers
EOPG·2025-04-10 18:14

huggingface(三)

本片文章思路参考B站视频【翻遍整个B站，这绝对是2025讲的最好的HuggingFace教程，带你3小时吃透huggingface与Transformers，少走99%的弯路！】
、水水水水水·2025-04-10 16:33

Windows Anaconda使用Sentence-BERT获取句子向量

1、安装Anaconda：Anaconda是一个流行的Python数据科学平台，它包含了许多科学计算和数据分析的库，包括transformers和sentence_transformers。
DavidSoCool·2025-04-09 14:07

以微调deepseek为例，基于transformers改写实现lora+

LoRA+:EfficientLowRankAdaptationofLargeModels24年2月12的论文，主要思想就是对LoRA进行了一些改进，提升了模型效果。摘要证明了对Lora的A和B使用相同的学习率无法有效的特征学习。还证明了通过以一个良好选择的固定比率设置不同的学习速率来修正，可以提升模型效果。这种算法为LoRA+。在实验中，LoRA+提高了性能（1%的−2%的提高）和微调速度，计算
淡水，·2025-04-08 11:41

修复AttributeError: BertTokenizerFast has no attribute pad_token

ChatTTS-OpenVoice这个项目时，遇到：(.venv虚拟环境python3.11.11)AttributeError:BertTokenizerFasthasnoattributepad_token这是由于transformers
love530love·2025-04-07 21:43

Transformers bert 迁移调用样例 - BertEmbeddings

importtorchfromtorchimportnnfromtypingimportOptionalclassBertEmbeddings(nn.Module):"""Constructtheembeddingsfromword,positionandtoken_typeembeddings."""def__init__(self,config):super().__init__()self.
风筝超冷·2025-04-04 15:47

使用transformers.agents构建Gradio UI（2）——定义大模型引擎Engines

使用transformers.agents构建GradioUI（2）——定义大模型引擎Engines本篇摘要12.使用transformers.agents构建GradioUI12.2定义大模型引擎Engines12.2.1
龙焰智能·2025-04-01 20:43

高性能部署实战：vLLM 安装配置 × tokens/s 提升 × 并发测试（适配国产模型）

相比传统的transformers推理方式，vLLM在性能方面有显著提升，尤其适合构建高并发、多请求的部署场景：vLLM的核心
AI筑梦师·2025-03-30 21:44

【大模型】视觉语言模型：Qwen2.5-VL的使用

官方github地址：https://github.com/QwenLM/Qwen2.5-VL目录Qwen家族的最新成员：Qwen2.5-VL主要增强功能模型架构更新快速开始使用Transformers
Jackilina_Stone·2025-03-29 12:59

未来AI视觉艺术，会替代人类设计师吗？

确保你已经安装了torch、diffusers和transformers等库。
非知名人士·2025-03-28 17:42

transformers中学习率warmup策略具体如何设置

在使用get_linear_schedule_with_warmup（如HuggingFaceTransformers库中的学习率调度器）时，参数的合理设置需要结合数据量（datasetsize）、批次大小（batchsize）和训练轮数（epochs）来确定。以下是分步指南和公式说明：1.核心参数解析get_linear_schedule_with_warmup的主要参数：num_warmup_
糖葫芦君·2025-03-28 15:30

Stable Diffusion进行图像生成

使用StableDiffusion进行图像生成通常涉及以下步骤：安装依赖库：首先，你需要安装必要的Python库，如PyTorch、torchvision、diffusers和transformers等
月月猿java·2025-03-28 04:35
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他