模型训练第4页

绿色AI实践指南：通过算力优化降低千亿模型训练碳排放——动态电压频率调整（DVFS）+ 余热回收系统设计

一、AI算力的碳排危机与绿色突围当前千亿参数大模型训练的单次碳排放已超284吨CO₂（相当于5辆燃油车终身排放量），且随着模型规模指数级增长，2030年AI产业碳排放占比或达全球总量的3.5%。

AI咸鱼保护协会·2025-06-18 10:57

Qwen2.5：模型训练和推理核心参数介绍

详细介绍：https://mp.weixin.qq.com/s/0zLHA_VQkD3tf0BSzjd7Ag一、remove_columns删除选定的列作用：去掉原始数据集里面的字段以及对应的数据。原因：如果不去掉，在进行微调时，模型就会将数据集原始字段和新加的字段一起输入到模型，导致格式与期望的不一致。二、TrainingArguments核心参数2.1基础训练设置参数介绍output_dir(

艾墨舟启航·2025-06-18 04:51

AI大模型的概念验证与落地

AI大模型,深度学习,Transformer,自然语言处理,计算机视觉,概念验证,落地应用,模型训练,模型部署1.背景介绍近年来，人工智能（AI）技术取得了飞速发展，其中，大模型作为AI领域的重要组成部分

AI智能应用·2025-06-18 04:19

DeepSeek 源码解构：从 MoE 架构到 MLA 的工程化实现

而MLA作为一种多层次结构，在更大规模的数据集上展现出了出色的性能，尤其在模型训练和推理效率方面表

威哥说编程·2025-06-18 02:08

SnapViewer：解决PyTorch官方内存工具卡死问题，实现高效可视化

在深度学习模型训练过程中，GPU内存不足（OutofMemory,OOM）错误是开发者频繁遇到的技术挑战。

·2025-06-17 16:48

实现AI数据高效评估的一种方法

本文提出了一种新的机器学习模型训练数据影响分析框架，称为DistilledDatamodel（DDM）。该框架通过两个阶段实现高效的数据影响评估：离线训练和在线评价。

mao_feng·2025-06-17 00:08

python打卡day41

该策略通常不改变单次训练的样本总数，而是通过对现有图像进行多样化变换，使每次训练输入的样本呈现更丰富的形态差异，从而有效扩展模型训练的样本空间多样性。常见的修改策

ZHPEN1·2025-06-16 17:54

可持续AI的基石：液冷数据中心的关键技术解析与能效优化实践

一、AI算力爆发下的能效危机随着千亿级参数大模型训练成为常态，单机柜功率密度从10kW猛增至50kW+（NVIDIADGXH100系统达70kW）。

梦玄海·2025-06-16 16:51

PyTorch项目打包部署：从模型训练到生产环境的全链路解析

它不仅提供了灵活且强大的API用于模型训练，还支持多种优化工具以提高性能。

cda2024·2025-06-16 15:43

解密prompt系列52. 闲聊大模型还有什么值得探索的领域

但其实当前的大模型技术只是跨进了应用阶段，可以探索的领域还有不少，所以这一章咱不聊论文了，偶尔不脚踏实地，单纯仰望天空，聊聊还有什么有趣值得探索的领域，哈哈有可能单纯是最近科幻小说看太多的产物~尚未攻克的持续学习当前的大模型训练还是阶段式的

·2025-06-16 14:22

Python领域数据挖掘的实战经验

Python领域数据挖掘的实战经验：从新手到高手的全流程指南关键词：数据挖掘、Python实战、数据清洗、特征工程、模型训练、评估优化、应用场景摘要：本文以“做蛋糕”为类比，用通俗易懂的语言拆解数据挖掘全流程

AI天才研究院·2025-06-16 06:44

数据处理和分析之关联规则学习：Eclat：数据转换与规范化

数据清洗可以提高模型的性能和预测准确性，减少模型训练时间，避免“垃圾进，垃圾出”（GIGO）的问题。示例：数据清洗假设我们有一个包含购物篮数据的CSV文件

kkchenkx·2025-06-16 06:11

基于YOLOv8的导弹发射检测系统：定制卫星图像数据集、模型训练与交互式UI实现

1.研究背景与意义导弹发射检测作为战略情报监控领域的重要任务，对国家安全和防御体系具有重要意义。传统依赖人工分析卫星图像，不仅耗时耗力，且准确性难以保障。利用深度学习技术，特别是先进目标检测算法YOLOv8，实现自动、快速、准确的导弹发射目标检测，极大提升监控效率和响应速度。2.导弹发射检测的挑战高分辨率卫星图像处理难度大：图像尺寸巨大，细节复杂。导弹发射目标体积小且易受遮挡：目标尺寸小，相邻背景

YOLO实战营·2025-06-16 02:16

深度学习——基于卷积神经网络的MNIST手写数字识别详解

文章目录引言1.环境准备和数据加载1.1下载MNIST数据集1.2数据可视化2.数据预处理3.设备配置4.构建卷积神经网络模型5.训练和测试函数5.1训练函数5.2测试函数6.模型训练和评估6.1初始化损失函数和优化器

E-An居士·2025-06-15 09:28

程序员转行大模型：五大热门岗位揭秘，抓住IT行业最后的风口！就在大模型！

此外，工程师还需要关注模型训练过程中的性能优化，确保模型在有限的计算资源下达到最佳效果。

大模型入门学习·2025-06-14 18:12

程序员转战大模型：热门岗位全解析，如何明智选择你的下一站？非常详细收藏我这一篇就好了！

此外，工程师还需要关注模型训练过程中的性能优化，确保模型在有限的计算资源下达到最佳效果。

·2025-06-14 16:29

基于大模型预测单纯性孔源性视网膜脱离的技术方案

目录一、算法实现伪代码1.数据预处理模块2.大模型训练模块3.预测与决策模块二、模块流程图（Mermaid格式）数据采集与预处理系统模型训练与部署系统术中决策支持系统三、系统集成方案及流程图系统集成流程图系统部署拓扑图四

·2025-06-14 16:57

大模型在输尿管上段积脓预测与治疗方案制定中的应用研究

目录一、引言1.1研究背景与意义1.2研究目的与创新点1.3研究方法与技术路线二、大模型预测原理及相关技术2.1大模型概述2.2数据收集与预处理2.3模型训练与优化三、术前预测与评估3.1病情预测指标3.2

LCG元·2025-06-14 16:57

基于大模型的脑出血全流程预测系统技术方案大纲

目录一、引言二、系统概述三、系统架构（一）数据采集与预处理层（二）模型训练与优化层（三）预测与决策支持层（四）数据管理与分析层（五）用户交互与应用层四、术前预测（一）数据采集（二）数据预处理（三）脑出血风险预测模型

LCG元·2025-06-14 16:26

揭秘AI大模型训练的十大核心技巧：从理论到实践的深度突破——以分布式训练优化为例，探索技术边界与创新应用

一、引言：为什么大模型训练成为技术焦点？2025年，全球AI大模型的参数量已突破百亿级，但训练成本与效率的矛盾愈发尖锐。

像素笔记·2025-06-14 06:56

使用Python和PyTorch框架，基于RetinaNet模型进行目标检测，包含数据准备、模型训练、评估指标计算和可视化

下面是一个完整的实现方案，使用Python和PyTorch框架，基于RetinaNet模型进行目标检测，包含数据准备、模型训练、评估指标计算和可视化。

神经网络15044·2025-06-13 19:41

Python深度学习：enumerate函数实战应用

它常用于数据加载、模型训练和调试等场景，能够简化代码逻辑并提高可读性。Python2.3.以上版本可用，2.6添加start参数。

驱散疑惑·2025-06-13 18:06

大模型多显卡多服务器并行计算方法与实践指南

分布式训练主要分为两种模式：数据并行：将数据分片到不同设备，每个设备拥有完整的模型副本模型并行：将模型分割到不同设备，每个设备处理部分模型计算现代大模型训练通常结合这两种方式，形成混合并行策略。

非著名架构师·2025-06-13 13:27

使用 PyTorch 和 SwanLab 实时可视化模型训练

以下是一个使用PyTorch和SwanLab实现训练可视化监控的完整示例，以MNIST手写数字识别为例：importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoaderfromtorchvisionimportdatasets,transformsimportswanlab#初始化Sw

猎嘤一号·2025-06-13 00:56

深度学习基础知识总结

1.BatchNorm2d加速收敛：BatchNormalization可以使每层的输入保持较稳定的分布（接近标准正态分布），减少梯度更新时的震荡问题，从而加快模型训练速度。

·2025-06-12 21:58

Akamai云上AI推理：赋能开发者加速边缘原生应用

人工智能（AI）的热度持续攀升，行业的焦点正从单纯的模型训练转向如何高效部署模型以实现实际应用——这正是AI推理技术的核心价值所在，即利用训练完成的AI模型生成预测与洞察。

Akamai中国·2025-06-12 11:21

广告系统中后链路数据为什么要使用流批一体技术？流批一体技术是什么？

在大规模广告系统的后链路（离线和实时特征计算、模型训练与上线、效果监控等）中，往往既有对海量历史数据的批量计算需求（离线特征、离线模型训练、报表汇总），又有对在线请求的低延迟实时计算需求（实时特征、在线打分

盒子6910·2025-06-12 11:19

LangChain 中的文档加载器（Loader）与文本切分器（Splitter）详解《二》

LangChain中TextSplitter的使用详解：从基础到进阶（附代码）一、前言在处理大规模文本数据时，特别是在构建知识库或进行大模型训练与推理时，文本切分（TextSplitting）是一个非常关键的预处理步骤

要努力啊啊啊·2025-06-12 08:00

GPU显存占用率过低的解决方案

有可能是CPU读取数据的速度跟不上模型训练的速度，导致GPU处于等待的状态。一个可能的原因是dataloader的num_workers=0,只有一个主进程。

myccver·2025-06-12 08:24

表格数据处理大语言模型训练新范式：交叉验证与混合训练集构建

当前技术领域痛点在数字化办公场景中，表格数据处理面临着两大核心挑战：一是现有大语言模型对表格数据处理的准确率普遍偏低；二是不同格式的表格（如文档嵌入表格与电子表格）需要采用完全不同的处理方法。传统解决方案通常存在以下问题：推理能力不足：现有benchmark提供的简短答案无法支持复杂表格操作所需的推理过程数据多样性有限：训练数据主要集中在表格查询操作，缺乏更新、合并、绘图等实际办公需求格式适应性差

CodePatentMaster·2025-06-12 01:41

Python 训练营打卡 Day 45

TensorBoard简单来说，TensorBoard是TensorFlow自带的一个「可视化工具」，就像给机器学习模型训练过程装了一个「监控屏幕」。

2401_86382089·2025-06-11 13:23

【2025智源大会论文解读】智能体-林衍凯

另一位人大老师的近期工作汇总，涉及数据合成（生成训练数据，指导agent模型）、奖励模型训练（用于监督agent进行规划）、主动行动（指导agent主动为人类提供服务）、工具选择（支持1600+工作调用

weixin_37763484·2025-06-11 12:12

AI 人工智能深度解析：从基础到前沿，全面掌握未来科技

www.captainbed.cn/ccc文章目录AI人工智能深度解析：从基础到前沿，全面掌握未来科技一、AI发展历程与现状1.1AI发展里程碑1.2当前AI技术格局二、核心技术深度解析2.1神经网络架构演进2.2大模型训练关键技术三

二川bro·2025-06-11 11:06

BERT 模型微调与传统机器学习的对比

BERT微调与传统机器学习的区别和联系：传统机器学习流程传统机器学习处理文本分类通常包含以下步骤：特征工程：手动设计特征（如TF-IDF、词袋模型）模型训练：使用分类器（如SVM、随机森林、逻辑回归）特征和模型调优

MYH516·2025-06-11 11:05

机器学习专栏（36）：逻辑回归与Softmax回归全解析（附完整代码与可视化）

目录一、逻辑回归：概率世界的"温度计"1.1核心原理：从线性到概率的魔法转换1.2Sigmoid函数：概率转换的核心引擎1.3实战案例：鸢尾花二分类二、模型训练：损失函数的艺术2.1对数损失函数解析2.2

Sonal_Lynn·2025-06-11 04:46

脑机新手指南（一）：BCILAB 脑机接口工具箱新手入门指南

一句话总结：BCILAB是免费开源的脑机接口研究工具包，相当于“脑电信号处理的MATLAB版积木库”，内置了从脑电数据读取、预处理、特征提取到分类模型训练的全流程工具，特别适合零编程基础的生物医学工程、

Brduino脑机接口技术答疑·2025-06-11 02:30

Tensorflow 训练时运行越来越慢，重启后又变好是什么原因？

引人注目的开头在深度学习模型训练的过程中，你是否遇到过这样一种情况：随着训练轮数的增加，你的TensorFlow程序逐渐变得越来越慢，直到几乎无法继续进行。

cda2024·2025-06-10 11:11

机器学习中分类自变量的类别过多该怎么处理？

这不仅会带来维度灾难，还会使模型训练变得复杂且低效。今天我们就来探讨这个棘手的问题——“机器学习中分类自变量的类别过多该怎么处理？”开篇：为什么这是一个大问题？让我们先从一个实际的例子说起。

cda2024·2025-06-10 11:11

基于大模型预测的慢性泪囊炎诊疗方案研究报告

目录一、引言1.1研究背景与意义1.2国内外研究现状1.3研究目标与内容二、大模型在慢性泪囊炎预测中的应用原理2.1大模型概述2.2数据收集与预处理2.3模型训练与优化2.4预测原理与流程三、术前预测与方案制定

LCG元·2025-06-10 09:56

基于大模型预测的难治性青光眼诊疗方案研究报告

目录一、引言1.1研究背景与意义1.2研究目的与创新点二、大模型预测难治性青光眼的原理与方法2.1大模型介绍2.2数据收集与预处理2.3模型训练与优化三、术前风险预测与准备3.1术前眼压及视神经损伤风险预测

LCG元·2025-06-10 09:26

从零构建AI原生智能推荐系统：Python全流程指南

AI原生应用开发·2025-06-10 04:55

Python爬虫实战 | 全面爬取医学网站临床指南教程

由于临床指南数量庞大且更新频繁，如何自动化抓取并存储这些指南成为数据分析、医疗AI模型训练等工作的关键第一步。本文以Python爬虫为例，系统讲解如何从权威医学网站爬取临床指南内容。

Python爬虫项目·2025-06-09 21:33

基于PyTorch和YOLOv5的完整代码训练使用——衣物皮革类数据集_织物布匹缺陷检测数据集 5921张(6类）深度学习目标检测模型训练

以下是一个基于PyTorch和YOLOv5的完整代码示例，涵盖了数据准备、模型训练、验证和评估等关键步骤。我们将使用YOLOv5作为目标检测模型，因为它在实时检测任务中表现出色。

QQ67658008·2025-06-09 19:24

voc怎么转yolo，如何分割数据集为验证集，怎样检测CUDA可用性并使用yolov8训练安全帽数据集且构建基于yolov8深度学习的安全帽检测系统

5000张图片和对应的YOLO格式标签，并且还附带了一些实用的小脚本，我们可以直接进行模型训练、评估以及可视化。

QQ67658008·2025-06-09 19:53

多模态图像修复系统：基于深度学习的图片修复实现

系统包含完整的数据处理、模型训练、推理部署流程。importtorchimportnumpyasnpfromPILimportImage,ImageDrawfromdiffusersimportSta

神经网络15044·2025-06-09 17:38

蓝耘 MaaS 平台 API 工作流开发实录：玩转智能客服搭建

声明：文章为本人平台测评博客，非广告，并没有推广该平台，为用户体验文章引言在客户服务数字化转型中，传统智能客服开发面临「周期长、调试难、成本高」三大痛点：从意图模型训练到多渠道接入，往往需要数周时间和专业团队支持

倔强的石头_·2025-06-09 06:24

大模型训练新范式：隐私增强联邦学习架构与工程实践

一、传统联邦学习为何无法满足大模型隐私需求当前主流联邦学习框架如FedAvg在面对大模型时存在显著短板：python#标准FedAvg参数聚合伪代码暴露关键漏洞global_model=initialize_model()forroundinrange(total_rounds):client_updates=[]forclientinselected_clients:#本地训练梯度ΔW可被用于反

尘烬海·2025-06-08 23:55

60天python训练计划----day23

在机器学习中，通常会按照一定的顺序对数据进行预处理、特征提取、模型训练和模型评

尘浮728·2025-06-08 14:56

MCP模型上下文协议：AI人工智能模型优化的秘密武器

MCP模型上下文协议：AI人工智能模型优化的秘密武器关键词：AI模型优化、上下文协议、模型训练、推理效率、上下文序列化、动态适配、跨模态融合摘要：本文深入解析MCP（ModelContextProtocol

AI天才研究院·2025-06-08 13:52

数据预处理与清洗，是有什么工具吗？

数据预处理与清洗：从基础到高级（2025年最新趋势）引言数据预处理与清洗是数据科学和算法工程中不可或缺的步骤，确保数据的准确性、一致性和可用性，从而为后续分析或模型训练打下坚实的基础。

weixin_40941102·2025-06-08 10:30

推荐频道

模型训练