信息论

互信息：理论框架、跨学科应用与前沿进展

MutualInformation,MI）由克劳德·香农（ClaudeShannon）在1948年开创性论文《AMathematicalTheoryofCommunication》中首次提出，该论文奠定了现代信息论的基础
大千AI助手·2025-07-30 00:19

熵与交叉熵：从信息论到机器学习的「不确定性」密码

熵与交叉熵：从信息论到机器学习的「不确定性」密码在信息时代的浪潮中，我们每天都在与「信息」打交道——一条新闻、一张图片、一段语音，甚至是AI模型的一次预测结果，本质上都是信息的传递。
·2025-07-27 10:18

计算机网络采用分层有哪些好处,网络协议分层的优点

网络安全是一门涉及计算机科学、网络技术、通信技术、密码技术、信息安全技术、应用数学、数论、信息论等多种学科的综合性学科。
温卡龙·2025-07-25 13:30

模式识别与机器学习课程笔记（1）：数学基础

模式识别与机器学习课程笔记（1）：数学基础特征矢量和特征空间随机矢量的描述随机矢量的分布函数随机矢量的数字特征随机变量、随机矢量间的统计关系随机矢量的变换正态分布正态分布的定义正态分布随机矢量的性质离散随机矢量及其分布信息论矩阵微分法基本知识矢量或矩阵对于数量变量的微分二
Ro Jace·2025-07-21 15:32

Python 爬虫实战：自动化获取学术会议数据（会议安排、论文提交等）

为了提高效率，我们可以使用Python爬虫自动化获取学术会议数据，包括：会议名称、日期、地点论文提交截止日期会议议程及嘉宾信息论文录用结果重要通知及相
Python爬虫项目·2025-07-21 11:27

LLM词频规律：Zipf定律

LLM词频规律：Zipf定律Zipf定律（Zipf’sLaw）是语言学和信息论中描述文本中词语出现频率分布的规律，由美国语言学家乔治·金斯利·齐夫（GeorgeKingsleyZipf）提出。
ZhangJiQun&MXP·2025-07-20 15:35

【论文笔记】RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation

论文信息论文标题：RAGLAB:AModularandResearch-OrientedUnifiedFrameworkforRetrieval-AugmentedGeneration-EMNLP24论文作者
AustinCyy·2025-07-07 00:00

LLM大模型命名规则与部署硬件实践手册

文章目录一、理论基础：从信息编码到系统设计1.1命名系统的信息论基础1.2硬件架构与模型运行的关系1.3量化技术的数学原理二、国际主流模型命名规则深度解析2.1OpenAI：极简主义与功能导向2.2AnthropicClaude
·2025-07-03 22:49

深入解析ID3算法：信息熵驱动的决策树构建基石

它首次将信息论引入决策树构建，奠定了现代决策树的理论基础。本文将深入剖析其数学本质与实现细节。
大千AI助手·2025-06-22 21:08

【管理系统和信息化项目】体系化知识

信息论香农：信息就是能够用来消除不确定性的东西。本体论层次：只与客体本身因素有关，与主体因素无关；信息就是事物运行状态和状态变化方式的自我描述。
flyair_China·2025-06-18 21:20

为什么计算机不用e进制，按道理说e进制难道不是最高效的吗？e进制理论上为何被认为信息编码更优，但实际却难以实现？

e的独特性质使得很多数学函数的表达变得简洁自然，且e在连续复利、概率论、信息论等领域都有着独特的优势
·2025-06-16 10:19

逻辑回归中的损失函数：交叉熵损失详解与推导

逻辑回归中的损失函数：交叉熵损失详解与推导关键词：逻辑回归、交叉熵损失、损失函数、二分类、多分类、极大似然估计、梯度下降摘要：本文深入解析逻辑回归中核心的交叉熵损失函数，从信息论基础出发，逐步推导二分类与多分类场景下的损失函数形式
AI天才研究院·2025-06-16 00:34

系统集成项目管理工程师 软考中级 第一章重点汇总笔记（书本参照 第二版）

（4）编码器：在信息论中泛指所有变换信号的设备，实际上就是终端机的发送部分。（5）译码器：是编码器的逆变换设备。（6）噪声：可以理解为干扰。
小陈不会打代码·2025-06-15 07:46

机器学习与深度学习21-信息论

目录前文回顾1.信息上的概念2.相对熵是什么3.互信息是什么4.条件熵和条件互信息5.最大熵模型6.信息增益与基尼不纯度前文回顾上一篇文章链接：地址1.信息上的概念信息熵（Entropy）是信息理论中用于度量随机变量不确定性的概念。它表示了对一个随机事件发生的预测的平均困惑程度或信息量。对于一个离散型随机变量X，其信息熵H(X)定义为所有可能取值的负概率加权平均。数学上，可以使用以下公式来计算离散
my_q·2025-06-14 03:08

[论文阅读] 人工智能+软件工程 | 结对编程中的知识转移新图景

当AI成为编程搭档：结对编程中的知识转移新图景论文信息论文标题：FromDeveloperPairstoAICopilots:AComparativeStudyonKnowledgeTransfer（从开发者结对到
张较瘦_·2025-06-13 21:54

詹森不等式（Jensen’s Inequality）——EM算法的基础

詹森不等式（Jensen’sInequality）是数学中一个非常重要的不等式，广泛应用于概率论、统计学、凸优化、信息论等领域。它基于凸函数和凹函数的性质。
phoenix@Capricornus·2025-06-11 11:37

[论文阅读] 人工智能+软件工程（软件测试） | 当大语言模型遇上APP测试：SCENGEN如何让手机应用更靠谱

一、论文基础信息论文标题：LLM-GuidedScenario-basedGUITesting（《大语言模型引导的基于场景的GUI测试》）作者及机构：ShengchengYu等（德国慕尼黑工业大学、南京大学
张较瘦_·2025-06-10 04:50

【论文笔记】SecAlign: Defending Against Prompt Injection with Preference Optimization

论文信息论文标题：SecAlign:DefendingAgainstPromptInjectionwithPreferenceOptimization-CCS25论文作者：SizheChen-UCBerkeley
AustinCyy·2025-06-05 15:22

【论文笔记】ResNet论文的全面解析

DeepResidualLearningforImageRecognition发表时间：2015发表作者：(MicrosoftResearch)He-Kaiming,Ren-Shaoqing,Sun-Jian论文链接：论文链接一、ResNet论文基本信息论文标题与发表信息论文标题
浩瀚之水_csdn·2025-06-03 06:54

概率单纯形（Probability Simplex）

目录定义性质在统计学中的应用在机器学习中的应用在信息论中的应用在优化问题中的应用在其他领域的应用定义定义：在数学中，概率单纯形（ProbabilitySimplex）是指在nnn维空间中，所有分量非负且分量之和为
F_D_Z·2025-06-03 03:32

强化学习的前世今生（五）— SAC算法

书接前四篇强化学习的前世今生（一）强化学习的前世今生（二）强化学习的前世今生（三）—PPO算法强化学习的前世今生（四）—DDPG算法本文为大家介绍SAC算法7SAC7.1最大熵强化学习在信息论中，熵(entropy
小于小于大橙子·2025-06-01 16:46

从逻辑学视角严谨证明数据加密的数学方法与实践

文章目录一、加密数据的数学指纹：信息论基础1.1加密检测的核心原理1.2香农熵：量化信息的不确定性二、统计检验方法：从随机性到加密性2.1卡方检验的数学原理2.2游程检验与序列相关性2.3NIST统计测试套件三
小胡说技书·2025-05-24 00:02

为什么哈希加密后破解怎么难？单向函数；密码学的数学原理：从理论到实践

文章目录一、单向函数的数学基础1.1单向函数的数学定义1.2复杂度理论视角1.3数论在密码学中的应用二、哈希函数的数学原理与不可逆性2.1从信息论角度理解哈希不可逆性2.2碰撞抵抗的数学分析2.3单向压缩函数与雪崩效应三
小胡说技书·2025-05-18 05:35

汉明距离（Hamming Distance）

它常用于衡量两个字符串的相似度，广泛应用于编码理论、信息论、密码学、生物信息学等领域。
追逐此刻·2025-05-17 15:27

基于互信息分解表示学习的多模态情感分析

涉及到完全不懂的理论部分，全部创新都在损失函数整体通过信息论工具显式分离多模态信息，突破传统融合方法的信息混杂问题Q1：作者创新在模型模块还是理论？A1:主要是理论创新，为互信息理论的扩展应用。
___Dream·2025-05-11 09:38

连续变量与离散变量的互信息法

1.互信息法简介互信息（MutualInformation,MI）是一种衡量两个变量之间相互依赖程度的统计量，它来源于信息论。
从零开始学习人工智能·2025-05-05 03:04

先有数据还是先有网络

从香农信息论到物联网时代的演进历程中，数据与网络的关系呈现出动态耦合的特征。本文将从技术史、信息哲学、系统论等多学科视角，对这一问题进行系统性解构，
西城男孩(0t0)·2025-05-02 20:56

21、最大熵模型

在信息论
healed萌·2025-04-20 23:27

深度学习（花书）--概率与信息论

深度学习（花书）–概率与信息论基本概念随机变量：可以随机地取不同值的变量。离散：拥有有限或者可数的无限状态连续：伴随着实数值概率分布：用来描述随机变量或一簇变量在每一个可能取值的状态的可能性的大小。
orient2019·2025-04-15 11:05

【人工智能】AI大模型开发数学基础指南

目录学习内容**1.线性代数****2.概率与统计****3.微积分****4.优化理论****5.信息论****6.数值计算****7.离散数学****8.统计学进阶****如何学习？
GIS程序媛—椰子·2025-04-09 18:00

青少年编程与数学 02-015 大学数学知识点 08课题、信息论

青少年编程与数学02-015大学数学知识点08课题、信息论一、信息论基础二、熵与信息量三、信源编码四、信道编码五、率失真理论六、信息论的应用七、网络信息论八、信息论与统计学习九、量子信息论十、信息论的前沿研究总结信息论是研究信息传输
明月看潮生·2025-04-08 23:32

青少年编程与数学 02-015 大学数学知识点 09课题、专业相关性分析

离散数学1.2线性代数1.3概率与统计1.4微积分2.数据科学与数学2.1线性代数2.2概率与统计2.3微积分2.4优化理论3.人工智能与数学3.1线性代数3.2概率与统计3.3微积分3.4优化理论3.5信息论
明月看潮生·2025-04-06 18:56

青少年编程与数学 02-015 大学数学知识点 06课题、离散数学

青少年编程与数学02-015大学数学知识点06课题、离散数学一、数理逻辑二、集合论三、代数系统四、图论五、初等数论六、组合数学总结离散数学是研究离散对象及其结构的数学学科，它在计算机科学、信息论、密码学等领域有着广泛的应用
明月看潮生·2025-04-04 19:16

信息论初级——信源概述——2020-11-11

信息论初级——信源概述内容：一、信源的数学模型以及分类二、离散信源信息熵以及其性质三、随机波形信源四、信源的冗余度关于连续与离散的一些思考：我觉得，连续的本质是离散，即万物皆离散。
青州街打工人·2025-03-29 19:20

量子信息理论入门：探索量子世界的奇妙信息处理方式

量子信息理论入门：探索量子世界的奇妙信息处理方式在日益智能化的现代世界，信息论是各个领域的“幕后英雄”，从通信、数据压缩到加密，无处不在。
Echo_Wish·2025-03-19 04:24

互信息详解

知识库知识库广场搜索：知识库创建人机器学习@Shockang机器学习数学基础@Shockang深度学习@Shockang正文互信息：变量间关联性的量化利器互信息(MutualInformation)是信息论中的核心概念
Shockang·2025-03-12 03:56

《从信息论视角：DataWorks平台下人工智能探寻最优数据编码的深度剖析》

此时，信息论与人工智能算法为我们开辟了一条新的探索路径，尤其在DataWorks这样强大的大数据平台上，二者的结合蕴含着巨大的潜力。
程序猿阿伟·2025-03-06 22:50

《从信息论视角：DataWorks平台下人工智能探寻最优数据编码的深度剖析》

此时，信息论与人工智能算法为我们开辟了一条新的探索路径，尤其在DataWorks这样强大的大数据平台上，二者的结合蕴含着巨大的潜力。
·2025-03-06 22:12

网格交易策略调研

起源：信息论之父申农：任何一个价位买进资金的50%，也就是说资金数量：股票市值=50%：50%。
柯柯就是我·2025-03-02 05:28

kl散度度量分布_解读KL散度：从定义到优化方法

除了阅读原博客文章之外，这里还会根据我在信息论方面的工作经验给出一些基于原博文的额外
weixin_39846364·2025-02-26 08:20

机器学习的数学基础(三)——概率与信息论

目录1.随机变量2.概率分布2.1离散型变量和概率质量函数2.2连续型变量和概率密度函数3.边缘概率4.条件概率5.条件概率的链式法则6.独立性和条件独立性7.期望、方差和协方差7.1期望7.2方差7.3协方差8.常用概率分布8.1均匀分布U(a,b)U(a,b)U(a,b)8.2Bernoulli分布8.3Multinoulli分布8.4高斯分布(正态分布)N(x;μ,σ2)N(x;\mu,\s
梦醒沉醉·2025-02-23 03:09

互信息的定义与公式

香农在信息论中提出”互信息“的概念作为两个随机事件
亲持红叶·2025-02-17 22:42

AGI方向研究

**数学与理论基础**-**数学基础**：线性代数（矩阵运算、特征值）、概率统计（贝叶斯理论、分布模型）、微积分（梯度优化）、信息论（熵、KL散度）。-**计
微醺欧耶·2025-02-11 07:44

论文解读（MGAE）《MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs》

Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统论文信息论文标题：MGAE:MaskedAutoencodersforSelf-SupervisedLearningonG
虚幻私塾·2025-02-10 03:26

【新书速荐】《Information-Theoretic Radar Signal Processing（信息论雷达信号处理）》

这是信息论雷达信号处理领域的首部专著，全书共分14章，汇集了来自学术界、工业界和政府机构的41位世界知名专家（其中15位为IEEEFellow）的最新研究成果。
卖酒的雷达算法工程师·2025-02-09 19:58

【AI中数学-信息论-综合实例】 缩小AI巨人：大模型神经网络的压缩与裁剪

第六章：信息论-综合实例第二节：缩小AI巨人：大模型神经网络的压缩与裁剪术在本节中，我们将探讨压缩和裁剪大规模神经网络模型的技术，使其更加高效，适用于实际应用。
云博士的AI课堂·2025-02-07 22:03

瞎想：控制论、信息论与系统论：未来汽车产品的“三论融合”与深度思考

引言在科技飞速发展的今天，控制论、信息论与系统论（简称“三论”）作为20世纪的科学革命，正在深刻影响未来汽车产品的设计与研发。
天天爱吃肉8218·2025-02-07 04:03

音视频开发成长之路与音视频知识点总结

音视频涉及语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等。在现实生活中，音视频发挥着越来越重要的作用，如视频会议、直播、短视频、播放器、语音聊天等。
Linux服务器开发·2025-02-06 10:36

AI真的能理解我们这个现实物理世界吗？深度剖析原理、实证及未来走向

从信息论、物理启发式算法剖析理论支撑，探讨融合物理知识路径，并延展至跨学科应用、评估维度、伦理社会问题，最终展望AI
AI_DL_CODE·2025-02-02 10:51

论文阅读：DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection（Deepfake模型快速调参）

一、论文信息论文名称：DeepFake-Adapter:Dual-LevelAdapterforDeepFakeDetection作者团队：项目主页：https://github.com/rshaojimmy
海拉鲁的小厨娘·2025-01-25 16:52
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他