*Knowledge

【论文笔记_知识蒸馏_2022】Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolida

摘要我们提出了一种基于深度神经网络的新型类增量学习方法，该方法在有限的内存中不断学习新的任务，用于存储以前任务中的例子。我们的算法以知识提炼为基础，提供了一种原则性的方法来保持旧模型的表征，同时有效地调整到新任务。所提出的方法估计了模型更新所产生的表征变化和损失增加之间的关系。它利用表征最小化了损失增加的上界，这利用了骨干模型内每个特征图的估计重要性。基于重要性，该模型限制重要特征的更新以获得稳健
乱搭巴士·2023-01-12 13:02

【论文笔记_知识蒸馏】Adaptive multi-teacher multi-level knowledge distillation

2020年的论文。摘要知识提炼（KD）是一种有效的学习范式，通过利用从教师网络中提炼的额外监督知识来提高轻量级学生网络的性能。大多数开创性研究要么在学习方法上只向一名教师学习，忽视了一名学生可以同时向多名教师学习的潜力，要么简单地将每位教师视为同等重要，无法揭示教师对具体例子的不同重要性。为了弥补这一差距，我们提出了一种新的自适应多教师多级知识提炼学习框架（AMTML-KD），这包括两个新的见解：
乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏】Interactive Knowledge Distillation for image classification

摘要知识提炼（KD）是一个标准的师生学习框架，在训练有素的大型教师网络的指导下，培养一个轻量级的学生网络。互动教学作为一种有效的教学策略，在学校得到了广泛的应用，以激发学生的学习动机。在互动教学中，教师不仅提供知识，而且对学生的反应给予建设性的反馈，以提高学生的学习成绩。在这项工作中，我们提出了交互式知识提炼（IAKD）来利用交互式教学策略进行有效的知识提炼。在提取过程中，教师网络和学生网络之间的
乱搭巴士·2023-01-12 13:32

【论文笔记_自知识蒸馏_2021】Revisiting Knowledge Distillation via Label Smoothing Regularization

代码地址：https://github.com/yuanli2333/Teacher-free-Knowledge-Distillation摘要知识提炼（KD）旨在将繁琐的教师模型中的知识提炼为轻量级的学生模型
乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏_2021】KNOWLEDGE DISTILLATION VIA SOFTMAX REGRESSION

代码地址:https://github.com/jingyang2017/KD_SRRL摘要本文通过知识提炼解决了模型压缩的问题。我们主张采用一种优化学生网络倒数第二层的输出特征的方法，因此与表征学习直接相关。为此，我们首先提出了一种直接的特征匹配方法，它只关注优化学生的倒数第二层。其次，更重要的是，由于特征匹配没有考虑到手头的分类问题，我们提出了第二种方法，将表征学习和分类解耦，利用教师的预训练
乱搭巴士·2023-01-12 13:32

Feature-map-level Online Adversarial Knowledge Distillation论文笔记

Feature-map-levelOnlineAdversarialKnowledgeDistillation论文笔记论文地址：https://arxiv.org/abs/2002.01775v1github
hankeryeah·2023-01-12 13:01

Channel-wise Knowledge Distillation for Dense Prediction阅读笔记

ProblemStatement(五)Method5.1spatialdistillation5.2Channel-wiseDistillation(六)Experiments6.1实验设置6.2和最近knowledgeDistillation
不知道叫啥好一点·2023-01-12 13:31

2020知识蒸馏 《Channel Distillation: Channel-Wise Attention for Knowledge Distillation》论文笔记

论文笔记《ChannelDistillation:Channel-WiseAttentionforKnowledgeDistillation》摘要问题1.ChannelDistillation(CD)渠道蒸馏
星竹紫兰·2023-01-12 13:31

知识蒸馏 Knowledge distillation（学习笔记）

知识蒸馏概述蒸馏：把大的复杂的东西变成小的纯净的东西在知识蒸馏中大的模型为教师模型（teacher）臃肿集成牛逼复杂的小的为学生模型（student）小的精干的轻量化的这里有一个知识的迁移因为落地实现的终端边缘设备的算计十分有限所以急需将一个大的优秀的模型压缩成一个小巧精干的轻量化模型这张图它背后的含义是预训练的大模型的增长速率时很恐怖的比摩尔定律还大而我们小设备的算力提升是很受限的，所以这个知识
：）�东东要拼命·2023-01-12 13:00

论文笔记：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

图结构的数据在现实应用中非常常见，比如:SocialNetworks,CitationNetwoks,KnowledgeGraphs等。
饮冰l·2023-01-12 12:40

【知识图谱论文】具有生物医学知识图谱逻辑规则的神经多跳推理

Article文献题目：NeuralMulti-hopReasoningwithLogicalRulesonBiomedicalKnowledgeGraphs代码：https://github.com/
Wwwilling·2023-01-12 10:26

The More You Know: Using Knowledge Graphs for Image Classification ——用知识图谱进行图像分类论文

个人的学习记录，有参考https://blog.csdn.net/sunshine__0411/article/details/82847203?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2.control&depth_1-utm_source=distribute.pc_relevant.none-
qydsb·2023-01-12 09:21

知识蒸馏论文翻译（5）—— Feature Normalized Knowledge Distillation for Image Classification（图像分类）

知识蒸馏论文翻译（5）——FeatureNormalizedKnowledgeDistillationforImageClassification（图像分类）用于图像分类的特征归一化知识蒸馏文章目录知识蒸馏论文翻译
~拾捌~·2023-01-12 09:49

论文笔记：Subgraph Retrieval Enhanced Model for Multi-hop Knowledge BaseQuestion Answering

引用格式：ZhangJ,ZhangX,YuJ,etal.SubgraphRetrievalEnhancedModelforMulti-hopKnowledgeBaseQuestionAnswering[
空想之余·2023-01-11 17:47

论文笔记Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signa

ImprovingMulti-hopKnowledgeBaseQuestionAnsweringbyLearningIntermediateSupervisionSignals引用格式：[1]HeG,LanY
空想之余·2023-01-11 17:46

Sequence-to-Sequence Knowledge Graph Completion and QuestionAnswering(2022 ACL)

论文相关论文：https://aclanthology.org/2022.acl-long.201.pdf源码：GitHub-apoorvumang/kgt5:Sequence-to-SequenceKnowledgeGraphCompletionandQuestionAnswering
Toady 元气满满·2023-01-11 17:15

论文笔记：Sequence-to-Sequence Knowledge Graph Completion and QuestionAnswering

Sequence-to-SequenceKnowledgeGraphCompletionandQuestion备注：ACL2022MainConference链接：https://arxiv.org/pdf
空想之余·2023-01-11 17:44

KDD 2020 | 会话推荐系统新进展：基于互信息最大化的多知识图谱语义融合

论文标题：ImprovingConversationalRecommenderSystemsviaKnowledgeGraphbasedSemanticFusion论文来源：ACMSIGKDD2020论文链接
mishidemudong·2023-01-11 16:06

“This document contains links that may refer to other files. Do you want to update this document wit

参考：https://www.itsupportguides.com/knowledge-base/office-2013/word-2013-how-to-remove-links-to-other-files
helloasimo·2023-01-11 09:16

2021 kdd Controllable generation from pre-trained language models via inverse prompting

Controllablegenerationfrompre-trainedlanguagemodelsviainverseprompting.InProceedingsofthe27thACMSIGKDDConferenceonKnowledgeDiscovery
文三路张同学·2023-01-11 07:23

李宏毅机器学习课程梳理【十六】：Network Compression(压缩深度神经网络)

1.3WeightPruningV.SNeuronPruning2KnowledgeDistillation2.1ApplicationofEnsemble2.2Temperature3ParameterQuantization4ArchitectureDesign
-Emmie·2023-01-11 06:16

2021李宏毅机器学习课程-YouTube第十二部分、网络压缩NetWork Compression

第十二部分、网络压缩NetWorkCompression1.网络修剪(NetworkPruning)1）修剪参数/修剪神经元2）LT假说(LotteryTicketHypothesis)2.知识升华(KnowledgeDistillation
Liuyc-Code boy·2023-01-11 06:09

Learning Student-Friendly Teacher Networks for Knowledge Distillation论文阅读

本篇论文来自2021年NeurIPS，论文地址点这里一.介绍知识蒸馏是一种著名的技术，用于学习具有竞争性精度的紧凑深度神经网络模型，其中较小的网络(学生)被训练来模拟较大网络(教师)的表示。知识蒸馏的普及主要是由于它的简单性和通用性;根据教师学习学生模型是很简单的，并且对两个模型的网络架构没有限制。大多数方法的主要目标是在预先定义和预先训练的教师网络下，如何有效地将暗知识转移到学生模型中。虽然知识
编程龙·2023-01-10 19:48

From Known to Unknown: Knowledge-guided Transformer for Time-Series Sales Forecasting Aliformer模型

Aliformer\\paper：FromKnowntoUnknown:Knowledge-guidedTransformerforTime-SeriesSalesForecastinginAlibaba
David_7788·2023-01-10 16:14

一文打尽知识图谱

知识图谱（KnowledgeGraph,KG）是知识工程的重要分支之一，它以符号形式结构化地描述了物理世界中的概念及其相互关系。
qq_22244821·2023-01-10 14:52

Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读

Self-KnowledgeDistillation:ASimpleWayforBetterGeneralization论文阅读 这是一篇2020年6月挂载arxiv上的论文，目前还处于underreview
PyBigStar·2023-01-10 11:19

联邦学习——用data-free知识蒸馏处理Non-IID

《Data-FreeKnowledgeDistillationforHeterogeneousFederatedLearning》ICML2021最近出现了利用知识蒸馏来解决FL中的用户异构性问题的想法
联邦学习小白·2023-01-10 11:41

【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis

【AAAI2021】零样本知识蒸馏：Data-FreeKnowledgeDistillationwithSoftTargetedTransferSetSynthesis论文地址：主要问题：主要思路：主要贡献
BIT可达鸭·2023-01-10 11:41

Knowledge Distillation论文阅读之（1）：Structured Knowledge Distillation for Semantic Segmentation

文章目录abstractIntroductionRelatedWorksemanticsegmentation（语义分割方面）Knowledgedistillation（知识蒸馏方面）Adversariallearning
暖仔会飞·2023-01-10 11:10

Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation

EffectivenessofArbitraryTransferSetsforData-freeKnowledgeDistillation我们研究任何任意转移集对知识提炼任务的有效性，尽管它与原始训练数据无关
weixin_37958272·2023-01-10 11:10

Contrastive Model Inversion for Data-Free Knowledge Distillation

ContrastiveModelInversionforData-FreeKnowledgeDistillation模型反演的目标是从预先训练好的模型中恢复训练数据，最近已被证明是可行的。
weixin_37958272·2023-01-10 11:10

【WACV 2021】零样本目标检测知识蒸馏：Data-free Knowledge Distillation for Object Detection

【WACV2021】零样本目标检测知识蒸馏：Data-freeKnowledgeDistillationforObjectDetection论文地址：主要问题：主要思路：具体实现：数据生成：边框采样：可微的数据增强
BIT可达鸭·2023-01-10 11:10

《Preservation of the Global Knowledge by Not-True Self Knowledge Distillation in Federated Learning》

《PreservationoftheGlobalKnowledgebyNot-TrueSelfKnowledgeDistillationinFederatedLearning》Abstract1⃣️FederatedLearning
旅行者tru-th·2023-01-10 11:40

论文阅读笔记--Data-Free Knowledge Distillation for Heterogeneous Federated Learning（FEDGEN）

作者认为现有的知识蒸馏（KnowledgeDistillation，K-D）的方法大多都需要server有一批代理数据（proxydata），协助K-D完成知识传授的过程，这有时候是做不到的。
Shawn2134123·2023-01-10 11:09

CoLAKE: 如何实现非结构性语言和结构性知识表征的同步训练

©原创作者|疯狂的Max论文CoLAKE:ContextualizedLanguageandKnowledgeEmbedding解读01背景与动机随着预训练模型在NLP领域各大任务大放异彩，一系列研究都致力于将外部知识融入大规模预训练模型
NLP论文解读·2023-01-10 10:58

中国科学院计算机研究所陈丽,专家人才库数据----中国科学院计算技术研究所...

Two-phasedEventCausalityAcquisition:CouplingtheBoundaryIdentificationandArgumentIdentificationApproaches,InternationalConferenceonKnowledgeScience
weixin_39832643·2023-01-10 09:23

论文浅尝 - SWJ | 基于知识图谱和注意力图卷积神经网络的可解释零样本学习

论文题目：ExplainableZero-shotLearningviaAttentiveGraphConvolutionalNetworkandKnowledgeGraphs本文作者：耿玉霞，浙江大学在读博士
开放知识图谱·2023-01-10 09:17

知识图谱-生物信息学-医学论文(BMC Bioinformatics-2022)-挖掘阿尔茨海默病相关KG来确定潜在的相关语义三元组用于药物再利用

论文标题:MiningOnAlzheimer’sDiseasesRelatedKnowledgeGraphtoIdentityPotentialAD-relatedSemanticTriplesforDrugRepurposing
Cheng_0829·2023-01-10 09:01

速览EMNLP 2020上录取的知识图谱相关论文

1.知识图谱嵌入（表示学习）AutoETER:AutomatedEntityTypeRepresentationforKnowledgeGraphEm
夕小瑶·2023-01-10 06:52

小样本学习 few-shot learning

这是因为随着岁月的积累，人们已经拥有了大量的先验知识(priorknowledge)，使得对一个新鲜事物，只需要少量的例子就可以“学习”到该事物的特点。
zlSpuerr·2023-01-10 06:17

论文笔记：基于外部知识的会话模型Commonsense Knowledge Aware Conversation Generation with Graph Attention

CommonsenseKnowledgeAwareConversationGenerationwithGraphAttention1出发点现有的具有外部知识的模型，大多采用非结构化、开放域知识或者结构化
guohui_0907·2023-01-10 06:42

Commonsense and Named Entity Aware Knowledge Grounded Dialogue Generation

摘要motivation：以外部知识为基础，在对话历史背景下解释语言模式，如省写、回指和共同引用，对对话的理解和生成至关重要。thispaper：在本文中，我们提出了一种新的开放域对话生成模型，该模型有效地利用了大规模的常识知识，以及非结构化的特定主题的知识。我们使用使用协同引用的命名实体感知结构来增强常识知识。我们提出的模型利用一个多跳注意层来保存对话历史和相关知识的最准确和最关键的部分。此外，
been_through·2023-01-10 06:11

【论文阅读】Unifying Knowledge Graph Learning and Recommendation

UnifyingKnowledgeGraphLearningandRecommendation:TowardsaBetterUnderstandingofUserPreferences总体大纲如下图 记录下
上串下跳·2023-01-09 18:08

知识驱动对话-Learning to Select Knowledge for Response Generation in Dialog Systems-阅读笔记...

今日看了一篇文章《LearningtoSelectKnowledgeforResponseGenerationinDialogSystems》，以知识信息、对话目标、对话历史信息为基础，进行端到端的对话语句生成
weixin_30726161·2023-01-09 17:13

知识对话2021《Unsupervised Knowledge Selection for Dialogue Generation》论文解读

UnsupervisedKnowledgeSelectionforDialogueGeneration这篇论文是微信团队出的一篇，想解决的是没有最佳知识标签（无监督）情况下，对话模型怎么办？
曾阿牛nlper·2023-01-09 17:13

Learning to Select Knowledge for Response Generation in Dialog Systems

文章目录Abstract1Introduction2Model2.1Background:Seq2SeqandAttention2.2ArchitectureOverview2.3Encoder2.4KnowledgeManager2.5Decoder2.6LossFunction3Experiments3.1Dataset3.2ModelsforComparison3.3Implementati
mishidemudong·2023-01-09 16:43

【IJCAI2019】Learning to Select Knowledge for Response Generation in Dialog Systems

p7in2019/12/13论文名称：LearningtoSelectKnowledgeforResponseGenerationinDialogSystems………：论文作者：RongzhongLian
imsuhxz·2023-01-09 16:12

PostKS(Posterior-Knowledge-Selection)模型代码运行经验

shinstall.shshdownload_glove.shpythontrain.py--pre_epoch5--n_epoch15--n_batch128一、代码Github：Posterior-Knowledge-Selection
friedrichor·2023-01-09 16:42

论文笔记：基于外部知识的会话模型Learning to Select Knowledge for Response Generation in Dialog Systems

LearningtoSelectKnowledgeforResponseGenerationinDialogSystems1出发点传统的Seq2Seq模型趋向产生一般的且信息含量较少的回答。
guohui_0907·2023-01-09 16:42

【论文&模型讲解】Learning to Select Knowledge for Response Generation in Dialog Systems(PostKS模型)

文章目录前言背景PosteriorKnowledgeSelection模型（PostKS）1.对话编码器&知识编码器(UtteranceEncoder&KnowledgeEncoder)2.知识管理器(
friedrichor·2023-01-09 16:11
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他