Tuning

清华刘知远团队提出跨模态预训练Prompt Tuning

关注公众号，发现CV技术之美本文分享论文『CPT:ColorfulPromptTuningforPre-trainedVision-LanguageModels』，由清华刘知远团队提出跨模态预训练PromptTuning
我爱计算机视觉·2022-12-12 19:56

PyTorch提高（一）Fine-tuning

Finetuning模型微调一.什么是微调针对某一个任务，当自己训练数据不多时，我们可以找一个同类的别人训练好的模型，换成自己的数据，调整一下参数，再训练一遍，这就是微调。
onion___·2022-12-12 16:00

Instruction Tuning｜谷歌Quoc V.Le团队提出精调新范式！香过Prompt！

卷友们好，我是rumor。前两天在Arxiv刷到个比较牛的论文题目：FinetunedLanguageModelsAreZero-ShotLearners是不是跟GPT-3有些像：LanguageModelsareFew-ShotLearners以为是蹭热度，就没点进去，结果今天点进去仔细一看，好家伙居然出自QuocV.Le团队：于是我摆正心态，仔细看了之后还是发现不少东西。这个文章提出了一个In
李rumor·2022-12-11 12:48

全新instruction调优，零样本性能超越小样本，谷歌1370亿参数新模型比GPT-3更强...

计算机视觉研究院专栏作者：Edison_G在NLP领域，pretrain-finetune和prompt-tuning技术能够提升GPT-3等大模型在各类任务上的性能，但这类大模型在零样本学习任务中的表现依然不突出
计算机视觉研究院·2022-12-11 12:46

零样本性能超越GPT-3！谷歌提出1370亿参数自回归语言模型

©作者|机器之心编辑部来源|机器之心在NLP领域，pretrain-finetune和prompt-tuning技术能够提升GPT-3等大模型在各类任务上的性能，但这类大模型在零样本学习任务中的表现依然不突出
PaperWeekly·2022-12-11 12:44

Instruction Tuning（FLAN、instructGPT、chatGPT）

首页最近被chatGPT刷屏，但翔二博主左看右看发现很多想法似乎都是一脉相通的，于是连夜从存档中找了一些文章尝试理一理它的理论路线。具身智能综述和应用（EmbodiedAI）多模态中的指令控制同时想到今年在智源人工智能前沿报告（2021-2022年度）中其实就有说道：“未来三年，基于虚拟世界、实时时空环境训练的具身模型会取得较大的发展，如自动驾驶、机器人、游戏中数字人等······未来五到十年，超
上杉翔二·2022-12-11 12:13

Transformers训练和微调：Training and Fine-tuning

Transformers种的模型类旨在兼容Pytorch和Tensorflow2，并且可以无缝地在其中使用。本节，会展示如何使用标准的训练工具从头开始训练或微调一个模型。此外，也会展示如何使用Trainer()类来处理复杂的训练过程。使用PyTorch来微调自定义任务模型在Transformers中，不以TF开头的模型类是Pytorch模型，这意味着你可以使用它们像Pytorch模型一样进行推理和
HMTT·2022-12-10 15:03

算法 KECP 被顶会 EMNLP 收录，极少训练数据就能实现机器阅读理解

近日，阿里云机器学习平台PAI与华东师范大学高明教授团队合作在自然语言处理顶级会议EMNLP2022上发表基于Prompt-Tuning的小样本机器阅读理解算法KECP（KnowledgeEnhancedContrastivePrompt-tuning
阿里云技术·2022-12-10 15:29

关于高通CAMX架构下的AE调试的总结

我于2021年夏开始学习cameratuning，至今大半年的时间了，做了一个8M的前置摄像头的调试。有些简单的调试心得与君分享，随着学习和工作的深入，还会持续更新这篇博文。
阿塔西·2022-12-09 22:33

高通Camera Tuning AE之曝光表的配置

AEC界面中曝光表的设置需要填写以下两个数值的计算，需要在Sensorinfoxml文件中中寻找确认：1.第一行的曝光时间的计算公式为：((minlinecount/(maxfps*framelengthlines))*100000000ns2.Minimumblankingtimeforpreview的计算公式为:(1/(maxfps*framelengthlines))*verticaloff
Camera悟·2022-12-09 22:57

Camera Tuning-高通平台总结

chromatix项目必须包含有效的ADCimage.pngfilcker:交流电照明灯发出的光会一定频率的抖动导致sensor图像出现行方向的水波纹，称之为filcker。目前主要的交流电频率有50HZ和60HZ两种。为了避免出现flicker，要求曝光时间大于base值时必须是base的整数倍。image.pngBlacklevelBlacklevel简单的说就是黑电平，指在dark下pixe
小菜鸟打怪记·2022-12-09 22:26

算法 KECP 被顶会 EMNLP 收录，极少训练数据就能实现机器阅读理解

近日，阿里云机器学习平台PAI与华东师范大学高明教授团队合作在自然语言处理顶级会议EMNLP2022上发表基于Prompt-Tuning的小样本机器阅读理解算法KECP（KnowledgeEnhancedContrastivePrompt-tuning
阿里云云栖号·2022-12-09 21:11

搭配对比学习，万能的 prompt 还能做可控文本生成

但是，CTRL是对整个语言模型进行Finetuning,PPLM因为需要在生成的过程中迭代更新hiddenactivations，所以推理速度非常慢。随着Prompting技术的大火，
zenRRan·2022-12-09 16:27

算法 KECP 被顶会 EMNLP 收录，极少训练数据就能实现机器阅读理解

作者：王嘉宁、汪诚愚、邱明辉、石秋慧、王洪彬、黄俊、高明近日，阿里云机器学习平台PAI与华东师范大学高明教授团队合作在自然语言处理顶级会议EMNLP2022上发表基于Prompt-Tuning的小样本机器阅读理解算法
阿里云大数据AI技术·2022-12-09 09:01

IQ_Tuning_Overview

1、什么是ImageQualityTuning如上是一个成像系统的组成，包含光源（人造光，自然光）、被摄物体、成像的接收系统三大部分。
木 东·2022-12-09 03:29

【NLP】Transformers 源码阅读和实践

主要以pytorch为例(tf2.0代码风格几乎和pytorch一致)，介绍BERT使用的TransformerEncoder，Pre-trainingTasks和Fine-tuningTasks。
风度78·2022-12-08 19:35

谷歌提出tuning新方法，强力释放GPT-3潜力！

文|Yimin_饭煲编|炼丹学徒如果评选NLP圈的2020年度十大关键词，那么GPT-3（LanguageModelsareFewshotLearners)一定榜上有名。GPT-3庞大的参数量，优异的性能至今仍让圈内圈外人都津津乐道，而OpenAI发布的OpenAIAPI，更是为自然语言处理技术的大规模可扩展商业应用提供了一个极有前景的方向。不过，作为NLP研究者，我认为GPT-3对前沿研究的最大
夕小瑶·2022-12-07 16:43

震惊！三个万引大佬嘴仗，原来是为了他……？

象征性地打开论文，草草扫过去，嗯，迁移学习，嗯，新SOTA，嗯，计算需要的储存资源是fine-tuning的1%。哇哦，厉害，厉害，但这不影响我不想写呀？
夕小瑶·2022-12-07 14:57

TsingHua：FPT: Improving Prompt Tuning Efficiency via Progressive Training

开头是从比较PT（promptlearning和finetuning）开始的。为什么PT的收敛速度慢，训练效率低下？因为PT中中可训练的参数大大减少了吧。微调起来不是很容易。
等景，不如找景·2022-12-07 12:06

CVPR2021 | TrivialAugment：不用调优的SOTA数据增强策略

本文是ICCV21oral，标题错了作者：记忆的迷谷@知乎(已授权)编辑：CV技术指南原文：https://zhuanlan.zhihu.com/p/446928363论文：TrivialAugment:Tuning-freeYetState-of-the-ArtDataAug
Tom Hardy·2022-12-07 11:05

机器学习基础（三）

机器学习基础实验报告实验三：一、实验目的学习识别手写数字图像的卷积神经网络：LeNet学习如何使用单块NVIDIAGPU来计算学习迁移学习中的一种常用技术：微调（finetuning）二、实验内容和步骤练习一
平杨猪·2022-12-07 09:50

【目标检测】Fast R-CNN前言

目录：论文FastR-CNN前言总结一、概述1.背景2.R-CNN缺点3.SPPNet二、FastR-CNN简介三、ROIpoolinglayer四、fine-tuning一、概述1.背景简化了最先进的基于卷积网络的目标检测器的训练过程
旅途中的宽~·2022-12-06 20:51

李宏毅2020ML——P83 Transfer Learning

transferlearningintroduceideaslabelled-labelledModelFine-tuningMultitaskLearningunlabelled-labelledDomain-adversarialtrainingZero-shotlearningintroduce
小葵向前冲·2022-12-05 19:04

李宏毅机器学习笔记（）Transfer Learning

二、fine-tuningtargetdata和sourcedata同时都有label。targetdata量非常少（叫做one-shotlearning），sourcedata很多。
处女座程序员的朋友·2022-12-05 19:04

李宏毅机器学习——学习笔记（17） Transfer Learning

TransferLearning1.transferlearning可以分为四大类（不同的文件上有不同的称呼）：ModelFine-tuning、MultitaskLearning（sourcelabeledandtargetlabeled
青芒·1·2022-12-05 19:34

超参数调整和实验-训练深度神经网络 | PyTorch系列（二十六）

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”重磅干货，第一时间送达文|AI_study原标题：HyperparameterTuningAndExperimenting-TrainingDeepNeuralNetworks
flyfor2013·2022-12-05 18:11

高通Spectra 2xx中GTM LTM的tuning重点

GTM是一个全局的色调调节（增大或减小）来增强可视性。在HDRmode或者ADRC中，用来补偿动态范围。主要是调整GTMCurve。通过Luxindex或exposureratio来触发。luxindex是亮度，exposureratio类似于画面对比度。对于每一个luxregion，把GTM调整到类似于非HDR模式的middletone的曲线。一个参数是A_middletone(extra_ra
pomwhan·2022-12-05 17:16

提示学习概述【入门总结看这个就够了】

为什么需要提示学习PLM+Finetuning形式的缺陷模型在做预训练的时候，采用的任务形式：自回归、自编码，与下游的任务形式存在较大的差别（例如预训练模型训练的mask训练头是无法应用到下游任务上的CLS
Pricelesse·2022-12-04 20:10

BERT源码注释(run_classifier.py) - 全网最详细-【转载】

，来转载这篇博客，如有侵犯，请联系删除原文链接：链接点这里#coding=utf-8#bert注解版#rawauthor:Google#explainauthor：putdoor"""BERTfinetuningrunner
NLP蜗牛·2022-12-04 08:20

BERT 相关资源整理

TrainingArguments类使用PyTorch进行知识蒸馏调节学习率Huggingface简介及BERT代码浅析使用huggingface的Transformers预训练自己的bert模型+FineTuningBERT
暖仔会飞·2022-12-04 07:55

深度学习（二）BERT模型及其一系列衍生模型

6.Fine-Tuning①case1Clas
青年有志·2022-12-04 06:04

BERT基于transformer的双向编码器

BidirectionEcoderRepresentationsfromTransformers）：左右信息，深的双向Transformer编码（enceder）模型基于特征的模型feature-based：ELMo，基于RNN基于微调的模型fine-tuning
山上的小酒馆·2022-12-03 20:09

Hugging Face主页课程第一篇《Transformer models》

HuggingFace主页课程第二篇《UsingTransformers》HuggingFace主页课程第三篇《Fine-tuningapretrainedmodel》HuggingFace主页课程部分解析文章目录
神洛华·2022-12-03 07:35

深度学习Day02

GradientDescenttuningyourlearningrateAdaptiveLearningRatesAdagrat\仅一个参数成立FeatureScalingGradientDescend
非畅6 1·2022-12-02 17:00

文本生成 | retrieval augmentation（进阶篇Atlas）

来自：NLP日志提纲1简介2模型架构3实验设计3.1损失函数3.2预训练任务3.3Efficientretrieverfine-tuning4实验结论5分析5.1可解释性5.2可更新性6总结参考文献1简介之前写过若干篇
zenRRan·2022-12-02 17:23

Pre-train 与 Fine-tuning

预训练顾名思义就是指之前被训练好的Model,比如很大很耗时间的model,你又不想从头training一遍。这时候可以直接download别人训练好的model，里面保存的都是每一层的parameter配置情况。(Caffe里对于ImageNet的一个model,我记得是200+M的model大小)。你有了这样的model之后，可以直接拿来做testing,前提是你的output的类别是一样的。
屋顶上的小贝·2022-12-02 16:08

译（自编码器） Hinton2006---Reducing the Dimensionality of Data with Neural Networks

在这种“自动编码器（autoencoder）”网络中，梯度下降可以用来微调（fine-tuning）权值，但是只有在初始
大晴天下的多肉·2022-12-02 09:43

GPT语言模型

GPT：GPT采用了大量的无监督的数据进行预训练（Pre-training），并在有监督的数据上进行微调（Fine-tuning）来做具体的NLP的任务。
小杨变老杨·2022-12-02 00:26

tensorflow.python.framework.errors_impl.InvalidArgumentError: Restoring from checkpoint failed. This

背景：今天使用bertfinetuning的方式进行文本多分类任务时候，遇到一个报错，记录一下tensorflow.python.framework.errors_impl.InvalidArgumentError
JieFeiLau·2022-12-01 17:02

【ACL 2021】基于一致性正则的跨语言微调方法

论文名称：ConsistencyRegularizationforCross-LingualFine-Tuning论文作者：郑博，董力，黄绍晗，王文辉，迟泽闻，SakshamSinghal，车万翔，刘挺
zenRRan·2022-12-01 14:59

图神经网络上的预训练模型，思考与总结

在这样的一个既定事实之上，基于pretrain+fine-tuning的思路去进行工业化应用也似乎达成了一种共识。但是，GNNGNN领域似乎倒还停留在设
人工智能与算法学习·2022-12-01 12:21

【21.09-21.10】近日Paper Quichthrough汇总

文本分类1.PTR:PromptTuningwithRulesforTextClassificationPaperUrl摘要：经过微调的预先训练的语言模型(PLMs)在几乎所有的NLP任务中都取得了令人惊叹的表现
SUFEHeisenberg·2022-12-01 11:31

r语言随机森林_随机森林+时间序列（R语言版）

https://www.statworx.com/at/blog/time-series-forecasting-with-random-forest/https://www.r-bloggers.com/tuning-random-forest-on-time-series-data
weixin_39538451·2022-12-01 05:40

高通camera Tuning常见面试题

AE算法流程亮度获取：图像经过OB，shading后，将图像分成64*48的网格，获取亮度信息。计算Target：用lumatarget，直方图，brightregion，darkregion，extremeclolor等AE信息统计模块进行调整分析，统计出最终的目标亮度(Target)。基础亮度信息和目标亮度进行比较分析，决定是否收敛。曝光调节：若决定收敛，则经过曝光表进入expindex，将需
Vinegar �·2022-11-30 14:29

Prefix-Tuning: Optimizing Continuous Prompts for Generation

1.本文提出了Prefix-Tuning，一种轻量级的自然语言生成任务的fine-tune替代方案，使语言模型参数保持冻结状态，但是优化了一个小的连续的特定于任务的向量（这个向量称之为前缀）。
一直在路上的程序猿·2022-11-30 08:16

论文：Slicing Aided Hyper Inference and Fine-tuning for Small Object Detection通过划块的方式进行小目标检测

SlicingAidedHyperInferenceandFine-tuningforSmallObjectDetection通过划块的方式进行小目标检测1、看一下过程和最终效果1.1、看一下slicing
☞源仔·2022-11-30 05:53

小目标检测 改进 拆分拼接

小目标Trick论文链接：https://paperswithcode.com/paper/slicing-aided-hyper-inference-and-fine-tuning代码链接：https
AI视觉网奇·2022-11-30 05:47

sahi:切片辅助推理和微调小目标检测

文章目录前言一、小目标检测1、小目标的定义2、小目标检测的难点二、SlicingAidedFine-tuning(SF)切片辅助微调：三、SlicingAidedHyperInference(SAHI)
零尘haha·2022-11-30 05:42

ISUM: Efficiently Compressing Large and Complex Workloads for Scalable Index Tuning

ISUM:EfficientlyCompressingLargeandComplexWorkloadsforScalableIndexTuning今天的数据库系统包括索引顾问，可以为输入工作负载推荐一组适当的索引
西西弗的小蚂蚁·2022-11-29 21:24

bert中的sep_BERT 详解

它的主要模型结构是trasnformer的encoder堆叠而成，它其实是一个2阶段的框架，分别是pretraining，以及在各个具体任务上进行finetuning。pretaining阶段
艾苛尔·2022-11-29 19:03
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他