quantization

pytorch 模型量化quantization

pytorch模型量化quantization1.workflow1.1PTQ1.2QAT2.demo2.1构建resnet101_quantization模型2.2PTQ2.3QAT参考文献pytorch
L1_Zhang·2023-12-03 20:27

Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT---Q-BERT：基于Hessian的超低精度BERT量化

论文标题：Q-BERT:HessianBasedUltraLowPrecisionQuantizationofBERT---Q-BERT：基于Hessian的超低精度BERT量化Abstract1RelatedWorkModelcompression模型压缩CompressedNLPmodel2Methodology2.1Quantizationprocess2.2Mixedprecisionqu
土豆娃potato·2023-11-30 19:29

学习向量量化 Learning Vector Quantization | LVQ

目录前言一、学习向量量化是什么？二、学习向量量化的优点和缺点三、学习向量量化的应用场景四、构建学习向量量化模型的注意事项五、学习向量量化模型的实现类库六、学习向量量化模型的评价指标七、类库scikit-learn实现学习向量量化的例子八、学习向量量化的模型参数总结前言学习向量量化是机器学习中无监督学习的一种聚类算法。一、学习向量量化是什么？学习向量量化（LearningVectorQuantiza
JasonH2021·2023-11-26 17:01

CVPR 2023 精选论文学习笔记：Post-Training Quantization on Diffusion Models

基于MECE原则，我们给出以下四种分类依据：1.模型类型生成模型用于生成与其训练数据相似的新数据。它们通常用于图像生成、文本生成和音乐生成等任务。语言模型用于理解和生成人类语言。它们通常用于机器翻译、聊天机器人和文本摘要等任务。其他模型用于各种任务，例如图像分类、目标检测和自然语言处理。2.量化类型
结构化文摘·2023-11-26 06:33

对捕获的视频数据进行H264编码

即可适用于各种传输网络2）高的视频压缩比，当初提出的指标是比H.263，MPEG-4，约为它们的2倍，现在都已基实现;H.264其编解码流程帧间和帧内预测（Estimation）变换（Transform）和反变换量化（Quantization
HelloBinary·2023-11-21 09:01

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）前言量化Post-Training-Quantization
AGI_Player·2023-11-13 11:12

yolov5的ptq量化流程

Post-Training-Quantization（PTQ）是目前常用的模型量化方法之一。
qq_41920323·2023-11-02 05:16

yolov5的pqt、qat量化---1（知识准备工作）

1、Pytorch-Quantization简介PyTorchQuantization是一个工具包，用于训练和评估具有模拟量化的PyTorch模型。
qq_41920323·2023-10-30 05:05

TensorRT量化实战课YOLOv7量化：pytorch_quantization介绍

目录前言1.课程介绍2.pytorch_quantization2.1initialize函数2.2tensor_quant模块2.3TensorQuantizer类2.4QuantDescriptor
爱听歌的周童鞋·2023-10-30 04:49

PCM数据格式介绍

PCM原始音频数据格式介绍文章目录PCM原始音频数据格式介绍什么是PCMSampling（采样）采样率(Samplerate)Quantization（量化）Encoding（编码）PCM数据常用量化指标
SuperDali·2023-10-29 23:47

大模型知识蒸馏概述

而大模型压缩主要分为如下几类：剪枝（Pruning）知识蒸馏（KnowledgeDistillation）量化（Quantization）低秩分解（Lo
zenRRan·2023-10-28 00:38

基于hugging face的autogptq量化实践

#导入库：fromtransformersimportAutoModelForCausalLM,AutoTokenizer,GPTQConfigmodel_id="facebook/opt-125m"quantization_config
dear_queen·2023-10-27 04:29

模型部署笔记--Pytorch-FX量化

Pytorch-FX量化2--校准模型3--代码实例3-1--主函数3-2--prepare_dataloader函数3-3--训练和测试函数1--Pytorch-FX量化Pytorch在torch.quantization.quantize_fx
晓晓纳兰容若·2023-10-22 01:36

HWGQ-Deep Learning with Low Precision by Half-wave Gaussian Quantization论文学习

论文链接：https://openaccess.thecvf.com/content_cvpr_2017/html/Cai_Deep_Learning_With_CVPR_2017_paper.html摘要研究了深度神经网络激活的量化问题一直是研究热点。对流行的二值量子化方法的检验表明，它由一个经典的非线性，双曲切线：一个分段常数函数，用于前馈网络计算，以及一个分段线性硬阈值函数，用于网络学习过程
冰激凌很菜·2023-10-19 04:28

基于openvino+yolov5的模型量化记录（PTQ模式）

本文主要是记录学习openvino_notebootk302-pytorch-quantization-aware-training文档的一些收获，对于yolov5在cpu部署感兴趣的可以参考下。
TimeRoser·2023-10-17 12:42

cpu部署chatglm 报错No compiled kernel found.

Nocompiledkernelfound.Compilingkernels:C:\Users\admin.cache\huggingface\modules\transformers_modules\local\quantization_kernels_parallel.cCompilinggcc-O3
像夏天一样热·2023-10-16 05:12

量化初探: 对称量化以及非对称量化

1.量化的定义以及好处量化（Quantization）是指将高精度浮点数表示为低精度整数的过程，从而提高神经网络的效率和性能。
智障学AI·2023-10-16 03:54

PyTorch Quantization简介

基于YOLOv5实践目标检测的PTQ与QAT量化PyTorchQuantizationPyTorchQuantization是一种在机器学习中使用的技术，用于减少深度神经网络的大小和计算需求，使其更适合在内存和处理能力有限的设备上部署。量化是一种将大量数值表示为较小的离散值的过程，这可以减少神经网络的内存和计算需求。PyTorch提供了各种量化方法，包括训练后静态量化、动态量化和量化感知训练。训练
python算法工程师·2023-10-14 14:21

NVIDIA 量化感知训练pytorch-quantization说明文档

使用指导Quantizationfunctiontensor_quant和fake_tensor_quant是量化张量的两个基本函数。fake_tensor_quant返回伪量化张量（浮点值）。tensor_quant返回量化张量（整数值）和比例。tensor_quant(inputs,amax,num_bits=8,output_dtype=torch.float,unsigned=False)
yhwang-hub·2023-10-14 14:50

quantization

https://github.com/NVIDIA/TensorRT/tree/master/tools/pytorch-quantization/docs/source/tutorials一、creating_custom_quantized_modulesThereareseveralquantizedmodulesprovidedbythequantizationtoolasfollows
phily123·2023-10-14 14:19

pytorch-quantization vs torch.ao.quantization vs torch.quantization区别

pytorch-quantization这个package时nvidia开发出来的用来量化的。这个里面的内容已经有两年没有更新了。感觉不太靠谱的样子。
TimeRoser·2023-10-14 14:14

PyTorch Python API：Quantization || Intro

参考：https://pytorch.org/docs/stable/quantization.html(本篇比较适合已经有一定模型量化概念的人阅读)PyTorch：Quantization概要IntroQuantizationAPISummaryEagerModeQuantizationDynamicQuantizationStaticQuantizationStaticQuantization
Bitterest·2023-10-14 14:11

pytorch_quantization安装

官方安装步骤：pipinstallnvidia-pyindexpipinstallpytorch-quantization直接安装pytorch-quantization会找不到，需要首先安装nvidia-pyindex
phily123·2023-10-14 14:37

Quantization and Training of Neural Networks for EfficientInteger-Arithmetic-Only Inference量化学习

本片论文可谓是深度模型量化的经典之作，为此，虽有很多博主去解析，但还是想做个笔记记录学习成果；该论文共有如下贡献：1.提供了一个量化机制；量化了权重以及activations激活值为8bit整型数据，只有少数的bias量化为32bit整型，（思考bias的重要性，为何不量化为8bit，是否对结果有很大影响？？？）2.提供了量化推理框架，可以实现再整型运算的硬件上，例如eQualcommHexago
chenmingwei000·2023-10-13 14:17

QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《QA-LORA:QUANTIZATION-AWARELOW-RANKADAPTATIONOFLARGELANGUAGEMODELS》的翻译。
UnknownBody·2023-10-09 20:33

SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

这是一篇做大模型训练后量化（PTQ）的文章，简单总结一下文章内容吧。论文地址:https://arxiv.org/abs/2211.10438Github:https://github.com/mit-han-lab/smoothquant1、量化概念首先介绍一下三种量化方式：per-tensor量化：每个tensor使用同一步长per-token量化：tensor中的同一token使用同一步长p
We!Y1·2023-10-07 18:39

乘积量化（Product Quantization）

1简介乘积量化（PQ）算法是和VLAD算法是由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法，在矢量量化（VectorQuantization，VQ）的基础上发展而来，虽然PQ不算是新算法，但是这种思想还是挺有用处的，本文没有添加公式。它原文中是接在VLAD算法后面，假设我们使用VLAD算法获得了1M的图像表达向量，向量的维度为D=128，则对于一幅查询图像来说，
cp3_1dbc·2023-09-29 14:38

模型量化（Model Quantization）

1.简介模型量化（ModelQuantization）通过某种方法将浮点模型转为定点模型。比如说原来的模型里面的权重（weight）都是float32，通过模型量化，将模型变成权重（weight）都是int8的定点模型模型量化有8/4/2/1bit等：16位：(半精度（FP16），单精度（FP32），双精度（FP64）)Floatingpoints8位最常见也相对成熟。各种主流框架和硬件都支持。8
noobiee·2023-09-19 22:50

python自动合成图片为gif，并能根据第一张图片自动统一图片尺寸

网上找来合成图片成gif的代码，没想到运行报错：Traceback(mostrecentcalllast):File“D:\code\python\binance-quantization-master
linweidong·2023-09-11 14:27

【模型量化】AIMET文档 - AIMET TensorFlow Quantization SIM API

目录[AIMETTensorFlowQuantizationSIMAPI](https://quic.github.io/aimet-pages/releases/latest/api_docs/tensorflow_quantsim.html#api-tf-quantsim)顶层API：量化模拟模型类QuantizationSimModel量化方案说明用于计算模型的编码的API将量化好的模型导出
月满星沉·2023-09-10 11:20

NLP（六十八）使用Optimum进行模型量化

  本文将会介绍如何使用HuggingFace的Optimum，来对微调后的BERT模型进行量化（Quantization）。  
山阴少年·2023-09-10 08:15

Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

原文链接：https://arxiv.org/abs/1712.05877发表：CVPR2018代码:https://github.com/jameszampa/ECE-570-Implementation编辑：Daniel1.推理阶段其中r为要量化的实数，S为浮点数，q为量化后的无符号8位整数，Z为量化后零点，无符号8位整数。weight和activation的量化都是以矩阵为单位，同一矩阵共享
EdgeAI·2023-09-05 08:35

NLP（六十七）BERT模型训练后动态量化（PTDQ）

量化  在深度学习中，量化（Quantization）指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。
山阴少年·2023-09-03 17:54

Trained Quantization Thresholds for Accurate and Efficient Fixed-Point Inference of Deep Neural N...

一、摘要我们提出了一种使用标准反向传播和梯度下降的均匀对称量化器训练量化阈值（TQT）的方法。与先前的工作相反，我们表明，对阈值梯度的直通估计器的仔细分析允许自然的范围-精度权衡，导致更好的优化。我们提出了对我们方法的一般稳健性的分析支持，并在ImageNet分类的各种CNN上对其进行了经验验证。我们能够在传统的困难网络（如MobileNets）上实现ear-floating-point的准确度，
加油11dd23·2023-09-01 23:31

pytorch量化

一、参考文档pytorch官方文档quantization：https://pytorch.org/docs/stable/quantization.html?
weixin_45919003·2023-08-13 21:47

Pytorch量化之Post Train Static Quantization(训练后静态量化)

使用Pytorch训练出的模型权重为fp32，部署时，为了加快速度，一般会将模型量化至int8。与fp32相比，int8模型的大小为原来的1/4,速度为2~4倍。Pytorch支持三种量化方式：动态量化（DynamicQuantization）:只量化权重，激活在推理过程中进行量化静态量化（StaticQuantization）:量化权重和激活量化感知训练（QuantizationAwareTra
CodingInCV·2023-08-10 07:17

TensoRT量化第四课：PTQ与QAT

目录PTQ与QAT注意事项一、2023/5/8更新二、2023/5/12更新前言1.TensorRT量化2.PTQ3.QAT4.QAT实战4.1环境配置4.2pytorch_quantization简单示例
爱听歌的周童鞋·2023-07-31 09:45

PyTorch quantization observer

文章目录PyTorchquantizationobserverbasicclassstandardobserversubstandardobserverPyTorchquantizationobserverbasicclassnameinheritdescribeObserverBaseABC,nn.ModuleBaseobserverModuleUniformQuantizationObserv
LeoATLiang·2023-07-28 20:38

ModuleNotFoundError: No module named ‘torch.ao.quantization‘

查看自己的版本我要用的版本解决方法，pipuninstalltorchvision重新安装对应版本pipinstalltorchvision==0.10.0+cu102-fhttps://download.pytorch.org/whl/torch_stable.html参考https://blog.csdn.net/qq_46322529/article/details/128241196
wddptwd28·2023-07-24 16:44

pytorch-quantization创建自定义量化模块

CreatingCustomQuantizedModulesQuantizingModulesWithOnlyInputsQuantizingModulesWithWeightsandInputsDirectlyQuantizingInputsInGraph量化工具提供了几个量化的模块，如下所示：QuantConv1d，QuantConv2d，QuantConv3d，pentConvtranspo
yhwang-hub·2023-07-24 15:20

[TinyML]APQ:Joint Search for Network Architecture, Pruning and Quantization Policy

APQ:JointSearchforNetworkArchitecture,PruningandQuantizationPolicyAbstractSectionIIntroductionSectionIIBackgroundandOutlineSectionIIIJointDesignMethodologyPart1Once-for-allnetworkwithfine-grainedchann
黄小米吖·2023-07-14 18:28

RuntimeError: CUDA Error: no kernel image is available for execution on the device

解决过程如下：配置好服务器与python环境后，发现ChatGLM-6b模型可运行，但是ChatGLM-6b-int4模型运行不了，因此，在进行ptuning的时候，将train.sh中的最后一行quantization_bit4
孔雀竹鱼·2023-06-24 01:44

MegEngine 使用小技巧：量化

数据类型一般是float32类型，而工业界出于对特定场景的需求（极少的计算资源，极致的推理速度），需要把模型的权重和或激活值转换为位数更少的数值类型（比int8,float16）——整个过程被称为量化（Quantization
·2023-06-14 18:47

PyTorch模型量化- layer-wise Quantize & Channel-wise Quantize

量化(Quantization)是解决FP32的模型在内存带宽消耗，推理速度的主要技术之一，其采用定点(fixedpoint)或者整形数据(INT8)代
侠之大者_7d3f·2023-06-13 23:37

INT8 中的稀疏性：加速的训练工作流程和NVIDIA TensorRT 最佳实践

最佳实践结构稀疏量化在TensorRT中部署稀疏量化模型的工作流程案例研究：ResNet-34要求第1步：从密集模型中进行稀疏化和微调第2步：量化PyTorch模型PTQ通过TensorRT校准QAT通过pytorch-quantization
扫地的小何尚·2023-06-06 23:13

yolov5量化具体流程

1、环境配置1.1、PytorchQuantization安装方式1：pip直接安装pipinstallpytorch-quantization--extra-index-urlhttps://pypi.ngc.nvidia.com
python算法工程师·2023-04-08 21:13

图片处理-opencv-13.图像量化处理

所谓量化（Quantization），就是将图像像素点对应亮度的连续变化区间转换为单个特定值的过程，即将原始灰度图像的空间坐标幅度值离散化。量化
lk311·2023-03-31 00:28

数据分析利器---jupyter

官网https://jupyter.org/运行AnacondaPrompt安装condainstalljupyter更换工作目录cdD:\quantization\jupyter安装插件选择工具栏condainstall-cconda-forgejupyter_contrib_nbextensionscondainstall-cconda-forgejupyter_nbextensions_co
turui·2023-03-30 07:20

数字图像处理期末知识点总结（英文版）

DigitalimageprocessingFinalexamsummariesBrightnessadaptation(亮适应)Lens--晶状体cones--锥状体—bright-lightvisionrod--杆状体—dim-lightvisionSampling(取样)quantization
不朽的传奇pyq·2023-02-22 07:17

TensorRT的功能

2.1.C++andPythonAPIs2.2.TheProgrammingModel2.2.2.TheRuntimePhase2.3.Plugins2.4.TypesandPrecision2.5.Quantization2.6
扫地的小何尚·2023-02-16 21:06
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他