LLM的表征做减法的是什么,自然语言是一个矩阵,怎么进行减法的

LLM的表征做减法的是什么,自然语言是一个矩阵,怎么进行减法的

有个假设:就是最后一个词语融合了前面词语的信息

减法操作主要用于提取模型内部表征中的"诚实性"概念向量。具体来说,这是通过对比诚实和不诚实场景下的模型隐藏状态实现的。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig
import nump

你可能感兴趣的:(教学,2024大模型以及算力,2021,AI,python,计算机视觉,人工智能,机器学习,算法,深度学习)