2024-01-06-AI 大模型全栈工程师 - 机器学习基础

摘要

2024-01-06 阴 杭州 晴

本节简介:
a. 数学模型&算法名词相关概念;
b. 学会数学建模相关知识;
c. 学会自我思考,提升认知,不要只会模仿;

课程内容

1. Fine-Tuning 有什么作用?

a. 什么是模型训练(Training)
b. 什么是模型预训练(Pre-Training)
c. 微调(Fine-Tuning)
d. 轻量化微调(Parameter Efficient Fine-Tuning,PEFT)

2. 什么是模型?

a. 模型是一个函数(一种逻辑实现)
a.1 接受一定范围内的参数;
a.2 预测输出;

b. 模型训练是什么?
b.1 我们有一系列的入参,比如年龄,收入,性格等指标;
b.2 基于调研和记录采集到了一定参数指标下的观测数据;
b.3 求解二者关系的过程,就是数学建模,不断求解优化的过程就是模型训练;

3. 什么是模型训练?

4. 求解器

为了训练过程取得更好的收益,人们设计了很多复杂的求解器;

重点: 最常用的求解器是 Adam || AdamW

5. 常用的损失函数

a. 两个数值的差距: Min Square Error
b. 两个向量之间的(欧式)距离
c. 两个向量之间的夹角(余弦距离)
d. 概率分支之间的差异: 交叉熵

备注: 损失函数之间可以组合使用,例如预先定义的权重也叫超参;

6. 基于 PyTorch 训练一个最简单的神经网络

代码通过 ChatGPT 自行学习;

7. 自然语言处理常见的网络结构

a. 文本卷积神经网络 TextCNN

b. 循环神经网络 RNN

简易的 RNN 有很多问题,最大的问题就是随着序列长度的增加,将会出现梯度消失或者梯度爆炸的现象。

备注: LSTM 和 GRU 通过 [门] 来控制上下文的状态被记住或是遗忘,同时防止梯度消失或者梯度爆炸。

8. Transformer 江山一统

总结

小结: 机器学习基础,任重道远,但是基本的概念早就了解了,反复碎碎念。

你可能感兴趣的:(人工智能,机器学习)