🐒大模型提高(训练量化微调)

📝基础入门

transformers库

1. 生态

pipeline

1. 流水线 拍不烂





1. 代码
pipe = pipeline("text-classification", model="uer/roberta-base-finetuned-dianping-chinese")

分词器

1. 有 Fast/ Slow Tokenizer之分。

2. 编解码，id与token相互转换。

3. 填充与截断

4. 一般使用：

如何使用本地的模型

1. 数据 for i in range(5):print(dataset[i])

2. 分词+数据加载 next(enumerate(validloader))[1]

3. 模型

4. 训练与预测

5. 推理： pipeline上场 或有时候可用在 原始数据进行预处理

6. model head 全连接层 映射解决不同问题

datasets

Evaluate

Train

📝实战演练

流程

降显存

1. 减少batch_size 增加梯度累加GA

1. grad checkPoint 去掉中间一些值的存储 gradient_checkpointing=True, # *** 梯度检查点 ***

2. 优化优化器 optim="adafactor"

3. 冻结预训练部分的bert 只跑全连接层那部分 效果不好

4. 效果不好 数据的长度

📝高效微调

1. 有意思的指标：
独显占有率 时间
参数量 model.prompt_encoder model.print_trainable_parameters()
参数量 sum(param.numel() for param in model.parameters())
AutoModelForCausalLM.from_pretrained("Langboat/bloom-1b4-zh", low_cpu_mem_usage=True)

2. bitfit : 冻结除去bias的参数，少用
模型创建后动手
保存下来的模型参数，下次接着用

3. Prompt-Tuning： 额外加入参数 hard prompt与soft prompt
在模型创建的时候动手
PEFT Step1 配置文件
PEFT Step2 创建模型
加载训练好的PEFT模型

4. P-Tuning 优化soft prompt 对prompt那一部分进行进一步的编码计算



依旧是模型创建部分
PEFT Step1 配置文件
PEFT Step2 创建模型

5. Prefix-tuning: 不再embedding进行拼接，放到整个Transformer blocks，放在每一层中

6. Lora: 内在维度 没有计算量 权重矩阵加两个小分支 会合并故没有额外推理开销
AB的维度，那些权重需要旁系，默认只对key与value调整



合并(导入)

7. IA3 比lora多了一份右边的 dense_h_to_4h 参数最少
抑制和放大内部激活，对K、V.FFN三部分的值进行调整，权重合并

8. PEFT 进阶操作
适配器

📝低精度训练

降低模型本身的显存占用

LLAMA2

ChatGLM3

📝番外技能

GPT