向着朝阳 - 博客园

2026年1月1日

摘要：目录大模型OPENAPI Gemini等不支持微调的大模型如何适配垂直场景本质特点方案二（效果最稳定）：模型外置判别器（Hybrid）架构方案三（非常重要）：蒸馏（Distillation）做法这是当前业界事实上的标准路径大模型【总结】如果一个 Qwen 模型是官方发布、但权重未开源的版本阅读全文

posted @ 2026-01-01 10:18 向着朝阳阅读(58) 评论(0) 推荐(0)

大模型蒸馏

摘要：目录一、学生模型（LoRA 微调模型）选择二、教师生成训练数据（GPT / ChatGPT）技巧1️⃣ 指令设计2️⃣ 数据量控制3️⃣ 数据分布覆盖4️⃣ 多轮对话5️⃣ 校验与清洗三、训练注意事项四、常见坑与解决方案五、总结经验法则null一、相似点（为什么可以看作微调的分支）二、不同点（蒸馏独阅读全文

posted @ 2026-01-01 10:17 向着朝阳阅读(100) 评论(0) 推荐(0)

2025年12月31日

LORA NF4 量化原理

摘要：目录1. 权重的“精度压缩”：从FP32→4位NF4，直接砍显存2. NF4的“适配性优化”：减少压缩后的精度损失3. “冻结主权重+仅训LoRA”：进一步省显存+保效果总结原理这个“4位NF4量化+冻结主权重”能大幅减少显存的原理，本质是“精度压缩+计算分离”，可以拆成3个核心环节理解： 1. 阅读全文

posted @ 2025-12-31 11:43 向着朝阳阅读(114) 评论(0) 推荐(0)

LoRA r跟数据量的关系

摘要：目录r跟数据量的关系📌 样本量 vs 推荐 r（经验值）任务复杂度分级（工程视角）举例四、结合 target_modules 的“等效 r”换算（非常重要）五、你的场景下的“直接建议”（结合你之前背景）🎯 推荐组合（稳妥）六、一句话结论r和target_modules的关系 r跟数据量的关系核阅读全文

posted @ 2025-12-31 10:39 向着朝阳阅读(41) 评论(0) 推荐(0)

LoRA训练的数据质量和数据量和任务复杂度关系

摘要：目录一、核心结论（一句话）二、复杂度等级 × 训练数据关系总览（工程视角）📌 总表（建议收藏）三、逐级展开（重点在 L3 / L4）L1：风格 / 格式（数据量主导）L2：单意图（映射学习）L3：多意图 / 组合意图（这是你现在的重点）模型在学什么？❗ 这时数据量已经不是关键问题必须具备的数据结构阅读全文

posted @ 2025-12-31 10:36 向着朝阳阅读(55) 评论(0) 推荐(0)

LORA微调的参数选择-进阶

摘要：目录概念任务复杂度r（秩）不同任务复杂度的训练的数据要求任务复杂度 × 样本量 × 结构化数据占比（经验参考）注释说明r（秩）和训练数据量和 target_modules 关系一、回顾 r ≈ 任务复杂度 × log₁₀(样本数)二、target_modules 如何影响 r 的选择1️⃣ 定义2 阅读全文

posted @ 2025-12-31 10:04 向着朝阳阅读(157) 评论(0) 推荐(0)

自顶向下设计与高层抽象的重要性

摘要：目录一、这一章节在讲什么问题二、核心观点总结（一句话版）三、关键思想拆解（读书笔记要点）1️⃣ 高层表达是为了“隐藏不必要的细节”2️⃣ 自顶向下设计为什么能减少 bug（四个层面）（1）结构清晰 → 需求和职责更准确（2）模块划分 + 独立性 → 避免系统级 bug（3）细节隐藏 → 更容易发现结阅读全文

posted @ 2025-12-31 09:35 向着朝阳阅读(10) 评论(0) 推荐(0)

2025年12月30日

缓存方案

摘要：目录意图识别缓存 Key 设计方案一、整体架构二、缓存 Key 设计2.1 精确匹配缓存 Key（归一化后）2.2 向量相似度缓存 Key（语义匹配）方案 A: 使用 Redis Stack Vector Search（推荐）方案 B: 使用 Milvus（高并发场景）2.3 辅助缓存 Key2.3 阅读全文

posted @ 2025-12-30 10:57 向着朝阳阅读(28) 评论(0) 推荐(0)

Rola微调的使用场景

摘要：目录一、Transformer 系列模型二、生成式 / Diffusion 模型三、图像/视觉 Transformer 模型四、强化学习 / RLHF 模型五、总结除了大语言模型和 Diffusion（扩散）模型，LoRA（Low-Rank Adaptation）微调在其他类型的深度学习模型里阅读全文

posted @ 2025-12-30 09:53 向着朝阳阅读(28) 评论(0) 推荐(0)

智能销售助手Rola微调数据集-测试集

摘要：目录公开对话明确禁止的用法合成数据：三类数据数据标注的特点一、一个总原则（必须记住）二、但三类数据的「标注深度」不同（这是关键）① 自有真实对话 + 标注（最深）② 公开对话（intent-only）（刻意变浅）③ 合成数据（规则生成）（结构完整，但来源不同）三、为什么不能三类数据都“同样标全”如阅读全文

posted @ 2025-12-30 09:01 向着朝阳阅读(109) 评论(0) 推荐(0)

aibi1

公告