摘要：
目录一、背景问题：为什么“传统 batching”在 LLM 推理中失效1. Prefill 与 Decode 阶段差异巨大2. Padding 浪费极其严重二、vLLM 的核心思想：把“批”变成“流”三、Continuous Batching 的工作机制（关键原理）1. Token-Level 执 阅读全文
posted @ 2026-01-15 19:28
向着朝阳
阅读(322)
评论(0)
推荐(0)
摘要：
目录一、大模型微调数据分布（你提到的情况）二、小模型微调（MiniLM / DistilBERT 等）三、微调策略差异总结四、总结建议 不完全一样。MiniLM（或其他小模型）和 QWEN-14B 这样的超大模型在微调时对数据分布的要求是不同的，原因主要有模型容量和学习能力差异。我们来分析一下。 一 阅读全文
posted @ 2026-01-15 11:46
向着朝阳
阅读(25)
评论(0)
推荐(0)
摘要：
目录一、测试目标二、AB 测试设计三、执行流程四、评估与决策五、面试表述要点 可以把 AB 测试过程拆成场景、设计、执行、评估四个环节，讲得既专业又面试友好。我帮你整理一个清晰的回答思路： 一、测试目标 例：调优 MiniLM 一级意图识别的最小置信度阈值，以在保证准确度 ≥ 业务底线的前提下，最大 阅读全文
posted @ 2026-01-15 11:10
向着朝阳
阅读(7)
评论(0)
推荐(0)
摘要：
目录一、你提的替代方法二、优点三、风险 / 缺点四、工业实践建议五、总结 可以，但要注意准确度的定义和误差控制。我帮你分析一下： 一、你提的替代方法 分子 = AB 测试参与的 query 总数 − 转人工 − 点踩 − 重复提问 也就是用业务 proxy 信号替代人工标注，推算最终正确的 quer 阅读全文
posted @ 2026-01-15 10:58
向着朝阳
阅读(20)
评论(0)
推荐(0)
摘要：
目录 完全正确，你理解得很到位。可以进一步明确： Triton 的通用性 Triton 并不限于大语言模型（LLM），它本质上是一个 企业级推理服务框架，支持各种深度学习模型。 支持的模型类型包括： CV 模型：ResNet、YOLO、Segmentation 等 NLP 模型：BERT、MiniL 阅读全文
posted @ 2026-01-15 09:48
向着朝阳
阅读(103)
评论(0)
推荐(0)
摘要：
目录概念max_tokens1 限流二、AI 网关里的“限流”其实分三类（很关键）1️⃣ 资源限流（QPS / 并发）2️⃣ 容量限流（Token Budget） ← 你这个属于这里3️⃣ 策略限流（业务规则）三、AI 网关里“正确”的写法是什么样？1️⃣ 不直接 raise，而是“标准化拒绝”2 阅读全文
posted @ 2026-01-15 08:55
向着朝阳
阅读(66)
评论(0)
推荐(0)
摘要：
目录一、上线后持续微调的整体流程图（文本版）二、流程中每一段的「关键判断点」（面试加分）1️⃣ 问题暴露 ≠ 随机噪声2️⃣ 问题必须“被标签化”3️⃣ LoRA 训练不是“全新数据集”4️⃣ 上线后不是只看“总体指标”5️⃣ 合并进基线 ≠ 自动动作6️⃣ 基线是“分级演进的”三、你在面试中可以用 阅读全文
posted @ 2026-01-15 08:48
向着朝阳
阅读(25)
评论(0)
推荐(0)
摘要：
目录一、先给结论（核心判断逻辑）二、第一步：问题一定要“被结构化”（你说的标签是对的）1️⃣ 质检阶段不是只打 Accept / Reject2️⃣ 问题标签 ≠ intent / phase三、第二步：问题样本进入“问题池”，并绑定标签四、第三步：微调后，用“对照指标”验证是否真的解决1️⃣ 不是 阅读全文
posted @ 2026-01-15 08:36
向着朝阳
阅读(14)
评论(0)
推荐(0)
摘要：
目录一、先给明确结论（面试可直接用）二、为什么不能简单“全部合并到基线”1️⃣ 基线样本的角色 ≠ 问题样本三、工业上正确的做法：分层合并核心原则1️⃣ 问题样本的生命周期（非常关键）2️⃣ 什么时候可以并入基线？3️⃣ 哪些样本不应该并入基线（重点）四、实际训练时：基线是“动态演进的”常见做法五、 阅读全文
posted @ 2026-01-15 08:31
向着朝阳
阅读(21)
评论(0)
推荐(0)
浙公网安备 33010602011771号