2026年3月16日
解决大模型微调的灾难性遗忘：Nova Forge 数据混合策略工程实践
摘要： 问题定义 大语言模型的全参数微调（Full-rank SFT）存在一个固有矛盾：参数空间是共享的，学习领域特定模式时会不可避免地干扰原有的通用能力编码。这就是灾难性遗忘（Catastrophic Forgetting）。 表现为：微调后领域任务指标提升，但 MMLU 等通用基准分数显著下降，指令遵循 阅读全文
posted @ 2026-03-16 20:22 亚马逊云开发者 阅读(14) 评论(0) 推荐(0)
全参数微调的灾难性遗忘问题：Nova Forge 数据混合策略的工程分析
摘要： 问题定义 大语言模型的全参数微调（Full-rank SFT）存在一个固有矛盾：参数空间是共享的，学习领域特定模式时会不可避免地干扰原有的通用能力编码。这就是灾难性遗忘（Catastrophic Forgetting）。 表现为：微调后领域任务指标提升，但 MMLU 等通用基准分数显著下降，指令遵循 阅读全文
posted @ 2026-03-16 19:52 亚马逊云开发者 阅读(6) 评论(0) 推荐(0)
S3 Vectors 架构分析：无服务器向量存储如何实现 85% 成本优化
摘要： 背景 RAG（Retrieval Augmented Generation）系统中，向量存储是核心组件之一。传统方案使用专用向量数据库，性能优异但运维成本高——集群需要 7×24 运行，不管是否有查询请求。 Amazon S3 Vectors 提供了一种不同的思路：将向量存储能力作为 S3 的原生 阅读全文
posted @ 2026-03-16 16:08 亚马逊云开发者 阅读(5) 评论(0) 推荐(0)
Agent 记忆系统架构设计：从双层存储到智能整合的工程实践
摘要： 问题背景 长期运行的 AI Agent 面临一个工程问题：如何管理持续增长的对话历史？ 简单方案是把所有对话塞进 context window，但这带来三个问题：token 消耗线性增长、信息冲突无法自动解决、冗余数据拉低检索精度。另一个极端是只保留最近 N 轮，代价是丢失用户偏好和历史经验。 本文 阅读全文
posted @ 2026-03-16 15:03 亚马逊云开发者 阅读(35) 评论(0) 推荐(0)