2026年7月6日
低资源大模型研究：优化器篇（一）：MeZO及其变体研究综述
摘要： 摘要 大语言模型（Large Language Models, LLMs）的规模持续增长，使得基于反向传播的传统微调方法面临严峻的内存瓶颈。零阶优化（Zero-Order Optimization, ZO）通过仅依赖前向传播来估计梯度，为资源受限场景下的模型微调提供了可行路径。MeZO（Memory 阅读全文
posted @ 2026-07-06 13:28 绝不原创的飞龙 阅读(8) 评论(0) 推荐(0)