足迹

能看不尽景，始是不凡人

 

2024年5月10日

Intel 显卡单机多卡 FSDP 模型 checkpointing 时 Assert Out

摘要： Intel 显卡单机多卡 FSDP 模型 checkpointing 时 Assert Out Intel 显卡单机多卡 FSDP 模型 checkpointing 时 Assert Out 现象 根因 顺藤摸瓜 抽丝剥茧 解法 最后的话 现象 使用 Hugging Face Trainer 在单机 阅读全文

posted @ 2024-05-10 16:05 姚伟峰 阅读(256) 评论(0) 推荐(0)

2024年4月26日

辅助式文本生成 - 文本生成新范式

摘要： 辅助式文本生成 - 文本生成新范式 辅助式文本生成 - 文本生成新范式 引言 现有方法 vanilla 自投机解码 SpecInfer LADE 总结 参考文献 引言 LLM 要跨越从早期采用者到大众市场的鸿沟，其必要条件是价格大众化，也就是降低每词元的价格。 这种降低最好是“免费”的降低，而不是“ 阅读全文

posted @ 2024-04-26 10:58 姚伟峰 阅读(213) 评论(0) 推荐(0)

2024年2月4日

使用开源 LLM 充当 LangChain 智能体

摘要： 太长不看版 开源 LLM 现已达到一定的性能水平，可堪作为智能体工作流的推理引擎。在我们的测试基准上，Mixtral 甚至已超越 GPT-3.5，而且我们还可以通过微调轻松地进一步提高其性能。 引言 经由因果语言建模任务训练出的大语言模型（LLM）可以处理很多任务，但在逻辑、计算及搜索等类型的任务上 阅读全文

posted @ 2024-02-04 15:44 姚伟峰 阅读(311) 评论(0) 推荐(0)

2023年12月22日

详解 MoE

摘要： 详解 MoE 随着 Mixtral 8x7B 的发布（公告，模型卡），MoE transformer（Mixture of Experts，混合专家）模型已经成为开放 AI 社区的热门话题。本文，我们主要讨论 MoE 模型的基础模块、训练方式以及针对推理场景的主要考量。 我们开始吧！ 目录 详解 M 阅读全文

posted @ 2023-12-22 12:21 姚伟峰 阅读(5452) 评论(0) 推荐(0)

2023年5月9日

乱弹 LLM 的工程化

摘要： 乱弹 LLM 的工程化 仅为个人观点，乱弹而已。 这一波 LLM 狂热很有意思，从现象上来看跟智能手机 + 移动互联网那一拨有点相像。首先是 OpenAI 扮演了当年 Apple 的角色，以 ChatGPT 这一杀手级产品搅动了一池春水，此时整个学术界、工业界及 AI 社区对 AI 表现出的那种食之 阅读全文

posted @ 2023-05-09 07:47 姚伟峰 阅读(486) 评论(0) 推荐(0)

2023年5月8日

Transformer 估算 101

摘要： Transformer 估算 101 本文主要介绍用于估算 transformer 类模型计算量需求和内存需求的相关数学方法。 引言 其实，很多有关 transformer 语言模型的一些基本且重要的信息都可以用很简单的方法估算出来。不幸的是，这些公式在 NLP 社区中鲜为人知。本文的目的是总结这些 阅读全文

posted @ 2023-05-08 22:39 姚伟峰 阅读(1254) 评论(0) 推荐(0)

2023年3月28日

优化故事: BLOOM 模型推理

摘要： 优化故事: BLOOM 模型推理 经过“九九八十一难”，大模型终于炼成。下一步就是架设服务，准备开门营业了。真这么简单？恐怕未必！行百里者半九十，推理优化又是新的雄关漫道。如何进行延迟优化？如何进行成本优化（别忘了 OpenAI 8K 上下文的 GPT-4 模型，提示每 1000 词元只需 0.03 阅读全文

posted @ 2023-03-28 07:16 姚伟峰 阅读(629) 评论(0) 推荐(0)

2023年3月21日

BLOOM 训练背后的技术

摘要： BLOOM 训练背后的技术 假设你现在有了数据，也搞到了预算，一切就绪，准备开始训练一个大模型，一显身手了，“一朝看尽长安花”似乎近在眼前…… 且慢！训练可不仅仅像这两个字的发音那么简单，看看 BLOOM 的训练或许对你有帮助。 近年来，语言模型越训越大已成为常态。大家通常会诟病这些大模型本身的信息 阅读全文

posted @ 2023-03-21 08:09 姚伟峰 阅读(800) 评论(0) 推荐(0)

2023年2月25日

ChatGPT 与 AIGC 简问乱答

摘要： ChatGPT 与 AIGC 简问乱答 * 仅代表个人观点。 * [Q1] ChatGPT 最近非常火爆，2 个月突破 1 亿月活，从产品形态来看，我们知道的微软、谷歌的搜索引擎都会嵌入。那么我们如何看待它的用户粘性，真的会有那么多人持续使用吗还是说只是一阵热潮？ [A1] 首先，工业界长久以来对搜 阅读全文

posted @ 2023-02-25 11:04 姚伟峰 阅读(356) 评论(0) 推荐(0)

2023年2月23日

CPU AMX 详解

摘要： CPU AMX 详解 CPU AMX 详解 概述 算力如何 问题定义 AVX如何解决矩阵乘问题 AMX如何解决矩阵乘问题 如何实现的 计算部分 数据部分 路才开始 概述 2016 年开始，随着 NV GPU AI 能力的不断加强，隐隐感觉到威胁的 Intel 也不断在面向数据中心的至强系列 CPU 阅读全文

posted @ 2023-02-23 22:03 姚伟峰 阅读(3476) 评论(2) 推荐(0)

下一页

导航