deephub

摘要： 检索增强生成（RAG）已成为构建生成式 AI 应用的主流架构，企业选择它主要原本是可以用自有数据约束模型输出，使答案更准确、可更新且更贴合业务场景。RAG 的效果在很大程度上取决于检索到的上下文质量——提升效果的常用手段包括合理切分文本块（chunking）、选用合适的嵌入模型与采用稳健的检索策略。 阅读全文

摘要： 推理型大语言模型现在确实火了。这类模型的特点是会先对问题做充分思考，然后再给出答案，而不是直接回复。 虽然早期训练推理型 LLM 的方法多半被各家公司当作核心机密，但最近的DeepSeek-R1、DeepSeekMath、Kimi-k1.5 和 DAPO 这些项目都公开了相关流程。 这些方法让 LL 阅读全文

摘要： 现在的文生图模型已经十分强大了，例如我们在输入框敲下 “a photorealistic astronaut riding a horse on the moon”，几秒钟后屏幕生成从未出现过的图像，细节丰富，几近完美。扩散模型（diffusion models）推动了这一切，早已将旧方法远远甩在身 阅读全文

摘要： Swarm sAmpling Policy Optimization，简称SAPO，这个名字听起来有点学术，但它解决的问题很实际。大规模语言模型的后训练一直是个让人头疼的事情——要么资源不够，要么效率太低。SAPO提出了一种去中心化的异步RL方案，让各个计算节点之间可以互相分享rollouts，避开 阅读全文

摘要： 拿到数据想建模，但不知道用哪个分布？大部分教科书都在讲一堆你永远用不到的东西。实际工作中，你只需要掌握几个核心分布，然后知道什么时候该用哪个就够了。 这里是我在做分析、实验设计、风险建模时真正会用的8个分布。每个都会告诉你使用场景、快速拟合方法、需要避开的坑，以及现成的代码。 https://avo 阅读全文

摘要： 还记得去年各大公司给提示工程师开出30万美元年薪的疯狂时期吗？现在这些招聘信息基本销声匿迹了。从技术角度看，提示工程确实有些"投机取巧"的意味——本质上就是让人们相信自己在做"工程"工作的华丽包装。 不过现在情况完全不同了。人们开始把传统软件工程的严谨方法和大语言模型的能力结合起来。这篇文章会深入探 阅读全文

摘要： 说到上下文工程，其实就是在合适的时机把AI需要的所有东西都给它——指令、示例、数据、工具、历史记录，全部打包塞到模型的输入上下文里。 这么理解会比较直观：语言模型就像CPU，上下文窗口就是工作内存。我们要做的就是往这块内存里装合适比例的代码、数据和指令，让模型能把事情做对。 上下文的来源很多：用户的 阅读全文

摘要： RAG（检索增强生成）本质上就是给AI模型外挂一个知识库。平常用ChatGPT只能基于训练数据回答问题，但RAG可以让它查阅你的专有文档——不管是内部报告、技术文档还是业务资料，都能成为AI的参考资源。 很多人第一反应是用LangChain或LlamaIndex这些现成框架，确实能快速搭起来。但自己 阅读全文

摘要： 做机器人逆运动学（IK）的时候，你迟早会遇到矩阵指数和对数这些东西。为什么呢？因为计算三维旋转的误差，不能简单地用欧氏距离那一套，那只对位置有效。旋转得用另一套方法——你需要算两个旋转矩阵之间的差异，这就涉及到矩阵对数了。 这篇文章就是要把这事儿说清楚：从旋转矩阵构成的李群开始，到流形和切空间，再到 阅读全文

摘要： 对于神经网络来说，我们已经习惯了层状网络的思维：数据进来，经过第一层，然后第二层，第三层，最后输出结果。这个过程很像流水线，每一步都是离散的。 但是现实世界的变化是连续的，比如烧开水，谁的温度不是从30度直接跳到40度，而是平滑的上生。球从山坡滚下来速度也是渐渐加快的。这些现象背后都有连续的规律在支 阅读全文