第七子007

摘要： 5.1除了deepseek-prover-v2发布，Qwen也发布了3版本，官方展示的性能对比测试如下： 既然是官方发布的，效果肯定比友商的好，否则没必要发布出来了！那么灵魂拷问又来了：这么好的性能是怎么来的？大模型性能决定要素： 算力：迭代次数多，性能明显好 数据：互联网高质量数据筛选 网络架构： 阅读全文

摘要： 1、5.1假期，deepseek又整活了，不过这次并不是万众期待的R2通用推理模型，而是Prover-V2，主打 formal theorem proving in Lean 4，简单理解就是数学定理的证明，在几大数据集的测试结果如下： 所以现在大家最关心的是：这么好的效果，都是怎么做到的？ 这次开 阅读全文

摘要： 1、现在大模型在pre-train完成后，肯定还要做post-train，主要目的是学会chat，并且对齐人类的偏好，主要方式就是SFT和RL，详见：https://chuna2.787528.xyz/theseventhson/p/18760256；做LLM，有三大要素：算力、算法、token数据了！ 阅读全文

摘要： 抖音，一个世界级知名的app，全球拥有十亿级别的存量用户，其官方于近日发布了最核心的技术之一：推荐算法的部分模型，详见：https://95152.douyin.com/article/15358?enter_from=channel_page&channel=home 就其官方披露的信息看，抖音最 阅读全文

摘要： LLM在NLP领域独领风骚，一战成名！和NLP相比，推荐领域也有类似的业务场景：都是时序数据！既然LLM能在NLP大放异彩，在推荐领域是不是也能尝试一下了？ 1、先简单总结一下推荐系统的发展历史 协同过滤 Collaborative Filtering：userCF、ItemCF；原理是根据user 阅读全文

摘要： deepseek带火了GRPO，更带火了reinforcement learning，让研究人员发现RL能在pre-train的基础上较大提升LLM的逻辑推理能力！当前，互联网高速发展二十多年产生的优质数据已经使用殆尽，所以更大规模的LLM一直难产（GPT-5现在都还没发布，优质token耗尽是核心 阅读全文

摘要： 继deepseek之后，武汉一个开发monica的团队又开发了manus，号称是全球第一个通用的agent！各路自媒体企图复刻下一个deepseek，疯狂报道！然而manus发布后不久，metaGPT团队5个工程师号称耗时3小时就搞定了一个demo版本的manus，取名openManus，才几天时间 阅读全文

摘要： 现目前市面上主流大模型都是分步骤训练出来的： pre-train：让LLM具备初步的存储、记忆和理解知识的能力（目前互联网的优质token已经被耗尽，pre-train几乎走到了尽头，后续就看post-train了！） post-train：让LLM更精准、聪明，能适配某些垂直领域的特定任务！pos 阅读全文

摘要： LLM在2年多前火了后，RAG也跟着火了，因其解决了当时LLM的一些缺陷问题： 可解释性：数据来自知识库，能找到出处 幻觉：最后一步LLM生成response的内容都来自语义相关的chunk，缩小了LLM的生成范围，能在一定程度上避免幻觉 时效性：一旦有新数据，加入知识库、向量数据库即可，不需要再微 阅读全文

摘要： deepseek又整活了啊，2025.2.16的时候又发布了 "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention"，核心是解决attention计算耗时耗算力的问题！NSA具体又是怎么做 阅读全文