deephub

摘要： 机器学习模型处理不了原始文本。无论是线性回归、XGBoost还是神经网络，遇到 "red" 、 "medium" 、 "CA" 这类分类变量都没法直接处理。所以必须把它们转成数字这个过程就是分类编码。 大家入门时肯定都学过独热编码或序数编码，但编码方法其实非常多。目标编码、CatBoost编码、Ja 阅读全文

摘要： LLM推理服务中，（Time-To-First-Token） 一直是个核心指标。用户发起请求到看见第一个token输出，这段时间越短体验越好，但实际部署中往往存在各种问题。 LMCache针对TTFT提出了一套KV缓存持久化与复用的方案。项目开源，目前已经和vLLM深度集成。 https://avo 阅读全文

摘要： 单机 PyTorch 模型跑推理没什么问题，但数据量一旦上到万级、百万级，瓶颈就暴露出来了：内存不够、GPU 利用率低、I/O 拖后腿，更别说还要考虑容错和多机扩展。 传统做法是自己写多线程 DataLoader、管理批次队列、手动调度 GPU 资源，这哥工程量可不小，调试起来也麻烦。Ray Dat 阅读全文

摘要： 很多人刚接触JAX都会有点懵——参数为啥要单独传？随机数还要自己管key？这跟PyTorch的画风完全不一样啊。 其实根本原因就一个：JAX是函数式编程而不是面向对象那套，想明白这点很多设计就都说得通了。 先说个核心区别 PyTorch里，模型是个对象，权重藏在里面，训练的时候自己更新自己。这是典型 阅读全文

摘要： RAG系统在生产环境中有个老大难问题：脆弱。演示时用精心准备的问题去问，效果看起来很惊艳。但真正上线后，用户的问题五花八门，向量数据库返回的文档语义上相似但实际答非所问，LLM又特别喜欢讨好，拿着一堆噪音数据照样能编出一套看似合理的答案。 那么问题出在哪呢？标准RAG是典型的开环架构：输入 → 嵌入 阅读全文

摘要： 本文作者找到了一种方法可以深入 Nano Banana 的内部运作机制，具体手法没法公开，但结果可以分享。 破解图像生成器跟破解文本模型完全是两回事。图像模型的设计目标是输出图片而非文字，对提示词注入的响应模式不同。有意思的是，在提取系统指令的过程中，模型自发生成了一些图像： 破解成功时，Gemin 阅读全文

摘要： RAG系统搭完其实才是工作的开始，实际跑起来你会发现，答案质量参差不齐，有时候精准得吓人、有时候又会非常离谱。这个问题往往不模型本身，而是在检索环节的那些"小细节"。 这篇文章整理了七个在LlamaIndex里实测有效的检索优化点，每个都带代码可以直接使用。 https://avoid.overfi 阅读全文

摘要： TPU 训练的真实效率往往取决于两个核心要素：Shape 的稳定性与算子的融合度。 很多时候，JAX 任务之所以出现严重的性能瓶颈，并非算法本身设计有问题，而是忽视了 XLA 编译器与底层硬件对“确定性”的极度偏好。基于大量实战调优经验，本文总结了八条能让 JAX 训练任务从“甚至跑不通”蜕变为“跑 阅读全文

摘要： Polars 速度快、语法现代、表达力强，但很多人刚上手就把它当 Pandas 用，结果性能优势全都浪费了。 下面是新手最容易犯的 10 个错误，以及对应的解决思路。 https://avoid.overfit.cn/post/9936cca71070432e9f47e83aa2575a5b 阅读全文

摘要： RAG教程里说的流程是：分块、嵌入、向量搜索、生成答案。看起来非常简单，按这个思路搭了一套系统，测试没问题就上线了。但是结果出了怪事，经常会随机的失败。 输入一样，但是输出却不一样，而且这不是偶发，是还有一定的规律，这是怎么回事呢？ 本文将介绍RAG在真实场景下为什么会崩，底层到底有什么坑，以及最后 阅读全文