摘要：
本篇3000字，阅读大约需要10分钟 一个最近安全圈热议的话题 最近 AI 安全圈有个话题越来越火：Agent 记忆投毒（Memory Poisoning）。 如果你把传统提示注入理解成一次性的上下文劫持，那记忆投毒就是把这种劫持变成可跨会话、可跨任务、可自我强化的长期感染。攻击者不再满足于让 Ag 阅读全文
posted @ 2026-06-25 10:56
求索实验室
阅读(54)
评论(0)
推荐(0)
摘要：
本篇目标：掌握多卡并行配置、学会压测工具、能处理常见报错、理解显存精细管理 前置要求：已完成第③篇基础篇，成功跑起单卡服务。 第一步：多卡部署（RTX 5090 双卡示例） 如果你有两张 RTX 5090（或者两张 4090），可以让 vLLM 把模型切分到两张卡上： vllm serve Qwen 阅读全文
posted @ 2026-06-25 10:54
求索实验室
阅读(21)
评论(0)
推荐(0)
摘要：
本篇目标：装好 vLLM，跑起第一个生产级推理服务，理解 vLLM 的核心逻辑 vLLM 是什么？ 一句话：把模型常驻显存，以高吞吐量为目标的生产级推理引擎。 和 Ollama 的「按需加载、用完就释放」不同，vLLM 的设计目标是：模型一旦加载，就一直占着显存，持续不断地处理请求，直到你手动关掉。 阅读全文
posted @ 2026-06-25 10:49
求索实验室
阅读(22)
评论(0)
推荐(0)
摘要：
本篇目标：装好 Ollama，跑起第一个模型，知道基本操作，遇到报错能自己解决 Ollama 是什么？ 一句话：用一行命令跑起大模型，不需要懂 Docker、不需要配环境变量、不需要折腾 CUDA。 Ollama 的设计哲学是「能多简单就多简单」——你不用关心模型文件存在哪、量化参数怎么配、GPU 阅读全文
posted @ 2026-06-25 10:47
求索实验室
阅读(16)
评论(0)
推荐(0)
摘要：
在Linux系统下使用普通用户安装Ollama并部署指定模型的完整步骤，所有操作都在用户目录下进行，无需root权限。 对于个人或小团队，还处在研究探索阶段，资源和权限隔离的情况下，强烈建议参照本教程。 一、环境准备 1.1 检查NVIDIA驱动和CUDA # 检查显卡驱动 nvidia-smi # 阅读全文
posted @ 2026-06-25 10:46
求索实验室
阅读(15)
评论(0)
推荐(0)
摘要：
系列定位：不跑分，聚焦实战，帮你从「不知道该选哪个」到「用好适合自己的工具」 本篇目标：动手之前先想清楚，你到底需不需要本地部署，以及该选哪个工具 先想一个问题：你的数据在谁手里？ 假设你是法律顾问，客户把一份保密合同发给你，让你帮忙审查。 你打开 ChatGPT，粘贴合同内容…… 等等。 这份合同 阅读全文
posted @ 2026-06-25 10:43
求索实验室
阅读(19)
评论(0)
推荐(0)
摘要：
引子 上次写完那篇"省 token 比汉化更有意思"的文章后，我收到了不少反馈。 有人问："你这工具到底能不能用？" 这是个好问题。一个项目的设计理念写得再漂亮，如果在实际使用中三天两头报错，那也只是空中楼阁。 所以这篇文章不讲理念，讲点更实在的东西——v0.12.0-cn.1 发布后，用户在实际使 阅读全文
posted @ 2026-06-25 10:42
求索实验室
阅读(20)
评论(0)
推荐(0)
摘要：
前两篇聊了 DeepSeek V4 的技术架构和中国团队的"约束创新"方法论。这篇我们换个视角——拉长焦距，回顾 2023 到 2026 这三年大模型底层架构到底经历了什么。你可能以为这是美国主导的故事，但看完这篇你会发现，几个关键的架构级创新，都来自中国实验室。 所有人面对的同一个问题 要理解这三 阅读全文
posted @ 2026-06-25 10:41
求索实验室
阅读(27)
评论(0)
推荐(0)
摘要：
今年3月，我开源了 Hermes Agent CN，一个轻量级 AI Agent 框架。几个月来，社区反馈最多的问题是："Agent 怎么操作真实的软件界面？" 之前的方案依赖于 DOM、CSS 选择器、坐标定位——每种界面都得写不同的解析逻辑，浏览器、桌面软件、3D 工具、游戏，各有各的"方言"。 阅读全文
posted @ 2026-06-25 10:41
求索实验室
阅读(18)
评论(0)
推荐(0)
摘要：
上周刷公众号，看到两篇讲 Hermes Agent 的文章。 一篇讲 Hermes Curator——Agent 技能自动审查与进化引擎。另一篇讲 Hermes v0.12.0 的离线能力升级：LM Studio 正式升级为首等 Provider、Piper 本地 TTS 集成、Secret Red 阅读全文
posted @ 2026-06-25 10:38
求索实验室
阅读(19)
评论(0)
推荐(0)
浙公网安备 33010602011771号