上一页 1 ··· 28 29 30 31 32 33 34 35 36 ··· 82 下一页
摘要: 目录Coordinator 决策评测Langfuse Trace Contract v1.0一、层级与生命周期规范(必须遵守)1️⃣ Trace(一次测试用例 / 用户请求)2️⃣ Chain(一个 Agent 的完整决策)3️⃣ Span(可选)二、Input Contract(评测 Ground 阅读全文
posted @ 2025-12-22 22:21 向着朝阳 阅读(17) 评论(0) 推荐(0)
摘要: 1️⃣ input 通常记录函数处理的上下文或前置条件,包括: test_id 用户输入(user_input / user_message) 历史对话 messages dataset 中的期望值(expected_intent、expected_agent、expected_action) 这里 阅读全文
posted @ 2025-12-22 20:35 向着朝阳 阅读(169) 评论(0) 推荐(0)
摘要: 目录action vs expected_action意图 VS action VS objection一个意图多action的例子场景:PRICE_QUERY(价格相关意图)用户原始意图(不变)上下文变量(决定 action 的关键)一、不同上下文 → 不同 action(业务视角)情况 1:只问 阅读全文
posted @ 2025-12-22 15:39 向着朝阳 阅读(33) 评论(0) 推荐(0)
摘要: 目录一、推荐的数据结构(JSON)二、三条 Dataset 示例1️⃣ INVENTORY_CHECK(库存查询)2️⃣ PRICE_QUERY(价格查询)3️⃣ ORDER_QUERY(订单查询)三、如何与 Langfuse Trace 绑定(关键)四、这 3 条数据能评测什么?下一步建议(很重要 阅读全文
posted @ 2025-12-22 15:23 向着朝阳 阅读(33) 评论(0) 推荐(0)
摘要: 目录@observe 用法as_typeSpan:Chain:capture_input,capture_output @observe 用法 as_type 在 Langfuse 中,chain 和 span 都是用于追踪应用逻辑的观测类型(observation),但它们在 UI 展示和数据模型 阅读全文
posted @ 2025-12-22 11:05 向着朝阳 阅读(266) 评论(0) 推荐(0)
摘要: 目录一、先给结论(读书笔记一句话版)二、为什么“架构师”和 TL 会天然重叠三、现代团队中“正确的架构师”在做什么1. 关注“结构性、长期、不可逆”的决策2. 作为“架构一致性的守门人”3. 把“隐性复杂度”显性化4. 架构师的产出不是“图”,而是“约束”四、TL 在现代团队中的“不可替代职责”TL 阅读全文
posted @ 2025-12-22 09:24 向着朝阳 阅读(29) 评论(0) 推荐(0)
摘要: 目录项目前期在特定情况下有效,在项目中后期一定无效。一、什么是“项目前期”(Brooks 语境下的定义)项目前期的定义项目前期的典型特征为什么项目前期“加人”可能有效二、什么是“项目中后期”(Brooks 语境下的定义)项目中后期的定义三、为什么项目中后期“加人”是无效甚至有害的1. 新人引入培训成 阅读全文
posted @ 2025-12-22 08:20 向着朝阳 阅读(20) 评论(0) 推荐(0)
摘要: 目录一、语法层面:Python 允许函数内定义函数(包含 async)二、运行时语义:这是一个「闭包 + 工厂函数」模式1️⃣ event_stream 不是立即执行的2️⃣ 为什么要嵌套,而不是单独定义?3️⃣ 如果不嵌套,会发生什么?三、在 FastAPI + SSE 中,这是「惯用模式」Fas 阅读全文
posted @ 2025-12-21 13:18 向着朝阳 阅读(61) 评论(0) 推荐(0)
摘要: 目录一、你这个产品的评测目标先明确一句话二、评测拆 4 层(这是关键)Layer 0:业务结果层(产品级 KPI)【最重要】Layer 1:Coordinator / Router 层评测(最容易出事故)必须关注的指标Langfuse 怎么做Layer 2:Agent 能力层评测(单 Agent 的 阅读全文
posted @ 2025-12-20 23:01 向着朝阳 阅读(94) 评论(0) 推荐(0)
摘要: 目录一、整体层级关系(先建立直觉)二、各对象的作用与评测意义1️⃣ Trace(最重要,默认根对象)2️⃣ Generation(LLM 输出评测的核心)3️⃣ Retriever(RAG 专属对象)4️⃣ Embedding(底层但很关键)5️⃣ Agent(智能体级评测)6️⃣ Chain(子流 阅读全文
posted @ 2025-12-20 07:50 向着朝阳 阅读(90) 评论(0) 推荐(0)
上一页 1 ··· 28 29 30 31 32 33 34 35 36 ··· 82 下一页