摘要: 3D-VLA 方法原理详解 1. 方法想解决什么问题 传统视觉语言动作模型常见做法是: 输入当前图像和语言指令。 模型直接输出动作。 机器人按动作执行。 这种方式有一个核心缺陷:模型容易只在二维图像空间里“看起来懂了任务”,但并没有显式建立三维物理世界的状态变化。例如“把薯片袋拿出来”“关上抽屉”“ 阅读全文
posted @ 2026-07-10 13:54 S-X-Q 阅读(77) 评论(0) 推荐(1)
摘要: SmolVLA 原理讲解:从图像、语言到机器人动作 SmolVLA 要解决什么问题。 一条机器人数据样本长什么样。 图像、语言、机器人状态如何变成模型输入。 模型为什么分成视觉语言主干和动作专家。 flow matching 损失函数到底在训练什么。 推理时为什么能从随机噪声生成动作。 为什么一次预 阅读全文
posted @ 2026-07-09 21:05 S-X-Q 阅读(5) 评论(0) 推荐(0)
摘要: RynnVLA-002 方法原理详解 1. 方法一句话概括 RynnVLA-002 是一个统一的自回归动作世界模型。它把语言指令、机器人状态、第三视角图像、腕部相机图像、机器人动作、未来图像都表示成同一条 token 序列,然后用 Chameleon/Lumina-mGPT 风格的多模态自回归 Tr 阅读全文
posted @ 2026-07-09 20:25 S-X-Q 阅读(13) 评论(0) 推荐(0)
摘要: 深入浅出 Meta Chameleon:早期融合多模态大模型技术全解 在当前的多模态大模型(MLLM)领域,诸如 LLaVA 等经典架构多采用“晚期融合(Late-fusion)”模式:利用现成的 Vision Encoder(如 CLIP)提取图像的连续特征,再通过一个线性投影层(Projecti 阅读全文
posted @ 2026-07-09 19:10 S-X-Q 阅读(86) 评论(0) 推荐(0)
摘要: PI0、PI0.5、PI0-FAST 原理讲解 这份文档用一条主线讲清楚三个模型: 数据怎么进来 -> state / action 怎么表示 -> 网络 forward 怎么走 -> mask 和位置编码怎么起作用 -> 损失函数怎么训练 -> 推理时怎么生成动作 三个模型都是 VLA 策略模型, 阅读全文
posted @ 2026-07-08 21:25 S-X-Q 阅读(78) 评论(0) 推荐(0)
摘要: OpenVLA 核心原理深度解析 这是一份“脱离实现细节也能读懂”的原理说明。 它不按工程结构讲,而按一个 Vision-Language-Action 系统为什么这样设计、数据如何流动、模型到底学习什么、推理时如何把 token 变回机器人动作来讲。 目录 先用一句话建立直觉 OpenVLA 到底 阅读全文
posted @ 2026-07-07 19:07 S-X-Q 阅读(73) 评论(0) 推荐(1)
摘要: 从0训练LLM原理解析 1. 统一背景:大模型到底在训练什么 1.1 大模型看到的不是文字,而是 token id 自然语言会先被 tokenizer 转换成整数序列: "你好,世界" -> tokenizer -> [101, 2048, 330, 512, 2] 模型只处理这些整数 id。每个 阅读全文
posted @ 2026-07-06 16:07 S-X-Q 阅读(18) 评论(0) 推荐(0)
摘要: DP3 核心原理详解:从训练数据到模型、Loss 和推理 本文基于当前仓库源码整理,目标是把 3D Diffusion Policy,也就是 DP3,讲成一条完整、容易理解的链路: 专家策略生成 demonstration -> 保存成 zarr 轨迹数据 -> Dataset 从轨迹中切时间窗口 阅读全文
posted @ 2026-07-06 10:47 S-X-Q 阅读(7) 评论(0) 推荐(0)
摘要: 🚀 生成式模型底层原理通关笔记 目录 DDPM:基于马尔可夫链的概率加降噪模型 DDIM:打破马尔可夫链的确定性跳步采样模型 分数匹配 (Score Matching):高斯加噪下的高维引力场构建 流匹配 (Flow Matching):追求两点之间直线最短的速度场理论 VAE (Variatio 阅读全文
posted @ 2026-07-06 09:28 S-X-Q 阅读(112) 评论(0) 推荐(1)
摘要: Diffusion 三种预测目标:epsilon、sample、v prediction 本文解释 diffusion 模型里常见的三种 prediction_type: epsilon:预测噪声 sample:预测干净样本 x0 v_prediction:预测速度变量 v 在 3D Diffusi 阅读全文
posted @ 2026-07-01 19:32 S-X-Q 阅读(86) 评论(0) 推荐(0)