奖赏设计

累计奖赏和折扣累计奖赏

这里写图片描述
这里写图片描述
这里写图片描述
数学上看，折扣奖赏机制可以将累计回报转化为递推的形式：

Gt=Rt+γ(Rt+1+γRt+2+...)=Rt+γGt+1Gt=Rt+γ(Rt+1+γRt+2+...)=Rt+γGt+1
<script type="math/tex; mode=display" id="MathJax-Element-2">\begin{aligned} G_t &= R_t +\gamma(R_{t+1}+\gamma R_{t+2}+...)\\ &=R_t + \gamma G_{t+1} \end{aligned}</script>

折扣是一种固定效应模型

这里写图片描述

奖赏设计：不要平移，奖励做什么而不是怎么做

这里写图片描述

奖赏设计：缩放，塑形

这里写图片描述

贝尔曼等式

状态值函数

这里写图片描述

值函数的贝尔曼期望等式

这里写图片描述

动作值函数

这里写图片描述

两者关系

这里写图片描述

动作值函数的贝尔曼期望等式

这里写图片描述

衡量策略优劣

这里写图片描述

贝尔曼最优等式

这里写图片描述

广义策略迭代GPI

策略评估

这里写图片描述
这里写图片描述

策略改进

这里写图片描述
这里写图片描述
这里写图片描述

GPI

这里写图片描述
这里写图片描述

策略迭代

这里写图片描述

值迭代

这里写图片描述

对比

这里写图片描述

Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

deck.gl TripsLayer 出租车轨迹动画示例实战：从示例运行到着色器原理

TripsLayer 是 deck.gl 中用于渲染**随时间流动的轨迹动画**（如出租车行程、物流路径、迁徙路线）的核心图层。本文以仓库中的最小独立示例 [examples/website/trips](https://link.gitcode.com/i/1442af8f442f4cff39ff546e050fceb5) 为骨架，带你完成从安装依赖、启动应用、理解曼哈顿出租车数据格式，到深入

avatar 天工造物局

Foundry Anvil 中 eth_simulateV1 的 Blob 交易与 Blob Gas 字段规范化：原理、实现与测试验证

本篇技术指南以 [anvil-simulate-blob-transactions.md](https://link.gitcode.com/i/3d2ebe227262de169335eb290af80da8) 这条 changelog 条目为起点，深入剖析 Foundry Anvil 对 `eth_simulateV1` RPC 返回结果中 blob（EIP-4844）交易与 blob gas

avatar 天工造物局

LMCache CLI 实战：用 `lmcache kvcache clear` 管理运行中服务的 KV Cache 状态

本文是一份针对 LMCache 官方 CLI 命令 `lmcache kvcache` 的完整技术指南。该命令用于在**运行中的 LMCache 服务（MP HTTP server）**上管理 KV cache 状态，当前提供 `clear` 子命令，用于清空 L1（CPU 内存）层中缓存的全部 KV 数据。读完本文，你将掌握该命令的完整参数体系、退出码语义、终端/JSON/静默三种输出模式，并能

avatar 天工造物局