【数学基础篇】马尔科夫决策过程
创始人
2025-05-31 18:56:17

一、马尔科夫性

先来看看维基百科的解释：当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。具有马尔可夫性质的过程通常称之为马尔可夫过程。

即 t+2 时刻的状态只与 t+1 时刻的状态有关，与 t 时刻的状态无关。

  • 状态从历史中捕获所有相关信息
  • 当前状态已知，可以抛开历史不管
  • 也就是说，当前状态是未来的充分统计量

二、马尔科夫决策过程

马尔科夫决策过程（Markov Decision Process,MDP）提供了一套数学框架，即在结果部分随机，且部分受决策者控制的情况下对决策过程建模。

三、MDP五元组

MDP可以由一个五元组表示 { S , A , {Psa} , γ , R }

  • S是状态的集合
    比如，迷宫中的位置
  • A是动作的集合
    比如，向 N,E,S,W移动
  • Psa是状态转移概率
    对每个状态 s ∈ S 和 a ∈ A， Psa是下一个状态在S中的概率分布
  • γ∈ [ 0, 1 ] 是对未来奖励的折扣因子
  • R : S × A -> ℝ 是奖励函数
    有时奖励只和状态相关

上一篇：今年广东高考难度系数预测点评,最新或2023（历届）广东高考难不难 近年广东高考难度对照表 2019年广东省高考难度系数

下一篇：今年山东高考难度系数预测点评,最新或2023（历届）山东高考难不难 2019山东高考总体难度 山东高考历年难度系数排行榜

相关内容

热门资讯

爱乐达：回应股东人数查询及无人... 投资者提问：请问公司董秘，当前公司股东人数是多少？另外，公司在无人机领域是否有全流程制造能力，是否有...
智通港股52周新高、新低统计|... 截止12月19日收盘，有38只股票创52周新高，其中力高健康生活(02370)、银杏教育(01851...
ETF主力榜 | A500ET...        2025年12月19日，A500ETF（159339.SZ）收涨0.43%，主力资金（...
ETF主力榜 | 0-4地债E...        2025年12月19日，0-4地债ETF（159816.SZ）收涨0.03%，主力资金...
ETF主力榜 | 中证2000...        2025年12月19日，中证2000ETF（563300.SH）收涨1.68%，主力资...