用Python构建MDP环境:从零理解马尔可夫决策过程
1. 为什么我们需要动手实现MDP?
学习强化学习时,很多初学者会陷入公式和理论的泥沼。贝尔曼方程、价值函数、策略评估...这些概念看似抽象难懂,但其实它们都可以通过代码变得直观。就像学习游泳不能只靠看书,理解MDP最好的方式就是亲手实现一个。
Python作为数据科学和机器学习领域的主流语言,配合NumPy等科学计算库,能让我们高效地构建和实验MDP环境。通过代码,那些数学符号会突然变得鲜活起来——p(s',r|s,a)不再是一组字母,而是环境对智能体动作的真实反馈。
动手实践的价值:
- 将抽象数学转化为具体逻辑
- 直观观察状态转移和奖励机制
- 验证理论计算结果
- 培养对强化学习系统的整体认知
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 设计网格世界:你的第一个MDP环境
2.1 环境的基本要素
让我们从一个经典的4x4网格世界开始。这个环境中:
- 状态:16个网格位置(如(0,0)到(3,3))
- 动作:上、下、左、右四个基本移动
- 奖励:到达特定目标位置获得+1,掉入陷阱获得-1,其他移动获得-0.04
- 终止状态:目标和陷阱位置
python复制import numpy as np
class GridWorld:
def __init__(self, size=4):
self.size = size
self.actions = ['up', 'down', 'left', 'right']
self.goal = (3, 3) # 右下角为目标
self.trap = (1, 1) # 设置一个陷阱位置
# 定义状态转移概率:80%按指令移动,20%随机其他方向
self.transition_probs = {
'up': {'up':0.8, 'left':0.1, 'right':0.1},
'down': {'down':0.8, 'left':0.1, 'right':0.1},
'left': {'left':0.8, 'up':0.1, 'down':0.1},
'right': {'right':0.8, 'up':0.1, 'down':0.1}
}
2.2 实现状态转移逻辑
状态转移是MDP的核心。我们需要处理边界情况,并按照定义的概率分布决定实际移动方向。
python复制 def step(self, state, action):
x, y = state
# 如果已经在终止状态,不再变化
if state == self.goal or state == self.trap:
return state, 0, True
# 根据概率分布决定实际动作
actual_action = np.random.choice(
list(self.transition_probs[action].keys()),
p=list(self.transition_probs[action].values())
)
# 执行移动
if actual_action == 'up':
x = max(x-1, 0)
elif actual_action == 'down':
x = min(x+1, self.size-1)
elif actual_action == 'left':
y = max(y-1, 0)
elif actual_action == 'right':
y = min(y+1, self.size-1)
new_state = (x, y)
# 计算奖励
if new_state == self.goal:
