石化过程智能制造 课程研究报告
智能学习 / 汽油调合

汽油调合强化学习实验
与 Web 分析平台

面对组分油性质的变化,如何调整配方,
在控制成本的同时减少调合过程中的质量违规?

刘鹏飞 · 2026245511 · 工程管理26-1
人工智能学院 · 工程管理专业 / 任课教师:何仁初
01 / 研究内容

从配方决策到质量检查

01

汽油调合环境

四种组分油按比例混合。仿真记录辛烷值、密度、硫含量等指标,组分性质随步数变化;调合头与储罐分别评价质量。

02

PPO 策略微调

复用课程 Actor 权重,以 32 维状态生成前三种组分的调整量,第四种补足。对比原奖励与加入质量、越界惩罚的新奖励。

03

执行前约束检查

利用当前观测预测候选动作的质量,检查配方边界与 RON 余量。建议不满足条件时,选择更接近原动作的可行候选。

当前组分与罐内状态→Actor 建议动作→预测与约束检查→仿真执行与评价

学习部分包括奖励设计与 6 次 PPO 微调;Web 用于比较策略、逐步回放和追溯动作修正。DeepSeek 扩展展示候选生成与本地预测校验,尚未用于完整回合执行。

02 / 实验结果

改善来自哪里,证据到哪里

对照策略平均成本指数调合头违规率违规步数 / 总步数
原始RL4544.051.57%45 / 2864
原始RL+约束4544.210.00%0 / 2864
原奖励微调4540.273.85%331 / 8592
新奖励微调4541.313.28%282 / 8592
新奖励微调+约束4541.660.00%0 / 8592

奖励修改有局部改善。违规率由 3.85% 降至 3.28%,但仍高于原始 RL 的 1.57%。短预算微调并未全面提高策略表现。

约束检查的作用更直接。原始 RL 和新奖励微调加入检查后均为零违规;这一结果仅适用于当前样本,不能视为工业安全保证。

评价场景:301、307、311、313、317、331、337、347;每回合 358 步。微调组汇总 3 个训练种子,共 24 回合;原始组各 8 回合。所有评价回合最终储罐均达标。成本为课程仿真指数,不代表实际工业节约金额。

选择场景与策略,查看 RON 轨迹 →
03 / 报告与材料

阅读与下载

PRESENTATION

课堂汇报 PPT

课程模板版演示文稿,围绕汽油调合问题、方法及对照实验展开。

下载 PowerPoint ↓
METHOD & CODE

方法与代码学习手册

通过交互图示说明状态、动作、奖励和 PPO,并对应到代码实现。

阅读学习手册 →