汽油调合环境
四种组分油按比例混合。仿真记录辛烷值、密度、硫含量等指标,组分性质随步数变化;调合头与储罐分别评价质量。
面对组分油性质的变化,如何调整配方,
在控制成本的同时减少调合过程中的质量违规?
四种组分油按比例混合。仿真记录辛烷值、密度、硫含量等指标,组分性质随步数变化;调合头与储罐分别评价质量。
复用课程 Actor 权重,以 32 维状态生成前三种组分的调整量,第四种补足。对比原奖励与加入质量、越界惩罚的新奖励。
利用当前观测预测候选动作的质量,检查配方边界与 RON 余量。建议不满足条件时,选择更接近原动作的可行候选。
学习部分包括奖励设计与 6 次 PPO 微调;Web 用于比较策略、逐步回放和追溯动作修正。DeepSeek 扩展展示候选生成与本地预测校验,尚未用于完整回合执行。
| 对照策略 | 平均成本指数 | 调合头违规率 | 违规步数 / 总步数 |
|---|---|---|---|
| 原始RL | 4544.05 | 1.57% | 45 / 2864 |
| 原始RL+约束 | 4544.21 | 0.00% | 0 / 2864 |
| 原奖励微调 | 4540.27 | 3.85% | 331 / 8592 |
| 新奖励微调 | 4541.31 | 3.28% | 282 / 8592 |
| 新奖励微调+约束 | 4541.66 | 0.00% | 0 / 8592 |
奖励修改有局部改善。违规率由 3.85% 降至 3.28%,但仍高于原始 RL 的 1.57%。短预算微调并未全面提高策略表现。
约束检查的作用更直接。原始 RL 和新奖励微调加入检查后均为零违规;这一结果仅适用于当前样本,不能视为工业安全保证。
评价场景:301、307、311、313、317、331、337、347;每回合 358 步。微调组汇总 3 个训练种子,共 24 回合;原始组各 8 回合。所有评价回合最终储罐均达标。成本为课程仿真指数,不代表实际工业节约金额。
选择场景与策略,查看 RON 轨迹 →问题建模、学习方法、实验结果、系统实现与参考文献。
在线阅读 PDF ↗下载 Word ↓课程模板版演示文稿,围绕汽油调合问题、方法及对照实验展开。
下载 PowerPoint ↓五组策略评价、训练曲线、实际轨迹与保存的候选动作校验。
进入实验页面 →下载评价汇总 CSV ↓通过交互图示说明状态、动作、奖励和 PPO,并对应到代码实现。
阅读学习手册 →