强化学习工业控制技术研究：南栖仙策编写《强化学习控制白皮书》

南京2022年4月20日 /美通社/ -- 能源与流程工业制造是国民经济的支柱产业，伴随着过去几十年工业制造的高速发展，我国工业生产面临的能耗高、资源消耗高、产品附加值低、环境污染等问题越来越突出，亟需通过最新的人工智能技术来推动流程工业制造高效化、绿色化、智能化发展。

强化学习是一种数据驱动的决策技术，具有自主学习、高度非线性等特性，可有效应对工业控制面临的一系列难题。南栖仙策作为强化学习AI智能决策应用的领军者，将强化学习应用于工业控制任务，产生了多个落地案例。

白皮书共分为三个部分

第一部分：概述流程工业生产控制的挑战

现有的工业生产管理流程，多个环节由人工把控，依赖经验知识且响应速度缓慢。过程控制基于经典控制算法，在大范围动态条件复杂系统的优化控制问题上存在不足。系统运维缺乏数据支撑，故障难预警、风险不可控，常造成企业产品不够稳定、生产线持续性不够高、产量波动的应对能力不足、生产损耗过大成本难以控制等问题。

第二部分：介绍南栖仙策强化学习工具的优势

南栖全球领先的数据驱动强化学习工具POLIXIR REVIVE提供了数据模拟环境和强化学习优化技术，在火力发电、化工生产、自来水/污水生产处理等多个工业场景带来了不同的能力，与MPC（Model Predictive Control）的对比为例，阐述了在系统建模方法、系统模拟能力、控制策略能力上更具有实施快、成本低、建模灵活、适用面广、实用性强等特点。在实施上，南栖通过云端协同架构，实现了POLIXIR REVIVE与ReinOptima工业边缘控制器的联动。通过云端协同架构，当ReinOptima的预测性维护模块识别出系统发生偏移时，自动将历史数据传输到REVIVE系统更新虚拟环境模型和控制策略，实现对环境变化的自动适应和持续的自我学习与进化。

第三部分：南栖仙策技术优势与场景应用案例

《白皮书》通过实际案例分别对能源与流程工业制造"高精度控制、高稳定控制、大滞后控制、全局目标控制"四个不同维度的需求进行了详细解读。

>>高精度控制

传统人工控制增压泵房的给水，经常导致水量和能耗过高或过低。通过POLIXIR REVIVE产生的泵频控制策略，可大大降低出口流量与目标流量差值，达到系统所期望的精准控制，并与历史同时期千吨水电耗相比，节省电耗约 7.16%，有效提高了泵房的经济效益。

>>高稳定控制

在燃煤火电机组控制中，由于外部扰动，导致主蒸汽温度长期不稳定。传统的PID控制存在严重的过调、延迟等问题，导致超温、温度过低等情况出现，影响发电效率等。通过POLIXIR REVIVE产生的温控策略，可将出口温度有效控制在一定范围内，并帮助节省燃煤 0.06%，保障稳定的同时延长了设备的使用寿命。

>>大滞后控制

在磨煤机生产过程中，由于目标出口煤粉温度与控制风量之间存在较长的时间差，整体系统存在滞后性、长距离控制等问题，以及风速测不准导致风速控制器的 PID 控制失效。通过POLIXIR REVIVE产生的冷热一次风挡板位控制策略，可使出口风粉温度分布更贴近目标温度，系统运行工况更加稳定。

>>全局目标控制

循环水泵的优化控制难点体现在需全局考虑整锅炉运行流程，寻找最优的耗电-发电平衡点，PID控制难以实现，通过POLIXIR REVIVE产生的循环水泵控制策略，可在330MW热电联产机组循环水泵控制中，将整体指标值降低约0.53，相较于PID控制策略，节能提升3.52%。