一、系統概述
與大眾熟知的預測、識別等人工智能技術不同，強化學習技術學習最優決策策略的途徑獨樹一幟。傳統的預測與識別技術高度依賴于有標注的訓練數據，例如人臉識別模型的訓練需要大量標注為人臉和非人臉的樣本數據。而強化學習技術則依賴于智能體進行大量的自主探索和試錯，從不斷嘗試中總結經驗，最終獲得決策任務的最優策略。正是由于這一特性，強化學習無需依賴人類標注的決策數據，而是通過自主學習，有望發現甚至創造出超越人類的嶄新決策方式。
JS裝備決策智能系統是一個集數據分析、預測、評估、決策等功能于一體的綜合性系統。它利用先進的數據處理技術和算法模型，對海量的裝備相關數據進行深度挖掘和分析，為決策者提供科學的決策依據和優化的決策方案。該系統通常包括數據采集與預處理、數據分析與挖掘、決策支持與優化等模塊。
二、技術平臺
（一）在線強化學習平臺
在線強化學習平臺是一款簡單易用、功能強大的強化學習訓練平臺。該平臺集資源管理與調度、分布式并行計算、強化學習算法及開發工具于一體，提供了一站式的強化學習開發環境。
平臺具備靈活的智能體構建、高效的訓練與逼真的推演能力，讓用戶能夠快速設計和優化強化學習模型。同時，平臺支持訓練過程的實時可視化，使得模型訓練的每一步都清晰可見，方便用戶實時監控和調整。此外，仙易在線強化學習平臺還提供了多平臺接口適配，可以與各種主流的仿真環境無縫對接，極大地提高了開發效率。
（二）離線強化學習平臺
平臺不僅提供了先進的離線強化學習算法，還集成了一系列強大的工具，涵蓋了決策模型開發的全流程。從數據導入、決策流設計到環境模型檢驗、決策模型檢驗，為用戶提供了一站式的開發體驗。
該平臺的一大亮點在于其實現了 " 零試錯 " 的強化學習。傳統的強化學習方法通常需要大量的試錯和迭代，而通過創新的離線學習技術，使得策略的訓練可以在既有數據的基礎上進行，無需重復試錯，大大提高了訓練效率。用戶可以快速完成策略的訓練，并且獲得的策略可以直接部署到實際應用中。
三、模型服務
（一）數據克隆模型與服務
"數據克隆"是平臺的核心組件之一，最初旨在為強化學習的試錯過程提供支持。然而，這一技術還有一個意想不到的"副產品"：它能夠從有限的數據中還原出裝備的動力學模型。克隆模型在保持與真實裝備高度一致的同時，極大地提升了模型的靈活性。
這種完全數據驅動的模型克隆方式，有效地解決了"有數據無機理"的仿真建模難題，為數字化戰場構建、裝備自動化控制及決策智能奠定了堅實的基礎。
（二）通用反饋控制系統大模型GFS
GFS 是一款專為反饋控制類任務量身打造的決策基礎模型，其核心技術基于強化學習。在模型的訓練過程中，GFS 經歷了來自 7 萬余個反饋控制任務的超過 6000 萬次交互數據的打磨，經過反復錘煉，最終形成了一個功能強大、適應性廣的通用反饋控制模型。
GFS 模型可以提供多種用途。它能夠敏銳地辨識系統的內在特征，揭示系統運行的內在參數。GFS 還能充當 " 預警哨兵 "，及時發現系統運行過程中的異常變化，為決策者提供預警信息。GFS 模型還可以直接應用于反饋控制，通過自主分析系統狀態，自主調整控制策略，實現高效、精準的系統控制。
四、控制系統模組
無人機協同對抗決策基礎模型與控制器模組；無人艇協同對抗決策基礎模型與控制器模組；電磁對抗基礎模型與控制器模組。
五、配套產品
（一）控制律參數自主尋優模塊
針對控制建模與設計場景中控制參數難以確定的普遍問題，本模塊提供了一種基于強化學習的控制律參數自主優化解決方案。該方案以客戶設計的控制律模型為基礎，根據自定義的控制性能指標，自主搜索并確定最優的、可狀態依賴的控制參數組合。
可用于各類飛行器、機器人等裝備的控制系統優化。無論是經典的PID控制，還是其他先進的控制方法，該模塊都能提供一種通用的參數調優方案。通過與控制律參數自主優化模塊的結合，工程師可以將更多的精力放在控制策略的設計和算法的創新上，而將繁瑣的參數調試工作交給智能優化系統來完成。
（二）AI模型自動化測試平臺
決策策略通常以深度神經網絡模型為形態。隨著決策策略的廣泛應用，其可靠性成為應用的基石。針對深度神經網絡的黑箱性，本平臺構建了一套全流程的測試用例生成方法，為神經網絡策略模型的可靠性和安全性提供全方位的保障。
（三）自研高性能算力調度平臺
自研高性能算力的靈活調度平臺，發揮計算服務器的最大效用。已經適配華為、寒武紀、海光等多種國產計算設備。
