2012-12-19 09:43:21
來源：
摘要：通過分析大數據問題產生背景、基本認識和電磁信息處理技術特征，分析了在復雜電磁環境下戰場電磁信息處理大數據問題的處理方法和主要應用技術，其分析結果可為電磁信息處理大數據應用研究提供支持。
1大數據問題的產生背景及認識
1.1大數據問題產生背景
大數據作為一個專有名詞成為熱點，主要歸功于近年來互聯網、云計算、移動和物聯網的迅猛發展。無所不在的移動設備、RFID、無線傳感器等每分每秒都在產生數據，數以億計用戶的互聯網服務時時刻刻在產生巨量的交互，要處理的數據量太長、增長太快。多媒體應用的出現，導致數據類型發生很大改變，分層數據、文檔、電子郵件、計量數據、視頻、靜態圖像、音頻、股票行情數據和金融交易等非結構化數據占到了很大比重，并且產生智慧的海量數據是非結構化數據。大量數據分散在不同部門、不同企業，沒有實現數據共享和集中管理。決策關注的數據已不再限于部門內部數據庫中的業務數據，還要包括互聯網、物聯網上各類網絡活動所產生的相關數據記錄。傳統的常規技術手段根本無法應付。美國政府高調倡議大數據問題研究為繼續保持信息處理技術的壟斷地位提供有力支持。
1.2大數據的含義
大數據是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合。IBM公司把大數據概括成了三個“V”，即大量化（Volume）、多樣化（Variety）和快速化（Velocity）。這些特點也反映了大數據所潛藏的價值（Value），可以認為，這四個“V”就是大數據的基本特征。
大容量數據（TB、PB甚至EB級）：數據的存儲和安全以及在未來訪問和使用這些數據已成為難點。
多格式數據：海量數據包括了越來越多不同格式的數據，不同格式的數據也需要不同的處理方法。如簡單的電子郵件、數據日志和各種記錄、傳感器收集到的數據、信息系統生成的數據、武器裝備數據、人力資源數據以及豐富的媒體數據（包括照片、音樂、視頻等）。
高速度處理：數據從端點移動到處理器和存儲的速度，以及數據分析處理需要實時化等。
高價值信息：大量分散存儲的、多結構和非結構數據含有很多支持判斷情況和進行決策的高價值信息。
大數據問題是信息化發展過程中，由于數據量、數據類型的急劇增加，導致存儲、處理以及網絡傳輸都不能滿足要求的情況下產生的，是一種客觀的信息化發展進程，對信息建設和應用的影響是深遠的、不斷變化的。它的價值取決于大數據產生的客觀實際、大數據處理方法轉變、關鍵技術突破情況和大數據的應用能力。
2電磁信息處理大數據問題分析
2.1復雜電磁環境特征分析
隨著信息化武器在未來聯合作戰中的廣泛應用，各種機載、艦載、車載和背負式電子目標在戰場大量出現。戰場電磁信號密集復雜多樣。復雜特性主要體現在：
信號頻段全、種類多。戰場電磁信號頻段覆蓋短波至激光燈全頻段。信號種類包括雷達信號、導航、通信、測控等多類信號。
信號密集。雷達信號密度100萬脈沖以上，存在脈沖交疊情況；通信電臺上千部，同頻度多信號，信息區分難度大。
技術體制、調制樣式復雜。各種新型復雜體制的雷達信號、通信以及激光信號不斷出現。雷達信號的脈間、脈內調制樣式多且調制很復雜，分析提取信號調制特征難度大。
工作樣式變化靈活。相控陣多功能雷達能同時調制多種功能的脈沖串，識別目標和工作模式以及判別敵方意圖帶來很大的困難。
2.2電磁信號情報處理特征
電磁信號情報處理主要內容包括輻射源參數估計、調制樣式識別、輻射源型號識別、目標綜合識別、目標功能狀態識別，以及后續的目標分群、目標活動監測和態勢分析與威脅估計等。其中，信號參數估計和調制樣式識別屬于信號處理內容，由硬件系統實現。輻射源型號識別、目標綜合識別以及目標活動處理、態勢分析和威脅估計等屬于情報處理內容，由軟件系統實現。
在情報處理業務中，輻射源關聯是輻射源型號識別和目標識別的基礎，多元目標綜合識別是目標識別和態勢綜合的關鍵。輻射源關聯主要是依據輻射源的空、時、頻域多維特征以及信號調制細微特征等，完成多站偵收輻射源之間關聯融合。多源目標識別綜合識別的難點在于不同傳感器截獲信源存在時間、空間和信息參數的差異性，不同時刻測量的同源信號工作模式和信號的輻射特性也存在差異性，同時，為了提高關聯識別準確度，需要提取盡可能多的特征，特征的關聯測量相似度和區分度差異也需要及時判斷。輻射源關聯和多源目標綜合識別具備明顯的并行流處理特征。
電磁態勢綜合及分析是電磁情報處理的難點，需要在目標識別基礎上，進行目標分群、目標關系提取以及進行目標空域、頻域、工作模式域等活動特征提取、異?；顒訖z測和活動意圖分析等。處理的數據來源分散、種類多，既包括實時在線輻射源和目標處理結果，又包括目標活動處理結果、積累的目標歷史情報數據，以及其他途徑獲取的目標基本信息、活動規律、威脅能力和工作方式等信息，還有部隊、裝備、戰場環境等信息。各業務模塊處理信息量大、綜合處理流程復雜、實時性要求高，呈現較強的分布式并行處理特征。
多站偵察數據存儲管理與共享應用是電磁情報處理新的難點。不同站點情報系統不同處理層級分別產生大量偵察數據情報，不同地域、不同途徑獲得的情報信息存在著相互關聯性。情報處理系統需要從海量數據中提取各種關系以及其他被淹沒的有價值信息，分散存儲的多結構、多類型信息維護管理難度大，需要更為先進的數據管理維護方法和技術。
2.3電磁信息處理方法轉變
復雜電磁環境下電磁信息數據量非常大，信息作戰、聯合火力打擊等目標保障。、戰場態勢保障實時性要求高，不同手段獲取目標信息關聯難度大，電子設備與綜合武器平臺配屬關系復雜、電子戰斗序列協同和互補應用關系多頭。信號處理復雜度、時效度要求高以及數據類型多、用戶種類多、需求多樣，存儲分散等特點，呈現很多大數據處理特點，對復雜電磁環境信息處理方面提出很多新的要求。主要體現在：
（1）數據分布式存儲管理：復雜電磁環境下，不同位置偵查系統截獲大量偵察數據須分散存儲，綜合情報處理、戰場環境情況綜合需要及時對不同站點的偵察數據進行檢索關聯、匯總處理等，對服務器和存儲架構以及信息管理架構方面需進行重大調整，通過標準化的流程和工具對數據進行處理以保證一個預定義好的高質量的分析結果，需要進行分布式數據庫技術、分布式文件系統和各種分布式存儲方案等方法轉變。
（2）實時處理特征明顯：多源多類電磁信息處理業務流程復雜、實時性強，數據處理的注意力越來越集中在“數據流”而非“數據集”層面。指揮員掌握戰場情報需要緊扣其電子目標組成、分布活動狀態，并獲取實時的結果。這些特征決定數據系統具備處理隨時發生的數據流的架構，支持數據流處理。
（3）大數據量并行化計算處理要求突出：復雜密集電磁信號處理、數據分布存儲管理和實時處理大量數據等特征對跨節點的分布式并行處理需求明顯，分布式/并行處理、大型分布式文件系統，分布式比行查詢等方法將成為主要的處理方法。
（4）多源多類海量數據關聯聚類分析十分重要：戰場目標電磁活動是基于作戰任務進行的，不同位置截獲的電磁信號及活動特征存在著密切的協同關系，不同用途的雷達、不同用途的通信網、電臺活動期間的功能協同、時間協同、空間協同，最終體現任務的協同關系。提取這些關系對理解敵方意圖、作戰行動等十分重要，對數據處理提出了分布式存儲、不同格式的海量數據關聯聚類需求。
（5）電磁信號行為意圖分析理解重要：在電子對抗、網電空間對抗條件下，任何電磁信號的細微變化都可能反映出行動意圖和作戰使用方式。電磁信號處理須從信號特征分析向信號特征反映的意圖轉變，從個體行為意圖向群體行為意圖轉變，進而向目標體系行為意圖轉變，通過綜合目標部署、空域活動特征、頻繁活動特征等分析敵方行為意圖，從而為電子對抗、聯合火力打擊決策支持提供情報分析結果。
3電磁信息處理大數據應用需求分析
電磁信息處理大數據應用體現在偵查數據處理、電磁態勢綜合、目標情報處理、綜合情報處理以及決策支持等方面。
3.1偵查數據處理方面德的應用
主要解決復雜高密度電磁多頻段信號截獲和信號分析處理，獲取信號特征參數、目標屬性和運動狀態等，解決在信號密度不斷增加、軍民信號混雜、真偽信號復雜、信號樣式不斷更新情況下的電磁信號處理難題。主要應用技術包括重點開發高密度信號環境下，全頻段多類信號全概率截獲并行流處理技術和有用目標信息甄別處理技術。
3.2電磁態勢綜合方面的應用
主要解決發雜戰場環境下，多站多手段截獲目標電磁屬性進行電子目標、目標綜合平臺融合識別，目標屬性判別、目標工作意圖判別以及目標運動屬性判別處理等，實時形成準確電測態勢。主要應用技術包括多源情報關聯特征建模及差異性分析、電子目標多維特征灰關聯、多分類器目標融合識別、大差異目標航跡關聯、工作意圖提取等。
3.3目標情報處理方面的應用
主要解決不同途徑獲得并分散存儲偵察目標信息綜合問題，重點是目標異類情報信息關聯融合，獲取目標基本信息、部署信息以及目標活動情報關聯。主要應用技術包括多維立體數據關聯聚類、情報信息融合，格式化與非格式化情報關聯，目標體系聚類，目標部署意圖分析、活動規律挖掘以及意圖分析等。
3.4輻射源型號參數綜合方面的應用
解決對不同地域、不同設備和不同時間偵察的大量輻射源型號數據的型號識別、工作模式識別和模式狀態功能問題。主要應用技術包括海量數據分布式查詢、輻射源型號識別與區分、輻射源參數細微特征建模、雷達信號脈沖序列規律提取等。
3.5綜合情報處理方面的應用
解決特征主題的情報綜合處理問題，包括重點目標信息關聯、海量目標數據聚類、重大活動情報匯總分析等。主要應用技術包括海量數據深度挖掘、海量數據關聯聚類、情報意圖信息的智能提取、基于規律模式活動預測等。
3.6裝備缺陷查找方面的應用
通過查找偵察情報系統生成的情報數據與實際目標活動的差異，分析偵察情報系統存在的問題，在目標捕獲、數據處理、情報分析等多個環節可能存在的質量問題、設計缺陷和技術問題，為裝備改進、研制提供支持。匯總采集的維修數據，分析裝備質量問題、設計缺陷等問題。
3.7決策支持方面的應用
通過挖掘提取數據規律、事件活動規律、活動模式，查找關聯事件、關聯關系以及活動時序事件等，進行專題或整體情報分析，形成各種可以支持領域決策的應用。主要應用技術包括基于粗糙集合聚類挖掘算法、關聯規則挖掘算法和序列模式挖掘算法等支持下的挖掘工具研發十分重要。
4結束語
復雜電磁環境信息處理大數據特征是明顯的，典型信息處理業務對大數據處理方法和技術需求信息是具體的。本文分析的電磁信息處理大數據處理方法的轉變和主要應用技術對進一步研究開發本領域大數據應用技術、提高電磁環境信息應用能力有一定的支持作用。
