云漢深度學(xué)習(xí)識別系統(tǒng)包括圖像采集、異物識別、訓(xùn)練系統(tǒng)三部分。要求開發(fā)監(jiān)控目標(biāo)異物識別系統(tǒng)的識別和訓(xùn)練部分。
識別部分能夠接收圖像采集部分傳輸?shù)膱D像數(shù)據(jù)，與攝像機(jī)位姿數(shù)據(jù)同步，對圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測和定位，將結(jié)果按照接口協(xié)議輸出給用戶。

物體識別系統(tǒng)包括圖像采集、異物識別、訓(xùn)練系統(tǒng)三部分。

圖像采集部分負(fù)責(zé)采集異物的圖像、位置和姿態(tài)等信息，常用載體包括監(jiān)控設(shè)備、無人機(jī)、無人車等。

圖像采集部分通過大帶寬圖傳設(shè)備將采集到的圖像等數(shù)據(jù)打時間戳實(shí)時發(fā)送給地面處理系統(tǒng)。

識別部分通過標(biāo)準(zhǔn)RTSP協(xié)議接收圖像采集部分傳輸?shù)?/span>視頻，或私有協(xié)議接收圖像數(shù)據(jù)，通過socket連接接收圖像采集部分回傳的位置與姿態(tài)信息數(shù)據(jù)，進(jìn)行數(shù)據(jù)同步。

識別軟件基于Windows 10操作系統(tǒng)，Intel I7處理器，英偉達(dá)GTX1080 GPU

識別部分使用基于谷歌TensorFlow人工智能學(xué)習(xí)系統(tǒng)的深度學(xué)習(xí)圖像分類方法，使用TensorFlow物體檢測API，目前提供常見的90種訓(xùn)練數(shù)據(jù)集，同樣也可以使用TensorFlow構(gòu)建神經(jīng)網(wǎng)絡(luò)，訓(xùn)練機(jī)場常見異物的訓(xùn)練數(shù)據(jù)集。

在識別過程中，首先通過色塊處理將圖片中的物體取出，并求取圖像特征點(diǎn)。通過訓(xùn)練數(shù)據(jù)進(jìn)行矩陣運(yùn)算，得到該物體圖像對應(yīng)每個物品標(biāo)簽的匹配值，終根據(jù)需求選擇匹配分?jǐn)?shù)，終輸出物體對應(yīng)標(biāo)簽名稱。

   當(dāng)發(fā)現(xiàn)異常物體時，根據(jù)獲取物體在圖片中的像素坐標(biāo)以及當(dāng)前云臺的姿態(tài)信息，可以獲取異常物體的GPS坐標(biāo)以及大小等信息。

訓(xùn)練部分

通過人工管理，將圖像采集部分采集到的異物圖像分類存儲到數(shù)據(jù)庫中，打上標(biāo)簽，定期訓(xùn)練檢測模型。

在訓(xùn)練過程中將樣本數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，通過TensorFlow Object Detection API提供的faster RCNN+inception+resnet101網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練模型去對數(shù)據(jù)進(jìn)行不斷訓(xùn)練。通過不斷調(diào)整參數(shù)和神經(jīng)網(wǎng)絡(luò)的層數(shù)，使用測試數(shù)據(jù)進(jìn)行驗(yàn)證，不斷提高識別精度，當(dāng)數(shù)據(jù)得到需求，可以提供給識別單元進(jìn)行物體標(biāo)簽比對。

云漢深度學(xué)習(xí)識別系統(tǒng)產(chǎn)品特色功能

Ø 集中的目錄樹設(shè)備資源管理：機(jī)器人、云臺、視覺部分設(shè)備統(tǒng)一編號*及優(yōu)先級管理，管理多種監(jiān)控設(shè)備（如：視頻設(shè)備、報警設(shè)備、門禁設(shè)備、巡更設(shè)備、指紋設(shè)備、數(shù)字矩陣、副控客戶端、WEB服務(wù)器、流媒體轉(zhuǎn)發(fā)等）

Ø 集中用戶認(rèn)證：完善的集中用戶認(rèn)證管理模式和合理的優(yōu)先級及沖突檢測機(jī)制，所有用戶通過資源管理認(rèn)證服務(wù)器管理，實(shí)現(xiàn)集中的用戶優(yōu)先級，瀏覽控制權(quán)限集中配置管理

Ø 遠(yuǎn)程配置：設(shè)備遠(yuǎn)程參數(shù)配置、維護(hù)、軟件升級

Ø 校時服務(wù)：使網(wǎng)內(nèi)設(shè)備時間統(tǒng)一，同步

Ø 電子地圖：電子地圖及預(yù)案地圖的添加、分組、分級設(shè)定

Ø 實(shí)時監(jiān)控：實(shí)現(xiàn)對系統(tǒng)內(nèi)的網(wǎng)絡(luò)音視頻信號實(shí)時監(jiān)控瀏覽

Ø 集中存儲：網(wǎng)絡(luò)視頻分類集中存儲

Ø 集中回放：實(shí)現(xiàn)對系統(tǒng)內(nèi)的網(wǎng)絡(luò)音視頻信號集中點(diǎn)播回放

Ø 遠(yuǎn)程控制：遠(yuǎn)程控制云鏡，預(yù)置點(diǎn)、掃描線的調(diào)用；*的數(shù)字（虛擬）PTZ和模擬PTZ功能

Ø 媒體轉(zhuǎn)發(fā)：實(shí)現(xiàn)系統(tǒng)內(nèi)多媒體數(shù)據(jù)流的轉(zhuǎn)發(fā)控制功能

Ø WEB服務(wù)：集成IE瀏覽服務(wù)器，實(shí)現(xiàn)遠(yuǎn)程IE瀏覽和控制