智慧城市網(wǎng)
技術(shù)文章
基于心電信號(hào)的飛行員疲勞狀態(tài)識(shí)別
閱讀：1222 發(fā)布時(shí)間：2024-7-19
疲勞是影響飛行安全的一個(gè)重要因素，可能導(dǎo)致飛行員操作能力下降、錯(cuò)誤判斷和飛行錯(cuò)覺，甚至?xí)l(fā)嚴(yán)重飛行事故。當(dāng)飛行員疲勞時(shí)，其自主神經(jīng)系統(tǒng)會(huì)發(fā)生相應(yīng)的變化，心率與自主神經(jīng)系統(tǒng)活動(dòng)存在一定的相關(guān)性，心電信號(hào)可以在一定程度上反映人的疲勞狀態(tài)。
為了滿足飛行員自然駕駛和安全飛行的需求，本研究選擇了采樣率高、數(shù)據(jù)可靠、操作方便、非侵入性強(qiáng)的ECG心電傳感器，并結(jié)合主觀自我評(píng)估來識(shí)別飛行員的疲勞狀態(tài)，從而保證了飛行員疲勞數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性。
研究框架
通過飛行模擬實(shí)驗(yàn)收集飛行員心電（ECG）和Samn–Perell7級(jí)疲勞量表數(shù)據(jù)識(shí)別飛行員的疲勞狀態(tài)。對采集的ECG數(shù)據(jù)進(jìn)行預(yù)處理后，通過弗里德曼檢驗(yàn)和主成分分析(PCA)選擇并提取ECG數(shù)據(jù)的時(shí)域、頻域和非線性特征指標(biāo)。基于特征選擇和提取的結(jié)果，利用學(xué)習(xí)向量化算法神經(jīng)網(wǎng)絡(luò)（LVQ）建立了飛行員的疲勞狀態(tài)識(shí)別模型，并確定飛行員的非疲勞、輕度疲勞和疲勞狀態(tài)。最后將鑒定結(jié)果與反向傳播神經(jīng)網(wǎng)絡(luò)（BPNN）、支持向量機(jī)（SVM）等傳統(tǒng)方法進(jìn)行了比較。
研究框架
實(shí)驗(yàn)設(shè)備和流程
招募30名獲得飛行資格證的飛行員。飛行員在 Cessna 172模擬飛行器執(zhí)行飛行任務(wù)，佩戴津發(fā)科技BIO無線可穿戴ECG傳感器采集ECG信號(hào)，并通過ErgoLAB人機(jī)環(huán)境同步云平臺(tái)記錄和處理ECG信號(hào)，Cessna 172模擬飛行器和無線可穿戴ECG傳感器的佩戴如下圖。每個(gè)飛行員每天在上午、下午、晚上分別執(zhí)行一次模擬飛行，共持續(xù)30天。
飛行模擬實(shí)驗(yàn)設(shè)備（a）Cessna172飛行模擬器；（b）Cessna172飛行模擬器的控制面板；（c）無線可穿戴心電數(shù)據(jù)采集裝置
飛行任務(wù)流程示意圖
飛行員和主試在每次飛行前后根據(jù)飛行員的疲勞狀態(tài)在Samn–Perelli7級(jí)疲勞量表中選擇最靠近的疲勞水平，結(jié)果取其平均值，并將疲勞量表得分不大于3定義為非疲勞狀態(tài)，大于3但不大于5定義為輕度疲勞狀態(tài)，大于5定義為疲勞狀態(tài)。
實(shí)驗(yàn)流程圖
疲勞量表分析
飛行員的疲勞水平在9：00-11：00、14：00-16：00和19：00-21：00的三個(gè)時(shí)間段內(nèi)有顯著差異，這三個(gè)時(shí)間段對應(yīng)的飛行員疲勞狀態(tài)可分為非疲勞、輕度疲勞和疲勞。使用非疲勞、輕度疲勞和疲勞狀態(tài)作為模型訓(xùn)練的標(biāo)簽。
Samn–Perell7級(jí)疲勞量表數(shù)據(jù)統(tǒng)計(jì)
疲勞狀態(tài)特征選擇
選擇22人數(shù)據(jù)（1152樣本）為訓(xùn)練集，剩下8人數(shù)據(jù)(288樣本)為測試集，通過弗里德曼檢驗(yàn)得出差異顯著的ECG 的4個(gè)時(shí)域指標(biāo)（ AVNN、AVHR、RMSSD、PNN50）、3個(gè)頻域指標(biāo)（LFnorm、HFnorm、LF/HF）和3個(gè)非線性指標(biāo)（SD1、A++、B++）。以時(shí)域指標(biāo)為例弗里德曼檢驗(yàn)的箱圖如下。
特征選擇后時(shí)域指標(biāo)的箱圖 (a)AVNN的箱圖；(b)AVHR的箱圖；(c)RMSSD的箱圖；(d)PNN50的箱圖
疲勞狀態(tài)特征提取
采用主成分分析，進(jìn)一步消除了特征提取之間的相互作用，主成分分析結(jié)果見下圖，選擇PC1、PC2、PC3、PC4和PC5作為模型訓(xùn)練的新特征指標(biāo)。
主成分分析結(jié)果
主成分分析的因子加載矩陣
疲勞狀態(tài)識(shí)別
選擇均方誤差(MSE)作為損失函數(shù)。MSE值越小，模型輸出分布和樣本標(biāo)簽分布越接近。基于LVQ模型的飛行員疲勞狀態(tài)識(shí)別的準(zhǔn)確率和MSE如下圖所示。當(dāng)神經(jīng)元個(gè)數(shù)為13時(shí)，準(zhǔn)確率最高，MSE相對較小。
LVQ模型中對不同數(shù)量神經(jīng)元的識(shí)別準(zhǔn)確率和MSE
識(shí)別結(jié)果分析
測試集中飛行員疲勞識(shí)別結(jié)果如圖10，其中“0”、“1”、“2”分別代表非疲勞、輕度疲勞和疲勞狀態(tài)。LVQ模型的平均識(shí)別準(zhǔn)確率為82.29%。
基于LVQ模型的飛行員疲勞識(shí)別結(jié)果
模型性能評(píng)估
對比LVQ模型與BPNN模型和SVM模型的準(zhǔn)確率、精確度、召回率、F1指數(shù)和ROC曲線，結(jié)果表明：LVQ模型在飛行員疲勞狀態(tài)識(shí)別上更為準(zhǔn)確、可信、穩(wěn)定、有效。
LVQ模型的混淆矩陣
各分類模型識(shí)別準(zhǔn)確率
各分類模型性能評(píng)估結(jié)果
各分類模型的ROI曲線
本研究利用ErgoLAB人機(jī)環(huán)境同步云平臺(tái)在模擬飛行任務(wù)中采集和分析飛行員心電信號(hào)進(jìn)行疲勞狀態(tài)識(shí)別的計(jì)算機(jī)建模，這為將來基于心電信號(hào)的飛行員疲勞狀態(tài)識(shí)別研究奠定了基礎(chǔ)，為減少飛行員疲勞引起的飛行事故提供了理論依據(jù)。同時(shí)研究結(jié)果也為飛行員疲勞風(fēng)險(xiǎn)管理和智能飛機(jī)自動(dòng)駕駛系統(tǒng)的發(fā)展提供實(shí)際的參考。
1.Pan T, Wang H, Si H, Li Y, Shang L. Identification of Pilots' Fatigue Status Based on Electrocardiogram Signals. Sensors (Basel). 2021 Apr 25;21(9):3003. doi: 10.3390/s21093003.
2.Caldwell, J.A.; Mallis, M.M.; Caldwell, J.L.; Paul, M.A.; Miller, J.C.; Neri, D.F. Fatigue counter measures in aviation. Aviat. Space Environ. Med. 2009, 80, 29–59.
3.Avers, K.; Johnson, W.B. A review of federal aviation administration fatigue research: Transitioning scientifific results to the aviation industry. Aviat. Appl. Hum. Factors 2011, 1, 87–98.