基于心电信号的飞行员疲劳状态识别
北京津发科技股份有限公司
2024/7/19 16:42:59>> 进入商铺
疲劳是影响飞行安全的一个重要因素,可能导致飞行员操作能力下降、错误判断和飞行错觉,甚至会引发严重飞行事故。当飞行员疲劳时,其自主神经系统会发生相应的变化,心率与自主神经系统活动存在一定的相关性,心电信号可以在一定程度上反映人的疲劳状态。
为了满足飞行员自然驾驶和安全飞行的需求,本研究选择了采样率高、数据可靠、操作方便、非侵入性强的ECG心电传感器,并结合主观自我评估来识别飞行员的疲劳状态,从而保证了飞行员疲劳数据的实时性和准确性。
研究框架
通过飞行模拟实验收集飞行员心电(ECG)和Samn–Perell7级疲劳量表数据识别飞行员的疲劳状态。对采集的ECG数据进行预处理后,通过弗里德曼检验和主成分分析(PCA)选择并提取ECG数据的时域、频域和非线性特征指标。基于特征选择和提取的结果,利用学习向量化算法神经网络(LVQ)建立了飞行员的疲劳状态识别模型,并确定飞行员的非疲劳、轻度疲劳和疲劳状态。最后将鉴定结果与反向传播神经网络(BPNN)、支持向量机(SVM)等传统方法进行了比较。
研究框架
实验设备和流程
招募30名获得飞行资格证的飞行员。飞行员在 Cessna 172模拟飞行器执行飞行任务,佩戴津发科技BIO无线可穿戴ECG传感器采集ECG信号,并通过ErgoLAB人机环境同步云平台记录和处理ECG信号,Cessna 172模拟飞行器和无线可穿戴ECG传感器的佩戴如下图。每个飞行员每天在上午、下午、晚上分别执行一次模拟飞行,共持续30天。
飞行模拟实验设备(a)Cessna172飞行模拟器;(b)Cessna172飞行模拟器的控制面板;(c)无线可穿戴心电数据采集装置
飞行任务流程示意图
飞行员和主试在每次飞行前后根据飞行员的疲劳状态在Samn–Perelli7级疲劳量表中选择最靠近的疲劳水平,结果取其平均值,并将疲劳量表得分不大于3定义为非疲劳状态,大于3但不大于5定义为轻度疲劳状态,大于5定义为疲劳状态。
实验流程图
疲劳量表分析
飞行员的疲劳水平在9:00-11:00、14:00-16:00和19:00-21:00的三个时间段内有显著差异,这三个时间段对应的飞行员疲劳状态可分为非疲劳、轻度疲劳和疲劳。使用非疲劳、轻度疲劳和疲劳状态作为模型训练的标签。
Samn–Perell7级疲劳量表数据统计
疲劳状态特征选择
选择22人数据(1152样本)为训练集,剩下8人数据(288样本)为测试集,通过弗里德曼检验得出差异显著的ECG 的4个时域指标( AVNN、AVHR、RMSSD、PNN50)、3个频域指标(LFnorm、HFnorm、LF/HF)和3个非线性指标(SD1、A++、B++)。以时域指标为例弗里德曼检验的箱图如下。
特征选择后时域指标的箱图 (a)AVNN的箱图;(b)AVHR的箱图;(c)RMSSD的箱图;(d)PNN50的箱图
疲劳状态特征提取
采用主成分分析,进一步消除了特征提取之间的相互作用,主成分分析结果见下图,选择PC1、PC2、PC3、PC4和PC5作为模型训练的新特征指标。
主成分分析结果
主成分分析的因子加载矩阵
疲劳状态识别
选择均方误差(MSE)作为损失函数。MSE值越小,模型输出分布和样本标签分布越接近。基于LVQ模型的飞行员疲劳状态识别的准确率和MSE如下图所示。当神经元个数为13时,准确率最高,MSE相对较小。
LVQ模型中对不同数量神经元的识别准确率和MSE
识别结果分析
测试集中飞行员疲劳识别结果如图10,其中“0”、“1”、“2”分别代表非疲劳、轻度疲劳和疲劳状态。LVQ模型的平均识别准确率为82.29%。
基于LVQ模型的飞行员疲劳识别结果
模型性能评估
对比LVQ模型与BPNN模型和SVM模型的准确率、精确度、召回率、F1指数和ROC曲线,结果表明:LVQ模型在飞行员疲劳状态识别上更为准确、可信、稳定、有效。
LVQ模型的混淆矩阵
各分类模型识别准确率
各分类模型性能评估结果
各分类模型的ROI曲线
本研究利用ErgoLAB人机环境同步云平台在模拟飞行任务中采集和分析飞行员心电信号进行疲劳状态识别的计算机建模,这为将来基于心电信号的飞行员疲劳状态识别研究奠定了基础,为减少飞行员疲劳引起的飞行事故提供了理论依据。同时研究结果也为飞行员疲劳风险管理和智能飞机自动驾驶系统的发展提供实际的参考。
1.Pan T, Wang H, Si H, Li Y, Shang L. Identification of Pilots' Fatigue Status Based on Electrocardiogram Signals. Sensors (Basel). 2021 Apr 25;21(9):3003. doi: 10.3390/s21093003.
2.Caldwell, J.A.; Mallis, M.M.; Caldwell, J.L.; Paul, M.A.; Miller, J.C.; Neri, D.F. Fatigue counter measures in aviation. Aviat. Space Environ. Med. 2009, 80, 29–59.
3.Avers, K.; Johnson, W.B. A review of federal aviation administration fatigue research: Transitioning scientifific results to the aviation industry. Aviat. Appl. Hum. Factors 2011, 1, 87–98.