(来源:中国航空报)
当下人工智能技术的应用呈爆炸式增长,航空领域的研究人员和开发人员也注意到了这一点。其中一个有趣的应用案例是利用摄像头和眼动追踪技术。该系统能够观察飞行员的眼神并分析采集到的数据,从而实现从检测和预测认知负荷过重(有时被称为“隧道视野”)到疲劳、晕动病,甚至帕金森病或脑损伤等疾病等各种功能。HarmonEyes和霍尼韦尔航空航天公司最近公布了该领域的研究成果。解决驾驶舱内的困倦问题
飞行员疲劳是一个长期存在的安全隐患,促使人们不断创新,探索如何管理驾驶舱的工作负荷以及如何利用技术提供安全保障。英国航空公司飞行员协会2013年的一项研究发现,高达56%的飞行员在执勤期间睡着过,另有29%的受访者承认醒来后发现副驾驶也睡着了。
霍尼韦尔航空航天公司正通过其面向商用客机的飞行员状态监测解决方案来解决这一问题。该项目是欧盟支持的SESAR-3项目“数字助理减少工作量和增强协作”(DARWIN)的一部分。
该系统将实时摄像头画面与利用人工智能的软件相结合,以检测和处理飞行员的面部表情和潜在异常情况。霍尼韦尔表示,虽然睡眠和困倦检测功能已达到技术成熟度6级(TRL 6),但检测飞行员失能的能力预计将于2026年达到同样的成熟度。
在最近于捷克霍尼韦尔研发中心举行的一次媒体简报会上,DARWIN项目高级软件工程主管博赫丹·布拉哈解释说,检测驾驶舱内的困倦或失能状态比检测汽车驾驶员要困难得多。他解释说,这是因为飞行员通常会将注意力从仪表盘转移到其他任务上,而且他们拥有更大的活动自由度,甚至可以离开飞机的操控区域。
霍尼韦尔的技术使用单色摄像头实时追踪面部特征,例如,眼睛位置,并每30秒处理一次眨眼、闭眼时长、打哈欠和整体头部姿势等参数。然后,人工智能算法可以检测飞行员是困倦、完全入睡还是处于其他失能状态。
警报系统可秘密唤醒飞行员
该系统可通过声音警报提醒飞行员保持警觉。出于保密考虑,霍尼韦尔的实时系统不会共享或记录事件数据。尽管霍尼韦尔曾尝试过其他智能手表或其他所谓的“可穿戴”技术,但布拉哈解释说,共享这些设备的数据可能会引发隐私问题。如果飞行员忘记佩戴设备或电池耗尽,这种方法的效果也会大打折扣。
作为持续评估的一部分,霍尼韦尔将来自测试飞机的真实数据与基于模拟器的试验相结合。其中包括邀请众多疲惫的员工在不同的困倦状态下验证系统的警报功能。
研究还发现,太阳镜和帽子等配饰不会对系统的功能产生不利影响。布拉哈承认,对于因突发疾病等原因失去行动能力的飞行员,通过模拟验证其功能会比较困难,但该系统仍然具有实用价值。例如,它可以部署在未来的单人驾驶舱中,作为额外的安全保障。
在霍尼韦尔的比奇、“猎隼”F900和波音757测试飞机上成功测试后,该项目于2025年扩大范围,将巴西航空工业公司的E170客机纳入其中。一家未透露名称的航空公司也已在其空客A321飞机上对该飞行员监控系统进行了18个月的测试,该系统有望在DARWIN项目于2026年完成后投入使用。
HarmonEyes预测人工智能眼动追踪技术可能导致认知过载
12年前创立的RightEye公司,致力于开发眼动追踪软件,将眼动追踪技术从实验室推向实际应用。如今,他们又成立了HarmonEyes这一新部门。RightEye已向军方、政府、职业体育界、医院和医疗用户售出了数千台眼动追踪设备,但随着技术的融合,将无处不在的摄像头与人工智能工具相结合的新型眼动追踪解决方案成为可能。例如,RightEye的硬件过于复杂,无法在驾驶舱等封闭环境中使用,但智能手机摄像头甚至个人摄像头则不存在这个问题。
HarmonEyes软件开发工具包的设计理念是不存储任何眼动追踪数据。由于系统每秒都会输出结果,因此会销毁前一秒的数据。软件不会存储、收集或记录任何眼动追踪数据,只是将输出结果交付给客户,客户需要自行获得飞行员和用户的同意,然后他们可以按照自己的意愿使用这些数据。
HarmonEyes公司通过其RightEye设备业务,获得了近1500万条独特的眼动记录,这些记录可以反映“基于表现的指标,例如,认知负荷、疲劳和大脑健康特征、帕金森病、创伤性脑损伤。”目前公司拥有庞大的数据集,可以用来训练人工智能模型。但真正的转折点在于,提取眼动追踪信号的底层技术大多基于摄像头。十年前,需要为此定制硬件。而现在,无论是电脑上的网络摄像头、手机、平板电脑,还是驾驶舱内的混合现实头显,这些摄像头都更好、更快、更便宜,可以从中提取注视向量或眼动追踪信号。这促成了三款基于人工智能的性能相关工具的开发,分别用于解决认知负荷、疲劳和晕动病问题。
人工智能的作用不仅在于分析眼动追踪数据,更在于创建预测模型。其目标并非帮助客户在飞行员认知负荷过重、在错误的时间专注于错误任务等情况下,提供被动的解决方案。目前该公司是利用人工智能和时间序列数据,创建预测模型,从而预测飞行员何时会达到认知负荷过重、高度疲劳甚至晕动病的状态。
了解某人正走向“问题状态”,最好是在认知负荷过重之前,就能进行可能的干预。如果有人认知负荷过重,就可以进行系统干预(例如,触觉反馈、声音警告或其他由人工智能代理主导的技术)。这取决于具体情况,但有了这种科技手段,知道某人即将进入“问题状态”,相关人员马上可以进行干预,而且干预措施可能有很多种。如果能立即消除飞行员当前面临的双重或三重任务,就能提高他们的心理容量和储备。
在训练环境中,教员可以选择让高认知负荷的情况自然发展,然后在事后总结中解决问题,并进行再训练以预防此类情况再次发生。
最终,HarmonEyes计划提供集成到检测系统中并能自主进行干预的人工智能代理。这项技术的另一个应用场景是利用数据对比资深飞行员和新手飞行员的特征,从而指导培训和招聘计划。
进一步拓展这一理念,HarmonEyes可以评估经验丰富、精神饱满的飞行员在中等认知负荷状态下,视线在驾驶舱内的确切位置,以确保他们在正确的时间查看正确的仪表或显示器。
HarmonEyes目前已与美国国家航空航天局(NASA)、军方、航空公司以及一级方程式赛车手培训模拟项目开展合作。
该系统真正的价值在于让机载系统理解飞行员在特定情境下的状态,它能够理解环境、任务、情境以及飞行员本身,将这三者结合起来,就形成了真正的情境人工智能。它的价值不仅在于能够提升飞行员的卓越表现,还能避免灾难性事故的发生。 (逸文)