您现在所在位置: 首页 >> 学生工作 >> 正文
国际第一!航海学院-迅声环境声音感知联合实验室国际声学AI算法挑战赛再创佳绩
发布时间:2023-07-08     作者:白吉生 尹涵   分享到:

近日,第九届国际权威声学场景和事件检测及分类竞赛 (Detection and Classification of Acoustic Scenes and Events, DCASE 2023)公布了比赛结果。西工大航海学院-迅声环境声音感知联合实验室(JLESS)算法团队再创佳绩。本次比赛由联合实验室主任陈建峰教授指导,博士生白吉生、贾亚飞、张董哲,硕士生尹涵、黄思维、杜雨桐参与。团队在任务4B:使用软标签的声音事件检测中,获得国际第一名的成绩;在任务2:用于机器状态监测的无监督异常声音检测中,获得国际第五名的成绩;在任务3:声音事件检测和定位中,获得国际第六名的成绩。

西北工业大学航海学院-迅声环境声音感知联合实验室(JLESS)成立于2021年9月,属于西北工业大学航海学院以及西安联丰迅声信息科技有限责任公司双方共建。实验室算法团队成员已连续6年参与DCASE挑战赛,在历届比赛中,实验室算法团队积极筹备,攻坚克难,取得了丰硕的成果,同时也积累了丰富的参赛经验,并多次斩获比赛前三甲。今年的冠军再次用实力证明了团队在智能音频技术领域的巨大优势。

“要攻坚克难、集智攻关,瞄准‘卡脖子’的关键核心技术难题”“站在攻坚克难最前沿”……党的十八大以来,习近平总书记在许多重要场合多次强调要“攻坚克难”,这展现的是能力素质,体现的是担当作为。勇于善于攻坚克难,正是做事创业必需的能力品质。

赛事简介 · DCASE 2023

由电气和电子工程师协会(IEEE)声学信号处理技术委员会(AASP)组织的DCASE已经开展到了第九届,本次挑战赛涵盖了声音场景分类、异常声音检测、声音事件识别及定位、声音事件检测、生物事件检测、音频字幕及检索和拟音合成多种任务。引起了国内外众多尖端声学研究界的广泛关注,包括三星、Meta、腾讯、科大讯飞等公司以及南洋理工大学、韩国科学技术院、清华大学、上海交通大学、中国科学技术大学等高校。

1、让机器聆听环境

声音事件检测(简称SED)是指从复杂的声学环境中自动识别和分类特定的声音事件,并给出这些事件实例的时间定位。

图1 SED系统概览

本次SED任务的赛道B的数据均是真实场景中录制,传统的强标注数据难以获取,该任务要求使用软标签对系统进行训练,极大地增加了比赛难度。

如何利用软标签进行高精度的声音事件检测?团队成员提出使用双分支模型结构,可同时使用软标签以及由软标签转换而来的硬标签进行训练,并提出注意力融合机制进行后端信息融合。同时,团队还提出基于声音场景先验信息对预测结果进行掩码,进一步提升了模型的性能。在不使用任何外部数据和预训练模型的情况下,团队提交的4个系统取得了前四名的优异成绩,并在主要指标F1MO分数上远超第五名8.71%。

本次声音事件检测和定位(简称SELD)任务的难点是需要对重叠率较高的声音事件及声源来波方向进行估计,繁杂的任务目标对模型参数量和带标记数据量提出了要求,本团队使用了基于CNN和Conformer的网络结构,结合空间数据增强方法,最终得到国际第六名的好成绩。

图2 SELD系统概览

2、让机器监听机器

机器故障自动检测(简称ASD)是人工智能领域的重要发展方向,利用机器声音及时检测机器异常对于优化和节约工业生产有重要意义。异常声音检测是识别目标机器发出的声音是正常还是异常的任务。图2显示了检测系统的概览。

图3 ASD系统概览

本次异常声音检测的难点是只能使用复杂工作环境下机器的正常声音建模,并且训练和测试的机器类型完全不同,这对模型的泛化性能提出了挑战。针对这一问题,团队成员提出了一种基于机器工作条件的数据生成技术进行无监督异常声音检测。在不使用模型集成和预训练模型的情况下,团队提交的系统取得了国际第五名的成绩。

3、AI算法落地 · 助力工业检测

算法团队还致力于促进智能音频算法在实际场景中的落地应用,制定基于空气声呐的标准化机器听觉解决方案。团队研发的相关空气声呐产品已成功应用于违法鸣笛抓拍、工业设备异常声音诊断等安防、电力、石化及煤炭多个领域。在第七届中国国际“互联网+”大学生创新创业大赛中,团队的异常声音检测系统获得总决赛金奖。在2023年中俄工业创新大赛中国赛区决赛中,团队的智能空气声呐声音监测系统获得中国赛区决赛一等奖。

“遂古之初,谁传道之?上下未形,何由考之?”科学最伟大的进步,来源于崭新与大胆的想像力。让机器拥有“听觉“,可以实现全新的人机交互方式,也可以解决众多领域的难题。未来,团队将致力于将智能机器将作为城市的耳朵,从听觉维度赋能各行各业,用科技倾听世界的声音。让科技引领生活,创新驱动发展。为城市赋力,为世界聚能!