让机器学会聆听:MIT 教授 Paris Smaragdis 的机器听觉研究
摘要
MIT 教授 Paris Smaragdis 致力于机器听觉研究,希望让机器在声音的感知与理解上超越人类,文章同时勾勒了他的研究版图与音乐出身的学术路径。
核心要点
- Smaragdis 在 MIT 同时任职于人文社科学院的音乐与戏剧艺术项目、工程学院电子工程与计算机科学系及施瓦茨曼计算学院,并于 2025 年加入 MIT。
- 其课题组聚焦三类问题:面向声源分离的机器学习、可增强人类听觉环境的智能设备,以及帮助人们理解、操纵、分析和创作音乐的工具。
- 他设想的目标场景包括:通过识别轮胎尖啸与金属碰撞声快速定位交通事故,以及在地热钻井中判断钻头何时可能损坏。
- 他把自己的研究类比为计算机视觉:'计算机视觉同行做的事,只不过我的对象是听觉',即用视觉领域的范式迁移到声音感知。
- 个人路径上,他出生于希腊,幼年学古典吉他,因父亲带回的合成器转向电子声音创作,后就读伯克利音乐学院并主修贝斯,与导师 Richard Boulanger 一起开发新工具。
原文佐证
- “I like to say that I do the same thing the computer vision folks do, but instead I do it for hearing,” says Smaragdis
- A machine with super-human hearing could rapidly pinpoint the location of a traffic accident by listening for squealing tires and crunching metal, or identify when an industrial drill might break while it is boring through dense bedrock to dig a geothermal well.
AI 洞察
相比视觉,声音感知长期是 AI 感知研究中被低估的一支,但在工业设备监测、具身智能与城市感知等场景里,音频往往是成本最低、最早可得的故障与事件信号。这类“超人类听觉”若成熟,可能先在高价值工业运维与安全监测落地,而非消费级产品。它也提示多模态模型下一步的差异化竞争点,可能在于对非语音声音的理解深度。