美國華盛頓大學(xué)（University of Washington）Tuochao Chen, Malek Itani，Shyamnath Gollakota等提出了一種產(chǎn)生聲音氣泡的智能耳機(jī)系統(tǒng)。他們稱之為 Sound Bubble，能夠抑制 1-2 米虛擬氣泡之外的任何噪音，為內(nèi)部的平靜對話提供條件。相關(guān)研究工作以“Hearable devices with sound bubbles”為題發(fā)表于《Nature Electronics》。

人類聽覺系統(tǒng)在擁擠的環(huán)境中感知距離和區(qū)分說話人的能力有限。一種可以產(chǎn)生音泡的耳機(jī)技術(shù)，其中氣泡內(nèi)的所有揚(yáng)聲器都可以聽到，但氣泡外的揚(yáng)聲器和噪音被抑制，可以增強(qiáng)人類的聽覺。然而，開發(fā)此類技術(shù)具有挑戰(zhàn)性。

美國華盛頓大學(xué)Tuochao Chen等人提出的帶有內(nèi)置 AI 的特殊耳機(jī)，他們稱之為 Sound Bubble。能夠抑制 1-2 米虛擬氣泡之外的任何噪音，為內(nèi)部的平靜對話提供條件。

耳機(jī)技術(shù)。圖片來源：Nature Electronics （2024）

“人類并不擅長通過聲音感知距離，尤其是當(dāng)他們周圍有多個聲源時，”資深作者、華盛頓大學(xué) Paul G. Allen 計(jì)算機(jī)科學(xué)與工程學(xué)院教授 Shyam Gollakota 說。

“在嘈雜的餐廳等地方，我們關(guān)注附近人的能力可能會受到限制，因此到目前為止，在耳戴式設(shè)備上創(chuàng)建聲音氣泡是不可能的。我們的 AI 系統(tǒng)實(shí)際上可以學(xué)習(xí)房間中每個聲源的距離，并在 8 毫秒內(nèi)在助聽器本身上實(shí)時處理。

利用可聽戴設(shè)備，創(chuàng)建聲音氣泡

研究人員使用市售的降噪耳機(jī)創(chuàng)建了原型。他們在頭帶上貼了六個小麥克風(fēng)。該團(tuán)隊(duì)的神經(jīng)網(wǎng)絡(luò)在連接到耳機(jī)的小型板載嵌入式計(jì)算機(jī)上運(yùn)行，可跟蹤不同聲音何時到達(dá)每個麥克風(fēng)。

合成數(shù)據(jù)評估

“我們之前使用過一個智能揚(yáng)聲器系統(tǒng)，將麥克風(fēng)分散在桌子上，因?yàn)槲覀冋J(rèn)為麥克風(fēng)之間需要很長的距離才能提取有關(guān)聲音的距離信息，”Gollakota 說。

“但后來我們開始質(zhì)疑我們的假設(shè)。我們需要一個大的分離來創(chuàng)造這個 “聲音氣泡” 嗎？我們在這里表明的是，我們沒有。我們能夠只用耳機(jī)上的麥克風(fēng)實(shí)時完成，這真是令人驚訝。

合成數(shù)據(jù)評估

用于真實(shí)世界數(shù)據(jù)收集的機(jī)器人平臺

為了訓(xùn)練系統(tǒng)在不同環(huán)境中創(chuàng)建氣泡，研究人員需要一個在現(xiàn)實(shí)世界中收集的基于距離的聲音數(shù)據(jù)集，而該數(shù)據(jù)集不可用。為了收集這樣的數(shù)據(jù)集，他們將耳機(jī)戴在人體模型頭上。

真實(shí)世界評估

機(jī)器人平臺旋轉(zhuǎn)頭部，同時移動的揚(yáng)聲器播放來自不同距離的噪音。該團(tuán)隊(duì)使用人體模型系統(tǒng)以及 22 個不同室內(nèi)環(huán)境（包括辦公室和生活空間）中的人類用戶收集數(shù)據(jù)。

研究人員已經(jīng)確定該系統(tǒng)有效有幾個原因。首先，佩戴者的頭部會反射聲音，這有助于神經(jīng)網(wǎng)絡(luò)區(qū)分來自不同距離的聲音。其次，聲音（如人類語音）具有多個頻率，每個頻率在從源頭傳播時都會經(jīng)歷不同的階段。

研究人員認(rèn)為，該團(tuán)隊(duì)的 AI 算法正在比較每個頻率的相位，以確定任何聲源（例如，一個人在說話）的距離。

降噪耳機(jī)的端到端實(shí)時集成

像 Apple 的 AirPods Pro 2 這樣的耳機(jī)可以放大佩戴者面前人的聲音，同時減少一些背景噪音。但這些功能的工作原理是跟蹤頭部位置并放大來自特定方向的聲音，而不是測量距離。這意味著耳機(jī)無法同時放大多個揚(yáng)聲器，如果佩戴者將頭從目標(biāo)揚(yáng)聲器上移開，耳機(jī)就會失去功能，并且在減少來自揚(yáng)聲器方向的響亮聲音方面效果不佳。

該系統(tǒng)已經(jīng)過訓(xùn)練，只能在室內(nèi)工作，因?yàn)樵谑彝飧y獲得干凈的培訓(xùn)音頻。接下來，該團(tuán)隊(duì)正在努力使該技術(shù)在助聽器和降噪耳塞上發(fā)揮作用，這需要一種新的麥克風(fēng)定位策略。

文章鏈接：

https://www.nature.com/articles/s41928-024-01276-z