不要別的,只要科學

戴上這副眼鏡,啟動你的感知超能力


「你說什麼?聽不見!再說一遍!」在震耳欲聾的音樂節現場或者吵鬧的酒吧,我們和他人交往的唯一方式只能「貼近耳邊開吼」,此時此刻,真是恨不得有一個開關讓全世界都靜音,只讓對方開口說話。不過,這個夢想終於有可能變成現實了,載體卻是一副眼鏡。

FRL

最近,Facebook旗下的「Facebook現實實驗室」(簡稱FRL),公布了2項新突破:一種讓人在嘈雜環境中聽清楚自己想要的信息,同時調低背景噪音;另一種讓耳機裏的聲音保真度高到無法與現實世界的聲音區分開來。當這兩項神奇的技術被集成在一副可穿戴設備AR

人群中,只有你的聲音被傾聽

首先,這款AR眼鏡上有多個麥克風,可以捕捉佩戴者周圍的聲音,同時記錄他的頭部和眼鏡的運動模式,找出他最感興趣的聲音,並消除其他背景噪音。這樣即使在嘈雜的環境中,也可讓佩戴者清晰地聽到他想要的聲音。

佩戴FRL團隊AR眼鏡與麥克風的交談者

這是如何實現的呢?Facebook團隊采用的是名為「近場波束形成」的技術——麥克風按照一定的形狀和規則布置的陣列,即麥克風陣列,是對空間傳播信號進行采樣的裝置。根據聲源和麥克風陣列距離的遠近,聲場模型分為近場模型和遠場模型。

FRL內部的聲學實驗室

大多數的麥克風陣列語音增強方法,建立在聲源位於陣列遠場的假設基礎上。這種語音增強模型在大房間會議室中有比較好的應用,但如果房間較小,聲源和麥克風距離較近,這種語音增強模式性能就急劇下降。研究證明,在小房間混響條件下,近場波束形成技術可以有效抑制噪音、提高語音信號質量。

這種「感知超能力」(perceptual

另外,對普通人來講,長時間暴露在85分貝以上的噪聲水平下,可能導致聽力下降。只聽想要的聲音而降低背景噪音,延長耳朵的服役年限,年紀大了還能耳聰目明。

所聽即所見,給你一個真實的聲音世界

新冠疫情期間,在家辦公的上班族要想開會,就只能通過視頻會議平台,而這種方式依然讓人覺得有距離,不如面對面談話來得親切。Facebook另一項「音頻存在」(audio

要讓聲音「逼真」並不容易。當有人在你房間裏和你說話時,你的一只耳朵會比另一只耳朵先聽到聲音,每只耳朵聽到的音量也是不同的。聲音和你所處的環境也會有相互作用,比如聲音會從牆壁上反彈再進入耳朵。另外,耳朵的形狀也會微微改變每個人聽到的聲音。所有這些信號都告訴大腦聲源在哪裏。如果能准確地再現這個過程,就能高度複刻真實世界的聲音了。

要實現這個目標,就需要考慮每個人不同的耳朵形狀,獲得「頭相關變換函數」(HRTF),以實現個性化的音頻體驗。HRTF是一種聲音定位的處理技術,人類只有兩只耳朵,卻能從三個維度——距離、高度、前後兩側方位來定位聲音。HRTF是高度個人化的,但每個人到實驗室做一遍實驗獲取數據並不現實,因此研究團隊希望開發一種更方便的算法,只要有耳朵的照片就可以估算HRTF。

在FRL團隊的模擬試驗中,志願者很難區分聲音究竟是耳機裏傳出來的還是現實世界的,這種音頻模擬技術已經取得了一定成效。如果技術成熟,加上逼真的3D重建和共享虛擬空間,你可以和千裏之外的親朋好友親密互動,而不只限於現在的文字對話或者充滿距離感的視頻通話,或許異地戀的成功率都會提高!

給你一個私人訂制的融合世界

FRL介紹說,希望這副眼鏡能夠改變穿戴者感知外部世界的視覺和聽覺維度,呈現一個更加個性化定制,更加友好的外部環境,比如當你走進一家餐廳時,AR眼鏡就會自動識別你周圍發生的不同類型的事件:人們的對話,空調的噪音和餐具的叮當聲,然後為你做出智能決策。

AR眼睛加LiveMaps,你眼中的現實世界立刻會變得截然不同

不過Facebook的雄心不止於此,他們希望用AR眼鏡加上自己的AR增強實時地圖LiveMaps(可以把它看做一個三維實景版的穀歌地圖),打造一個全新的真假交織的世界。人們可以以全息圖的形式周遊世界,參觀新的地點,和遠方的家人吃飯。當孩子們路過一只小動物時,相關的信息會從動物旁邊彈出,讓孩子獲得更強的參與感。

遇到動物,相關信息就自動從它身邊彈出,LiveMaps可以幫助孩子更好地認知陌生的世界

這個美妙的圖景也同樣讓人不安,Facebook月活躍用戶人數已經接近30億,和微信一樣幾乎重塑人們的現實生活。而LiveMaps則是對物理世界的重構,對日常生活的滲透達到新的深度,這必然伴隨著大量收集數據的過程。Facebook在隱私上並未獲得多好的信任感,在處理用戶敏感信息方面麻煩不斷,面臨多場訴訟和國會質詢。為了更好的AR體驗,用戶願意讓渡多少隱私呢?

當然,等技術成熟也需要時間。Facebook的首席科學家對路透社表示,距離這款AR眼鏡徹底成熟,變成面向市場的可穿戴電子設備,還有大約5-10年的時間,不過光是想象,就已經讓人足夠激動。


熱門內容

友善連結