:::
:::
:::

打造有溫度的科技 聽說AI:基於AI的口語溝通輔助科技

發稿日期:111年11月23日
工程技術研究發展處 聯絡人:張庭軒助理研究員 電話:(02)2737-7437
Email:tschang@nstc.gov.tw

 

近年來由於人工智慧技術的大幅進步,在資通訊、生醫、金融、教育等諸多領域創造了許多革命性的成果,國家科學及技術委員會長期重視基礎研究發展,積極推動人工智慧等數位科技前瞻關鍵技術開發,包括應用於智慧醫療的AI關鍵技術開發,並鼓勵學界團隊、業界和醫界共同研究合作,開發數位化相關系統或產品,以落實產業與臨床之需求,以提升國內智慧醫療技術競爭力。在國家科學及技術委員會支持下,中央研究院資訊科技創新研究中心曹昱研究員團隊開發AI口語溝通輔助技術,利用AI技術協助口語溝通障礙者改善其生活品質,並提高其學習能力。


口語溝通可用來表達需求、和他人溝通情感、交換訊息和學習,一般而言,口語(spoken language)主要分為兩個部分:接受性語言(聽話)與表達性語言(説話)。順暢的口語溝通對於人類科技發展、情感交流、智慧傳承等方面發揮著至關重要的作用。中研院資創中心曹昱研究員長期深耕於深度學習與訊號處理,開發以人為中心的AI技術-基於AI的口語溝通輔助技術,以最新穎的AI技術為有口語溝通障礙的人們帶來一線“聲”機。


由於環境噪聲的頻繁發生,以及過度使用耳機,聽損的人數逐年升高,而聽損族群的年齡卻逐年下降。聽力損失會導致老年人與外界隔絕,間接造成失智問題,而學齡兒童聽力損失會降低學習效率。常見的環境噪音包含交通工具、社會環境和娛樂擴音設備等,常造成語音品質降低,進而影響語音應用體驗。對口語溝通障礙者來說,因為機能的不完全,環境躁音所造成的影響遠比正常人更強烈,為提升語音品質,曹昱研究員團隊提出基於深度學習的語音增強處理演算法,該演算法可應用在口語溝通障礙者對話時,有效消除環境噪音如附近的車聲、音樂等,降低訊號失真,讓口語溝通障礙者能較清楚聽到對方的聲音,以實現良好的口語溝通品質,同時提昇人與人、人與機器之間的溝通效率。


目前聽障者主要是透過聽覺輔具改善與外界的溝通,然而傳統聽覺輔具在有噪音的環境下,常無法得到理想的聲音品質及語音理解度。為提升聽覺輔器效益和提升溝通品質,曹昱研究員所帶領的研究團隊致力於將AI語音增強技術應用於聽覺輔具上,包括輔聽器、助聽器、人工電子耳,讓聽障人士不只「聽到」更是「聽懂」,降低聽障可能帶來的負面影響,並進一步改善聽損者學習能力和生活品質。至於口腔癌術後、電子喉、吶語症等構音異常患者,常因口腔動作不協調,造成發音錯誤和語音不清楚,導致溝通障礙和誤會,曹昱研究員團隊將數項基於AI為基礎的語音增強系統,透過手持裝置如手機,將構音異常患者不清楚的語音轉換為正確的語音發出,提升語音品質和理解度,協助構音異常患者進行表達與溝通,提高與其他人的溝通效率,進而改善人際互動和生活品質。


以上研究相關發表已超過50篇國際期刊論文及120篇國際研討會論文,並與日本、美國和義大利等研究機構進行跨國合作。同時,獲得國內外學者的高度肯定,獲得各種知名獎項,包括:TAAI 2012 Excellent Paper Award、APSIPA 2017 Poster Presentation Award、ROCLING 2017 Best Paper Award、中央研究院 2017 Career Development Award、2018 World Invention Innovation Contest (WiC) Gold Medal Award、2018-2021國家新創獎、2021 IEEE Signal Processing Society (SPS) Young Author Best Paper Award、2022未來科技獎。此外,曹昱研究團隊與仁寶電腦等四間廠商共同合作,將先進AI語音處理技術落地於溝通輔具產品開發,並實際應用於多媒體相關產品開發。上述研究成果在國內外學界、業界都受到高度重視。


相較於開發更高效的AI機器,曹昱研究團隊更著重於運用人工智慧來發展輔具,提供給需要幫助的口語溝通障礙者,讓人工智慧的進步對人類社會有實質上的助益,也讓科學研究更有溫度。

 

 

 

 

合影左起為國科會工程處郭箐副處長、國科會林廣宏主任秘書、中央研究院資訊科技創新研究中心曹昱研究員

合影左起為國科會工程處郭箐副處長、國科會林廣宏主任秘書、中央研究院資訊科技創新研究中心曹昱研究員

相關連結

AI-assistive Speech Chain
更新日期 : 2022/11/23