跳到主要內容
:::

108.5.15超越時空限制的3D實境賞屋:智慧全景3D室內格局重建

日期:108年5月15日

發稿單位:工程技術研究發展司

聯絡人:張庭軒助理研究員

電話:(02)2737-7437

E-mail:tschang@nstc.gov.tw

在科技部「數位經濟技術創新研發與應用」專案計畫的支持下,iStaging愛實境股份有限公司與國立清華大學電機資訊學院進行產學合作,攜手完成「智慧全景3D重建」研究,並實際運用於iStaging愛實境所拍攝的大量全景影像,整合VR技術打造出不用到現場也能身臨其境的沉浸式實境賞屋體驗,讓看房服務從目前業界的全景遠端觀看升級到可在3D空間移動。對消費者和開發商都是一種革新,打破場域限制,突破了傳統線上看房的局限,讓消費者更快更完整地獲得房屋資訊優化購屋體驗,同時開發商和房仲也因為透過技術而提升商業效率。

隨著全景攝影機的普及化,全景影像可應用的商業模式逐漸被挖掘,從最早Google街景車拍攝的全景街景服務,到iStaging愛實境所提供基於一般手機拍攝室內全景圖的實境賞屋解決方案,許多國內外大型房屋仲介公司及平台(如永慶房屋、住商不動產、Zillow、Redfin等)開始導入遠端實境賞屋的服務,讓廣大的網路購屋族可以透過電腦瀏覽租房或買房的選擇,大幅增加物件的被觸及率,加快成交的過程。然而,各種類似的實境賞屋服務如雨後春筍般冒出來,其中最具備競爭力的技術在於如何讓全景賞屋跟實地看房一樣,透過3D空間感技術實現,不只消費者體驗提升,內容生成的過程和成本對開發商和仲介而言更是突破性的便利。

為因應此議題,iStaging愛實境與清華大學攜手合作,在科技部工程司「數位經濟技術創新研發與應用」專案計畫之架構下,共同執行「智慧全景3D重建」之研究;此研究最大技術亮點為:僅透過單張室內全景影像,運用創新機器學習技術,重建室內3D格局模型,並進一步結合VR技術,提供觀賞者近乎擬真的視覺沈浸感與立體空間感。有別於市面上的解決方案需要仰賴價格昂貴的光達(Lidar)測距設備來獲得室內的深度資訊,並透過大量的人力來完成室內格局的3D建模,該研究技術只需要1張全景圖,便可達到相同的賞屋品質,大幅度降低了人力與硬體成本,因此可擴展性佳,更容易導入市場,讓實境賞屋服務普及化。透過iStaging愛實境公司目前服務超過全球50個國家的房仲用戶的商業網絡,將此突破性的技術有效擴展至海外市場。

為增加系統於大量真實資料上的驗證,該計畫採用具業界規格的資料,由iStaging愛實境公司提供2500張室內全景圖片作為機器學習的訓練以及測試資料庫。跟目前最好的技術LayoutNet[1]相比,該計畫的技術提高了將近15%的準確度,且研究成果已獲電腦視覺的國際頂級會議錄取[2],預計今(2019)年6月赴美國加州在國際電腦視覺與圖形辨識研討會(CVPR)發表。

透過iStaging愛實境公司提供的大數據以及研究團隊開發的技術,此計畫的研究成果將看房服務全面升級到3D空間移動版本,期望後續的技術移轉可以被iStaging愛實境公司廣泛的應用在他們的產品上。

參考文獻

[1] C. Zou, A. Colburn, Q. Shan, and D. Hoiem. LayoutNet: Reconstructing the 3d room layout from a single rgb image. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.

[2] S-T Yang, F-E Wang, C-H Peng, P Wonka, M. Sun, and H-K Chu. DuLa-Net: A Dual-Projection Network for Estimating Room Layouts from a Single RGB Panorama. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019. https://cgv.cs.nthu.edu.tw/projects/dulanet

 

研究成果聯絡人

孫民副教授  國立清華大學電機工程學系

電話:(03)5731058     E-mail:sunmin@ee.nthu.edu.tw

朱宏國副教授  國立清華大學資訊工程學系

電話:(03)5731215     E-mail:hkchu@cs.nthu.edu.tw

 

更新日期 : 2019/05/15