FIND研究員：楊青翰 
在疫情及元宇宙發展帶動下，數位藝術、娛樂和行銷領域的體驗需求已從單純的數位虛擬化，進階至高度真實的情境互動，根據2023年數位內容產業報告與台灣文化創意產業發展年報指出，沉浸式互動體驗應用已成為發展趨勢。這類應用經常借助擴增實境（XR）和投影等技術，並結合人工智慧（AI）和其他數位技術來增強體驗的深度。在沉浸式體驗中，使用者不再是被動的觀眾，而是成為互動過程中的主角，他們可以與虛擬角色對話，改變環境中的元素，甚至參與到故事的發展中。這種深度的互動使得沉浸式體驗不僅是一種娛樂形式，更是一種強大的溝通工具，被廣泛應用於文化、教育、行銷等領域。
【沉浸式互動技術趨勢】
隨著AI技術的快速發展，生成式AI和AI影像動作辨識技術將成為推動沉浸式互動體驗的關鍵因素。透過科技疊加將兩種技術結合，使得打造更加動態和個性化的沉浸式體驗成為可能，從而帶來前所未有的沉浸感和參與度。
圖1：沉浸式互動投影
資料來源：好奇數字公司
【技術應用現況】
生成式AI是一種能夠根據輸入文字或圖像後生成獨特內容的技術，在沉浸式體驗中發揮著關鍵作用，它可以用來創建動態場景、生成互動對話，甚至塑造出獨一無二的虛擬角色，例如使用者進行互動時，生成式AI能夠根據使用者輸入的內容和當前情境進行即時生成反應，使得互動過程更加流暢和自然。
此外，生成式AI也可以根據使用者的行為動態調整環境的外觀和氛圍，生成獨特的視覺效果和音效，從而打造高度個性化和動態的沉浸式體驗。因此，場景、互動對話和虛擬角色生成的即時性，成為沉浸式體驗中不可忽視的關鍵因素。
在2023年底，UC Berkeley、日本築波大學和麻省理工學院聯合發佈了一個名為StreamDiffusion的開源專案。該專案基於LCM和SDXL Turbo技術，能夠每秒生成110張圖像，其技術創新點在於將傳統的去噪順序處理轉變為Pipeline-Level去噪處理，進而消除了長時間等待，顯著增強了性能。
此外，該專案還透過高效的批次處理、指導機制優化、過濾技術等多種手段，實現流暢且具有超高throughput的圖像生成服務，這項技術可實現在即時繪圖和即時直播領域，成為即時生成式AI導入沉浸式互動體驗的關鍵技術。
圖2：一秒生成100張圖範例
資料來源：StreamDiffusion Github
在提升沉浸式體驗的真實感和互動性方面，AI影像動作辨識技術也扮演著重要的角色。這項技術能夠即時辨識使用者的肢體動作和行為，並透過使用者肢體動作來控制環境中的元素，將其轉換為虛擬環境中的相應變化，例如：揮動手臂來掀起風、踩在地板上改變地形，或是轉動身體來探索不同的視角。這些互動方式不僅使體驗更加直觀和身臨其境，還讓使用者與虛擬世界的連結深層化。
圖3：地面投影結合動作辨識
資料來源：LUMINVISION公司
【應用效益評析】
科技疊加生成式AI與AI影像動作辨識技術，為沉浸式互動體驗帶來了多重效益，除了大大地提升體驗的個性化程度外，AI影像動作辨識技術亦增強互動的真實感，使得使用者能夠更加自然地與虛擬環境或虛擬角色進行互動。這種真實感不僅提升沉浸式體驗的整體品質，還能讓使用者更深入地投入其中，進而延長體驗的持續時間和增強其影響力。
此外，這兩種技術的應用還能大幅降低創作沉浸式體驗的成本和時間。生成式AI技術能夠自動生成大量內容，無需人工介入，進而減少內容創作的成本；而AI影像動作辨識技術則能自動捕捉和處理使用者的動作和表情，避免了傳統（穿戴式）動作辨識技術中所需的複雜且昂貴的設備和後期處理。
總結來說，生成式AI和AI影像動作辨識技術在沉浸式互動體驗中的應用，不僅提升使用者體驗的沉浸感和參與度，還帶來了巨大的創新空間和經濟效益。隨著這些技術的進一步發展，我們可以預見，未來的沉浸式體驗將變得更加多元、豐富和充滿創意，為各行各業帶來無限的可能性。
封面圖片來源：https://www.teamlab.art/zh-hant/w/flowersandpeople/
參考資料來源：
1.好奇數字—沉浸式互動投影：http://www.haoqishuzi.com/products/cjs/348.html
2.StreamDiffusion Github：https://github.com/cumulo-autumn/StreamDiffusion
3.LUMINVISION—地面互動投影：https://luminvision.com/interactive-floor-projection/
沒有留言:
張貼留言