visionOS 2 在 Apple Vision Pro 的手部追蹤技術(shù)上實(shí)現(xiàn)了重大突破，并深化了頭顯對(duì)周圍環(huán)境的認(rèn)知。這些革新雖然未在 WWDC24 的主題演講中亮相，但蘋(píng)果工程師在隨后的線上開(kāi)發(fā)者會(huì)議上進(jìn)行了詳盡的闡釋。

本次更新中，visionOS 2 主要對(duì)手部追蹤系統(tǒng)進(jìn)行了兩大關(guān)鍵升級(jí)：刷新率和預(yù)測(cè)機(jī)制。

刷新率的大幅提升，從原先的 30Hz 躍升至 90Hz，顯著優(yōu)化了追蹤性能。這一進(jìn)步雖然僅針對(duì)整個(gè)延遲管道的一小部分（原先總延遲約為 127.7ms），但在最佳條件下，它成功地將手部追蹤的延遲最多減少了 22ms。

此外，為了應(yīng)對(duì)雙手在自由活動(dòng)過(guò)程中可能出現(xiàn)的遮擋或離開(kāi)傳感器視場(chǎng)等問(wèn)題，visionOS 2 為開(kāi)發(fā)者提供了預(yù)測(cè)功能作為選項(xiàng)。該功能允許系統(tǒng)在某些特定情況下預(yù)測(cè)用戶的手部姿態(tài)，從而確保追蹤的連續(xù)性和準(zhǔn)確性。然而，值得注意的是，啟用預(yù)測(cè)功能會(huì)引入一定的延遲。

蘋(píng)果建議，在需要將虛擬物體精準(zhǔn)置于手中的場(chǎng)景下啟用此功能，但在追求流暢線條的 3D 繪圖等應(yīng)用中則不推薦使用。

自推出以來(lái)，Vision Pro 就利用 LiDAR 傳感器為開(kāi)發(fā)者提供了持續(xù)更新的環(huán)境 3D 網(wǎng)格。而 visionOS 2 進(jìn)一步擴(kuò)展了此功能，引入了房間追蹤技術(shù)。

現(xiàn)在，系統(tǒng)能夠?yàn)殚_(kāi)發(fā)者呈現(xiàn)每個(gè)房間墻壁和地板的精確幾何形狀，甚至支持非矩形的墻面結(jié)構(gòu)。當(dāng)用戶進(jìn)入新房間時(shí)，系統(tǒng)會(huì)即時(shí)通知開(kāi)發(fā)者，并呈現(xiàn)僅適用于該房間的特定幾何圖形。這一創(chuàng)新為開(kāi)發(fā)者提供了豐富的應(yīng)用場(chǎng)景，例如，當(dāng)你步入臥室時(shí)，虛擬寵物可以熱情地迎接你。

除了房間追蹤外，visionOS 2 還在平面檢測(cè)方面取得了重要進(jìn)展。

與 visionOS 1 僅能檢測(cè)水平和垂直平面不同，visionOS 2 現(xiàn)在能夠識(shí)別傾斜平面。這一改進(jìn)使得 visionOS 的開(kāi)發(fā)者能夠創(chuàng)建更加智能、與物理環(huán)境深度融合的應(yīng)用，這些應(yīng)用能夠自適應(yīng)空間布局，并精準(zhǔn)錨定在現(xiàn)實(shí)世界的各種表面上。