今天，World Labs 正式向所有人開放 Marble，這是一款首創(chuàng)的生成式多模態(tài)世界模型。

同時，Marble 的功能也大幅擴展，其中包括：

• 多模態(tài) Marble：能夠利用文本、圖像、視頻或粗略的 3D 布局創(chuàng)建 3D 世界；Marble 還允許用戶交互式地編輯、擴展和組合這些世界。生成的 3D 世界可以導出為高斯斑點、網(wǎng)格或視頻。

• Marble Labs：藝術家、工程師和設計師們將展示創(chuàng)意、真實的工作流程以及游戲、視覺特效、設計、機器人等領域的全新可能性。Marble Labs 還提供深入的案例研究、教程和文檔，為所有人提供學習、構建和分享他們自己的 3D 世界所需的工具。

Marble 世界模型

研究人員表示，世界模型應具有高度多模態(tài)性，能夠將任何可用的輸入信號提升到一個完整的三維世界中，并且能夠隨著新信息的出現(xiàn)而迭代更新其對世界的理解。

Marble 可以讓用戶根據(jù)簡單的圖像或文本提示快速創(chuàng)建完整的 3D 世界，也可以交互式地編輯 2D 和 3D 世界，將腦海中的世界構想變?yōu)楝F(xiàn)實。

Marble 可以根據(jù)單張圖片或簡短的文字提示創(chuàng)建完整的 3D 世界，生成各種場景類型和藝術風格的世界。圖像提示功能也讓 Marble 與其他 AI 工具的結合變得輕松便捷。

想要輕松創(chuàng)建更具創(chuàng)意控制力的世界，多圖像提示是一種簡單有效的方法。與文字或單圖提示不同，在文字或單圖提示中，Marble 必須自行想象提示中未提及的世界部分，而使用多圖提示，您可以控制生成的世界從不同角度呈現(xiàn)的樣貌。

Marble 還內(nèi)置了 AI 原生世界編輯工具。編輯可以很小很局部：移除一個物體，修飾一個區(qū)域。也可以很徹底：交換物體，改變視覺風格，或者重構世界的大片區(qū)域。

AI 工具 Chisel

World Labs 還推出了 Chisel ，這是一款 AI 原生工具，可以直接在 3D 中雕刻大理石世界。

Chisel 是一種面向高級用戶的全新實驗性編輯模式，用于創(chuàng)建 3D 世界。用戶可以使用粗略的 3D 形狀來布局 3D 世界的粗略結構，或者將現(xiàn)有的 3D 資源導入到場景中。

后續(xù)還可以添加文本提示來描述場景的視覺風格，或者添加粗略布局中未包含的其他元素。

Chisel 將結構與風格分離。粗略的 3D 場景決定了世界的結構，而文本提示則控制了其整體風格。兩者可以任意組合，為世界生成增添了全新的控制維度。

構建廣闊世界

世界生成后，Marble 允許一步式擴展，使其更大。用戶可以選擇要擴展的世界區(qū)域，Marble 將創(chuàng)建更多內(nèi)容來填充所選區(qū)域。

原本破碎成碎片的世界區(qū)域，在擴展后會變得清晰完整。擴展還可以用來為世界的特定區(qū)域添加細節(jié)。

使用 Marble 創(chuàng)建世界后，還可以選擇多種方式將其導出。

高斯粒子是模擬大理石世界最高精度的渲染方式。用戶可以使用 World Labs 與 THREE.js 集成的開源跨平臺渲染器 Spark，在瀏覽器中渲染高斯粒子。

Marble 世界也可以導出為兩種三角形網(wǎng)格：碰撞器網(wǎng)格和高質(zhì)量網(wǎng)格。將世界導出為網(wǎng)格后，它們可以與許多行業(yè)標準工具兼容。

Marble 還可以增強導出的視頻，增加細節(jié)、去除瑕疵，并為場景添加動態(tài)元素，同時保持像素級精準的相機控制，并符合生成的 3D 世界的結構。

World Labs 的相關人員表示，Marble 只是邁向空間智能征程中的一步。展望未來，交互性將是一個關鍵機遇。未來的世界模型將使人類和智能體能夠以全新的方式與生成的世界進行互動，從而在模擬、機器人等領域解鎖更多應用場景。

參考資料：

https://www.worldlabs.ai/blog/marble-world-model