一幅逼真的云朵圖像生成視頻，上面寫著“SORA”;在一個華麗的歷史大廳里，一股巨大的浪潮達到頂峰，并開始崩散，兩個沖浪者抓住時機，巧妙地在海浪表面飛馳

擴展生成視頻

Sora不僅具備生成視頻的能力，更能在時間維度上實現(xiàn)向前或向后的無限擴展。以下三個視頻便是從同一生成視頻片段出發(fā)，逐步向后擴展的示例。盡管它們的起始部分各異，但結(jié)局卻出奇地一致。

視頻到視頻編輯

隨著擴散模型的發(fā)展，我們已經(jīng)開發(fā)出多種方法來編輯基于文本提示的圖像和視頻。在此，我們將其中一種名為SDEdit 32的技術應用于Sora。這項技術賦予了Sora轉(zhuǎn)換零拍攝輸入視頻風格和環(huán)境的能力，為視頻編輯領域帶來了革命性的變革。

視頻的無縫連接

更令人驚嘆的是，Sora還能在兩個截然不同的輸入視頻之間實現(xiàn)無縫過渡。通過逐漸插入技術，我們能夠在具有完全不同主題和場景構(gòu)圖的視頻之間創(chuàng)建出流暢自然的過渡效果。

圖片生成能力

Sora的出色能力不止于數(shù)據(jù)處理和分析，它現(xiàn)在還能生成圖像!這一創(chuàng)新功能的實現(xiàn)得益于一種獨特的算法，該算法在一個精確的時間范圍內(nèi)，巧妙地在空間網(wǎng)格中排列高斯噪聲補丁。

值得一提的是，Sora的圖像生成功能不僅限于特定大小的圖像。它可以根據(jù)用戶需求，生成可變大小的圖像，最高可達驚人的2048 × 2048分辨率。

圖注：一個女人在秋天的特寫肖像，每一個細節(jié)都被捕捉得淋漓盡致，淺景深的應用使得主體脫穎而出

圖注：充滿生機的珊瑚礁吸引了五顏六色的魚類和海洋生物

新的模擬能力

在大規(guī)模訓練過程中，我們發(fā)現(xiàn)視頻模型展現(xiàn)出了許多令人興奮的新能力。這些功能使得Sora能夠模擬現(xiàn)實世界中的人物、動物和環(huán)境等某些方面。值得注意的是，這些屬性的出現(xiàn)并沒有依賴于任何明確的3D建模、物體識別等歸納偏差，而是純粹通過模型的尺度擴展而自然涌現(xiàn)的。

3D一致性：在3D一致性方面，Sora能夠生成帶有動態(tài)攝像頭運動的視頻。隨著攝像頭的移動和旋轉(zhuǎn)，人物和場景元素在三維空間中始終保持一致的運動規(guī)律。

較長視頻的連貫性和對象持久性：視頻生成領域面對的一個重要挑戰(zhàn)就是，在生成的較長視頻中保持時空連貫性和一致性。Sora，雖然不總是，但經(jīng)常能夠有效地為短期和長期物體間的依賴關系建模。例如，在生成的視頻中，人物、動物和物體即使在被遮擋或離開畫面后，仍能被準確地保存和呈現(xiàn)。同樣地，Sora能夠在單個樣本中生成同一角色的多個鏡頭，并在整個視頻中保持其外觀的一致性。

與世界互動：Sora有時還能以簡單的方式模擬影響世界狀態(tài)的行為。例如，畫家可以在畫布上留下新的筆觸。隨著時間的推移，一個人吃漢堡時也能在上面留下咬痕。

模擬數(shù)字世界：Sora還能夠模擬人工過程，比如視頻游戲。它可以在高保真度渲染世界及其動態(tài)的同時，用基本策略控制《我的世界》中的玩家。這些功能都無需額外的訓練數(shù)據(jù)或調(diào)整模型參數(shù)，只需向Sora提示“我的世界”即可實現(xiàn)。

這些新能力表明，視頻模型的持續(xù)擴展為開發(fā)高性能的物理和數(shù)字世界模擬器提供了一條充滿希望的道路。通過模擬生活在這些世界中的物體、動物和人等實體，我們可以更深入地理解現(xiàn)實世界的運行規(guī)律，并開發(fā)出更加逼真、自然的視頻生成技術。

局限性與展望

盡管Sora在模擬能力方面已經(jīng)取得了顯著的進展，但它目前仍然存在許多局限性。例如，它不能準確地模擬許多基本相互作用的物理過程，如玻璃破碎等。此外，在某些交互場景中，比如吃東西時，Sora并不能總是產(chǎn)生正確的對象狀態(tài)變化。我們在發(fā)布頁面中列舉了模型的其他常見故障模式，包括在長時間樣本中發(fā)展的不一致性或某些對象不受控的出現(xiàn)等。

然而，我們相信隨著技術的不斷進步和創(chuàng)新，Sora所展現(xiàn)出的能力預示著視頻模型持續(xù)擴展的巨大潛力。未來，我們期待看到更加先進的視頻生成技術，能夠更準確地模擬現(xiàn)實世界中的各種現(xiàn)象和行為，并為我們帶來更加逼真、自然的視覺體驗。

02

圈內(nèi)人如何看Sora?

最后再來看看各位技術大牛和內(nèi)容行業(yè)從業(yè)者如何評價Sora?

馬斯克評OpenAI視頻模型：人類認賭服輸，但AI增強的人類將創(chuàng)造出最好作品

OpenAI周四發(fā)布了首個視頻生成模型Sora。馬斯克的前女友格萊姆斯發(fā)布了一連串帖子，討論這項新技術對電影以及更廣泛的藝術創(chuàng)作的影響。

馬斯克在其中一條帖子下回應稱：“AI增強的人類將在未來幾年里創(chuàng)造出最好的作品?！?

值得注意的是，馬斯克和格萊姆斯在過去大約半年時間里一直在就他們?nèi)齻€子女的撫養(yǎng)權(quán)問題對薄公堂。兩人之間在X平臺上這次罕見的互動引發(fā)了人們對他們目前關系狀態(tài)的猜測。

稍早，一位X用戶分享了Sora生成的一名女子在東京街頭漫步的視頻，并評論稱：“OpenAI今天宣布了Sora，它使用混合擴散和變壓器模型架構(gòu)生成長達1分鐘的視頻。他們似乎又領先了其他所有人1-2年?！绷硪晃籜用戶評論稱：“gg皮克斯?！?

馬斯克回應稱：“gg人類?！?注：gg是網(wǎng)絡游戲用語“good games”的縮寫，主要用于游戲結(jié)束后，輸贏雙方都可以用，但現(xiàn)在多由失敗方發(fā)出，表示認賭服輸、心服口服的意思。)在馬斯克帖子的評論區(qū)里，還有用戶附和道：“gg好萊塢”。

Jim Fan感嘆：Sora是一個數(shù)據(jù)驅(qū)動的物理引擎

英偉達人工智能研究院Jim Fan表示“如果你還是把Sora當做DALLE那樣的生成式玩具，還是好好想想吧，這是一個數(shù)據(jù)驅(qū)動的物理引擎。”Jim Fan大神的言下之意是，我們不能忽略Sora背后，“世界模型”更進一步，AI已經(jīng)可以讀懂物理規(guī)律。

YouTube大V ：動畫師和3D藝術家的工作可能有危險了

YouTube大V Paddy Galloway感慨：“內(nèi)容創(chuàng)作永遠改變了。這不是夸張。我在YouTube世界已經(jīng)15年了，OpenAI剛剛展示的東西讓我說不出話來…”他認為，Sora將帶來以下這些改變：

● 動畫師和3D藝術家的工作可能有危險了庫存素材網(wǎng)站將變得無關緊要

● 任何人都可以立即擁有出色的B-roll(輔助鏡頭)

● 制作精美視頻的門檻降至零

● 在一個每個人都能制作出美麗視頻的世界里，內(nèi)容背后的“想法”和故事變得更加重要

● Sora將真正顛覆教育、視頻論文和解說視頻的細分市場

AI創(chuàng)業(yè)公司創(chuàng)始人：五年之后，你將能夠生成完全沉浸式的世界，并實時體驗它們

Takeoff AI是專注于AI Tools的創(chuàng)業(yè)公司，它的創(chuàng)始人認為這一波OpenAI新技術的最大受益者可能是虛擬現(xiàn)實。“在兩周內(nèi)，我們連續(xù)有了蘋果的Vision Pro和OpenAI的Sora文本到視頻AI模型。五年之后，你將能夠生成完全沉浸式的世界，并實時體驗它們。Holodeck(應該是指今年火爆的掌機Steamdeck的虛擬現(xiàn)實版本)很快就要來了?！?

除了這些技術上的猜測和對產(chǎn)業(yè)影響的正面預測外，也有老反對派指出Sora的潛在問題不那么容易糾正。

Gary Marcus：Sora奇怪的物理故障可能不是數(shù)據(jù)中出現(xiàn)的

紐約大學教授Gary Marcus以其對AI領域的深刻見解和對現(xiàn)有技術的批判性思考而聞名，他的觀點和研究對AI社區(qū)產(chǎn)生了重要影響。他表示“Sora奇怪的物理故障(例如動物和人在人群中自發(fā)出現(xiàn)和消失)令人著迷：這些錯誤可能不是數(shù)據(jù)中出現(xiàn)的。這種小故障在某些方面類似于LLM“幻覺”，即從有損壓縮中(大致)解壓縮產(chǎn)生的偽影，而不是來自這個世界的東西?！?

而且這種錯誤在他看來是一種“與現(xiàn)實世界物理學的系統(tǒng)性偏差，可能很難糾正?！?

不過此刻最悲傷的應該是Google，今天本來拿來翻盤用的的Gemini1.5發(fā)布風頭完全被Sora壓過。作為AI界的汪峰，它對此沒有評論。