Sora到底懂不懂物理世界 Sora需要克服哪些物理難點(diǎn)

OpenAI所發(fā)布的文生視頻模型Sora在最近幾天受到全世界的關(guān)注。Keras之父Francois Chollet、圖靈獎(jiǎng)的得主Yann LeCun等眾人針對(duì)Sora是不是物理引擎，甚至是不是世界模型展開了深入的探討。Sora和以往的模型不同，以往的模型只能生成幾秒鐘的視頻，而Sora卻能夠生成一段長(zhǎng)達(dá)60秒鐘的視頻。不僅能夠?qū)⒂脩粼赑rompt當(dāng)中所提出的要求全部了解，還能夠get到物、人在物理世界中的存在方式，以O(shè)penAI所發(fā)布的海盜船在咖啡杯中的纏斗為例，Sora想要使生成的效果看起來(lái)更加逼真，需要克服多個(gè)物理難點(diǎn)。

比例和規(guī)模的適合

首先要將海盜船的尺寸進(jìn)行縮小，讓其能夠在咖啡杯中纏斗，同時(shí)還要保持海盜船的結(jié)構(gòu)和細(xì)節(jié)，這是一個(gè)相當(dāng)大的挑戰(zhàn)。AI需要充分的對(duì)這些需求進(jìn)行理解，并且將這些對(duì)象在現(xiàn)實(shí)生活中的尺寸進(jìn)行調(diào)整，這樣才能夠在視覺(jué)上給人帶來(lái)合理的感覺(jué)。

流動(dòng)動(dòng)力學(xué)

咖啡杯中的咖啡對(duì)于海盜船的運(yùn)動(dòng)會(huì)產(chǎn)生一定的影響。AI模型可需要充分的將液體動(dòng)力學(xué)的效果模擬出來(lái)，包括濺水、船只移動(dòng)時(shí)液體的流動(dòng)、以及波浪等，這些在計(jì)算方面是相當(dāng)復(fù)雜的。

陰影和光線的處理

要使拍攝的場(chǎng)景看起來(lái)更加的真實(shí)，AI需要對(duì)光線如何照射在這個(gè)小型的場(chǎng)景當(dāng)中進(jìn)行精確的模擬，包括船只的陰影、透光效果、咖啡的反光等。

運(yùn)動(dòng)和動(dòng)畫的真實(shí)性

海盜船在咖啡杯中的運(yùn)動(dòng)需要與真實(shí)世界的物理規(guī)律相符合。也就是說(shuō)AI需要考慮到船體結(jié)構(gòu)在動(dòng)態(tài)環(huán)境中的形、碰撞、浮力、重力等多種因素。

Sora所生成的視頻效果雖然存在著一些瑕疵，但是已經(jīng)非常的成功了。從中可以充分的體現(xiàn)出Sora是懂得一些物理的。英偉達(dá)的一位高級(jí)研究科學(xué)家甚至稱Sora是一個(gè)使用數(shù)據(jù)驅(qū)動(dòng)的物理引擎。這個(gè)模擬器可以學(xué)習(xí)，甚至表示Sora是世界模型。