最近國外有個博主發(fā)了一段非常酷炫的視頻。

視頻里，攝影鏡頭仿佛搭上了筋斗云，以各種不可思議的角度在車內(nèi)車外飛來飛去，汽車周邊的場景就像進入了多元宇宙一般瞬間變換。。。

(相關(guān)資料圖)

短短幾十秒的視頻，靠著這瘋狂的運鏡，還有流暢的場景變換，竟收獲了超過 40 萬的播放量。

而在評論區(qū)，圍觀群眾除了對這個視頻發(fā)出贊揚之外，還有一些人對這個制作過程產(chǎn)生了好奇，開始猜測這個視頻到底是怎么做出來的。于是我拿著這個視頻去找了咱們公司的攝影師，問他能不能也給咱也拍一個這類視頻？

結(jié)果，攝影師看了這個視頻，直呼不可能！

說這個肯定是用了什么特效去做的，要么做了什么剪輯，你要是能在現(xiàn)實里直接拍出這種效果，他當場辭職！這個攝影師干不了了。

確實啊，咱們再回頭看看這個博主的推文，有提到這個視頻是采用一個叫做 NeRF 的最新技術(shù)制作的，并在文末 @了一個叫 " LumalabsAI " 的賬號。

好家伙，這名字，看來又是 AI 整的活！

于是咱順著這個 "LumalabsAI" 的賬號，摸到了它的官網(wǎng)。

首先映入眼簾的，就是它們的宣傳視頻，有一說一，這個宣傳視頻里的運鏡，確實是有點那味了。

而所有的這些效果，都是由 LumalabsAI 開發(fā)的一個叫做 " LumaAI " 的 APP 來做的。在這款應用的簡介中，它是這么介紹自己的：

"Luma 是一種通過 AI 使用 iPhone 創(chuàng)建令人難以置信的逼真 3D 的新方法。無論您身在何處，都可以輕松捕捉產(chǎn)品、物體、風景和場景。從您的捕捉中創(chuàng)建電影產(chǎn)品視頻、TikTok 和現(xiàn)實中不可能的相機移動，或者只是重溫那一刻。無需激光雷達或花哨的捕捉設備，您只需要一部 iPhone 11 或更新機型。"

簡單來說，就是只要你有一部蘋果 11 以上型號的手機，那你只需要給場景周圍拍一些照片，就能利用這個 APP 生成拍照現(xiàn)場的 3D 場景。

打開應用，對著箱子上的橘子一頓卡卡亂拍，不出幾分鐘，就生成了一個這樣的場景。整個場景雖然在遠處缺少照片信息的地方效果不大行，但是近處對焦部分，整個橘子和箱子的細節(jié)還是非常還原的。

在它的官網(wǎng)中還有很多用戶上傳的場景演示。

比如下面這個銅象畫面，如果不告訴你，很難發(fā)現(xiàn)這居然是一個 3D 場景。

因為它不僅完美的還原了小象的細節(jié)，周圍的光照，陰影，甚至連透明玻璃的效果，都給完整復現(xiàn)了。

LumaAI 除了能還原銅像這種小場景外，它甚至還能給你還原使用航拍機拍攝的超大范圍場景。

比如就有用戶使用航拍機拍攝了一個小鎮(zhèn)的全景，然后使用 LumaAI 將這整個小鎮(zhèn) 3D 還原，看看這效果，就突出一個 " 真 "。

使用 LumaAI 創(chuàng)建出這些 3D 場景后，接下來只需要把場景置入 3D 軟件，然后添加一個虛擬攝像機，剩下的效果呈現(xiàn)，就看這些創(chuàng)作者的創(chuàng)意啦。

就像這個油管博主，他為了滿足自己變大的愛好，生成了一個場景，然后把自己身體放大，做出了一個類似巨人入侵的特效。

除了重建 3D 場景外，LumaAI 還能對單個 3D 模型重建，比如通過拍照直接生成高達模型，再放到虛幻引擎里，整個場景瞬間就有了科技感。

這種建模方式相比傳統(tǒng)一點一線的建模方式，那可省了不少功夫。

其實像 LumaAI 這種做 3D 重建的軟件也不少，在 AppStore 里的 Polycam 就能通過蘋果自帶的雷達掃描，來估算距離和點云信息，從而重建出一個 3D 場景。但 LumaAI 不僅不依賴雷達掃描，效果還這么好。這其中離不開這么一個技術(shù)，也就是開頭那個博主提到的 NeRF（神經(jīng)網(wǎng)絡輻射場）。

這個 NeRF 最早發(fā)布于 2020 年的 ECCV 會議，不但囊獲了當年的最佳論文，還成功的以一己之力，開啟了計算機視覺的另一個研究方向。

NeRF 的基本原理就是通過一大堆帶有位置信息的 2D 照片，來訓練得出一個神經(jīng)輻射場模型。

通過這個模型，就能得出任意視角下的清晰照片，這也就意味著，你能通過這個訓練好的模型，重建出 3D 場景了。

而且這個論文自發(fā)布后，以 NeRF 為基礎的各種分支方向的技術(shù)也如雨后春筍般冒了出來。

華盛頓大學和谷歌就聯(lián)合提出了 HumanNeRF，主要用于人體 3D 重建，

還有用于場景風格遷移的 StylizedNeRF，通過拍攝照片，生成 3D 圖，然后再對整個場景風格進行轉(zhuǎn)換，變成自己想要的風格。還有東京大學提出的動畫方向的 NeRF，這個項目就不單單是生成一個靜態(tài)的場景了，它甚至可以把運動的角色和物體都給你生成出來。像這類的分支研究，已經(jīng)多到一篇文章寫不下來了，世超就不再這里一一展示了。不過世超是巴不得 NeRF 這個方向的研究越來越卷，畢竟只需要通過照片就能生成一整個復雜的 3D 場景，這對于生產(chǎn)力解放的幫助可不要太大。

去年 Epic 收購的公司 Capturingreality，它們的產(chǎn)品主打的就是通過照片來生成高精度模型。

這種只需要一部手機，就能把現(xiàn)實搬進虛擬世界的技術(shù)，在未來，不僅僅是制作視頻的自由度更高。

游戲行業(yè)，工業(yè)場景，甚至是在線教育，都可能迎來翻天覆地的變化。

到時候，虛擬和現(xiàn)實，可就真的傻傻分不清楚了。