一臺(tái)iPhone就能拍大片，攝影和建模師又要被卷了。互聯(lián)網(wǎng)+
導(dǎo)讀
最近國(guó)外有個(gè)博主發(fā)了一段非常酷炫的視頻。
最近國(guó)外有個(gè)博主發(fā)了一段非常酷炫的視頻。
最近國(guó)外有個(gè)博主發(fā)了一段非常酷炫的視頻。
視頻里，攝影鏡頭仿佛搭上了筋斗云，以各種不可思議的角度在車內(nèi)車外飛來(lái)飛去，汽車周邊的場(chǎng)景就像進(jìn)入了多元宇宙一般瞬間變換。。。
短短幾十秒的視頻，靠著這瘋狂的運(yùn)鏡，還有流暢的場(chǎng)景變換，竟收獲了超過(guò)40萬(wàn)的播放量。
而在評(píng)論區(qū)，圍觀群眾除了對(duì)這個(gè)視頻發(fā)出贊揚(yáng)之外，還有一些人對(duì)這個(gè)制作過(guò)程產(chǎn)生了好奇，開(kāi)始猜測(cè)這個(gè)視頻到底是怎么做出來(lái)的。
于是我拿著這個(gè)視頻去找了咱們公司的攝影師，問(wèn)他能不能也給咱也拍一個(gè)這類視頻？
結(jié)果，攝影師看了這個(gè)視頻，直呼不可能！
說(shuō)這個(gè)肯定是用了什么特效去做的，要么做了什么剪輯，你要是能在現(xiàn)實(shí)里直接拍出這種效果，他當(dāng)場(chǎng)辭職！這個(gè)攝影師干不了了。
確實(shí)啊，咱們?cè)倩仡^看看這個(gè)博主的推文，有提到這個(gè)視頻是采用一個(gè)叫做 NeRF 的最新技術(shù)制作的，并在文末@了一個(gè)叫 “ LumalabsAI ” 的賬號(hào)。
好家伙，這名字，看來(lái)又是 AI 整的活！
于是咱順著這個(gè)“LumalabsAI”的賬號(hào)，摸到了它的官網(wǎng)。
首先映入眼簾的，就是它們的宣傳視頻，有一說(shuō)一，這個(gè)宣傳視頻里的運(yùn)鏡，確實(shí)是有點(diǎn)那味了。
而所有的這些效果，都是由 LumalabsAI 開(kāi)發(fā)的一個(gè)叫做 “ LumaAI ” 的 APP 來(lái)做的。
在這款應(yīng)用的簡(jiǎn)介中，它是這么介紹自己的：
“Luma 是一種通過(guò) AI 使用 iPhone 創(chuàng)建令人難以置信的逼真 3D 的新方法。無(wú)論您身在何處，都可以輕松捕捉產(chǎn)品、物體、風(fēng)景和場(chǎng)景。從您的捕捉中創(chuàng)建電影產(chǎn)品視頻、TikTok 和現(xiàn)實(shí)中不可能的相機(jī)移動(dòng)，或者只是重溫那一刻。無(wú)需激光雷達(dá)或花哨的捕捉設(shè)備，您只需要一部 iPhone 11 或更新機(jī)型。”
簡(jiǎn)單來(lái)說(shuō)，就是只要你有一部蘋果 11 以上型號(hào)的手機(jī)，那你只需要給場(chǎng)景周圍拍一些照片，就能利用這個(gè) APP 生成拍照現(xiàn)場(chǎng)的 3D 場(chǎng)景。
看到這么簡(jiǎn)單，世超也有點(diǎn)心動(dòng)了，于是也立馬下載了一個(gè)來(lái)試試。
打開(kāi)應(yīng)用，對(duì)著箱子上的橘子一頓卡卡亂拍，不出幾分鐘，就生成了一個(gè)這樣的場(chǎng)景。
整個(gè)場(chǎng)景雖然在遠(yuǎn)處缺少照片信息的地方效果不大行，但是近處對(duì)焦部分，整個(gè)橘子和箱子的細(xì)節(jié)還是非常還原的。
在它的官網(wǎng)中還有很多用戶上傳的場(chǎng)景演示。
比如下面這個(gè)銅象畫面，如果不告訴你，很難發(fā)現(xiàn)這居然是一個(gè) 3D 場(chǎng)景。
因?yàn)樗粌H完美的還原了小象的細(xì)節(jié)，周圍的光照，陰影，甚至連透明玻璃的效果，都給完整復(fù)現(xiàn)了。
LumaAI 除了能還原銅像這種小場(chǎng)景外，它甚至還能給你還原使用航拍機(jī)拍攝的超大范圍場(chǎng)景。
比如就有用戶使用航拍機(jī)拍攝了一個(gè)小鎮(zhèn)的全景，然后使用 LumaAI 將這整個(gè)小鎮(zhèn) 3D 還原，看看這效果，就突出一個(gè)“真”。
使用 LumaAI 創(chuàng)建出這些 3D 場(chǎng)景后，接下來(lái)只需要把場(chǎng)景置入 3D 軟件，然后添加一個(gè)虛擬攝像機(jī)，剩下的效果呈現(xiàn)，就看這些創(chuàng)作者的創(chuàng)意啦。
就像這個(gè)油管博主，他為了滿足自己變大的愛(ài)好，生成了一個(gè)場(chǎng)景，然后把自己身體放大，做出了一個(gè)類似巨人入侵的特效。
除了重建 3D 場(chǎng)景外，LumaAI 還能對(duì)單個(gè) 3D 模型重建，比如通過(guò)拍照直接生成高達(dá)模型，再放到虛幻引擎里，整個(gè)場(chǎng)景瞬間就有了科技感。
這種建模方式相比傳統(tǒng)一點(diǎn)一線的建模方式，那可省了不少功夫。
其實(shí)像 LumaAI 這種做 3D 重建的軟件也不少，在 AppStore 里的 Polycam 就能通過(guò)蘋果自帶的雷達(dá)掃描，來(lái)估算距離和點(diǎn)云信息，從而重建出一個(gè) 3D 場(chǎng)景。
但 LumaAI 不僅不依賴?yán)走_(dá)掃描，效果還這么好。這其中離不開(kāi)這么一個(gè)技術(shù)，也就是開(kāi)頭那個(gè)博主提到的 NeRF（神經(jīng)網(wǎng)絡(luò)輻射場(chǎng)）。
這個(gè) NeRF 最早發(fā)布于 2020 年的 ECCV 會(huì)議，不但囊獲了當(dāng)年的最佳論文，還成功的以一己之力，開(kāi)啟了計(jì)算機(jī)視覺(jué)的另一個(gè)研究方向。
NeRF 的基本原理就是通過(guò)一大堆帶有位置信息的 2D 照片，來(lái)訓(xùn)練得出一個(gè)神經(jīng)輻射場(chǎng)模型。
通過(guò)這個(gè)模型，就能得出任意視角下的清晰照片，這也就意味著，你能通過(guò)這個(gè)訓(xùn)練好的模型，重建出 3D 場(chǎng)景了。
而且這個(gè)論文自發(fā)布后，以 NeRF 為基礎(chǔ)的各種分支方向的技術(shù)也如雨后春筍般冒了出來(lái)。
華盛頓大學(xué)和谷歌就聯(lián)合提出了 HumanNeRF，主要用于人體 3D 重建，
還有用于場(chǎng)景風(fēng)格遷移的 StylizedNeRF，通過(guò)拍攝照片，生成 3D 圖，然后再對(duì)整個(gè)場(chǎng)景風(fēng)格進(jìn)行轉(zhuǎn)換，變成自己想要的風(fēng)格。
還有東京大學(xué)提出的動(dòng)畫方向的 NeRF，這個(gè)項(xiàng)目就不單單是生成一個(gè)靜態(tài)的場(chǎng)景了，它甚至可以把運(yùn)動(dòng)的角色和物體都給你生成出來(lái)。
像這類的分支研究，已經(jīng)多到一篇文章寫不下來(lái)了，世超就不再這里一一展示了。
不過(guò)世超是巴不得 NeRF 這個(gè)方向的研究越來(lái)越卷，畢竟只需要通過(guò)照片就能生成一整個(gè)復(fù)雜的 3D 場(chǎng)景，這對(duì)于生產(chǎn)力解放的幫助可不要太大。
去年 Epic 收購(gòu)的公司 Capturingreality，它們的產(chǎn)品主打的就是通過(guò)照片來(lái)生成高精度模型。
這種只需要一部手機(jī)，就能把現(xiàn)實(shí)搬進(jìn)虛擬世界的技術(shù)，在未來(lái)，不僅僅是制作視頻的自由度更高。
游戲行業(yè)，工業(yè)場(chǎng)景，甚至是在線教育，都可能迎來(lái)翻天覆地的變化。
到時(shí)候，虛擬和現(xiàn)實(shí)，可就真的傻傻分不清楚了。
撰文：晚上吃早飯 編輯：江江&面線封面：萱萱
圖片、資料來(lái)源：
Why THIS is the Future of Imagery (and Nobody Knows it Yet)
Lumalabs.AI
capturingreality.com
StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
www.matthewtancik.com
于是我拿著這個(gè)視頻去找了咱們公司的攝影師，問(wèn)他能不能也給咱也拍一個(gè)這類視頻？
結(jié)果，攝影師看了這個(gè)視頻，直呼不可能！
說(shuō)這個(gè)肯定是用了什么特效去做的，要么做了什么剪輯，你要是能在現(xiàn)實(shí)里直接拍出這種效果，他當(dāng)場(chǎng)辭職！這個(gè)攝影師干不了了。
確實(shí)啊，咱們?cè)倩仡^看看這個(gè)博主的推文，有提到這個(gè)視頻是采用一個(gè)叫做 NeRF 的最新技術(shù)制作的，并在文末@了一個(gè)叫 “ LumalabsAI ” 的賬號(hào)。
好家伙，這名字，看來(lái)又是 AI 整的活！
于是咱順著這個(gè)“LumalabsAI”的賬號(hào)，摸到了它的官網(wǎng)。
首先映入眼簾的，就是它們的宣傳視頻，有一說(shuō)一，這個(gè)宣傳視頻里的運(yùn)鏡，確實(shí)是有點(diǎn)那味了。
而所有的這些效果，都是由 LumalabsAI 開(kāi)發(fā)的一個(gè)叫做 “ LumaAI ” 的 APP 來(lái)做的。
在這款應(yīng)用的簡(jiǎn)介中，它是這么介紹自己的：
“Luma 是一種通過(guò) AI 使用 iPhone 創(chuàng)建令人難以置信的逼真 3D 的新方法。無(wú)論您身在何處，都可以輕松捕捉產(chǎn)品、物體、風(fēng)景和場(chǎng)景。從您的捕捉中創(chuàng)建電影產(chǎn)品視頻、TikTok 和現(xiàn)實(shí)中不可能的相機(jī)移動(dòng)，或者只是重溫那一刻。無(wú)需激光雷達(dá)或花哨的捕捉設(shè)備，您只需要一部 iPhone 11 或更新機(jī)型。”
簡(jiǎn)單來(lái)說(shuō)，就是只要你有一部蘋果 11 以上型號(hào)的手機(jī)，那你只需要給場(chǎng)景周圍拍一些照片，就能利用這個(gè) APP 生成拍照現(xiàn)場(chǎng)的 3D 場(chǎng)景。
看到這么簡(jiǎn)單，世超也有點(diǎn)心動(dòng)了，于是也立馬下載了一個(gè)來(lái)試試。
打開(kāi)應(yīng)用，對(duì)著箱子上的橘子一頓卡卡亂拍，不出幾分鐘，就生成了一個(gè)這樣的場(chǎng)景。
整個(gè)場(chǎng)景雖然在遠(yuǎn)處缺少照片信息的地方效果不大行，但是近處對(duì)焦部分，整個(gè)橘子和箱子的細(xì)節(jié)還是非常還原的。
在它的官網(wǎng)中還有很多用戶上傳的場(chǎng)景演示。
比如下面這個(gè)銅象畫面，如果不告訴你，很難發(fā)現(xiàn)這居然是一個(gè) 3D 場(chǎng)景。
因?yàn)樗粌H完美的還原了小象的細(xì)節(jié)，周圍的光照，陰影，甚至連透明玻璃的效果，都給完整復(fù)現(xiàn)了。
LumaAI 除了能還原銅像這種小場(chǎng)景外，它甚至還能給你還原使用航拍機(jī)拍攝的超大范圍場(chǎng)景。
比如就有用戶使用航拍機(jī)拍攝了一個(gè)小鎮(zhèn)的全景，然后使用 LumaAI 將這整個(gè)小鎮(zhèn) 3D 還原，看看這效果，就突出一個(gè)“真”。
使用 LumaAI 創(chuàng)建出這些 3D 場(chǎng)景后，接下來(lái)只需要把場(chǎng)景置入 3D 軟件，然后添加一個(gè)虛擬攝像機(jī)，剩下的效果呈現(xiàn)，就看這些創(chuàng)作者的創(chuàng)意啦。
就像這個(gè)油管博主，他為了滿足自己變大的愛(ài)好，生成了一個(gè)場(chǎng)景，然后把自己身體放大，做出了一個(gè)類似巨人入侵的特效。
除了重建 3D 場(chǎng)景外，LumaAI 還能對(duì)單個(gè) 3D 模型重建，比如通過(guò)拍照直接生成高達(dá)模型，再放到虛幻引擎里，整個(gè)場(chǎng)景瞬間就有了科技感。
這種建模方式相比傳統(tǒng)一點(diǎn)一線的建模方式，那可省了不少功夫。
其實(shí)像 LumaAI 這種做 3D 重建的軟件也不少，在 AppStore 里的 Polycam 就能通過(guò)蘋果自帶的雷達(dá)掃描，來(lái)估算距離和點(diǎn)云信息，從而重建出一個(gè) 3D 場(chǎng)景。
但 LumaAI 不僅不依賴?yán)走_(dá)掃描，效果還這么好。這其中離不開(kāi)這么一個(gè)技術(shù)，也就是開(kāi)頭那個(gè)博主提到的 NeRF（神經(jīng)網(wǎng)絡(luò)輻射場(chǎng)）。
這個(gè) NeRF 最早發(fā)布于 2020 年的 ECCV 會(huì)議，不但囊獲了當(dāng)年的最佳論文，還成功的以一己之力，開(kāi)啟了計(jì)算機(jī)視覺(jué)的另一個(gè)研究方向。
NeRF 的基本原理就是通過(guò)一大堆帶有位置信息的 2D 照片，來(lái)訓(xùn)練得出一個(gè)神經(jīng)輻射場(chǎng)模型。
通過(guò)這個(gè)模型，就能得出任意視角下的清晰照片，這也就意味著，你能通過(guò)這個(gè)訓(xùn)練好的模型，重建出 3D 場(chǎng)景了。
而且這個(gè)論文自發(fā)布后，以 NeRF 為基礎(chǔ)的各種分支方向的技術(shù)也如雨后春筍般冒了出來(lái)。
華盛頓大學(xué)和谷歌就聯(lián)合提出了 HumanNeRF，主要用于人體 3D 重建，
還有用于場(chǎng)景風(fēng)格遷移的 StylizedNeRF，通過(guò)拍攝照片，生成 3D 圖，然后再對(duì)整個(gè)場(chǎng)景風(fēng)格進(jìn)行轉(zhuǎn)換，變成自己想要的風(fēng)格。
還有東京大學(xué)提出的動(dòng)畫方向的 NeRF，這個(gè)項(xiàng)目就不單單是生成一個(gè)靜態(tài)的場(chǎng)景了，它甚至可以把運(yùn)動(dòng)的角色和物體都給你生成出來(lái)。
像這類的分支研究，已經(jīng)多到一篇文章寫不下來(lái)了，世超就不再這里一一展示了。
不過(guò)世超是巴不得 NeRF 這個(gè)方向的研究越來(lái)越卷，畢竟只需要通過(guò)照片就能生成一整個(gè)復(fù)雜的 3D 場(chǎng)景，這對(duì)于生產(chǎn)力解放的幫助可不要太大。
去年 Epic 收購(gòu)的公司 Capturingreality，它們的產(chǎn)品主打的就是通過(guò)照片來(lái)生成高精度模型。
這種只需要一部手機(jī)，就能把現(xiàn)實(shí)搬進(jìn)虛擬世界的技術(shù)，在未來(lái)，不僅僅是制作視頻的自由度更高。
游戲行業(yè)，工業(yè)場(chǎng)景，甚至是在線教育，都可能迎來(lái)翻天覆地的變化。
到時(shí)候，虛擬和現(xiàn)實(shí)，可就真的傻傻分不清楚了。
撰文：晚上吃早飯 編輯：江江&面線封面：萱萱
圖片、資料來(lái)源：
Why THIS is the Future of Imagery (and Nobody Knows it Yet)
Lumalabs.AI
capturingreality.com
StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
www.matthewtancik.com
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會(huì)明確標(biāo)注作者和來(lái)源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請(qǐng)轉(zhuǎn)載時(shí)務(wù)必注明文章作者和"來(lái)源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控?zé)任；
3.作者投稿可能會(huì)經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
