索尼前沿虛擬制作技術(shù)讓經(jīng)典芭蕾舞劇《天鵝湖》再煥生機(jī)

索尼PCL的創(chuàng)意設(shè)施“清澄白河BASE”，是一個充分活用索尼技術(shù)的視頻制作工作室。近日，該工作室制作了一部基于經(jīng)典芭蕾舞劇《天鵝湖》的短片，并將其發(fā)布在索尼官方社交平臺上。我們與負(fù)責(zé)策劃和制作這部視頻的團(tuán)隊進(jìn)行了對話，了解了這部作品背后的創(chuàng)作過程。

? 索尼前沿技術(shù)應(yīng)用于經(jīng)典芭蕾舞劇《天鵝湖》
? 受藝術(shù)家反饋啟發(fā)的實時摳像技術(shù)開發(fā)
? 技術(shù)帶來嶄新的現(xiàn)場溝通方式
? 在清澄白河BASE，貼近創(chuàng)作者，實現(xiàn)他們的創(chuàng)作愿景

菅野尚子（右），索尼公司技術(shù)研發(fā)實驗室內(nèi)容技術(shù)研發(fā)本部空間影像技術(shù)開發(fā)部；
大賀英資（左），索尼PCL視覺解決方案本部內(nèi)容創(chuàng)作部

在這部短片中，芭蕾舞者們在平靜的、霧氣彌漫的湖邊模仿天鵝的動作，優(yōu)雅地同步舞動，四周環(huán)繞著茂密的森林。觀眾可能會好奇，傳統(tǒng)的芭蕾舞是如何在這樣自然開闊的環(huán)境中上演的。事實上，整部影片是在清澄白河BASE的虛擬制作影棚內(nèi)拍攝的。

虛擬制作（VP）是一種電影拍攝方法，它將虛擬場景投射到LED屏幕上，并同時拍攝前方的真實演員或物體，實時合成真實與虛擬的畫面。參與該項目的工程師菅野久子解釋道：“索尼的許多新技術(shù)被應(yīng)用于打破現(xiàn)實與虛擬之間的界限中，使最終的作品看起來更加真實?！?/div>

索尼前沿技術(shù)應(yīng)用于經(jīng)典芭蕾舞劇《天鵝湖》

導(dǎo)演大賀英資表示，制作基于《天鵝湖》的電影靈感來源于他在百老匯以及其他舞臺劇中看到的前沿技術(shù)應(yīng)用。

“我們將這次挑戰(zhàn)看作展示清澄白河BASE在視頻制作方面的技術(shù)水平的一種方式，同時也看看如何通過虛擬制作（VP）和體積捕捉等技術(shù)，將大家熟知的傳統(tǒng)舞臺劇轉(zhuǎn)變?yōu)橐环N新形式。”

推遠(yuǎn)的鏡頭（使用體積捕捉技術(shù)）

拉近的鏡頭（使用虛擬制作技術(shù)）

索尼對這場演出制作進(jìn)行了特別規(guī)劃，將影像技術(shù)融入表演的每個元素。例如，在一個奇幻鏡頭（如上所示）中，攝像機(jī)聚焦于穿越霧靄的舞者。大賀解釋道：“我們希望在攝像機(jī)穿過晨霧時，從使用體積捕捉技術(shù)拍攝的3D CG舞者切換到在LED屏幕前跳舞的真人舞者，達(dá)到一種自然的效果?！?/div>

體積捕捉技術(shù)通過在影棚天花板和墻壁上安裝超過100個攝像機(jī)，從多個角度捕捉對象，并將圖像轉(zhuǎn)換為3D數(shù)字?jǐn)?shù)據(jù)，從而實現(xiàn)高質(zhì)量的3D CG影像重現(xiàn)。與傳統(tǒng)技術(shù)不同的是，這項技術(shù)能夠自由地呈現(xiàn)那些未被攝像機(jī)直接捕捉的視角。

大賀說：“在拍攝這個場景時，我希望將攝像機(jī)的運動設(shè)計得盡可能宏大和廣闊，以展示舞臺上無法實現(xiàn)的縱深感?！绷硪环矫?，如果攝像機(jī)的運動幅度過大，虛擬制作需要的LED屏幕就無法覆蓋整個背景圖像。因此，需要插入使用體積捕捉技術(shù)生成的舞者的3D CG影像，以實現(xiàn)逼真的視覺效果。

清澄白河BASE的VP影棚（左）和體積捕捉影棚（右）

體積捕捉影棚于2022年安裝在VP影棚旁邊，2023年VP影棚得到了升級，增加了擴(kuò)展的LED屏幕等

菅野表示：“清澄白河BASE是少數(shù)幾個VP影棚和體積捕捉影棚位于同一樓層、緊鄰而設(shè)的工作室之一?！边@種優(yōu)勢也在《天鵝湖》的拍攝中得到了充分利用。

點擊查看視頻信息 >>

受藝術(shù)家反饋啟發(fā)的實時摳像技術(shù)開發(fā)

除了VP和體積捕捉技術(shù)之外，這部短片還融合了索尼的新技術(shù)——實時摳像（Live Keying）。這種技術(shù)廣泛應(yīng)用于現(xiàn)場音樂會舞臺制作中，能夠?qū)崟r隔離圖像中的物體，并將其即時顯示在背景LED屏幕上，無論是在影棚還是舞臺上。

傳統(tǒng)的視頻處理技術(shù)在背景圖像發(fā)生劇烈變化或主體大幅移動的情況下，通常難以準(zhǔn)確提取人物輪廓。然而，索尼的實時摳像技術(shù)通過索尼的特殊傳感器，使這一目標(biāo)成為可能。

作為該技術(shù)開發(fā)者之一，菅野強(qiáng)調(diào)：“實時摳像技術(shù)特別適合用于背景圖像生動變化的VP制作?！?/div>

通過使用實時摳像技術(shù)，舞者在LED屏幕前表演的視覺數(shù)據(jù)被實時捕捉并投射攝到屏幕上

開發(fā)這一技術(shù)的動力來自菅野收到的一位藝術(shù)家的需求。她工作的一部分就是陪同藝術(shù)家前往演出現(xiàn)場，為演唱會提供技術(shù)支持，她經(jīng)常在現(xiàn)場收到藝術(shù)家和工作人員的反饋和要求?！霸谂啪毱陂g，我聽到一位藝術(shù)家隨口提到，‘如果能做到像實時摳像技術(shù)那樣的效果就好了’，這讓我開始了這項技術(shù)的研發(fā)?！?/div>

菅野解釋說，將這項技術(shù)融入《天鵝湖》視頻制作的決定，源于她希望“更多的現(xiàn)場音樂表演能使用實時摳像技術(shù)，并且希望增加更多將該技術(shù)與VP共同使用的案例。

技術(shù)帶來嶄新的現(xiàn)場溝通方式

在視頻制作中，所有參與拍攝的工作人員需要共享導(dǎo)演所構(gòu)想的視覺圖像。

大賀表示，在這次制作中使用VP技術(shù)，也讓他能夠輕松地將自己的創(chuàng)作構(gòu)想實時傳達(dá)給舞者。“在傳統(tǒng)情況下，當(dāng)我們計劃在背景中使用CG圖像*時，需要使用綠幕拍攝。然而，使用LED屏幕實時顯示背景圖像，演員更容易直觀地理解場景內(nèi)容，也有助于他們更好地進(jìn)入角色?！?/div>

大賀表示，許多舞者評論說，使用這種技術(shù)幫助他們更好地完成了表演。

在CG拍攝中，經(jīng)常提到的困難之一就是燈光調(diào)整。在視頻編輯過程中，必須將現(xiàn)實拍攝的圖像與CG圖像的光線角度和亮度進(jìn)行匹配，以實現(xiàn)畫面的一致。然而，由于負(fù)責(zé)拍攝的工作人員不一定熟悉CG，往往需要花費大量時間調(diào)整真實圖像和CG圖像的燈光。

大賀解釋道：“即使我們改變舞者的燈光，實時摳像技術(shù)也能讓我們將舞者的圖像實時投射到背景的LED屏幕上。這減少了CG后期處理的需求，并大大提高了效率?！?/div>

在清澄白河BASE，貼近創(chuàng)作者，實現(xiàn)他們的創(chuàng)作愿景

雖然這些前沿技術(shù)減少了拍攝的障礙，大賀回憶道，他也感受到了因高度自由而帶來的不知所措。“我能夠在現(xiàn)場和技術(shù)開發(fā)人員討論拍攝中的各種困難，讓我們能夠巧妙地使用技術(shù)來實現(xiàn)我設(shè)想的畫面效果?！彼a(bǔ)充道：“這是只有索尼才能承擔(dān)的項目?！?/div>

對于菅野來說，她從工程師的角度表達(dá)了自己的熱情：“我希望繼續(xù)通過直臨現(xiàn)場，直接聽取創(chuàng)作者的聲音，提供有助于創(chuàng)作的技術(shù)?！?/div>

展望未來，大賀表示：“我愿意將與公司外部創(chuàng)作者合作視頻制作時獲得的經(jīng)驗，用來與索尼的工程師一起在清澄白河BASE開發(fā)更好的解決方案?！?/div>