最近，大眾對Sora生成視頻的創(chuàng)新表現(xiàn)深感震撼，不過目前所展示的Sora生成的視頻就跟早期的電影一樣，沒有聲音元素。文字、圖片、聲音和視頻作為字信息時代的四種主要載體，它們各自承擔著不同的信息傳遞任務，也互利共生，共同構(gòu)建了豐富的信息生態(tài)。

Sora生成視頻

AI音頻公司ElevenLabs公司為Sora經(jīng)典視頻完成了配音，并宣布將上線AI音效功能，用戶只需要輸入文字描述聲音的特征即可用AI生成配音。從完成配音的視頻來看，AI能夠生成與視頻內(nèi)容緊密匹配的聲音，環(huán)境音配合地恰到好處，用戶的視聽體驗更加豐富和完整，視頻的質(zhì)感也大幅提升。在視頻的結(jié)尾ElevenLabs還寫到，以上所有的配音全部由AI生成，沒有一點編輯痕跡，看來AI生成電影又更近了一步。

公開信息來看，這家成立僅兩年的AI音頻公司已經(jīng)宣布完成了8000萬美元的B輪融資，估值超過10億美元。ElevenLabs的主打產(chǎn)品是文生語音工具，用戶只需提供文本，ElevenLabs即可利用AI生成高度逼真的語音，可應用于視頻、游戲、有聲讀物等多個領(lǐng)域，去年3月，流媒體自動化服務Super-Hi-Fi就攜手ElevenLabs，使用AI配音技術(shù)為虛擬DJ配音，推出了全自動的「AI Radio」廣播服務。

AI配音技術(shù)

視頻到音頻的精準映射是AI技術(shù)在多媒體領(lǐng)域的一個重要挑戰(zhàn)，為了實現(xiàn)這一目標，AI系統(tǒng)需要具備物體識別、材質(zhì)理解、環(huán)境模擬、情感和語境理解等能力，當音、視頻內(nèi)容無縫融合，就能為觀眾提供更加真實、沉浸式的體驗。

Sora模型的出現(xiàn)已經(jīng)讓影視行業(yè)從業(yè)者倍感震撼，可以預見，隨著表現(xiàn)優(yōu)越的多模態(tài)大模型的出現(xiàn)，電影工業(yè)將面臨顛覆性的變革，諸多行業(yè)的工作模式也將發(fā)生改變。

首先，原本需要大量人力和時間投入的影視特效等工作，在多模態(tài)大模型的支持下，能夠以更高效的方式完成概念設(shè)計與美術(shù)設(shè)計，極大地縮短了創(chuàng)作周期，降低了制作成本。在技術(shù)的不斷迭代下，多模態(tài)大模型還可以實現(xiàn)從劇本創(chuàng)作、角色設(shè)計，到視頻合成、配音等環(huán)節(jié)的自動化，大幅縮短制作周期。

其次，多模態(tài)大模型將為影視創(chuàng)作帶來更多可能性。它可以幫助創(chuàng)作者實現(xiàn)天馬行空的創(chuàng)意，將各種奇特的視覺風格和場景呈現(xiàn)在觀眾面前。

此外，多模態(tài)大模型的出現(xiàn)也將對傳統(tǒng)職業(yè)產(chǎn)生影響，行業(yè)分工和職業(yè)定位可能會發(fā)生改變，例如編劇、導演、演員等會受到?jīng)_擊。長遠來看，在多模態(tài)大模型的影響下影視行業(yè)或許會催生新的工作崗位，如AI創(chuàng)意指導、智能影像優(yōu)化師等，并引導行業(yè)向更高層次的藝術(shù)和技術(shù)融合方向發(fā)展。

Sora模型的出現(xiàn)，為影視行業(yè)的變革拉開了序幕，而ElevenLabs公司為Sora視頻的配音，更是帶來了多模態(tài)的全新體驗，隨著AI技術(shù)的發(fā)展，多模態(tài)的融合也是未來的趨勢。ElevenLabs也可能會被open AI替代掉，下一次OpenAI發(fā)布新的多模態(tài)大模型時，不僅會給影視行業(yè)帶來顛覆性的變革，我們看到聽到的或許就不再是真實世界了。