生成式人工智能(AIGC)在文本和圖片生成方面已經取得了顯著進展。幾個月來，Dall-E、ChatGPT以及Stable Diffusion等服務創作了各種各樣的文字和圖片內容。現在，初創公司Runway AI正進入AIGC的下一個前沿領域——AI生成視頻。

當地時間周一，總部位于紐約的Runway宣布推出名為Gen 2的系統，該系統可以根據少量用戶提示生成簡短視頻。用戶可以輸入他們想要看到的視頻描述，例如“一只貓行走在雨中”，Runway的系統將據此生成大約3秒鐘的視頻片段。此外，用戶也可以上傳圖片作為系統參考或提示。

Runway是專注于制作AI電影和剪輯工具的公司，該公司宣布，現在并非所有人都能體驗Gen 2，但用戶可以提交申請。人們可以在Discord頻道上注冊并等待，該公司計劃每周都增加更多測試用戶。

不過，這次有限的發布代表了實驗室外文本轉視頻生成的最成功案例。谷歌和Meta去年都展示了他們自己的文本轉視頻努力，利用AI生成了泰迪熊洗碗和在湖上泛舟等視頻，但這兩家公司都沒有宣布將相關技術推進到研究階段以外的計劃。

自2018年以來，Runway始終致力于研發AI工具，并于去年年底籌集了5000萬美元資金。這家初創公司幫助創建了原始版本的Stable Diffusion，這是一種文本轉圖像AI模型，自推出以后大受歡迎，并由Stability AI公司進一步開發。

Runway聯合創始人兼首席執行官克里斯·瓦倫蘇拉(Cris Valenzuela)上周對Gen 2進行了現場演示，比如生成“無人機拍攝的沙漠景觀”。在幾分鐘內，Gen 2生成了只有幾秒鐘長的視頻，盡管畫面顯得有點扭曲，但不可否認的是，視頻非常像是無人機在沙漠上拍攝的片段。地平線上可以看到藍天和白云，視頻畫面右下角的太陽剛剛升起(也可能是落下)，其光線突出了下面的棕色沙丘。

Gen 2還根據提示生成了其他幾個視頻：一段眼球的特寫視頻看起來很清晰，非常像人類眼睛;但一段徒步旅行者穿過叢林的視頻顯示，它在生成逼真的腿部和行走動作方面可能仍然存在問題。瓦倫蘇拉說，這個模型還沒有完全“弄清楚”如何準確地描述物體的運動。

雖然更長的提示可能會幫助生成更詳細的圖像，比如Dall-E或Stable Diffusion，但瓦倫蘇拉說，Gen 2越簡單越好。他認為Gen 2為藝術家、設計師和電影制作人提供了新的工具，可以幫助他們完成創作過程，并讓這些工具的價格比過去更實惠，也更容易獲得。

Gen 2建立在Runway現有的、名為Gen 1的AI模型基礎之上，Runway于2月份開始在Discord上測試該模型。瓦倫蘇拉表示，Gen 1目前擁有數千名用戶。這種AI模型要求用戶上傳一段視頻作為輸入源，然后利用這段視頻(以及文本提示或圖片)來生成新的、無聲的3秒視頻。例如，你可以上傳一張貓追逐玩具的照片，并附上文字“可愛的鉤編風格”，Gen 1就會生成一段鉤編貓追逐玩具的視頻。

用Gen 2 AI模型生成的視頻也是無聲的，但瓦倫蘇拉稱，該公司正在研究音頻生成技術，希望最終能創造出一種既能產生圖像又能產生聲音的系統。

Gen 2的首次亮相表明，初創公司在AIGC領域取得的進展非常快。AIGC可以吸收用戶輸入并生成文本或圖像等新內容，其中Stable Diffusion、Open的圖像生成模型Dall-E和聊天機器人ChatGPT等系統，近幾個月來已經公開發布并受到歡迎。

但與此同時，它們的擴散也引發了法律和倫理方面的擔憂。數字取證專家、加州大學伯克利分校教授哈尼·法里德(Hany Farid)看了幾段由Gen 2生成的視頻，稱它們看起來“非常酷”，但他補充說，用這種技術制作的視頻遲早將被濫用。他斷言：“有些人會試圖用這種技術做壞事。”

Runway正在使用AI和人類控制相結合的方式來防止用戶使用Gen 2生成包含色情、暴力內容或侵犯版權的視頻，但這種方法并非總是有效。

與AI行業的其他領域一樣，文本轉視頻技術正在快速發展。雖然Gen 2目前的圖像質量看起來有點模糊、不太穩定，很容易讓人發現破綻，但瓦倫蘇拉預計它會很快改善。他說：“這套系統還處于早期階段。隨著時間的推移，它會變得越來越好。”