“Adobe研究團隊推出VideoGigaGAN：透過AI模型將模糊影片提升至8倍清晰度”
Adobe的研究人員推出了VideoGigaGAN，一種生成型人工智慧模型，能將模糊的影片提升質量，變成畫質清晰且播放流暢的影片，畫質可增強高達8倍。
優秀的圖片高清器我們已經有了一陣子，但要製作出操盤的影片提升器厄倍困難。
影片超高解析度（VSR）是一種將影片的每一幀提高解析度和細節，再將這些畫面串接起來重現影片的過程。
要做好這一點，需要解決兩個矛盾的挑戰。目前的VSR結果不是影片流暢但模糊，就是影片清晰但出現閃爍的情況。
Adobe的VideoGigaGAN能夠將模糊的影片上採樣，製作出既具有時間一貫性（畫面過渡流暢）又具有高頻細節的影片。
以下是VideoGigaGAN能做到什麼的範例。
Adobe research推出VideoGigaGAN
它可以讓您增強影片的細節，並將其放大8倍。
論文在評論中
pic.twitter.com/7uEiU7bYqw
— Kris Kashtanova (@icreatelife) 2024年4月22日
就如同名稱所示，Adobe的方法是依賴GigaGAN，一種先進的對抗生成網絡（GAN）。
GANs非常擅長於上采样圖片，而GigaGAN在圖像超解析度方面是一員翹楚。那麼為什麼不簡單地在每一幀上使用GigaGAN來提升圖像，然後將它們都結合起來製作影片呢？
當Adobe的研究人員嘗試這麼做時，他們達到了出色的影片解析度，但結果的影片在時間上不一致且閃爍。
實驗中，在GigaGAN添加了時間捲積和注意層，解決了時間不一致的問題，但閃爍仍然是一個問題。
VideoGigaGAN通過分開處理每一幀的低頻和高頻元素來解決這個問題。
用來移除可能成為噪聲和閃爍來源的高頻細節，對低頻特徵圖進行平滑處理。
利用Skip連接，細節化的高頻元件可以通過跳過模型中的中間層來保留，否則在處理過程中會遺失。
您可以閱讀Adobe的論文中更多關於技術細節的信息。
在Adobe的GitHub上的展示非常的具有說服力。 Adobe並未暗示發布日期，但讓我們期待他們盡快讓我們使用。
想像一下這種工具可以為歷史存檔影片、經典電影，甚至是將你最喜歡的舊電視節目放大提交成高清質量。
這篇文章Adobe的VideoGigaGAN將模糊影片提升到8倍的清晰度首先出現在DailyAI上。
Adobe 研究人員發布了 VideoGigaGAN，這是一款可以將模糊視頻提升到高清晰度的生成式AI模型，使視頻畫質看起來銳利度提升達8倍。
我們已經有了非常好的圖像提升器，但要製作出一個好的視頻提升器，難度要成倍增加。
視頻超分辨率（VSR）是指將視頻的單獨幀進行提升分辨率和細節，然後將幀重新組合以重建視頻的過程。
好的超分辨率需解決兩個對立的挑戰。當前的 VSR 無法達到既清晰又流暢的視頻效果，要麼是模糊又流暢，要麼是清晰但卡頓。
Adobe 的 VideoGigaGAN 可在保持時間連貫性（順暢的幀過渡）的同時，提供高頻詳細信息的視頻。
以下是一個 VideoGigaGAN 能做什麼的示例。
Adobe research drops VideoGigaGAN
It allows you to upsample video by 8x with enhanced details.
Paper in comments
— Kris Kashtanova (@icreatelife) 2024年4月22日
正如名字所示，Adobe的方法依賴於 GigaGAN，這是一種先進的生成對抗網絡（GAN）。
GAN在提升圖像樣本上的表現出色，而 GigaGAN 是影像超分辨率領域中最好的工具之一。那麼為什麼不直接在每一幀上使用 GigaGAN 來提升圖像，然後再將所有提升後的圖像組合成視頻呢？
當 Adobe 的研究人員這樣做時，他們實現了極佳的視頻分辨率，但產生的視頻在時間上不連續且會閃爍。
在 GigaGAN 中增加了時間卷積和注意力層可以解決時間不連續的問題，但閃爍仍然是一個問題。
VideoGigaGAN通過在每一幀中分離低頻和高頻元素並分別處理以解決這一問題。
將低頻特徵地圖進行平滑處理以去除可能成為噪聲和閃爍的高頻細節。
使用 Skip 連接，高頻分量中的細節資訊將會被保留，這將通過跳過模型中間層以避免在處理中遺失。
你可以在 Adobe’s paper 中找到更多技術詳情。
Adobe 在 GitHub 上的演示 真的令人印象深刻。Adobe 尚未透露發布日期，但讓我們希望能早日看到它的推出。
想像一下，這樣的工具對於歷史存檔影片，經典電影，甚至將你最喜歡的老電視劇提升到高清晰度會有何種效果。
本文首發於 DailyAI，標題為 Adobe’s VideoGigaGAN upscales blurry video to look 8x sharper。
Adobe’s VideoGigaGAN upscales blurry video to look 8x sharper
（引文來源：完整新聞連結）
