以相機(jī)為例，雖然它是2D傳感器，但如果想辦法在相機(jī)鏡頭后加個(gè)數(shù)字微鏡器件測(cè)量設(shè)備 （Digital Micromirror Devices，DMD，這是一種能精確地控制光源的器件），就有辦法使普通的相機(jī)對(duì)高維數(shù)據(jù)進(jìn)行降維測(cè)量，得到簡易的的2D數(shù)據(jù)，再還原出高維3D的視覺信號(hào)

　　以相機(jī)為例，雖然它是2D傳感器，但如果想辦法在相機(jī)鏡頭后加個(gè)數(shù)字微鏡器件測(cè)量設(shè)備 （Digital Micromirror Devices，DMD，這是一種能精確地控制光源的器件），就有辦法使普通的相機(jī)對(duì)高維數(shù)據(jù)進(jìn)行降維測(cè)量，得到簡易的的2D數(shù)據(jù)，再還原出高維3D的視覺信號(hào)。

　　當(dāng)我們想拍攝高速運(yùn)動(dòng)的物體時(shí)，只要給普通相機(jī)加上這個(gè)數(shù)字微鏡器件，它就會(huì)沿時(shí)間維度壓縮視頻信號(hào)，每拍到一張照片就能還原出來幾幀甚至幾十幀照片（也就是還原出來一段視頻）。

　　假設(shè)我們給數(shù)字微鏡器件預(yù)設(shè)的壓縮率是10，那么電腦一體機(jī)家用，現(xiàn)在拍一張照片就能還原出來10張照片（或者說是一段包含了10幀照片的視頻），而相機(jī)的幀率也直接翻了10倍，變成一秒能拍300張照片電腦一體機(jī)家用。

　　隨著深度學(xué)習(xí)發(fā)展，各種重建算法也都被提了出來，然而這些算法重建信號(hào)的準(zhǔn)確性和穩(wěn)定性仍然不夠好。

　　為此，來自港大、中科院和西湖大學(xué)的研究人員，提出了一種用于視頻快照壓縮成像的Deep Equilibrium Models（DEQ）方法，目前已被AAAI 2023收錄：

　　算法在訓(xùn)練和測(cè)試中只需要常數(shù)級(jí)內(nèi)存，即：在使用深度學(xué)習(xí)時(shí)，它所消耗的內(nèi)存空間不隨網(wǎng)絡(luò)深度變化（而在使用傳統(tǒng)優(yōu)化方法時(shí)，它所消耗的內(nèi)存空間不隨迭代次數(shù)變化）。

　　受益于新穎光學(xué)硬件和成像算法的設(shè)計(jì)，快照壓縮成像（Snapshot Compressive Imaging, SCI）系統(tǒng)可以在一次快照測(cè)量中電腦一體機(jī)家用，將高維數(shù)據(jù)作為二維測(cè)量進(jìn)行采樣， 從而實(shí)現(xiàn)高效地獲取高維視覺信號(hào)。

　　以拍攝視頻為例，通過硬件編碼，SCI系統(tǒng)對(duì)視頻數(shù)據(jù)進(jìn)行采樣，在時(shí)間維度上壓縮；此后，采用算法來重建原始的高維視頻數(shù)據(jù)。

　　這里考慮視頻SCI系統(tǒng)，如視頻1所示，視頻上半部分展示的是SCI系統(tǒng)硬件部分得到的壓縮測(cè)量電腦一體機(jī)家用，視頻下半部分是使用該論文提出的算法恢復(fù)出來的視頻結(jié)果。

　　△視頻1. 六個(gè)經(jīng)典數(shù)據(jù)集的壓縮測(cè)量（第一行），和使用該論文算法恢復(fù)出來的視頻結(jié)果（第二行）

　　而隨著深度學(xué)習(xí)的發(fā)展，端到端的深度網(wǎng)絡(luò)（b）和unfolding方法（c）雖然能提高性能，但不可避免地隨著層網(wǎng)絡(luò)深度的增加而遭受不斷增長的內(nèi)存占用需求，并且需要精心地設(shè)計(jì)模型。

　　即插即用（PnP）框架（d）雖然享受數(shù)據(jù)驅(qū)動(dòng)正則化和靈活迭代優(yōu)化的優(yōu)點(diǎn)，但是這種算法必須通過適當(dāng)?shù)膮?shù)設(shè)置來保證準(zhǔn)確的結(jié)果，甚至需要采用一些復(fù)雜的策略來獲得令人滿意的性能。

　　相比于其他方法，論文提出了新算法DE-RNN和DE-GAP，來保證重建結(jié)果的準(zhǔn)確性和穩(wěn)定性，其重建結(jié)果的性能可以收斂到一個(gè)較高水平，如圖3所示：

　　如圖4所示，DEQ模型可以通過牛頓迭代法等求根方法，在前向傳播和反向傳播的過程中直接求解出不動(dòng)點(diǎn)，從而僅使用常數(shù)級(jí)內(nèi)存就等效實(shí)現(xiàn)了無窮深網(wǎng)絡(luò)：

　　效果也非常不錯(cuò)，RNN相當(dāng)于僅使用常數(shù)級(jí)內(nèi)存實(shí)現(xiàn)了無窮深網(wǎng)絡(luò)，PnP等效于實(shí)現(xiàn)了無窮多迭代優(yōu)化步驟，并且在迭代優(yōu)化過程中直接求解不動(dòng)點(diǎn)。

　　如圖5所示，論文為RNN和PnP分別設(shè)計(jì)了結(jié)合DEQ模型的迭代函數(shù)，這里x是重建結(jié)果，y是壓縮測(cè)量，Φ是測(cè)量矩陣：

　　論文在六個(gè)經(jīng)典的SCI數(shù)據(jù)集和真實(shí)數(shù)據(jù)上都進(jìn)行了實(shí)驗(yàn)，相較以往的方法，整體重建結(jié)果都要更好。

　　如表1顯示，平均而言，這種方法在PSNR實(shí)現(xiàn)了大約0.1dB的改善，SSIM實(shí)現(xiàn)了大約0.04的改善。SSIM的改進(jìn)表明，這種方法可以重建具有相對(duì)精細(xì)結(jié)構(gòu)的圖像：

　　「中國AIGC產(chǎn)業(yè)峰會(huì)」即將在今年3月舉辦，峰會(huì)將邀請(qǐng)AIGC產(chǎn)業(yè)相關(guān)領(lǐng)域的專家學(xué)者，共同探討生成新世界的過去、現(xiàn)在和未來。

　　峰會(huì)上還將發(fā)布《中國AIGC產(chǎn)業(yè)全景報(bào)告暨AIGC 50》，全面立體描繪我國當(dāng)前AIGC產(chǎn)業(yè)的競(jìng)爭力圖譜。點(diǎn)擊鏈接或下方圖片查看大會(huì)詳情：

　　本文為澎湃號(hào)作者或機(jī)構(gòu)在澎湃新聞上傳并發(fā)布，僅代表該作者或機(jī)構(gòu)觀點(diǎn)，不代表澎湃新聞的觀點(diǎn)或立場(chǎng)，澎湃新聞僅提供信息發(fā)布平臺(tái)。申請(qǐng)澎湃號(hào)請(qǐng)用電腦訪問。

免責(zé)聲明：本站所有信息均搜集自互聯(lián)網(wǎng)，并不代表本站觀點(diǎn)，本站不對(duì)其真實(shí)合法性負(fù)責(zé)。如有信息侵犯了您的權(quán)益，請(qǐng)告知，本站將立刻處理。聯(lián)系QQ：1640731186

報(bào)紙版面截圖。