【儀表網(wǎng) 研發(fā)快訊】近年來，以圖像壓縮感知、惡劣環(huán)境(如低光照)圖像增強為代表的底層視覺任務(wù)因其實用性，受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。深圳研究生院信息工程學(xué)院張健助理教授課題組近期在圖像重建領(lǐng)域取得重要進展，其相關(guān)工作發(fā)表在IEEE Transactions on Pattern Analysis and Machine Intelligence(簡稱TPAMI)和International Journal of Computer Vision(簡稱IJCV)上。TPAMI是模式分析和機器智能領(lǐng)域國際公認(rèn)的頂級期刊，其最新影響因子為20.8；IJCV是人工智能和計算機視覺領(lǐng)域國際公認(rèn)的頂級期刊，其最新影響因子為11.6，2022—2023年度發(fā)文量198篇。兩者均為中國計算機學(xué)會(CCF)推薦的A類學(xué)術(shù)期刊。
 

文章截圖
 

　　圖像壓縮感知(Compressed Sensing，CS)旨在從少量線性觀測值中重建原始圖像信號，以突破奈奎斯特采樣極限、極大地降低信號獲取成本，其應(yīng)用包括但不限于單像素相機、醫(yī)療成像(如CT和MRI)以及視頻快照和光譜壓縮成像等。目前，CS面臨兩個具有挑戰(zhàn)性的問題：(1)如何設(shè)計高效的采樣矩陣和采樣方式，以盡可能多地保留圖像信息；(2)如何設(shè)計高效的重建算法，以快速、精確地復(fù)原圖像信號。課題組針對這兩個問題，提出一種實用的緊湊深度壓縮感知算法，相關(guān)成果發(fā)表在TPAMI上。
 

圖1 課題組提出的協(xié)同采樣算子設(shè)計方案
 

　　針對采樣矩陣與采樣方式設(shè)計問題，課題組研究發(fā)現(xiàn)，大多數(shù)傳統(tǒng)方法對高分辨率圖像進行以塊為單位的不重疊均勻采樣，且傳統(tǒng)采樣矩陣的自適應(yīng)能力弱、存儲效率低下。如圖1所示，課題組提出了一種新的協(xié)同采樣算子(Collaborative Sampling Operator，COSO)，通過深度條件濾波和雙分支快速采樣，實現(xiàn)了高效的全局采樣。
 

　　在重建算法設(shè)計方面，課題組提出了一個實用、緊致的深度網(wǎng)絡(luò)(Practical Compact Network，PCNet)，通過設(shè)計新的協(xié)同采樣算子和現(xiàn)代化的重建骨干網(wǎng)絡(luò)，實現(xiàn)了高效的全局采樣和可解釋的重建。在高分辨率圖像上，PCNet展示了顯著的性能提升和擴展?jié)摿Α?br /> 

圖2 課題組提出的實用、緊致的圖像壓縮感知神經(jīng)網(wǎng)絡(luò)架構(gòu)圖
 

　　得益于各模塊間良好的兼容性，如圖2所示，課題組提出了一個實用、緊致的圖像壓縮感知神經(jīng)網(wǎng)絡(luò)，對所有組件進行端到端的聯(lián)合訓(xùn)練。該方法在多個圖像基準(zhǔn)數(shù)據(jù)集上均取得了領(lǐng)先的性能。
 

文章截圖
 

　　低光照增強(Low-light Image Enhancement，LLIE)旨在從受黑夜、陰影等惡劣環(huán)境破壞的低光照圖像中重建高清圖像信號，以求有效識別黑暗中的圖像內(nèi)容，在軍事(如夜視儀)、民生(如自動駕駛)等領(lǐng)域存在廣泛應(yīng)用。目前，LLIE面臨一個具有挑戰(zhàn)性的問題：低光照圖像的數(shù)據(jù)集是有限的，但實際應(yīng)用時可能面對的低光照退化類型是無限的，在有限的低光照數(shù)據(jù)集上訓(xùn)練出的算法如何應(yīng)用于實際場景無限可能的退化是亟需解決的問題。為此，課題組提出一種基于擴散先驗的算法，提升增強算法在實際應(yīng)用中的普適性，相關(guān)成果發(fā)表在IJCV期刊上。
 

圖3：提出的方法與當(dāng)前最先進算法在真實手機拍攝圖像及基準(zhǔn)數(shù)據(jù)集上的結(jié)果對比
 

　　針對有限低光照圖像數(shù)據(jù)集和實際應(yīng)用中無限可能的退化之間的沖突問題，課題組研究發(fā)現(xiàn)，在大規(guī)模自然圖像上訓(xùn)練的生成模型(如DDPM)具有非常豐富的自然圖像先驗，這在一定程度上可彌補有限的低光照圖像數(shù)據(jù)。
 

　　如圖4所示，一方面，基于DDPM的圖像生成模型，課題組提出了一個退化域矯正模塊(Degradation Domain Calibration, DDC)。對于真實場景中的低光照圖像，先通過DDPM的加噪-去噪采樣，在一定程度上將多樣的低光照退化統(tǒng)一到一個特定的分布上(即DDPM的生成分布)，使后續(xù)的低光照增強模型(HWEM)能永遠(yuǎn)接收到類似的低光照退化輸入，降低增強的難度。
 

圖4：課題組提出的實用、高效的低光照圖像增強神經(jīng)網(wǎng)絡(luò)
 

　　另一方面，如圖4所示，對于模型增強后的結(jié)果，課題組采用了知識蒸餾的策略，引入細(xì)粒度目標(biāo)域蒸餾操作(Fine-grained Target Domain Distillation, FTD)，通過將增強結(jié)果再次使用DDPM的加噪-去噪采樣進行細(xì)粒度優(yōu)化，進一步提升增強圖像的質(zhì)量。在真實世界捕獲的低光照圖像上，F(xiàn)TD展現(xiàn)出了顯著的性能提升和魯棒性。
 

　　得益于各模塊間良好的兼容性，課題組提出了一個實用、高效的低光照圖像增強神經(jīng)網(wǎng)絡(luò)，可應(yīng)用于真實場景多變的低光退化。該方法在多個圖像基準(zhǔn)數(shù)據(jù)集上均取得了領(lǐng)先的性能。
 

　　兩項工作均由張健課題組獨立完成，論文通訊作者為張健，北京大學(xué)信息工程學(xué)院為第一作者單位。研究得到國家自然科學(xué)基金重點項目以及面上項目支持。
 

　　作者簡介：
 

　　張健是北京大學(xué)深圳研究生院信息工程學(xué)院助理教授/研究員、博士生導(dǎo)師，視覺信息智能學(xué)習(xí)實驗室(VILLA)負(fù)責(zé)人。圍繞“智能可控圖像生成”前沿領(lǐng)域，深入開展高效圖像重建、可控圖像生成和精準(zhǔn)圖像編輯3個關(guān)鍵方向研究。近5年以第一作者/通訊作者在Commun Eng、TPAMI、TIP、IJCV、SPM、CVPR、NeurIPS、ICCV等高水平國際期刊和會議上發(fā)表論文70余篇，其中CCF A類論文50余篇；谷歌學(xué)術(shù)引用9800余次，h-index值為49(單篇一作最高引用1200余次)；連續(xù)5年入選斯坦福全球前2%頂尖科學(xué)家榜單；獲得北大青年教師教學(xué)比賽一等獎、國際期刊/會議最佳論文獎5次、CVPR NTIRE全球挑戰(zhàn)賽冠軍、華為MindSpore學(xué)術(shù)獎勵基金項目優(yōu)秀獎等。致力于產(chǎn)學(xué)研相結(jié)合，成果應(yīng)用于字節(jié)、免展、Stability Al、Hugging Face等國內(nèi)外知名公司產(chǎn)品中。