近日，信息科學(xué)與技術(shù)學(xué)院孔俊教授團(tuán)隊(duì)通過(guò)對(duì)圖像進(jìn)行多尺度、多頻率特征學(xué)習(xí)的策略，提出了一種去除圖像模糊的方法。該方法利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)框架，將圖像不同尺度和高低頻特征作為學(xué)習(xí)的目標(biāo)，并設(shè)計(jì)了不同的損失函數(shù)對(duì)學(xué)習(xí)到的圖像特征進(jìn)行指導(dǎo)和監(jiān)督，實(shí)現(xiàn)了高效的模糊圖像復(fù)原任務(wù)。
圖像去模糊（Image Deblurring）的目的是從模糊圖像中恢復(fù)圖像的詳細(xì)紋理信息或結(jié)構(gòu)，是許多計(jì)算機(jī)視覺(jué)任務(wù)中不可缺少的步驟。目前大多數(shù)方法將重心放在處理不同尺度的圖像特征上，并將模糊圖像作為一個(gè)整體進(jìn)行處理，忽略了區(qū)分圖像頻率，導(dǎo)致網(wǎng)絡(luò)性能受到了一定限制。為了解決此問(wèn)題，研究組提出了一種基于對(duì)比學(xué)習(xí)的多尺度分頻去模糊網(wǎng)絡(luò)（MSFS-Net），旨在學(xué)習(xí)圖像的多尺度空間和頻率信息，實(shí)現(xiàn)更加精細(xì)的圖像去模糊任務(wù)。首先，MSFS-Net提出了特征頻率分離模塊（FSM），將圖像特征分為低頻和高頻分量。通過(guò)將FSM模塊嵌入編-解碼網(wǎng)絡(luò)結(jié)構(gòu)中，MSFS-Net可以同時(shí)捕獲不同頻率和尺度的多種圖像特征。其次，MSFS-Net提出了循環(huán)一致性策略和多尺度對(duì)比學(xué)習(xí)模塊（CLM）來(lái)分別約束低頻和高頻特征。對(duì)于低頻特征，MSFS-Net使用循環(huán)一致性損失進(jìn)行監(jiān)督。對(duì)于高頻特征，使用基于對(duì)比學(xué)習(xí)的監(jiān)督方式，逐步恢復(fù)不同尺度的特征。最后，MSFS-Net提出了一種跨尺度特征融合模塊（CSFFM）以融合不同階段的不同尺度特征，從而更好地利用多尺度信息進(jìn)行去模糊。本項(xiàng)工作為高效的圖像去模糊和其它圖像復(fù)原任務(wù)提供了新穎的解決方案，相關(guān)成果以“Multi-Scale Frequency Separation Network for Image Deblurring”為題發(fā)表在工程技術(shù)領(lǐng)域著名期刊《IEEE Transactions on Circuits and Systems for Video Technology》(DOI: 10.1109/TCSVT.2023.3259393)上。第一作者博士生張燕妮還以該工作為主體參加吉林省研究生智慧城市技術(shù)與創(chuàng)意設(shè)計(jì)大賽，榮獲一等獎(jiǎng)。本文通訊作者王建中副教授獲該項(xiàng)賽事“優(yōu)秀指導(dǎo)教師”。
圖：MSFS-Net網(wǎng)絡(luò)結(jié)構(gòu)圖
多年來(lái)，孔俊教授研究團(tuán)隊(duì)一直致力于面向圖像/視頻數(shù)據(jù)的特征學(xué)習(xí)研究。結(jié)合我校計(jì)算機(jī)科學(xué)與技術(shù)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)等多專(zhuān)業(yè)融合的指導(dǎo)方向，圍繞計(jì)算機(jī)視覺(jué)領(lǐng)域的核心問(wèn)題，取得了系列重要科研成果：（1）構(gòu)建了面向圖像/視頻等高維數(shù)據(jù)的低冗余特征選擇準(zhǔn)則并基于該準(zhǔn)則設(shè)計(jì)了特征選擇方法。解決了特征選擇過(guò)程中的信息冗余問(wèn)題，增強(qiáng)了高維數(shù)據(jù)特征選擇的實(shí)用性和靈活性（Pattern Recognition, DOI: 10.1016/j.patcog.2012.11.025）。(2) 解決了圖像/視頻等高維數(shù)據(jù)特征提取過(guò)程中的圖構(gòu)建和圖優(yōu)化問(wèn)題，豐富和完善了高維數(shù)據(jù)特征學(xué)習(xí)的理論模型 （IEEE T CSTV, DOI: 10.1109/TCSVT.2019.2892971; Neurocomputing, DOI: /10.1016/j.neucom.2017.03.046）。(3) 給出了半監(jiān)督條件下圖像/視頻數(shù)據(jù)的特征學(xué)習(xí)方法，并將其應(yīng)用于識(shí)別分析任務(wù)，有效提高了識(shí)別分析模型的準(zhǔn)確性 (Neurocomputing，DOI：10.1016/j.neucom.2014.07.031)。
研究團(tuán)隊(duì)先后在IEEE T CSTV, Pattern Recognition, Information Sciences, Neurocomputing, Multimedia Tools and Applications,ICASSP,ICIP,ICIC 等具有國(guó)際影響力和中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦的國(guó)際期刊和會(huì)議上發(fā)表系列科研成果，培養(yǎng)博士研究生5名，授權(quán)發(fā)明專(zhuān)利4項(xiàng)（ZL202010716230.3，ZL201911333260.X，ZL201510777140.4等），博士生張燕妮，碩士生司雨獲得校長(zhǎng)獎(jiǎng)學(xué)金，碩士生唐瑞獲得國(guó)家獎(jiǎng)學(xué)金和小米特等獎(jiǎng)學(xué)金，部分科研成果獲2023年度吉林省科學(xué)技術(shù)獎(jiǎng)自然科學(xué)獎(jiǎng)二等獎(jiǎng)。
