畢業(yè)論文：圖像重建數(shù)學(xué)模型和超分辨率空域重建算法研究

目錄/提綱：……
一、緒論…………………………………………………………5
二、圖像超分辨率重建算法基礎(chǔ)…………………………………11
三、基于MAP的正則化超分辨率圖像重建算法…………24
實(shí)驗(yàn)四、PSNR（峰值信噪比）比較
……

畢業(yè)論文：圖像重建數(shù)學(xué)模型和超分辨率空域重建算法研究

摘 要

簡介：圖像超分辨率重建是一種病態(tài)反問題。在過去的二十年間,一系列的超分辨率方法被提出。數(shù)據(jù)和噪音的假定模型容易受這些方法影響，從而限制了他們的實(shí)用性。這篇論文以圖像重建數(shù)學(xué)模型和超分辨率空域重建算法為研究主線，綜述了這些方法中的一部分，并指出了他們的不足。在處理不同的數(shù)據(jù)和噪聲模型之前我們提出了基于L1范數(shù)極小化和雙邊全變差的穩(wěn)健性正則化的交替性方法。這種比較簡單的運(yùn)算方法有效的抑制了運(yùn)動和模糊估計(jì)產(chǎn)生的誤差和導(dǎo)致有鋒利邊緣的圖像。仿真結(jié)果說明了我們方法的有效性和證明一些超分辨率方法的優(yōu)勢，而且重建圖像的視覺效果和峰值信噪比(PSNR)均有一定的提高。


關(guān)鍵詞：雙邊濾波器、去模糊、增強(qiáng)、圖像的重建、多幀、正則化、抗差估計(jì)、超分辨率，全變差（TV）。


ABSTRACT

Image super-resolution reconstruction is an ill-posed inverse problem.In the last two decades, a variety of super-resolution methods have been proposed. These methods are usually very sensitive to their assumed model of data and noise, which limits their utility. In this paper,detailed analysis and discussion of the selection of the regularization parameter has been given. reviews some of these methods and addresses their shortcomings.We propose an alternate approach using 1 norm minimizationand robust regularization based on a bilateral prior to deal with different data and noise models. This computationally ine*pensive method is robust to errors in motion and blur estimation and results in images with sharp edges. Simulation results confirm the effectiveness of our method and demonstrate its superiority to other super-resolution methods,and has considerable effectiveness in terms of both visual evaluation and PSNR.



Key words：Bilateral filter, deblurring, enhancement, image restoration, multiframe, regularization, robust estimation, super resolution, total variation (TV).


目 錄

摘 要 ……………………………………………………………… 1
ABSTRACT ………………………………………………………… 2
一、緒論 ………………………………………………………… 5
1.1課題的背景與意義 ………………………………………… 5
1.2 SR的研究現(xiàn)狀及其應(yīng)用 …………………………………… 7
1.3 研究目標(biāo) …………………………………………………… 9
1.4本文的主要工作及內(nèi)容安排 ………………………………… 9
二、圖像超分辨率重建算法基礎(chǔ) ………………………………… 11
2.1 觀測模型的建立 ……………………………………………… 11
2.2 超分辨率重建問題的病態(tài)性 ………………………………… 12
2.3 超分辨率重建算法的典型步驟 ……………………………… 13
2.3.1 圖像配準(zhǔn) ………………………………………………… 13
2.3.2 圖像插值和重建 ………………………………………… 14
2.4 超分辨率重建技術(shù)的典型算法 ……………………………… 15
2.4.1 頻域算法 ………………………………………………… 15
2.4.2 空域算法 ………………………………………………… 17
1） 非均勻插值算法 ……………………………………… 18
2） 迭代反投影算法 ……………………………………… 18
3） 隨機(jī)算法 ……………………………………………… 19
4） 正則化算法 …………………………………………… 19
5） 集合論算法 …………………………………………… 20
6） MAP/ML/POCS混合算法………………………………… 21
7） Delaunary三角剖分法 ……………………………… 21
8） 基于學(xué)習(xí)的算法 ……………………………………… 22
2.5.1 算法比較與總結(jié)…………………………………………… 22
2.6 本章小結(jié) ………………………………………………… 23
三、基于MAP的正則化超分辨率圖像重建算法 ………… 24
3.1 簡要的提出MAP正則化目標(biāo)方程 …………………………… 25
3.2 代價(jià)方程保真度項(xiàng)分析 ……………………………………… 25
3.2.1 二階范數(shù)算法分析 ………………………………………… 25
3.2.2一階范數(shù)算法分析 ………………………………………26
3.2.3 實(shí)驗(yàn)仿真與分析 …………………………………………28
3.3 雙邊濾波正則化算子 ……………………………………… 29
3.4 實(shí)驗(yàn)仿真與分析 …………………………………………… 31
結(jié) 語 ………………………………………………………………35
參考文獻(xiàn) ……………………………………………………………I
致 謝 ……………………………………………………………III
英文翻譯 ……………………………………………………………IV






第一章 緒論

1．1課題的背景與意義
隨著圖像傳輸和處理技術(shù)的飛速發(fā)展，人們對高分辨率的圖像和視頻信息的要求日趨提高。分辨率往往是表征圖像觀測水平的重要技術(shù)指標(biāo)，它取決于儀器固有的分辨率和其他因素對成像的影響。從應(yīng)用的角度講，人們總是希望得到高分辨率的圖像，因?yàn)楦叻直媛室馕吨鴪D像的像素密度高，能夠提供更多的細(xì)節(jié)信息。自從1970年以來，CCD(Charge Coupled Device)和CMOS傳感器件被大量用于數(shù)字圖像獲取，使成像分辨率得到了很大的提高，雖然能夠滿足大多數(shù)需求，但是從發(fā)展的觀點(diǎn)來看，目前的分辨率水平還遠(yuǎn)遠(yuǎn)不夠。而且在許多重要的成像領(lǐng)域，還存在很多導(dǎo)致圖像退化的因素，如光學(xué)系統(tǒng)的像差、大氣擾動、運(yùn)動、散焦，欠采樣和系統(tǒng)噪聲等。
然而，高分辨率的圖像和視頻數(shù)據(jù)在獲取和處理過程中受到多方面制約。提高圖像空間分辨率的途徑通常有兩種。一種最直接的方法是提高工藝水平，通過改進(jìn)成像器件的物理特性，如降低像元尺寸、增大芯片面積等。但這一方法有內(nèi)在缺陷，芯片面積增大會引起電荷轉(zhuǎn)移速率下降，降低像元尺寸會使單位像元受光量減少、成像單元受散粒噪聲的影響加大，進(jìn)而導(dǎo)致成像圖像的質(zhì)量急劇下降。另一種是改進(jìn)光學(xué)鏡頭的焦距和孔徑。在航拍圖像的超分辨率重建中，為了提高圖像的空間分辨率并保持足夠地面覆蓋范圍，通常采用增大相機(jī)光學(xué)系統(tǒng)的焦距和孔徑的方法。但這種大型光學(xué)系統(tǒng)受光學(xué)材料、加工、制造成本等的制約，現(xiàn)有的光學(xué)成像系統(tǒng)已接近光學(xué)器件制造工藝和系統(tǒng)空間運(yùn)載能力的極限。而在民事應(yīng)用中，為了降低成本，考慮易用性，也很少會采用加大焦距和孔徑的方式。且為了能在高分辨率(或高清晰度)的顯示器上表現(xiàn)足夠幅面(最好是滿屏)的原始成像，人們嘗試了各種圖像“放大”的方法，可其做法仍然是對有限分辨率的原始成像進(jìn)行像素內(nèi)插，本質(zhì)上并不能提高圖像的空間分辨率。
因此如何在現(xiàn)有的硬件水平下提高圖像的空間分辨率成為迫切需要解決的問題，超分辨率圖像重建技術(shù)正是在這一需求下提出的新方法。超分辨率圖像重建技術(shù)是采用信號處理技術(shù)從單幀或者多幀低分辨率圖像中重建出高分辨率圖像，這就是目前圖像處理領(lǐng)域特別活躍的超分辨率重建技術(shù)，其主要優(yōu)點(diǎn)是成本低廉且現(xiàn)有成像系統(tǒng)仍可利用。眾所周知，成像系統(tǒng)相當(dāng)
……（新文秘網(wǎng)http://jey722.cn省略5989字，正式會員可完整閱讀）……　
用的算法不同，以上各個步驟可單獨(dú)進(jìn)行也可同時進(jìn)行，如圖2．2所示。

圖2-2 圖像超分辨率重建過程
2．3．1 圖像配準(zhǔn)
圖像配準(zhǔn)是序列超分辨率重建的基礎(chǔ)。待融合的LR圖像之間往往存在偏移、旋轉(zhuǎn)、比例等空間變換關(guān)系，圖像配準(zhǔn)就是將不同傳感器所采集得到的同一場景的多光譜、多波段圖像或同一傳感器在不同時間、不同方位得到的同一場景的圖像變換到同一坐標(biāo)系下，以供重建使用。
目前圖像配準(zhǔn)的研究比較廣泛，提出了很多有效的配準(zhǔn)方法。例如，基于灰度統(tǒng)計(jì)信息的配準(zhǔn)方法、頻域配準(zhǔn)方法、基于特征的配準(zhǔn)方法等。
圖像配準(zhǔn)可以定義為兩幀圖像在空間和灰度上的映射。如果用給定尺寸的二維矩陣 和 代表兩幀圖像， 和 分別表示相應(yīng)位置(*，y)上的灰度值，則圖像間的映射可表示為

式中，g是一維灰度或輻射變換，f表示一個二維空間坐標(biāo)變換，即

配準(zhǔn)問題的任務(wù)包括找到最優(yōu)的空間和灰度變換，使圖像相對于基準(zhǔn)圖像得到匹配。通�；叶茸儞Q譬是不需要的，但在不同傳感器之間的圖像配準(zhǔn)(如光學(xué)到雷達(dá)圖像)等應(yīng)用中可能要用到。
一般情況下，尋找空間或幾何變換是解決配準(zhǔn)問題的關(guān)鍵，這一交換可參數(shù)化為兩個單值函數(shù) 和 ，則

圖像配準(zhǔn)可分為頻域法和空域法。由于Fourier變換的特點(diǎn)，頻域法只局限于求解全局運(yùn)動模型，并且更多的是考慮平面移動或可能的旋轉(zhuǎn)和伸縮。但相對空域而言，頻域中更容易描述和解決混疊問題。
圖像配準(zhǔn)一般可分為以下幾個步驟。
第一步，特征檢測，即根據(jù)圖像性質(zhì)，人工或自動從基準(zhǔn)圖像和待配準(zhǔn)圖像中提取適于配準(zhǔn)的圖像特征(如閉合邊界區(qū)域、邊緣、線交點(diǎn)等)，并用控制點(diǎn)(如區(qū)域中心、角點(diǎn)、端點(diǎn)等)表示；
第二步，特征匹配，即對每幀圖像中的控制點(diǎn)進(jìn)行匹配；
第三步，變換模型估計(jì)，即選擇幾何變換模型，并利用匹配控制點(diǎn)對來估計(jì)映射函數(shù)的類型和參數(shù)；
第四步，圖像插值和變換，即以基準(zhǔn)圖像為基礎(chǔ)進(jìn)行灰度插值和坐標(biāo)變換，獲得配準(zhǔn)圖像，增加圖像信息。
2．3．2圖像插值和重建
序列圖像進(jìn)行配準(zhǔn)以后，就要進(jìn)行圖像插值和重建；單幀圖像則直接進(jìn)行插值和重建。
圖像插值是一個圖像數(shù)據(jù)的再生過程，利用己知采樣點(diǎn)的灰度值估計(jì)未知采樣點(diǎn)的灰度值，在給定的空間范圍內(nèi)，從有限的離散采樣數(shù)據(jù)重建出原來連續(xù)的圖像信號。通過插值可以實(shí)現(xiàn)圖像的放大顯示，提高圖像分辨率。一般來說，圖像插值須滿足以下假設(shè)。
第一，插值的像素灰度值在二維歐氏空間中是連續(xù)曲面；
第二，所采用的圖像插值模型應(yīng)滿足插值條件，也即在原圖的采樣點(diǎn)上，插值結(jié)果應(yīng)與原圖中的像素值保持一致。
目前，在圖像插值領(lǐng)域里，對于單通道的靜止圖像信號，主要有基于隨機(jī)場、時域、頻域、時頻域和時頻空域等幾類較為成熟的基于模型的插值算法；而對于多通道的圖像信號，己有文獻(xiàn) 提出了通過信息融合算法，增強(qiáng)高頻信息，銳化邊緣特征來提高插值圖像的視覺效果和質(zhì)量。
插值通常是利用曲線擬合的方法，通過離散的輸入采樣點(diǎn)建立一個連續(xù)函數(shù)，用這個重建的函數(shù)便可以求出任意位置處的函數(shù)值。這樣便可以不受僅在采樣點(diǎn)處抽取輸入信號值的限制。對有限帶寬的信號采樣會產(chǎn)生無限帶寬信號，插值過程正好相反，它通過對離散信號作低通濾波處理，減少了信號的帶寬。插值函數(shù)對采樣數(shù)值的平滑作用，恢復(fù)了在采樣過程中丟失的信息。因而插值可以看作是采樣的逆過程。
對于等間隔采樣數(shù)據(jù)，插值可以表示為
（2-7)
式中，h為插值核， 為權(quán)系數(shù)，卷積對K個數(shù)據(jù)作處理。式(2.7)將插值用卷積操作來表示，在實(shí)際應(yīng)用中，h總是對稱的，即有 ， 即為采樣值。
插值核的性質(zhì)可以通過其在頻率域的特性來評估。理想的插值核在帶通區(qū)具有單位增益，在帶阻區(qū)具有零增益。因而可以有效地通過和抑制不同頻率的信號成分。
圖像重建，這里主要是指對前面步驟獲得的HR圖像進(jìn)行去噪、去模糊操作，進(jìn)一步合理優(yōu)化重建的HR圖像。很多情況下，重建步驟可以和前面的步驟一同進(jìn)行。
2．4超分辨率重建技術(shù)的典型算法
超分辨率重建算法主要分為頻域算法和空域算法。早期的研究工作主要集中在頻域進(jìn)行，但隨著考慮更廣義的退化模型，后期的研究工作主要集中在空域進(jìn)行。
2．4．1頻域算法
1984年，Huang和Tsai最早提出多幀超分辨率問題并在頻域中進(jìn)行求解。他們在文獻(xiàn) 中證明了在不存在噪聲和模糊的情況下，基于LR圖像中的混疊，可以由多幀LR圖像重構(gòu)出一幀HR圖像。在原始場景信號帶寬有限的假設(shè)條件下，利用離散Fourier變換與連續(xù)Fourier之間的平移和混疊性質(zhì)，給出一個由一系列降采樣觀測圖像數(shù)據(jù)重建高分辨率圖像的公式，使得多幀觀測圖像經(jīng)混疊的離散Fourier變換變換系數(shù)與未知場景的連續(xù)Fourier變換系數(shù)以方程組的形式聯(lián)系起來，方程組的解就是原始場景的頻率域系數(shù)，再利用求解的頻率域系數(shù)進(jìn)行Fourier逆變換就可實(shí)現(xiàn)原始場景的精確重建。這種算法要求圖像問位移參數(shù)的估計(jì)精度達(dá)到亞像素(subpi*d)級，而且每一幀觀察圖像都必須只對方程組中的一個不相關(guān)的方程做出貢獻(xiàn)。
設(shè)f(*，y)為一幀連續(xù)HR圖像，其連續(xù)Fourier變換(CFT,continuous Fourier transform)為F(u，v)。由全局位移產(chǎn)生R幀位移圖像
, (2-8)
式中，r=1,2，．．．，R，其CFT為 .
根據(jù)CFT的位移性質(zhì)，
(2-9)
通過對位移圖像進(jìn)行脈沖采樣，獲得觀測圖像
(2-10)
式中m=O，1，．．．，M一1，n=0，l，．．．，N一l，其二維離散Fourier變換(DFT,discrete Fourier transform)為 。
根據(jù)頻譜混疊性質(zhì)，HR圖像的CFT和LR圖像的DFT之間存在以下關(guān)系式
(2-11)
設(shè)f(*，Y)為帶限函數(shù)，即存在U和V，使得當(dāng) ， 時，有F(u，v) 0，將上式用矩陣表示為G=咖，，其中G為R*1的列向量，第r個元素為觀測圖像 的DFT系數(shù)， 為觀測LR圖像的DFT和連續(xù)HR圖像的CFT的關(guān)系矩陣，F(xiàn)為4UV*l的列向量。
由此可見，頻域超分辨率重建主要完成以下幾個步驟。
第一步，獲取 幀觀測圖像的DFT：
第二步，確定 ，即進(jìn)行運(yùn)動估計(jì)；
第三步，由方程系統(tǒng) 解出F；
第四步，應(yīng)用IDFT獲得重建的HR圖像。
Bose、Kim在噪聲均值為零并且所有LR圖像的模糊和噪聲都相同的假設(shè)條件下，基于加權(quán)最小二乘理論的回歸方法，將頻域法應(yīng)用在噪聲模糊低分辨率圖像上。
Vandewalle、Susstrunk和Vetterli等提出一種新的頻域算法，在運(yùn)動估計(jì)算法中只使用圖像的低頻信息。與通常的頻域算法不同的是，這種運(yùn)動估計(jì)算法的性能不會因噪聲和很強(qiáng)的混疊而下降。算法中提出一種新算法來估計(jì)平面旋轉(zhuǎn)，計(jì)算效率高：重建中，應(yīng)用三次樣條插值方法。仿真實(shí)驗(yàn)中，這種頻域超分辨率算法可以用四幀LR圖像重建一幀HR圖像，分辨率是原來的兩倍。通過與其他的頻域算法和部分空域算法相比較，這種算法對旋轉(zhuǎn)和移位參數(shù)的估計(jì)性能更好，尤其是在LR圖像中存在某種強(qiáng)方向性時。
頻域超分辨率重建算法具有理論上簡單，較低的計(jì)算復(fù)雜度等優(yōu)點(diǎn)；缺點(diǎn)主要包括整體平移運(yùn)動和空間平移不變退化模型的局限性以及包含空域中先驗(yàn)知識的能力有限，具體表現(xiàn)為以下幾個方面。
第一，只限于整體平移運(yùn)動模型。應(yīng)該注意到頻域中的算法都是利用一個整體平移運(yùn)動模型，這是頻域算法基本的局限性。
第二，退化模型的不靈活性。頻域算法需要存在一個變換，這個變換就是頻域等價(jià)于空域的運(yùn)動模型。由于在典型的復(fù)雜的超分辨率應(yīng)用中不能用公式表示頻域等價(jià)于空間變化運(yùn)動模型的變換，因此對可行的運(yùn)動模型的范圍強(qiáng)加了非常嚴(yán)格的限制。
第三，包含空域先驗(yàn)知識困難。因?yàn)槌直媛手亟ㄊ且粋�病態(tài)反問題，作為頻域公式化的結(jié)果，空間平移不變是非常必要的。通常，被用來約束解空間的最有用的先驗(yàn)信息是通過空域約束，并且空域約束是非常方便和直觀的，但頻域算法不能很好地包含這些信息。
2．4．2空域算法
超分辨率重建的另一類算法是空域算法�？沼蛩惴▽�(fù)雜的運(yùn)動模型與相應(yīng)的插值、迭代及濾波重采樣放在一起進(jìn)行處理，其線性空域觀測模型涉及到全局和局部運(yùn)動、光學(xué)模糊、運(yùn)動模糊、非理想采樣、空間可變點(diǎn)擴(kuò)散函數(shù)及其他一些內(nèi)容。
1) 非均勻插值算法:
非均勻插值超分辨率技術(shù)的基礎(chǔ)是非均勻空間采樣插值原理，LR觀測圖像序列經(jīng)過配準(zhǔn)后，形成一幀由非均勻間隔采樣格網(wǎng)點(diǎn)上的樣本值形成的復(fù)合圖像，這些非均勻間隔樣本點(diǎn)經(jīng)過內(nèi)插和重采樣可形成超分辨率的采樣格網(wǎng)。該技術(shù)依次執(zhí)行運(yùn)動估計(jì)、非均勻插值和去模糊過程，先估計(jì)相對運(yùn)動信息，再插值獲得HR圖像，最后應(yīng)用傳統(tǒng)的圖像重建方法去除模糊和噪聲。
非均勻插值是超分辨率技術(shù)中最基礎(chǔ)最直觀的算法，具有相對較低的計(jì)算復(fù)雜度，但是這種算法需要假設(shè)所有低分辨率圖像中的模糊和噪聲特征都相同。
2) 迭代反投影算法
Irani和Releg在文獻(xiàn) 中提出一種迭代反投影算法，HR圖像由模擬LR圖像和觀測LR圖像的誤差進(jìn)行反投影得到，這個過程不斷迭代，直到誤差的能量達(dá)到最小。
考慮線性觀測模型Y=H*，設(shè)超分辨率圖像*的第n次迭代估計(jì)值為 ，則由此估計(jì)值模擬出的LR觀測圖像為 。IBP過程就是通過反投影矩陣 ，將模擬LR圖像 和觀測LR圖像Y的誤差進(jìn)行反投影，從而對超分辨率圖像估計(jì)進(jìn)行更新。通常設(shè)置 為H逆矩陣的逼近矩陣。這個迭代過程可以表示為

Keren，Peleg和Brada在文獻(xiàn) 中考慮了空間不變PSF。并且，在對模擬圖像和觀測圖像的誤差的最優(yōu)化準(zhǔn)則中，應(yīng)用反投影核來對估計(jì)值 進(jìn)行更新。整個過程可以表示為

式中， 是*經(jīng)過n次迭代估計(jì)得到的模擬LR圖像， 表示集合 IBP的選擇將影響問題的解，因此 可以看作是一種額外的約束條件，表示解的性質(zhì)。這一命題已經(jīng)在文獻(xiàn) 中給出證明。
IBP算法的優(yōu)點(diǎn)是算法直觀，計(jì)算簡單。但是由于超分辨率重建問題具有病態(tài)性，沒有唯一的解，選擇 較難。與POCS和正則化算法相比，IBP算法難以利用先驗(yàn)知識。
3) 隨機(jī)算法：
隨機(jī)理論(尤其是Bayes算法)將超分辨率重建作為一個隨機(jī)估計(jì)問題來解決。隨機(jī)理論可以利用求解病態(tài)超分辨率反問題所必須的先驗(yàn)約束知識。
假設(shè)觀測數(shù)據(jù)為Y，噪聲N超分辨率圖像*均為隨機(jī)量，則可建立隨機(jī)觀測方程， Y=H*+N (2-14)
最大后驗(yàn)概率算法(MAP,ma*imum a-posteriori)是通過計(jì)算后驗(yàn)概率P{*/Y}的最大值來尋找*的估計(jì)值 。
(2-15)
根據(jù)Bayes條件概率理論，認(rèn)為氟I^P與P{r)不相關(guān)，對式(2—15)取對數(shù)得，
(2-16)
式中，logP{Y/*}為對數(shù)似然函數(shù)(log-likelihood function)，P{*}為*的先驗(yàn)概率密度。由于Y=H*+N，似然函數(shù)由噪聲的概率密度函數(shù)(PDF)確定，即P{Y / *)=fn(Y一H*)。P{*}通常是利用MRF(Markov random field)圖像模型。
也可以應(yīng)用最大似然估計(jì)(ML，ma*imum likelihood)算法來解決超分辨率問題。ML估計(jì)可以看成是MAP的一個特例，沒有先驗(yàn)項(xiàng)。由于超分辨率重建問題的病態(tài)性，需要包含先驗(yàn)信息，所以MAP優(yōu)于ML。
隨機(jī)超分辨率重建算法，尤其是應(yīng)用MRF先驗(yàn)?zāi)Ｐ偷腗AP算法，優(yōu)點(diǎn)主要體現(xiàn)在可以直接包括解的先驗(yàn)約束，這是獲得病態(tài)反問題的最優(yōu)解所必須的條件【2】。
4)、正則化算法：
正常情況下，超分辨率圖像重建是病態(tài)問題。應(yīng)用正則化過程可以使該問題良性化。對于式(2．2)中，可以有，
(2-17)
假設(shè)估計(jì)正則化參數(shù)，利用合適的先驗(yàn)知識，用確定性正則化解決這一病態(tài)問題。例如采用常用的有約束的最小二乘(CLS，constrained least squares)法來求解*使代價(jià)函數(shù) 達(dá)到最小，其中，
C為高通濾波器系數(shù)， 表示 范數(shù)。
在這一算法中，使用平滑約束作為重建的先驗(yàn)知識。因?yàn)榇蠖鄶?shù)圖像都是自然平滑，高頻能量有限，解的先驗(yàn)知識就可以用平滑約束表示，相當(dāng)于最小化重建圖像中的高通能量。a稱作正則化參數(shù)，用來權(quán)衡解的精確度和光滑程度，a越大，解越平滑，適用于LR圖像數(shù)目很小的情況；反之，如果LR圖像數(shù)目大，噪聲小，a較小時將會得到較優(yōu)的解。通過最小化代價(jià)函數(shù)，就可以求解得到一幀唯一的估計(jì)圖像 。在研究魯棒超分辨率圖像重建算法中，需要結(jié)合正則化算法。
5）集合論算法：
超分辨率重建的另一種著名算法是基于集合理論的凸集投影(POCS，projection onto conve* set)算法，這是一種將先驗(yàn)知識引入重建過程的迭代算法。
圖像重建的目的是從變質(zhì)圖像中重建出原始圖像，其中的一個主要問題是如何盡量使用先驗(yàn)知識以提高重建質(zhì)量。根據(jù)集合理論和成像模型，關(guān)于成像系統(tǒng)的沖激響應(yīng)或PSF以及加性噪聲的統(tǒng)計(jì)特性等先驗(yàn)知識，可視為對圖像重建結(jié)果的若干約束條件，每一約束條件對應(yīng)于一個含有理想超分辨率圖像的凸集
這些凸集的交集 稱為圖像重建的可行域。顯然該可行域仍是一
個凸集，相應(yīng)其中任一點(diǎn) 稱為一個可行解。
所謂的凸集投影(POCS)就是從給定的初始值出發(fā)，分別向約束集投影 ，得到可行域中一個可行解的一種迭代算法，其中 對應(yīng)于到第j個凸集的投影。
傳感器的點(diǎn)擴(kuò)散函數(shù)(PSF)和因欠采樣產(chǎn)生的混疊會使低分辨率圖像發(fā)生模糊。Stark和Oskoui在1987年首次提出將POCS技術(shù)應(yīng)用于超分辨率來解決因傳感器產(chǎn)生的模糊和欠采樣混疊效應(yīng)M。其原因是超分辨率解空間中可行解具有多個限制條件，而每一個限制條件都可以定義為向量空間中的凸集合。這些限制條件一般是超分辨率解比較理想的性質(zhì)，如正定性、能量有界性、觀測數(shù)據(jù)一致性以及光滑性等。超分辨率重建問題的解空間就是這些凸的限制集的交空間。
POCS的算法簡單，并能夠充分利用先驗(yàn)知識，但是這種算法求得的解不唯一，求解收斂速度慢，計(jì)算復(fù)雜度比較高。
6）MAP/ML/POCS混合算法:
MAP/ML/POCS混合算法是將隨機(jī)估計(jì)的算法與集合論P(yáng)OCS算法相結(jié)合得到的一種超分辨率重建算法，即在將解限制在特定的凸限制集合的交集空間的基礎(chǔ)上，對后驗(yàn)概率或似然函數(shù)求最大值，從而得到HR圖像的最佳估計(jì)。
Schultz和Stevenson在文獻(xiàn) 中提出了一種約束MAP超分辨率算法，將迭代MAP算法與交互投影約束結(jié)合使用。在此基礎(chǔ)上，Elad和Feuer提出了一種ML／POCS混合算法，他們利用ML函數(shù)將超分辨率問題表示成隨機(jī)推論問題，用投影限制算法來確定最優(yōu)化。
混合算法將隨機(jī)算法和POCS算法的優(yōu)勢特征相結(jié)合，主要特點(diǎn)是所有的先驗(yàn)知識都可以有效地結(jié)合使用，與POCS算法相比，能保證有一個最優(yōu)解。
2．4．2．7 Delaunary三角剖分法 Lertrattanapanich和Bose提出Delaunary三角剖分法，通過對使用空間棋盤形鋪嵌和用二元多項(xiàng)式作為平滑約束的中的三角塊進(jìn)行逼近實(shí)現(xiàn)超分辨率重建 。
首先，使用投影模型得到各LR幀的運(yùn)動參數(shù)估計(jì)，建立覆蓋由LR幀配準(zhǔn)得到的不規(guī)則采樣光柵的離散頂點(diǎn)集合的Delaunay三角剖分，估計(jì)每個三角剖分的頂點(diǎn)的梯度向量。
其次，用一個連續(xù)并且連續(xù)可導(dǎo)的表面來逼近三角剖分中的每個三角塊，其目的是使之符合某個平滑約束，文獻(xiàn) 中采用二元三次多項(xiàng)式。當(dāng)所有的三角塊符合平滑表面后，通過二元三次多項(xiàng)式的簡單計(jì)算可以得到HR柵格頂點(diǎn)的像素值，從而得到HR的初始圖像，即噪聲模糊HR圖像。最后，使用塊插入的算法來對HR初始圖像進(jìn)行局部更新，去除模糊和噪聲，直到圖像質(zhì)量符合要求。
三角剖分法算法的理論基礎(chǔ)不同于基于概率和基于集合理論的算法。與經(jīng)典的反向投影算法及小波超分辨率算法相比，主要優(yōu)點(diǎn)在于它的低計(jì)算時間、可實(shí)現(xiàn)并行處理以及局部更新特征。最重要的一點(diǎn)是，該算法對內(nèi)存的需求比較低，特別適合硬件處理。但是它也有潛在缺點(diǎn)，即在插值中，對表面使用的三次多項(xiàng)式函數(shù)擬合可能不夠平滑。
8）、 基于學(xué)習(xí)的算法：
超分辨率重建中，隨著分辨率提高倍數(shù)的增加，LR圖像序列所能提供的冗余信息顯得不足，此時不能靠增加LR圖像的數(shù)量來產(chǎn)生新的高頻細(xì)節(jié)。這種情況下，關(guān)于圖像本身的先驗(yàn)知識就顯得非常重要。獲得先驗(yàn)知識的方法除了統(tǒng)計(jì)方法(概率方法)外，另一個重要的方法就是神經(jīng)網(wǎng)絡(luò)，可以通過神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練得到。
一個圖像像素的集合是一種特殊類型的信號集，和一個完全隨機(jī)的變量序列相比，它的變化較少，可以通過神經(jīng)網(wǎng)絡(luò)建立高低分辨率圖像之間的對應(yīng)關(guān)系。
基于學(xué)習(xí)的算法主要有以下幾個步驟。
第一步，將高分辨率圖像按照退化模型進(jìn)行退化，產(chǎn)生訓(xùn)練集合；
第二步，根據(jù)高低分辨率塊的對應(yīng)關(guān)系，通過神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)；
第三步，根據(jù)輸入的低分辨率塊搜索最匹配的高分辨率塊：
其中，學(xué)習(xí)算法和搜索算法的設(shè)計(jì)是該算法的核心問題。
最近Hertzmann等人使用了一個基于訓(xùn)練的算法來處理超分辨率問題，在不同的圖像之間使用類推的算法。William和Freeman等人采用一種學(xué)習(xí)的算法來實(shí)現(xiàn)單幀圖像的超分辨率重建。Baker和Kanade著重研究在圖像類別己知的情況下進(jìn)行圖像放大。
基于學(xué)習(xí)的圖像超分辨率重建算法雖然不能產(chǎn)生完全正確的高分辨率信息，但是可以得到一些合成的、視覺上似是而非的圖像細(xì)節(jié)，例如銳化的邊緣、模糊的紋理。從理論上講，如果訓(xùn)練集合是通用的，就可以使用這個訓(xùn)練集合對各種類型的圖像進(jìn)行放大，但是從文獻(xiàn)報(bào)道來看，目前算法還僅僅局限適用于訓(xùn)練圖像和重建圖像類型相似的情況。基于訓(xùn)練集合的算法對于圖像放大、去除噪聲、三維表面重構(gòu)以及圖像成像有所幫助。
2．5．1算法比較與總結(jié)
超分辨率圖像重建的頻域算法和空域算法各有優(yōu)缺點(diǎn)。頻域算法的思路比較清晰，其算法原理都是基于傅里葉變換的平移和混疊特性，易于理解；算法的計(jì)算較為簡單，基于FFT技術(shù)的運(yùn)算速度較快，并且單個頻率點(diǎn)可以單獨(dú)計(jì)算，易于實(shí)現(xiàn)大規(guī)模并行運(yùn)算。但其觀測模型過于簡單，只能適用于理想情況下的圖像重建，對于有運(yùn)動模糊和觀測噪聲的情況，其重建質(zhì)量明顯下降。另外，頻域算法的數(shù)學(xué)模型也很難對HR圖像的先驗(yàn)知識進(jìn)行建模，無法有效地約束求解結(jié)果，而頻域的計(jì)算誤差又會對空域圖像產(chǎn)生整體影響，因此實(shí)際工程應(yīng)用中很難得到穩(wěn)定而可靠的解。
空域超分辨率算法相對于頻域算法最大的特點(diǎn)在于其靈活性，算法直接對空域圖像像素做處理，可以靈活地對全局運(yùn)動和局部運(yùn)動、光學(xué)模糊和運(yùn)動模糊以及隨機(jī)噪聲等進(jìn)行建模。特別是基于POCS和MAP算法的數(shù)學(xué)框架，對復(fù)雜的觀測模型兼容性很好�？沼蛩惴ǖ挠�(jì)算過程通�？梢圆捎谜齽t化的方法約束求解結(jié)果，因此易于包含圖像的先驗(yàn)知識，而先驗(yàn)知識對于病態(tài)反問題的求解非常重要。但空域算法也有其缺陷，其算法的機(jī)理大多數(shù)基于最優(yōu)化理論，相對于頻域算法其原理較為復(fù)雜，不直觀。雖然其觀測模型的靈活度非常高，但相應(yīng)地其計(jì)算量也非常大，特別是采用迭代的計(jì)算方法，其運(yùn)算時間往往較長。
2．6本章小結(jié)
本章首先對圖像超分辨率重建算法的觀測模型的構(gòu)建進(jìn)行了介紹，指出了圖像超分辨率重建算法是一個病態(tài)反問題及其原因，然后對圖像超分辨率重建過程進(jìn)行了詳細(xì)分析，其主要可以分為圖像配準(zhǔn)、插值和重建幾個步驟。最后，對圖像超分辨率重建技術(shù)的主流技術(shù)，即頻域算法和空域算法進(jìn)行了詳盡的分析和比較。










第三章 基于MAP的BTV超分辨率圖像重建算法

由前文可知，因基于圖像建模理論的正則化超分辨率重建框架所具有的靈活性，使之成為了當(dāng)前SR重建技術(shù)研究的主要方向。在MAP框架下，SR重建就是一個基于馬爾柯夫隨機(jī)場（Markov Random Field，MRF）先驗(yàn)圖像模型的統(tǒng)計(jì)推斷問題，且先驗(yàn)統(tǒng)計(jì)模型的合理性直接決定著超分辨率重建圖像的效果。
運(yùn)用信號處理技術(shù)從一系列模糊、混有噪聲的多幅低分辨率(LR)圖像中,創(chuàng)建一幅或多幅細(xì)節(jié)更加豐富的高分辨率(HR)圖像,這種方法就稱為圖像超分辨率重建 (SR)。SR算法主要分為空域和頻域方法兩大類。其中,頻域法直觀簡單且計(jì)算復(fù)雜度低,但不能包含圖像空域先驗(yàn)信息,缺乏數(shù)據(jù)間的相關(guān)性,已不是研究的主流�？沼蚍椒`活性強(qiáng),有較好包含空域先驗(yàn)約束信息的能力,主要方法有迭代反向投影法、凸集投影法(POCS)、MAP法、混合POCS/MAP法、正則化方法、基于學(xué)習(xí)的方法、小波方法等。其中基于MAP框架下圖像超分辨率正則化技術(shù)可以直接加入先驗(yàn)信息約束、去噪能力強(qiáng)、邊緣保持好,靈活性強(qiáng)、適用范圍廣,是當(dāng)前SRR算法研究的熱點(diǎn)之一。本文以圖像灰度連續(xù)性為先驗(yàn)信息,提出了一種基于梯度連續(xù)和雙邊全變差(BTV)的雙正則項(xiàng)目標(biāo)方程,而對于數(shù)據(jù)保真項(xiàng),我們采用Lorentzian范數(shù)構(gòu)造,實(shí)驗(yàn)證明本文方法去除各類噪聲的能力較強(qiáng),邊緣保持較好。
3.1簡要的介紹MAP正則化目標(biāo)函數(shù)
基于MAP的代價(jià)函數(shù)表示為如下形式：
(3.1)
通常稱λ為正則化參數(shù)；C為正則化算子。要使得(3.1)式取最小，直接的方法是對其求偏微分并令其為零，如下式所示：
（3.2）
上式中，R通常是一個非常大的矩陣，例如，對于一幅1000*1000的圖像*，矩陣R的大小為106 *106，這樣的矩陣不僅要耗費(fèi)巨大的內(nèi)存資源，而且在運(yùn)算中，
即使它的逆矩陣存在，也很難求出具體的結(jié)果。因此，通常情況下，我們可以利
用基于梯度的迭代方法求方程的最優(yōu)解，得到迭代公式如下：
（3.3）
(3.4)
n=0，1，2…為迭代次數(shù)，β為迭代步長。
在求解最優(yōu)的過程中，首先應(yīng)選取一個初始值 ，代入式(3.4)中求出梯度g(n)，然后將g(n)代入式(3.3)中對估計(jì)值進(jìn)行修正。迭代過程直到滿足預(yù)先所設(shè)定的終止條件時停止，此時的估計(jì)值 就是所要求的最佳估計(jì)。
目標(biāo)方程(3.1)是在假設(shè)噪聲服從零均值高斯分布和圖像先驗(yàn)?zāi)Ｐ筒捎肎auss-Markov隨機(jī)場的情況下得到的。因此，基于MAP框架的更為通用的目標(biāo)函數(shù)框架可表示為：
（3.5）
其中，前一項(xiàng)稱為保真度項(xiàng)；后一項(xiàng)稱為正則化項(xiàng)；λ為正則化參數(shù)；l代表了范數(shù)的階數(shù)。采用不同的先驗(yàn)信息和概率模型，目標(biāo)方程的細(xì)節(jié)會有所變化，算法的性能也會有所改變。
3.2代價(jià)方程保真度項(xiàng)分析
3.2.1二階范數(shù)算法分析
通過前面3.1節(jié)的討論，最終得到了基于MAP正則化算法的代價(jià)方程式式(3.5)。其中，第一項(xiàng)稱為保真度項(xiàng)，從物理意義上理解，它反應(yīng)了重建圖像與原始圖像真實(shí)值之間的誤差。當(dāng)重建結(jié)果越接近真實(shí)值時，對它進(jìn)行同樣的降質(zhì)過程得到的低分辨率圖像就越與已觀測到的LR圖像相近似，該項(xiàng)的值就越小。
關(guān)于式(3.5)中l(wèi)的選擇，由于要保證整個代價(jià)函數(shù)為凸函數(shù)性質(zhì)，因此l的取值一般應(yīng)滿足1≤l≤2。在應(yīng)用中為便于計(jì)算，常取l=1或l=2。當(dāng)取l=2時，即采用二階范數(shù)，由前面的推導(dǎo)可知，這實(shí)際上是假設(shè)圖像系統(tǒng)的噪聲服從零均值高斯分布時的情況。因此，采用二階范數(shù)重建算法適合于噪聲服從高斯分布的圖像系統(tǒng)，而對于其它的噪聲，它的重建效果將會受到一定的影響。
3.2.2一階范數(shù)算法分析
通過以上對于二階范數(shù)重建算法的分析，可知它是在假設(shè)圖像系統(tǒng)的噪聲服從高斯分布的條件下得出的，對于含有高斯噪聲的圖像重建效果較好，但對于存在非高斯分布奇異值的情況，其恢復(fù)的結(jié)果中就會有明顯的偏差。因此，二階范數(shù)的重建方法不具有魯棒性。
為了更加方便的衡量算法的魯棒性，我們引入失效點(diǎn)的概念。它用百分比表示，表示使得估計(jì)結(jié)果產(chǎn)生偏差時歧義點(diǎn)的數(shù)目所占的最小比例。例如：對于均值估計(jì)，一個歧義點(diǎn)的存在就可能使得均值偏離預(yù)期，所以均值估計(jì)的失效點(diǎn)就為0。而對于魯棒的估計(jì)算法，如取中值估計(jì)，失效點(diǎn)可以達(dá)到最高的值為0.5。這就表明在歧義點(diǎn)的個數(shù)不超過點(diǎn)集的一半時，中值估計(jì)的結(jié)果將不會受到影響。
考慮保真度項(xiàng)的相應(yīng)目標(biāo)函數(shù)： 。假設(shè)系統(tǒng)具有相同的空間不變的PSF和相同的下采樣因子[27]，則有 ，同時，僅考慮存在平移運(yùn)動的情況，矩陣B和 都是塊循環(huán)矩陣，由塊循環(huán)矩陣的性質(zhì)可知： 。因此，保真度項(xiàng)的目標(biāo)函數(shù)可重新表示為： (3.6)
其中Z=B*，則求最小的問題就分解成了兩步：(1)從LR圖像中求出模糊的HR圖像Z；對Z進(jìn)行去模糊操作得到*。
對(3.6)式求梯度得：
(3.7)
表示向量對應(yīng)元素的乘積。另 可求出解Z。對于所要求解的Z的簡單解釋是：向量Z是給定像素點(diǎn)上所有觀察值的加權(quán)平均。我們考慮l=2時
(3.8)
文獻(xiàn)[29]中已證明，l=2時是在像素點(diǎn)上對觀察信息求平均值的過程。如果l=1，則梯度為：
(3.9)
注意到， 的矩陣操作是將低分辨率網(wǎng)格上的像素值平移后復(fù)制到相應(yīng)的高分辨率網(wǎng)格適當(dāng)?shù)奈恢�，高分辨率網(wǎng)格的其余部分填零；而 的矩陣操作是將高分辨率網(wǎng)格中的像素值復(fù)制到低分辨率網(wǎng)格，這兩個過程都沒有改變像素值，示意圖如3-4所示。

因此，根據(jù)式(3.9)，可知每一幀LR圖像對于Z中相對應(yīng)像素值的影響有如下三種形式：
(1)像素值加0，當(dāng)填充值為0時；
(2)像素值加1，當(dāng)Z中像素值大于相應(yīng)的 中的像素值時；
(3)像素值減1，當(dāng)Z中的像素值小于相應(yīng)的 中的像素值時；
由此可以得出結(jié)論，一階范數(shù)的重建結(jié)果Z中的像素值，是低分辨率圖像中相應(yīng)像素值的中值。*可以通過對Z去模糊操作得到。
根據(jù)前面的討論已知，二階范數(shù)求最小相當(dāng)于假設(shè)系統(tǒng)噪聲服從高斯分布。實(shí)際上，一階范數(shù)求最小相當(dāng)于假設(shè)系統(tǒng)的噪聲分布服從拉普拉斯分布[28][29]。
3.3 實(shí)驗(yàn)仿真與分析
本節(jié)實(shí)驗(yàn)中，我們將采用雙線性插值的方法重建算法，對16幅低分辨率圖像進(jìn)行超分辨率重建。實(shí)驗(yàn)中假定低分辨率圖像序列間僅存在平移運(yùn)動，點(diǎn)擴(kuò)散函數(shù)為平移不變的，并且所有的低分辨率圖像都具有相同的下采樣算子(即 )。由于矩陣F，B，D以及它們的轉(zhuǎn)置，在實(shí)驗(yàn)中都可以通過直接在圖像上進(jìn)行平移、模糊和下采樣等操作來實(shí)現(xiàn)，因此就無需構(gòu)造大矩陣H，這使得算法的實(shí)現(xiàn)更加快速有效。
為了增加實(shí)驗(yàn)的可靠性，拍攝了幾組的低分辨率圖像。我們利用16幅LR（90*90）圖像進(jìn)行超分辨率重建，得到一幅256*256的圖像。結(jié)果如下圖所示：
LR圖像 雙三次插值得到的圖像
由上圖可見，采用直接的插值算法難以得到滿意的HR圖像，圖像輪廓在一定程度上變得模糊。接下來的實(shí)驗(yàn)將證明而采用基于一階范數(shù)的重建算法，在完全配準(zhǔn)和高斯噪聲的情況下，不僅能夠較好的抑制噪聲的影響，同時也能夠有效的恢復(fù)出圖像的高頻細(xì)節(jié)信息。
以下我們還是選用具有全局平移運(yùn)動的16幅低分辨率圖像作為測試圖像，運(yùn)動信息未知，實(shí)驗(yàn)中利用簡單的頻域算法進(jìn)行運(yùn)動信息的估計(jì)。同時，假設(shè)未知的PSF是5*5的平均模糊。實(shí)驗(yàn)結(jié)果如下圖3-6所示：

雙三次插值圖像、BTV圖像
上圖中，利用一階范數(shù)重建的結(jié)果中物體邊緣出現(xiàn)了明顯的模糊，這主要是由于配準(zhǔn)算法不夠精確，使得估計(jì)的運(yùn)動信息不準(zhǔn)造成的；而在使用相同的配準(zhǔn)參數(shù)條件下，一階范數(shù)重建結(jié)果應(yīng)該物體邊緣更為清晰。因?yàn)槎A范數(shù)重建算法對于配準(zhǔn)誤差沒有一定的魯棒性，能夠在配準(zhǔn)存在誤差時無法保證重建的效果。
3.3代價(jià)方程正則化項(xiàng)分析-雙邊濾波正則化算子
通過3.1節(jié)的推導(dǎo)，我們得出了代價(jià)方程(3.5)：

其中，通常稱第二項(xiàng)為正則化項(xiàng)；λ為正則化參數(shù)（關(guān)于λ的選取將在下一章討論）。由于超分辨率重建問題的不適定性，需要正則化來保證得到穩(wěn)定的解。同時，通常正則化項(xiàng)都是關(guān)于原始圖像系統(tǒng)先驗(yàn)信息的一種描述，因此在重建的過程中能夠幫助去除結(jié)果中的奇值，提高算法的收斂速率。在選擇使用正則化條件時，我們所希望的是即易于實(shí)現(xiàn)，又能夠較好的保持圖像邊緣細(xì)節(jié)信息的正則化項(xiàng)。
為了能夠很好的去除圖像中的噪聲影響，通常假設(shè)圖像的先驗(yàn)知識為全局平滑的。文獻(xiàn)[32]中提出了一種更為成功的正則化方法，稱為總變差（Total Variation，TV）法。該方法通過在L1范數(shù)下計(jì)算圖像梯度來衡量圖像總的變化，并對圖像總的變化量進(jìn)行限制，如下式：
(3.10)
其中 是梯度算子�？傋儾罘ㄗ畲蟮膬�(yōu)勢在于能夠在抑制重建圖像中的噪聲的同時，很好的保留圖像的邊緣細(xì)節(jié)信息。
在總變差正則化的基礎(chǔ)上，文獻(xiàn)[27]提出了一種基于雙邊濾波器（BTV）的正則化算法，不僅在計(jì)算上易于實(shí)現(xiàn)，而且能夠保持邊緣信息。其正則化函數(shù)形式寫為：
(3.11)
其中 和 為矩陣算子，表示將*在水平和垂直方向分別平移l和k個像素值， 代表了*在不同尺度上的差分；α為權(quán)重系數(shù)(0<α<1)，通過調(diào)整α的值，能夠?qū)崿F(xiàn)正則化的權(quán)重系數(shù)在空域上遞減。由此可見，在BTV正則化項(xiàng)中，同時引入了值域和空域上的雙重約束。在圖像內(nèi)容的邊界處，濾波窗口會沿著邊沿方向選取算子的大小，選取合適的數(shù)據(jù)進(jìn)行正則化求解。
當(dāng)m=0,l=1,α=1或m=1,l=0,α=1時，(3.11)式就變?yōu)榱?br> (3.12)
其中 表示一階微分。在[33]中證明了式(3.12)是對TV正則化的一種計(jì)算效率更高的可靠估計(jì)。BTV正則化可看成其它正則化的一般形式。
結(jié)合上一節(jié)中給出的一階范數(shù)重建算法和本節(jié)所討論的BTV正則化算子，我們得到代價(jià)方程如下：
(3.13)
由于一階范數(shù)的魯棒性，式(3.13)所代表的就是一種魯棒的重建算法。此最小化問題能夠通過利用最陡下降算法求解，得到求解公式如(3.14)，通過迭代求解最終可以 ……（未完，全文共93515字，當(dāng)前僅顯示16820字，請閱讀下面提示信息。收藏《畢業(yè)論文：圖像重建數(shù)學(xué)模型和超分辨率空域重建算法研究》）