畢業(yè)論文：圖像重建數(shù)學模型和超分辨率空域重建算法研究

目錄/提綱：……
一、緒論…………………………………………………………5
二、圖像超分辨率重建算法基礎…………………………………11
三、基于MAP的正則化超分辨率圖像重建算法…………24
實驗四、PSNR（峰值信噪比）比較
……

畢業(yè)論文：圖像重建數(shù)學模型和超分辨率空域重建算法研究

摘 要

簡介：圖像超分辨率重建是一種病態(tài)反問題。在過去的二十年間,一系列的超分辨率方法被提出。數(shù)據和噪音的假定模型容易受這些方法影響，從而限制了他們的實用性。這篇論文以圖像重建數(shù)學模型和超分辨率空域重建算法為研究主線，綜述了這些方法中的一部分，并指出了他們的不足。在處理不同的數(shù)據和噪聲模型之前我們提出了基于L1范數(shù)極小化和雙邊全變差的穩(wěn)健性正則化的交替性方法。這種比較簡單的運算方法有效的抑制了運動和模糊估計產生的誤差和導致有鋒利邊緣的圖像。仿真結果說明了我們方法的有效性和證明一些超分辨率方法的優(yōu)勢，而且重建圖像的視覺效果和峰值信噪比(PSNR)均有一定的提高。


關鍵詞：雙邊濾波器、去模糊、增強、圖像的重建、多幀、正則化、抗差估計、超分辨率，全變差（TV）。


ABSTRACT

Image super-resolution reconstruction is an ill-posed inverse problem.In the last two decades, a variety of super-resolution methods have been proposed. These methods are usually very sensitive to their assumed model of data and noise, which limits their utility. In this paper,detailed analysis and discussion of the selection of the regularization parameter has been given. reviews some of these methods and addresses their shortcomings.We propose an alternate approach using 1 norm minimizationand robust regularization based on a bilateral prior to deal with different data and noise models. This computationally ine*pensive method is robust to errors in motion and blur estimation and results in images with sharp edges. Simulation results confirm the effectiveness of our method and demonstrate its superiority to other super-resolution methods,and has considerable effectiveness in terms of both visual evaluation and PSNR.



Key words：Bilateral filter, deblurring, enhancement, image restoration, multiframe, regularization, robust estimation, super resolution, total variation (TV).


目 錄

摘 要 ……………………………………………………………… 1
ABSTRACT ………………………………………………………… 2
一、緒論 ………………………………………………………… 5
1.1課題的背景與意義 ………………………………………… 5
1.2 SR的研究現(xiàn)狀及其應用 …………………………………… 7
1.3 研究目標 …………………………………………………… 9
1.4本文的主要工作及內容安排 ………………………………… 9
二、圖像超分辨率重建算法基礎 ………………………………… 11
2.1 觀測模型的建立 ……………………………………………… 11
2.2 超分辨率重建問題的病態(tài)性 ………………………………… 12
2.3 超分辨率重建算法的典型步驟 ……………………………… 13
2.3.1 圖像配準 ………………………………………………… 13
2.3.2 圖像插值和重建 ………………………………………… 14
2.4 超分辨率重建技術的典型算法 ……………………………… 15
2.4.1 頻域算法 ………………………………………………… 15
2.4.2 空域算法 ………………………………………………… 17
1） 非均勻插值算法 ……………………………………… 18
2） 迭代反投影算法 ……………………………………… 18
3） 隨機算法 ……………………………………………… 19
4） 正則化算法 …………………………………………… 19
5） 集合論算法 …………………………………………… 20
6） MAP/ML/POCS混合算法………………………………… 21
7） Delaunary三角剖分法 ……………………………… 21
8） 基于學習的算法 ……………………………………… 22
2.5.1 算法比較與總結…………………………………………… 22
2.6 本章小結 ………………………………………………… 23
三、基于MAP的正則化超分辨率圖像重建算法 ………… 24
3.1 簡要的提出MAP正則化目標方程 …………………………… 25
3.2 代價方程保真度項分析 ……………………………………… 25
3.2.1 二階范數(shù)算法分析 ………………………………………… 25
3.2.2一階范數(shù)算法分析 ………………………………………26
3.2.3 實驗仿真與分析 …………………………………………28
3.3 雙邊濾波正則化算子 ……………………………………… 29
3.4 實驗仿真與分析 …………………………………………… 31
結 語 ………………………………………………………………35
參考文獻 ……………………………………………………………I
致 謝 ……………………………………………………………III
英文翻譯 ……………………………………………………………IV






第一章 緒論

1．1課題的背景與意義
隨著圖像傳輸和處理技術的飛速發(fā)展，人們對高分辨率的圖像和視頻信息的要求日趨提高。分辨率往往是表征圖像觀測水平的重要技術指標，它取決于儀器固有的分辨率和其他因素對成像的影響。從應用的角度講，人們總是希望得到高分辨率的圖像，因為高分辨率意味著圖像的像素密度高，能夠提供更多的細節(jié)信息。自從1970年以來，CCD(Charge Coupled Device)和CMOS傳感器件被大量用于數(shù)字圖像獲取，使成像分辨率得到了很大的提高，雖然能夠滿足大多數(shù)需求，但是從發(fā)展的觀點來看，目前的分辨率水平還遠遠不夠。而且在許多重要的成像領域，還存在很多導致圖像退化的因素，如光學系統(tǒng)的像差、大氣擾動、運動、散焦，欠采樣和系統(tǒng)噪聲等。
然而，高分辨率的圖像和視頻數(shù)據在獲取和處理過程中受到多方面制約。提高圖像空間分辨率的途徑通常有兩種。一種最直接的方法是提高工藝水平，通過改進成像器件的物理特性，如降低像元尺寸、增大芯片面積等。但這一方法有內在缺陷，芯片面積增大會引起電荷轉移速率下降，降低像元尺寸會使單位像元受光量減少、成像單元受散粒噪聲的影響加大，進而導致成像圖像的質量急劇下降。另一種是改進光學鏡頭的焦距和孔徑。在航拍圖像的超分辨率重建中，為了提高圖像的空間分辨率并保持足夠地面覆蓋范圍，通常采用增大相機光學系統(tǒng)的焦距和孔徑的方法。但這種大型光學系統(tǒng)受光學材料、加工、制造成本等的制約，現(xiàn)有的光學成像系統(tǒng)已接近光學器件制造工藝和系統(tǒng)空間運載能力的極限。而在民事應用中，為了降低成本，考慮易用性，也很少會采用加大焦距和孔徑的方式。且為了能在高分辨率(或高清晰度)的顯示器上表現(xiàn)足夠幅面(最好是滿屏)的原始成像，人們嘗試了各種圖像“放大”的方法，可其做法仍然是對有限分辨率的原始成像進行像素內插，本質上并不能提高圖像的空間分辨率。
因此如何在現(xiàn)有的硬件水平下提高圖像的空間分辨率成為迫切需要解決的問題，超分辨率圖像重建技術正是在這一需求下提出的新方法。超分辨率圖像重建技術是采用信號處理技術從單幀或者多幀低分辨率圖像中重建出高分辨率圖像，這就是目前圖像處理領域特別活躍的超分辨率重建技術，其主要優(yōu)點是成本低廉且現(xiàn)有成像系統(tǒng)仍可利用。眾所周知，成像系統(tǒng)相當
……（新文秘網http://www.jey722.cn省略5989字，正式會員可完整閱讀）……　
用的算法不同，以上各個步驟可單獨進行也可同時進行，如圖2．2所示。

圖2-2 圖像超分辨率重建過程
2．3．1 圖像配準
圖像配準是序列超分辨率重建的基礎。待融合的LR圖像之間往往存在偏移、旋轉、比例等空間變換關系，圖像配準就是將不同傳感器所采集得到的同一場景的多光譜、多波段圖像或同一傳感器在不同時間、不同方位得到的同一場景的圖像變換到同一坐標系下，以供重建使用。
目前圖像配準的研究比較廣泛，提出了很多有效的配準方法。例如，基于灰度統(tǒng)計信息的配準方法、頻域配準方法、基于特征的配準方法等。
圖像配準可以定義為兩幀圖像在空間和灰度上的映射。如果用給定尺寸的二維矩陣 和 代表兩幀圖像， 和 分別表示相應位置(*，y)上的灰度值，則圖像間的映射可表示為

式中，g是一維灰度或輻射變換，f表示一個二維空間坐標變換，即

配準問題的任務包括找到最優(yōu)的空間和灰度變換，使圖像相對于基準圖像得到匹配。通�；叶茸儞Q譬是不需要的，但在不同傳感器之間的圖像配準(如光學到雷達圖像)等應用中可能要用到。
一般情況下，尋找空間或幾何變換是解決配準問題的關鍵，這一交換可參數(shù)化為兩個單值函數(shù) 和 ，則

圖像配準可分為頻域法和空域法。由于Fourier變換的特點，頻域法只局限于求解全局運動模型，并且更多的是考慮平面移動或可能的旋轉和伸縮。但相對空域而言，頻域中更容易描述和解決混疊問題。
圖像配準一般可分為以下幾個步驟。
第一步，特征檢測，即根據圖像性質，人工或自動從基準圖像和待配準圖像中提取適于配準的圖像特征(如閉合邊界區(qū)域、邊緣、線交點等)，并用控制點(如區(qū)域中心、角點、端點等)表示；
第二步，特征匹配，即對每幀圖像中的控制點進行匹配；
第三步，變換模型估計，即選擇幾何變換模型，并利用匹配控制點對來估計映射函數(shù)的類型和參數(shù)；
第四步，圖像插值和變換，即以基準圖像為基礎進行灰度插值和坐標變換，獲得配準圖像，增加圖像信息。
2．3．2圖像插值和重建
序列圖像進行配準以后，就要進行圖像插值和重建；單幀圖像則直接進行插值和重建。
圖像插值是一個圖像數(shù)據的再生過程，利用己知采樣點的灰度值估計未知采樣點的灰度值，在給定的空間范圍內，從有限的離散采樣數(shù)據重建出原來連續(xù)的圖像信號。通過插值可以實現(xiàn)圖像的放大顯示，提高圖像分辨率。一般來說，圖像插值須滿足以下假設。
第一，插值的像素灰度值在二維歐氏空間中是連續(xù)曲面；
第二，所采用的圖像插值模型應滿足插值條件，也即在原圖的采樣點上，插值結果應與原圖中的像素值保持一致。
目前，在圖像插值領域里，對于單通道的靜止圖像信號，主要有基于隨機場、時域、頻域、時頻域和時頻空域等幾類較為成熟的基于模型的插值算法；而對于多通道的圖像信號，己有文獻 提出了通過信息融合算法，增強高頻信息，銳化邊緣特征來提高插值圖像的視覺效果和質量。
插值通常是利用曲線擬合的方法，通過離散的輸入采樣點建立一個連續(xù)函數(shù)，用這個重建的函數(shù)便可以求出任意位置處的函數(shù)值。這樣便可以不受僅在采樣點處抽取輸入信號值的限制。對有限帶寬的信號采樣會產生無限帶寬信號，插值過程正好相反，它通過對離散信號作低通濾波處理，減少了信號的帶寬。插值函數(shù)對采樣數(shù)值的平滑作用，恢復了在采樣過程中丟失的信息。因而插值可以看作是采樣的逆過程。
對于等間隔采樣數(shù)據，插值可以表示為
（2-7)
式中，h為插值核， 為權系數(shù)，卷積對K個數(shù)據作處理。式(2.7)將插值用卷積操作來表示，在實際應用中，h總是對稱的，即有 ， 即為采樣值。
插值核的性質可以通過其在頻率域的特性來評估。理想的插值核在帶通區(qū)具有單位增益，在帶阻區(qū)具有零增益。因而可以有效地通過和抑制不同頻率的信號成分。
圖像重建，這里主要是指對前面步驟獲得的HR圖像進行去噪、去模糊操作，進一步合理優(yōu)化重建的HR圖像。很多情況下，重建步驟可以和前面的步驟一同進行。
2．4超分辨率重建技術的典型算法
超分辨率重建算法主要分為頻域算法和空域算法。早期的研究工作主要集中在頻域進行，但隨著考慮更廣義的退化模型，后期的研究工作主要集中在空域進行。
2．4．1頻域算法
1984年，Huang和Tsai最早提出多幀超分辨率問題并在頻域中進行求解。他們在文獻 中證明了在不存在噪聲和模糊的情況下，基于LR圖像中的混疊，可以由多幀LR圖像重構出一幀HR圖像。在原始場景信號帶寬有限的假設條件下，利用離散Fourier變換與連續(xù)Fourier之間的平移和混疊性質，給出一個由一系列降采樣觀測圖像數(shù)據重建高分辨率圖像的公式，使得多幀觀測圖像經混疊的離散Fourier變換變換系數(shù)與未知場景的連續(xù)Fourier變換系數(shù)以方程組的形式聯(lián)系起來，方程組的解就是原始場景的頻率域系數(shù)，再利用求解的頻率域系數(shù)進行Fourier逆變換就可實現(xiàn)原始場景的精確重建。這種算法要求圖像問位移參數(shù)的估計精度達到亞像素(subpi*d)級，而且每一幀觀察圖像都必須只對方程組中的一個不相關的方程做出貢獻。
設f(*，y)為一幀連續(xù)HR圖像，其連續(xù)Fourier變換(CFT,continuous Fourier transform)為F(u，v)。由全局位移產生R幀位移圖像
, (2-8)
式中，r=1,2，．．．，R，其CFT為 .
根據CFT的位移性質，
(2-9)
通過對位移圖像進行脈沖采樣，獲得觀測圖像
(2-10)
式中m=O，1，．．．，M一1，n=0，l，．．．，N一l，其二維離散Fourier變換(DFT,discrete Fourier transform)為 。
根據頻譜混疊性質，HR圖像的CFT和LR圖像的DFT之間存在以下關系式
(2-11)
設f(*，Y)為帶限函數(shù)，即存在U和V，使得當 ， 時，有F(u，v) 0，將上式用矩陣表示為G=咖，，其中G為R*1的列向量，第r個元素為觀測圖像 的DFT系數(shù)， 為觀測LR圖像的DFT和連續(xù)HR圖像的CFT的關系矩陣，F(xiàn)為4UV*l的列向量。
由此可見，頻域超分辨率重建主要完成以下幾個步驟。
第一步，獲取 幀觀測圖像的DFT：
第二步，確定 ，即進行運動估計；
第三步，由方程系統(tǒng) 解出F；
第四步，應用IDFT獲得重建的HR圖像。
Bose、Kim在噪聲均值為零并且所有LR圖像的模糊和噪聲都相同的假設條件下，基于加權最小二乘理論的回歸方法，將頻域法應用在噪聲模糊低分辨率圖像上。
Vandewalle、Susstrunk和Vetterli等提出一種新的頻域算法，在運動估計算法中只使用圖像的低頻信息。與通常的頻域算法不同的是，這種運動估計算法的性能不會因噪聲和很強的混疊而下降。算法中提出一種新算法來估計平面旋轉，計算效率高：重建中，應用三次樣條插值方法。仿真實驗中，這種頻域超分辨率算法可以用四幀LR圖像重建一幀HR圖像，分辨率是原來的兩倍。通過與其他的頻域算法和部分空域算法相比較，這種算法對旋轉和移位參數(shù)的估計性能更好，尤其是在LR圖像中存在某種強方向性時。
頻域超分辨率重建算法具有理論上簡單，較低的計算復雜度等優(yōu)點；缺點主要包括整體平移運動和空間平移不變退化模型的局限性以及包含空域中先驗知識的能力有限，具體表現(xiàn)為以下幾個方面。
第一，只限于整體平移運動模型。應該注意到頻域中的算法都是利用一個整體平移運動模型，這是頻域算法基本的局限性。
第二，退化模型的不靈活性。頻域算法需要存在一個變換，這個變換就是頻域等價于空域的運動模型。由于在典型的復雜的超分辨率應用中不能用公式表示頻域等價于空間變化運動模型的變換，因此對可行的運動模型的范圍強加了非常嚴格的限制。
第三，包含空域先驗知識困難。因為超分辨率重建是一個病態(tài)反問題，作為頻域公式化的結果，空間平移不變是非常必要的。通常，被用來約束解空間的最有用的先驗信息是通過空域約束，并且空域約束是非常方便和直觀的，但頻域算法不能很好地包含這些信息。
2．4．2空域算法
超分辨率重建的另一類算法是空域算法�？沼蛩惴▽碗s的運動模型與相應的插值、迭代及濾波重采樣放在一起進行處理，其線性空域觀測模型涉及到全局和局部運動、光學模糊、運動模糊、非理想采樣、空間可變點擴散函數(shù)及其他一些內容。
1) 非均勻插值算法:
非均勻插值超分辨率技術的基礎是非均勻空間采樣插值原理，LR觀測圖像序列經過配準后，形成一幀由非均勻間隔采樣格網點上的樣本值形成的復合圖像，這些非均勻間隔樣本點經過內插和重采樣可形成超分辨率的采樣格網。該技術依次執(zhí)行運動估計、非均勻插值和去模糊過程，先估計相對運動信息，再插值獲得HR圖像，最后應用傳統(tǒng)的圖像重建方法去除模糊和噪聲。
非均勻插值是超分辨率技術中最基礎最直觀的算法，具有相對較低的計算復雜度，但是這種算法需要假設所有低分辨率圖像中的模糊和噪聲特征都相同。
2) 迭代反投影算法
Irani和Releg在文獻 中提出一種迭代反投影算法，HR圖像由模擬LR圖像和觀測LR圖像的誤差進行反投影得到，這個過程不斷迭代，直到誤差的能量達到最小。
考慮線性觀測模型Y=H*，設超分辨率圖像*的第n次迭代估計值為 ，則由此估計值模擬出的LR觀測圖像為 。IBP過程就是通過反投影矩陣 ，將模擬LR圖像 和觀測LR圖像Y的誤差進行反投影，從而對超分辨率圖像估計進行更新。通常設置 為H逆矩陣的逼近矩陣。這個迭代過程可以表示為

Keren，Peleg和Brada在文獻 中考慮了空間不變PSF。并且，在對模擬圖像和觀測圖像的誤差的最優(yōu)化準則中，應用反投影核來對估計值 進行更新。整個過程可以表示為

式中， 是*經過n次迭代估計得到的模擬LR圖像， 表示集合 IBP的選擇將影響問題的解，因此 可以看作是一種額外的約束條件，表示解的性質。這一命題已經在文獻 中給出證明。
IBP算法的優(yōu)點是算法直觀，計算簡單。但是由于超分辨率重建問題具有病態(tài)性，沒有唯一的解，選擇 較難。與POCS和正則化算法相比，IBP算法難以利用先驗知識。
3) 隨機算法：
隨機理論(尤其是Bayes算法)將超分辨率重建作為一個隨機估計問題來解決。隨機理論可以利用求解病態(tài)超分辨率反問題所必須的先驗約束知識。
假設觀測數(shù)據為Y，噪聲N超分辨率圖像*均為隨機量，則可建立隨機觀測方程， Y=H*+N (2-14)
最大后驗概率算法(MAP,ma*imum a-posteriori)是通過計算后驗概率P{*/Y}的最大值來尋找*的估計值 。
(2-15)
根據Bayes條件概率理論，認為氟I^P與P{r)不相關，對式(2—15)取對數(shù)得，
(2-16)
式中，logP{Y/*}為對數(shù)似然函數(shù)(log-likelihood function)，P{*}為*的先驗概率密度。由于Y=H*+N，似然函數(shù)由噪聲的概率密度函數(shù)(PDF)確定，即P{Y / *)=fn(Y一H*)。P{*}通常是利用MRF(Markov random field)圖像模型。
也可以應用最大似然估計(ML，ma*imum likelihood)算法來解決超分辨率問題。ML估計可以看成是MAP的一個特例，沒有先驗項。由于超分辨率重建問題的病態(tài)性，需要包含先驗信息，所以MAP優(yōu)于ML。
隨機超分辨率重建算法，尤其是應用MRF先驗模型的MAP算法，優(yōu)點主要體現(xiàn)在可以直接包括解的先驗約束，這是獲得病態(tài)反問題的最優(yōu)解所必須的條件【2】。
4)、正則化算法：
正常情況下，超分辨率圖像重建是病態(tài)問題。應用正則化過程可以使該問題良性化。對于式(2．2)中，可以有，
(2-17)
假設估計正則化參數(shù)，利用合適的先驗知識，用確定性正則化解決這一病態(tài)問題。例如采用常用的有約束的最小二乘(CLS，constrained least squares)法來求解*使代價函數(shù) 達到最小，其中，
C為高通濾波器系數(shù)， 表示 范數(shù)。
在這一算法中，使用平滑約束作為重建的先驗知識。因為大多數(shù)圖像都是自然平滑，高頻能量有限，解的先驗知識就可以用平滑約束表示，相當于最小化重建圖像中的高通能量。a稱作正則化參數(shù)，用來權衡解的精確度和光滑程度，a越大，解越平滑，適用于LR圖像數(shù)目很小的情況；反之，如果LR圖像數(shù)目大，噪聲小，a較小時將會得到較優(yōu)的解。通過最小化代價函數(shù)，就可以求解得到一幀唯一的估計圖像 。在研究魯棒超分辨率圖像重建算法中，需要結合正則化算法。
5）集合論算法：
超分辨率重建的另一種著名算法是基于集合理論的凸集投影(POCS，projection onto conve* set)算法，這是一種將先驗知識引入重建過程的迭代算法。
圖像重建的目的是從變質圖像中重建出原始圖像，其中的一個主要問題是如何盡量使用先驗知識以提高重建質量。根據集合理論和成像模型，關于成像系統(tǒng)的沖激響應或PSF以及加性噪聲的統(tǒng)計特性等先驗知識，可視為對圖像重建結果的若干約束條件，每一約束條件對應于一個含有理想超分辨率圖像的凸集
這些凸集的交集 稱為圖像重建的可行域。顯然該可行域仍是一
個凸集，相應其中任一點 稱為一個可行解。
所謂的凸集投影(POCS)就是從給定的初始值出發(fā)，分別向約束集投影 ，得到可行域中一個可行解的一種迭代算法，其中 對應于到第j個凸集的投影。
傳感器的點擴散函數(shù)(PSF)和因欠采樣產生的混疊會使低分辨率圖像發(fā)生模糊。Stark和Oskoui在1987年首次提出將POCS技術應用于超分辨率來解決因傳感器產生的模糊和欠采樣混疊效應M。其原因是超分辨率解空間中可行解具有多個限制條件，而每一個限制條件都可以定義為向量空間中的凸集合。這些限制條件一般是超分辨率解比較理想的性質，如正定性、能量有界性、觀測數(shù)據一致性以及光滑性等。超分辨率重建問題的解空間就是這些凸的限制集的交空間。
POCS的算法簡單，并能夠充分利用先驗知識，但是這種算法求得的解不唯一，求解收斂速度慢，計算復雜度比較高。
6）MAP/ML/POCS混合算法:
MAP/ML/POCS混合算法是將隨機估計的算法與集合論POCS算法相結合得到的一種超分辨率重建算法，即在將解限制在特定的凸限制集合的交集空間的基礎上，對后驗概率或似然函數(shù)求最大值，從而得到HR圖像的最佳估計。
Schultz和Stevenson在文獻 中提出了一種約束MAP超分辨率算法，將迭代MAP算法與交互投影約束結合使用。在此基礎上，Elad和Feuer提出了一種ML／POCS混合算法，他們利用ML函數(shù)將超分辨率問題表示成隨機推論問題，用投影限制算法來確定最優(yōu)化。
混合算法將隨機算法和POCS算法的優(yōu)勢特征相結合，主要特點是所有的先驗知識都可以有效地結合使用，與POCS算法相比，能保證有一個最優(yōu)解。
2．4．2．7 Delaunary三角剖分法 Lertrattanapanich和Bose提出Delaunary三角剖分法，通過對使用空間棋盤形鋪嵌和用二元多項式作為平滑約束的中的三角塊進行逼近實現(xiàn)超分辨率重建 。
首先，使用投影模型得到各LR幀的運動參數(shù)估計，建立覆蓋由LR幀配準得到的不規(guī)則采樣光柵的離散頂點集合的Delaunay三角剖分，估計每個三角剖分的頂點的梯度向量。
其次，用一個連續(xù)并且連續(xù)可導的表面來逼近三角剖分中的每個三角塊，其目的是使之符合某個平滑約束，文獻 中采用二元三次多項式。當所有的三角塊符合平滑表面后，通過二元三次多項式的簡單計算可以得到HR柵格頂點的像素值，從而得到HR的初始圖像，即噪聲模糊HR圖像。最后，使用塊插入的算法來對HR初始圖像進行局部更新，去除模糊和噪聲，直到圖像質量符合要求。
三角剖分法算法的理論基礎不同于基于概率和基于集合理論的算法。與經典的反向投影算法及小波超分辨率算法相比，主要優(yōu)點在于它的低計算時間、可實現(xiàn)并行處理以及局部更新特征。最重要的一點是，該算法對內存的需求比較低，特別適合硬件處理。但是它也有潛在缺點，即在插值中，對表面使用的三次多項式函數(shù)擬合可能不夠平滑。
8）、 基于學習的算法：
超分辨率重建中，隨著分辨率提高倍數(shù)的增加，LR圖像序列所能提供的冗余信息顯得不足，此時不能靠增加LR圖像的數(shù)量來產生新的高頻細節(jié)。這種情況下，關于圖像本身的先驗知識就顯得非常重要。獲得先驗知識的方法除了統(tǒng)計方法(概率方法)外，另一個重要的方法就是神經網絡，可以通過神經網絡的學習訓練得到。
一個圖像像素的集合是一種特殊類型的信號集，和一個完全隨機的變量序列相比，它的變化較少，可以通過神經網絡建立高低分辨率圖像之間的對應關系。
基于學習的算法主要有以下幾個步驟。
第一步，將高分辨率圖像按照退化模型進行退化，產生訓練集合；
第二步，根據高低分辨率塊的對應關系，通過神經網絡進行訓練學習；
第三步，根據輸入的低分辨率塊搜索最匹配的高分辨率塊：
其中，學習算法和搜索算法的設計是該算法的核心問題。
最近Hertzmann等人使用了一個基于訓練的算法來處理超分辨率問題，在不同的圖像之間使用類推的算法。William和Freeman等人采用一種學習的算法來實現(xiàn)單幀圖像的超分辨率重建。Baker和Kanade著重研究在圖像類別己知的情況下進行圖像放大。
基于學習的圖像超分辨率重建算法雖然不能產生完全正確的高分辨率信息，但是可以得到一些合成的、視覺上似是而非的圖像細節(jié)，例如銳化的邊緣、模糊的紋理。從理論上講，如果訓練集合是通用的，就可以使用這個訓練集合對各種類型的圖像進行放大，但是從文獻報道來看，目前算法還僅僅局限適用于訓練圖像和重建圖像類型相似的情況�；谟柧毤系乃惴▽τ趫D像放大、去除噪聲、三維表面重構以及圖像成像有所幫助。
2．5．1算法比較與總結
超分辨率圖像重建的頻域算法和空域算法各有優(yōu)缺點。頻域算法的思路比較清晰，其算法原理都是基于傅里葉變換的平移和混疊特性，易于理解；算法的計算較為簡單，基于FFT技術的運算速度較快，并且單個頻率點可以單獨計算，易于實現(xiàn)大規(guī)模并行運算。但其觀測模型過于簡單，只能適用于理想情況下的圖像重建，對于有運動模糊和觀測噪聲的情況，其重建質量明顯下降。另外，頻域算法的數(shù)學模型也很難對HR圖像的先驗知識進行建模，無法有效地約束求解結果，而頻域的計算誤差又會對空域圖像產生整體影響，因此實際工程應用中很難得到穩(wěn)定而可靠的解。
空域超分辨率算法相對于頻域算法最大的特點在于其靈活性，算法直接對空域圖像像素做處理，可以靈活地對全局運動和局部運動、光學模糊和運動模糊以及隨機噪聲等進行建模。特別是基于POCS和MAP算法的數(shù)學框架，對復雜的觀測模型兼容性很好�？沼蛩惴ǖ挠嬎氵^程通�？梢圆捎谜齽t化的方法約束求解結果，因此易于包含圖像的先驗知識，而先驗知識對于病態(tài)反問題的求解非常重要。但空域算法也有其缺陷，其算法的機理大多數(shù)基于最優(yōu)化理論，相對于頻域算法其原理較為復雜，不直觀。雖然其觀測模型的靈活度非常高，但相應地其計算量也非常大，特別是采用迭代的計算方法，其運算時間往往較長。
2．6本章小結
本章首先對圖像超分辨率重建算法的觀測模型的構建進行了介紹，指出了圖像超分辨率重建算法是一個病態(tài)反問題及其原因，然后對圖像超分辨率重建過程進行了詳細分析，其主要可以分為圖像配準、插值和重建幾個步驟。最后，對圖像超分辨率重建技術的主流技術，即頻域算法和空域算法進行了詳盡的分析和比較。










第三章 基于MAP的BTV超分辨率圖像重建算法

由前文可知，因基于圖像建模理論的正則化超分辨率重建框架所具有的靈活性，使之成為了當前SR重建技術研究的主要方向。在MAP框架下，SR重建就是一個基于馬爾柯夫隨機場（Markov Random Field，MRF）先驗圖像模型的統(tǒng)計推斷問題，且先驗統(tǒng)計模型的合理性直接決定著超分辨率重建圖像的效果。
運用信號處理技術從一系列模糊、混有噪聲的多幅低分辨率(LR)圖像中,創(chuàng)建一幅或多幅細節(jié)更加豐富的高分辨率(HR)圖像,這種方法就稱為圖像超分辨率重建 (SR)。SR算法主要分為空域和頻域方法兩大類。其中,頻域法直觀簡單且計算復雜度低,但不能包含圖像空域先驗信息,缺乏數(shù)據間的相關性,已不是研究的主流�？沼蚍椒`活性強,有較好包含空域先驗約束信息的能力,主要方法有迭代反向投影法、凸集投影法(POCS)、MAP法、混合POCS/MAP法、正則化方法、基于學習的方法、小波方法等。其中基于MAP框架下圖像超分辨率正則化技術可以直接加入先驗信息約束、去噪能力強、邊緣保持好,靈活性強、適用范圍廣,是當前SRR算法研究的熱點之一。本文以圖像灰度連續(xù)性為先驗信息,提出了一種基于梯度連續(xù)和雙邊全變差(BTV)的雙正則項目標方程,而對于數(shù)據保真項,我們采用Lorentzian范數(shù)構造,實驗證明本文方法去除各類噪聲的能力較強,邊緣保持較好。
3.1簡要的介紹MAP正則化目標函數(shù)
基于MAP的代價函數(shù)表示為如下形式：
(3.1)
通常稱λ為正則化參數(shù)；C為正則化算子。要使得(3.1)式取最小，直接的方法是對其求偏微分并令其為零，如下式所示：
（3.2）
上式中，R通常是一個非常大的矩陣，例如，對于一幅1000*1000的圖像*，矩陣R的大小為106 *106，這樣的矩陣不僅要耗費巨大的內存資源，而且在運算中，
即使它的逆矩陣存在，也很難求出具體的結果。因此，通常情況下，我們可以利
用基于梯度的迭代方法求方程的最優(yōu)解，得到迭代公式如下：
（3.3）
(3.4)
n=0，1，2…為迭代次數(shù)，β為迭代步長。
在求解最優(yōu)的過程中，首先應選取一個初始值 ，代入式(3.4)中求出梯度g(n)，然后將g(n)代入式(3.3)中對估計值進行修正。迭代過程直到滿足預先所設定的終止條件時停止，此時的估計值 就是所要求的最佳估計。
目標方程(3.1)是在假設噪聲服從零均值高斯分布和圖像先驗模型采用Gauss-Markov隨機場的情況下得到的。因此，基于MAP框架的更為通用的目標函數(shù)框架可表示為：
（3.5）
其中，前一項稱為保真度項；后一項稱為正則化項；λ為正則化參數(shù)；l代表了范數(shù)的階數(shù)。采用不同的先驗信息和概率模型，目標方程的細節(jié)會有所變化，算法的性能也會有所改變。
3.2代價方程保真度項分析
3.2.1二階范數(shù)算法分析
通過前面3.1節(jié)的討論，最終得到了基于MAP正則化算法的代價方程式式(3.5)。其中，第一項稱為保真度項，從物理意義上理解，它反應了重建圖像與原始圖像真實值之間的誤差。當重建結果越接近真實值時，對它進行同樣的降質過程得到的低分辨率圖像就越與已觀測到的LR圖像相近似，該項的值就越小。
關于式(3.5)中l(wèi)的選擇，由于要保證整個代價函數(shù)為凸函數(shù)性質，因此l的取值一般應滿足1≤l≤2。在應用中為便于計算，常取l=1或l=2。當取l=2時，即采用二階范數(shù)，由前面的推導可知，這實際上是假設圖像系統(tǒng)的噪聲服從零均值高斯分布時的情況。因此，采用二階范數(shù)重建算法適合于噪聲服從高斯分布的圖像系統(tǒng)，而對于其它的噪聲，它的重建效果將會受到一定的影響。
3.2.2一階范數(shù)算法分析
通過以上對于二階范數(shù)重建算法的分析，可知它是在假設圖像系統(tǒng)的噪聲服從高斯分布的條件下得出的，對于含有高斯噪聲的圖像重建效果較好，但對于存在非高斯分布奇異值的情況，其恢復的結果中就會有明顯的偏差。因此，二階范數(shù)的重建方法不具有魯棒性。
為了更加方便的衡量算法的魯棒性，我們引入失效點的概念。它用百分比表示，表示使得估計結果產生偏差時歧義點的數(shù)目所占的最小比例。例如：對于均值估計，一個歧義點的存在就可能使得均值偏離預期，所以均值估計的失效點就為0。而對于魯棒的估計算法，如取中值估計，失效點可以達到最高的值為0.5。這就表明在歧義點的個數(shù)不超過點集的一半時，中值估計的結果將不會受到影響。
考慮保真度項的相應目標函數(shù)： 。假設系統(tǒng)具有相同的空間不變的PSF和相同的下采樣因子[27]，則有 ，同時，僅考慮存在平移運動的情況，矩陣B和 都是塊循環(huán)矩陣，由塊循環(huán)矩陣的性質可知： 。因此，保真度項的目標函數(shù)可重新表示為： (3.6)
其中Z=B*，則求最小的問題就分解成了兩步：(1)從LR圖像中求出模糊的HR圖像Z；對Z進行去模糊操作得到*。
對(3.6)式求梯度得：
(3.7)
表示向量對應元素的乘積。另 可求出解Z。對于所要求解的Z的簡單解釋是：向量Z是給定像素點上所有觀察值的加權平均。我們考慮l=2時
(3.8)
文獻[29]中已證明，l=2時是在像素點上對觀察信息求平均值的過程。如果l=1，則梯度為：
(3.9)
注意到， 的矩陣操作是將低分辨率網格上的像素值平移后復制到相應的高分辨率網格適當?shù)奈恢�，高分辨率網格的其余部分填零；而 的矩陣操作是將高分辨率網格中的像素值復制到低分辨率網格，這兩個過程都沒有改變像素值，示意圖如3-4所示。

因此，根據式(3.9)，可知每一幀LR圖像對于Z中相對應像素值的影響有如下三種形式：
(1)像素值加0，當填充值為0時；
(2)像素值加1，當Z中像素值大于相應的 中的像素值時；
(3)像素值減1，當Z中的像素值小于相應的 中的像素值時；
由此可以得出結論，一階范數(shù)的重建結果Z中的像素值，是低分辨率圖像中相應像素值的中值。*可以通過對Z去模糊操作得到。
根據前面的討論已知，二階范數(shù)求最小相當于假設系統(tǒng)噪聲服從高斯分布。實際上，一階范數(shù)求最小相當于假設系統(tǒng)的噪聲分布服從拉普拉斯分布[28][29]。
3.3 實驗仿真與分析
本節(jié)實驗中，我們將采用雙線性插值的方法重建算法，對16幅低分辨率圖像進行超分辨率重建。實驗中假定低分辨率圖像序列間僅存在平移運動，點擴散函數(shù)為平移不變的，并且所有的低分辨率圖像都具有相同的下采樣算子(即 )。由于矩陣F，B，D以及它們的轉置，在實驗中都可以通過直接在圖像上進行平移、模糊和下采樣等操作來實現(xiàn)，因此就無需構造大矩陣H，這使得算法的實現(xiàn)更加快速有效。
為了增加實驗的可靠性，拍攝了幾組的低分辨率圖像。我們利用16幅LR（90*90）圖像進行超分辨率重建，得到一幅256*256的圖像。結果如下圖所示：
LR圖像 雙三次插值得到的圖像
由上圖可見，采用直接的插值算法難以得到滿意的HR圖像，圖像輪廓在一定程度上變得模糊。接下來的實驗將證明而采用基于一階范數(shù)的重建算法，在完全配準和高斯噪聲的情況下，不僅能夠較好的抑制噪聲的影響，同時也能夠有效的恢復出圖像的高頻細節(jié)信息。
以下我們還是選用具有全局平移運動的16幅低分辨率圖像作為測試圖像，運動信息未知，實驗中利用簡單的頻域算法進行運動信息的估計。同時，假設未知的PSF是5*5的平均模糊。實驗結果如下圖3-6所示：

雙三次插值圖像、BTV圖像
上圖中，利用一階范數(shù)重建的結果中物體邊緣出現(xiàn)了明顯的模糊，這主要是由于配準算法不夠精確，使得估計的運動信息不準造成的；而在使用相同的配準參數(shù)條件下，一階范數(shù)重建結果應該物體邊緣更為清晰。因為二階范數(shù)重建算法對于配準誤差沒有一定的魯棒性，能夠在配準存在誤差時無法保證重建的效果。
3.3代價方程正則化項分析-雙邊濾波正則化算子
通過3.1節(jié)的推導，我們得出了代價方程(3.5)：

其中，通常稱第二項為正則化項；λ為正則化參數(shù)（關于λ的選取將在下一章討論）。由于超分辨率重建問題的不適定性，需要正則化來保證得到穩(wěn)定的解。同時，通常正則化項都是關于原始圖像系統(tǒng)先驗信息的一種描述，因此在重建的過程中能夠幫助去除結果中的奇值，提高算法的收斂速率。在選擇使用正則化條件時，我們所希望的是即易于實現(xiàn)，又能夠較好的保持圖像邊緣細節(jié)信息的正則化項。
為了能夠很好的去除圖像中的噪聲影響，通常假設圖像的先驗知識為全局平滑的。文獻[32]中提出了一種更為成功的正則化方法，稱為總變差（Total Variation，TV）法。該方法通過在L1范數(shù)下計算圖像梯度來衡量圖像總的變化，并對圖像總的變化量進行限制，如下式：
(3.10)
其中 是梯度算子�？傋儾罘ㄗ畲蟮膬�(yōu)勢在于能夠在抑制重建圖像中的噪聲的同時，很好的保留圖像的邊緣細節(jié)信息。
在總變差正則化的基礎上，文獻[27]提出了一種基于雙邊濾波器（BTV）的正則化算法，不僅在計算上易于實現(xiàn)，而且能夠保持邊緣信息。其正則化函數(shù)形式寫為：
(3.11)
其中 和 為矩陣算子，表示將*在水平和垂直方向分別平移l和k個像素值， 代表了*在不同尺度上的差分；α為權重系數(shù)(0<α<1)，通過調整α的值，能夠實現(xiàn)正則化的權重系數(shù)在空域上遞減。由此可見，在BTV正則化項中，同時引入了值域和空域上的雙重約束。在圖像內容的邊界處，濾波窗口會沿著邊沿方向選取算子的大小，選取合適的數(shù)據進行正則化求解。
當m=0,l=1,α=1或m=1,l=0,α=1時，(3.11)式就變?yōu)榱?br> (3.12)
其中 表示一階微分。在[33]中證明了式(3.12)是對TV正則化的一種計算效率更高的可靠估計。BTV正則化可看成其它正則化的一般形式。
結合上一節(jié)中給出的一階范數(shù)重建算法和本節(jié)所討論的BTV正則化算子，我們得到代價方程如下：
(3.13)
由于一階范數(shù)的魯棒性，式(3.13)所代表的就是一種魯棒的重建算法。此最小化問題能夠通過利用最陡下降算法求解，得到求解公式如(3.14)，通過迭代求解最終可以 ……（未完，全文共93515字，當前僅顯示16820字，請閱讀下面提示信息。收藏《畢業(yè)論文：圖像重建數(shù)學模型和超分辨率空域重建算法研究》）