TWI476730B - 數位影像的反扭曲處理方法 - Google Patents

數位影像的反扭曲處理方法 Download PDF

Info

Publication number
TWI476730B
TWI476730B TW101140421A TW101140421A TWI476730B TW I476730 B TWI476730 B TW I476730B TW 101140421 A TW101140421 A TW 101140421A TW 101140421 A TW101140421 A TW 101140421A TW I476730 B TWI476730 B TW I476730B
Authority
TW
Taiwan
Prior art keywords
block
coordinate
value
triangle
image
Prior art date
Application number
TW101140421A
Other languages
English (en)
Other versions
TW201417044A (zh
Inventor
Jen Chih Wu
Original Assignee
Vivotek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivotek Inc filed Critical Vivotek Inc
Priority to TW101140421A priority Critical patent/TWI476730B/zh
Priority to US13/846,213 priority patent/US8942513B2/en
Priority to CN201310429402.9A priority patent/CN103793879A/zh
Priority to EP13187348.1A priority patent/EP2728544B1/en
Publication of TW201417044A publication Critical patent/TW201417044A/zh
Application granted granted Critical
Publication of TWI476730B publication Critical patent/TWI476730B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Description

數位影像的反扭曲處理方法
一種數位影像的處理方法，特別有關於一種數位影像的反扭曲處理方法。
隨著監控設備的普及化，越來越多人會裝設監控設備來保障自身的財產與人身安全。為能無死角的監控，因此有廠商提出可全景(panorama)拍攝的攝影機。而全景攝影機的實現方式可以由多組鏡頭所接合而成，也可以利用以單一個魚眼鏡頭(fisheye lens)而實現。全景拍攝的優點在於可以全方位且無死角的方式觀看所拍攝的數位影像。
而透過全景拍攝的數位影像必然會有畫面扭曲的情況。因此使用者難以從扭曲的畫面中觀看特定區域。所以為能提供使用者方便觀看，需要將數位影像進行反扭曲(de-warp)的處理。習知的反扭曲處理係將數位影像的每一像素(pixel)依序的進行座標轉換，並且於轉換中對非整數座標進行插補(interpolation)處理。而反扭曲的處理需要用到大量的計算，因此以嵌入式系統(embedded system)搭配單晶片(system on a chip，SoC)設計的攝像裝置恐難負擔反扭曲處理時所需的運算量。
若欲即時的對全景拍攝的數位影像進行反扭曲處理，則需要將攝像裝置連接於其他具有高效能的計算機裝置，如桌上型電腦(PC)等。再由連接的高效能計算機裝置對全景拍攝的數位影像進 行反扭曲處理。而這些的繁複的影像處理勢必會增加監控系統的設置成本，更重要的，會影響系統的可擴充性(scalability)。
鑒於以上的問題，本發明在於提供一種數位影像的反扭曲處理方法。
本發明所揭露之數位影像的反扭曲處理方法包括以下步驟：將第一影像視窗切分為多個第一區塊；根據這些第一區塊的數量與位置將第二影像視窗的欲反扭曲區域劃分多個第二區塊；以第一區塊的一組第一頂點座標值與所對應位置的第二區塊的一組第二頂點座標值進行座標轉換處理，用以得到座標轉換參數；根據座標轉換參數對第一區塊中的每一個座標值進行座標轉換處理，並產生對應於第二區塊的推估座標值；根據推估座標值從第二影像視窗中取得像素內容值(如顏色、亮度等)，並將像素內容值運算後(如interpolation)寫入第一區塊的座標值的像素；重複所有這些第一區塊與這些座標值，直至完成第一影像的像素輸出。
本發明另提出一種數位影像的反扭曲處理方法包括以下步驟：將第一影像視窗切分為多個第一區塊；根據這些第一區塊的數量與位置將第二影像視窗劃分多個第二區塊；以第一區塊的一組第一頂點座標值與所對應位置的第二區塊的一組第二頂點座標值進行座標轉換處理，用以得到座標轉換參數；重複每一第一區塊與所對應第二區塊的座標轉換處理，並將每一座標轉換參數依序記錄於對應表中；將全景影像載入至第二影像視窗，並將全景 影像劃分成與這些第二區塊相同數量的多個第三區塊；將對應表的這些座標轉換參數導入並對相應位置的第一區塊與第三區塊進行座標轉換處理，用以產生第一區塊內每一像素座標對應於第三區塊的推估座標值；根據推估座標值從第二影像視窗中取得像素內容值，並將像素內容值運算後(如interpolation)寫入第一影像視窗中的座標值的像素。
本發明所提出的數位影像的反扭曲處理方法可以應用在以全景拍攝裝置拍攝時所產生的已扭曲影像的還原處理。本發明的處理方法可以降低反扭曲時的運算量，藉以加快數位影像在還原時的處理速度。
有關本發明的特徵與實作，茲配合圖式作最佳實施例詳細說明如下。
本發明除了應用於數位影像處理裝置100之中，亦可透過計算機(computer)執行數位影像的反扭曲處理。而本說明書中係以數位影像處理裝置100作為說明。本發明的數位影像處理裝置100包括影像輸入單元110、處理單元120與儲存單元130。請參考第1圖所示，其係為本發明之架構示意圖。
處理單元120電性連接於影像輸入單元110與儲存單元130。影像輸入單元110用以輸入(或拍攝)數位影像。數位影像的種類係為靜態圖像或動態影片。以數位影像處理裝置100而言，影像輸入單元110可能為感光元件，或其他可以拍攝全景影像的輸 入介面。本發明的數位影像係由全景或魚眼的方式拍攝，所以所拍攝的影像畫面中被攝物與背景會有變形的情況。
為方便說明本發明的運作方式，因此在本發明中係以第一影像視窗與第二影像視窗作為顯示第一影像與第二影像。但第一視窗與第二視窗不限於一定要顯示給使用者觀看，也可以拿來另做運算而不顯示給使用者觀看。而第一影像視窗與第二影像視窗的顯示範圍大小可以相同，也可以依照固定比例進行縮放。舉例來說，第一影像視窗與第二影像視窗的大小可以為640*480的像素陣列大小。在本發明中係以第一影像視窗與第二影像視窗為相同解析度作為說明。
第一影像視窗用以播放已經過反扭曲處理後的第一影像。第二影像視窗係為全景拍攝時所得到的數位影像。所以第二影像的被攝物(或背景)可能會有扭曲變形的情況。
儲存單元130用以儲存反扭曲程序131與對應表132。對應表132記錄第一影像與第二影像間的多組座標轉換參數(其轉換過程將於後文詳述)。處理單元120根據第一影像與第二影像進行本發明的反扭曲處理。請參考第2圖所示，其係為本發明之反扭曲處理流程示意圖。本發明的反扭曲程序131包括以下步驟：步驟S210：將第一影像視窗切分為多個第一區塊；步驟S220：根據這些第一區塊的數量與位置將第二影像視窗的欲反扭曲區域劃分多個第二區塊；步驟S230：選擇第一區塊與相應位置的第二區塊； 步驟S240：以第一區塊的一組第一頂點座標值與所對應位置的第二區塊的一組第二頂點座標值進行座標轉換處理，用以得到座標轉換參數；步驟S250：根據座標轉換參數對第一區塊中的每一個座標值進行座標轉換處理，並產生對應於第二區塊的推估座標值；步驟S260：根據推估座標值從第二影像視窗中取得像素內容值，並將像素內容值運算後寫入第一區塊的座標值的像素；以及步驟S270：重複所有這些第一區塊與這些座標值，直至完成第一影像的像素輸出。
請參考第3A圖所示。首先，處理單元120將第一影像311的所在第一影像視窗310切分為多個第一區塊312。第一影像視窗310的第一影像311係為矩形，因此將第一影像311劃分為多個更小面積的矩形。
由於第二影像321係為全景影像，所以第二影像321在劃分每一個第二區塊322時，每一個第二區塊322並非都是相同的四邊形。此外，每一個第二區塊322的四邊並不一定是直線。例如：在第二影像321的邊緣部分。由於第二影像321的邊緣係呈現圓弧型，所以切分為第二區塊322時，這部分的第二區塊322的邊緣也是圓弧。而第二區塊322的劃分係根據第一區塊312的數量與位置，如第3B圖所示。
由於第二區塊322係為第二影像321視窗的一部分，因此第二區塊322可以透過第二影像視窗320的座標系統進一步的界定各像素的座標值。
如前文所述，第一區塊312係為矩形，所以第一區塊312具有四個頂點座標值。在此將第一區塊312的各頂點座標值定義為一組第一頂點座標值。同理，對於第二區塊322而言，也可以從第二影像視窗320中取得相應的一組第二頂點座標值。接著，處理單元120依序選出第一區塊312與相應的第二區塊322，並根據下述方式進行座標轉換的處理。
座標轉換處理的實施態樣1：仿射變換(affine transform)
處理單元120以第一區塊312的一組第一頂點座標值與所對應位置的第二區塊322的一組第二頂點座標值進行座標轉換處理。首先，請參考第4A圖所示，其係為本發明的仿射變換的座標轉換處理流程示意圖。
步驟S411：根據第一區塊的一組第一頂點座標值的其中三個頂點座標值決定第一三角形；步驟S412：根據第一三角形的位置從第二區塊的一組第二頂點座標值中決定一第二三角形；以及步驟S413：根據第一三角形的各頂點座標值與相應位置的第二三角形之各頂點座標值計算座標轉換參數。
由於第一區塊312係為矩形，所以可以將第一區塊312劃分為兩個不相互重疊的三角形。在此可任一選擇其中之一個三角 形，並將其所選的定義為第一三角形318。處理單元120根據第一區塊312從第二影像視窗320中取得相應位置上的第二區塊322。處理單元120並根據第二區塊322的第二頂點座標值與第一三角形318的位置決定第二三角形328，請參考第4B圖所示。換句話說，若選擇第一區塊312的左上方部分為第一三角形318，則處理單元120也會對應的選擇第二區塊322的左上方部分為第二三角形328。
處理單元120根據第一三角形318的各頂點座標值與相應位置的第二三角形328之各頂點座標值進行仿射變換。請參考下式1所示，其係為仿射變換之計算方式：
(Xi ，Yi )為第二三角形328的頂點座標值，(Xo ，Yo )為第一三角形318的頂點座標值，(a1 ，a2 ，a3 ，b1 ，b2 ，b3 )係為該座標轉換參數。
處理單元120可以將第一三角形318與第二三角形328的三個頂點座標值帶入仿射變換的式1中。如此一來，處理單元120可以得到六元一次方程組。處理單元120再根據方程式解出所有的座標轉換參數。處理單元120可以根據這些座標轉換參數進一步計算第一三角形318中的各像素映射(mapping)到第二三角形328的對應像素(此一處理將於後文進一步詳述)。
第一區塊312除了第一三角形318外，還另有第三三角形319。而第一三角形318與第三三角形319不相互重疊。第二區塊322則包含第二三角形328與第四三角形329，第二三角形328對應於第四三角形329。
在本發明的一實施例中，直接將第一三角形318與第二三角形328間的座標轉換參數套用於第三三角形319與第四三角形329間。
在本發明的另一實施例中，處理單元120判斷第二三角形328與第四三角形329的外型差異量是否大於外型門檻值。而外型差異量的判斷方式可以藉由兩三角形的面積差值所決定，但不限此方式。如果第二三角形328與第四三角形329的外型差異量小於一外型門檻值，則可將第四三角形329視為與第二三角形328相同，並將第一三角形318與第二三角形328間的座標轉換參數套用於第三三角形319與第四三角形329間。如果第二三角形328與第四三角形329的外型差異量大於外型門檻值，則再計算第三三角形319與第四三角形329間的座標轉換參數。
座標轉換處理的實施態樣2：透視變換(perspective transform)
除了上述的實施態樣外，本發明另提出透視變換處理方法。請參考第4C圖所示，其係為本發明的透視變換的處理流程示意圖。本發明的透視變換處理包括以下步驟：步驟S421：取得第一區塊的四個頂點座標值；步驟S422：取得相應位置的第二區塊之四個頂點座標值；以 及步驟S423：根據第一區塊的四個頂點座標值與第二區塊之四個頂點座標值，計算座標轉換參數。
處理單元120取得第一區塊312的四個頂點座標值與第二區塊322的四個頂點座標值。處理單元120根據第一區塊312與第二區塊322的各頂點座標值進行下式2的計算：
(Xi ，Yi )為第二區塊322的一頂點座標值，(Xo ，Yo )為第一區塊312的一頂點座標值，(a1 ，a2 ，a3 ，b1 ，b2 ，b3 ，c1 ，c2 )係為該座標轉換參數。
在此將第一區塊312的各頂點座標值定義為一組第一頂點座標值。同理，對於第二區塊322而言，也可以從第二影像視窗320中取得相應的一組第二頂點座標值。將第一頂點座標值與第二頂點座標值帶入式2後，可以得到八元一次方程組，並從該些方程式中解出座標轉換參數。處理單元120再根據方程式解出所有的座標轉換參數。
在取得座標轉換參數後，處理單元120可以將第一區塊312中的每一座標值進行座標轉換處理。而經過轉換後，可以得到第一區塊312的每一座標值是對應於第二影像視窗320中的哪一個 位置。在此將在第二影像視窗320中所得到的座標定義為推估座標值。
處理單元120根據推估座標值，並取得該推估座標值的像素值。而由於數位影像中的像素位置係為整數。例如：第二影像視窗320中的像素的座標值可能為(100,100)或(123,321)。但由於推估座標值的計算方式，使得計算結果可能並非整數。所以在本發明中若計算出來的座標值不是整數時，則取最接近的鄰近點(像素)的像素內容值，並將這幾個像素進行計算，使得最後的計算結果輸出成單一的整數。最後才將此一整數的結果寫入第一區塊312。換句話說，本發明針對推估座標值在非整數的情況提出以下的處理。請參考第5圖所示，其係為本發明的推估座標值的處理流程示意圖。
步驟S510：判斷推估座標值是否為整數；步驟S520：若推估座標值不為整數，根據推估座標值取得上限座標與下限座標；步驟S530：從第二影像視窗中取得上限座標與下限座標的多個像素值；步驟S540：將所有像素值進行加權均值處理，並將像素內容值寫入第一影像視窗的座標值的像素；以及步驟S550：若推估座標值為整數，則以推估座標值查找第二影像視窗的像素內容值，並將像素內容值寫入第一影像視窗的座標值的像素。
處理單元120得到推估座標值後，處理單元120會判斷推估座標值是否為整數。當推估座標值為整數時，則處理單元120則直接調用第二影像視窗320中推估座標值上的像素值。處理單元120將該點的像素值寫入第一區塊312的對應位置中。
當推估座標值不為整數時，處理單元120根據推估座標值取得上限座標與下限座標。而上限座標的選取方式是將推估座標值的數值以上限(ceiling)的方式，選取接近且大於該推估座標值的整數部分。對於下限座標的選取的方式是將推估座標值的數值以下限(floor)的方式，則是選取接近且小於該推估座標值的整數部分。
舉例來說，從第一區塊312中選擇一座標點(100,100)，意即Xo =100,Yo =100。並假設推估座標值所計算的結果是Xi =101.79、Yi =102.13。因此推估座標值並非整數，所以無法從該推估座標值取得像素值。所以處理單元120會對推估座標值進行上限、下限的處理。而推估座標值係由二維陣列的方式所構成，此一例子中的推估座標值具有X、Y軸的兩組數字。所以推估座標值經過上限、下限的處理與排列後將會得到(101,102)、(101,103)、(102,102)、(102,103)四種組合。處理單元120會先從第二影像視窗320的四個座標上取得該點的像素值。接下來，處理單元120會將四個像素內容值進行加權均值運算，並將均值運算所得到像素內容值寫到第一區塊312的相應位置上。上述的均值運算，在本實施方式中係為雙線性內插法(bilinear interpolation)，但不限定於此 法。
處理單元120根據前文所述的方式再對其他第一影像視窗310的其他座標進行相應的處理，直至完成第一影像視窗310中的所有像素為止。此一實施態樣可以由處理單元120即時的將所輸入的影像進行反扭曲處理。此一實施態樣主要被應用在第二影像321所欲反扭曲的範圍會改變的情況。一般而言，使用者可以對全景攝影機進行電子式PTZ操作：左右轉動(pan)、調整往上(或下)或縮放(zoom in/out)。特別是縮放的過程中，第二影像321中的第二區塊322的比例也會隨之改變。因此可以藉由本實施態樣即時的演算出對應的第一影像視窗310。
而除了前述的實施態樣外，本發明另對固定欲反扭曲範圍的第二影像321提出其他的變化態樣。請參考第6圖所示，其係為本發明的另一實施態樣的流程示意圖。
步驟S610：將第一影像視窗切分為多個第一區塊；步驟S620：根據這些第一區塊的數量與位置將第二影像視窗劃分多個第二區塊；步驟S630：以第一區塊的一組第一頂點座標值與所對應位置的第二區塊的一組第二頂點座標值進行座標轉換處理，用以得到座標轉換參數；步驟S640：重複每一第一區塊與所對應第二區塊的座標轉換處理，並將每一座標轉換參數依序記錄於對應表中； 步驟S650：將全景影像載入至第二影像視窗，並將全景影像劃分成與這些第二區塊相同數量的多個第三區塊；步驟S660：將對應表的這些座標轉換參數導入並對相應位置的第一區塊與第三區塊進行座標轉換處理，用以產生第一區塊內每一像素座標對應於第三區塊的推估座標值；以及步驟S670：根據推估座標值從第二影像視窗中取得像素內容值，並將像素內容值運算後寫入第一影像視窗中的座標值的像素。
處理單元120根據前一實施態樣所述的方式進行第一區塊312的劃分。接著，處理單元120再計算第一區塊312與第二區塊322的座標轉換參數。當處理單元120完成第一區塊312的座標轉換參數後，處理單元120會寫入對應表132中。
在完成對應表132後，處理單元120會將對應表132儲存至儲存單元130中。接著，影像輸入單元110另外拍攝新的影像時(將其定義為全景影像)，處理單元120將全景影像載入至第二影像視窗320，並將全景影像劃分成與這些第二區塊322相同數量的多個第三區塊。處理單元120將對應表132的這些座標轉換參數導入並對相應位置的第一區塊312與第三區塊進行座標轉換處理，用以產生第一區塊312內每一像素座標對應於第三區塊的推估座標值。處理單元120根據推估座標值從第二影像視窗320中 取得像素內容值，並將像素內容值運算後(如bilinear interpolation)寫入第一影像視窗310中的座標值的像素。重複對每一第一區塊312的計算，直至所有第一影像視窗310的像素被填滿為止。
上述各實施態樣，倘若第二區塊322的變形程度太過嚴重或涵蓋面積過大，會使得所得到的推估座標值與實際的座標值誤差太大，而影響反扭曲的效果。我們可藉由縮小第一區塊312的面積，來減少這種誤差。參考第4B圖所示，在此定義包圍第二區塊322之最小矩形為第二之一區塊。第二之一區塊的面積，可做為判斷第二區塊322變形程度與涵蓋面積的依據。可設定一面積門檻值，若第二之一區塊的面積大於此門檻值，則將第一區塊312切割為至少兩塊矩形，其中，切割的方式可以從水平軸向進行切割，也可以由垂直軸向進行切割。但切割的原則是子區塊需包含第一區塊312的兩個頂點座標值。如此持續切割，使第二之一區塊的面積不大於門檻值為止，再重新計算座標轉換參數。
為避免上述切割步驟次數的不確定性造成問題，可定義一切割次數門檻值。若切割次數已大於等於該切割次數門檻值，則停止切割步驟，再重新計算座標轉換參數。
本發明所提出的數位影像的反扭曲處理可以應用在以全景拍攝裝置時所產生的已扭曲影像的還原處理。本發明的處理方法可以降低反扭曲時的運算量，藉以加快數位影像在還原時的處理速度。
雖然本發明以前述之較佳實施例揭露如上，然其並非用以限 定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。
100‧‧‧數位影像處理裝置
110‧‧‧影像輸入單元
120‧‧‧處理單元
130‧‧‧儲存單元
131‧‧‧反扭曲程序
132‧‧‧對應表
318‧‧‧第一三角形
319‧‧‧第三三角形
310‧‧‧第一影像視窗
311‧‧‧第一影像
312‧‧‧第一區塊
320‧‧‧第二影像視窗
321‧‧‧第二影像
322‧‧‧第二區塊
328‧‧‧第二三角形
329‧‧‧第四三角形
第1圖係為本發明之架構示意圖。
第2圖係為本發明之反扭曲處理流程示意圖。
第3A圖係為本發明的第一區塊的切分示意圖。
第3B圖係為本發明的第二區塊的切分示意圖。
第4A圖係為本發明的仿射變換的座標轉換處理流程示意圖。
第4B圖係為本發明的第一三角形與第二三角形之選擇示意圖。
第4C圖係為本發明的透視變換的處理流程示意圖。
第5圖係為本發明的推估座標值的處理流程示意圖。
第6圖係為本發明的另一實施態樣的流程示意圖。

Claims (12)

  1. 一種數位影像的反扭曲處理方法，用以將一第一影像輸出於一第一影像視窗中，該第一影像係根據一第二影像視窗中的一第二影像的部分區域所輸出，該反扭曲處理方法步驟包括：將該第一影像視窗切分為多個第一區塊；根據該些第一區塊的數量與位置將該第二影像視窗劃分多個第二區塊；以該第一區塊的一組第一頂點座標值與所對應位置的該第二區塊的一組第二頂點座標值進行一座標轉換參數的運算，用以得到一座標轉換參數；根據該座標轉換參數對該第一區塊中的每一座標值進行一座標轉換處理，並產生對應該第二區塊的一推估座標值；根據該推估座標值從該第二影像視窗中取得一像素內容值，並將該像素內容值寫入該第一區塊的一座標值的像素；以及重複所有該些第一區塊與該些座標值，直至完成該第一影像的像素輸出；其中劃分該第一區塊與該第二區塊的步驟後更包括：將包圍該第二區塊之範圍定義為一第二之一區塊，比較該第二之一區塊之面積是否超過一門檻值；若面積未超過該門檻值，則計算該第一區塊與該第二區塊之該座標轉換參數；以及若面積超過該門檻值，則將該第一區塊切割成至少兩個子區塊，且包圍所有的該些子區塊範圍的面積不超過該門檻值。
  2. 如請求項1所述之數位影像的反扭曲處理方法，其中產生該座 標轉換參數的步驟包括：以該些子區塊進行該座標轉換參數的運算，並產生相應的該座標轉換參數。
  3. 如請求項1所述之數位影像的反扭曲處理方法，其中進行該座標轉換參數的運算的步驟包括：根據該第一區塊的該組第一頂點座標值決定一第一三角形；根據該第一三角形的位置從該第二區塊的該組第二頂點座標值中決定一第二三角形；以及將該第一三角形的各頂點座標值與相應位置的該第二三角形之各頂點座標值進行仿射變換算式，用以進行該座標轉換參數的運算；其中，根據如下仿射變換算式進行該座標轉換參數的運算 (Xi ，Yi )為該第二三角形的頂點座標值，(Xo ，Yo )為該第一三角形的頂點座標值，(a1 ，a2 ，a3 ，b1 ，b2 ，b3 )係為該座標轉換參數。
  4. 如請求項3所述之數位影像的反扭曲處理方法，其中產生該座標轉換參數的步驟包括：從該第一區塊選擇一第三三角形，且該第一三角形不重疊於該第三三角形；以及根據該第三三角形的各頂點座標值與相應位置的一第四三角形之各頂點座標值進行仿射變換計算，用以計算該座標轉 換參數；其中，根據如下仿射變換算式計算該座標轉換參數 (Xi ’，Yi ’)為該第四三角形的頂點座標，(Xo ’，Yo ’)為該第三三角形的頂點座標，(a1 ’，a2 ’，a3 ’，b1 ’，b2 ’，b3 ’)係為該座標轉換參數。
  5. 如請求項1所述之數位影像的反扭曲處理方法，其中產生該座標轉換參數的步驟包括：根據該第一區塊的各頂點座標值與相應位置的該第二區塊之各頂點座標值計算該座標轉換參數；其中，根據下式計算該座標轉換參數， (Xi ，Yi )為該第二區塊的頂點座標值，(Xo ，Yo )為該第一區塊的頂點座標值，(a1 ，a2 ，a3 ，b1 ，b2 ，b3 ，c1 ，c2 )係為該座標轉換參數。
  6. 如請求項1所述之數位影像的反扭曲處理方法，其中在取得該像素內容值的步驟包括：判斷該推估座標值是否為整數；若該推估座標值不為整數，根據該推估座標值取得一上限 座標與一下限座標；從該第二影像視窗中取得該上限座標與該下限座標的多個像素值；將該些像素內容值進行加權均值處理，並將該處理後的像素內容值寫入該第一影像視窗的該座標值的像素；以及若該推估座標值為整數，則以該推估座標值查找該第二影像視窗的該像素內容值，並將該像素內容值寫入該第一影像視窗的該座標值的像素。
  7. 一種數位影像的反扭曲處理方法，用以將一第一影像輸出於一第一影像視窗中，該第一影像係根據一第二影像視窗中的一第二影像的部分區域所輸出，該反扭曲處理方法包括：將該第一影像視窗切分為多個第一區塊；根據該些第一區塊的數量與位置將該第二影像視窗劃分多個第二區塊；以該第一區塊的一組第一頂點座標值與所對應位置的該第二區塊的一組第二頂點座標值進行一座標轉換參數的處理，用以得到一座標轉換參數；重複每一該第一區塊的該座標轉換處理，並將每一該座標轉換參數依序記錄於一對應表中；將一全景影像載入至該第二影像視窗，並將該全景影像劃分成與該些第二區塊相同數量的多個第三區塊；將該對應表的該些座標轉換參數導入並對相應位置的該第一區塊與該第三區塊進行該座標轉換處理，用以產生該第一區塊內每一像素座標對應於該第三區塊的一推估座標值；以及根據該推估座標值從該第二影像視窗中取得一像素內容值，並將該像素內容值寫入該第一影像視窗中的該座標值的像 素；其中劃分該第一區塊與該第二區塊的步驟後更包括：將包圍該第二區塊之範圍定義為一第二之一區塊，比較該第二之一區塊之面積是否超過一門檻值；若面積未超過該門檻值，則計算該第一區塊與該第二區塊之該座標轉換參數；以及若面積超過該門檻值，則將該第一區塊切割成至少兩個子區塊，且包圍所有的該些子區塊的面積不超過該門檻值。
  8. 如請求項7所述之數位影像的反扭曲處理方法，其中產生該座標轉換參數的步驟包括：以該些子區塊進行該座標轉換參數的處理，並產生相應的該座標轉換參數。
  9. 如請求項7所述之數位影像的反扭曲處理方法，其中進行該座標轉換參數的處理的步驟包括：根據該第一區塊的該組第一頂點座標值決定一第一三角形；根據該第一三角形的位置從該第二區塊的該組第二頂點座標值中決定一第二三角形；以及用該第一三角形的各頂點座標值與相應位置的該第二三角形之各頂點座標值進行仿射變換算式運算，用以進行該座標轉換參數計算；其中，根據如下仿射變換算式進行該座標轉換參數計算 (Xi ，Yi )為該第二三角形的頂點座標值，(Xo ，Yo )為 該第一三角形的頂點座標值，(a1 ，a2 ，a3 ，b1 ，b2 ，b3 )係為該座標轉換參數。
  10. 如請求項9所述之數位影像的反扭曲處理方法，其中產生該座標轉換參數的步驟包括：從該第一區塊選擇一第三三角形，且該第一三角形不重疊於該第三三角形；以及根據該第三三角形的各頂點座標值與相應位置的一第四三角形之各頂點座標值進行仿射變換算式運算，用以進行該座標轉換參數計算；其中，根據如下仿射變換算式進行該座標轉換參數計算 (Xi ’，Yi ’)為該第四三角形的頂點座標值，(Xo ’，Yo ’)為該第三三角形的頂點座標值，(a1 ’，a2 ’，a3 ’，b1 ’，b2 ’，b3 ’)係為該座標轉換參數。
  11. 如請求項7所述之數位影像的反扭曲處理方法，其中產生該座標轉換參數的步驟包括：根據該第一區塊的各頂點座標值與相應位置的該第二區塊之各頂點座標值進行該座標轉換參數計算；其中，根據下式進行該座標轉換參數計算， (Xi ，Yi )為該第二區塊的頂點座標值，(Xo ，Yo )為該第一區塊的頂點座標值，(a1 ，a2 ，a3 ，b1 ，b2 ，b3 ，c1 ，c2 )係為該座標轉換參數。
  12. 如請求項7所述之數位影像的反扭曲處理方法，其中在取得該像素內容值的步驟包括：判斷該推估座標值是否為整數；若該推估座標值不為整數，根據該推估座標值取得一上限座標與一下限座標；從該第二影像視窗中取得該上限座標與該下限座標的多個像素值；將該些像素內容值進行均值處理，並將處理後的像素內容值寫入該第一影像視窗的該座標值的像素；以及若該推估座標值為整數，則以該推估座標值查找該第二影像視窗的該像素內容值，並將該像素內容值寫入該第一影像視窗的該座標值的像素。
TW101140421A 2012-10-31 2012-10-31 數位影像的反扭曲處理方法 TWI476730B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW101140421A TWI476730B (zh) 2012-10-31 2012-10-31 數位影像的反扭曲處理方法
US13/846,213 US8942513B2 (en) 2012-10-31 2013-03-18 De-warping processing method for digital images
CN201310429402.9A CN103793879A (zh) 2012-10-31 2013-09-18 数位影像的反扭曲处理方法
EP13187348.1A EP2728544B1 (en) 2012-10-31 2013-10-04 De-warping processing method for digital images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101140421A TWI476730B (zh) 2012-10-31 2012-10-31 數位影像的反扭曲處理方法

Publications (2)

Publication Number Publication Date
TW201417044A TW201417044A (zh) 2014-05-01
TWI476730B true TWI476730B (zh) 2015-03-11

Family

ID=49322236

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101140421A TWI476730B (zh) 2012-10-31 2012-10-31 數位影像的反扭曲處理方法

Country Status (4)

Country Link
US (1) US8942513B2 (zh)
EP (1) EP2728544B1 (zh)
CN (1) CN103793879A (zh)
TW (1) TWI476730B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192287B2 (en) 2016-11-29 2019-01-29 Industrial Technology Research Institute Image processing method and image system for transportation

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9984436B1 (en) * 2016-03-04 2018-05-29 Scott Zhihao Chen Method and system for real-time equirectangular projection
US9609197B1 (en) 2016-08-19 2017-03-28 Intelligent Security Systems Corporation Systems and methods for dewarping images
US9547883B1 (en) 2016-08-19 2017-01-17 Intelligent Security Systems Corporation Systems and methods for dewarping images
US10186067B2 (en) * 2016-10-25 2019-01-22 Aspeed Technology Inc. Method and apparatus for generating panoramic image with rotation, translation and warping process
US11210840B1 (en) 2020-08-27 2021-12-28 Aspeed Technology Inc. Transform method for rendering post-rotation panoramic images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7123777B2 (en) * 2001-09-27 2006-10-17 Eyesee360, Inc. System and method for panoramic imaging
TW200947349A (en) * 2008-05-06 2009-11-16 Primax Electronics Ltd Video processing method and video processing system
TW201143352A (en) * 2009-10-20 2011-12-01 Rakuten Inc Image processor, image processing method, and image processing program
TW201220251A (en) * 2010-11-01 2012-05-16 Mstar Semiconductor Inc Image correction method and image correction apparatus

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4862388A (en) * 1986-12-15 1989-08-29 General Electric Company Dynamic comprehensive distortion correction in a real time imaging system
IL79822A (en) * 1985-12-19 1990-03-19 Gen Electric Method of comprehensive distortion correction for a computer image generation system
US5319744A (en) * 1991-04-03 1994-06-07 General Electric Company Polygon fragmentation method of distortion correction in computer image generating systems
US5691765A (en) * 1995-07-27 1997-11-25 Sensormatic Electronics Corporation Image forming and processing device and method for use with no moving parts camera
US6380936B1 (en) * 1999-10-22 2002-04-30 Microsoft Corportion System and method for inferring projective mappings
US6819333B1 (en) * 2000-05-12 2004-11-16 Silicon Graphics, Inc. System and method for displaying an image using display distortion correction
NZ525129A (en) * 2003-10-03 2006-09-29 Bruce Peter Parker An improved transformation method for creating pre-distorted images to event surfaces of televised events
US7242407B2 (en) * 2004-05-28 2007-07-10 Lockheed Martin Corporation Reprojecting map images using graphical techniques
US7768545B2 (en) * 2007-03-06 2010-08-03 Otto Gregory Glatt Panoramic image management system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7123777B2 (en) * 2001-09-27 2006-10-17 Eyesee360, Inc. System and method for panoramic imaging
TW200947349A (en) * 2008-05-06 2009-11-16 Primax Electronics Ltd Video processing method and video processing system
TW201143352A (en) * 2009-10-20 2011-12-01 Rakuten Inc Image processor, image processing method, and image processing program
TW201220251A (en) * 2010-11-01 2012-05-16 Mstar Semiconductor Inc Image correction method and image correction apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192287B2 (en) 2016-11-29 2019-01-29 Industrial Technology Research Institute Image processing method and image system for transportation

Also Published As

Publication number Publication date
EP2728544A1 (en) 2014-05-07
US8942513B2 (en) 2015-01-27
US20140119653A1 (en) 2014-05-01
EP2728544B1 (en) 2018-10-31
CN103793879A (zh) 2014-05-14
TW201417044A (zh) 2014-05-01

Similar Documents

Publication Publication Date Title
TWI476730B (zh) 數位影像的反扭曲處理方法
US8326077B2 (en) Method and apparatus for transforming a non-linear lens-distorted image
US9262807B2 (en) Method and system for correcting a distorted input image
TWI441514B (zh) 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置
JP4658223B2 (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
US11871127B2 (en) High-speed video from camera arrays
KR20130112574A (ko) 확대된 영상의 화질을 개선하기 위한 장치 및 방법
US9369627B2 (en) Video processing apparatus, video processing system, and video processing method
TWI502548B (zh) 即時影像處理方法及其裝置
JP2023512272A (ja) 画像処理方法及び装置
JP2004264920A (ja) サムネイル画像を作成すると共にサイズ変更された画像の画像品質を改善する装置及び方法
KR101140953B1 (ko) 영상 왜곡 보정 장치 및 방법
JP5911166B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置
KR20210128203A (ko) 볼륨메트릭 3ｄ 동영상 제공 시스템 및 방법
JP5478533B2 (ja) 全方位画像生成方法、画像生成装置およびプログラム
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP7244661B2 (ja) 撮像装置及び画像処理方法
JP2003143473A (ja) 背景画像生成装置およびそのプログラム
JP4809316B2 (ja) 画像生成装置、プログラム、および記録媒体