TWI387935B - 影像生成方法、及其程式與記錄有程式的記錄媒體 - Google Patents
影像生成方法、及其程式與記錄有程式的記錄媒體 Download PDFInfo
- Publication number
- TWI387935B TWI387935B TW097139162A TW97139162A TWI387935B TW I387935 B TWI387935 B TW I387935B TW 097139162 A TW097139162 A TW 097139162A TW 97139162 A TW97139162 A TW 97139162A TW I387935 B TWI387935 B TW I387935B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- information
- difference
- pixel position
- corresponding point
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 50
- 230000009467 reduction Effects 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012615 high-resolution technique Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Description
本發明係關於從複數個影像中生成高解析度的影像之技術。
本申請案係根據2007年10月15日於日本提出申請之日本特願2007-267927號而主張優先權，並在此援引該內容。
第11圖係顯示直線排列配置的多視點攝像系統，第12圖係顯示平面排列配置的多視點攝像系統，第13圖係顯示弧狀排列配置的多視點攝像系統，第14圖係顯示球面排列配置的多視點攝像系統之攝影機配置例之圖面。
已有人開發出從不同方向拍攝一個景象之多視點攝像系統。於多視點攝像系統中，攝影機配置例如有第11圖所示之直線上的一次元排列配置，或是第12圖所示之平面上的二次元排列配置，此外，有第13圖所示之弧狀排列配置者，或第14圖所示之球面狀排列配置等之種種配置。若利用此類的多視點攝像系統，則可將多面的映像景象予以歸檔(整合為1個)。
此外，係具有一種從以多視點所拍攝之攝影機映像中，生成未進行拍攝之虛擬攝影機位置的影像資訊之技術。此技術係稱為影像合成技術。於影像合成中，係設成為可得知表示出原先的攝影機映像為從空間中的哪個方向所拍攝之影像資訊之攝影機參數。影像合成具有種種的方法。
例如有推測出景深資訊而進行合成之方法。首先，於原先的攝影機映像間進行影像資訊的對應點探索來求取視差資訊，並從視差資訊推測出景象的景深資訊。之後推測虛擬攝影機位置的景深資訊，並從原先的攝影機影像資訊，製作出對應的影像資訊(參照非專利文獻1)。
此外，亦有一種不進行景深資訊的推測，而是利用原先影像的視差資訊直接製作出虛擬攝影機位置的影像資訊之方法(參照非專利文獻2)。
或者是，有一種從複數個攝影機映像中，預先推測出存在於景象之物件的3次元模型資訊，而生成來自虛擬攝影機位置之該模型的投影影像之方法(參照非專利文獻3)。
於此類的攝像系統中，一般係使用解析度為相同之攝影機，但亦可使用解析度為不同之攝影機。藉由組合使用解析度較高的攝影機與解析度較低的攝影機，可降低所獲得之影像資訊的資訊量。此外，亦可改變攝影機的焦點位置或視角。此時，即使所拍攝之影像訊號的解析度相同，但實際所拍攝之區域部分的解析度不同。
從解析度較低的影像中獲得解析度較高的影像之方法，例如有對低解析度的影像中之影像訊號適用增加取樣濾波器之放大方法、以及使用超解析之方法。
於放大方法中，係對周邊附近的影像訊號適用適當的濾波器，而獲得影像訊號。另一方面，於超解析方法中，一般係使用連續拍攝之複數個相同解析度的影像資訊(參照非專利文獻4)。首先，預先將解析度較所拍攝的影像還大之影像定義為目的影像。亦即，預先定義所生成之對象的像素位置。之後，於複數個拍攝的影像間，推測出對應關係，並將拍攝所得之影像訊號埋入於目的的像素位置。藉此可獲得高解析度的影像資訊。
(非專利文獻1)Keita Takahashi and Takeshi Naemura,“Layered Light-Field Rendering with Focus Measurement”,EURASIP Signal Processing:Image Communication,vol.21,no.6,pp.519-530(2006.7.)
(非專利文獻2)M. Droese,T. Fujii and M. Tanimoto,“Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation”,Proc. of IWSSIP2004,pp.247-250,Poznan,Poland,Sept. 2004.
(非專利文獻3)松山隆司,高井勇志,小軍,延原章平：「3次元才映像撮影‧編集‧表示」,日本一学会論文誌,Vol.7,No.4,pp.521-532,2002.12.
(非專利文獻4)田中正行,奧富正敏「再構成型超解像処理高速化精度評価」,信學論D-II vol.J88-D-II,no.11,pp.2200-2209,2005
本發明之目的在於,對於本發明人所著眼之用來處理解析度不同的多視點映像之嶄新技術，提供一種可復原低解析度的影像所失去之高頻成分的資訊，並且能夠以高品質的方式，使在主觀品質較高解析度的影像還低之低解析度下所拍攝之影像，達成高解析度化之技術。
以往並未有用來處理解析度不同的多視點映像之技術。亦即，本發明之課題，為從處理解析度不同的多視點映像之嶄新的技術性思考中所產生之課題。
於多視點攝像系統中使用解析度不同的攝影機時，低解析度影像與高解析度影像混合存在。此外，即使以相同解析度的攝影機來拍攝時，由於例如可藉由降低一部分攝影機映像的解析度來減少資訊量，所以亦適合於多視點影像的壓縮。此時，低解析度影像與高解析度影像亦混合存在。
於上述情況時，於低解析度的影像資訊中係缺少高頻成分。因此，會產生以低解析度所拍攝之攝影機位置的影像資訊之主觀品質，較以高解析度所拍攝之攝影機位置的影像資訊為劣化之問題。
本發明為了解決上述問題，係提供一種可復原低解析度的影像所失去之高頻成分的資訊，並且能夠以高品質的方式，使在主觀品質較高解析度的影像還低之低解析度下所拍攝之影像，達成高解析度化之技術。
以下說明本發明的概要。例如，藉由以解析度不同的複數個攝影機來拍攝同一景象，可減少所處理之影像訊號的總量。因此，此時可大幅減少多視點映像的編碼量。然而，以低解析度所拍攝之攝影機的影像，係具有其主觀品質較高解析度的影像還低之問題。
本發明係使用以高品質的方式使該低解析度下所拍攝之影像達成高解析度化之方法，來解決此問題。以往並未有用來處理解析度不同的多視點映像之技術。因此，本發明之課題，為從處理解析度不同的多視點映像之嶄新的技術性思考中所產生之課題。
本發明的具體內容，如作為實施例於之後所詳細敘述般，不僅可適用於解析度不同的多視點映像，亦可適用於在1個攝影機輸入映像中的圖框之間，解析度為不同之映像等。
本發明，基本上係藉由提供一種可復原低解析度的影像所失去之高頻成分的資訊之手段，而可大幅減少當處理解析度不同的多視點映像時所處理之影像訊號的總量，亦即可大幅減少多視點映像的編碼量。
關於增加低解析度影像的像素數，亦即提高解析度之以往的方法，如前所述，有使用增加取樣濾波器來放大影像訊號之方法，或是利用其他影像的影像訊號來製作出高解析度的影像之超解析技術之方法。在這當中，於放大影像訊號之方法中，無法獲得所失去之高頻成分的資訊。另一方面，超解析的方法雖然可獲得高頻成分的資訊，但處理方式及處理對象與本發明不同。
於超解析的方法中，首先係以具有複數個低解析度的影像資訊為前提。之後，設定目的的高解析度影像的像素位置，並於此像素位置埋入低解析度的影像資訊。因此，超解析可說是將原先並不存在的影像本身予以合成而製作出之技術。
相對於此，本發明所處理的課題本質上與超解析不同，其主旨為復原低解析度的影像資訊所原先具有之高頻成分者。此時，雖然利用其他解析度的影像所對應之影像資訊來製作，但原先低解析度的影像資訊僅利用於對應點探索，關於使用所對應之高解析度影像的影像資訊來埋入於放大低解析度的影像後之影像之技術手段之方面來看，與超解析的思考有著根本上的差異。
為了解決上述課題，本發明係提供一種從影像A與解析度較影像A還高之影像B，生成影像C的影像資訊之影像生成方法，其執行：放大影像A而製作出具有與影像B為相同的解析度之影像C之影像放大步驟；推測出影像C的各像素位置與影像B中之對應點的有無及對應點位置之對應點推測步驟；及將影像B中之對應位置的影像資訊設定於在對應點推測步驟中推測為具有對應點之影像C中的像素位置之對應影像設定步驟。
根據此影像生成方法，可使用其他影像中所包含之高頻成分的資訊，來生成相對於期望的低解析度影像之高解析度影像。當對應於此時所生成之像素位置之影像訊號於其他影像中不存在時，可藉由使用放大原先的低解析度後之影像資訊，而防止影像資訊的缺少。
於對應點的推測中，有另外輸入對應點資訊之情況、以及使用影像資訊來探索對應點之情況。於另外賦予對應點資訊時，可預先推測景象的景深資訊或幾何資訊，並從這些資訊來推測影像間的對應點。
於對應點的探索中，係於所對應之像素間(相對於影像C的各像素之影像B的1個至複數個像素候補)求取差分的絕對值，當該值的最小值較預先設定的臨限值還小時，將成為該最小值之點推測為對應點，較臨限值還大時，推測為不具有對應點。
較理想為，預先將此時的臨限值與低解析度的影像資訊一同予以檔案化。在從檔案化後之低解析度的影像資訊生成高解析度的影像資訊時，可藉由使用檔案中所包含之臨限值，而保障於生成時可獲得恆常為相同之影像。
從複數個方向拍攝某個景象時，當利用解析度不同的攝影機時，對於低解析度之攝影機的影像，可利用其他高解析度之攝影機的影像來生成高解析度的影像。此方法不僅適用於多視點影像，亦可適用於單眼的動畫。亦即，當動畫中之各圖框的解析度為不同時，對於低解析度之圖框的影像，可利用其他高解析度之圖框的影像來生成高解析度的影像。
於上述方法中，更可設置：從在對應影像設定步驟中所設定之影像資訊，製作出在對應點推測步驟中推測為不具有對應點之影像C中的像素位置的影像資訊之影像內插步驟。
此時，當對應於所生成之像素位置之影像訊號於其他影像中不存在時，可從周圍所生成之高解析度的影像訊號進行內插而製作出，藉此可防止影像資訊的缺少。
本發明係提供一種從影像A與解析度較影像A還高之影像B，生成影像C的影像資訊之影像生成方法，其執行：放大影像A而製作出具有與影像B為相同的解析度之影像D之影像放大步驟；推測出影像D的各像素位置與影像B中之對應點的有無及對應點位置之對應點推測步驟；將影像B中之對應位置的影像資訊設定於與在對應點推測步驟中推測為具有對應點之影像D中的像素位置為相同之影像E中的像素位置之對應影像設定步驟；從在對應影像設定步驟中所設定之影像資訊，製作出與在對應點推測步驟中推測為不具有對應點之影像D中的像素位置為相同之影像E中的像素位置的影像資訊之影像內插步驟；縮小影像E而製作出具有與影像A為相同的解析度之影像F之影像縮小步驟；於影像A的各像素位置中，求取影像A的影像資訊與相同像素位置之影像F的影像資訊之間的差分之差分製作步驟；及當在差分製作步驟中所求取之各像素位置的差分較小時，將影像E的影像資訊設定於所對應之影像C的各像素位置，當在差分製作步驟中所求取之各像素位置的差分較大時，將依據影像D的影像資訊之影像資訊設定於所對應之影像C的各像素位置之影像資訊設定步驟。
典型的例子為，於前述影像資訊設定步驟中，當在前述差分製作步驟中所求取之各像素位置的差分較臨限值還大時，係設定為：
(i)將影像D的影像資訊設定於所對應之影像C的各像素位置；或
(ii)將對影像D的影像資訊與影像E的影像資訊進行加權平均後之值設定於所對應之影像C的各像素位置。
根據此影像生成方法，當期望的低解析度影像與其他影像之間的對應點的推測產生誤差時，除了與前述發明相同地使用所生成之高解析度的影像之外，亦可使用將原先的低解析度放大為高解析度後之影像資訊，或是使用所生成的高解析度的影像資訊與將原先的低解析度放大為高解析度後之影像資訊之加權平均值，藉此可降低因推測誤差所導致之畫質的劣化。
此外，本發明係提供一種從具有同樣解析度之影像A與影像B，生成影像C的影像資訊之影像生成方法，其執行：縮小影像A而製作出解析度較小的影像G之基準影像縮小步驟；放大影像G而製作出具有與影像A為相同的解析度之影像D之影像放大步驟；推測出影像D的各像素位置與影像B中之對應點的有無及對應點位置之對應點推測步驟；將影像B中之對應位置的影像資訊設定於與在對應點推測步驟中推測為具有對應點之影像D中的像素位置為相同之影像E中的像素位置之對應影像設定步驟；從在對應影像設定步驟中所設定之影像資訊，製作出與在對應點推測步驟中推測為不具有對應點之影像D中的像素位置為相同之影像E中的像素位置的影像資訊之影像內插步驟；縮小影像E而製作出具有與影像G為相同的解析度之影像F之影像縮小步驟；於影像G的各像素位置中，求取影像G的影像資訊與相同像素位置之影像F的影像資訊之間的差分之差分製作步驟；復執行：在預先設定的範圍中設定臨限值之臨限值設定步驟；當在差分製作步驟中所求取之各像素位置的差分較臨限值還小時，將影像E的影像資訊設定於所對應之影像C的各像素位置，當在差分製作步驟中所求取之各像素位置的差分較臨限值還大時，將依據影像D的影像資訊之影像資訊設定於所對應之影像C的各像素位置之影像資訊設定步驟；算出在影像選擇步驟中所獲得之影像C與影像A的各像素位置之影像資訊的差分的合計之生成差分合計步驟；及一邊改變臨限值，一邊重複進行影像選擇步驟及生成差分合計步驟，以決定生成差分合計步驟中所獲得之差分的合計為最小之臨限值之臨限值決定步驟。
典型的例子為，於前述影像資訊設定步驟中，當在前述差分製作步驟中所求取之各像素位置的差分較臨限值還大時，係設定為：
(i)將影像D的影像資訊設定於所對應之影像C的各像素位置；或
(ii)將對影像D的影像資訊與影像E的影像資訊進行加權平均後之值設定於所對應之影像C的各像素位置。
根據此影像生成方法，當使影像達成低解析度化並達成高解析度時，在以前述方法來生成高解析度的影像時，可檢測出因對應點的推測誤差所導致之劣化的大小，並且以劣化成為最小之方式來決定用以選擇所生成之高解析度的影像之臨限值。且由於原先高解析度的影像資訊亦存在，所以可檢測出劣化的大小。
此臨限值參數可利用如下。首先，預先推測此臨限值，並作為臨限值參數附隨於低解析度的影像資訊。例如，可使該臨限值參數與低解析度的影像及其他影像一同予以檔案化。於此檔案中並不包含低解析度化之前的影像資訊。因此，由於係將較原先的影像為更低解析度的影像資訊予以檔案化，所以可縮小檔案大小。於再生此檔案時，可利用上述臨限值參數，從低解析度的影像資訊與其他影像生成高解析度的影像。此時，可生成使主觀品質的劣化達到最小之高解析度的影像。
此外，於前述影像資訊設定步驟中，當在前述差分製作步驟中所求取之各像素位置的差分較臨限值還大時，在使用上述(ii)的手法時，並非將放大低解析度的影像後之影像，使用於所生成之影像訊號，而是使用與高解析度的影像進行加權平均後之值，所以可降低因放大低解析度的影像所導致之影像的模糊。
本發明亦提供一種藉由上述各方法來生成影像之影像生成裝置。
根據本發明，對於在低解析度下所拍攝之攝影機位置的影像資訊，可利用其他在高解析度下所拍攝之攝影機位置的影像資訊，而生成高解析度的影像資訊。藉此可降低主觀品質的劣化。
以下使用圖面來說明本發明之影像生成裝置的實施例。
第1實施例，係表示從以不同的攝影機所拍攝之低解析度的影像A與高解析度的影像B，生成對應於影像A之高解析度(對應於影像B之高解析度)的影像C之情況的例子。在此以攝影機所拍攝之訊號，係設定為全部以YUV訊號(亮度Y、色差U、V)來設定色彩訊號，且於實施例中僅處理Y訊號者。
第1圖係顯示裝置概要。本實施例之影像生成裝置，係具備：放大影像A而製作出具有與影像B為相同的解析度之影像C之影像放大部101；推測出影像C的各像素位置與影像B中之對應點的有無及對應點位置之對應點推測部102；及在對應點推測部102推測為具有對應點之影像C中的像素位置，設定影像B中之對應位置的影像資訊之對應影像設定部103。
在此，於影像放大部101中，為藉由雙線性內插來求取分數位置的影像資訊，並製作出放大影像者。
此外，於對應點推測部102中，係使用攝影機參數或已知的匹配技術，對影像C的各像素假設出(影像B中之)所對應的像素候補(1個至複數個)，於所對應之像素間求取差分的絕對值，當這些絕對值的最小值較預先設定的臨限值還小時，將成為該最小值之點推測為對應點，較臨限值還大時，推測為關於影像C的該像素不具有對應點。
以上述內容為前提，第1圖所示之影像生成裝置係進行下列動作。第2圖係顯示該流程圖。
首先，影像放大部101係以上述方式放大影像A而製作出影像C(步驟S10)。之後，對應點推測部102以上述方法推測出影像C與影像B之對應點的有無及位置(步驟S11)。對應影像設定部103係對在對應點推測部102推測為具有對應點之影像C的各像素，設定影像B之對應位置的影像資訊(步驟S12)。藉此生成影像C。
於影像放大部101中，可適用分接數較長的濾波器，或適用2次元濾波器，或以橫向縱向的順序適用1次元濾波器。此外，亦能夠適用保存邊緣資訊之類的濾波器。不論於何種情況，均可不利用影像B，而使用放大對象之影像A的影像資訊來進行放大解析度之處理。
此外，對應點推測部102係於像素間求取差分的絕對值，但亦可使用由以推測對象的像素為中心之複數個像素所構成之區塊來進行推測。例如，關於影像C的各像素，可假設出影像B中所對應的像素候補(1個至複數個)，並求取與由以各像素為中心之複數個像素所構成之區塊內的像素之間的差分之絕對值的合計，然後將該合計值為最小之候補的位置推測為對應點。
於上述例子中，係從以不同的攝影機所拍攝之低解析度的影像A與高解析度的影像B，生成高解析度的影像C，但亦可從以相同攝影機所拍攝之某時刻的低解析度的影像A、與其他時刻的高解析度的影像B，生成高解析度的影像C。
此外，如上所述，係從影像A與影像B生成對應於影像A之影像C，惟影像B可為複數個。以下係表示影像B有2個(B1及B2)的情況之例子。構成為相同，但影像生成裝置進行下列動作。
首先，影像放大部101係以上述方式放大影像A而製作出影像C。之後，對應點推測部102以與上述相同的方法推測出影像C與影像B1之對應點的有無及位置。對應影像設定部103係將對應點推測部102推測為具有對應點之各位置之影像B1的影像資訊予以設定於影像C。
接著，對應點推測部102係以同樣方式，推測出影像C與影像B2之對應點的有無及位置。對應影像設定部103係將對應點推測部102推測為具有對應點之各位置之影像B2的影像資訊予以設定於影像C。
藉由以上方法，可生成影像C。
當於影像B1及影像B2兩者均推測為具有對應點時，可採用預先決定的哪一個為優先之影像資訊來設定於影像C，或是將與所對應之影像C的像素之間的差分為較小之影像B1或影像B2的影像資訊設定於影像C，或是將影像B1及影像B2之影像資訊的平均值設定於影像C。
當影像B有3個以上時，亦可同樣地生成高解析度的影像C。
關於以下所說明之其他實施例，當具有複數個影像B時，亦可同樣的實施。
接下來，作為第2實施例者，係顯示與第1實施例相同之從以不同的攝影機所拍攝之低解析度的影像A與高解析度的影像B，生成對應於影像A之高解析度的影像C之情況的例子。惟顯示當不具有對應點時，從周圍的高解析度的影像資訊進行內插而製作之情況的例子。
第3圖係顯示裝置概要。本實施例之影像生成裝置係具備：放大影像A的解析度而製作出影像C之影像放大部201；推測出影像C的各像素位置與影像B中之對應點的有無及對應點位置之對應點推測部202；在對應點推測部202推測為具有對應點之影像C中的像素位置，設定影像B中之對應位置的影像資訊之對應影像設定部203；及從在對應影像設定部203所設定之影像資訊，製作出在對應點推測部202推測為不具有對應點之影像C中的像素位置的影像資訊之影像內插部204。
於影像內插部204中，係從作為具有對應點之影像B而設定有影像資訊之像素位置的該影像資訊，製作出推測為不具有對應點之像素的影像資訊。此時，係因應來自從影像B而設定有影像資訊之像素位置之距離，來進行線性內插。
以上述內容為前提，影像生成裝置係進行下列動作。第4圖係顯示該流程圖。
首先，影像放大部201係放大影像A的解析度而製作出影像C(步驟S20)。之後，對應點推測部202推測出影像C與影像B之對應點的有無及位置(步驟S21)。對應影像設定部203係對在對應點推測部202推測為具有對應點之影像C的各像素，設定影像B之對應點的影像資訊(步驟S22)。影像內插部204從在對應影像設定部203中已設定之影像資訊，對在對應點推測部202推測為不具有對應點之像素位置，進行內插而製作出影像資訊(步驟S23)。藉由以上方法，可生成影像C。
於影像內插部204中，係藉由線性內插來生成影像資訊，但亦可使用非線性處理來生成影像資訊。不論何者，均可利用在對應影像設定部203中所設定之影像資訊來生成。
接下來，作為第3實施例者，與第1實施例相同，係顯示從以不同的攝影機所拍攝之低解析度的影像A與高解析度的影像B，生成對應於影像A之高解析度(對應於影像B之解析度)的影像C之情況的例子。惟顯示僅將所生成之影像資訊，僅適用於所生成之影像資訊的縮小影像與原先影像A之間的差較小之像素位置之情況的例子。
於以下說明中，影像D為首先放大影像A(提高解析度)之影像，影像E為與影像D同樣大小(相同像素構成)之暫時性的處理用影像。
此外，影像F為縮小影像E所製作出之解析度較小的影像(與影像A具有相同解析度之暫時性的處理用影像)。
第5圖係顯示裝置概要。本實施例之影像生成裝置，係具備：放大影像A(提高解析度)而製作出影像D之影像放大部301；推測出影像D的各像素位置與影像B中之對應點的有無及對應點位置之對應點推測部302；將影像B中之對應位置的影像資訊設定於與對應點推測部302推測為具有對應點之影像D中的像素位置為相同之影像E中的像素位置之對應影像設定部303；從在對應影像設定部303中所設定之影像資訊，製作出與在對應點推測部302中推測為不具有對應點之影像D中的像素位置為相同之影像E中的像素位置的影像資訊之影像內插部304；縮小影像E(降低解析度)而製作出影像F之影像縮小部305；於影像A的各像素位置，求取影像A的影像資訊與相同像素位置之影像F的影像資訊之間的差分之差分製作部306；及當在差分製作部306中所求取之各像素位置的差分較小時，於所對應之影像C的各像素位置，設定影像E的影像資訊，當在差分製作部306中所求取之各像素位置的差分較大時，於所對應之影像C的各像素位置，設定影像D的影像資訊之影像選擇部307。
於影像縮小部305中，係抽減像素而製作出縮小影像(亦即為影像F)。
於差分製作部306中，係於各像素位置製作出差分。
於影像選擇部307中，係預先設定差分的臨限值，並與在差分製作部306中所獲得之差分進行比較。
以上述內容為前提，影像生成裝置係進行下列動作。第6圖係顯示該流程圖。
首先，影像放大部301係以上述方式放大影像A而製作出影像D(步驟S30)。之後，對應點推測部302推測出影像D與影像B之對應點的有無及位置(步驟S31)。
對應影像設定部303係將在對應點推測部302推測為具有對應點的位置之影像B的影像資訊，設定於影像E(步驟S32)。影像內插部304係從在對應影像設定部303中已設定之影像資訊，對在對應點推測部302推測為不具有對應點之位置，進行內插而製作出影像E的影像資訊(步驟S33)。
影像縮小部305係縮小影像E而製作出影像F(步驟S34)。差分製作部306係製作出影像A與影像F之間的差分(步驟S35)。
於影像選擇部307中，係依循在差分製作部306中所獲得之差分，對各像素位置選擇影像E或影像D而生成影像C(步驟S36)。
於影像縮小部305中，可使用其他手法來製作出縮小影像。
於差分製作部306中，可製作出以對象像素為中心之區塊間的差分(參照第1實施例)。
於此實施例中，當在差分製作部306中所求取之各像素位置的差分較小時，影像選擇部307係於所對應之影像C的各像素位置，設定影像E的影像資訊，當在差分製作部306中所求取之各像素位置的差分較大時，影像選擇部307係於所對應之影像C的各像素位置，設定影像D的影像資訊。此外，亦可設置影像生成部來取代此影像選擇部307。
第7圖係顯示裝置概要。於第7圖所示之影像生成部308中，當在差分製作部306中所求取之各像素位置的差分較小時，係於所對應之影像C的各像素位置，設定影像E的影像資訊，當在差分製作部306中所求取之各像素位置的差分較大時，係於所對應之影像C的各像素位置，設定對影像D的影像資訊與影像E的影像資訊進行加權平均後之值。
根據此，當差分較大時，能夠不使用放大後的(高解析度的)影像D，而是使用放大後的影像D與從其他影像所生成之影像E的加權平均。本手法較適用於放大後的影像D之高頻成分較少的情形。
接下來，作為第4實施例者，係顯示具有以不同的攝影機所拍攝之相同解析度的影像A與影像B，並從影像A的縮小影像與影像B，生成接近於影像A之影像C之情況的例子。在此，係顯示將所生成之影像資訊，僅適用於所生成之影像資訊的縮小影像與原先影像A的縮小影像之間的差較小之像素位置之情況的例子。在此實施例中，其特徵為相對於各像素位置的兩影像間的差分之臨限值也是推測出者。
第8圖係顯示裝置概要。本實施例之影像生成裝置，係具備：
‧縮小影像A而製作出解析度較小的影像G之基準影像縮小部412；
‧放大影像G而製作出具有與影像A、B為相同的解析度之影像D之影像放大部401；
‧推測出影像D的各像素位置與影像B中之對應點的有無及對應點位置之對應點推測部402；
‧在對應點推測部402中推測為具有對應點之與影像D中的像素位置為相同之影像E(相同大小之暫時性的處理用影像)中的像素位置，設定影像B中之對應位置的影像資訊之對應影像設定部403；
‧從在對應影像設定部403中所設定之影像資訊，製作出在對應點推測部402中推測為不具有對應點之與影像D中的像素位置為相同之影像E中的像素位置的影像資訊之影像內插部404；
‧縮小影像E而製作出(與影像G為相同的解析度)之影像F之影像縮小部405；
‧於影像G的各像素位置，求取影像G的影像資訊與相同像素位置之影像F的影像資訊之間的差分之差分製作部406；
‧於預先設定的範圍內設定複數個臨限值之臨限值設定部410；
．對於在臨限值設定部410中所設定之各臨限值，當在差分製作部406中所求取之各像素位置的差分較臨限值還小時，於所對應之影像C的各像素位置，設定影像E的影像資訊，當在差分製作部406中所求取之各像素位置的差分較臨限值還大時，於所對應之影像C的各像素位置，設定影像D的影像資訊之影像選擇部407；
．算出在影像選擇部407中所獲得之影像C與影像A的各像素位置之影像資訊的差分的合計之生成差分合計部409；及
．決定生成差分合計部409中所獲得之差分的合計為最小之臨限值之臨限值決定部411。
於臨限值設定部410中，係從10開始至50為止，每次增加10來作為臨限值。
以上述內容為前提，影像生成裝置係進行下列動作。第9圖係顯示該流程圖。
首先，基準影像縮小部412係縮小影像A而製作出解析度較低的影像G(步驟S40)。
影像放大部401係放大影像G而製作出解析度較高(具有與影像A、B為相同的解析度)的影像D(步驟S41)。
之後，對應點推測部402推測出影像D與影像B之對應點的有無及位置(步驟S42)。
對應影像設定部403，係將在對應點推測部402推測為具有對應點的位置之影像B的影像資訊，設定於影像E(步驟S43)。
影像內插部404係從在對應影像設定部403中已設定之影像資訊，對在對應點推測部402推測為不具有對應點之位置，進行內插而製作出影像E的影像資訊(步驟S44)。
影像縮小部405係縮小影像E而製作出解析度較低的影像F(步驟S45)。
差分製作部406係製作出影像G與影像F之間的差分(步驟S46)。
接著，於臨限值設定部410中，設定臨限值為10(步驟S47)。
於影像選擇部407中，係比較在差分製作部406中所獲得之差分與臨限值，於各像素位置選擇影像E或影像D而生成影像C(步驟S48)。
生成差分合計部409係求取影像C與影像A之間之差分的合計(步驟S49)。
每次增加臨限值10直到50為止，來重複執行以上之臨限值設定部410、影像選擇部407及生成差分合計部409的處理(步驟S50、S51)。
接著，臨限值決定部411係決定生成差分合計部409中所獲得之值為最小時之臨限值(步驟S52)。
於上述構成中，亦可使用影像生成部來取代影像選擇部407。第10圖係顯示裝置概要。
於第10圖所示之影像生成部408中，當在差分製作部406中所求取之各像素位置的差分較小時，係於所對應之影像C的各像素位置，設定影像E的影像資訊，當在差分製作部406中所求取之各像素位置的差分較大時，係於所對應之影像C的各像素位置，設定對影像D的影像資訊與影像E的影像資訊進行加權平均後之值。
於以上的實施例中，係說明對複數個攝影機輸入映像進行處理。此方法不僅適用於多視點影像，亦可適用於單眼的動畫。
亦即，當動畫中之各圖框的解析度為不同時，對於低解析度之圖框的影像，可利用其他高解析度之圖框的影像來生成高解析度的影像。
例如可適用於，以低解析度的圖框為影像A，並以其他高解析度的圖框為影像B來生成高解析度的影像C之處理。
此外，於本實施例中，係將所處理的訊號設定為Y訊號，但此亦可為RGB等其他的色彩訊號。
此外，以上係說明具有YUV訊號且Y訊號的解析度為相同之情況，但亦可適用於UV訊號的解析度為不同之情況。此時，於影像放大部中，僅放大UV訊號並直接拷貝Y訊號。此外，對應點推測部之對應點推測的處理，可不以放大U訊號或V訊號後之訊號，而是以Y訊號來進行。
以上的影像生成處理，可藉由電腦與軟體程式來實現，亦可將該程式記錄於電腦可讀取的記錄媒體來提供，或是經由網路來提供。
根據本發明，對於在低解析度下所拍攝之攝影機位置的影像資訊，可利用其他在高解析度下所拍攝之攝影機位置的影像資訊，而生成高解析度的影像資訊。藉此可降低主觀品質的劣化。
101、201、301、401．．．影像放大部
102、202、302、402．．．對應點推測部
103、203、303、403．．．對應影像設定部
204、304、404．．．影像內插部
305、405．．．影像縮小部
306、406．．．差分製作部
307、407．．．影像選擇部
308、408．．．影像生成部
409．．．生成差分合計部
410．．．臨限值設定部
411．．．臨限值決定部
412．．．基準影像縮小部
第1圖係顯示本發明第1實施例之影像生成裝置的構成圖。
第2圖係顯示第1實施例之影像生成裝置的動作之流程圖。
第3圖係顯示本發明第2實施例之影像生成裝置的構成圖。
第4圖係顯示第2實施例之影像生成裝置的動作之流程圖。
第5圖係顯示本發明第3實施例之影像生成裝置的構成圖。
第6圖係顯示第3實施例之影像生成裝置的動作之流程圖。
第7圖係顯示第3實施例的變形例之影像生成裝置的構成圖。
第8圖係顯示本發明第4實施例之影像生成裝置的構成圖。
第9圖係顯示第4實施例之影像生成裝置的動作之流程圖。
第10圖係顯示第4實施例的變形例之影像生成裝置的構成圖。
第11圖係顯示直線排列配置的多視點攝像系統的例子之圖面。
第12圖係顯示平面排列配置的多視點攝像系統的例子之圖面。
第13圖係顯示弧狀排列配置的多視點攝像系統的例子之圖面。
第14圖係顯示球面排列配置的多視點攝像系統的例子之圖面。
101．．．影像放大部
102．．．對應點推測部
103．．．對應影像設定部
Claims (9)
- 一種影像生成方法，為從第1影像A與解析度較影像A還高之第2影像B，生成第3影像C的影像資訊之影像生成方法，其特徵為執行：放大第1影像A而製作出具有與影像B為相同的解析度之第3影像C之影像放大步驟；推測出第3影像C的各像素位置與第2影像B中之對應點的有無及對應點位置之對應點推測步驟；將第2影像B中之對應位置的影像資訊設定於在前述對應點推測步驟中推測為具有對應點之第3影像C中的像素位置之對應影像設定步驟；及從在前述對應影像設定步驟中所設定之影像資訊，進行內插而製作出在前述對應點推測步驟中推測為不具有對應點之第3影像C中的像素位置的影像資訊之影像內插步驟。
- 一種影像生成方法，為從第1影像A與解析度較影像A還高之第2影像B，生成第3影像C的影像資訊之影像生成方法，其特徵為執行：放大第1影像A而製作出具有與影像B為相同的解析度之第4影像D之影像放大步驟；推測出第4影像D的各像素位置與第2影像B中之對應點的有無及對應點位置之對應點推測步驟；將第2影像B中之對應位置的影像資訊設定於與在前述對應點推測步驟中推測為具有對應點之第4影 像D中的像素位置為相同之第5影像E中的像素位置之對應影像設定步驟；從在前述對應影像設定步驟中所設定之第5影像E中的影像資訊，進行內插而製作出與前述對應點推測步驟中推測為不具有對應點之第4影像D中的像素位置為相同之第5影像E中的像素位置的影像資訊之影像內插步驟；縮小第5影像E而製作出具有與影像A為相同的解析度之第6影像F之影像縮小步驟；於第1影像A的各像素位置中，求取第1影像A的影像資訊與相同像素位置之第6影像F的影像資訊之間的差分之差分製作步驟；及當在前述差分製作步驟中所求取之各像素位置的差分較臨限值還小時，將第5影像E的影像資訊設定於所對應之第3影像C的各像素位置，當在前述差分製作步驟中所求取之各像素位置的差分較臨限值還大時，將依據第4影像D的影像資訊之影像資訊設定於所對應之第3影像C的各像素位置之影像資訊設定步驟。
- 如申請專利範圍第2項之影像生成方法，其中，於前述影像資訊設定步驟中，當在前述差分製作步驟中所求取之各像素位置的差分較臨限值還大時，將第4影像D的影像資訊設定於所對應之第3影像C的各像素位置。
- 如申請專利範圍第2項之影像生成方法，其中，於前述影像資訊設定步驟中，當在前述差分製作步驟中所求取之各像素位置的差分較臨限值還大時，將對第4影像D的影像資訊與第5影像E的影像資訊進行加權平均後之值設定於所對應之第3影像C的各像素位置。
- 一種影像生成方法，為使用第4至第7影像D至G，從具有同樣解析度之第1影像A與第2影像B，生成第3影像C的影像資訊之影像生成方法，其特徵為執行：縮小第1影像A而製作出解析度較小的第7影像G之基準影像縮小步驟；放大第7影像G而製作出具有與影像A為相同的解析度之第4影像D之影像放大步驟；推測出第4影像D的各像素位置與第2影像B中之對應點的有無及對應點位置之對應點推測步驟；將第2影像B中之對應位置的影像資訊設定於與在前述對應點推測步驟中推測為具有對應點之第4影像D中的像素位置為相同之第5影像E中的像素位置之對應影像設定步驟；從在前述對應影像設定步驟中所設定之第5影像E中的影像資訊，進行內插而製作出與在前述對應點推測步驟中推測為不具有對應點之第4影像D中的像素位置為相同之第5影像E中的像素位置的影像資訊之影像內插步驟； 縮小第5影像E而製作出具有與影像G為相同的解析度之第6影像F之影像縮小步驟；於第7影像G的各像素位置中，求取第7影像G的影像資訊與相同像素位置之第6影像F的影像資訊之間的差分之差分製作步驟；設定臨限值之臨限值設定步驟；當在前述差分製作步驟中所求取之各像素位置的差分較臨限值還小時，將第5影像E的影像資訊設定於所對應之第3影像C的各像素位置，當在前述差分製作步驟中所求取之各像素位置的差分較臨限值還大時，將依據第4影像D的影像資訊之影像資訊設定於所對應之第3影像C的各像素位置之影像資訊設定步驟；算出在前述影像資訊設定步驟中所獲得之第3影像C與第1影像A的各像素位置之影像資訊的差分的合計之生成差分合計步驟；及從一邊於預先決定的範圍內改變前述臨限值設定步驟中所設定之臨限值、一邊重複進行前述影像資訊設定步驟及前述生成差分合計步驟後之結果，來決定前述生成差分合計步驟中所獲得之差分的合計為最小之臨限值之臨限值決定步驟。
- 如申請專利範圍第5項之影像生成方法，其中，於前述影像資訊設定步驟中，當在前述差分製作步驟中所求取之各像素位置的差分較臨限值還大時，將第4影 像D的影像資訊設定於所對應之第3影像C的各像素位置。
- 如申請專利範圍第5項之影像生成方法，其中，於前述影像資訊設定步驟中，當在前述差分製作步驟中所求取之各像素位置的差分較臨限值還大時，將對第4影像D的影像資訊與第5影像E的影像資訊進行加權平均後之值設定於所對應之第3影像C的各像素位置。
- 一種影像生成程式，係用以供電腦執行申請專利範圍第1、2及5項中任一項之影像生成方法。
- 一種電腦可讀取記錄媒體，係記錄有用以使電腦執行申請專利範圍第1、2及5項中任一項之影像生成方法之影像生成程式。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007267927 | 2007-10-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200926062A TW200926062A (en) | 2009-06-16 |
| TWI387935B true TWI387935B (zh) | 2013-03-01 |
Family
ID=40567332
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW101116630A TW201246124A (en) | 2007-10-15 | 2008-10-13 | Image generation apparatus |
| TW097139162A TWI387935B (zh) | 2007-10-15 | 2008-10-13 | 影像生成方法、及其程式與記錄有程式的記錄媒體 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW101116630A TW201246124A (en) | 2007-10-15 | 2008-10-13 | Image generation apparatus |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US8363985B2 (zh) |
| EP (1) | EP2202683A4 (zh) |
| JP (2) | JP4658223B2 (zh) |
| KR (1) | KR101134668B1 (zh) |
| CN (1) | CN101821769B (zh) |
| BR (1) | BRPI0818589A2 (zh) |
| CA (1) | CA2702165C (zh) |
| RU (1) | RU2454721C2 (zh) |
| TW (2) | TW201246124A (zh) |
| WO (1) | WO2009051065A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101821769B (zh) * | 2007-10-15 | 2012-07-04 | 日本电信电话株式会社 | 图像生成方法、装置 |
| TWI504255B (zh) * | 2009-10-14 | 2015-10-11 | Hon Hai Prec Ind Co Ltd | 影像處理系統及方法 |
| JP2013110446A (ja) * | 2010-03-18 | 2013-06-06 | Panasonic Corp | 映像出力装置 |
| KR20130001541A (ko) * | 2011-06-27 | 2013-01-04 | 삼성전자주식회사 | 다시점 영상의 해상도 복원 방법 및 장치 |
| JP5741353B2 (ja) * | 2011-09-27 | 2015-07-01 | コニカミノルタ株式会社 | 画像処理システム、画像処理方法および画像処理プログラム |
| JP2013201557A (ja) | 2012-03-23 | 2013-10-03 | Toshiba Corp | 画像処理装置、画像処理方法および画像処理システム |
| CN103778595B (zh) | 2013-12-31 | 2017-01-11 | 上海晨思电子科技有限公司 | 一种图像缩小处理的方法及装置 |
| US10026010B2 (en) | 2014-05-14 | 2018-07-17 | At&T Intellectual Property I, L.P. | Image quality estimation using a reference image portion |
| JP6409516B2 (ja) | 2014-11-13 | 2018-10-24 | 富士通株式会社 | ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置 |
| JP6708199B2 (ja) | 2015-02-27 | 2020-06-10 | ソニー株式会社 | 撮像装置と画像処理装置と画像処理方法 |
| WO2017120266A1 (en) * | 2016-01-08 | 2017-07-13 | Flir Systems, Inc. | Systems and methods for image resolution enhancement |
| RU2661537C2 (ru) * | 2016-08-30 | 2018-07-17 | Самсунг Электроникс Ко., Лтд. | Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации |
| RU2652722C1 (ru) * | 2017-05-03 | 2018-04-28 | Самсунг Электроникс Ко., Лтд. | Обработка данных для сверхразрешения |
| US10776904B2 (en) | 2017-05-03 | 2020-09-15 | Samsung Electronics Co., Ltd. | Method and apparatus for processing image |
| CN110651297B (zh) * | 2017-05-16 | 2022-11-11 | 苹果公司 | 使用引导图像对合成的长曝光图像进行可选增强 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4683496A (en) * | 1985-08-23 | 1987-07-28 | The Analytic Sciences Corporation | System for and method of enhancing images using multiband information |
| US5583665A (en) * | 1995-02-13 | 1996-12-10 | Eastman Kodak Company | Method and apparatus for performing color transformations using a reference image combined with a color tracer |
| KR970049856A (ko) * | 1995-12-30 | 1997-07-29 | 김광호 | 복수개의 라이센서를 갖는 화상독취 장치에서 센서간 거리 보정 방법 및 회로 |
| JPH09218954A (ja) * | 1996-02-14 | 1997-08-19 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成方法 |
| JP2998791B2 (ja) | 1996-10-31 | 2000-01-11 | 日本電気株式会社 | 三次元構造推定装置 |
| RU2178907C2 (ru) * | 1996-12-23 | 2002-01-27 | Нью Систем С.Р.Л. | Система для переноса преобразованных в цифровую форму изображений на чувствительную основу |
| GB9701793D0 (en) | 1997-01-29 | 1997-03-19 | Gay Geoffrey N W | Means for inputting characters or commands into a computer |
| US5949914A (en) * | 1997-03-17 | 1999-09-07 | Space Imaging Lp | Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening |
| RU2145055C1 (ru) | 1999-02-08 | 2000-01-27 | Ао "Автэкс" | Способ сбора и обработки информации о поверхности образца |
| JP3561446B2 (ja) | 1999-08-25 | 2004-09-02 | 日本電信電話株式会社 | 画像生成方法及びその装置 |
| US6993167B1 (en) * | 1999-11-12 | 2006-01-31 | Polartechnics Limited | System and method for examining, recording and analyzing dermatological conditions |
| US6937774B1 (en) * | 2000-10-24 | 2005-08-30 | Lockheed Martin Corporation | Apparatus and method for efficiently increasing the spatial resolution of images |
| ATE459908T1 (de) * | 2001-05-02 | 2010-03-15 | Bitstream Inc | Verfahren, systeme und programmierung zur herstellung und anzeige von subpixeloptimierten font-bitmaps unter verwendung eines nichtlinearen farbausgleichs |
| US7123780B2 (en) * | 2001-12-11 | 2006-10-17 | Sony Corporation | Resolution enhancement for images stored in a database |
| DE60328116D1 (de) * | 2002-09-26 | 2009-08-06 | Kenji Yoshida | Informationswiedergabe-i/o-verfahren mit punktmuster und informationswiedergabeeinrichtung |
| US7474355B2 (en) * | 2003-08-06 | 2009-01-06 | Zoran Corporation | Chroma upsampling method and apparatus therefor |
| KR100553892B1 (ko) * | 2003-10-13 | 2006-02-24 | 삼성전자주식회사 | 디지털 영상 보간 방법 및 장치 |
| JP4033198B2 (ja) * | 2004-02-27 | 2008-01-16 | カシオ計算機株式会社 | 画像処理装置、画像投影装置、画像処理方法及びプログラム |
| CN100337189C (zh) * | 2004-06-11 | 2007-09-12 | 宏碁股份有限公司 | 在低分辨率显示装置呈现高画质网页数据的方法及其应用 |
| CN100591111C (zh) * | 2005-12-16 | 2010-02-17 | 佳能株式会社 | 摄像设备和摄像方法以及再现设备和再现方法 |
| JP2007267927A (ja) | 2006-03-31 | 2007-10-18 | Fujifilm Corp | 光断層画像化方法および装置 |
| CN100440930C (zh) * | 2006-12-30 | 2008-12-03 | 北京中星微电子有限公司 | 一种摄像头***和在摄像头视频流中获取静态图像的方法 |
| CN101821769B (zh) * | 2007-10-15 | 2012-07-04 | 日本电信电话株式会社 | 图像生成方法、装置 |
-
2008
- 2008-10-09 CN CN2008801115382A patent/CN101821769B/zh not_active Expired - Fee Related
- 2008-10-09 WO PCT/JP2008/068399 patent/WO2009051065A1/ja active Application Filing
- 2008-10-09 CA CA2702165A patent/CA2702165C/en active Active
- 2008-10-09 US US12/682,026 patent/US8363985B2/en not_active Expired - Fee Related
- 2008-10-09 RU RU2010115022/08A patent/RU2454721C2/ru not_active IP Right Cessation
- 2008-10-09 JP JP2009538072A patent/JP4658223B2/ja active Active
- 2008-10-09 EP EP08838712.1A patent/EP2202683A4/en not_active Withdrawn
- 2008-10-09 BR BRPI0818589-1A patent/BRPI0818589A2/pt not_active IP Right Cessation
- 2008-10-09 KR KR1020107008060A patent/KR101134668B1/ko not_active IP Right Cessation
- 2008-10-13 TW TW101116630A patent/TW201246124A/zh unknown
- 2008-10-13 TW TW097139162A patent/TWI387935B/zh not_active IP Right Cessation
-
2010
- 2010-12-21 JP JP2010285061A patent/JP2011118908A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR101134668B1 (ko) | 2012-04-09 |
| RU2454721C2 (ru) | 2012-06-27 |
| CA2702165C (en) | 2014-08-26 |
| EP2202683A1 (en) | 2010-06-30 |
| CN101821769B (zh) | 2012-07-04 |
| TW201246124A (en) | 2012-11-16 |
| BRPI0818589A2 (pt) | 2015-07-21 |
| KR20100052563A (ko) | 2010-05-19 |
| WO2009051065A1 (ja) | 2009-04-23 |
| US20100209016A1 (en) | 2010-08-19 |
| TW200926062A (en) | 2009-06-16 |
| CA2702165A1 (en) | 2009-04-23 |
| JP4658223B2 (ja) | 2011-03-23 |
| RU2010115022A (ru) | 2011-10-20 |
| JP2011118908A (ja) | 2011-06-16 |
| CN101821769A (zh) | 2010-09-01 |
| US8363985B2 (en) | 2013-01-29 |
| EP2202683A4 (en) | 2015-08-05 |
| JPWO2009051065A1 (ja) | 2011-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI387935B (zh) | 影像生成方法、及其程式與記錄有程式的記錄媒體 | |
| JP4578566B2 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
| JP6157606B2 (ja) | 画像融合方法及び装置 | |
| JP6016061B2 (ja) | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム | |
| US9749601B2 (en) | Imaging device, image display method, and storage medium for displaying reconstruction image | |
| JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP2012248001A (ja) | 画像処理装置および画像処理方法、プログラム | |
| JP2016063248A (ja) | 画像処理装置および画像処理方法 | |
| TWI397023B (zh) | 影像生成方法、裝置，及其程式與記錄有程式的記錄媒體 | |
| JP2013066058A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2009258005A (ja) | 三次元測定装置及び三次元測定方法 | |
| JP6648916B2 (ja) | 撮像装置 | |
| JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| JP7409604B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
| JP2008078772A (ja) | ステレオ映像処理装置及びステレオ映像処理方法のプログラム | |
| JP2010141863A (ja) | 画像処理方法、装置並びにプログラム | |
| JP2021069032A (ja) | 撮影装置 | |
| JP2020065157A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |