JP5170276B2 - 画像再構成装置、画像再構成方法、及び画像再構成プログラム - Google Patents
画像再構成装置、画像再構成方法、及び画像再構成プログラム Download PDFInfo
- Publication number
- JP5170276B2 JP5170276B2 JP2011080746A JP2011080746A JP5170276B2 JP 5170276 B2 JP5170276 B2 JP 5170276B2 JP 2011080746 A JP2011080746 A JP 2011080746A JP 2011080746 A JP2011080746 A JP 2011080746A JP 5170276 B2 JP5170276 B2 JP 5170276B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- sub
- pixel
- lens
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 49
- 230000003287 optical effect Effects 0.000 claims abstract description 44
- 238000000605 extraction Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 description 37
- 238000012545 processing Methods 0.000 description 37
- 238000011156 evaluation Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 239000013256 coordination polymer Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間手段と、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、
前記再構成された画像を表す情報を出力する画像情報出力手段と、を備え、
前記補間手段は、前記取得された情報で表される前記第1サブ画像の画素値と前記第2サブ画像の画素値とに基づいて前記第1サブ画像と前記第2サブ画像との視差を特定し、前記特定された視差に対する前記第1サブ画像と前記第3サブ画像との視差の比率が、前記第1サブレンズと前記第2サブレンズとの距離に対する前記第1サブレンズと第3サブレンズとの距離の比率となるように、前記第3サブ画像を補間する、
ことを特徴とする。
上記目的を達成するため、本発明の第2の観点に係る画像再構成装置は、
被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間手段と、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、
前記再構成された画像を表す情報を出力する画像情報出力手段と、を備え、
前記補間手段は、
前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出手段と、
前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、及び前記抽出された第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、
前記エピポーラ画像を構成する前記第1画素列における第1画素を通過する複数の直線から、前記第2画素列を構成する複数の画素の内で前記第1画素によって表される前記被写体上の点と同じ点を表す第2画素を通過する直線を、前記第1画素の画素値と当該第2画素の画素値との相違に基づいて推定する直線推定手段と、
前記第3画素列を構成する複数の画素の内で、前記推定された直線が通過する画素を、前記第1画素及び前記第2画素によって表される前記被写体上の点と同じ点を表す画素と推定する画素推定手段と、
前記推定された画素の画素値を、前記第1画素の画素値に基づいて決定する画素値決定手段と、を有する、
ことを特徴とする。
上記目的を達成するため、本発明の第3の観点に係る画像再構成装置は、
被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間手段と、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、
前記再構成された画像を表す情報を出力する画像情報出力手段と、を備え、
前記補間手段は、
前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出手段と、
前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、及び前記抽出された前記第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、
前記エピポーラ画像を構成する前記第3画素列上の所定の画素を通過する複数の直線から、前記被写体上の同じ点を表す前記第1画素列上の第1画素と、前記第2画素列上の第2画素とを通過する直線を、前記第1画素の画素値と前記第2画素の画素値との相違に基づいて推定する直線推定手段と、
前記所定の画素の画素値を、前記推定された直線が通過する前記第1画素の画素値と前記第2画素の画素値とに基づいて決定する画素値決定手段と、を有する、
ことを特徴とする。
図3のライトフィールド画像LF11は、図2のレンズアレイLA11を構成するマイクロレンズL11からLMNでそれぞれ結像されたサブ画像(以下、サブイメージという)S11からSMNで構成される。このサブイメージS11からSMNには、それぞれ視差が生じている。
図4のステップS03の後に、補間エピポーラ画像CES生成処理を実行する(ステップS04)。この処理は、図13に示すように、図10のエピポーラ画像ESmk(但し、m=1からM、k=1からK)におけるライトフィールド画像LF11のサブイメージSmn(但し、n=1からN−1)のk番目の画素ラインが格納された段と、ライトフィールド画像LF11のサブイメージSmn+1のk番目の画素ラインが格納された段との間の段に、(H−1)個の段を挿入する。この挿入された(H−1)個の段には、段数が少ない順に、ライトフィールド画像LF12のサブイメージSmnのk番目の画素ライン、ライトフィールド画像LF13のサブイメージSmnのk番目の画素ライン、・・・ライトフィールド画像LF1HのサブイメージSmnのk番目の画素ラインであって、未だ画素値が決定されていない(H−1)個の画素の列が格納されている。この(H−1)個の画素ラインが挿入された画像を、補間エピポーラ画像CESmkという。
ΔI1hnb=rha/(rha+rhb)×I11nl・・・(3)
但し、rhb/(rha+rhb)と、rha/(rha+rhb)とは、重み付け係数である。
本実施形態において、図5(b)の直線推定部212cは、図17に示すように、補間エピポーラ画像CESmk(但し、m=1からM、k=1からK)を構成するライトフィールド画像LF11の画素E11nl(但し、n=1からN、l=1からL)を通る複数の直線から、対応画素直線と推定される直線を特定するとして説明した。また、図5(b)の画素値決定部212eは、対応画素直線と推定された直線(つまり、推定直線)と、中心点Ch1からChLを通る補間画素ラインとの交点CPhに基づいて決定された画素E1hnaの画素値I1hnaと画素E1hnbの画素値I1hnbとを画素E11nlの画素値に基づいて決定するとして説明した。
尚、本実施形態又は本実施形態の変形例を実現するための構成を予め備えた画像再構成装置210として提供できることはもとより、プログラムの適用により、既存の画像再構成装置を本実施形態又は本実施形態の変形例に係る画像再構成装置210として機能させることもできる。すなわち、本実施形態又は本実施形態の変形例で例示した画像再構成装置210による各機能構成を実現させるための画像再構成プログラムを、既存の画像再構成装置を制御するコンピュータ(CPUなど)が実行できるように適用することで、本実施形態又は本実施形態の変形例に係る画像再構成装置210として機能させることができる。
以下に本願出願の当初の特許請求の範囲に記載された発明を付記する。
第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間手段と、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、
前記再構成された画像を表す情報を出力する画像情報出力手段と、を備える、
ことを特徴とする画像再構成装置。
前記補間手段は、前記取得された情報で表される前記第1サブ画像の画素値と前記第2サブ画像の画素値とに基づいて前記第1サブ画像と前記第2サブ画像との視差を特定し、前記特定された視差に対する前記第1サブ画像と前記第3サブ画像との視差の比率が、前記第1サブレンズと前記第2サブレンズとの距離に対する前記第1サブレンズと第3サブレンズとの距離の比率となるように、前記第3サブ画像を補間する、
ことを特徴とする付記1に画像再構成装置。
前記補間手段は、
前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出手段と、
前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、及び前記第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、
前記エピポーラ画像を構成する前記第1画素列における第1画素を通過する複数の直線から、前記第2画素列を構成する複数の画素の内で前記第1画素によって表される前記被写体上の点と同じ点を表す第2画素を通過する直線を、前記第1画素の画素値と当該第2画素の画素値との相違に基づいて推定する直線推定手段と、
前記第3画素列を構成する複数の画素の内で、前記推定された直線が通過する画素を、前記第1画素及び前記第2画素によって表される前記被写体上の点と同じ点を表す画素と推定する画素推定手段と、
前記推定された画素の画素値を、前記第1画素の画素値に基づいて決定する画素値決定手段と、を有する、
ことを特徴とする付記1又は2に記載の画像再構成装置。
前記補間手段は、
前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出手段と、
前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、前記抽出された前記第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、
前記エピポーラ画像を構成する前記第3画素列上の所定の画素を通過する複数の直線から、前記被写体上の同じ点を表す前記第1画素列上の第1画素と、前記第2画素列上の第2画素とを通過する直線を、前記第1画素の画素値と前記第2画素の画素値との相違に基づいて推定する直線推定手段と、
前記所定の画素の画素値を、前記推定された直線が通過する前記第1画素の画素値と前記第2画素の画素値とに基づいて決定する画素値決定手段と、を有する、
ことを特徴とする付記1又は2に記載の画像再構成装置。
前記直線推定手段は、前記第1画素の画素値と前記第2画素の画素値との相違が所定の閾値よりも小さい場合に、前記第1画素と前記第2画素とを通過する直線を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定し、
前記画素値決定手段は、前記第3画素列を構成する画素を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する場合には、当該直線が通過する前記第1画素の画素値及び前記第2画素の画素値に基づいて当該画素の画素値を決定せず、前記被写体上の同じ点を表す複数の画素を通過する直線であると推定された直線が当該画素を通過する場合には、当該直線が通過する前記第1画素列上の画素の画素値及び前記第2画素列上の画素の画素値に基づいて当該画素の画素値を決定する、
ことを特徴とする付記3又は4に記載の画像再構成装置。
前記再構成手段は、前記第3画素列を構成する複数の画素の内で、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する画素の画素値を、前記被写体の画像への再構成に利用しない、
ことを特徴とする付記5に記載の画像再構成装置。
第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得ステップと、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間ステップと、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得ステップと、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成ステップと、
前記再構成された画像を表す情報を出力する画像情報出力ステップと、
を含むことを特徴とする画像再構成方法。
コンピュータに、
第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得機能、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間機能、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得機能、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成機能、
前記再構成された画像を表す情報を出力する画像情報出力機能、
を実現させることを特徴とする画像再構成プログラム。
Claims (11)
- 被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間手段と、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、
前記再構成された画像を表す情報を出力する画像情報出力手段と、を備え、
前記補間手段は、前記取得された情報で表される前記第1サブ画像の画素値と前記第2サブ画像の画素値とに基づいて前記第1サブ画像と前記第2サブ画像との視差を特定し、前記特定された視差に対する前記第1サブ画像と前記第3サブ画像との視差の比率が、前記第1サブレンズと前記第2サブレンズとの距離に対する前記第1サブレンズと第3サブレンズとの距離の比率となるように、前記第3サブ画像を補間する、
ことを特徴とする画像再構成装置。 - 被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間手段と、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、
前記再構成された画像を表す情報を出力する画像情報出力手段と、を備え、
前記補間手段は、
前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出手段と、
前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、及び前記抽出された第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、
前記エピポーラ画像を構成する前記第1画素列における第1画素を通過する複数の直線から、前記第2画素列を構成する複数の画素の内で前記第1画素によって表される前記被写体上の点と同じ点を表す第2画素を通過する直線を、前記第1画素の画素値と当該第2画素の画素値との相違に基づいて推定する直線推定手段と、
前記第3画素列を構成する複数の画素の内で、前記推定された直線が通過する画素を、前記第1画素及び前記第2画素によって表される前記被写体上の点と同じ点を表す画素と推定する画素推定手段と、
前記推定された画素の画素値を、前記第1画素の画素値に基づいて決定する画素値決定手段と、を有する、
ことを特徴とする画像再構成装置。 - 被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間手段と、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、
前記再構成された画像を表す情報を出力する画像情報出力手段と、を備え、
前記補間手段は、
前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出手段と、
前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、及び前記抽出された前記第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、
前記エピポーラ画像を構成する前記第3画素列上の所定の画素を通過する複数の直線から、前記被写体上の同じ点を表す前記第1画素列上の第1画素と、前記第2画素列上の第2画素とを通過する直線を、前記第1画素の画素値と前記第2画素の画素値との相違に基づいて推定する直線推定手段と、
前記所定の画素の画素値を、前記推定された直線が通過する前記第1画素の画素値と前記第2画素の画素値とに基づいて決定する画素値決定手段と、を有する、
ことを特徴とする画像再構成装置。 - 前記直線推定手段は、前記第1画素の画素値と前記第2画素の画素値との相違が所定の閾値よりも小さい場合に、前記第1画素と前記第2画素とを通過する直線を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定し、
前記画素値決定手段は、前記第3画素列を構成する画素を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する場合には、当該直線が通過する前記第1画素の画素値及び前記第2画素の画素値に基づいて前記第3画素列を構成する画素の画素値を決定せず、前記被写体上の同じ点を表す複数の画素を通過する直線であると推定された直線が前記第3画素列を構成する画素を通過する場合には、当該直線が通過する前記第1画素列上の画素の画素値及び前記第2画素列上の画素の画素値に基づいて前記第3画素列を構成する画素の画素値を決定する、
ことを特徴とする請求項2又は3に記載の画像再構成装置。 - 前記再構成手段は、前記第3画素列を構成する複数の画素の内で、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する画素の画素値を前記被写体の画像への再構成に利用しない、
ことを特徴とする請求項4に記載の画像再構成装置。 - 被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得ステップと、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間ステップと、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得ステップと、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成ステップと、
前記再構成された画像を表す情報を出力する画像情報出力ステップと、
を含み、
前記補間ステップは、前記取得された情報で表される前記第1サブ画像の画素値と前記第2サブ画像の画素値とに基づいて前記第1サブ画像と前記第2サブ画像との視差を特定し、前記特定された視差に対する前記第1サブ画像と前記第3サブ画像との視差の比率が、前記第1サブレンズと前記第2サブレンズとの距離に対する前記第1サブレンズと第3サブレンズとの距離の比率となるように、前記第3サブ画像を補間する、
ことを特徴とする画像再構成方法。 - 被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得ステップと、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間ステップと、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得ステップと、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成ステップと、
前記再構成された画像を表す情報を出力する画像情報出力ステップと、
を含み、
前記補間ステップは、
前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出ステップと、
前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、及び前記抽出された第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成ステップと、
前記エピポーラ画像を構成する前記第1画素列における第1画素を通過する複数の直線から、前記第2画素列を構成する複数の画素の内で前記第1画素によって表される前記被写体上の点と同じ点を表す第2画素を通過する直線を、前記第1画素の画素値と当該第2画素の画素値との相違に基づいて推定する直線推定ステップと、
前記第3画素列を構成する複数の画素の内で、前記推定された直線が通過する画素を、前記第1画素及び前記第2画素によって表される前記被写体上の点と同じ点を表す画素と推定する画素推定ステップと、
前記推定された画素の画素値を、前記第1画素の画素値に基づいて決定する画素値決定ステップと、を有する、
ことを特徴とする画像再構成方法。 - 被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得ステップと、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間ステップと、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得ステップと、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成ステップと、
前記再構成された画像を表す情報を出力する画像情報出力ステップと、
を含み、
前記補間ステップは、
前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出ステップと、
前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、及び前記抽出された前記第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成ステップと、
前記エピポーラ画像を構成する前記第3画素列上の所定の画素を通過する複数の直線から、前記被写体上の同じ点を表す前記第1画素列上の第1画素と、前記第2画素列上の第2画素とを通過する直線を、前記第1画素の画素値と前記第2画素の画素値との相違に基づいて推定する直線推定ステップと、
前記所定の画素の画素値を、前記推定された直線が通過する前記第1画素の画素値と前記第2画素の画素値とに基づいて決定する画素値決定ステップと、を有する、
ことを特徴とする画像再構成方法。 - コンピュータに、
被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得機能、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間機能、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得機能、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成機能、
前記再構成された画像を表す情報を出力する画像情報出力機能、
を実現させるためのプログラムであって、
前記補間機能は、前記取得された情報で表される前記第1サブ画像の画素値と前記第2サブ画像の画素値とに基づいて前記第1サブ画像と前記第2サブ画像との視差を特定し、前記特定された視差に対する前記第1サブ画像と前記第3サブ画像との視差の比率が、前記第1サブレンズと前記第2サブレンズとの距離に対する前記第1サブレンズと第3サブレンズとの距離の比率となるように、前記第3サブ画像を補間する、
ことを特徴とする画像再構成プログラム。 - コンピュータに、
被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得機能、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間機能、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得機能、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成機能、
前記再構成された画像を表す情報を出力する画像情報出力機能、
を実現させるためのプログラムであって、
前記補間機能は、
前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出機能、
前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、及び前記抽出された第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成機能、
前記エピポーラ画像を構成する前記第1画素列における第1画素を通過する複数の直線から、前記第2画素列を構成する複数の画素の内で前記第1画素によって表される前記被写体上の点と同じ点を表す第2画素を通過する直線を、前記第1画素の画素値と当該第2画素の画素値との相違に基づいて推定する直線推定機能、
前記第3画素列を構成する複数の画素の内で、前記推定された直線が通過する画素を、前記第1画素及び前記第2画素によって表される前記被写体上の点と同じ点を表す画素と推定する画素推定機能、
前記推定された画素の画素値を、前記第1画素の画素値に基づいて決定する画素値決定機能、を有する、
ことを特徴とする画像再構成プログラム。 - コンピュータに、
被写体のメインレンズによる光学像を、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得機能、
前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを仮想的に配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間機能、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得機能、
前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成機能、
前記再構成された画像を表す情報を出力する画像情報出力機能、
を実現させるためのプログラムであって、
前記補間機能は、
前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出機能、
前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、及び前記抽出された前記第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成機能、
前記エピポーラ画像を構成する前記第3画素列上の所定の画素を通過する複数の直線から、前記被写体上の同じ点を表す前記第1画素列上の第1画素と、前記第2画素列上の第2画素とを通過する直線を、前記第1画素の画素値と前記第2画素の画素値との相違に基づいて推定する直線推定機能、
前記所定の画素の画素値を、前記推定された直線が通過する前記第1画素の画素値と前記第2画素の画素値とに基づいて決定する画素値決定機能、を有する、
ことを特徴とする画像再構成プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011080746A JP5170276B2 (ja) | 2011-03-31 | 2011-03-31 | 画像再構成装置、画像再構成方法、及び画像再構成プログラム |
CN201210086391.4A CN102857677B (zh) | 2011-03-31 | 2012-03-28 | 具有重构图像的功能的装置及方法 |
US13/434,024 US8542312B2 (en) | 2011-03-31 | 2012-03-29 | Device having image reconstructing function, method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011080746A JP5170276B2 (ja) | 2011-03-31 | 2011-03-31 | 画像再構成装置、画像再構成方法、及び画像再構成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012216992A JP2012216992A (ja) | 2012-11-08 |
JP5170276B2 true JP5170276B2 (ja) | 2013-03-27 |
Family
ID=46926759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011080746A Expired - Fee Related JP5170276B2 (ja) | 2011-03-31 | 2011-03-31 | 画像再構成装置、画像再構成方法、及び画像再構成プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8542312B2 (ja) |
JP (1) | JP5170276B2 (ja) |
CN (1) | CN102857677B (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5310837B2 (ja) | 2011-12-28 | 2013-10-09 | カシオ計算機株式会社 | 画像生成装置、デジタルカメラ、方法、及びプログラム |
JP6362062B2 (ja) * | 2012-12-07 | 2018-07-25 | キヤノン株式会社 | 画像生成装置および画像生成方法 |
JP6210687B2 (ja) * | 2013-01-11 | 2017-10-11 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6245974B2 (ja) * | 2013-12-20 | 2017-12-13 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
JP6114229B2 (ja) * | 2014-04-28 | 2017-04-12 | 日本電信電話株式会社 | 画像生成装置及び画像生成プログラム |
JP6236664B2 (ja) * | 2014-12-16 | 2017-11-29 | 日本電信電話株式会社 | 画像補正装置及びコンピュータプログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6351269B1 (en) * | 1998-04-17 | 2002-02-26 | Adobe Systems Incorporated | Multiple image morphing |
US6606406B1 (en) * | 2000-05-04 | 2003-08-12 | Microsoft Corporation | System and method for progressive stereo matching of digital images |
JP2004120600A (ja) * | 2002-09-27 | 2004-04-15 | Fuji Photo Film Co Ltd | デジタル双眼鏡 |
CA2511040A1 (en) * | 2004-09-23 | 2006-03-23 | The Governors Of The University Of Alberta | Method and system for real time image rendering |
JP4826152B2 (ja) | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
WO2007044725A2 (en) * | 2005-10-07 | 2007-04-19 | The Board Of Trustees Of The Leland Stanford Junior University | Microscopy arrangements and approaches |
US7620309B2 (en) | 2006-04-04 | 2009-11-17 | Adobe Systems, Incorporated | Plenoptic camera |
JP4864632B2 (ja) * | 2006-10-12 | 2012-02-01 | 株式会社リコー | 画像入力装置、画像入力方法、個人認証装置及び電子機器 |
JP5285619B2 (ja) * | 2006-12-18 | 2013-09-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | カメラシステムのキャリブレーション |
JP5179784B2 (ja) * | 2007-06-07 | 2013-04-10 | 株式会社ユニバーサルエンターテインメント | 三次元座標測定装置及び三次元座標測定装置において実行されるプログラム |
US8290358B1 (en) * | 2007-06-25 | 2012-10-16 | Adobe Systems Incorporated | Methods and apparatus for light-field imaging |
WO2009020977A1 (en) * | 2007-08-06 | 2009-02-12 | Adobe Systems Incorporated | Method and apparatus for radiance capture by multiplexing in the frequency domain |
JP5224124B2 (ja) * | 2007-12-12 | 2013-07-03 | ソニー株式会社 | 撮像装置 |
EP2244484B1 (en) * | 2009-04-22 | 2012-03-28 | Raytrix GmbH | Digital imaging method for synthesizing an image using data recorded with a plenoptic camera |
US9189859B2 (en) * | 2009-06-11 | 2015-11-17 | Kabushiki Kaisha Toshiba | 3D image generation |
US8228417B1 (en) * | 2009-07-15 | 2012-07-24 | Adobe Systems Incorporated | Focused plenoptic camera employing different apertures or filtering at different microlenses |
JP2012205015A (ja) * | 2011-03-24 | 2012-10-22 | Casio Comput Co Ltd | 画像処理装置及び画像処理方法、並びにプログラム |
JP5206853B2 (ja) * | 2011-09-08 | 2013-06-12 | カシオ計算機株式会社 | 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム |
-
2011
- 2011-03-31 JP JP2011080746A patent/JP5170276B2/ja not_active Expired - Fee Related
-
2012
- 2012-03-28 CN CN201210086391.4A patent/CN102857677B/zh not_active Expired - Fee Related
- 2012-03-29 US US13/434,024 patent/US8542312B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN102857677B (zh) | 2015-06-03 |
JP2012216992A (ja) | 2012-11-08 |
US8542312B2 (en) | 2013-09-24 |
US20120249823A1 (en) | 2012-10-04 |
CN102857677A (zh) | 2013-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6347675B2 (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
EP1841207B1 (en) | Imaging device, imaging method, and imaging device design method | |
JP5170276B2 (ja) | 画像再構成装置、画像再構成方法、及び画像再構成プログラム | |
JP2011134221A (ja) | 撮像装置、3dモデリングデータ生成方法、および、プログラム | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
KR101783229B1 (ko) | 화상처리장치 및 그 제어 방법 | |
JP2015148532A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
US10356381B2 (en) | Image output apparatus, control method, image pickup apparatus, and storage medium | |
US11080873B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6557499B2 (ja) | 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体 | |
TWI508554B (zh) | 基於光場相機的影像對焦處理方法及其系統 | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
US10122939B2 (en) | Image processing device for processing image data and map data with regard to depth distribution of a subject, image processing system, imaging apparatus, image processing method, and recording medium | |
JP2009293971A (ja) | 距離測定装置および方法並びにプログラム | |
US10084950B2 (en) | Image capturing apparatus | |
WO2014077024A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN112866547B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
JP2016072924A (ja) | 画像処理装置及び画像処理方法 | |
JP7113327B1 (ja) | 撮像装置 | |
JP6044123B2 (ja) | 被写体追尾装置および電子カメラ並びに被写体追尾プログラム | |
US10769805B2 (en) | Method, image processing device, and system for generating depth map | |
JP6608238B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP2013157713A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2020086824A (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5170276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |