JP4942221B2 - 高解像度仮想焦点面画像生成方法 - Google Patents

高解像度仮想焦点面画像生成方法 Download PDF

Info

Publication number
JP4942221B2
JP4942221B2 JP2008541051A JP2008541051A JP4942221B2 JP 4942221 B2 JP4942221 B2 JP 4942221B2 JP 2008541051 A JP2008541051 A JP 2008541051A JP 2008541051 A JP2008541051 A JP 2008541051A JP 4942221 B2 JP4942221 B2 JP 4942221B2
Authority
JP
Japan
Prior art keywords
image
focal plane
virtual focal
parallax
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008541051A
Other languages
English (en)
Other versions
JPWO2008050904A1 (ja
Inventor
正敏 奥富
薫 池田
雅夫 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2008541051A priority Critical patent/JP4942221B2/ja
Publication of JPWO2008050904A1 publication Critical patent/JPWO2008050904A1/ja
Application granted granted Critical
Publication of JP4942221B2 publication Critical patent/JP4942221B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、多数の視点から撮影された画像（多視点画像）、即ち、撮影位置の異なる複数の画像を用いて、新たな高解像度画像を生成するための画像生成方法に関する。
従来、多数の画像を組み合わせることで、高画質な画像を生成する方法が知られている。例えば、撮影位置の異なる複数の画像から高解像度画像を得るための手法として、超解像処理などが知られている（非特許文献１を参照）。
また、ステレオマッチングで求められた視差から画素の対応関係を求め、対応する画素を平均化して統合することで、ノイズを低減する方法も提案されている（非特許文献２を参照）。この方法は、多眼ステレオ化することで、視差推定精度を向上することができ（非特許文献３を参照）、画質改善の効果も向上する。更に、視差をサブピクセル精度で求める（非特許文献４を参照）ことによって、高解像度化処理も可能である。
一方、ウィルバンら（非特許文献５を参照）に提案された方法によれば、カメラアレイによって撮影される画像を組み合わせることにより、ダイナミックレンジの向上を行うことや、視野角の広いパノラマ画像を生成することなどの処理を行うことができる。さらに、非特許文献５に開示されている方法では、擬似的に開口の大きく被写界深度の浅い画像を合成するなど、通常の単眼カメラでは撮影の困難な画像を生成することもできる。
また、バイシュら（非特許文献６を参照）は、同様にカメラアレイで撮影された画像を組み合わせることにより、単に被写界深度の浅い画像を生成するだけでなく、通常の光学系を持ったカメラでは撮影できない、画像上でカメラに正対しない平面に焦点を持った画像を生成する方法を提案している。
パーク エス. シー.（Park,S.C.）、パーク エム. ケイ.（Park,M.K.）、カン エム. ジイ.（Kang,M.G.）共著,「スーパーレゾルーション イメージ リコンストラクション： ア テクニカル オーバービュー（Super-resolution image reconstruction: a technical overview）」,ＩＥＥＥ シグナル プロセシング マガジン（IEEE Signal Processing Magazine）,2003年,第20巻,第3号,p.21-36 池田薫・清水雅夫・奥富正敏共著,「ステレオ画像を用いた画質と視差推定精度の同時改善」,情報処理学会論文誌：コンピュータビジョンとイメージメディア,2006年,第47巻,第NSIG9号(CVIM14),p.111-114 オクトミ エム.（Okutomi,M.）、カナデ ティー.（Kanade,T.）共著,「ア マルチプルベースライン ステレオ.（A multiplebaseline stereo.）」,ＩＥＥＥ トランス. オン ＰＡＭＩ（IEEE Trans. On PAMI）,1993年,第15巻,第4号,p.353-363 シミズ エム.（Shimizu,M.）、オクトミ エム.（Okutomi,M.）共著,「サブピクセル エスティメイション エラー キャンセレイション オン エリアベーセド マッチング（Sub-pixel Estimation Error Cancellation on Area-Based Matching）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of Computer Vision）,2005年,第63巻,第3号,p.207-224 ウィルバン ビー.（Wilburn,B.）、ジョーシー エヌ.（Joshi,N.）、バイシュ ブィ.（Vaish,V.）、タルヴァラ イー. ブィ.（Talvala,E.-V.）、アンチュネザ イー.（Antunez,E.）、バルト エイ.（Barth,A.）、アダムス エイ.（Adams,A.）、ホロビッツ エム.（Horowitz,M.）、レボイ エム.（Levoy,M.）共著,「ハイ パフォーマンス イメージング ユシング ラージ カメラ アレイス（High performance imaging using large camera arrays）」,ＡＣＭ トランスアクションズ オン グラフィックス（ACM Transactions on Graphics）,2005年,第24巻,第3号,p.765-776 バイシュ ブィ.（Vaish,V.）、ガルガ ジィー.（Garg,G.）、タルヴァラ イー. ブィ.（Talvala,E.-V.）、アンチュネザ イー.（Antunez,E.）、ウィルバン ビー.（Wilburn,B.）、ホロビッツ エム.（Horowitz,M.）、レボイ エム.（Levoy,M.）共著,「シンセティック アパーチャー フォーカシング ユシング ア シーア ワープ ファクトライザション オフ ザ ビューイング トランスフォーム（Synthetic Aperture Focusing using a Shear-Warp Factorization of the Viewing Transform）」,ＣＶＰＲ（CVPR）,2005年,第3巻,p.129-129 蚊野浩・金出武雄共著,「任意のカメラ配置におけるステレオ視とステレオカメラ校正」,電子情報通信学会論文誌,1996年,第J79-D-II巻,第11号,p.1810-1818 カメラ映像機器工業会標準化委員会著,「デジタルカメラの解像度測定方法」,CIPA DC-003
しかし、非特許文献６に開示されている方法では、仮想焦点面画像を生成するためには、ユーザが必要とする焦点面（即ち、画像上から合焦させたい平面、以下、単に「仮想焦点面」とも称する）の位置を手動で逐次調整する必要があり、これに伴って仮想焦点面画像を生成するために必要なパラメータも逐次推定する必要があった。
つまり、非特許文献６に開示されている方法を用いて、仮想焦点面画像を生成するには、仮想焦点面の位置の「逐次調整」及び、必要なパラメータの「逐次推定」という大変時間のかかる作業が必要になるので、仮想焦点面画像を迅速に生成できないという問題点がある。
また、非特許文献６に開示されている方法により生成された仮想焦点面画像は、生成前の画像、即ち、カメラアレイで撮影された画像と同等の解像度しか持っていなかった為、画像の高解像度化を実現することはできないという問題点もある。
本発明は、上述のような事情から成されたものであり、本発明の目的は、撮影対象に対して複数の異なる視点から撮影を行って取得された多視点画像を用いて、任意の所望解像度を有する仮想焦点面画像を簡単且つ迅速に生成できる、高解像度仮想焦点面画像生成方法を提供することにある。
本発明は、撮影対象に対して、複数の異なる視点から撮影を行って取得された複数の画像で構成する１組の多視点画像を用いて、仮想焦点面画像を生成するための高解像度仮想焦点面画像生成方法に関し、本発明の上記目的は、前記多視点画像を構成する前記複数の画像のうち、１枚の画像を基準画像とし、前記基準画像を除いて残りの全ての画像を参照画像とし、前記基準画像上における所定の領域である注目領域に対して、前記多視点画像を構成する各画像が重なるような画像変形パラメータを求め、求めた前記画像変形パラメータを用いて、前記多視点画像の各参照画像を前記基準画像へと変形し、変形された各参照画像を統合する統合処理を行うことにより、前記仮想焦点面画像を生成することにより、或いは、前記画像変形パラメータは、前記注目領域の各頂点と、前記注目領域の各頂点に対応する前記参照画像上での対応点との対応関係から得られた射影変換行列に基づいて求められることにより、或いは、前記対応関係は、前記多視点画像に対し、ステレオマッチングを行うことで取得した視差画像と、前記視差画像を基に推定された、前記注目領域に対する視差空間中の平面とに基づいて求められることにより、或いは、前記統合処理において、変形されて統合された画素群を任意の大きさの格子で区切り、前記格子を画素とすることにより、前記格子の大きさに応じた解像度を持つ前記仮想焦点面画像を生成することによって達成される。
また、本発明の上記目的は、撮影対象に対して、複数の異なる視点から撮影を行って取得された複数の画像で構成する１組の多視点画像を用いて、仮想焦点面画像を生成するための高解像度仮想焦点面画像生成方法であって、前記多視点画像に対し、ステレオマッチングを行うことにより、視差を推定し、視差画像を取得する、視差推定処理ステップと、前記多視点画像を構成する前記複数の画像のうち、１枚の画像を基準画像とし、前記基準画像を除いて残りの全ての画像を参照画像とし、前記基準画像上における所定の領域を注目領域として選択する、領域選択処理ステップと、前記視差画像を基に、前記注目領域に対する視差空間中の平面を推定し、推定した平面を仮想焦点面とする、仮想焦点面推定処理ステップと、前記仮想焦点面に対して、前記各参照画像を前記基準画像へと変形するための画像変形パラメータを求め、求めた前記画像変形パラメータを用いて、前記多視点画像を変形することにより、前記仮想焦点面画像を生成する、画像統合処理ステップとを有することにより、或いは、前記多視点画像は、２次元状に配置した複数のカメラから構成されるカメラ群によって取得されるようにすることにより、或いは、前記多視点画像は、１台の撮像装置を移動手段に固定し、２次元状に配置した複数のカメラから構成されるカメラ群を想定してカメラを移動し、撮影を行って取得されたものであることにより、或いは、前記仮想焦点面推定処理ステップでは、前記基準画像における前記注目領域に属する画像上のエッジを抽出し、エッジの存在する部分で求められた視差のみを用いて、前記注目領域に対する視差空間中の平面を推定し、推定した平面を仮想焦点面とすることにより、或いは、前記画像統合処理ステップは、前記基準画像上の前記注目領域の各頂点に対応する視差を求める第１のステップと、前記基準画像上の前記注目領域の各頂点に対応する、前記参照画像上での対応点の座標位置を求める第２のステップと、頂点同士の対応関係から、これらの座標組を重ね合わせる射影変換行列を求める第３のステップと、全ての参照画像に対して、第２のステップと第３のステップでの処理を行い、平面同士を重ねるための変換を与える射影変換行列を求める第４のステップと、求めた射影変換行列を用いて、それぞれの参照画像を変形することにより、画像統合処理を行い、統合された画素群を所定の大きさを有する格子で区切り、前記格子を画素とすることにより、前記格子の大きさに決められる解像度を持つ前記仮想焦点面画像を生成する第５のステップとを有することによってより効果的に達成される。
本発明に係る高解像度仮想焦点面画像生成方法は、撮影対象に対して複数の異なる視点から撮影を行って取得された多視点画像を用いて、所望の任意の解像度を有する仮想焦点面画像を簡単且つ迅速に生成できるようにした方法である。
非特許文献６に開示されている従来の方法では、ユーザは焦点面を希望の平面に合わせる際に、満足できる仮想焦点面画像を得られるまでパラメータを逐次に調整する必要があったのに対し、本発明により、仮想焦点面画像を生成する際のユーザの負担が大幅に削減され、即ち、本発明では、ユーザの操作は画像中から注目する領域を指定するという操作のみとなる。
また、本発明によって生成される仮想焦点面画像は、任意の解像度を持つことが可能であるため、本発明によれば、原画像（多視点画像）と比較して、高い解像度を持った画像を生成できるといった優れた効果を奏する。
即ち、画像上の注目領域では、ノイズ低減や高解像度化といった高画質化の効果を得ることができる。
本発明は、撮影対象に対して、複数の異なる視点から撮影を行って取得された複数の画像（以下、単に、「多視点画像」）を用いて、所望の任意解像度を持つ仮想焦点面画像を簡単かつ迅速に生成するための高解像度仮想焦点面画像生成方法に関する。
以下、本発明を実施するための最良の形態を図面を参照して詳細に説明する。
＜１＞仮想焦点面画像
まず、本発明に係る高解像度仮想焦点面画像生成方法の着眼点と、本発明の高解像度仮想焦点面画像生成方法によって生成される、新たな画像である「仮想焦点面画像」について、以下のように詳細に述べる。
＜１−１＞撮像面に平行な仮想焦点面
本発明では、「仮想焦点面画像」を生成するために、まず、撮影対象に対して複数の視点から撮影を行うことにより、１組の多視点画像を取得する必要がある。
この多視点画像は、例えば、第１図に示すような格子状配置の２５眼ステレオカメラ（以下、単に、カメラアレイとも称する）を用いて、取得することができる。第１図の２５眼ステレオカメラを用いて撮影して得られた多視点画像の一例を第２図に示す。
このとき、第１図に示す格子状配置の中心となるカメラから撮影された画像を基準画像（第３図（Ａ）を参照）として、第２図に示す多視点画像に対し、多眼ステレオ３次元計測を行うことにより、第３図（Ｂ）に示すような視差マップ（以下、単に「視差画像」とも言う）を得ることができる。
このとき、第２図に示す多視点画像の撮影シーンにおける物体配置関係及び仮想焦点面の配置を模式的に表すと、第４図のようになり、これらを比較することで、視差は実空間中の奥行きと対応し、カメラに近い位置に存在する物体ほど値が大きく、カメラから離れた位置に存在する物体ほど値が小さくなることがわかる。また、同一の奥行きに存在する物体は同一の値となり、視差の値が同一となる実空間中の平面は、カメラに対してフロントパラレルな平面となる。
ここで、視差は参照画像と基準画像のずれ量を示していることから、ある奥行きに存在する点について、対応する視差を用いてすべての参照画像を基準画像と重なるように変形することができる。ここで言う「参照画像」とは、１組の多視点画像を構成する複数の画像のうち、基準画像として選択された画像を除いて残りの全ての画像を意味する。
第５図には、この「ある奥行きに存在する点について、対応する視差を用いてすべての参照画像を基準画像と重なるように変形する」といった方法を用いて、第２図の多視点画像に基づいて合成した仮想焦点面画像の例を示す。第５図(Ａ)は、奥の壁面に対応した視差で変形して合成した場合の例であり、また、第５図(Ｂ)は、手前の箱の前面に対応した視差で変形して合成した場合の例である。
本発明では、このときに注目した視差に対応して生じた仮想的な焦点面を「仮想焦点面」と呼び、そして、仮想焦点面に対して合成された画像を、「仮想焦点面画像」と呼ぶこととする。第５図(Ａ)及び第５図(Ｂ)は、それぞれ奥の壁面、手前の箱の前面に仮想焦点面を置いたときの仮想焦点面画像である。つまり、第５図（Ａ）に、第４図における点線で示された（ａ）の位置に仮想焦点面を置いた場合において、合成された仮想焦点面画像を示す。また、第５図（Ｂ）に、第４図における点線で示された（ｂ）の位置に仮想焦点面を置いた場合において、合成された仮想焦点面画像を示す。
一般的に、被写界深度の浅い画像では、焦点は画像上でもっとも関心の高い被写体の存在する奥行きに対して合わせられる。このとき、合焦対象となる被写体では鮮鋭度の高い高画質の画像を得ることができ、他の不要な奥行きでは、ぼけの生じた画像となる。「仮想焦点面画像」もこれに似た性質を持ち、仮想焦点面上では画像の鮮鋭度が高く、仮想焦点面から離れた点になるにつれ、画像にぼけが生じる。また、仮想焦点面上では、複数の異なるカメラで同一場面の画像を複数枚撮影することと、同様の効果を得られる。そのため、ノイズを低減し、画質の向上した画像を得ることができる。さらに、視差をサブピクセル単位で推定することで、基準画像と参照画像のサブピクセル単位でのずれ量を推定することもできるため、高解像度化の効果を得ることもできる。
＜１−２＞任意の仮想焦点面
＜１−１＞では、「仮想焦点面」をある一定の奥行き上に存在するものとして考えた。しかしながら、一般にユーザが画像から何らかの情報を得ようとする場合に、注目する領域は、カメラに対してフロントパラレルな平面上に存在するとは限らない。
例えば、第３図（Ａ）に示すようなシーンで、斜めに配置された横断幕上の文字に注目したとすると、必要とする文字の情報が、カメラに対してフロントパラレルな平面ではない平面上に存在していることとなる。
そこで、本発明では、第６図に示すように、画像上で指定した任意の領域に仮想焦点面を持つ仮想焦点面画像を生成する。第６図に示す任意の仮想焦点面に対する仮想焦点面画像の場合において、その任意の仮想焦点面の配置を第７図に示す。第７図から分かるように、点線で示された（ｃ）の位置に仮想焦点面を置いた場合において、その仮想焦点面は、カメラに対してフロントパラレルな平面ではない平面なので、つまり、任意の仮想焦点面である。
本発明で生成する「仮想焦点面画像」は、カメラに対してフロントパラレルな平面に限らず、空間中の任意の平面を焦点面とする。つまり、本発明によって生成される「仮想焦点面画像」は、画像上で任意の平面に合焦した画像であるといえる。
本発明で生成する「仮想焦点面画像」は、一般的にレンズ光軸と受光素子が直交していないようなカメラを用いないかぎり撮影を行うことが難しく、任意の平面に対して焦点を合わせた撮影を行うことは、通常の固定された光学系のカメラでは不可能である。
また、＜１−１＞で述べた撮像面に平行な仮想焦点面を持つ画像は、任意に設定された焦点面が撮像面に平行となった特殊な場合に、本発明を用いて生成された「仮想焦点面画像」であると言える。このことから、ここで述べる任意の仮想焦点面を持つ仮想焦点面画像は、より一般性がある。
要するに、本発明の高解像度仮想焦点面画像生成方法によって生成される「仮想焦点面画像」とは、任意の仮想焦点面を持つ画像（以下、「一般化された仮想焦点面画像」、或いは、単に、「仮想焦点面画像」と称する）である。
第８図に、本発明による一般化された仮想焦点面画像を生成するための処理の概略を模式的に示す。第８図に示されるように、本発明では、まず、撮影位置の異なる複数の画像が構成する１組の多視点画像（例えば、２次元状に配置した２５眼カメラアレイで撮影して得られた多眼ステレオ画像）を取得する。
そして、取得された多視点画像に対し、ステレオマッチング（即ち、ステレオ３次元計測）を行うことにより、対象シーンの視差を推定し、視差画像（以下、単に視差マップとも言う）を得るといった処理（視差推定処理）を行う。
次に、多視点画像を構成する複数の画像から「基準画像」として選択された１枚の画像に対して、ユーザは、注目したい画像上の任意の領域を指定する。即ち、基準画像上における所望の任意の領域を「注目領域」として選択する「領域選択処理」が行われる。
それから、「視差推定処理」で得られた「視差画像」を基に、「領域選択処理」で指定された画像上の「注目領域」に対する視差空間中の平面を推定し、推定した平面を「仮想焦点面」とする「仮想焦点面推定処理」が行われる。
最後に、「仮想焦点面推定処理」で推定された「仮想焦点面」に対して、多視点画像を構成する全ての画像を変形するための画像の対応関係を示す「画像変形パラメータ」を求めて、求めた「画像変形パラメータ」を用いて、多視点画像を構成する全ての画像を変形することにより、基準画像より高い画質を有する「仮想焦点面画像」を生成する「画像統合処理」が行われる。
上述した処理の流れに沿って、本発明は、低画質の多視点画像から高画質でかつ任意所望の仮想焦点面を持つ仮想焦点面画像を生成する。即ち、本発明によれば、低画質の多視点画像に基づいて、画像上に指定された任意の注目領域に対して焦点の合った高画質な画像を合成することができる。
＜２＞本発明による多視点画像を用いた仮想焦点面画像生成処理
以下では、本発明に係る高解像度仮想焦点面画像生成方法について、更に具体的に説明する。
＜２−１＞本発明における視差推定処理
まず、本発明における視差推定処理（即ち、第８図の視差推定処理）についてより詳細に説明する。
＜２−１−１＞２平面を用いたキャリブレーション
本発明の視差推定処理とは、多視点画像（多眼ステレオ画像）を用いて、基準画像に対する参照画像の対応点を探索することにより視差を推定し、視差画像（視差マップ）を取得する処理である。
このとき、ステレオカメラ間では、非特許文献７に開示された「２平面を用いたキャリブレーション」が行われており、キャリブレーション平面は、基準カメラの光軸と垂直であるとする。ここで「基準カメラ」とは、基準画像を撮影したカメラのことを意味する。
非特許文献７に開示された「２平面を用いたキャリブレーション」では、ステレオ３次元計測対象となる空間中のある２平面について、それぞれの平面同士を一致させる射影変換行列の形式で、画像間の関係を取得しておく。
即ち、第９図に示すように、この２平面をそれぞれ
とすると、それぞれの平面上での画像間の関係を与える射影変換行列は、Ｈ０,Ｈ１となる。
本発明の視差推定処理では、この２平面を用いたキャリブレーションから導かれる、下記数１に示す射影変換行列Ｈαを利用する。
このとき、αを「一般化された視差」と呼び、以下、このαを単に「視差」とも呼ぶ。
ここで、ある視差αについて、数１より求められる射影変換行列Ｈαを用いて、参照画像を変形する。即ち、射影変換行列Ｈαにより、参照画像を基準画像へと重ねるように行う変形は、下記数２のように表せる。
ただし、
は基準画像上の座標
の同次座標を表す。また、
は参照画像上の座標
の同次座標を表す。更に、記号〜は、同値関係を表し、両辺が定数倍の違いを許して等しいことを意味している。
＜２−１−２＞視差推定処理
上記数１及び数２から分かるように、数２によって与えられる変形（即ち、参照画像を基準画像へと重ねるように行う変形）は、数１により、一般化された視差αによってのみ変化する。
よって、αの値を変化させながら、基準画像と変形された参照画像の各画素ごとの値を比較し、両者の画素ごとの値が一致するようになるαの値を探索するようにする。これにより、一般化された視差αを推定することができる。
なお、画素値の比較の評価値には、ＳＳＤ(Sum of Squared Difference)を用いた領域ベースの手法を用い、また、多眼ステレオ画像を用いた結果の統合には、ＳＳＳＤ(Sum of Sum of Squared Difference)を用いた（非特許文献３を参照）。
上述した本発明の視差推定処理によれば、多眼ステレオ画像（多視点画像）を用いて、画像上のすべての画素に対する密な視差マップ（視差画像）を推定することができる。
＜２−２＞本発明における仮想焦点面推定処理
次に、本発明における仮想焦点面推定処理（即ち、第８図の仮想焦点面推定処理）について、より詳細に説明する。
本発明の仮想焦点面推定処理では、＜１−２＞で述べた「領域選択処理」により、基準画像上からユーザの選択した「注目領域」（以下、この「注目領域」を「処理領域」とも言う）を取得し、この注目領域内の点が存在する視差空間中での平面を求め、求めた平面を仮想焦点面とする。
第１０図は、＜２−１＞で述べた視差推定処理により求められた視差推定結果の一例であり、また、ユーザの指定する注目領域（処理領域）は、第１０図（Ａ）の基準画像上に緑の実線で示された矩形範囲であり、第１０図（Ｂ）の視差マップ上にも緑の実線でその注目領域を示している。
第１０図に示されるように、処理領域内での視差マップは、（ｕ,ｖ,α）視差空間中で同一平面上に存在する。ここで、（ｕ,ｖ）は画像上の２軸を表し、αは視差である。
このとき、視差空間で同一平面上に存在する点の集合は、実空間中においても、同一平面上に存在するとみなすことができる。その理由については、即ち、実空間と視差空間の関係について、後述する。
このことから、実空間中の注目平面に対応する視差空間中での領域は、平面として求められ、推定された視差マップを最良近似する平面を、最小二乗法を用いて、下記数３のように推定することができる。
ここで、αは視差空間中で平面として求められた視差である。また、
は、それぞれ推定される平面パラメータである。
実際には、推定された視差マップから全てのデータを用いると、テクスチャレス領域での視差推定ミスなどが推定結果に反映されてしまう。第１０図（Ｂ）の視差マップにおいても、視差推定ミスが生じ、一部の点が平面から外れた値をとっていることが分かる。
そのため、本発明では、画像上のエッジを抽出し、エッジの存在する部分で求められる視差のみを用いて平面を推定することで、視差推定ミスの影響を軽減することができる。第１０図（Ｃ）では、赤で示された点がこうしたエッジ上の視差であり、視差推定ミスの影響を軽減されていることがよく分かる。
ここで、実空間と視差空間の関係について、以下のように述べる。
上述したように、視差空間中で平面として求められた視差は、数３のように表される。このとき、実空間（Ｘ,Ｙ,Ｚ）上において、視差空間（ｕ,ｖ,α）上の平面が、どのような分布を取るのかについて考える。
視差空間中で視差αをとる、実空間中に存在するある点の奥行きＺｗは、下記数４で与えられる。
ここで、Ｚ０,Ｚ１は、第９図のように定められる、基準カメラからキャリブレーション平面
までの距離である。
一方、第１１図に示すような実空間での幾何学的な関係を考えることにより、ある奥行きＺｗに存在する点Ｐ（Ｘｗ,Ｙｗ,Ｚｗ）のＸ座標Ｘｗについて、ｘ:ｆ＝Ｘｗ:Ｚｗの関係が成り立つ。
このとき、ｘは画像平面上の点であるから、ｘ∝ｕと考えてよい。また、これらの関係はＹ座標に関しても同様であるため、ｋ１,ｋ２をある定数とすることで、下記数５が得られる。
ここで、数４に数３を代入してαを消去すると、下記数６が得られる。
数６に数５を代入することで、最終的に下記数７が得られる。
ただし、Ｚｗが（Ｘ,Ｙ,Ｚ）実空間中において、平面に分布することを表している。
すなわち、視差空間中において平面に分布する点は、実空間中においても平面をとることが示される。
このことから、視差空間において仮想焦点面を推定することは、実空間における仮想焦点面を推定することと一致する。本発明では、仮想焦点面を推定することで、画像変形パラメータを推定しているが、この画像変形パラメータは、視差空間中の関係を求めることで得られる。よって、本発明では、実空間中の仮想焦点面ではなく、視差空間中の仮想焦点面を求めている訳である。
＜２−３＞本発明における画像統合処理
ここで、本発明における画像統合処理（即ち、第８図の画像統合処理）について、より詳細に説明する。
＜１−２＞で既述したように、本発明の画像統合処理とは、推定された仮想焦点面に対して、各参照画像を基準画像に重ねるようにして変形するための画像変形パラメータを推定し、推定した画像変形パラメータを用いて各参照画像を変形することにより、仮想焦点面画像を生成する処理である。
つまり、仮想焦点面画像を生成する（合成する）ためには、仮想焦点面に対して基準画像と全ての参照画像の座標系を一致させる変換を求める必要がある。
このとき、仮想焦点面は（ｕ,ｖ,α）視差空間中の平面として推定され、これは実空間中の平面と対応することから、平面同士を重ねるための変換は、射影変換として表されることが分かる。
即ち、本発明の画像統合処理は、次の手順（ステップ１〜ステップ５）に沿って行われる。
ステップ１：基準画像上の注目領域の各頂点（ｕｉ,ｖｉ）に対応する視差αｉを求める
基準画像上において、選択された注目領域（処理領域）の各頂点について処理する。本実施例では、矩形範囲として選択した注目領域の各頂点（ｕ１,ｖ１）,…,（ｕ４,ｖ４）について処理する。このとき、第１２図に示されるように、（ｕ,ｖ,α）視差空間での仮想焦点面は、＜２−２＞で述べた仮想焦点面推定処理によって求められている。よって、仮想焦点面を表す数３より、注目領域の各頂点（ｕｉ,ｖｉ）に対応する視差αｉを求めることができる。
ステップ２：基準画像上の注目領域の各頂点（ｕｉ,ｖｉ）に対応する、参照画像上での対応点の座標位置を求める
ステップ１によって求められた視差αｉから、数１により、注目領域の各頂点（ｕｉ,ｖｉ）に対する座標の変換を求めることができる。よって、視差αｉから、基準画像上の注目領域の４頂点（ｕｉ,ｖｉ）に対応する参照画像上の４頂点
への対応関係を４組求めることができる。
ステップ３：頂点同士の対応関係から、これらの座標組を重ね合わせる射影変換行列を求める
画像間の射影変換の関係式は、下記数８のように表される。
このとき、射影変換行列Ｈは３×３の行列であり、８の自由度を持つ。このことから、ｈ33＝１として固定し、Ｈの要素を書き下したベクトル
を考えることにより、数８を下記数９と整理することができる。
ただし、
である。また、
は基準画像上の座標
の同次座標を表し、
は参照画像上の座標
の同次座標を表す。更に、記号〜は、同値関係を表し、両辺が定数倍の違いを許して等しいことを意味している。
数９は、
の対応関係が４組以上分かれば、
について解くことができる。このことから、頂点同士の対応関係を用いて、射影変換行列Ｈを求めることができる。
ステップ４：射影変換行列Ｈを求める
全ての参照画像に対して、ステップ２、ステップ３の処理を行い、平面同士を重ねるための変換を与える射影変換行列Ｈを求める。なお、求めた射影変換行列Ｈは、本発明で言う「画像変形パラメータ」の一具体例である。各参照画像を基準画像に重ねるようにして変形することができるパラメータであれば、本発明の画像変形パラメータとすることができる。
ステップ５：各参照画像を基準画像へと変形し、画像統合処理を行うことにより、仮想焦点面画像を生成する
ステップ１〜ステップ４によって求められた射影変換行列Ｈを用いて、それぞれの参照画像上の注目領域を、基準画像上の注目領域に重ねるようにして変形することができる。即ち、参照画像について変形を行うことで、注目領域について、多視点から撮影された画像を一枚の画像へと重なるように変形し、統合することができる。即ち、画像を一枚に統合することによって、仮想焦点面画像を合成することができる。
特に、本発明では、視差がサブピクセル精度で求められることから、第１３図に模式的に図示されたように、多視点画像を構成する各原画像（即ち、各参照画像）の画素をサブピクセル精度で射影し、組み合わせて統合することができる。
そして、第１３図に示されたように、統合された画素群を任意の細かさの格子で区切り、この格子を画素とする画像を生成することで、任意の解像度の画像を得ることができる。区切られた各格子に割り当てる画素値は、各格子に含まれる、各参照画像から射影された画素の画素値を平均化して求める。射影された画素が含まれない格子については、補間を用いて画素値を割り当てる。
このようにして、任意の解像度を持つ仮想焦点面画像を合成することができる。つまり、本発明によれば、多視点画像より高い解像度を持つ仮想焦点面画像、すなわち、高解像度仮想焦点面画像を簡単に生成することができることは言うまでも無い。
＜３＞実験結果
多視点画像を用いて、多視点画像より高い解像度を持つ仮想焦点面画像を簡単且つ迅速に生成できるといった本発明の優れた効果を検証するために、多視点画像として、合成ステレオ画像及び多眼実画像をそれぞれ用いて、本発明の高解像度仮想焦点面画像生成方法による仮想焦点面画像を合成する実験を行った。以下、それらの実験結果を示す。
＜３−１＞合成ステレオ画像を用いた実験
第１４図には、合成ステレオ画像を用いた実験の設定条件を示している。第１４図(Ｂ)の撮影状況に示すように、合成ステレオ画像は、２５眼カメラを用いて、壁面、カメラに相対する平面、直方体の撮影を想定したものである。
第１５図には、合成されたすべての画像（合成ステレオ画像）が示されている。また、第１４図(Ａ)には、第１５図に示す合成ステレオ画像から選択された基準画像を拡大して示している。なお、第１４図(Ａ)における矩形領域１、２は、それぞれユーザの指定した処理領域（注目領域）である。また、本実験では２５眼のカメラを５×５の等間隔の格子状に配置して実験を行った。
第１５図に示す合成ステレオ画像を用いた実験の結果を第１６図に示す。第１６図(Ａ１)及び第１６図(Ａ２)は、それぞれ第１４図(Ａ)における注目領域１、２に対応する仮想焦点面画像である。
第１６図(Ａ１)及び第１６図(Ａ２)に示される仮想焦点面画像から、それぞれ注目領域（処理領域）の存在する平面に対して焦点が合い、他の領域がぼけた画像が得られていることがよく分かる。特に、第１６図(Ａ１)では、焦点面が斜めに存在し、空間中の直方体の一面と、その延長線上の床面に焦点があっていることが分かる。
一方、第１６図(Ｂ１)及び第１６図(Ｂ２)には、それぞれ基準画像における注目領域１、注目領域２を示している。また、第１６図(Ｃ１)及び第１６図(Ｃ２)は、３×３倍に高解像度化した仮想焦点面画像である。これらの画像を比較することにより、それぞれ本発明による実現した高解像度化により、画質が向上していることが分かる。
＜３−２＞多眼実画像を用いた実験
第１７図に、多眼実画像を用いる実験に、使用された２５枚の実画像を示す。第１７図に示す多眼実画像は、１台のカメラを平行移動ステージに固定し、５×５の２５眼格子状配置のカメラを想定して撮影した画像である。
ちなみに、カメラ間隔は３ｃｍである。また、カメラはBayerカラーパターンを用いた単板ＣＣＤカメラであり、レンズ歪みは２平面によるキャリブレーションとは別にキャリブレーションを行った上で、bilinear補間法を用い、補正した。
第１８図に、第１７図に示す多眼実画像を用いた実験の結果を示す。第１８図(Ａ)は基準画像及び注目領域（緑の実線で示された矩形範囲）を表し、第１８図(Ｂ)は合成された仮想焦点面画像を表している。また、第１８図(Ｅ)は基準画像における注目領域（処理領域）を拡大したものであり、第１８図(Ｆ)は、注目領域に対して３×３倍の高解像度化処理を行った仮想焦点面画像である。
これらの画像を比較することにより、画像上に含まれるノイズ成分が大幅に低減されていることがよく分かる。また、画像中の文字の可読性が向上し、精細なテクスチャ情報がより鮮明に得られることから、本発明による高解像度化の効果も確認できる。
第２０図は、第１７図に示す多眼実画像を撮影したカメラ配置と同様のカメラ配置を用いて、ＣＩＰＡ ＤＣ−００３に基づく解像度測定（非特許文献８を参照）を行った実験結果である。この規格は、デジタルカメラで撮像されたＩＳＯ １２２３３標準解像度測定チャート上のくさびの解像本数を求めることにより、デジタルカメラの有効解像度を算出するものである。撮影された２５眼実画像のうち、中央の一枚を第１９図に示す。この画像上のくさびの解像度を、本発明の方法を用いることにより向上した。
第２０図において、画像を比較することにより、原画像よりも２×２倍、３×３倍の画像で、それぞれ解像感が向上していることが確認できる。また、第２０図におけるグラフは、縦軸に解像度測定法を用いて測定された解像度を、横軸に倍率を示したものであり、グラフは、倍率の増加に伴い、解像度が大きく向上していることがよく分かる。これにより、本発明が高解像度化に対しても有効であることが、定量的にも裏付けられる。つまり、本発明により生成された仮想焦点面画像において、注目領域に対する原画像より所望の高画質画像が得られることも実験により確認された。
第１図は、本発明で用いられる「多視点画像」を取得するためのカメラ配置の一例（格子状配置の２５眼ステレオカメラ）を示す模式図である。

第２図は、第１図に示された２５眼ステレオカメラを用いて撮影して取得した１組の多視点画像の一例を示す図である。

第３図は、第１図に示された２５眼ステレオカメラにおいて、配置の中心となるカメラから撮影された画像、即ち、第２図の中央の画像を第３図（Ａ）に示し、第３図（Ａ）の画像を基準画像として多眼ステレオ３次元計測で得られた視差マップを第３図（Ｂ）に示す。

第４図は、第２図の多視点画像の撮影シーンにおける物体配置関係及び仮想焦点面の配置を説明するための模式図である。

第５図は、第２図の多視点画像に基づいて合成された、異なる位置の仮想焦点面を有する仮想焦点面画像を示す図である。第５図（Ａ）に、第４図における点線で示された（ａ）の位置に仮想焦点面を置いた場合において、合成された仮想焦点面画像を示し、第５図（Ｂ）に、第４図における点線で示された（ｂ）の位置に仮想焦点面を置いた場合において、合成された仮想焦点面画像を示す。

第６図は、第２図の多視点画像に基づいて生成された、任意位置の仮想焦点面を有する仮想焦点面画像を示す図である。即ち、第６図に示す画像は、第７図における（ｃ）の位置に仮想焦点面を置いた場合の仮想焦点面画像である。

第７図は、第２図の多視点画像の撮影シーンにおける物体配置関係及び、任意の仮想焦点面の配置を説明するための模式図である。

第８図は、本発明による仮想焦点面画像を生成するための処理の概略を説明するための模式図である。

第９図は、本発明の視差推定処理で用いられる「２平面キャリブレーション」において、一般化された視差と射影変換行列の関係を説明するための模式図である。

第１０図は、本発明の視差推定処理で求められる視差推定結果の一例を示す図である。第１０図（Ａ）に基準画像を示し、第１０図（Ｂ）に視差マップを示す。また、第１０図（Ｃ）のグラフは、第１０図（Ａ）及び第１０図（Ｂ）に示された矩形領域に対応する視差（緑点）と、平面推定に使用するエッジ上の視差（赤点）をプロットしたものである。

第１１図は、本発明において、実空間での幾何学的な関係を説明するための模式図である。

第１２図は、本発明の画像統合処理において、平面同士を重ねるための射影変換行列の推定を説明するための模式図である。

第１３図は、本発明の画像統合処理において、画像の組み合わせによる高解像度化を説明するための模式図である。

第１４図は、合成ステレオ画像を用いた実験の設定条件を説明するための図である。第１４図（Ａ）における矩形領域１、２は、第１６図の各実験結果における処理領域（注目領域）に対応している。

第１５図は、２５眼合成ステレオ画像を示す図である。

第１６図は、第１５図に示す２５眼合成ステレオ画像を用いた実験の結果を示す図である。

第１７図は、２５眼実画像を示す図である。

第１８図は、第１７図に示す２５眼実画像を用いた実験の結果を示す図である。

第１９図は、基準原画像（ＩＳＯ１２２３３解像度チャート）を示す図である。

第２０図は、第１９図に示す基準原画像に基づいた実画像の実験結果を示す図である。

Claims (9)

  1. 撮影対象に対して、複数の異なる視点から撮影を行って取得された複数の画像で構成する１組の多視点画像を用いて、仮想焦点面画像を生成するための高解像度仮想焦点面画像生成方法であって、
    前記多視点画像を構成する前記複数の画像のうち、１枚の画像を基準画像とし、前記基準画像を除いて残りの全ての画像を参照画像とし、
    前記基準画像上における所定の領域である注目領域に対して、前記多視点画像を構成する各画像が重なるような画像変形パラメータを求め、
    求めた前記画像変形パラメータを用いて、前記多視点画像の各参照画像を前記基準画像へと変形し、変形された各参照画像を統合する統合処理を行うことにより、前記仮想焦点面画像を生成することを特徴とする高解像度仮想焦点面画像生成方法。
  2. 前記画像変形パラメータは、前記注目領域の各頂点と、前記注目領域の各頂点に対応する前記参照画像上での対応点との対応関係から得られた射影変換行列に基づいて求められる請求項１に記載の高解像度仮想焦点面画像生成方法。
  3. 前記対応関係は、前記多視点画像に対し、ステレオマッチングを行うことで取得した視差画像と、前記視差画像を基に推定された、前記注目領域に対する視差空間中の平面とに基づいて求められる請求項２に記載の高解像度仮想焦点面画像生成方法。
  4. 前記統合処理において、変形されて統合された画素群を任意の大きさの格子で区切り、前記格子を画素とすることにより、前記格子の大きさに応じた解像度を持つ前記仮想焦点面画像を生成する請求項１乃至請求項３のいずれかに記載の高解像度仮想焦点面画像生成方法。
  5. 撮影対象に対して、複数の異なる視点から撮影を行って取得された複数の画像で構成する１組の多視点画像を用いて、仮想焦点面画像を生成するための高解像度仮想焦点面画像生成方法であって、
    前記多視点画像に対し、ステレオマッチングを行うことにより、視差を推定し、視差画像を取得する、視差推定処理ステップと、
    前記多視点画像を構成する前記複数の画像のうち、１枚の画像を基準画像とし、前記基準画像を除いて残りの全ての画像を参照画像とし、前記基準画像上における所定の領域を注目領域として選択する、領域選択処理ステップと、
    前記視差画像を基に、前記注目領域に対する視差空間中の平面を推定し、推定した平面を仮想焦点面とする、仮想焦点面推定処理ステップと、
    前記仮想焦点面に対して、前記各参照画像を前記基準画像へと変形するための画像変形パラメータを求め、求めた前記画像変形パラメータを用いて、前記多視点画像を変形することにより、前記仮想焦点面画像を生成する、画像統合処理ステップと、
    を有することを特徴とする高解像度仮想焦点面画像生成方法。
  6. 前記多視点画像は、２次元状に配置した複数のカメラから構成されるカメラ群によって取得される請求項５に記載の高解像度仮想焦点面画像生成方法。
  7. 前記多視点画像は、１台の撮像装置を移動手段に固定し、２次元状に配置した複数のカメラから構成されるカメラ群を想定して、カメラを移動し、撮影を行って取得されたものである請求項５に記載の高解像度仮想焦点面画像生成方法。
  8. 前記仮想焦点面推定処理ステップでは、前記基準画像における前記注目領域に属する画像上のエッジを抽出し、エッジの存在する部分で求められた視差のみを用いて、前記注目領域に対する視差空間中の平面を推定し、推定した平面を仮想焦点面とする請求項５乃至請求項７のいずれかに記載の高解像度仮想焦点面画像生成方法。
  9. 前記画像統合処理ステップは、
    前記基準画像上の前記注目領域の各頂点に対応する視差を求める第１のステップと、
    前記基準画像上の前記注目領域の各頂点に対応する、前記参照画像上での対応点の座標位置を求める第２のステップと、
    頂点同士の対応関係から、これらの座標組を重ね合わせる射影変換行列を求める第３のステップと、
    全ての参照画像に対して、第２のステップと第３のステップでの処理を行い、平面同士を重ねるための変換を与える射影変換行列を求める第４のステップと、
    求めた射影変換行列を用いて、それぞれの参照画像を変形することにより、画像統合処理を行い、統合された画素群を所定の大きさを有する格子で区切り、前記格子を画素とすることにより、前記格子の大きさに決められる解像度を持つ前記仮想焦点面画像を生成する第５のステップと、
    を有する請求項５乃至請求項８のいずれかに記載の高解像度仮想焦点面画像生成方法。
JP2008541051A 2006-10-25 2007-10-25 高解像度仮想焦点面画像生成方法 Expired - Fee Related JP4942221B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008541051A JP4942221B2 (ja) 2006-10-25 2007-10-25 高解像度仮想焦点面画像生成方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006290009 2006-10-25
JP2006290009 2006-10-25
PCT/JP2007/071274 WO2008050904A1 (fr) 2006-10-25 2007-10-25 Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
JP2008541051A JP4942221B2 (ja) 2006-10-25 2007-10-25 高解像度仮想焦点面画像生成方法

Publications (2)

Publication Number Publication Date
JPWO2008050904A1 JPWO2008050904A1 (ja) 2010-02-25
JP4942221B2 true JP4942221B2 (ja) 2012-05-30

Family

ID=39324682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008541051A Expired - Fee Related JP4942221B2 (ja) 2006-10-25 2007-10-25 高解像度仮想焦点面画像生成方法

Country Status (3)

Country Link
US (1) US20100103175A1 (ja)
JP (1) JP4942221B2 (ja)
WO (1) WO2008050904A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150097536A (ko) * 2012-12-20 2015-08-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 프라이버시 모드를 갖춘 카메라
US10762606B2 (en) 2016-11-24 2020-09-01 Canon Kabushiki Kaisha Image processing apparatus and method for generating high quality image

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0606489D0 (en) * 2006-03-31 2006-05-10 Qinetiq Ltd System and method for processing imagery from synthetic aperture systems
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
JP4998422B2 (ja) * 2008-09-25 2012-08-15 Ｋｄｄｉ株式会社 画像生成装置、方法、通信システム及びプログラム
JP5035195B2 (ja) * 2008-09-25 2012-09-26 Ｋｄｄｉ株式会社 画像生成装置及びプログラム
JP2011022796A (ja) * 2009-07-15 2011-02-03 Canon Inc 画像処理方法および画像処理装置
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
DE102010009291A1 (de) * 2010-02-25 2011-08-25 Expert Treuhand GmbH, 20459 Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
CN103039066B (zh) * 2010-06-30 2016-01-27 富士胶片株式会社 成像装置、图像处理装置以及图像处理方法
EP2580738A4 (en) * 2010-08-10 2018-01-03 LG Electronics Inc. Region of interest based video synopsis
US20120056987A1 (en) * 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
JP5966256B2 (ja) * 2011-05-23 2016-08-10 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5818514B2 (ja) * 2011-05-27 2015-11-18 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP5762142B2 (ja) 2011-05-31 2015-08-12 キヤノン株式会社 撮像装置、画像処理装置およびその方法
JP5766034B2 (ja) * 2011-06-08 2015-08-19 キヤノン株式会社 画像処理方法、画像処理装置及びプログラム。
JP5984493B2 (ja) 2011-06-24 2016-09-06 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
JP5618943B2 (ja) * 2011-08-19 2014-11-05 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP5968107B2 (ja) 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP5766077B2 (ja) * 2011-09-14 2015-08-19 キヤノン株式会社 ノイズ低減のための画像処理装置及び画像処理方法
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
JP5818091B2 (ja) * 2011-12-27 2015-11-18 ソニー株式会社 画像処理装置、画像処理システム、画像処理方法、および、プログラム
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
JP6112824B2 (ja) * 2012-02-28 2017-04-12 キヤノン株式会社 画像処理方法および装置、プログラム。
JP5882789B2 (ja) 2012-03-01 2016-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP2677733A3 (en) * 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
GB2503656B (en) 2012-06-28 2014-10-15 Canon Kk Method and apparatus for compressing or decompressing light field images
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
JP6029380B2 (ja) 2012-08-14 2016-11-24 キヤノン株式会社 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP5943785B2 (ja) 2012-09-12 2016-07-05 キヤノン株式会社 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
JP6365303B2 (ja) * 2012-10-24 2018-08-01 ソニー株式会社 画像処理装置および画像処理方法
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
EP2736011B1 (en) 2012-11-26 2019-04-24 Nokia Technologies Oy Method, apparatus and computer program product for generating super-resolved images
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
JP6214236B2 (ja) 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
CN103685951A (zh) * 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端
JP6195371B2 (ja) 2013-12-10 2017-09-13 キヤノン株式会社 撮像装置、制御方法およびプログラム
US9824486B2 (en) * 2013-12-16 2017-11-21 Futurewei Technologies, Inc. High resolution free-view interpolation of planar structure
JP6263024B2 (ja) * 2013-12-25 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法および、プログラム、並びに画像再生装置
CN103647903B (zh) * 2013-12-31 2016-09-07 广东欧珀移动通信有限公司 一种移动终端拍照方法及***
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的***和方法
EP3088954A1 (en) 2015-04-27 2016-11-02 Thomson Licensing Method and device for processing a lightfield content
US9955057B2 (en) * 2015-12-21 2018-04-24 Qualcomm Incorporated Method and apparatus for computational scheimpflug camera
JP6124094B2 (ja) * 2016-05-20 2017-05-10 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
CN106548446B (zh) * 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
US11227405B2 (en) 2017-06-21 2022-01-18 Apera Ai Inc. Determining positions and orientations of objects
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
CN111415314B (zh) * 2020-04-14 2023-06-20 北京神工科技有限公司 一种基于亚像素级视觉定位技术的分辨率修正方法及装置
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
TWI807449B (zh) * 2021-10-15 2023-07-01 國立臺灣科技大學 多視角立體影像產生方法及系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674762A (ja) * 1992-08-31 1994-03-18 Olympus Optical Co Ltd 距離測定装置
JPH06243250A (ja) * 1993-01-27 1994-09-02 Texas Instr Inc <Ti> 光学像の合成方法
JPH11261797A (ja) * 1998-03-12 1999-09-24 Fuji Photo Film Co Ltd 画像処理方法
JP2002031512A (ja) * 2000-07-14 2002-01-31 Minolta Co Ltd ３次元デジタイザ

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092014B1 (en) * 2000-06-28 2006-08-15 Microsoft Corporation Scene capturing and view rendering based on a longitudinally aligned camera array
JP2004234423A (ja) * 2003-01-31 2004-08-19 Seiko Epson Corp ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム
US7596284B2 (en) * 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
JP4344860B2 (ja) * 2004-01-30 2009-10-14 国立大学法人東京工業大学 ステレオ画像を用いた道路平面領域並びに障害物検出方法
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674762A (ja) * 1992-08-31 1994-03-18 Olympus Optical Co Ltd 距離測定装置
JPH06243250A (ja) * 1993-01-27 1994-09-02 Texas Instr Inc <Ti> 光学像の合成方法
JPH11261797A (ja) * 1998-03-12 1999-09-24 Fuji Photo Film Co Ltd 画像処理方法
JP2002031512A (ja) * 2000-07-14 2002-01-31 Minolta Co Ltd ３次元デジタイザ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150097536A (ko) * 2012-12-20 2015-08-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 프라이버시 모드를 갖춘 카메라
US10789685B2 (en) 2012-12-20 2020-09-29 Microsoft Technology Licensing, Llc Privacy image generation
KR102174767B1 (ko) * 2012-12-20 2020-11-05 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 프라이버시 모드를 갖춘 카메라
US10762606B2 (en) 2016-11-24 2020-09-01 Canon Kabushiki Kaisha Image processing apparatus and method for generating high quality image

Also Published As

Publication number Publication date
WO2008050904A1 (fr) 2008-05-02
US20100103175A1 (en) 2010-04-29
JPWO2008050904A1 (ja) 2010-02-25

Similar Documents

Publication Publication Date Title
JP4942221B2 (ja) 高解像度仮想焦点面画像生成方法
TWI510086B (zh) 數位重對焦方法
US9412151B2 (en) Image processing apparatus and image processing method
US9241147B2 (en) External depth map transformation method for conversion of two-dimensional images to stereoscopic images
JP5456020B2 (ja) 情報処理装置および方法
US7873207B2 (en) Image processing apparatus and image processing program for multi-viewpoint image
JP5968107B2 (ja) 画像処理方法、画像処理装置およびプログラム
JP2017531976A (ja) アレイカメラを動的に較正するためのシステム及び方法
JP4939639B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2011060216A (ja) 画像処理装置および画像処理方法
RU2690757C1 (ru) Система синтеза промежуточных видов светового поля и способ ее функционирования
JP2010226500A (ja) 立体画像表示装置および立体画像表示方法
JP2014010783A (ja) 画像処理装置、画像処理方法およびプログラム
US20100158482A1 (en) Method for processing a video data set
JP2013176073A (ja) 撮像装置、画像表示方法、及びプログラム
JP7326442B2 (ja) 広角画像からの視差推定
JP7416573B2 (ja) 立体画像生成装置及びそのプログラム
JP2013120435A (ja) 画像処理装置および画像処理方法、プログラム
KR20110133677A (ko) 3ｄ 영상 처리 장치 및 그 방법
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
JP5088973B2 (ja) 立体撮像装置およびその撮像方法
JP2013175821A (ja) 画像処理装置、画像処理方法およびプログラム
JP2021002783A (ja) 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置
JP4925112B2 (ja) 自由視点画像の生成方法
JP7437941B2 (ja) 立体画像生成装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees