JP6234366B2 - グリッド変調された単一レンズ3−dカメラ - Google Patents

グリッド変調された単一レンズ3−dカメラ Download PDF

Info

Publication number
JP6234366B2
JP6234366B2 JP2014513268A JP2014513268A JP6234366B2 JP 6234366 B2 JP6234366 B2 JP 6234366B2 JP 2014513268 A JP2014513268 A JP 2014513268A JP 2014513268 A JP2014513268 A JP 2014513268A JP 6234366 B2 JP6234366 B2 JP 6234366B2
Authority
JP
Japan
Prior art keywords
images
image
lens
single frame
orthogonally
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014513268A
Other languages
English (en)
Other versions
JP2014522597A (ja
Inventor
ピーター センテン
ピーター センテン
クラース ヤン ダムストラ
クラース ヤン ダムストラ
デン ヘリク ベン ファン
デン ヘリク ベン ファン
デル ヴェーゲン フランク ファン
デル ヴェーゲン フランク ファン
Original Assignee
ジーブイビービー ホールディングス エス.エイ.アール.エル.
ジーブイビービー ホールディングス エス.エイ.アール.エル.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーブイビービー ホールディングス エス.エイ.アール.エル., ジーブイビービー ホールディングス エス.エイ.アール.エル. filed Critical ジーブイビービー ホールディングス エス.エイ.アール.エル.
Publication of JP2014522597A publication Critical patent/JP2014522597A/ja
Application granted granted Critical
Publication of JP6234366B2 publication Critical patent/JP6234366B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Description

関連出願の相互参照
この出願は、2011年6月1日に提出された発明の名称“GRID MODULATED SINGLE LENS 3−D CAMERA”の米国特許出願第13/150,994号の優先権を主張するものであり、譲受人に、譲受され、その内容は、その全体が本明細書に参照により援用される。
本開示は、一般的なビデオカメラに関し、特に3−Dカメラに関する。
3D画像キャプチャには多くのアプローチが開発されている。これらの技術は、通常、ステレオスコピック画像又は2−D画像に深さマップ(depth−map)を加えることを実現することを模索している。これらのアプローチは、単一のカメラ又は一以上のカメラを含む。3−D視差を実現するために2つのカメラを使用する又は2つのセットのレンズシステムを使用することは、このような画像化システムのコスト、複雑さ及び嵩張りに影響を与える。また、2又はそれ以上のカメラ若しくは光学ビームシステムが用いられると、空間追跡及びアライメントを考慮する必要がある。
本開示の一態様では、画像化の方法は、単一のレンズ内の2つの視野角からの光学画像を受信するステップと、前記光学画像を2つの直交変調された画像に変換するためにフィルタリングするステップであって、直交変調された画像のそれぞれは、前記視野角の異なる1つと対応する、ステップと、単一のフレームにおける2つの直交変調された画像を画像検出器において識別可能に検出するステップと、イメージプロセッサにおいて、前記単一のフレームにおける2つの直交変調された画像を前記2つの視野角に対応する2つのビデオ信号にデコードするステップと、を含む。
本開示の一態様では、カメラは、2つの視野角からの光学画像を受信するように構成されるレンズを含む。フィルタは、光学画像を2つの直交変調された画像に変換するように構成され、前記2つの直交変調された画像のそれぞれは、前記視野角の異なる1つと対応する。画像検出器は、単一のフレームにおける前記2つの直交変調された画像を識別可能に検出するように構成される。イメージプロセッサは、単一のフレームにおける前記2つの直交変調された画像を前記2つの視野角に対応する前記2つのビデオ信号にデコードするように構成される。
本開示の一態様では、カメラは、単一のレンズを通じて、2つの視野角からシーンからの光線を受信する手段と、前記2つの視野角からの光線を2つの直交変調された部分に変調する手段と、前記2つの直交変調された部分の直交偏光に基づいて単一のフレームにおける光線の前記2つの直交変調された部分を識別可能に画像化する手段と、前記単一のフレームから前記2つの画像を前記2つの視野角からの画像に対応する信号に変換する手段と、を備える。
本開示の一態様では、カメラは、シーンからの光線を受け入れるように構成されるレンズであって、前記レンズは、左部分及び右部分を有し、前記左部分及び右部分は、閲覧者の左眼及び右眼と同様の対応関係を有する、レンズと、前記光線を2つの直交変調される光線のグループの左側のグループと右側のグループに分岐するために、前記レンズに配置される左及び右レンズに対応する一対の直交変調器と、前記一対の直交変調器に基づいて2つの直交変調される光線のグループを単一のフレームにおいて識別可能に検出するように構成される画像検出器と、前記単一のフレームにおける前記2つの直交変調された画像を前記レンズの前記左部分及び前記右部分に受け入れられる前記光線に対応するビデオ信号にデコードするように構成されるイメージプロセッサと、を備える。
本開示の一態様では、カメラは、2つの視野角からの光学画像を受信する手段と、前記光学画像を2つの直交変調された画像に変換する手段であって、前記直交変調された画像のそれぞれは、前記視野角の異なる1つと対応する、手段と、2つの直交変調された画像を識別可能に検出する手段と、前記単一のフレームにおける2つの直交変調された画像を前記2つの視野角に対応する2つのビデオ信号にデコードする手段と、を備える。
本発明の他の態様は、以下の詳細な説明から当業者にとって容易に明らかとなり、本発明の各種の態様は、図示により示されることが理解される。実現されるように、本発明は、本発明の範囲から逸脱しない限り、他の構成及び実装並びに異なる構成及び実装を可能にし、そのいくつかの詳細は、各種の他の態様で変更を可能にする。よって、図面及び詳細な説明は、実際上の実例としてみなされ、かつ限定的ではないものとみなされる。
3−D画像キャプチャの様々な態様は、参照番号が同一の要素を示す添付の図面の実施例により示されるが、これに限定されるものではない。
図1は、本開示に係る3−D画像化カメラの実施形態の概念図である。 図2は、図1の3−D画像化カメラの変調の方向を示し、2つの直交配置された変調パターンを通過する光線の概念図である。 図3は、本開示に係る単一レンズカメラを通じて受信される2つの変調画像をデコードするための方法の実施形態のブロック図である。 図4は、本開示に係る3−D画像化カメラにおける可変輻輳(variable convergence)を示す概念図である。
添付の図面とともに以下の詳細な説明は、本発明の各種実施形態の説明として意図される。しかし、本発明は、多くの異なる形態で実施されてもよく、本開示を通じて示される様々な概念に限定されると解釈されるものではない。むしろ、これらの概念は、本開示が完全であり、かつ当業者にとって本発明の範囲を完全に伝えるように提供される。詳細な説明は、発明の理解を通じて提供される目的のための特定の詳細を含む。しかし、当業者にとって本発明はこれらの特定の詳細なしでも実施できることは明らかである。いくつかの例では、既知の構造及び構成要素は、本発明の概念をわかりにくくすることを防ぐために省略される。
様々な概念が3−Dカメラを参照することにより示される。3−Dカメラは、スタンドアローンシステムであってもよく、又は携帯電話機、デジタルカメラ、パーソナルデジタルアシスタント、ビデオゲーム、コンピュータ、医療画像化器具等のような画像機能を含む任意の数のシステムに組み込まれてもよい。さらに、当業者が明示的に理解するように、これらの概念は、3−D画像キャプチャ用の他のデバイスに拡張されてもよい。一例として、この開示を通じて示される様々な概念は、音響画像化、電子顕微鏡画像化、x線画像化、フォトン又は他の荷電粒子画像化、又は任意の他の適切な装置に拡張されてもよく、ここで画像化に用いられる音響、電子、フォトン、x−線又は粒子ビームは、偏光可能であり、検出器は、このようなビームの検出に応じて偏光可能である。したがって、特定の光学カメラ又は他のデバイスへの任意の参照番号は、本発明の様々な態様を示すことを意図しており、これらの態様は、画像化用の振幅変調信号の広い範囲の形式を用いる、広範囲の用途を有することが理解される。
装置及び使用方法の様々な態様は、単一の画像フレームにおいて、フィルタリングを用いて、対象物シーンの異なるビューをそれぞれが有する左及び右画像を取得するために3−D画像キャプチャ用に示される。画像検出器又はそれに続く画像処理コンポーネントのいずれかでの信号処理は、左画像及び右画像を別々に提供するためにフレームをデコードするために用いられてもよい。
人間の閲覧者による画像化では、光線は、シーンの異なるビューから到来し、閲覧者の左眼及び右眼に入る。この視差は、単一のカメラレンズシステムを用いる3−Dカメラで模倣される。アパーチャを左部分及び右部分に分割することによる特定のアパーチャ又はサブアパーチャを有するレンズシステムで有利となる。各部分に対応するシーンは、対応する変調器により満たされてもよく、2つの変調器は、互いに直交する。よって、レンズは、2つの直交変調器のそれぞれに応じたシーンの2つの視野(例えば、レンズの左及び右部分を通じて見られる)を提供するように分割されてもよい。CMOSアレイ、CCDアレイ、フォトトランジスタアレイ又はその均等物のような画像検出器素子は、以下に説明されるような単一のフレームにおいて双方が直交変調された画像を受信するように変更されてもよい。
変調の様々な形式が可能である。例えば、シーンからの光線は、ロンチ(Ronchi)パターン又はロンチグリッドとしても示されるロンチパターンを通過するときに振幅変調されてもよい。ロンチグレーチングは、交互の明暗ストライプからなり、矩形波伝送スクリーンとして振る舞い、遠視野での振幅変調パターンを生成する。別の例は、位相グレーチングであり、これは、正弦波的にエンボスされたパターンとして透明基板(位相回折グレーチング)により生成されうる、又は高周波音響波を用いることにより透明媒体の光学指数を変調させる音響光学変調器により生成されうる。何れの方法も本発明の技術分野ではよく知られている。以下の説明を明確にするために、ロンチパターンにより提供されうるような振幅変調は、一例として与えられるが、変調の他の形式も本開示の範囲内であることを意味する。
説明を容易にするために、レンズは、その半分と等しい左部分及び右部分(左眼及び右眼を有する人間を意味するものとして慣例的に定義される)を有するように記載されており、よって、これは、画像化されるシーンへ向かって見たときに、レンズの中心に垂直に下ろした仮想境界により定義される。等しい部分ではないレンズの他の分岐が本開示の範囲内で考慮されてもよい。レンズは、単一のレンズ又は複合レンズであってもよく、カメラ光学系の技術分野で一般的である。
図1を参照すると、カメラ100は、レンズ105を含む。レンズ105は、図1に示すように、単一レンズ又は複合レンズであってもよい。レンズ105の左部分の反対側にある左ロンチスクリーン110及びレンズ105の右部分の反対側にある右ロンチスクリーン115を含むフィルタ109は、カメラ内のいくつかの位置に任意に配置されてもよい。図1では、フィルタ109は、レンズ105とカメラ100により見えるシーンとの間に示される。
図2を参照すると、ロンチスクリーンは、不透明な線及び透明な線を有する格子パターンである。例えば、x−y−z座標軸を参照して、x−方向に配置されるグリッド線を有するx−y平面に配置されるロンチスクリーン115を通過するz送信(例えば、水平に送信される)光は、y方向116(例えば、垂直方向)に変調される。同様に、垂直に配置される(すなわち、y−方向)線を有するロンチスクリーン110は、x−方向111(すなわち、水平)において通過する光を変調する。ロンチスクリーン110,115は、ロンチスクリーン115における線と垂直なロンチスクリーン110において線を有するカメラ100に配置されてもよい。
フィルタ109は、図1に示すように、レンズ105に直接的に隣接して配置されてもよく、又はアイリスアパーチャ120aに直接的に隣接して配置されてもよい。しかし、許容可能であるフィルタ用の他の位置が存在してもよいが、設計の詳細に応じて画像反転が光学系において生じ、そのため、本明細書で定義される用語は、変更になる。
また、図1に示すように、例えばアイリスアパーチャ120bのようなアイリスアパーチャ用の他の位置が存在してもよく、レンズ105は、複合レンズであり、アイリスアパーチャ120bは、複合レンズ内に配置される。レンズ105は、画像焦点面において焦点合わせされた画像を生成し、画像検出器素子130は、レンズ105から現れる光線の経路に配置される。画像検出器素子130は、例えば、CMOS、CCD、フォトトランジスタ又は画素センサのアレイを含む他のタイプの画像化装置であってもよい。画像検出器素子130は、単一の画像検出器素子で十分である場合に、モザイクカラーピクセルアレイを含むカラー画像検出器であってもよい。単色画像を検出するために画像検出器素子130が用いられる場合、三色ビームスプリッタプリズム(図示せず)は、3つの別々の色(例えば、赤/緑/青又はRGB)の光を、3つの別の画像検出器素子130に向けるために用いられてもよく、各画像検出器素子130は、レンズ105の画像焦点面に配置される。一般性を損なわずに、図1の簡素化された配置は、特徴及びカメラの3−D動作を適切に記述している。
画像検出器素子130は、入力信号を汎用イメージプロセッサ150へ提供し、イメージプロセッサ150は、従来から、ビデオストリームのフレームを構成する画像出力信号のストリームを最終的にもたらす標準的な画像処理に関する彩度、輝度等を処理することに関連する。汎用イメージプロセッサ150の動作は、画像検出器素子を動作するために用いられるスキャニング及び読み出しスキームの知識に依存する。
ロンチパターン110,115は、2つの別の視野からのレンズを通過する光を直角方向(x又はy)に別々に変調する。両方の視野からの画像は、重複し、レンズ105の画像面における画像検出器素子130により受信される。各画像は、ロンチパターン110,115の直交方向により、もう一方に直交する方向に変調される。
カメラ100の一実施形態では、汎用イメージプロセッサ150からの出力信号は、3−D特性を組み込んだ信号の生成を可能にするために、以下に説明される画像検出器素子130の動作特性に応じてさらに処理されてもよい。
汎用イメージプロセッサ150から出力される信号は、3−Dプロセッサ160によりさらに処理されてもよく、これは、物理的なユニットとは別でもよい又は汎用イメージプロセッサ150内のサブシステムでもよく、3−D画像検出器素子130に投射する2つの直交変調画像をデコードするために処理動作を提供する。3−Dプロセッサ160は、汎用イメージプロセッサ150の出力を2つの実質的に等しいストリームに分割してもよい。各ストリームは、2つの直交変調方向の一方又は他方におけるフレームの復調デコード及び画像を空間的にローパスフィルタリングすることにより得られてもよい。2つの画像の空間変調は、3−Dプロセッサが、ロンチパターン110,115により誘導される空間変調の“知識(knowledge)”を有することを必要とする。この処理は、2つの直交配置されたロンチパターン110,115(例えば、“左”及び“右”)によりレンズ105への入力を実質的に2つの別の部分に分割することにより誘導される視差に起因する2つの視野角からカメラにより見られるシーンの2つの画像を再生する。
図3は、2つの視野角から見られたときにシーンの2つの画像を提供するために汎用イメージプロセッサ150から受信される信号をデコードする3−Dプロセッサ160の方法300を示す。先ず、処理ブロック310では、3−Dプロセッサ160は、汎用イメージプロセッサ150からデータフレームを受信し、一連のデータは、画像検出器130の各ピクセルのための典型的なパラメータを含む。典型的なパラメータは、各ピクセルのために少なくとも彩度及び輝度を含んでもよい。
この時点では、フレームは、2つの直交方向(例えば、2つのロンチパターン110,115による水平及び垂直)で空間的に変調されるシーンの2つの視差ビューの合成データを含む。処理ブロック320では、3−Dプロセッサは、全体フレームの2つのデータストリームを構築し、各フレームを別々に空間的に変調する−つまり、x−方向に一方のフレーム、y−方向に他方のフレームがあり、ロンチパターン110及び115のそれぞれの変調方向に対応する。処理ブロック330では、各フレームは、その後、全て変調影響を除去するためにローパスフィルタリングされる。処理ブロック340では、2つのフレームが得られ、各フレームは、デコードされた対応するロンチパターン110,115を通じて見えるレンズ105の一部を通じて見られるシーンに対応する。処理ブロック350では、2つのフレームは、画像フレームの2つのストリームに同期して出力され、各ビューに対する一つのストリームは、例えば、左デコードフレーム355及び右デコードフレーム360となる。
本開示のさらなる態様では、図1を参照して説明される実施形態は、可変画像輻輳(コンバージェンス)又は“toe−in”を提供するように構成されてもよい。画像輻輳の増加は、スクリーンのさらに前の閲覧される画像の投影に影響を与え、閲覧者に接近し、それにより、3−D深さの知覚の効果を劇的に促進する。以下の説明は、図1の実施形態を参照して示されるが、輻輳の同一の原理は、カラーモザイク画像検出器素子及びカラービームスプリッタを通じてモノクロ画像を受信する画像検出器の両方で等しく適用される。
図4は、画像検出器素子130を示す。画像検出器素子130へ光線を先導し、導く全ての光学素子の配置は、画像検出器素子130のピクセルセンサ495のアレイ全体を満たすように構成される。フレームデータ355及び360の2つのストリームがピクセル495のアレイ全体から読み出される場合、各画像(例えば、“左”及び“右”)フレームの中心は、画像検出器素子130の中心にある。しかし、“左”画像が、ピクセルアレイ中心の左にある画像検出器素子130におけるピクセル495−lのサブセットを読み出すことにより形成され、“右”画像が、ピクセルアレイ中心の右にある画像検出器素子130におけるピクセル495−rのサブセットを読み出すことにより形成される場合、各読み出されたサブセットに表されるビューは、画像検出器素子130の中心から離れてシフトする。この手法でさらに離れる2つの画像の中心の効果的な分離が広がることにより、各眼により別々なこれらの画像を見た人間は、増加した視差及び2つの画像のより深刻な輻輳を認識し、認識したより近い物体の印象を与える。各眼により2つの画像を別々に見る閲覧者にとって、輻輳又は1つに見えるための2つの画像の“toe−in”は、増加した視差の印象を与え、画像は、閲覧者に近づいて移動され、位置499において、スクリーンの前方よりも遠くなるように認識される。物体がカメラに近づいたときに“toe−in”に調整される2つのカメラ(又は2つのレンズシステム)によって奏される効果に替えて、“toe−in”は、元の画像全体の中心からの画像のサブセットの配置オフセットを制御することにより電子的に実現されてもよい(なぜなら人間の眼は、水平に配置され、3−D深さの認識は、水平方向の視差により生じられる。垂直方向の視差は考慮されない。)。
3−Dプロセッサ160は、認識される視野深さを意図的に変えるために動的な出力データフレーム内の“左”及び“右”画像をこのようにシフトしてもよく、又は輻輳は、認識された画像フィールドの一定のシフトのために静的に求められてもよい。動的な場合、3−Dプロセッサ160は、例えば、オートフォーカス、マニュアルフォーカス、編集入力又は他の機械的又は電子的な制御のようなシーン情報に対応して提供されるデータに基づいてこの輻輳修正を行ってもよい。
上述したように、3−Dプロセッサ160は、また、2つのロンチパターン110,115を別々に通過する2つのビューを抽出及び別々に取得するために、2つの変調されたビュー(水平及び垂直)を復調及びローパスフィルタリングする。
この方法で説明されるステップの任意の特定の順序又は階層は、カメラの3−Dプロセッサの動作の一例を提供するように示されることが理解される。デザイン志向に基づいて、ステップの特定の順序又は階層が再配置されてもよいことが理解される。また、本発明の範囲内を維持する限り、任意のステップが省略される及び/又は本明細書に記載されていない追加のステップが含まれることが理解される。
ここまでで説明されたカメラの各種の電子的な構成要素は、ハードウェア、ソフトウェア又は双方の組み合わせとして実装されてもよい。このような構成要素がハードウェア又はソフトウェアとして実装されるかどうかに関わらず、特定の用途及びシステム全体に課される設計の制限に依存する。当業者は、各特定の用途のために様々な方法で説明された構成要素を実装してもよい。一例として、各構成要素又は構成要素の任意の組み合わせは、一又はそれ以上のマイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ(DSPs)、フィールドプログラマブルゲートアレイ(FPGAs)、プログラマブルロジックデバイス(PLDs)、コントローラ、状態機械、ゲートロジック、ディスクリートハードウェアコンポーネント又はこの開示全体にわたって説明された各種の機能を実行しうる任意の他の適切な回路、又はそれらの組み合わせにより実装されてもよい。
各種の構成要素(例えば、マイクロプロセッサ)は、ソフトウェアを実行するように構成されてもよい。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語又はその他のものとして示される命令、データ又はそれらの組み合わせを意味するように広義に解釈される。ソフトウェアは、機械可読媒体に記憶されてもよい。機械可読媒体は、一例として、RAM(Random Access Memory)、フラッシュメモリ(Read Only Memory)、PROM(Programmable Read−Only Memory)、 EPROM(Erasable Programmable Read−Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、レジスタ、磁気ディスク、光学ディスク、ハードドライブ又は一時的でないデータを記憶する任意の他の適切な記憶媒体又はそれらの組み合わせを含んでもよい。
開示された実施形態の前述の記載は、当業者が本発明を実行又は使用することが可能となるように提供される。これらの実施形態に対する各種の変更は、当業者にとって明らかであり、本明細書で定義される一般原理は、本発明の趣旨又は範囲を逸脱することなく、他の実施形態に適用される。よって、本発明は、本明細書で示される実施形態に限定されることを意図するものではないが、特許請求の範囲と一致する全ての範囲を許容し、ここで単一の要素に対する参照番号は、特に言及しない限り、“1及び1つのみ”を意味するものではなく、“1又はそれ以上”を意味するものである。当業者に知られている又はのちになって知られるこの開示全体にわたって記載される各種実施形態の要素と構造的及び機能的に等価なすべてのものは、参照により本明細書に明示的に援用され、特許請求の範囲により包含されることが意図される。また、このような開示が特許請求の範囲に明示的に規定されるかどうかに関わらず、本明細書に開示された事項は、公衆に捧げられることを意図するものではない。請求項の要素が、「〜するための手段」という語句を用いて明確に述べられているか、あるいは方法の請求項の場合に「〜するためのステップ」という語句を用いて述べられていない限り、請求項の要素は、35U.S.C.§112第6項による規定の下で解釈されるべきではない。

Claims (22)

  1. 画像検出器において単一のレンズ内の2つの視野角からの光学画像を受信するステップと、
    前記光学画像を2つの画像が直交変調されたパターンに変換するステップであって、直交変調された画像のそれぞれは、前記2つの視野角の異なる1つと対応し、前記2つの画像は、重複し、かつ前記画像検出器により受信される、ステップと、
    前記画像検出器により受信された前記2つの画像を含む単一のフレームを示す単一の信号を出力するステップと、
    第1の視野角に対応する第1のビデオ信号を生成するために第1の直交変調を用いて前記単一のフレームを復調デコードし、かつ第2の視野角に対応する第2のビデオ信号を生成するために第2の直交変調を用いて前記単一のフレームを復調デコードすることにより、前記単一のフレームにおける2つの直交変調された画像を識別可能に検出するステップと、を含む画像化の方法。
  2. 前記光学画像は、第1のロンチパターンにより前記視野角の1つ目からの前記光学画像を振幅変調し、前記第1のロンチパターンに直交配置される第2のロンチパターンにより前記視野角の2つ目からの前記光学画像を振幅変調することにより変換される請求項1に記載の方法。
  3. 直交配置される前記第1及び第2のロンチパターンは、前記レンズの前方にある、請求項2に記載の方法。
  4. 前記光学画像は、一又はそれ以上のカラー画像を含む請求項1に記載の方法。
  5. 前記一又はそれ以上のカラー画像を複数の補色モノクロ画像に分離するステップと、
    分離された前記補色モノクロ画像を、対応する分離した画像検出器素子に導くステップと、をさらに含む請求項4に記載の方法。
  6. 前記2つの直交変調された画像は、前記画像検出器を用いて識別可能に検出される請求項1に記載の方法。
  7. 2つの直交デコード画像のそれぞれに対応する2つの出力信号を構築するイメージプロセッサをさらに備える請求項6に記載の方法。
  8. 変調された画像の各々は、変調と同一方向に復調することによって、及び復調された信号をローパスフィルタリングすることによって、デコードされる請求項7に記載の方法。
  9. 前記2つの出力信号は、それぞれが2つの直交するデコード画像のサブセットである請求項7に記載の方法。
  10. 2つの視野角からの光学画像を受信するように構成されるレンズと、
    前記光学画像を2つの直交変調された画像に変換するように構成され、直交変調された画像のそれぞれが、前記視野角の異なる1つと対応し、前記2つの画像は、重複し、かつ画像検出器により受信される、フィルタと、
    単一のフレームにおける2つの直交変調された画像を識別可能に検出するように構成され、前記2つの画像を含む単一のフレームを示す単一の信号を出力するように構成される画像検出器と、
    第1の視野角に対応する第1のビデオ信号を生成するために第1の直交変調を用いて前記単一のフレームを復調デコードし、かつ第2の視野角に対応する第2のビデオ信号を生成するために第2の直交変調を用いて前記単一のフレームを復調デコードすることにより、前記単一のフレームにおける2つの直交変調された画像を識別可能に検出するように構成されるイメージプロセッサと、を備えるカメラ。
  11. 前記直交変調された画像の一方は、前記視野角の一方から前記レンズにより受信される前記光学画像に対応し、前記直交変調された画像の他方は、前記視野角の他方から前記レンズにより受信される前記光学画像に対応する請求項10に記載のカメラ。
  12. 前記フィルタは、一対の直交配置されたロンチパターンを含む請求項10に記載のカメラ。
  13. 前記一対の直交配置されたロンチパターンは、前記レンズの前方にある請求項12に記載のカメラ。
  14. 前記画像検出器は、CMOSアレイ、CCDアレイ及びフォトトランジスタアレイの少なくとも1つを含む請求項10に記載のカメラ。
  15. 前記画像検出器は、カラー画像検出器を含む請求項10に記載のカメラ。
  16. 前記光学画像を複数のモノクロ色画像に分解するように構成される色分解ビームスプリッタをさらに備え、前記画像検出器は、対応する複数の画像検出器素子を含み、前記画像検出器素子のそれぞれは、カラー画像の異なる1つを受信するように構成される請求項15に記載のカメラ。
  17. 前記画像検出器は、複数のセンサピクセルセグメントを有するアレイをそれぞれが含む少なくとも1又はそれ以上の画像検出器を含む請求項10に記載のカメラ。
  18. プロセッサにより実行可能な命令を含む機械可読媒体であって、
    前記命令は、
    画像検出器の複数のピクセルセンサ素子からのデータストリームとしての画像データの単一のフレームを分析し、前記画像データの前記単一のフレームは、2つの視野角からのシーンの2つの重複する画像を含み、各画像は、他の画像に対して直交する方向に変調され、
    第1の視野角に対応する第1のビデオ信号を生成するために前記画像データの前記単一のフレームを復調デコードし、かつ第2の視野角に対応する第2のビデオ信号を生成するために前記単一のフレームを復調デコードすることにより、2つの直交変調された画像を識別可能に検出し、
    2つの直交変調方向に基づくデータの2つの同期された出力画像フレームを構築するコードを含む、機械可読媒体。
  19. シーンからの光線を受け入れるように構成されるレンズであって、前記レンズは、左部分及び右部分を有し、前記左部分及び右部分は、閲覧者の左眼及び右眼と同様の対応関係を有する、レンズと、
    前記光線を2つの直交変調される光線のグループの左側のグループと右側のグループに分岐するために、前記レンズに配置される左及び右レンズに対応する一対の直交変調器と、
    2つの直交変調される光線のグループを含む単一のフレームを示す信号を出力するように構成される画像検出器と、
    第1の視野角に対応する第1のビデオ信号を生成するために第1の直交変調を用いて前記単一のフレームを復調デコードし、かつ第2の視野角に対応する第2のビデオ信号を生成するために第2の直交変調を用いて前記単一のフレームを復調デコードすることにより、前記単一のフレームにおける前記2つの直交変調された光線のグループを、前記レンズの前記左部分及び前記右部分に受け入れられる前記光線に対応する2つのビデオ信号にデコードするように構成され、第1のビデオ信号が前記レンズの前記左部分に対応し、第2のビデオ信号が前記レンズの前記右部分に対応する、イメージプロセッサと、を備えるカメラ。
  20. 画像検出器において単一のレンズの2つの視野角からの光学画像を受信する手段と、
    前記光学画像を2つの直交変調された画像に変換する手段であって、前記直交変調された画像のそれぞれは、前記視野角の異なる1つと対応し、前記2つの画像は、重複し、かつ前記画像検出器により受信される、手段と、
    前記画像検出器により受信された前記2つの画像を含む単一のフレームを示す単一の信号を出力する手段と、
    第1の視野角に対応する第1のビデオ信号を生成するために第1の直交変調を用いて前記単一のフレームを復調デコードし、かつ第2の視野角に対応する第2のビデオ信号を生成するために第2の直交変調を用いて前記単一のフレームを復調デコードすることにより、前記単一のフレームにおける2つの直交変調された画像を識別可能に検出する手段と、を備えるカメラ。
  21. 可変画像輻輳を提供するために前記2つの出力信号のそれぞれの中心を動的にシフトするステップを更に備える請求項9に記載の方法。
  22. 前記イメージプロセッサは、更に、2つの直交デコード画像のそれぞれに対応する2つの出力信号を構築するように構成され、前記2つの出力信号は、それぞれが2つの直交するデコード画像のサブセットであり、
    前記イメージプロセッサは、更に、可変画像輻輳を提供するために前記2つの出力信号のそれぞれの中心を動的にシフトするように構成される請求項10に記載のカメラ。
JP2014513268A 2011-06-01 2012-05-30 グリッド変調された単一レンズ3−dカメラ Expired - Fee Related JP6234366B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/150,994 2011-06-01
US13/150,994 US9338435B2 (en) 2011-06-01 2011-06-01 Grid modulated single lens 3-D camera
PCT/IB2012/001124 WO2012164388A1 (en) 2011-06-01 2012-05-30 Grid modulated single lens 3-d camera

Publications (2)

Publication Number Publication Date
JP2014522597A JP2014522597A (ja) 2014-09-04
JP6234366B2 true JP6234366B2 (ja) 2017-11-22

Family

ID=46598865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014513268A Expired - Fee Related JP6234366B2 (ja) 2011-06-01 2012-05-30 グリッド変調された単一レンズ3−dカメラ

Country Status (4)

Country Link
US (1) US9338435B2 (ja)
EP (1) EP2716053B1 (ja)
JP (1) JP6234366B2 (ja)
WO (1) WO2012164388A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3041218B1 (en) 2013-11-14 2018-12-05 Sony Corporation Information processing device, imaging device, imaging system, information processing device control method, imaging device control method and program
GB2590439A (en) * 2019-12-18 2021-06-30 Nokia Technologies Oy Apparatus, systems and methods for detecting light

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416510A (en) * 1991-08-28 1995-05-16 Stereographics Corporation Camera controller for stereoscopic video system
US5278608A (en) * 1992-05-19 1994-01-11 Eastman Kodak Company Electronically printed depth photography system with improved viewing range
US20050140820A1 (en) * 1999-08-20 2005-06-30 Koichi Takeuchi Lens unit and camera
US8556807B2 (en) * 2006-12-21 2013-10-15 Intuitive Surgical Operations, Inc. Hermetically sealed distal sensor endoscope
US9298078B2 (en) 2009-07-10 2016-03-29 Steropes Technologies, Llc Method and apparatus for generating three-dimensional image information using a single imaging path
US8363093B2 (en) * 2009-07-27 2013-01-29 Eastman Kodak Company Stereoscopic imaging using split complementary color filters
JP5391914B2 (ja) * 2009-08-06 2014-01-15 ソニー株式会社 撮像装置および映像記録再生システム

Also Published As

Publication number Publication date
EP2716053A1 (en) 2014-04-09
US9338435B2 (en) 2016-05-10
JP2014522597A (ja) 2014-09-04
WO2012164388A1 (en) 2012-12-06
EP2716053B1 (en) 2016-04-27
US20120307019A1 (en) 2012-12-06

Similar Documents

Publication Publication Date Title
JP5421364B2 (ja) 3次元撮像装置
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US9442362B2 (en) Method and apparatus for generating three-dimensional image information
Nagahara et al. Programmable aperture camera using LCoS
JP5899684B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
US20160381344A1 (en) Single lens 3-d camera
CN105872525A (zh) 图像处理装置和图像处理方法
JP2009165115A (ja) 撮像装置
JP2013172292A (ja) 撮像装置及び撮像素子アレイ
CN103597811A (zh) 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
KR101641406B1 (ko) 스테레오 카메라
JP6234366B2 (ja) グリッド変調された単一レンズ3−dカメラ
JP5634614B2 (ja) 撮像素子及び撮像装置
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
KR102112491B1 (ko) 물체 공간의 물점의 기술을 위한 방법 및 이의 실행을 위한 연결
JP5982907B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法
JP2013106217A (ja) 奥行き推定撮像装置
JP2015186189A (ja) 撮像装置およびその制御方法ならびに画像再生装置
JP2013239955A (ja) 表示装置、撮像装置及び映像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171024

R150 Certificate of patent or registration of utility model

Ref document number: 6234366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees