JP7399989B2 - 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス - Google Patents

多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス Download PDF

Info

Publication number
JP7399989B2
JP7399989B2 JP2021572325A JP2021572325A JP7399989B2 JP 7399989 B2 JP7399989 B2 JP 7399989B2 JP 2021572325 A JP2021572325 A JP 2021572325A JP 2021572325 A JP2021572325 A JP 2021572325A JP 7399989 B2 JP7399989 B2 JP 7399989B2
Authority
JP
Japan
Prior art keywords
optical
view
imaging device
beam deflection
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021572325A
Other languages
English (en)
Other versions
JP2022535443A (ja
Inventor
ウィッパーマン・フランク
デュパレ・ジャック
Original Assignee
フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2022535443A publication Critical patent/JP2022535443A/ja
Priority to JP2023205731A priority Critical patent/JP2024028856A/ja
Application granted granted Critical
Publication of JP7399989B2 publication Critical patent/JP7399989B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • G03B35/10Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/686Vibration or motion blur correction performed by mechanical compensation with a variable apex prism
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • G03B2205/0023Movement of one or more optical elements for control of motion blur by tilting or inclining one or more optical elements with respect to the optical axis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Optics & Photonics (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、多チャネル撮像デバイスおよび多チャネル撮像デバイスを有するデバイスに関する。本発明はさらに、多開口撮像デバイスを有する携帯用デバイスに関する。
従来のカメラは、1つのチャネル内で全体視野を伝送しており、それらの小型化に関して制限されている。スマートフォンなどのモバイルデバイスでは、例えば、ディスプレイの表面法線の方向に配向され、それに対向している2つのカメラが採用される。
したがって、小型化されたデバイスが、高画質を確保しつつ、全体視野を捕らえることを可能とする概念が望まれる。
したがって、本発明の目的は、大容量の画質と多開口撮像デバイスの小さな設置スペースを同時に可能にする多開口撮像デバイスを提供することである。
この目的は、独立請求項の主題によって達成される。
本発明の中心的な着想は、全体画像の部分画像を結合するために、参照部分に追加される全体画像の一部に関する深度情報を決定するだけで十分であること、および立体情報が参照部分にとって絶対的に必須ではなく、このことは、チャネルを省略し、同時に、変更されるべき画像部分に関するオクルージョンを回避することを可能にするという点において、上記の目的が達成され得ることを見出したことにある。
一実施形態によれば、多開口撮像デバイスは、複数の画像センサ領域を有する画像センサ手段と、複数の光学チャネルとを含み、この場合、各光学チャネルは、全体視野の部分視野を、光学チャネルに関連付けられた画像センサ手段の画像センサ領域上に撮像するための光学系を含む。複数の光学チャネルは、全体視野を撮像するように構成されている。全体視野の第1の部分視野および全体視野の第2の部分視野は、異なる数の光学チャネルによって捕らえられる。
さらなる有利な実施形態は、従属請求項の主題である。
本発明の好ましい実施形態を、添付の図面を参照して以下に説明する。
一実施形態によるデバイスの概略斜視図である。 さらなる実施形態によるデバイスの主面の概略図である。 一実施形態による第1の動作状態におけるビーム偏向手段およびダイアフラムの状態を示す図である。 第2の動作状態におけるビーム偏向手段およびダイアフラムを示す図である。 一実施形態による、ビーム偏向手段の概略図を示し、前記ビーム偏向手段は複数のビーム偏向領域を含む図である。 図4aに対する代替形態である構成による、および一実施形態による、ビーム偏向手段の概略図である。 一実装形態による、撮像デバイスのビーム偏向手段の有利な実装形態を示す図である。 一実装形態による、撮像デバイスのビーム偏向手段の有利な実装形態を示す図である。 一実装形態による、撮像デバイスのビーム偏向手段の有利な実装形態を示す図である。 一実装形態による、撮像デバイスのビーム偏向手段の有利な実装形態を示す図である。 一実装形態による、撮像デバイスのビーム偏向手段の有利な実装形態を示す図である。 一実装形態による、撮像デバイスのビーム偏向手段の有利な実装形態を示す図である。 一実施形態による撮像デバイスの概略斜視図である。 時間的または空間的照明パターンを放射するように構成された照明手段を備える、一実施形態による多開口撮像デバイスの概略斜視図である。 ビーム偏向手段を第1の動作状態の第1の位置と第2の位置との間で回転式に切り替えることができる、改変された撮像デバイスの概略側断面図である。 互いにオーバーラップする4つの部分視野を含む全体視野の概略図である。 図6aとは異なる分布の全体視野を示す図であり、この場合、部分視野は2回捕らえられ、部分視野は第1の方向に沿って隣接して配置されている図である。 図6aとは異なるように分散された全体視野を示す図であり、この場合、部分視野は2回捕らえられ、部分視野は第2の方向に沿って隣接して配置されている図である。 一実施形態による、全体視野を立体的に捕らえるための2つの多開口撮像デバイスを含むデバイスの概略斜視図である。 立体的な捕捉の代わりに、波長範囲の1つにおける捕捉から深度情報を作成するように構成された、一実施形態による2つの多開口撮像デバイスを含むデバイスの概略斜視図である。 単一の視野方向を含む、一実施形態による多開口撮像デバイスの好ましい実装形態の概略斜視図である。 第1の多開口撮像デバイスと、共有画像センサを備える第2の多開口撮像デバイスとを含む概略構造を示す図である。 異なる波長範囲を使用する、一実施形態による多開口撮像デバイスの概略図である。 異なる波長範囲を使用する、一実施形態による多開口撮像デバイスの概略図である。 異なる波長範囲を使用する、一実施形態による多開口撮像デバイスの概略図である。 異なる波長範囲を使用する、一実施形態による多開口撮像デバイスの概略図である。および 一実施形態による、第1の波長範囲および第2の波長範囲の波長にわたる多開口撮像デバイスの画像センサの画像センサ領域の感度の概略的なグラフを示す図である。 3つの光学チャネルを有する、全体視野を捕らえるための一実施形態による多開口撮像デバイスの概略斜視図である。 図11aの多開口撮像デバイスの概略上面図ならびに全体視野の概略図である。 一実施形態による多開口撮像デバイスの概略斜視図を示し、この場合、光学チャネルの光学系の配置は、図11aの多開口撮像デバイスと比較して変更されている図である。 図12aの多開口撮像デバイスの概略上面図を全体視野の図と共に示す図である。 各々が、2つのオーバーラップする視野を捕らえるように構成されている、実施形態による多開口撮像デバイスの概略上面図である。 各々が、2つのオーバーラップする視野を捕らえるように構成されている、実施形態による多開口撮像デバイスの概略上面図である。 各々が、2つのオーバーラップする視野を捕らえるように構成されている、実施形態による多開口撮像デバイスの概略上面図である。 各々が、2つのオーバーラップする視野を捕らえるように構成されている、実施形態による多開口撮像デバイスの概略上面図である。 一実施形態による多開口撮像デバイスの概略上面図を示し、この場合、光学チャネルは2つの向かい合わせの光学チャネル内に配置されている図である。 いくつかの光学チャネル用の相互基板を備える、一実施形態による光学チャネルのアレイの概略上面図である。
本発明の実施形態を図面を参照して以下でより詳細に説明する前に、同一であり、同一の機能または動作を有する要素、対象物および/または構造には、様々な図において同一の参照番号が与えられることになり、そのため、異なる実施形態において提示される前記要素の説明は、入れ替え可能である、および/または相互に適用可能であることに留意されたい。
後に続く実施形態は、画像センサ上の撮像のための異なる波長範囲の使用に関する。波長範囲は、電磁放射、とりわけ光に関する。例えば、異なる波長範囲の一例は、例えば約380nm~約650nmの波長範囲の可視光の使用である。例えば、それとは異なる波長範囲は、380nm未満の波長を有する紫外線スペクトルおよび/または700nm超、約1000nm~約1000μmの波長を有する赤外線スペクトル、とりわけ約700nmまたは780nmから約3μmまでの範囲の波長を有する近赤外スペクトルであってもよい。第1の波長範囲および第2の波長範囲は、少なくとも部分的に異なる波長を含む。一実施形態によれば、波長範囲はいかなるオーバーラップも含まない。しかしながら、代替の実施形態によれば、波長範囲は、オーバーラップを含むが、これは部分的なものにすぎず、そのため、区別を可能にする波長が両方の範囲に存在する。
続いて説明する実施形態は、ビーム偏向手段のビーム偏向領域に関する。ビーム偏向領域は、少なくとも1つの波長範囲内で光路の偏向を実行するように構成されている物体の表面積または領域であってもよい。これは、誘電体層などの少なくとも1つの適用された一連の層だけでなく、反射率を提供または調整する一連の導電層であってもよい。これは、電気的に受動的または能動的な特性であってよい。
以下に記載される実施形態では、デバイスの主面および二次面が参照される。本明細書に記載される実施形態では、デバイスの主面は、他の面と比較して大きい、または最大の寸法を有する、ハウジングまたはデバイスの面であると理解され得る。例えば、これは、いかなる制限的な効果も持たないが、第1の主面は前側を指定し、第2の主面は後側を指定する場合がある。二次面は、主面を互いに接続する面または表面を意味すると理解され得る。
以下に説明する実施形態は携帯用デバイスに関するが、記載された態様は、他のモバイルデバイスまたは非モバイルデバイスに容易に転換され得る。記載される携帯用デバイスは、他のデバイス内、例えば車両内に設置される場合があることが理解される。さらに、デバイスのハウジングは、非携帯用であるように構成されてもよい。これが、以下に説明する実装形態が携帯用デバイスに限定されることを意図するものではなく、デバイスの任意の実装形態を指す可能性があることの理由である。
図1は、一実施形態による携帯用デバイス10の概略斜視図を示す。携帯用デバイス10は、第1の透明領域14aおよび第2の透明領域14bを含むハウジング12を含む。例えば、ハウジング12は、不透明なプラスチック、金属などで形成されてもよい。透明領域14aおよび/または14bは、ハウジング12と一体的に形成されてもよく、または複数の部分で形成されてもよい。透明領域14aおよび/または14bは、例えば、ハウジング12の凹部であってもよい。あるいは、透明材料が、凹部または透明領域14aおよび/または14bの領域内に配置されてもよい。透明領域14aおよび/または14bの透明材料は、撮像デバイス、特に多開口撮像デバイス16、またはその画像センサが受容する電磁放射の少なくともそのような波長範囲内において透明であり得る。これは、透明領域14aおよび/または14bが、前者とは異なる波長範囲において部分的または完全に不透明になるように構成され得ることを意味する。例えば、撮像デバイス16は、可視波長範囲などの第1の波長範囲および第2の波長範囲を捕らえ、かつそれとは少なくとも部分的に異なる波長範囲を捕らえるように構成されてよい。
撮像デバイスまたは多開口撮像デバイス16は、ハウジング12の内部に配設される。撮像デバイス16は、ビーム偏向手段18および画像捕捉手段19を含む。画像捕捉手段19は、各々が撮像デバイス16の光路を変更する(例えば、集結させる、集束させる、または散乱させる)ための1つまたは複数の光学系を備える2つ以上の光学チャネルと、画像センサとを含んでよい。光学系は、異なる光学チャネルに対して、分離的である、または分離されていない、またはチャネルに個別であってもよい。あるいは、チャネル個別レンズと組み合わされた収束レンズ、相互フィルタなどの、2つの、複数の、またはすべての光学チャネルに対して一緒に機能する要素を備えることも光学系は可能である。
例えば、画像捕捉手段19は、その割り当てられた光路が1つまたは複数の光学チャネルを通ってビーム偏向手段18上に向けられ、ビーム偏向手段によって偏向される1つまたは複数の画像センサを備えてよい。図6aの文脈において説明するように、少なくとも2つの光学チャネルは、全体視野(全物体領域)の互いにオーバーラップする部分視野(部分物体領域)を捕らえるように偏向されてよい。撮像デバイス16は、多開口撮像デバイスと称されてもよい。画像センサの各画像センサ領域は、光学チャネルに割り当てられてよい。構造的ギャップが、隣接する画像センサ領域の間に配置されてよい、または画像センサ領域は、異なる画像センサとして、またはその一部として実装され得るが、代替的にまたは追加的に、隣接する画像センサ領域が互いの上に直接境界を成し、画像センサの読み出しを通して互いから分離されることも可能である。
携帯用デバイス10は、第1の動作状態および第2の動作状態を有する。動作状態は、ビーム偏向手段18の場所、位置、または配向と相関させることができる。これは、偏向の有効性が異なる面を使用することによって、どの波長範囲がビーム偏向手段16によって偏向されるかに影響を及ぼす場合がある。代替的または追加的に、2つの異なる動作状態は、光路が偏向される方向に影響を及ぼす場合がある。例示的な多開口撮像デバイス16では、例えば、2つの異なる視野方向にする2つと、異なる波長範囲に対する2つの、4つの動作状態が存在してもよい。これに対する理由の1つは、ビーム偏向手段16が、光学チャネルを通過する電磁放射の第1の波長範囲に対して動作可能な第1のビーム偏向領域を含み、かつ光学チャネルを通過する電磁放射の第2の波長範囲に対して動作可能な第2のビーム偏向領域を含み、第2の波長範囲は第1の波長範囲とは異なることである。
視野方向に関して、第1の動作状態では、ビーム偏向手段18は、光路22aによって示されるように、前記光路が第1の透明領域14aを通過するように撮像デバイス16の光路22を偏向させてよい。第2の動作状態では、ビーム偏向手段18は、光路22bによって示されるように、前記光路が第2の透明領域14bを通過するように撮像デバイス16の光路22を偏向させるように構成されてよい。これはまた、ビーム偏向手段18が、ある時点で、および動作状態に基づいて、透明領域14aおよび/または14bのうちの1つを通るように光路22を導くことを意味するとも理解され得る。動作状態に基づいて、撮像デバイス16によって捕らえられる視野(物体領域)の位置は、空間が変化するような方法で配置されてよい。
第1の波長範囲に対して動作可能な第1のビーム偏向領域と、第2の波長範囲に対して動作可能な第2のビーム偏向領域は、光学チャネルの光路、すなわち光路22を偏向させるために交互に使用されてもよい。これにより、ビーム偏向領域が動作するスペクトルの部分を画像センサに向けることが可能になる。例えば、ビーム偏向領域は、バンドパス機能を備えてもよく、バンドパス機能が構成されている波長範囲を偏向する、すなわち反射することができるのに対して、他の波長範囲は、例えば、少なくとも20dB、少なくとも40dB、または少なくとも60dBだけ抑制される、除去される、または少なくとも強力に減衰される。
ビーム偏向領域は、ビーム偏向手段18の同じ側に配置されてもよく、並進式に変位され得るビーム偏向手段に関する利点を提供する。代替的または追加的に、異なるビーム偏向領域がビーム偏向手段18の異なる側に配置されてもよく、前記領域は、ビーム偏向手段18の回転運動に基づいて交互に画像センサに面してよい。この場合、任意の傾斜角が使用されてよい。しかしながら、多開口撮像デバイス16の2つの可能な反対の視野方向を使用する場合、90°の回転運動が視野方向を変更するのに十分であるように、約45°の角度を選択することが有利である。一方で、1つの視野方向のみで、さらなる自由度が選択されてよい。
異なるビーム偏向領域が面するように交互に向きを変えることを通して、多開口撮像デバイスは、第1のビーム偏向領域を使用して全体視野の最初の捕捉を画像センサで捕らえることで、最初の捕捉が第1の波長範囲に基づくように構成されており、第2のビーム偏向領域を使用して全体視野の2回目の捕捉を画像センサで捕らえることで、2回目の捕捉が第2の波長範囲に基づくように構成されているという事実に起因して、それぞれの視野方向の全体視野は、異なる波長範囲で捕らえられてよい。したがって、例えば、人間の目には見えない波長範囲を使用して、深度マップなどの追加の画像情報を取得してもよい。
携帯用デバイスデバイス10は、第1のダイアフラム24aおよび第2のダイアフラム24bを含んでもよい。ダイアフラム24aは、透明領域14aの領域内に配置され、ダイアフラム24aが閉鎖状態にあるときに透明領域14aを少なくとも部分的に光学的に閉鎖するように構成されている。一実施形態によれば、ダイアフラム24aは、ダイアフラムが閉鎖状態にあるときに透明領域14aを完全に、または透明領域14aの表面積の少なくとも50%、90%、または少なくとも99%を閉鎖するように構成されている。ダイアフラム24bは、透明領域14aに関してダイアフラム24aについて説明したのと同一の方法または同様の方法で透明領域14bを閉鎖するように構成されている。ビーム偏向手段18が光路22を光路22aに向けて偏向させる第1の動作状態では、ダイアフラム24bは、迷光が透明領域14bを通ってハウジング12にわずかにしか入射しない、または場合によっては全く入射しないように、透明領域14bを少なくとも部分的に光学的に閉鎖してよい。これにより、ダイアフラム14bに入射する迷光による、第1の動作状態における視野の捕捉に対する影響を小さくすることができる。例えば、光路22bがハウジング12を出る第2の動作状態では、ダイアフラム24aは、透明領域14aを少なくとも部分的に光学的に閉鎖してよい。簡単に言えば、ダイアフラム24aおよび/または24bは、迷光が望ましくない方向(例えば、捕らえられた視野が位置していない)からそのような領域を通ってわずかにしか入射しないか、または全く入射しないように、透明領域14aおよび/または14bを閉鎖するように構成されてよい。ダイアフラム24aおよび/または24bは、連続するように構成されてもよく、それぞれの場合に撮像デバイス16のすべての光学チャネルに対して配置されてよい。これは、それぞれの動作状態に基づいて、ダイアフラム24aおよび24bが多開口撮像デバイスの光学チャネルのいずれかによって使用され得ることを意味する。一実施形態によれば、各光学チャネルに対して個々の円形ダイアフラムが配置されるのではなく、光学チャネルのすべてによって使用される1つのダイアフラム24aまたは24bが配置される。ダイアフラム24aおよび/または24bは、例えば、多角形の縛りに合わせて、長方形、楕円形、円形または楕円形の形状を有する場合がある。
第1の動作状態と第2の動作状態との間の切り替えは、例えば、並進運動26に基づく、および/または回転運動28に基づくビーム偏向手段18の運動を含んでよい。
ダイアフラム24aおよび/または24bは、例えば、機械的ダイアフラムとして構成されてもよい。あるいは、ダイアフラム24aおよび/または24bは、エレクトロクロミックダイアフラムとして構成されてもよい。これにより、少ない数の機械的に可動な部品を使用することが可能になる。さらに、ダイアフラム24aおよび/または24bをエレクトロクロミックダイアフラムとして構成することにより、透明領域14aおよび/または14bのノイズのない開放および/または閉鎖、ならびに携帯用デバイス10の光学系に容易に統合することができる実装形態が可能になる。例えば、ダイアフラム24aおよび/または24bは、ハウジング12と比較して光学的差異がほとんどないため、それらが閉鎖状態にあるときにユーザによってほとんど知覚されない、または全く知覚されないように構成されてよい。
ハウジング12は、平坦になるように構成されてよい。例えば、主面13aおよび/または13bは、x/y平面またはそれに対して平行な平面内に空間的に配置されてよい。主面13aと13bとの間に位置する二次面または二次表面15aおよび/または15bは、それらが主面に対して斜めまたは垂直になるように空間的に配置されてよく、主面13aおよび/または13bおよび/または二次面15aおよび/または15bが湾曲される、または平面になるように構成されることが可能である。例えば、携帯用デバイス10のディスプレイの表面法線に対して平行または逆平行である方法で、主面13aと13bとの間の第1のハウジング方向zに沿ったハウジング12の延長部は、さらなる延長部に沿った、すなわち、主面13aおよび/または13bの延長方向に沿ったハウジング12のさらなる寸法と比較して小さくてもよい。二次面15aおよび15bは、ディスプレイの表面法線に対して平行または逆平行であってもよい。主面13aおよび/または13bは、携帯用デバイス10のディスプレイの表面法線に対して空間的に垂直に配置されてもよい。したがって、例えば、x方向および/またはy方向に沿ったハウジングの延長部は、第1の延長部zに沿ったハウジング12の延長部の少なくとも3倍、少なくとも5倍、または少なくとも7倍であり得る。簡単に言えば、しかしながら、限定的な効果を有することなく、ハウジングの延長部zは、ハウジング12の厚さまたは深さであると理解されてよい。
図2は、一実施形態による携帯用デバイス20の主面の概略図を示す。携帯用デバイスは、デバイス10を含んでよい。携帯用デバイス20は、ディスプレイ33、例えば画面を含むことができる。例えば、デバイス20は、撮像デバイス16を備える、携帯電話(スマートフォン)、タブレットコンピュータ、携帯音楽プレーヤ、モニタ、または視覚表示ユニットなどの携帯通信デバイスであってもよい。透明領域14aおよび/または透明領域14bは、ディスプレイ33が配置されるハウジング12の領域内に配置されてよい。これは、ダイアフラム24aおよび/または24bがディスプレイ33の領域内に配置され得ることを意味する。例えば、透明領域14aおよび/または14bならびに/あるいはダイアフラム24aおよび/または24bは、ディスプレイ33によって隠される場合もある。ダイアフラム24aおよび/または24bが配置されたディスプレイ33の領域では、ディスプレイの情報が少なくとも周期的に提示可能であってよい。情報の前記提示は、携帯用デバイス20の任意の動作であってよい。例えば、ビューファインダ機能がディスプレイ33上に提示されてよく、そこでは、ハウジング12内部の撮像デバイスによってサンプリングされる、または捕らえられる視野が提示されてよい。代替的または追加的に、すでに捕らえられた画像または任意の他の情報が提示されてもよい。簡単に言えば、透明領域14aおよび/またはダイアフラム24aは、ディスプレイ33によって隠されてもよく、そのため、透明領域14aおよび/またはダイアフラム24aは、携帯用デバイス20の動作中にほとんど知覚されないか、または知覚することができない。
透明領域14aおよび14bはそれぞれ、ハウジング12の少なくとも一方の主面13aおよび/または反対側の主面内に配置されてよい。簡単に言えば、ハウジング12は、前面の透明領域と、後面の透明領域とを有してよい。これに関連して、前後という用語は、本明細書に記載される実施形態のいずれも限定することなく、例えば左右、上下などの他の用語によって無作為に置き換えられてもよいことに留意されたい。さらなる実施形態によれば、透明領域14aおよび/または14bは、二次側に配置されてもよい。透明領域の配置は任意であってよい、および/または光学チャネルの光路が偏向可能な方向に依存してもよい。
透明領域14aまたはダイアフラム24aの領域では、ディスプレイ33は、例えば、画像が撮像デバイスを利用して捕らえられている間、周期的に停止されるように、またはハウジング12を越えてディスプレイ33の透明度を高めるように構成されてよい。あるいは、ディスプレイ33はまた、例えば、ディスプレイ33が携帯用デバイス20の内部におよび/またはハウジング12の内部に、あるいは撮像デバイス16に向けて関連する波長範囲の電磁放射を全く放射しない、またはほとんど放射しない場合、この領域内で動作中のままであってもよい。
図3aは、例えば、第1のダイアフラム24aおよび第2のダイアフラム24bの動作状態に付随する、ビーム偏向手段18および多開口撮像デバイスの状態を示す。例えば、ビーム偏向手段18は、光路22が、光路22aとして透明領域14aを通過するように、図3bに示されるビーム偏向領域18Aで光路22を偏向させる。ダイアフラム24bは、透明領域14bを周期的に少なくとも部分的に閉鎖してよく、その結果、迷光は、透明領域14bを通って携帯用デバイスのハウジングの内部に入らないか、またはわずかにし入らない。
図3bは、第2の動作状態にあるビーム偏向手段18、ダイアフラム24aおよびダイアフラム24bを示しており、例えば、この場合、ビーム偏向手段18は、90°の回転運動28を使用して異なる視野方向を有する。しかしながら、ビーム偏向手段は、光路22bの視野方向に配置された全体視野の捕捉が第2の波長範囲の範囲内で実行され得るように、ここでは、第2の波長範囲に対して動作可能なビーム偏向領域18Bで光路を偏向する。
ビーム偏向手段がさらに約90°、したがって元の状態と比較して約180°回転するとき、図3aに示される第1の視野方向が再び採用されるが、ビーム偏向領域18Bの影響を受ける。例えば、視野方向22aまたは22bが任意の角度を使用して提供されることによって、1つだけの全体視野を捕らえることは可能であるが、より多くの数の全体視野、例えば、2、3、またはそれ以上がそれ故捕らえられる場合もある。
ビーム偏向手段18は、光路22が光路22bとして透明領域14bを通過するように光路22を偏向させてよく、その一方で、ダイアフラム24aは透明領域14aを少なくとも部分的に光学的に閉鎖する。第2の動作状態では、ダイアフラム24bは、少なくとも部分的にまたは完全に開放状態を呈してよい。開放状態は、ダイアフラムの透明性に関連し得る。例えば、エレクトロクロミックダイアフラムは、機械的構成要素が移動されることなく、制御状態に応じて開閉されると称される場合がある。第2の動作状態の間、エレクトロクロミックダイアフラムとして構成されたダイアフラム24bは、撮像デバイスによって検出される波長範囲に対して少なくとも周期的に部分的にまたは完全に透明であってもよい。図3aに描かれる第1の動作状態では、ダイアフラム24bは、この波長範囲に対して部分的または完全に不透明である、あるいは不透明であってもよい。図3aの第1の動作状態と図3bの第2の動作状態との間の切り替えは、図4aおよび図4bの文脈で説明するように、偏向手段18の回転運動28に基づいて、および/または並進運動に基づいて実現されてよい、または前記運動の少なくとも1つを含む場合がある。
図4aは、複数のビーム偏向要素32a~32hを含むビーム偏向手段18の概略図を示す。例えば、撮像デバイスは、複数または多数、例えば2つ、4つ、またはそれ以上の数の光学チャネルを含む場合がある。例えば、撮像デバイスが4つの光学チャネルを備える場合、ビーム偏向手段18は、光学チャネルの数に、光偏向手段18または携帯用デバイスを切り替えることができる動作状態の数を乗じたものに応じて、複数のビーム偏向要素32a~32hを含むことができる。例えば、ビーム偏向要素32aおよび32eは、第1の光学チャネルと関連付けられてもよく、ビーム偏向要素32aは、第1の動作状態で第1の光学チャネルの光路を偏向し、ビーム偏向要素32eは、第1の動作状態で第1の光学チャネルの光路を偏向する。同様に、ビーム偏向要素32bおよび32f、32cおよび32g、ならびに32dおよび32hは、それぞれさらなる光学チャネルに関連付けられてよい。
ビーム偏向手段は、並進運動方向26に沿って並進式に移動可能であってよい、および/または第1の動作状態と第2の動作状態との間で変化するように、撮像デバイスの光学チャネルに関してビーム偏向手段18の第1の位置と第2の位置との間で前後に移動可能であってもよい。ビーム偏向手段18が第1の位置と第2の位置との間で移動する距離34は、少なくとも、撮像デバイスの4つの光学チャネル間の距離に対応してよい。ビーム偏向手段18は、ビーム偏向要素32a~32hのブロックごとの選別を含んでもよい。例えば、ビーム偏向要素32a~32dは、撮像デバイスの光路を第1の視野に向かって第1の視野方向に偏向するように構成されてもよく、各光学チャネルを全体視野の部分視野に関連付けることが可能である。ビーム偏向要素32e~32hは、撮像デバイスの光路を第2の視野に向かって第2の視線方向に偏向するように構成されてもよく、各光学チャネルを全体視野の部分視野に関連付けることが可能である。さらなる実施形態によれば、少なくとも2つの光学チャネルの光路がビーム偏向要素によって偏向されることが可能であり、その結果、ビーム偏向手段18のビーム偏向要素の数をより少なくすることができる。
ビーム偏向要素32a~32hは、互いに異なる曲率を有するビーム偏向手段18の領域であってよい、またはファセットミラーの平面ファセットであってもよい。例えば、ビーム偏向手段18は、ビーム偏向手段18に衝突する光学チャネルの光路が第1の動作状態の視野の互いに異なる部分視野に向けられ、偏向要素32e~32hに衝突してそれによって偏向される光路が第2の動作状態の視野の互いに異なる部分視野に向けられるように、互いに異なる傾斜を呈するファセットおよび/または偏向要素32a~32hのアレイであると理解されてもよい。
図4bは、図4aの構成とは異なる構成によるビーム偏向手段18の概略図を示す。図4aの構成は、動作状態に基づくビーム偏向要素32a~32hのブロックごとの選別であると理解することができるが、図4bの構成は、撮像デバイスの光学チャネルの順序に基づいたビーム偏向要素32a~32hのチャネルごとの選別であると理解され得る。第1の光学チャネルに関連するビーム偏向要素32aおよび32eは、互いに隣接して配置されてよい。同様に、光学チャネル2、3および4にそれぞれ関連付けられてよいビーム偏向要素32bおよび32f、32cおよび32g、ならびに32dおよび32hは、互いに隣接して配置されてよい。例えば、撮像デバイスの光学チャネルが互いに対して十分に大きい距離を有する場合、第1の位置と第2の位置との間で前後に移動されるようにビーム偏向手段18が移動される距離34’は、距離34よりも小さくてよく、例えば、その4分の1または半分であってもよい。これにより、撮像デバイスおよび/または携帯用デバイスの構造設計をさらに縮小することが可能になる。
ビーム偏向要素を光学チャネルに単に割り当てる代わりに、それらは各々、異なるタイプのビーム偏向領域を提供してもよく、その結果、例えば、第1の波長範囲内のビーム偏向要素32aで偏向することによって、または第2の波長範囲内のビーム偏向要素32eで偏向することによって、第1の光学チャネルが偏向される。
回転運動は、並進運動と組み合わされてもよい。したがって、例えば、並進運動が波長範囲間で切り替わること、すなわち、異なるビーム偏向要素32a~32hがビーム偏向手段18の互いの面に配置されることも想像することが可能であり、この場合、両側で反射する実装形態は、視野方向の切り替えを可能にし、逆もまた同様である。
図4c~図4hによって、ビーム偏向手段18の有利な実装形態を説明する。説明は、個別にまたは任意の組み合わせで実施することができるが、限定することは意図されていない多くの利点を例示する。
図4cは、本明細書に記載されるビーム偏向手段、例えば図4aまたは図4bのビーム偏向手段18に採用され得るような、ビーム偏向要素32の概略側部断面図を示す。ビーム偏向要素32は、多角形で縛るような方式で断面を有してよい。三角形の断面が示されているが、任意の他の多角形も可能である。代替的または追加的に、断面はまた、少なくとも1つの曲面を含んでもよく、特に反射面では、少なくとも部分的に平坦な構成が、収差を回避するために有利な場合がある。波長に対して異なるように動作するビーム偏向領域は、異なっており、かつ対向する主面35aおよび35bに配置されてもよい。
例えば、ビーム偏向要素32は、第1の面35a、第2の面35bおよび第3の面35cを含む。少なくとも2つの面、例えば面35aおよび35bは、反射性であるように構成され、その結果、ビーム偏向要素32は、両側で反射性であるように構成される。面35aおよび35bは、ビーム偏向要素32の主面、すなわち、その表面積が面35cの表面積よりも大きい面であってもよい。
言い換えれば、ビーム偏向要素32は、くさびの形状を有し、両側で反射するように形成されてもよい。しかしながら、面35cよりもかなり小さいさらなる面が、面35cに対向して、すなわち面35aと面35bとの間に配置されてもよい。言い換えれば、このような場合、面35a、35b、および35cによって形成されたくさびは、任意に先細になるのではなく、尖った側に表面が設けられ、したがって先端が切り取られる。
図4dは、ビーム偏向要素32の概略側部断面図を示し、そこではビーム偏向要素32のサスペンションまたは変位軸37が記載されている。ビーム偏向要素32がビーム偏向手段18内でその周りで回転式に、および/または並進式に移動可能であり得る変位軸37は、断面の重心43に対して偏心に変位されてよい。あるいは、重心は、厚さ方向45に沿った、およびそれに対して垂直な方向47に沿ったビーム偏向要素32の寸法の半分を表す点であってもよい。
変位軸は、例えば厚さ方向45に沿って不変であってもよく、それに対して垂直な方向に任意のオフセットを有してもよい。あるいは、厚さ方向45に沿ったオフセットも考えられる。変位は、例えば、変位軸37を中心としたビーム偏向要素32の回転時に、重心43を中心とした回転時に得られるものより大きい移動範囲が得られるように行われてもよい。したがって、回転時に面35aと35bとの間の縁部が移動される移動距離は、同一の回転角度が与えられた重心43を中心とした回転と比較して、変位軸37の変位により増加し得る。好ましくは、ビーム偏向要素32は、面35aと35bとの間に位置する縁部、すなわちくさび形断面の尖った面が画像センサに面するように配置される。したがって、それぞれの他方の面35aまたは35bは、小さな回転運動を利用して光学チャネルの光路を偏向させることができる。これは、主面が画像センサに対して垂直になるようなビーム偏向要素32の移動が必要とされないため、厚さ方向45に沿ったビーム偏向手段の空間要件が小さくなるように回転が実行され得ることを示している。
面35cはまた、二次面または後面とも呼ばれてよい。いくつかのビーム偏向要素は、接続要素が面35c上に配置されるか、またはビーム偏向要素の断面を通り抜けて延在するように、すなわち、例えば変位軸37の領域においてビーム偏向要素の内側に配置されるように、互いに接続されてよい。特に、保持要素は、保持要素が方向45に沿って全体的な設計の延長部を増大させない、または決定しないように、方向45に沿ってビーム偏向要素32を超えて突出しないか、またはわずかに突出するように、すなわち、最大50%、最大30%、または最大10%だけ突出するように配置されてよい。あるいは、厚さ方向45における延長部は、光学チャネルのレンズによって決定されてもよく、すなわち、前記レンズは、最小の厚さを画定する寸法を有する。
ビーム偏向要素32は、ガラス、セラミック、ガラスセラミック、プラスチック、金属、または前記材料および/またはさらなる材料の任意の組み合わせから形成されてよい。
言い換えれば、ビーム偏向要素32は、先端、すなわち主面35aと35bとの間に位置する縁部が画像センサの方を指すように配置されてよい。ビーム偏向要素の保持は、ビーム偏向要素の後面または内側のみで行われるように、すなわち主面が隠されないように行われてよい。共有保持要素または接続要素は、後面35cを横切って延びてもよい。ビーム偏向要素32の回転軸は、偏心して配置されてよい。
図4eは、画像センサ36と、隣接して配置された光学チャネル42a~42dの一列アレイ38とを含む多開口撮像デバイス40の概略斜視図を示す。ビーム偏向手段18は、光学チャネルの数に対応し得るいくつかのビーム偏向要素32a~32dを含む。あるいは、例えば、少なくとも1つのビーム偏向要素が2つの光学チャネルによって使用される場合、より少ない数のビーム偏向要素が配置されてもよい。あるいは、図4aおよび図4bに関連して説明したように、ビーム偏向手段18の偏向方向が並進運動によって切り替えられる場合など、より多くの数が配置されてもよい。各ビーム偏向要素32a~32dは、光学チャネル42a~42dに関連付けられてよい。ビーム偏向要素32a~32dは、図4cおよび図4dによる多数の要素32として構成されてよい。あるいは、ビーム偏向要素32a~32dの少なくとも2つ、そのうちのいくつか、またはそのすべては、互いと一体式に形成されてもよい。
図4fは、ビーム偏向要素32の概略側部断面図を示し、その断面は自由曲面として形成されている。したがって、面35cは、保持要素の取り付けを可能にする凹部49を備えてよく、凹部49はまた、スロットアンドキーシステムのキーなどの突出要素として形成されてもよい。断面は、主面35aおよび35bよりも小さい表面積を有し、それらを互いに接続する第4の面35dをさらに含む。
図4gは、第1のビーム偏向要素32aおよび第2のビーム偏向要素32bの概略側部断面図を示し、第2のビーム偏向要素32bは、提示の方向に見るとき前者の背後に位置する。凹部49aおよび49bは、凹部内に接続要素を配置することが可能であるように、基本的に一致するように配置されてよい。
図4hは、例えば、接続要素51に接続された4つのビーム偏向要素32a~32dを含むビーム偏向手段18の概略斜視図を示す。接続要素は、アクチュエータによって並進式および/または回転式移動可能であるように使用されてよい。接続要素51は、一体式に形成されてよく、ビーム偏向要素32a~32d上またはその中の延長方向、例えば図4eのy方向にわたって延在してもよい。あるいは、例えばビーム偏向要素32a~32dが一体式に形成されている場合、接続要素51は、ビーム偏向手段18の少なくとも片側にのみ結合されてもよい。あるいは、アクチュエータへの接続および/またはビーム偏向要素32a~32dの接続はまた、例えば接着、絞りまたははんだ付けを利用して、任意の他の方法で行われてもよい。
図5aは、撮像デバイス16の概略斜視図を示す。撮像デバイス16は、ビーム偏向手段18、画像センサ36、および隣接して配置された光学チャネル42a~42dの一列アレイ38を含む。各光学チャネル42a~42dは、撮像デバイス16の光路22-1~22-4に光学的に影響を及ぼすように構成された光学系を備えてよい。光学系は、チャネル個別であってよい、または2つ以上の光学チャネルのグループのための相互の構成要素を備えてもよい。
画像センサ36は、画像センサ領域44a~44dを含んでよく、光学チャネル22a~22dの光路22-1~22-4は各々、画像センサ領域44a~44dに衝突し得る。簡単に言えば、各画像センサ領域44a~44dは、それに関連する光学チャネル22a~22dおよび/または光路22-1~22-4を有することができる。ビーム偏向手段18は、例えば、図1、図2、図3a、図3b、図4a~図4hに関連して説明したように、携帯用デバイスの互いに異なる動作状態および/またはビーム偏向手段18の互いに異なる位置に基づいて、光路22-1~22-4を互いに異なる方向および/または異なる波長に偏向するように構成されてよい。これは、撮像デバイス16が多開口撮像デバイス40として形成され得るか、またはそれを含み得ることを意味する。
画像センサ領域44a~44dは各々、例えば、対応するピクセルアレイを含むチップから形成されてよく、画像センサ領域は、共有基板上および/または共有回路基板上に実装されてよい。あるいは、当然ながら、画像センサ領域44a~44dが各々、画像センサ領域44a~44dにわたって連続して延在する共有ピクセルアレイの一部から形成されることも可能であり、共有ピクセルアレイは、例えば個々のチップ上に形成されている。例えば、共有ピクセルアレイのピクセル値のみが、その後、画像センサ領域44a~44dにおいて読み出される。当然のことながら、2つ以上のチャネルに対して1つのチップが存在し、さらに他のチャネルに対してさらなるチップが存在するなど、前記代替形態の様々な組み合わせも可能である。いくつかのチップの画像センサ36の場合、前記チップは、1つまたは複数の回路基板上に、例えばすべて一緒に、またはグループなどで取り付けられてもよい。
一列アレイ38は、光学チャネルの光学系41a~41dが配置されるキャリア39を備えてよい。キャリア39は、個々の光学チャネルでの撮像に使用される光路22-1~22-4によって通過されてよい。多開口撮像デバイスの光学チャネルは、ビーム偏向手段18と画像センサ36との間でキャリア39を横切ることができる。キャリア39は、光学系41a~41d間の相対的な位置を安定した方法で維持し得る。キャリア39は、透明に形成されてもよく、例えば、ガラス材料および/またはポリマー材料を含んでもよい。光学系41a~41dは、キャリア39の少なくとも一方の表面に配置されてもよい。これにより、光学系41a~41dをその円周領域内に封入することを省くことができるため、画像センサ36に平行であり、かつライン延長方向56に垂直な方向に沿ったキャリア39の小さな寸法、したがって一列アレイ38の小さな寸法が可能になる。実施形態によれば、キャリア39は、画像センサ36の主面に平行であり、かつライン延長方向56に垂直な方向に沿った、光学系41a~41dの対応する寸法よりも大きくならないように構成されているか、それよりわずかに大きくなるように、すなわち、最大20%、最大10%または最大5%だけ大きくなるように構成されている。
ビーム偏向手段は、第1の位置および第2の位置において、それが、各光学チャネル42a~42dの光路22-1~22-4を互いに異なる方向に偏向するように構成されてよい。これは、図6aの文脈で説明したように、偏向された光路22-1~22-4が相互角度を有し得ることを意味する。光学チャネル16a~16dは、ライン延長方向56に沿って少なくとも1つのラインに配置されてもよい。アレイ38は、少なくとも2つのラインを含むマルチラインアレイとして、または光学チャネルの(正確に)1つのラインを含む一列アレイとして形成されてもよい。光学チャネルは、変化する視野に向けて設定された視野方向に基づいてビーム偏向手段18によって導かれてよい。光学チャネルは、視野方向内で互いに対して角度を有してよく、その結果、光学チャネルは、それらが本当にオーバーラップする場合には、部分的にのみオーバーラップする全体視野の部分視野内に向けられる。光学チャネルの異なる角度は、光学チャネルの光学系に基づいて、および/またはビーム偏向手段18での光学チャネルの互いに異なる偏向に基づいて取得されてよい。
撮像デバイス16は、例えば、光学画像安定化装置46aの一部である、および/またはビーム偏向手段18の位置を切り替えるために使用され得るアクチュエータ48aを含んでよい。光学画像安定化装置46は、画像センサ36によって捕らえられた画像の光学画像安定化を可能にするように構成されてよい。この目的のために、アクチュエータ48aは、ビーム偏向手段18の回転運動52を生成するように構成されてよい。回転運動52は、回転軸54を中心として生じてよく、ビーム偏向手段18の回転軸54は、ビーム偏向手段18の中央領域に、またはそこから距離を置いて配置されてもよい。回転運動52は、ビーム偏向手段を第1の位置または第1の動作状態と第2の位置または第2の動作状態との間で切り替えるために、回転運動28および/または並進運動26に重ね合わされてよい。ビーム偏向手段18が並進式に移動可能である場合、並進運動26は、一列アレイ38のライン延長方向56と平行して空間的に配置されてもよい。ライン延長方向56は、光学チャネル42a~42dが隣接して配置される方向に関連してもよい。回転運動52に基づいて、光学画像安定化が、場合によってはライン延長方向56に垂直な第1の画像軸58に沿って実現されてよい。
代替的または追加的に、光学画像安定化装置46は、ライン延長方向56に沿って一列アレイ38を並進移動させるように構成されたアクチュエータ48bを含んでもよい。ライン延長方向56に沿った一列アレイ38の並進運動に基づいて、光学画像安定化が、場合によってはライン延長方向56に平行して、および/または一列アレイ38の移動方向に平行して第2の画像軸62に沿って実現されてよい。アクチュエータ48aおよび48bは、例えば、圧電アクチュエータ、空気圧アクチュエータ、油圧アクチュエータ、DCモータ、ステッパモータ、熱アクチュエータ、静電アクチュエータ、電歪アクチュエータ、および/または磁歪アクチュエータとして形成されてもよい。アクチュエータ48a,48bは、全く同一に形成されていてもよいし、互いに異なるように形成されていてもよい。あるいは、ビーム偏向手段18を回転移動させ、一列アレイ38を並進移動させるように構成されたアクチュエータを配置することも可能である。例えば、回転軸54は、ライン延長方向56と平行であってもよい。回転軸54を中心とした回転運動52によって、画像軸58に平行な方向に沿って撮像デバイス16に必要な設置スペースがほとんど必要とされなくなる可能性があり、その結果、ハウジング内に撮像デバイス16を含む携帯用デバイスも同様に小さい寸法を有することができる。簡単に言えば、携帯用デバイスは、平坦なハウジングを備えてよい。
並進運動26は、例えば、デバイス10の主面13aおよび/または13bの延長部と平行して、または基本的に平行して実施可能であってよく、その結果、動作状態の間でビーム偏向を切り替えるために必要とされ得る追加の設置スペースをライン延長方向56に沿って配置することができる、および/またはデバイスの厚さ方向に沿った設置スペースの備えを省略することができる。アクチュエータ48aおよび/または48bは、ライン延長方向に沿って、および/またはそれに垂直に、デバイスのハウジングの主面の延長方向と平行して配置されてもよい。簡単に言えば、これは、動作状態および/または光学画像安定化装置のアクチュエータを切り替えるためのアクチュエータが、画像センサ、一列アレイ38、およびビーム偏向手段18間の延長部の隣、その前方、またはその背後に配置され得るように説明することができ、その上および/またはその下の配置は、撮像デバイス16の設置高さを小さく保つために省略される。これは、動作状態および/または光学画像安定化装置を切り替えるためのアクチュエータが、画像センサ36、一列アレイ38、およびビーム偏向手段18が配置される平面内に配置され得ることを意味する。
さらなる実施形態によれば、アクチュエータ48bおよび/または他のアクチュエータは、画像センサ36と一列アレイ38および/または光学チャネルの光学系との間の距離を変更するように構成されてもよい。この目的のために、例えば、アクチュエータ48bは、視野の撮像の焦点を変更する、および/またはオート集束機能を取得するために、光路22-1から22-4の光路に沿って、および/またはライン延長方向56に垂直に、1列アレイ38および/または画像センサ36を互いに対して移動させるように構成されてよい。
撮像デバイス16は、撮像デバイスの焦点を変更するように構成された集束手段を備えてよい。集束手段は、一列アレイ38と画像センサ36との間の相対運動を提供するように構成されてもよい。集束手段は、相対運動と同時である、ビーム偏向手段18の運動を実行しながら、相対運動を実行するように構成されてよい。例えば、アクチュエータ48bまたはさらなるアクチュエータは、一列アレイ38とビーム偏向手段18との間の距離を少なくとも基本的に一定に保つように、または追加のアクチュエータが使用されない場合、少なくとも基本的に一定に保つように、場合によっては正確に一定に保つように、すなわち、一列アレイ38が移動するのと同じだけビーム偏向手段18を移動させるように構成することができる。ビーム偏向手段を備えていないカメラでは、集束機能の実装は、デバイスの寸法(厚さ)を増加させる可能性がある。
前記移動を可能にする設置空間がそれに対して垂直になるように配置され得るため、ビーム偏向手段に基づいて、これは、画像センサ36の主面に平行であり、かつ多開口撮像デバイスのライン延長方向56(例えば、厚さ)に垂直な寸法に沿って生じるいかなる追加の寸法もなしに行われてよい。一列アレイ38とビーム偏向手段18との間の一定の距離に基づいて、ビーム偏向は調整された(場合によっては最適な)状態に維持されてよい。簡単に言えば、撮像デバイス16は、焦点を変更するための集束手段を備えることができる。集束手段は、多開口撮像デバイス16の光学チャネルの少なくとも1つの光学系41a~41dと画像センサ36との間の相対運動(集束運動)を提供するように構成されてよい。集束手段は、相対運動を提供するためのアクチュエータ、例えば、アクチュエータ48bおよび/または48aを備えることができる。ビーム偏向手段18は、対応する構造上の構成または利用のために、場合によってはさらなるアクチュエータを使用しながら、集束運動と同時に移動されてよい。これは、一列アレイ38とビーム偏向手段との間の距離が変化しないままであること、および/またはビーム偏向手段18が、同時にまたは一定のタイムラグで、集束運動が生じるのと同一の程度または同等の程度まで移動され、その結果、それが、焦点の変更前の距離と比較して、少なくとも視野が多開口撮像デバイスによって捕らえられた時点では変化しないことを意味する。
撮像デバイス16は、画像センサ36から画像情報を受信するように構成された制御手段53を含む。この目的のために、全体視野の画像が評価され、前記画像は、第1のビーム偏向領域で光学チャネル42a~42dの光路22-1~22-4を偏向させることによって取得され、対応する、すなわち一致する画像が評価され、前記画像は、第2のビーム偏向領域で光学チャネル42a~42dの光路22-1~22-4を偏向させることによって取得され、この場合第1および第2の画像の任意の順序が使用されてよい。
制御手段53は、例えば、画像の組み合わせ(スティッチング)のための方法を使用して、捕らえられた全体視野の2つの全体画像を生成してよく、この場合、第1の全体画像は第1の波長範囲に基づいており、第2の全体画像は第2の波長範囲に基づいている。
制御手段は、例えば、赤外線範囲、特に近赤外範囲(NIR)などの人間には見えない波長範囲に基づいて、2回目の捕捉を使用して、最初の捕捉の深度マップを決定するように構成され得る。この目的のために、制御手段は、例えば、第2の波長範囲において見ることができるパターンを評価するように構成されてもよい。したがって、例えば、ドットパターンなどの所定のパターンがNIR波長範囲で全体視野に向けて放射されてよく、パターンの歪みは2回目の捕捉または2回目の画像において評価されてよい。歪みは、深度情報と相関し得る。制御手段53は、深度情報の評価を使用して深度マップを提供するように構成されてよい。パターンの空間情報の代替または追加として、例えば、パターンの時間的分散が既知である場合、時間的情報も評価され得る。
照明源は、第3の波長範囲が第2の波長範囲に少なくとも部分的に対応するように、第2の波長範囲を完全にまたは部分的に含む第3の波長範囲を有する時間的および/または空間的照明パターンを放射するように構成されてよい。これは、放射されたパターンの波長の部分反射が、画像センサに到達する第2の波長範囲のための十分な光源をすでに表しているという事実、および、例えば吸収に基づく波長シフトまたは部分反射も含まれるという事実を含む。例えば、第2の波長範囲と第3の波長は一致していてもよい。
図1に関連して説明したように、光学チャネルの偏向された光路は、デバイスのハウジングの透明領域を通過してよく、透明領域にはダイアフラムが配置されてもよい。デバイスの少なくとも1つの動作状態では、透明領域の領域内に配置されたダイアフラムは、ダイアフラムが、光学チャネルのうちの2つ、多数の光学チャネルまたはすべての光学チャネルに対して動作可能であるように、すなわち少なくとも部分的に閉鎖状態にあるように、前記領域を少なくとも部分的に光学的に閉鎖してよい。異なる動作状態では、ダイアフラムは、光学チャネルのうちの2つ、多数の光学チャネル、またはすべての光学チャネルに対して開放状態にあってもよい。これは、ダイアフラムが多開口撮像デバイスの少なくとも2つの光学チャネルに対して動作可能であり得ることを意味する。第1の動作状態では、ダイアフラム24bは、光学チャネルのうちの2つ、多数の光学チャネル、またはすべての光学チャネルの透明領域14bを少なくとも部分的に光学的に閉鎖してよい。第2の動作状態では、ダイアフラム24aは、光学チャネルのうちの2つ、多数の光学チャネル、またはすべての光学チャネルについて透明領域14aを少なくとも部分的に光学的に閉鎖してよい。
図5bは、一実施形態による多開口撮像デバイス16の概略斜視図を示し、この場合、アレイ38は、例示的には、光学系41a~41bを含む2つの光学チャネルを含み、この場合、3つ、4つ、5つ、またはそれ以上など、任意のより大きな数が可能である。光学チャネル41aおよび41bはそれぞれ、全体視野60の部分視野64aまたは64bを捕らえるように構成されている。部分視野64aおよび64bは、互いにオーバーラップし、全体視野60を一緒に形成する。
多開口撮像デバイス16は、特に全体視野60に向かって、時間的または空間的照明パターン55aを放射するように構成された照明手段55を含む。照明パターン55aは、第2の波長範囲と少なくとも部分的にオーバーラップする、またはそれに対応する第3の波長範囲を含んでよく、その結果、第2のビーム偏向領域を使用して光路を偏向させるとき、全体視野において歪んだパターンが画像センサに当たり、制御手段53によって評価されてよい。
図5cは、変形撮像デバイス16’の概略側部断面図を示し、ビーム偏向手段18は、回転軸54を中心とした回転運動52’に基づいて、第1の動作状態の第1の位置Pos1と第2の動作状態の第2の位置Pos2との間で移動させることができる。第1の動作状態では、撮像デバイス16’は第1の視野方向57aを含んでよい。第2の動作状態では、撮像デバイス16’は第1の視野方向57bを有してよい。ビーム偏向手段18の主面59aおよび59bは、ミラーおよび/またはファセット要素として反射するように形成されてよい。動作状態間の切り替え中、ビーム偏向手段18は、平行な平面63aと63bとの間の差(この距離は、平面63aおよび63bの法線方向に沿った撮像デバイス16’の最小寸法を表してよい)が、アレイ38の画像センサ36の寸法によって影響されるが、ビーム偏向手段18の移動によっては影響されないように、中心位置61の間で切り替えられてよい。回転運動52は、回転運動28と重ね合わされてもよい。簡単に言えば、切り替えと光学的画像安定化との重ね合わせが実施されてもよい。
多開口撮像デバイスのアクチュエータは、直方体の辺がまたがる(画定される)2つの平面63aおよび63bの間に少なくとも部分的に配置されるように配置されてよい。直方体の面は、互いに平行して配置されてよい、ならびにアレイのライン延長方向、および画像センサとビーム偏向手段との間の光学チャネルの光路の一部に平行して配置されてよい。直方体の体積は最小であり、それにもかかわらず、画像センサ、アレイ、およびビーム偏向手段、を含み、またそれらの動作関連の移動も含まれる。
多開口撮像デバイスの厚さ方向は、平面63aおよび/または63bに対して垂直に配置されてよい。アクチュエータは、厚さ方向と平行な寸法または延長部を有してよい。平面63aと63bとの間に位置する領域から開始して、寸法の最大50%、最大30%、または最大10%の割合が、平面63aおよび/または63bを超えて、または前記領域を超えて突出してもよい。したがって、アクチュエータは、例えば、平面63aおよび/または63bを超えてほとんど微々たる程度にしか突出しない。実施形態によれば、アクチュエータは、平面63aおよび/または63bを超えて突出しない。これに関して有利なことは、厚さ方向に沿った多開口撮像デバイスの拡張は、アクチュエータによって増大されないことである。
多開口撮像デバイスの体積は、平面63aと平面63bとの間に小さい、または最小の設置スペースを含んでよい。平面63aおよび/または63bの側面または延長方向に沿って、多開口撮像デバイスの設置空間はこれより大きくてもよい、または所望の任意のサイズを有してもよい。仮想直方体の体積は、例えば、画像センサ36、アレイ38、およびビーム偏向手段の配置によって影響を受け、これらの構成要素は、本明細書に記載の実施形態によれば、平面に垂直な方向に沿ったこれらの構成要素の設置スペース、したがって平面63aと63bとの間の相互距離が小さくなる、または最小になるように配置されてよい。構成要素の他の配置と比較して、仮想直方体の体積および/または他の面の距離は拡大されてもよい。
図6aは、互いにオーバーラップする4つの部分視野64a~64dを含む全体視野60の概略図を示す。部分視野64a~64dは、例えば、限定的ではないが、水平方向および垂直方向を指定し得る、2つの方向HおよびVに沿って物体領域内に例示的に配置される。任意の他の方向的な配置が可能である。例えば、図5aを参照すると、光路22-1は部分視野64aに向けられてよく、光路22-2は部分視野64bに向けられてよく、光路22-3は部分視野64cに向けられてよく、および/または光路22-4は部分視野64dに向けられてよい。光路22-1~22-4と部分視野64a~64dとの関連付けは任意であるが、ビーム偏向手段18を起点として、光路22-1~22-4が互いに異なる方向に向けられていることが明らかになる。記載される実施形態では、全体視野60は、部分視野64a~64dを捕らえる4つの光学チャネルによって捕らえられるが、全体視野60はまた、1よりも大きい任意の他の数の部分視野、すなわち、少なくとも2、少なくとも3、少なくとも5、少なくとも7、またはそれ以上の部分視野によって捕らえられてよい。
図6bは、図6aとは異なる全体視野60の可能な分割を示し、例えば、全体視野は、2つの部分視野64aおよび64bのみによって捕らえられている。例えば、部分視野64aおよび64bは、方向Vに沿って、または図6cに図示されるように、方向Hに沿って配置されてよく、有効な画像の組み合わせを可能にするために互いにオーバーラップしてもよい。部分視野は、これが、そのようなやり方において対応する任意選択の実装形態を指し示す場合であっても、それらをより効果的に区別するために、異なるサイズのみを有するように図示されている。
原則として、光学チャネルに対する部分視野64aおよび64bの割り当て、ならびにアレイ14の相対的な配向は任意であり得る。部分視野が、例えば図6bのVまたは図6cのHに沿って配置される方向は、アレイ14のライン延長方向56に関して任意に配置されてよい。有利な配置では、ライン延長方向56および部分視野が沿って配置される方向は、±25°、±15°、または±5°の許容範囲内で互いに垂直に、好ましくは互いに垂直に配置される。図6bでは、ライン延長方向56は、例えば、Vに対して垂直に配置された方向Hに平行して配置される。図6cでは、ライン延長方向56はまた、図6bと比較して回転される、部分視野64aおよび64bの配置に従って回転され、その結果、ライン延長方向56は、指定された許容範囲内でVに対して平行またはHに対して垂直である。したがって、光学チャネル42a~42cおよび画像センサ領域44a~44cはまた、図6cの図示の平面内でオーバーラップすることもできる、または許容範囲内で一致することもでき、図示のためにオフセットされて図示されている。
実施形態による多開口撮像デバイスは、少なくとも2つの部分視野64a~64bを通して全体視野60を捕らえるように構成されてよい。図6aに関する説明による部分視野64bまたは部分視野など、単一チャネル方式で捕らえられる部分視野とは対照的に、部分視野の少なくとも一方は、少なくとも1つの第1の光学チャネル42aおよび1/2の光学チャネル42cによって捕らえられてもよい。例えば、全体視野は、正確に2つの部分視野64a、64bに分割されてもよい。部分視野の正確に一方、例えば部分視野64aは、2つの光学チャネル42aおよび42cを介して捕らえられてよい。他の部分視野は、単一チャネル方式で捕らえられてよい。
この目的のために、実施形態による多開口撮像デバイスは、それぞれの波長範囲内または両方の波長範囲内の2つの部分視野64aおよび64bを撮像するために、正確に2つの光学チャネルの使用を提供する。このような構成では、オーバーラップまたはオクルージョン作用がオーバーラップ領域において発生する可能性があり、これは、物体の背後に配置された視野の二重捕捉の代わりに、1つの視野角しか捕らえられないことを意味する。そのような影響を低減または回避するために、いくつかの実施形態は、少なくともこのチャネル42a~42cが複数回、特に2回捕らえられるように、さらなる光学チャネル42a~42cでの部分視野64aおよび/または64bの少なくとも一方の捕捉を提供する。2回捕らえられた任意の他の数の部分視野および/または任意の他の数の部分視野および/または任意の他の数の光学チャネルも可能である。
図6bおよび図6cに基づいて示されるように、部分視野64を複数回捕らえるために、光学チャネル42aおよび42cならびに/または画像センサ領域44aおよび44cは、他の部分視野を捕らえるために光学チャネル42bの周りに対称的に配置されてよい、別の部分視野上に向けられた少なくとも1つの光学チャネル42bによってアレイ14内で離間されてよい、および/または視差の特定の測定を可能にするために、アレイ内で互いに向かって拡大された距離または最大距離を含んでもよい。
図7aは、第1の多開口撮像デバイス16aおよび第2の多開口撮像デバイス16bを含み、多開口撮像デバイスを使用して全体視野60を立体的に捕らえるように構成されたデバイス70の概略斜視図を示す。全体視野60は、例えば、主面13aから離れるように面する主面13b上に配置される。例えば、多開口撮像デバイス16aおよび16bは、透明領域14aおよび/または14cによって全体視野60を捕らえてよく、主面13b内に配置されたダイアフラム24aおよび24cは、少なくとも部分的に透明である。主面13a内に配置されたダイアフラム24bおよび24dは、透明領域14bおよび/または14dを少なくとも部分的に光学的に閉鎖してよく、それにより、主面13aに面する側から来る、多開口撮像デバイス16aおよび/または16bによって捕らえられた画像を改ざんする可能性がある迷光の程度が少なくとも低減される。多開口撮像デバイス16aおよび16bは、互いに離間されるようなやり方で配置されるように描かれているが、多開口撮像デバイス16aおよび16bはまた、空間的に隣接するやり方で、または組み合わされるやり方で配置されてもよい。例えば、撮像デバイス16aおよび16bの一列アレイは、互いに隣接して、または互いに平行して配置されてもよい。一列アレイは、互いに対して列を形成してもよく、各多開口撮像デバイス16aおよび16bは、一列アレイを含む。撮像デバイス16aおよび16bは、共有ビーム偏向手段および/または共有キャリア39および/または共有される画像センサ36を備えてよい。
透明領域14a~14dには、使用されていないときに光学構造を覆う切り替え可能なダイアフラム24a~24dが追加で備わっていてもよい。ダイアフラム24a~24dは、機械的に可動な部分を含んでよい。機械的に可動な部分の移動は、例えばアクチュエータ48aおよび48bについて説明したようなアクチュエータを使用しながら行われてよい。代替的にまたは付加的に、ダイアフラムは、電気的に制御可能であってよく、エレクトロクロミック層または一連のエレクトロクロミック層を含んでもよい。
図7bの好ましい実施形態によれば、デバイス70は、デバイス70と同様に実装されるが、立体的な捕捉の代わりに、例えば、非可視波長範囲のパターン歪みの評価を通じて、波長範囲のうちの1つにおける捕捉から深度情報が作成されるように実装される。この好ましい実施形態によれば、例えば、デバイス70は、単一の撮像デバイス16のみで実装され、視点、すなわち撮像デバイス16の視点から全体視野を補捉、全体視野の立体的捕捉は捕捉しないように構成されている。
しかしながら、デバイス70はまた、例えば、制御手段53またはデバイス70もしくは撮像デバイス16の特別に実装された計算手段によって、捕捉された波長範囲のうちの1つにおけるパターン歪みを評価することによって、全体視野の深度マップを提供または生成するために好ましい実装形態に従って実装されてもよい。
デバイス70は、そのような機能が、場合によっては照明手段55を含む撮像デバイス16にすでに実装されているため、撮像デバイス16を補足または拡張する追加の赤外線カメラを除いて実装されてもよい。
図7cに示されるさらに好ましい実施態様によれば、デバイス70の撮像デバイス16は、デバイス70および70とは対照的に、1つの視野方向のみを含むように構成されており、そのため、いずれの場合も任意である他の方向ならびにダイアフラムへの対応する視野窓の配置が省略されてよい。
2つの波長範囲の評価を通じて、デバイス70および70は、全体視野の深度マップを作成するように構成されてよい。
図8は、例えば、撮像システム70内に配置され得る第1の多開口撮像デバイス16aおよび第2の多開口撮像デバイス16bを含む概略的構造を示す。多開口撮像デバイス16aおよび16bは、完全にまたは部分的に、相互の多開口撮像デバイスとして形成されてよい。一列アレイ38a,38bは共有回線を形成する。画像センサ36aおよび36bは、共有基板および/または共有回路基板もしくは共有フレックス基板などの共有回路キャリアに取り付けられてよい。あるいは、画像センサ36aおよび36bは、互いに異なる基板を含んでもよい。当然のことながら、共有画像センサ、共有アレイおよび/または共有ビーム偏向手段18を含む多開口撮像デバイス、ならびに別個の構成要素を含むさらなる多開口撮像デバイスなど、前記代替形態の様々な組み合わせも可能である。共有画像センサ、共有一列アレイおよび/または共有ビーム偏向手段に関して有利なことは、少数のアクチュエータを制御することによってそれぞれの構成要素の移動が高精度で達成され得ることと、アクチュエータ間の同期が低減または回避され得ることである。さらに、高いレベルの熱安定性も達成されてよい。代替的または追加的に、さらなる多開口撮像デバイスはまた、共有アレイ、共有画像センサ、および/または共有ビーム偏向手段を備える場合もある。その任意の数が実装され得る撮像光学チャネルの少なくとも1つのさらなるグループを配置することによって、多開口撮像デバイスは、少なくとも全体視野を立体的に捕らえるように構成されてよい。
ビーム偏向手段から開始して、光路および/または光軸を互いに異なる方向に向けることができることはすでに上記で指摘されている。これは、光路がビーム偏向手段での偏向中に、および/または光学系によって、互いに平行であることから逸脱して導かれることで達成されてよい。光路および/または光軸は、ビーム偏向の前に、またはいかなるビーム偏向もない状態で平行であることから逸脱する場合がある。この状況は、チャネルに何らかの種類の事前逸脱が備わっている可能性があるという事実によって以下で制限される。光軸の前記事前逸脱により、例えば、ビーム偏向手段のファセットのファセット傾きのすべてが互いに異なるわけではないが、チャネルのいくつかのグループは、例えば、等しい傾きを有するファセットを含むか、またはそれに対して向けられることが可能である。次いで、後者は、言うなればライン延長方向に隣接するチャネルの前記グループに関連付けられたファセットとして、一体であるように、または連続して互いに合体するように形成されてよい。次いで、これらのチャネルの光軸の逸脱は、光学チャネルの光学系の光学的中心とチャネルの画像センサ領域との間の横方向のオフセットによって達成されるように、これらの光軸の逸脱から生じる可能性がある。事前逸脱は、例えば、平面に限定されてよい。光軸は、例えば、ビーム偏向の前に、またはいかなるビーム偏向もない状態では共有平面内に延在し得るが、前記平面内で逸脱するようなやり方で延在する場合があり、ファセットは、他の横断面内でのみ追加の逸脱を引き起こす、すなわち、それらはすべてライン延長方向と平行して傾けられ、光軸の上述の共有平面とは異なる方法でのみ互いに傾けられ、ここでもまた、いくつかのファセットは、同一の傾きを有してよい、および/またはその光軸が、ビーム偏向の前に、またはいかなるビーム偏向もない状態で、例えば光軸の上述の共有平面内ですでに対ごとに異なるチャネルのグループに一般に関連付けられてもよい。簡単に言えば、光学系は、第1の(画像)方向に沿った光路の(事前の)逸脱を可能にしてよく、ビーム偏向手段は、第2の(画像)方向に沿った光路の逸脱を可能にしてよい。
上述の存在する可能性のある事前逸脱は、例えば、光学系の光学中心がライン延長方向に沿った直線上にあるのに対して、画像センサ領域の中心は、それらが、画像センサ領域の平面の法線に沿った光学中心の投影から、画像センサ平面内の直線上にある点に逸脱するように、例えば、その点では、画像センサ平面内の上述の直線上にある点から、チャネル固有の方法で、ライン延長方向に沿って、および/またはライン延長方向と画像センサ法線の両方に垂直な方向に沿って逸脱するように配置される点において達成されてよい。
あるいは、画像センサの中心がライン延長方向に沿った直線上にあるのに対して、光学系の中心は、光学系の光学中心の平面の法線に沿った画像センサの光学中心の投影から、光学中心平面内の直線上にある点に逸脱するように、例えば、その点では、光学中心平面内の上述の直線上にある点からチャネル固有の方法で、ライン延長方向に沿って、および/またはライン延長方向と光学中心平面の法線の両方に垂直な方向に沿って逸脱するように配置されるという点において、事前逸脱が達成されてもよい。それぞれの投影からの上述のチャネル固有の逸脱は、ライン延長方向においてのみ生じること、すなわち、単に共有平面内に位置する光軸に事前逸脱が与えられることが好ましい。その場合、光学的中心および画像センサ領域中心の両方は、ライン延長方向と平行であるが異なる中間ギャップを有する直線上にそれぞれ配置される。ライン延長方向に垂直な横方向におけるレンズと画像センサとの間の横方向のオフセットはそれ故、設置高さの増加をもたらす。ライン延長方向での単なる面内オフセットは、設置高さを変化させないが、ファセットの数を減少させる可能性がある、および/またはファセットが角度方向にのみ傾斜する可能性があり、このことは設計を単純化する。例えば、いずれの場合も隣接する光学チャネルは、共有平面内に延在し、互いに対して斜めになっている、すなわち事前逸脱が与えられている光軸を備えてよい。ファセットは、光学チャネルのグループに関して、一方向にのみ傾けられ、ライン延長方向に対して平行になるように配置されてもよい。
さらに、例えば、超解像を達成する目的で、および/または対応する部分視野が前記チャネルによってサンプリングされる解像度を高めるために、いくつかの光学チャネルが同じ部分視野に関連付けられるように対処がなされる場合がある。そのようなグループ内の光学チャネルは、例えばビーム偏向の前には平行に延在し、1つのファセットによって部分視野上に偏向されることになる。有利には、1つのグループのチャネルの画像センサのピクセル画像は、このグループの別のチャネルの画像センサのピクセルの画像間の中間位置に配置される。
例えば、いかなる超解像目的がなくても、立体視目的のためだけに、直接隣接するチャネルのグループが、ライン延長方向の部分視野で全体視野を完全にカバーし、互いに直接隣接するチャネルのさらなるグループが、それらの部分について、全体視野を完全にカバーする実装形態もまた実現可能であろう。
したがって、上記の実施形態は、多開口撮像デバイスおよび/またはそのような多開口撮像デバイスを含むデバイスの形態で、具体的には特に1列チャネル配置で実施されてよく、この場合、各チャネルは全体視野の部分視野を伝送し、部分視野は部分的にオーバーラップする。3D撮像のためのステレオ、トリオ、クワトロなどの設計のためのいくつかのそのような多開口撮像デバイスを含む設計が可能である。これに関連して、ほとんどのモジュールは、1つの連続するラインとして実装されてよい。連続するラインは、同一のアクチュエータおよび共有ビーム偏向要素から利益を得る場合がある。場合によって光路内に存在する可能性がある1つまたは複数の増幅基板が全ラインにわたって延在してもよく、これは、ステレオ、トリオ、クワトロ設計を形成してよい。超解像方法が採用されてよく、いくつかのチャネルが同じ部分画像領域を撮像する。光軸は、いかなるビーム偏向デバイスもなしですでに逸脱するようなやり方で延在してよく、その結果、ビーム偏向ユニット上により少ないファセットが必要とされる。ファセットはこのとき、有利には、1つの角度成分しか呈示しない。画像センサは、1つの部分にあってもよく、ただ1つの連続するピクセルマトリックスまたはいくつかの中断されたピクセルマトリックスを含んでもよい。画像センサは、例えばプリント回路基板上に互いに隣接して配置された多くの部分センサから構成されてよい。オートフォーカス駆動装置は、ビーム偏向要素が光学系と同期して移動される、またはアイドルであるように構成されてよい。
原則として、画像センサ、撮像光学系、およびミラーアレイを含む任意の数のサブモジュールが配置されてよい。サブモジュールは、システムとして構成されてもよい。サブモジュールまたはシステムは、例えばスマートフォンなどのハウジング内に設置されてもよい。システムは、1つまたは複数のラインおよび/または列に、かつ任意の所望の場所に配置されてよい。例えば、2つの撮像デバイス16は、視野の立体的な捕捉を可能にするためにハウジング12内に配置されてよい。
さらなる実施形態によれば、デバイス70は、さらなる多開口撮像デバイス16を含み、その結果、全体視野60は、3つ以上の多開口撮像デバイスによってサンプリングされてよい。これにより、視野方向がチャネルごとに適合されるため、全体視野を捕捉するいくつかの部分的にオーバーラップするチャネルが可能になる。立体的な方法またはより高次を有する方法で全体視野を捕捉するために、本明細書に記載される実施形態および/またはチャネルの記載される配置に従って、チャネルの少なくとも1つのさらなる配置が構成されてよく、これは、正確に1つのラインまたは別個のモジュールとして具現化されてよい。これは、1列アレイが、多列方式で、さらなるラインと共に配置され得ることを意味しており、前記さらなる光学チャネルのラインは、さらなる多開口撮像デバイスと関連付けることができる。さらなるラインの光学チャネルはまた、それぞれオーバーラップする部分領域を捕捉し、全体視野を一緒にカバーしてよい。これにより、部分的にオーバーラップし、それらのサブグループ内の全体視野をカバーするチャネルから成るアレイカメラのステレオ、トリオ、クワトロなどの構造を取得することが可能である。
言い換えれば、線形チャネル配置を含む多開口カメラは、互いに隣接して配置され、全体視野の一部をそれぞれ伝送するいくつかの光学チャネルを含んでよい。実施形態によれば、ミラー(ビーム偏向手段)が撮像レンズの前に有利に配置されてよく、この場合、前記ミラーはビーム偏向に使用されてよく、設置高さの低減に寄与し得る。例えば、ファセットが平面であるか、または任意のタイプの曲率を示すか、または自由曲面を備える場合があるファセットミラーなどのチャネルごとに適合されたミラーと組み合わせて、チャネルの撮像光学系を基本的に同一の方法で構造化することが有利であり得るのに対して、チャネルの視野方向は、ミラーアレイの個々のファセットによって影響を受けるか、または事前定義される。平面ミラー(平坦に構成されるべきミラー)と組み合わせて、チャネルの撮像光学系は、異なる視野方向が生じるように、異なるように構成される、または実装されてよい。偏向ミラー(ビーム偏向装置)は枢動されてよく、回転軸は、光学チャネルに垂直に、すなわちチャネルのライン延長方向と平行して延在してよい。偏向ミラーは、両側で反射性であってよく、反射率を取得するために、金属もしくは誘電体層または一連の層が配置されてよい。ミラーの回転または並進変位は、2つまたはいくつかの方向に沿って類似である、または安定していてもよい。安定とは、予測された方向に沿った移動を達成するために一定の力が加えられることを意味すると理解することができ、前記力が降下するとき、これはビーム偏向手段のフリーズまたは後方移動をもたらす場合がある。
類似回転(回転運動52)は、画像位置の一次元適合に使用されてよく、これは光学的画像安定化として理解されてよい。例えば、ここではわずか数度の移動、例えば≦15°、≦10°または≦1°で十分であり得る。2方向またはいくつかの方向に沿って安定しているミラーの回転が、カメラの視野方向を切り替えるために使用されてよい。例えば、ディスプレイの前方、隣、および背後の視野方向を切り替えることができる。類似移動または類似位置および2方向/いくつかの方向に沿って安定した移動または位置は、組み合わせ可能であってよく、すなわち重ね合わせることができる。例えば、前方および後方に向かう異なる視野方向を有する2つのカメラを使用するスマートフォンなどの携帯用デバイスに対して見出された解決策は、本明細書に記載される実施形態によって、1つの撮像デバイスのみを含む構造によって置き換えられてよい。既知の解決策とは異なり、この構造は、例えば、観察窓が、前後の視野方向が同じ位置にある、すなわち、上方または下方ハウジングカバー内で反対になるような方法で、カメラ用のハウジング内に配置される点において特徴付けられてよい。ビーム通過のために配置された前記ハウジングカバーの領域は透明であってよく、可視光が使用される場合にガラスおよび/またはポリマーで構成されるか、またはそれらを含んでもよい。
上述の実施形態は、デバイスが第1および第2の動作状態を有するという意味で説明されているが、さらなる実施形態によれば、さらなる視野、すなわち少なくとも第3の視野を捕らえるためにさらなる動作状態が用意されてもよい。
続いて、多開口撮像デバイスの特に有利な実装形態が図9a~図9dに基づいて説明され、ここではデバイスは、それ自体で、またはデバイス70、70および/もしくは70などの本発明のデバイスの一部として実装されてもよい。
例えば、図示の側部断面図は、ファセットビーム偏向手段のそれぞれのファセットに関する。例えば、ビーム偏向手段は、ファセットのアレイとして形成されてもよい。各光学チャネルに1つのファセットが割り当てられてよく、この場合、各ファセットは1つまたはいくつかの光学チャネルを偏向させてよい。ファセットの各々は、対応する第1のビーム偏向領域および第2のビーム偏向領域を含んでよい。図4c~図4fに図示されるように、ファセットのアレイのファセットは、両側で反射するミラーとして形成されてもよい。図4c~図4fに示すくさび形状は、特に1つの視野方向のみを使用する場合、または2つの視野方向を捕らえるために使用される4つの位置と、2つの波長範囲の使用を切り替えるために並進運動と回転運動を組み合わせる場合に、小さい設置サイズを可能にし得る。この目的のために、ビーム偏向手段は、異なる面で交互に偏向するために、面35aおよび35bの表面法線が画像センサの表面法線と平行になることなく、ファセットの前縁がわずかに上下に移動されるように移動されてよい。
一方、アレイのライン延長方向に沿った簡素なおよび/または小さい設置サイズは、ビーム偏向手段を90°以上、例えば約180°またはさらには360°回転するように支持することによって実現されてよい。このようにして、例えば、4つの言及された位置は、回転運動によってのみ実現され得ることで、追加のファセットおよび/または並進運動が省略されてよい。さらに、これは、平面平行ミラーとして、例えば単一の平面平行ミラーとして、光学系によって光路の逸脱を調整するように、および/または逸脱を完全に、または部分的に調整する互いに斜めになった、または傾斜した平面平行ファセットとして、ファセットの簡単な実装を可能にする。
図9aは、一実施形態による多開口撮像デバイス90の概略側面断面図を示し、対向する面18Aおよび18Bは、反射波長に対して面18Aおよび18Bでフィルタリングが行われるように光路22を偏向させるように実装される。ビーム偏向手段は、面18Aが画像センサ36に面する第1の位置に示されている。
ビーム偏向手段18Aは、例えば面18Aに形成され、光学チャネルを通過する電磁放射の第1の波長範囲、例えば可視波長範囲に対して動作可能な第1のビーム偏向領域を含む。ビーム偏向手段は、例えば、光学チャネルを通過する電磁放射の第2の波長範囲、例えば紫外線(UV)、赤外線(IR)または近赤外線(NIR)に対して動作可能な第2のビーム偏向領域18Bを備え、第2の波長範囲は第1の波長範囲と異なる。
波長範囲は分離的であってもよいが、それらが少なくとも部分的に異なり、したがって異なる画像情報を得ることを可能にする限り、部分的にオーバーラップしてもよい。
これにより、特にデバイス90によって放射される符号化(N)IRパターンと組み合わせて、例えば、2回目の捕捉を使用して最初の捕捉についての深度マップを作成できるように、画像センサ36を利用して異なる波長範囲の捕捉を実現することが可能になる。
図9aは、第1の位置にあるビーム偏向手段18を示す。全体視野の最初の捕捉を実現するために、ビーム偏向手段は、±10°、±5°、または±2°の許容範囲内で45°の画像センサに対する第1のビーム偏向領域18Aの傾斜角αを含むように構成されてよい。例えば、面18Aは対応する第1のビーム偏向領域を完全に提供し、面18Bは対応する第2のビーム偏向領域を完全に提供するので、これらの用語は本明細書では同義的に使用される。しかしながら、ビーム偏向領域はまた、面の一部のみをカバーしてもよい。
図9bは、第2の位置にあるビーム偏向手段18を示し、面18Bは、例えば面18BがNIR光を偏向させるように動作可能であるように画像センサに面する。例えば、ビーム偏向手段18は、第1の位置と比較して約180°回転されてよい。ビーム偏向領域18Aは、ビーム偏向手段18の第1の面に配置されてよく、第2のビーム偏向領域18Bは、第1の面の反対側に配置された第2の面に配置されてよい。ビーム偏向要素の全体または個々のビーム偏向要素において、ビーム偏向手段18は、全体視野の最初の捕捉を捕らえるために、第1の面が画像センサに面するように配置され、全体視野の2回目の捕捉を捕らえるために、第2の面が画像センサに面するように配置されるように構成されてよい。回転および/または並進運動を使用して、画像センサに面する面を変更してよい。
ビーム偏向手段またはそのファセットの平面平行実装形態は、例えば第2の波長範囲を使用して全体視野の2回目の捕捉を取得するためのファセットまたはビーム偏向手段18が、±10°、±5°、または±2°の許容範囲内の45°の画像センサに対する第2のビーム偏向領域18Bの傾斜角αを含むことを可能にする。例えば、許容範囲は、ビーム偏向要素が、ビーム偏向手段18の異なるファセットの互いに対する傾きまたは傾斜から生じる、45°とわずかに異なる傾斜角を含むという事実を補償してよく、その結果、平均で約45°が取得され得るが、個々のファセットまたは偏向領域は、それらの個々の傾斜に起因して、そこから逸脱する。
ビーム偏向手段18Aおよび18Bは、それぞれ第1および第2の波長範囲において反射性または非反射性であるように動作可能である、異なるように実装されたコーティングを通して実現されてよい。
実施形態は、ビーム偏向領域18Aおよび18Bを生成するために、ビーム偏向手段18の面上に、1つまたは複数の層を有する対応するコーティングが設けられることを提供する。例えば、これらの層は、その層厚に関して、ビーム偏向手段の傾斜角に適合させることができる1つまたはいくつかの誘電体層を含んでよい。
選択された動作モードまたは捕捉のための所望の波長範囲に応じて、波長範囲の一部、特にそれぞれ他の波長範囲の一部がビーム偏向手段18に当たる可能性があるため、いくつかの実施形態は、例えば体積吸収体などの特定の波長を吸収するための領域を含む。その領域は、コーティングによってカバーされ得るため、例えば一部の波長の反射が最初に実行され、反射されない、例えば伝送された波長範囲は吸収される。したがって、例えば、第1の波長範囲を捕らえるとき、対応する波長はコーティングによって反射され得るが、他の波長、例えば、第2の波長範囲の少なくとも望ましくない部分は、例えば、これらの層によって透過される、すなわち通過させるようにする。コーティングの背後に配置された吸収領域は、多開口撮像デバイスにおける撮像への悪影響を回避する、または少なくとも低減するために、これらの部分を吸収してよい。第1の波長範囲の望ましくない部分を吸収するための相補的な手段が第2の側に配置されてよく、第2の波長範囲18Bがビーム偏向に使用されるときに動作可能である。
図9cは、面18Aが再び画像センサに面する任意選択の第3の位置にあるビーム偏向手段18を示すが、傾斜は、光路が、例えば図9aおよび図9bの第1の全体視野である第2の全体視野に向かって偏向されるように選択される。
図9dは、例えば、面18Bが第2の全体視野から画像センサ36に向かって偏向するように動作するように、側面18Bが画像センサに再び面する任意の第4の位置にあるビーム偏向手段を示す。
図9cおよび図9dによる、第2の全体視野を捕らえるための追加の位置を利用して、第2の全体視野の捕捉は、第1のビーム偏向領域18Aを使用して画像センサで捕らえられてよく、その結果、この捕捉は第1の波長範囲に基づいている。加えて、第2の全体視野は、画像センサでビーム偏向領域18Bを使用することによってさらなる捕捉で撮像されてよく、その結果、この捕捉は第2の波長範囲に基づいている。
2つの全体視野は、多開口撮像デバイスの異なる主方向に沿って、例えば、反対方向に沿って、すなわち、約180°異なる方向に沿って配置されてよい。例えば、図9a~図9dの順序に類似した順序に沿って連続的な回転運動を実行するとき、ビーム偏向領域は、第1の全体視野および第2の全体視野に向かって交互に、ならびに第1のビーム偏向領域18Aおよび第2のビーム偏向領域18Bで交互に光路を偏向させてよい。これは、可能であるが必須ではない移動順序であり得る。実際には、例えば、最短および/または最速の位置変化を可能にする回転方向は、特に第3の方向に沿って第3の全体視野を捕捉する場合、および/または全体視野を180°に等しくない角度に配置する場合に、位置が任意の順序で変更され得るように常に選択されてよい。
図9a~図9dの角度は、任意の順序で選択されてよく、例えば、それぞれが約45°である。
ビーム偏向手段の並進変位はまた、記載される回転変位の代わりに、またはそれと組み合わせて実施されてもよい。
画像、画像情報、または異なる波長情報を有する画像を取得するために、画像センサのピクセルは、両方の波長範囲に対して動作可能であるように構成されてよい、および/または異なる感度を有するセルが、少なくとも画像センサ領域が両方の波長範囲に対して高感度であるように空間的に隣接して配置されてもよい。
例えば、画像センサ領域は、第1の波長範囲の画像を生成し、第2の波長範囲の画像を生成するように構成されてよい。この目的のために、CMOSピクセルは、例えば、視覚範囲内およびNIR範囲内において同時に高感度であってあってよく、重畳カラーフィルタ配列(「CFA」-典型的にはベイヤ配列における視覚範囲内)はまた、一部のみおよび部分的にのみNIRを伝送する色(赤、緑、青またはマゼンタ、シアン、イエロー)に応じた「フィルタピクセル」を含む場合があるが、これで十分である。代替的または追加的に、セル配置において、例えば拡張ベイヤパターンでは、個々のセルは、NIRにおいてのみ高感度であるセルと交換されるか、またはそのようなセルとして実装されてもよい。
例えば、画像センサ領域のピクセルは、第1の波長範囲の画像を生成し、第2の波長範囲の画像を生成するように構成されてよい。したがって、本発明は、ミラーの前面および後面の異なる実装形態を有するファセットVISIONアーキテクチャを使用するビーム偏向手段に関し、ファセットVISIONは、本明細書に記載される多開口撮像デバイスを指す。
核となる考え方は、偏向ミラーを、偏向ミラーがその前面と後面で異なる機能を有するように実装することにある。
これは特に、反射率、とりわけスペクトル反射率に関係しており(すなわち、入射波長次第であり)、第1の面は、所望のビーム偏向角を使用して視覚的スペクトル範囲(視覚-VIS)を特に反射するが、それは近赤外(NIR)は反射せず、第2の面は、所望のビーム偏向を使用してNIRを反射するが、VISは偏向せず、これは、すべて、第1のミラー面および第2のミラー面において異なるように実装される誘電体層システムによって実行される。
これにより、以下のことが可能になる。
・同じカメラが、ミラー切り替えだけで、VISまたはNIRカメラとして「同時に」または非常に迅速に連続して使用されてよい。
・ミラーは、必ずしもくさび形である必要はなく、単純な平面平行板である。VIS/NIRのミラー切り替えに180°の回転が使用される。ミラーの回転範囲における可能性のあるマイナスに影響する設置スペースの推測される結果は、窓(デバイスの開口部)の位置においてカバーガラスを開閉することによって解決され得る。
・カメラは、片側視野方向(「ワールド」または「自撮り」)のみで構成されてもよく、ミラー切り替え(180°)は、捕らえられたスペクトル範囲を変更するためにのみ使用される。しかしながら、それはまた、前方および後方の視野方向を可能にし続けることもできる。例えば、ミラーの90°の回転ステップでは、ワールド-VIS、自撮り-NIR、ワールド-NIR、自撮り-VISである。
・視野分割および画像スティッチング(例えば、2つのチャネル)の組み合わせは明らかに可能である。
・画像スティッチング(例えば4チャネル)のための視差ベースの深度マップを生成するために、デュアルカメラとしての実装も可能である。しかしながら、これは必須ではなく(およびそれ故、チャネル効率的かつ著しく費用効率的である)、その理由は、
・上記の構成は、ここで、NIR(1つのミラー位置では、カメラはここではNIRにおいても見えるようになる)内の構造化または符号化された照明(例えばKinectなどを備えた)と組み合わされてもよく、そこからVIS画像の画像スティッチングに必要な深度マップを生成し得るためである。これはすべて、2つの視野分割されたカメラチャネル、特別なミラーのみで、かつNIRドットパターンプロジェクタの助けのみで、追加のNIRカメラなしで行われる。
・4チャネルから2チャネルへの削減の目標は、追加のNIRカメラ(第3の光学チャネルとなる)を追加することなく達成され、追加のNIRプロジェクタのみが必要である。
・システム自体に部分的に組み込まれる、深度マップの代替的な生成を単に通して、設置高さ全体の利点を維持しながらコストを削減する。
図10は、波長範囲66および68の波長λにわたる多開口撮像デバイスの画像センサの画像センサ領域の感度E、例えば、画像センサ範囲44a~44dのうちの1つまたはいくつかの感度の概略的グラフを示す。画像センサ範囲は、第1の波長範囲66の画像を生成し、第2の波長範囲68の画像を生成するように構成されてよい。例えば、第1の波長範囲66は、第1の下方波長λと第1の上方波長λとの間に配置され、λ<λである。例えば、第2の波長範囲68は、第2の下方波長λと第2の上方波長λとの間に配置され、λ<λである。図10は、第2の波長範囲68が第1の波長範囲66よりも大きい波長を含むように示されているが、第2の波長範囲68が第1の波長範囲66よりも小さい波長を含むことも可能である。波長範囲66および68は、互いにオーバーラップしてもよいが、中間領域72だけ互いに離間されていてもよい。
画像センサ領域は、少なくとも波長範囲66および68において画像データを生成するように構成されてよく、これは、少なくとも波長範囲66および68において感度Eを含むことを意味し、これは感度Eに対して増大しており、例えば、この場合、画像センサ範囲は、これらの波長に対して感度が低いため、画像データまたは画像信号を生成しない。
ビーム偏向は、波長範囲66および68に対して選択的に実行されてよく、そのため、ビーム偏向領域が現在動作しているそれぞれの波長範囲の外側で波長の減衰または除去がそれに応じて行われ、相補的な波長範囲内に配置された波長を抑制または減衰するだけで十分である。例えば、これは、画像センサが感度を持たない波長範囲もビーム偏向領域18Aおよび/または18Bによって偏向され得ることを意味する。簡単に言えば、画像センサ領域は、波長範囲66および68の外側の撮像のために実装されてもよい。
例えば、画像センサ領域は、多数の画像点、すなわちピクセル(画像素子)を含み得る。各ピクセルは、少なくとも1つの、好ましくはいくつかの、撮像センサセルから形成されてよく、すなわちこれらは感光性である。それらは、自由にまたはベイヤパターンなどのパターンに従って配置されてよい。例えば、第2の波長範囲68に対する画像センサ領域の感度は、第1の波長範囲66に対して高感度であるピクセルの第1のサブセットと、第2の波長範囲68に対して高感度である異なるピクセルの第2のサブセットとによって取得されてよい。第1および/または第2の捕捉の所望の解像度に応じて、第1のサブセットのピクセルは、交互に、すなわち1:1で、または任意の他の比で配置されてもよい。代替的または追加的に、ピクセルのセンサセルのうちの1つ、そのうちのいくつか、またはそのすべてが、第1のおよび第2の波長範囲66および68に対して高感度であることが可能である。代替的または追加的に、第2の波長範囲68に対して高感度のセンサセルがパターンから追加および/または置換されるように、センサセルのパターンを第1の波長範囲66に対して変更することも可能である。画像センサ領域のピクセルは、第1の波長範囲66の画像を生成するように、または第2の波長範囲68の画像を少なくとも部分的に生成するように構成されてよい。
上述の実施形態は、全体視野の単一の、または立体的な捕捉に関する。以下では、画像センサ領域、光学系、アレイへの光学系の結合、および/またはビーム偏向手段の任意選択の使用の実装形態に関してなど、同一または少なくとも同等の構造的個々の特徴を含み得る多開口撮像デバイスの実装形態について説明する。
以下に記載される実施形態は、小型カメラまたは多開口撮像デバイスを取得するために必要な設置スペースおよび/または構成要素の数を減少させることを目的とする。さらに、記載される実施形態は、オクルージョン、すなわち画像コンテンツのマスキングの影響を打ち消すことを目的としている。
これに関連して、実施形態は、複数の画像センサ領域を備える画像センサ手段を有する多開口撮像デバイスに関する。これは、単一の画像センサが配置されてよい、あるいはいくつかの画像センサが連続的にまたは分散された位置に配置される場合もあるという事実を指す。多開口撮像デバイスは、複数の光学チャネル42a~42cを含み、この場合、各光学チャネルは、全体視野の部分視野を光学チャネルに関連付けられた画像センサ手段12の画像センサ領域44a/44c上に撮像するための光学系を含む。複数の光学チャネル42a~42cは、全体視野を完全に撮像するように構成されている。しかしながら、全体視野の第1の部分視野および全体視野の第2の部分視野は、異なる数の光学チャネルによって捕らえられる。
異なる数は、より少ない数の光学チャネルを提供することを可能にし、このことは、より小さいカメラを可能にする。同時に、オクルージョン効果は、光学チャネル、特に部分視野を複数回捕らえる光学チャネルの適切な配置によって少なくとも部分的に排除され、高品質の画像を可能にすることができる。
図11aは、この実施態様に関連する多開口撮像デバイス110の概略斜視図を示す。多開口撮像デバイス110は、光学チャネル42a~42cの画像を受け取り、それを電子信号に変換するように構成された画像センサ領域44a~44cを含む、画像センサ手段とも呼ばれる画像センサ12を含む。任意選択のビーム偏向手段18は、光学チャネル42a~42cの光路22-1~22-3を偏向させてよい。
図11bは、図11aの多開口撮像デバイス110の概略上面図、ならびに多開口撮像デバイス110によって捕らえられた、または記録された全体視野60の概略図を示す。例えば、多開口撮像デバイス110は、3つの光学チャネルを含み、この場合、任意のより多くの数、例えば、4、5、6、7、8、9、10個以上が実装されてもよい。本明細書に記載される原理は、有効なままである。したがって、追加の光学チャネルによって解像度の向上などが取得されている場合もある。
複数の光学チャネルが、アレイ14内に隣接して配置される。部分視野64bを撮像するための光学チャネルは例示的に、アレイ14内の部分視野64aを撮像するための光学チャネルの間に配置される。あるいは、異なる実装形態が選択されてもよい。
全体視野60は、例示的に、2つの部分視野64aおよび64bに分割され、任意の他の分割、特に、物体領域内に一次元または二次元に配置された3つ以上の部分視野も可能である。
部分視野64aおよび64bは、互いに隣接して配置されてよく、オーバーラップ領域82内でオーバーラップしてもよい。例えば、部分視野64aおよび64bのそれぞれの中心74aおよび74b、例えば幾何学的中心は、アレイ14のライン延長方向yに対して横方向または垂直に配置された単一列アレイ76を形成する。しかしながら、部分視野64aおよび64bを異なるように位置決めすることも可能である。しかしながら、アレイ76をライン延長方向yに対して横方向に配置することにより、とりわけオクルージョンの有利な回避が可能になる。
多開口撮像デバイス110は、部分視野64bが単一の光学チャネル、すなわち光学チャネル42bを介して撮像されるように実装される。単一とは、全体画像を作成するために部分視野を捕らえるために単一のチャネルのみが提供されることを意味すると理解され得る。対照的に、部分視野64baは、光学チャネル42aおよび42cを通して、すなわち部分視野64bとは異なる数で撮像される。光学チャネルの数は、それぞれの部分視野64aまたは64bが多開口撮像デバイス60によって実際にそのように撮像される回数、および取得された情報が全体視野を作成するために使用される回数に合わせて調整される。例えば、これは、後述するように、配向および/またはサイズに関して異なるように実装され、例えば広角機能またはズーム機能のために使用される部分視野の追加または他の捕捉を含まない。
同一の部分視野とは、機械的公差を有す場合があるが、物体領域内の意図的なずれを含まない物体領域内の一致部分を指す。
図11aおよび図11bの実施形態によれば、部分視野64aはここでは立体的に捕らえられるが、部分視野64bは異なる数、例えばより小さい数、すなわち1回、記録される。
部分視野64aおよび64bの個々の画像を結合またはスティッチングするために、深度情報が使用されることが好ましい。同じものが、画像評価78のための手段によって部分視野64aに対して作成されてよい。画像評価のための手段は、画像センサ12に直接または間接的に接続され、画像センサ領域44a~44cから画像情報を取得して評価するように構成されている。
例えば、部分視野64aの場合、光学チャネル42aおよび42cの異なる視野方向から捕らえられた画像情報は、部分視野64aの2つの光学チャネルから利用可能である。画像評価のための手段78は、対応する部分画像の深度情報を取得するために、部分視野64aの画像情報を組み合わせるように構成されてよい。
したがって、部分視野64aおよび64bが互いにオーバーラップするオーバーラップ領域82についても深度情報が取得されてよい。これにより、部分視野64aの画像情報が、光学チャネル42bによって取得され、手段78によって評価される部分視野64bの画像情報と位置合わせされるように、画像評価手段78を実装することが可能になる。すなわち、部分視野64bの画像は、参照画像として使用されてもよく、個々の物体および/または部分視野64aの全体画像は、部分視野64bの部分画像に対して位置合わせされてよい。
これにより、手段78を介して、異なる全体画像領域内の異なる数の部分画像に基づいて、例えば部分視野64aの全体画像領域内での2回の捕捉に基づいて、および部分視野64bの全体画像領域内での単一回の捕捉に基づいて全体画像を取得することが可能になる。
これにより、部分視野64bを2回捕らえるための第4の光学チャネルを省略することが可能になり、多開口撮像デバイス110の小型化が可能となる。さらに、立体捕捉64aを利用して、オクルージョンが回避されてよく、この回避は、同じ部分視野を捕らえるための光学チャネルがアレイ14内で可能な限り離れている場合、および/またはアレイ76がライン延長方向yに対して横方向/垂直に位置決めされている場合に特に効果的である。
多開口撮像デバイスはまた、部分視野に対する光学チャネルの異なる配置および/または異なる数の光学チャネルを含んでもよい。また、全体視野内の部分視野の一次元配置または二次元配置が実施されてもよい。図示されるように、3つの光学チャネルで2つの部分視野を捕捉する代わりに、これはまた、12個の光学チャネルで撮像される9つの部分視野などの異なる組み合わせをもたらす場合もある。
図12aは、一実施形態による多開口撮像デバイス120の概略斜視図を示し、ここでは、光学系41a~41cおよび/または光学チャネル42a~42cの配置は、多開口撮像デバイス110と比較して変更されている。多開口撮像デバイス100内の光学チャネルの視野方向は、少なくとも画像センサと光学系との間の領域内において同一であり得る、すなわち、光学チャネルは実質的に同じ視野方向を有するのに対して、多開口撮像デバイス110の光学チャネルの視野方向は、例えば、光学チャネル42bの視野方向が光学チャネル42aおよび42cの視野方向と反対であることによって異なっていてもよい。
したがって、例えば、光学チャネルは2つの向かい合わせのグループを形成する。例えば、多開口撮像デバイス110と比較して、光学チャネル42aおよび42cは、部分視野64bを撮像するための光学系41bが部分視野64aを撮像するための光学系41aおよび41cに対向して配置されるように、光学チャネル42bに対向して配置される。多開口撮像デバイス120は、光路22-1~22-3が偏向されるように実装されたビーム偏向手段18を備える。この目的のために、ビーム偏向手段18は、一方の光学系41aから41cと他方の光学系41bとの間に配置される。
ビーム偏向手段18は、固定された偏向角度を実施してよい。そのような場合、ビーム偏向手段18は、例えば、固定して配置されたプリズムまたはミラーとして実装されてもよい。両方の偏向面に相互のキャリア基板を使用することも可能であり、その上に対応するファセットがその後成形技術を使用して適用される。
あるいは、ビーム偏向手段18は、多開口撮像デバイスの視線方向を変えるように構成されてもよい。この場合、ビーム偏向手段18は、ビーム偏向要素32aおよび32bがそれ自体を中心に、場合によっては平行な回転軸を中心に回転可能であるように支持されるように実装されてもよい。例えば、図4a~図4hに関連して説明したように、ビーム偏向要素が両側で反射するように構成され、異なる主面で異なる状態で光路22-1~22-3を偏向させるようにビーム偏向手段18を実装することが可能である。あるいは、両方の状態において偏向のために同じ主面を使用することも可能である。
光学系41aおよび41cの位置に関して、光学系41bは、例示的に、2つの光学系41aまたは41cの一方の反対側にあってもよく、または異なる位置を有してもよい。光学系41bを光学系41aおよび41cに対して中心に配置することは、多開口撮像デバイスの対称的な実装を可能にするため、有利である。
画像センサ12とアレイ14との間の領域内で互いに対して平行して延在する可能性がある光路は、同じ部分視野に向かって偏向されるため、ビーム偏向要素32aは、光路22-1および22-3の相互ファセットとして形成されてもよい。代替の実施形態は、光学チャネル42aおよび42cのためのビーム偏向要素の個々の実装形態または配置を提供する。
光学チャネル42a、42bおよび42cの配置は有利であるが例示的である。したがって、光学チャネル42bを光学チャネル42aまたは42cと共に相互アレイ14内に配置し、この場合、単一の光学チャネルによって形成されるアレイ14内にそれと向かい合わせの残りの光学チャネルを配置することも可能である。
多開口撮像デバイス110に関連して説明したように、異なる数の光学チャネルが全体的に配置されてもよい。
図12bは、全体視野60の図と共に多開口撮像デバイス120の概略上面図を示す。一方の光学チャネル42aおよび42c、他方の光学チャネル42bの向かい合わせの配置は、多開口撮像デバイス110と同様に、全体視野60を対称的に捕らえることを可能にする。
図11a、図11b、図12aおよび図12bは、部分視野64aおよび部分視野64bを通して全体視野60を完全に撮像するように構成された正確に3つの光学チャネルを含む多開口撮像デバイスの実施形態を説明しているが、さらなる実施形態は、異なる数の光学チャネルおよび/または部分視野が提供されるという事実に向けて方針が変えられている。多開口撮像デバイス110および120の実施態様に関して、部分視野のうちの一方を撮像するための光学チャネルは、多開口撮像デバイス110について説明したように、隣接して配置され、異なる部分視野を撮像するための光学チャネルから離間されてもよい。
これに対する代替形態として、多開口撮像デバイス120に関連して説明したように、部分視野を撮像するための光学チャネルを、異なる部分視野を撮像するための1つまたはいくつかの光学チャネルと隣接して向かい合わせに配置することが可能である。
図示される光学チャネルの各々は、関連付けられた画像センサ領域44を含む。これらの部品、光学系および画像センサ領域、場合によってはさらなる構成要素も同様に、それぞれ1つのモジュールに組み合わされてよく、その結果、多開口撮像デバイスは、モジュールの組み合わせとして提供されてもよい。この場合、モジュールは、1つまたは複数の光学チャネルを備えてもよい。少なくとも2つの光学チャネルおよび/または画像センサ領域を有するモジュールは、画像センサ領域および/または光学チャネルの光学系が、例えば図5aに関連して説明したキャリア39の形態の相互基板を備えるように実装されてよい。
組み合わせにおいて、多開口撮像デバイス110および多開口撮像デバイス120は、光学チャネルの第1のグループが全体視野60、すなわち部分視野64aおよび64bを完全に捕らえるように実装されるように実装される。すべての必要な画像情報が利用可能であるように完全に理解されてよい。全体画像を作成するために、追加の光学チャネルは必要ないか、または提供されない。例えば、グループは、光学チャネル42aおよび42bまたは42cおよび42wを含み得る。単一の光学チャネルのみを含む場合がある光学チャネルのさらなるグループは、全体視野を部分的に捕らえるように構成される。これは、それぞれ光学チャネル42aまたは42cの他方であってもよい。
図13aは、多開口撮像デバイス130の概略上面図を示しており、これは、多開口撮像デバイス110と同様に実装されてよい。多開口撮像デバイス110と同様に、光学チャネル42の領域内の一致する数字は、物体領域内の関連付けられた部分視野64を示す。例えば、光学チャネル42a、42b、および42cを有するアレイ14の配置は、例えば連続透明キャリア39を含む相互モジュール84として形成される。さらに、例えば、対応する画像センサ領域を有する連続した単一の画像センサ12が設けられる。
図11bの全体視野60に例示的に対応し得る全体視野60を捕らえるまたは撮像することに加えて、多開口撮像デバイスは、全体視野60を一緒にサンプリングするように構成された光学チャネル42dおよび42eをさらに備える。全体視野60は、全体視野60とのオーバーラップを含む。全体視野60は、全体視野60の一部であるように示されているが、全体視野60は、代替的に、個々の部分視野のサイズに基づいてよい全体視野60の一部であってもよい。
したがって、光学チャネル42a~42eは、依然として全体視野60を非対称に撮像する、すなわち異なる数の部分視野を非対称に撮像するように構成されている。さらなる追加の光学チャネル42dおよび42eは、異なる全体視野の異なる部分視野に関連付けられている。
部分視野64cおよび64dは、部分視野64aおよび64bの配置に対して平行に配置されてもよいが、異なる配置も可能である。全体視野60は、全体視野60の中央部分を形成するように示されているが、異なる位置決めおよび/または配向も可能である。これは、ビーム偏向を調整することによって、および/または光学チャネル42aおよび42cに対する光学チャネル42dおよび42eの相対的配向によって調整されてよい。
一例として、第2のまたはさらなるモジュール84としての光学チャネル42dおよび42eの配置が形成される。しかしながら、光学チャネル42a~42eは、1つまたはいくつかのモジュールから任意の配置で形成されてもよい。
手段78は、部分視野のうちの1つ、そのうちのいくつか、またはすべての部分視野の画像情報を取得するために、画像センサ12および12に接続されてよい。手段78は、部分視野64cおよび64dの撮像情報を結合および/またはスティッチするように構成され得るが、これは、部分視野64cおよび64dを立体的にサンプリングすることなく可能である。これは、部分視野64cおよび64dのオーバーラップ領域82の外側に直接の立体情報がない場合でも、オーバーラップ領域82の外側の個々の画像領域または物体の配向が可能であることを意味する。この目的のために、手段78は、例えば、部分視野64cのための光学チャネル42aおよび/または42cから部分視野64aの対を生成することによって、および/または部分視野64bおよび64dからステレオ対を形成することによって、異なる全体視野の部分視野のステレオ対を生成するように構成されてよい。
示される部分視野の対称配置は有利であるが、この点に関して実施形態を限定するものではない。
個々のモジュール84および84はそれぞれ、任意選択のビーム偏向手段18および18をそれぞれ備えてもよい。あるいは、ビーム偏向手段18および/または18はまた、モジュールの外側に配置されてもよい、または設けられなくてもよい。
図13bは、多開口撮像デバイス130の概略上面図を示し、この場合、多開口撮像デバイス130とは対照的に、光学チャネル42a~42eは、光学チャネル42a~42eに対して対応する画像センサ領域を含む画像センサ12との相互モジュールとして形成される。例えば、モジュールは、ビーム偏向手段18および18が別々に配置および/または個別に位置決めされ得るように、任意選択のビーム偏向手段18および18なしで形成される。あるいは、任意選択のビーム偏向手段はまた、すべての光学チャネルに対して動作可能なビーム偏向領域32a~32eを含むように実装されてもよい。
図13aに図示されるように、光学チャネル42a~42eは、光学チャネルの相互線形アレイに配置されてもよく、この場合前記アレイは、2つの部分アレイ14および14によって、または相互モジュールによって形成されてもよい。
図13cは、多開口撮像デバイス130の概略上面図を示し、これは多開口撮像デバイス130および130と同様に構成されてよい。これらの多開口撮像デバイスとは対照的に、部分視野60を捕らえるための光学チャネル42dおよび42eは、部分視野60を捕らえるための1つ、いくつか、またはすべての光学チャネル42a~42cから離間されてもよい。このようにして、光学チャネル42a~42cは、線形配置を形成し、例えば光学チャネル42dと42eとの間に配置されてもよい。また、例えば、光学チャネル42a,42eおよび/または光学チャネル42c,42dを入れ替えることも考えられる。
図13dは、一実施形態による多開口撮像デバイス130の概略上面図を示し、全体視野60を撮像するための光学チャネル42a~42cおよび全体視野60を撮像するための光学チャネルは、図13aの場合のように、光学チャネルの異なる線形アレイ内に配置されないが、異なる全体視野を捕らえるためのいくつかの、またはさらにはすべての光学チャネル42a~42eが、相互線形アレイ14内に配置されている。
場合によっては、一方では部分視野64aおよび64bのサイズが異なり、他方では64cおよび64dのサイズが異なると、光学チャネルの光学系の寸法またはサイズが異なる可能性がある。この点で、例えば図13a、図13b、図13cおよび図13dに示すように、光ビーム偏向要素を個別に実装するか、または最大で、同じ焦点距離の光学チャネルのグループ内にそれらをグループ化することが有利であり得る。
図14は、一実施形態による多開口撮像デバイス140の概略上面図を示し、光学チャネル42a~42eは、例えば、光学チャネル42dおよび42eを含む線形アレイ14と向かい合わせに配置された相互線形アレイ14内に配置される。全体視野60および60の部分視野64aおよび64dに向かう光路の対応する偏向は、1つまたはいくつかのビーム偏向手段内に配置されたビーム偏向要素32a~32eを利用して実行されてよい。全体視野60および60への関連付けに基づいて光学チャネルをグループ化することは、一例として選択され、有利な実装形態を説明する。しかしながら、実施形態はこれに限定されず、異なるアレイにおける光学チャネルの任意の配置に関する。
本明細書に記載される光学チャネルは、z方向に沿った多開口撮像デバイスの寸法を可能な限り小さく保つことができるように、それぞれ同じ平面に配置されてよい。例えば、本明細書に記載のアレイは、部分アレイとも呼ばれ得るアレイ14および14などの異なるアレイが全体的に同じ平面に配置され、これらのラインが互いに平行に延び、互いに面する場合であっても、各々が1つのラインを形成するように、単一のラインで配置される。
向かい合わせに配置されたアレイ14および14は、例えば、多開口撮像デバイス120に関連して例示的に説明したように、異なるアレイ14および14の光学系が互いに対してシフトされても、アレイおよび/またはビーム偏向領域内で互いに向かい合わせになるように、互いに対して対称的に、または中心に配置されてもよい。
図15は、光学チャネル42a~42cを含み得るが、異なる、特に追加の光学チャネルを含み得る本発明のアレイ14の概略上面図を示す。ライン延長方向に沿った線形アレイとして実装されるアレイ14では、例えば、光学チャネル42a~42cは隣接して配置される。アレイは、光学チャネル42a~42cの光学系の少なくとも一部を機械的に固定するように実装されたキャリア39を備えることができる。したがって、例えば、キャリア39のすべての主面上に、光学チャネル42aのレンズまたは回折素子などの光学系41a-2および41a-3および/または光学チャネル42bの光学系41b-2および/または41b-3および/または光学チャネル42cの光学系41c-2および/または41c-3が、機械的に固定される方法で配置されてもよい。代替的または追加的に、レンズホルダなどのさらなる機械的要素をキャリア39に取り付けることが可能であり、そこに、光学チャネル42a~42cの光学要素41a-1、41b-1および/または41c-1がその後配置されてよい。これは、光学系の相互移動、および互いに対する光学系のほぼ不変の相対位置を可能にし、このことは有利である。光学チャネル42a~42cは、キャリア39を通り抜けて延在してよく、キャリア39は、例えばガラス材料またはポリマー材料を使用することによって透明な方法で実装されてもよい。あるいは、キャリア39は、光学チャネル42a~42cに対して決められた波長範囲に関して透明な、光学チャネル42a~42cがそこを通って延在する透明領域を少なくとも備えてもよい。
記載された多開口撮像デバイス110、120、130から130および140は、互いに独立しており、光学画像安定化および/または集束の記載された実施形態と個別に容易に組み合わせることができる。実施形態は、図5cに関連して説明したように、画像安定化装置および/または集束手段のアクチュエータが平面63aと平面63bとの間に少なくとも部分的に配置されるように実施される。
言い換えれば、多開口カメラは、全体視野のチャネルごとの分割の原理に従って実装されてよく、従来のカメラと比較して、設置高さ(z方向)を低減するという利点を含むことができる。この目的のために、隣接して配置されたいくつかの撮像チャネルが設けられてよい。構成要素の数が多くなり、チャネルを実現するための設置労力が大きくなると、構造の価格が高くなり、サイズが大きくなる。これは、空間要件がx/y方向に増加することを意味する。本明細書に記載される実施形態では、全体視野がチャネルの2つのグループによって完全に捕らえられる配置はそれぞれ変更され、2つの部分視野に対して4つのチャネルがこの目的のために使用され、全体視野が完全に撮像され、物体空間の深度配置に関する情報が視野全体に利用可能であり、その結果、光学チャネルの数が減少することにつながる。設置スペースを削減し、より少ない数の構成要素を使用するために、記載される実施形態では、チャネルのグループが全体視野を完全に捕らえるが、さらなるグループはその一部のみを捕らえる。したがって、グループは、異なる数のチャネルを有し、光学チャネルが部分視野を一致させるように導かれるように実装され得る。有利であるが、単純な実現においては、第1のグループは2つのチャネル(例えば、上側および下側、または右側および左側)のみを有し、第2のグループは1つのチャネルのみ(上側のみまたは下側のみ/右側のみまたは左側のみ)を有する。画像データは、視野全体にわたって完全に利用可能である。深度情報は、2つのチャネルによって見られる、または撮像される部分についてのみ利用可能である。
結果として得られるステレオ対が部分視野を1回だけサンプリングするチャネルを囲むか、またはそれを含むように、上/下/上または下/上/下または同等に右/左の順序の配置が関係する。あるいは、例えば下/下/上など、他の配置も可能である。
飛行時間/構造化された光または追加のステレオデータなどの追加の深度センサが、視野全体の深度情報に使用されてもよい。
実施形態は、小さなカメラを構成することと共にオクルージョン効果を回避することを可能にする。単一チャネル画像は視差を受けず、参照画像として使用されてもよい。2チャネル画像は、被写体領域の無限遠の距離においてのみ視差がない。距離が有限である、または短い場合、視差が発生し、スティッチングを防止する。これは、スティッチングされる追加のオブジェクト領域を2回サンプリングすることによって実現されてよい。
中央に配置された未処理の画像は、光学チャネル内の視差を示す外側画像によって補完され得るが、共にオクルージョンを補償または満たすことができる。
本明細書に記載の実施形態のさらなる態様では、光学チャネルの第3のグループ、好ましくは、完全な視野を有する第1のグループ(好ましくは2つのチャネル)および部分視野のみを有する第2のグループ(好ましくは1つのチャネルのみ)に加えて、部分的にオーバーラップする部分視野を捕らえることによってさらなる全体視野をカバーする2つのチャネルが提供される。さらなる全体視野は、第1の全体視野と少なくとも部分的にオーバーラップしてよく、この場合、一方の全体視野と他方の全体視野との完全なオーバーラップが生じることが好ましく、すなわち、一方の全体視野は他方の全体視野の一部であることが好ましい。これは、全体視野が異なるサイズを有する完全なオーバーラップを意味してよい。例えば、これは、図14に例示的に記載されているように、追加のチャネルのズーム構造であってもよいが、それは、広角構造であってもよい。この場合、第3のグループのチャネルは、第1および第2のグループを囲む。
これらの実施形態は、第1のグループの部分画像フィールドのベクトルに対するアレイのラインベクトルの直交性と任意選択的に、かつ個別に組み合わせることができる。さらに、アレイのすべてのチャネルまたは個々のモジュールのための連続基板の実装が実行されてもよい。視線方向を変更するためのビーム変換手段/ビーム偏向手段を傾けること、両側ミラーリング、および/またはくさび形設計が提供されてもよい。ビーム偏向手段の回転と組み合わせた画像センサに対するアレイの並進を利用する画像安定化も提供され得る。z方向の集束手段/安定化のためのデバイスが設けられてもよく、それらは、関連する平面63aおよび63bの仮想直方体に関して説明した光学系によって指定されるz方向の多開口撮像デバイスの拡張より大きくならないように実装されることが好ましい。画像、特に焦点位置のチャネル個別の適応は、適応レンズによって実行され得る。これは、少なくとも1つの光学チャネルの光学系が適応レンズを含む一方で、多開口撮像デバイスが、適応レンズの光学特性を調整するように構成されたレンズ制御手段を備えることを意味する。例えば、これには、焦点距離、透過または除去される波長の波長範囲、屈折率などが含まれる。
実施形態は、チャネルの数を削減することを可能にし、その結果、製造コストが低くなり、x/y方向のフットプリントの設置スペース要件が小さくなる。加えて、高画質な撮像も可能となる。
特に、実施形態は、スマートフォンのモバイル手段における多開口撮像システムの分野だけでなく、自動車分野または機械撮像(機械分割)においても使用することができる。
いくつかの態様がデバイスの文脈において説明されているが、前記態様は対応する方法の説明も表すことが理解され、その結果、デバイスのブロックまたは構造的構成要素はまた、対応する方法ステップまたは方法ステップの特徴として理解されるべきである。同様に、方法ステップの文脈で説明される態様はまた、対応するデバイスの対応するブロックあるいは詳細または特徴の説明も表している。
上述の実施形態は、本発明の原理の単なる例示を表している。他の当業者は、本明細書に記載された構成および詳細の任意の修正および変形を理解することが理解される。このため、本発明は、実施形態の説明および議論を利用して本明細書に提示された特定の詳細によってではなく、以下の特許請求の範囲によってのみ限定されることが意図されている。

Claims (28)

  1. 複数の画像センサ領域(44)を有する画像センサ手段(12)と、
    複数の光学チャネル(42)であって、各光学チャネル(42)は、全体視野(60)の部分視野(64)を前記光学チャネル(42)に関連付けられた前記画像センサ手段(12)の画像センサ領域(44)上に撮像するための光学系(41)を含む、複数の光学チャネル(42)と、
    を備える多開口撮像デバイスであって、
    前記複数の光学チャネル(42)は、前記全体視野(60)を完全に撮像するように構成されており、
    前記全体視野(60)の第1の部分視野(64a)および前記全体視野の第2の部分視野(64b)は、異なる数の光学チャネル(42)によって捕らえられ、
    前記第1の部分視野(64a)および前記第2の部分視野(64b)を利用して前記全体視野(60)を完全に撮像するように構成された正確に3つの光学チャネル(42a~42c)を備え、
    前記第1の部分視野(64a)は、正確に2つの光学チャネル(42a,42c)によって撮像され、前記第2の部分視野(64b)は、単一の光学チャネル(42b)によって撮像される、多開口撮像デバイス。
  2. 前記複数の画像センサ領域(44)からの前記複数の部分視野(64)の画像に基づいて画像情報を取得し、前記全体視野(60)の全体画像を取得するために、対応する複数の部分画像を結合することで、前記全体画像が異なる全体画像領域内の異なる数の部分画像に基づくように構成されている、画像評価のための手段(78)
    をさらに備える、請求項1に記載の多開口撮像デバイス。
  3. 画像評価のための前記手段(78)は、前記第1の部分視野(64a)に関する深度情報を取得するために、前記第1の部分視野(64a)の第1の画像と前記第1の部分視野(64a)の第2の画像の組み合わせに基づいて第1の画像情報を組み合わせ、第2の画像情報に対して前記第1の画像情報を位置合わせすることに基づいて前記全体画像を取得するように構成されており、前記第2の画像情報は、個々の光学チャネルを利用して取得される、請求項2に記載の多開口撮像デバイス。
  4. 前記複数の光学チャネルは、光学チャネル(42)のアレイ(14)内に隣接して配置され、前記第2の部分視野(64b)を撮像するための光学チャネル(42b)は、前記アレイ(14)内の前記第1の部分視野(64a)を撮像するための2つの光学チャネル(42a,42c)の間に配置される、請求項1から3のいずれか一項に記載の多開口撮像デバイス。
  5. 前記第2の部分視野(64b)を撮像するための第1の光学チャネル(42b)の第1の光学系(41b)は、前記第1の部分視野(64a)を撮像するための第2の光学チャネル(42a)の第2の光学系(41a)および第3の光学チャネル(42c)の第3の光学系(41c)に向かい合わせに配置され、
    前記多開口撮像デバイスは、前記第1の光学チャネル(42b)、前記第2の光学チャネル(42a)、および前記第3の光学チャネル(42)の光路(22)を偏向させるためのビーム偏向手段(18)を含み、前記ビーム偏向手段(18)は、一方の前記第1の光学系と他方の前記第2および第3の光学系との間に配置される、請求項1から4のいずれか一項に記載の多開口撮像デバイス。
  6. 前記第1の部分視野(64a)を撮像するための前記光学チャネルは隣接して配置され、前記第2の部分視野(64b)を撮像するための光学チャネル(42b)から離間されている、請求項1から3のいずれか一項に記載の多開口撮像デバイス。
  7. 前記第1の部分視野(64)を撮像するための前記光学チャネル(42)は隣接して配置され、前記第2の部分視野(64b)を撮像するための光学チャネル(42b)から離間されている、請求項1から3のいずれか一項に記載の多開口撮像デバイス。
  8. 前記全体視野(60)は、第1の全体視野(60)であり、前記複数の光学チャネルは、第2の全体視野(60)の第3の部分視野(64c)を撮像するための少なくとも1つの光学チャネル(42d)と、前記第2の全体視野(60)の第4の部分視野(64d)を撮像するための少なくとも1つの光学チャネル(42e)とを含み、前記第2の全体視野(60)は、前記第1の全体視野(60)とのオーバーラップを含む、請求項1から7のいずれか一項に記載の多開口撮像デバイス。
  9. 前記第2の全体視野(60)は、前記第1の全体視野(60)の1つの区画である、または、前記第1の全体視野(60)は前記第2の全体視野(60)の1つの区画である、請求項8に記載の多開口撮像デバイス。
  10. 前記複数の画像センサ領域(44)からの前記複数の部分視野(64)の画像に基づいて画像情報を取得し、前記第1の全体視野(60)を撮像するための光学チャネルに関連付けられた画像センサ領域(44)によって取得された画像情報を使用して前記第2の全体視野(60)の全体画像を作成するように構成された画像評価のための手段(78)を有する、請求項8または9に記載の多開口撮像デバイス。
  11. 前記第1の全体視野(60)を撮像するための前記光学チャネルおよび前記第2の全体視野(60)を撮像するための前記光学チャネルは、光学チャネルの相互線形アレイ(14)内 に配置される、請求項8から10のいずれか一項に記載の多開口撮像デバイス。
  12. 前記第2の全体視野(60)を捕らえるための光学チャネルは、前記第1の全体視野(60)を捕らえるための少なくとも1つの光学チャネルから離間されている、請求項11に記載の多開口撮像デバイス。
  13. 前記第1の全体視野(60)を撮像するための前記光学チャネルは、光学チャネルの第1の線形アレイ(14)内に配置され、前記第2の全体視野(60)を撮像するための光学チャネルは、光学チャネルの第2の線形アレイ(14)内に配置され、前記第1の線形アレイ(14)および前記第2の線形アレイ(14)は、互いに向かい合わせに配置される、請求項8から10のいずれか一項に記載の多開口撮像デバイス。
  14. 前記複数の光学チャネルのうちの少なくとも1つの第1の光学チャネルおよび第2の光学チャネルは、光学チャネルの相互アレイ(14)内に隣接して配置される、請求項1から13のいずれか一項に記載の多開口撮像デバイス。
  15. 前記相互アレイは相互キャリア(39)を備え、前記第1の光学チャネルおよび前記第2の光学チャネルの前記光学系(41)の少なくとも一部はそこに機械的に固定され、前記光学チャネルは前記キャリア(39)を通って延在する、請求項14に記載の多開口撮像デバイス。
  16. 前記第1の部分視野(64a)および前記第2の部分視野(64b)は、前記全体視野(60)内に互いに隣接して配置され、互いと部分的にオーバーラップする、請求項1から15のいずれか一項に記載の多開口撮像デバイス。
  17. 前記複数の光学チャネルは、第1の方向(y)に沿って延在する少なくとも1つのライン内の相互平面内に配置され、
    前記複数の部分視野の中心は、一次元アレイを形成するために第2の方向に隣接しており、前記第1の方向に対して垂直に配置される、請求項1から16のいずれか一項に記載の多開口撮像デバイス。
  18. 前記複数の光学チャネル(42)の光路(22)を偏向させるためのビーム偏向手段(18)を備える、請求項1から17のいずれか一項に記載の多開口撮像デバイス。
  19. 前記ビーム偏向手段(18)は、ファセットのアレイ内に形成され、1つのアセットは、各光学チャネル(42)と関連付けられ、前記ファセットの各々は、1のビーム偏向領域と、2のビーム偏向領域とを備え、前記ファセットは、両側で反射するミラーとして形成される、請求項18に記載の多開口撮像デバイス。
  20. 第1の状態において、第1の主面で前記複数の光学チャネルを第1の方向に偏向させ、第2の状態において、第2の主面で複数の光学チャネルを第2の方向に偏向させるように構成されており、前記ビーム偏向手段(18)は、前記第1の状態と前記第2の状態との間で回転式に移動可能である、請求項19に記載の多開口撮像デバイス。
  21. 少なくとも1つの光学チャネルは、前記光学チャネルの前記光学系(41)および前記関連付けられた画像センサ領域(44)を含む組み合わされた手段を備える撮像モジュールの一部である、請求項1から20のいずれか一項に記載の多開口撮像デバイス。
  22. 1つのモジュールは少なくとも2つの光学チャネルを備え、前記画像センサ領域(44)および/または前記光学チャネルの前記光学系(41)は相互基板を備える、請求項21に記載の多開口撮像デバイス。
  23. 前記複数の光学チャネルは、光学チャネルの第1のグループを含み、少なくとも1つの光学チャネルを有する第2のグループを含み、前記第1のグループは、前記全体視野(60)を完全に捕らえるように構成されており、前記第2のグループは、前記全体視野(60)を完全には捕らえないように構成されている、請求項1から22のいずれか一項に記載の多開口撮像デバイス。
  24. 前記光学チャネル(42)の光路(22)を偏向させるためのビーム偏向手段(18)と、
    光学画像安定化を可能にするために、前記光学系が配置されているライン延長方向(y)に対して平行な、または非平行な、前記画像センサ手段と前記光学系との間の並進移動に基づいて、および/または回転軸の周りの前記ビーム偏向手段(18)の回転に基づいて、前記画像センサ手段(12)と前記光学チャネルの前記光学系(41)と前記ビーム偏向手段との間に相対運動を生成するように構成された光学画像安定化装置と
    を備える、請求項1から23のいずれか一項に記載の多開口撮像デバイス。
  25. 前記画像安定化装置は、少なくとも1つのアクチュエータを含み、直方体の辺がまたがる2つの平面(63a,63b)の間に少なくとも部分的に配置されるように配置され、前記直方体の前記辺は、互いに対して、ならびに前記光学チャネルのアレイのライン延長方向(y)および前記画像センサ手段と前記ビーム偏向手段(18)との間の前記光学チャネルの前記光路の一部に対して平行に位置合わせされ、その体積は可能な限り小さいが、前記画像センサ手段、前記複数の光学チャネル(42)を含むアレイ(14)、および前記ビーム偏向手段を含む前記直方体を依然として含む、請求項24に記載の多開口撮像デバイス。
  26. 前記光学チャネルのうちの1つの光学系(41)と前記画像センサ手段(12)との間の相対運動を提供するためのアクチュエータを含む集束手段を含む、請求項1から25のいずれか一項に記載の多開口撮像デバイス。
  27. 前記光学チャネル(42)の光路(22)を偏向させるためのビーム偏向手段(18)を備え、
    前記集束手段は、前記多開口撮像デバイスの焦点を調整するための少なくとも1つのアクチュエータを備え、前記集束手段は、直方体の辺がまたがる2つの平面(63a,63b)の間に少なくとも部分的に配置されるように配置され、前記直方体の前記辺は、互いに対して、ならびに前記光学チャネル(42)のアレイのライン延長方向(y)および前記画像センサ手段(12)と前記ビーム偏向手段(18)との間の前記光学チャネルの前記光路(22)の一部に対して平行に整列され、その体積は可能な限り小さいが、前記画像センサ手段、前記複数の光学チャネル(42)を含むアレイ(14)、および前記ビーム偏向手段(18)を含む前記直方体を依然として含む、請求項26に記載の多開口撮像デバイス。
  28. 少なくとも1つの光学チャネルの前記光学系(41)は、適応レンズを含み、前記多開口撮像デバイスは、前記適応レンズの光学特性を調整するように構成されたレンズ制御手段を備える、請求項1から27のいずれか一項に記載の多開口撮像デバイス。
JP2021572325A 2019-06-06 2020-06-05 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス Active JP7399989B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023205731A JP2024028856A (ja) 2019-06-06 2023-12-06 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019208294.7 2019-06-06
DE102019208294 2019-06-06
PCT/EP2020/065626 WO2020245356A1 (de) 2019-06-06 2020-06-05 Multikanalabbildungsvorrichtung und vorrichtung mit einer multiaperturabbildungsvorrichtung

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023205731A Division JP2024028856A (ja) 2019-06-06 2023-12-06 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス

Publications (2)

Publication Number Publication Date
JP2022535443A JP2022535443A (ja) 2022-08-08
JP7399989B2 true JP7399989B2 (ja) 2023-12-18

Family

ID=71069832

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021572325A Active JP7399989B2 (ja) 2019-06-06 2020-06-05 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス
JP2023205731A Pending JP2024028856A (ja) 2019-06-06 2023-12-06 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023205731A Pending JP2024028856A (ja) 2019-06-06 2023-12-06 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス

Country Status (7)

Country Link
US (1) US20220094902A1 (ja)
EP (1) EP3981145A1 (ja)
JP (2) JP7399989B2 (ja)
KR (1) KR102648091B1 (ja)
CN (1) CN114270815A (ja)
TW (1) TWI747315B (ja)
WO (1) WO2020245356A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024088640A1 (en) * 2022-10-28 2024-05-02 Ams International Ag Miniaturized 3d-sensing camera system
CN116699781B (zh) * 2023-05-15 2024-01-30 北京创思工贸有限公司 一种光学胶合件的加工方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000112019A (ja) 1998-10-08 2000-04-21 Olympus Optical Co Ltd 電子3眼カメラ装置
US20100328471A1 (en) 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
JP2016500962A (ja) 2012-10-19 2016-01-14 クゥアルコム・インコーポレイテッドQualcomm Incorporated フォールデッドオプティクスを用いたマルチカメラシステム
US20160381345A1 (en) 2015-06-29 2016-12-29 Mediatek Inc. Stereoscopic camera device and associated control method
DE102017206429A1 (de) 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
JP2018532143A (ja) 2015-08-19 2018-11-01 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチ開口撮像装置、マルチ開口撮像装置の製造方法および撮像システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
WO2007095307A1 (en) * 2006-02-13 2007-08-23 3M Innovative Properties Company Monocular three-dimensional imaging
WO2011038457A1 (en) * 2009-09-30 2011-04-07 Lions Eye Institute Limited Imager, module for an imager, imaging system and method
US10412367B2 (en) * 2011-08-05 2019-09-10 3D Media Ltd Multi-lens camera with a single image sensor
US11966810B2 (en) * 2012-02-06 2024-04-23 Cognex Corporation System and method for expansion of field of view in a vision system
WO2015017818A1 (en) * 2013-08-02 2015-02-05 Ultraview Video imaging system including cameras and beamsplitters
US9557520B2 (en) * 2013-10-18 2017-01-31 Light Labs Inc. Synchronized image capture methods and apparatus
DE102013222780B3 (de) * 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
US9641736B2 (en) * 2014-06-20 2017-05-02 nearmap australia pty ltd. Wide-area aerial camera systems
DE102014212104A1 (de) * 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
US10070055B2 (en) * 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging
DE102015215844B4 (de) * 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, tragbare Vorrichtung und Verfahren zum Herstellen einer Multiaperturabbildungsvorrichtung
DE102015215840B4 (de) * 2015-08-19 2017-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102015216140A1 (de) * 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
US9892488B1 (en) * 2015-08-28 2018-02-13 Amazon Technologies, Inc. Multi-camera frame stitching
DE102016208210A1 (de) * 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
CN105842847B (zh) * 2016-06-02 2018-08-31 湖北三江航天万峰科技发展有限公司 一种利用微透镜阵列进行扫描的激光成像光学***
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
JP7225233B2 (ja) * 2017-12-11 2023-02-20 マジック リープ, インコーポレイテッド 導波管照明器
US11105962B2 (en) * 2018-01-25 2021-08-31 Tdk Taiwan Corp. Optical system and control method for the optical system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000112019A (ja) 1998-10-08 2000-04-21 Olympus Optical Co Ltd 電子3眼カメラ装置
US20100328471A1 (en) 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
JP2016500962A (ja) 2012-10-19 2016-01-14 クゥアルコム・インコーポレイテッドQualcomm Incorporated フォールデッドオプティクスを用いたマルチカメラシステム
US20160381345A1 (en) 2015-06-29 2016-12-29 Mediatek Inc. Stereoscopic camera device and associated control method
JP2018532143A (ja) 2015-08-19 2018-11-01 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチ開口撮像装置、マルチ開口撮像装置の製造方法および撮像システム
DE102017206429A1 (de) 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung

Also Published As

Publication number Publication date
JP2024028856A (ja) 2024-03-05
TW202107159A (zh) 2021-02-16
JP2022535443A (ja) 2022-08-08
EP3981145A1 (de) 2022-04-13
TWI747315B (zh) 2021-11-21
WO2020245356A1 (de) 2020-12-10
KR20220018027A (ko) 2022-02-14
KR102648091B1 (ko) 2024-03-18
CN114270815A (zh) 2022-04-01
US20220094902A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
JP6629961B2 (ja) 光学基板を有するマルチ開口撮像装置
JP6832344B2 (ja) マルチチャネル撮像装置を備える装置およびその製造方法
JP6643460B2 (ja) 反射ファセットを有するビーム偏向装置を備えた多開口撮像装置
US10362229B2 (en) Multi-aperture imaging device, portable device and method of producing a multi-aperture imaging device
JP2024028856A (ja) 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス
JP2020523625A (ja) 複数開口画像化装置、画像化システム、および複数開口画像化装置を提供する方法
JP2020523625A5 (ja)
TW201839455A (zh) 多孔徑成像裝置、成像系統和提供多孔徑成像裝置的方法
JP7285931B2 (ja) マルチチャネル撮像装置及びマルチアパーチャ撮像装置を備えた装置
US12007680B2 (en) Device comprising a multi-aperture imaging device for generating a depth map

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231206

R150 Certificate of patent or registration of utility model

Ref document number: 7399989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150