JP2019522913A - 3dマルチ開口撮像デバイス、マルチ開口撮像デバイス、3dマルチ開口撮像デバイスの出力信号を提供するための方法、および、全体視野を捕捉するための方法 - Google Patents

3dマルチ開口撮像デバイス、マルチ開口撮像デバイス、3dマルチ開口撮像デバイスの出力信号を提供するための方法、および、全体視野を捕捉するための方法 Download PDF

Info

Publication number
JP2019522913A
JP2019522913A JP2018559720A JP2018559720A JP2019522913A JP 2019522913 A JP2019522913 A JP 2019522913A JP 2018559720 A JP2018559720 A JP 2018559720A JP 2018559720 A JP2018559720 A JP 2018559720A JP 2019522913 A JP2019522913 A JP 2019522913A
Authority
JP
Japan
Prior art keywords
image sensor
imaging device
aperture imaging
image
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018559720A
Other languages
English (en)
Other versions
JP6864411B2 (ja
Inventor
フランク ヴィッパーマン
フランク ヴィッパーマン
アンドレアス ブリュックナー
アンドレアス ブリュックナー
アンドレアス ブラオイアー
アンドレアス ブラオイアー
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ, フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2019522913A publication Critical patent/JP2019522913A/ja
Application granted granted Critical
Publication of JP6864411B2 publication Critical patent/JP6864411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

【課題】3Dマルチ開口撮像デバイス、および、高い機能的な帯域幅によって捕捉された画像を処理することを可能にする3Dマルチ開口撮像デバイスの出力信号を提供するための方法を提供する。【解決手段】ここに説明された3Dマルチ開口撮像デバイスは、複数の画像センサーエリア有する画像センサー(12)を含む。それぞれの画像センサーエリアは複数の画素を含む。3Dマルチ開口撮像デバイスは、画像センサーの第1の画像センサーエリア(1211,1212,1213,1214)に、全体視野(28)のうちの重複する第1の部分視野(3011,3012,3013,3014)を投影するための第1の複数(141)の光学チャンネル(1611,1612,1613,1614)を含み、画像センサーの第2の画像センサーエリア(1221,1222,1223,1224)に、互いにおよび第1の部分視野に重複する全体視野(28)のうちの第2の部分視野(3021,3022,3023,3024)を投影するための第2の複数(142)の光学チャンネル(1621,1622,1623,1624)を含む。第1および第2の複数の光学チャンネルは互いに横に基本距離(BA)分、オフセットして配置される。3Dマルチ開口撮像デバイスは、第1および第2の画像センサーエリアに投影される第1および第2の部分視野についての情報を含む画像センサーデータを画像センサーから受信するように構成され、かつ、データヘッダーおよびペイロードデータを含む出力信号を提供するように構成されたプロセッサを含む。データヘッダーは3Dマルチ開口撮像デバイスの構造に関する情報を含み、ペイロードデータは第1の画像センサーエリアおよび第2の画像センサーエリアの画素から取得した画像情報を含む。【選択図】図1b

Description

本発明は、3Dマルチ開口撮像デバイスに関し、それゆえ、全体視野を少なくともステレオスコープ的に捕捉するように構成されたマルチ開口撮像デバイスに関し、3Dマルチ開口撮像デバイスの出力信号を提供するための方法に関し、および、全体視野を捕捉するための方法に関する。
従来のカメラは、1つのチャンネルの中に全体視野を送信し、その小型化に関して制限されている。スマートフォンなどの携帯デバイスにおいて、ディスプレイの正規表面の方向に向いた、および、反対方向に向いた2つのカメラが使われている。いくつかのマルチ開口画像システムにおいて、隣接している部分視野はそれぞれのチャンネルに割り当てられ、それは隣接している部分画像エリアに変換される。
3Dマルチ開口撮像デバイスおよびマルチ開口撮像デバイスによって捕捉された画像データの画像処理を可能にする概念が望ましい。また、全体視野を捕捉するための小型化されたデバイスを可能にする概念が望ましい。
従って、本発明の目的は、3Dマルチ開口撮像デバイス、および、高い機能的な帯域幅によって捕捉された画像を処理することを可能にする3Dマルチ開口撮像デバイスの出力信号を提供するための方法を提供することである。さらに、本発明の目的は、小型化された3Dマルチ開口撮像デバイス、および、マルチ開口撮像デバイスの小型化を可能にする全体視野を捕捉するための方法を提供することである。
これらの目的は、独立した請求項の主題によって解決される。
本発明の第1の面は、3Dマルチ開口撮像デバイスの出力信号の生成が、3Dマルチ開口撮像デバイスの画素の画像情報が、出力信号の中にメタ情報が適切に結合されるように、かつ、画像情報の連続する処理、および/または、画像情報を変更することが、3Dマルチ開口撮像デバイスの独立を可能にするように実行される、という知識に基づいている。同時に、3Dマルチ開口撮像デバイスの主要な情報が、考慮され、および/または、使用される。そのようにして、3Dマルチ開口撮像デバイスが、その構造に関して異なるときでも、出力信号の概念は、異なるタイプの3Dマルチ開口撮像デバイスに適用される。
本発明の第2の面は、全体視野の隣接する部分視野の配向または位置が、光学チャンネルの単一ライン配置の構造を、マルチ開口撮像デバイスが捕捉されるべき全体視野に関してどのような制限も受け入れることなく取付けられたデバイスまたはシステムに採用するために、マルチ開口撮像デバイスの隣接する光学チャンネルの配向または配置について変化または変換される、という知識に基づいている。
第1の面の実施の形態によると、3Dマルチ開口撮像デバイスは、複数の画像センサーエリアを持つ画像センサーを含む。それぞれの画像センサーエリアは、複数の画素を含む。3Dマルチ開口撮像デバイスは、画像センサーの第1の画像センサーエリアについて、全体視野のうちの重複する第1の部分視野を投影するための第1の複数の光学チャンネルを含む。3Dマルチ開口撮像デバイスは、画像センサーの第2の画像センサーエリアについて、互いにおよび第1の部分視野に重複する全体視野のうちの第2の部分視野を投影するための第2の複数の光学チャンネルを含む。第1および第2の複数の光学チャンネルは、互いに横に基本距離分、オフセットして配置される。3Dマルチ開口撮像デバイスは、第1および第2の複数の画像センサーエリアに投影される第1および第2の部分視野についての情報を含む画像センサーデータを画像センサーから受信するように構成され、かつ、データヘッダーおよびペイロードデータを含む出力信号を提供するように構成されたプロセッサを含む。データヘッダーは、3Dマルチ開口撮像デバイスの構造に関する情報から成る。ペイロードデータは、第1の画像センサーエリアおよび第2の画像センサーエリアの画素から取得した画像情報から成る。
ペイロードデータが、3Dマルチ開口撮像デバイスの構造に関するデータヘッダーの中に含まれた情報が考慮されるように、続いて処理されることは、この実施の形態の利点である。従って、画像データの処理に対して、それぞれの情報が出力信号から得られるので、3Dマルチ開口撮像デバイスの構造は、完全に知られている必要がない。従って、異なる3Dマルチ開口撮像デバイスの画像が処理され、その違いは出力信号自身から取り出される。
別の実施の形態によると、画像信号は、3Dマルチ開口撮像デバイスの構造に関する情報から成るデータヘッダーと、3Dマルチ開口撮像デバイスの第1の画像センサーエリアおよび第2の画像センサーエリアの画素から取得した画像情報から成るペイロードデータを含む。第1および第2の画像センサーエリアの画像情報は、それぞれ全体視野のうちの複数の部分視野に関連する。
ペイロードデータの構造および/または処理特性は、異なる3Dマルチ開口撮像デバイス(すなわち、異なる構造から成る)の画像データが、ペイロードデータの一定の高品質な処理特性を可能にする同じ構造を持つ出力信号によって説明できるように、データヘッダーによって表現できる、ことは有利である。
別の実施の形態によると、上で説明された出力信号または画像信号の特徴を含む入力信号を処理するためのデバイスは、入力信号を受信するための入力インタフェースと、第1の部分視野および第2の部分視野の少なくとも第1の画像センサー情報について、3Dマルチ開口撮像デバイスの構造に関する情報を考慮することによって、ペイロードデータを処理するためのプロセッサとを含む。デバイスが、異なる構造を持つ3Dマルチ開口撮像デバイスの入力信号を受信して処理できることが、この実施の形態の利点である。
別の実施の形態によると、3Dマルチ開口撮像デバイスの出力信号を提供する方法は、以下のステップを含む。複数の画像センサーエリアを有する画像センサーを提供するステップであって、それぞれの画像センサーエリアは複数の画素を含むステップと、画像センサーの第1の画像センサーエリアに、全体視野のうちの重複する第1の部分視野を投影するための第1の複数の光学チャンネルを提供するステップと、画像センサーの第2の画像センサーエリアに、互いにおよび第1の部分視野に重複する全体視野のうちの第2の部分視野を投影するための第2の複数の光学チャンネルを提供するステップであって、第1および第2の複数の光学チャンネルは、互いに横に基本距離分、オフセットするように配置されるステップと、画像センサーデータを画像センサーから受信するステップであって、画像センサーデータは、第1および第2の複数の画像センサーエリアに投影される第1の部分視野および第2の部分視野についての情報を含み、出力信号がデータヘッダーおよびペイロードデータを含むように、データヘッダーが3Dマルチ開口撮像デバイスの構造に関する情報を含むように、および、ペイロードデータが第1の画像センサーエリアおよび第2の画像センサーエリアの画素から取得された画像情報を含むように、出力信号を生成するステップを含む。
別の実施の形態によると、マルチ開口撮像デバイスは、複数の画像センサーエリアを有する画像センサーを含む。それぞれの画像センサーエリアは、複数の画素を含む。マルチ開口撮像デバイスは、画像センサーの画像センサーエリアに、全体視野のうちの重複する部分視野を投影するための複数の光学チャンネルを含む。複数の光学チャンネルは、第1の方向に沿って配置された1次元アレイを形成する一方で、(全体)視野の部分視野は、第1の方向に垂直な第2の方向に沿って配置された1次元アレイを形成する。
光学チャンネルの拡張方向、および、部分的光学エリア、および、部分視野は、それぞれ、視野が水平に拡張する間、例えば、マルチ開口撮像デバイスが、乗り物などのデバイスまたはシステムにおいて垂直に配置されるように、全体視野の中で互いについて傾けられ、または、捩じられて配置される、ことが利点である、
別の実施の形態によると、全体視野を捕捉する方法は、以下のステップを含む。複数の画像センサーエリアを有する画像センサーを配置するステップであって、それぞれの画像センサーエリアは、複数の画素を含むステップと、画像センサーの画像センサーエリアに、全体視野のうちの重複する部分視野を投影するための複数の光学チャンネルを配置するステップとを含む。複数の光学チャンネルの配置は、複数の光学チャンネルが第1の方向に沿って配置された1次元アレイを形成するように実行される一方で、視野の部分エリアは、第1の方向に垂直な第2の方向に沿って配置された1次元アレイを形成する。
本発明の好ましい実施の形態は、以下において、図面を参照して説明される。
図1aは、実施の形態に従う3Dマルチ開口撮像デバイスの概要透視図である。 図1bは、ここに説明された実施の形態に従って使われる図1aの3Dマルチ開口撮像デバイスの斜視図である。 図2は、実施の形態に従う画像を結合するための基礎としての概念の概要説明図である。 図3は、データヘッダーおよびペイロードデータから成る、ここに説明された実施の形態に従う出力信号の構造の概要図である。 図4は、出力信号の構造の概要図である。データヘッダーは、実施の形態に従う、3Dマルチ開口撮像デバイスの記述、および、全体視野の分割化に関する情報から成る。 図5aは、実施の形態に従う、複数の情報源を考慮することによってプロセッサにより形成された出力信号の構造の概要図である。 図5bは、実施の形態に従う、複数の情報源を考慮することによってプロセッサにより形成された出力信号の構造の概要図である。 図6は、実施の形態に従う出力信号の要素の全体概要図である。 図7は、ここに説明された実施の形態の第2の面に従う別のマルチ開口撮像デバイスの概要図である。 図8は、実施の形態に従う出力信号を処理するためのデバイスの概要ブロック図である。 図9aは、第1の作動状態の実施の形態に従うデバイスの概要サイド断面図である。 図9bは、第2の作動状態の図9aのデバイスの概要サイド断面図である。 図10aは、カバーを含む別の実施の形態に従うデバイスの概要サイド断面図である。 図10bは、第2の作動状態の図10aのデバイスの概要サイド断面図である。 図10cは、第3の位置の図10aのデバイスの概要サイド断面図である。 図11aは、少なくとも部分的に透明なカバーを含む、第1の作動状態の別の実施の形態に従うデバイスの概要サイド断面図である。 図11bは、第2の作動状態の図11aのデバイスの概要サイド断面図である。 図11cは、図11aのデバイスの概要サイド断面図である。ビーム偏向手段が付加的に置き換え的に可動である。 図12aは、置き換え的に取り替え不可能なカバーを持つ第1の作動状態の実施の形態に従うデバイスの概要サイド断面図である。 図12bは、第2の作動状態の図12aのデバイスの概要サイド断面図である。 図13aは、カバーが回転可動の態様で配置された実施の形態に従うデバイスの概要サイド断面図である。 図13bは、搬送キャリーが置き換え可動である図13aのデバイスの概要サイド断面図である。 図13cは、第2の作動状態の図13aのデバイスの概要サイド断面図である。 図14aは、図13のデバイスと比較して、少なくとも部分的に透明なカバーを含む第1の作動状態の実施の形態に従う概要サイド断面図である。 図14bは、図14aのデバイスの概要サイド断面図である。ビーム偏向手段は、第1の位置と第2の位置との間の中間的な位置を含む。 図14cは、図14aのデバイスの概要サイド断面図である。ビーム偏向手段は、ハウジング容積の外に完全に拡張される。 図14dは、図14aのデバイスの概要サイド断面図である。少なくとも部分的に透明なカバーの間の距離が、図14a〜図14cに比較して拡大されている。 図15は、3つのマルチ開口撮像デバイスを含む実施の形態に従うデバイスの概要透視図である。 図16は、図15のデバイスのセクションの拡大透視図である。 図17は、実施の形態に従うデバイスの概要透視図である。ビーム偏向手段は、搭載部材によってマルチ開口撮像デバイスに接続されている。 図18aは、例示的な形状のカバーを持つ第1の作動状態の実施の形態に従うデバイスの概要斜視図である。 図18bは、実施の形態に従う第2の作動状態の図18aのデバイスの概要図である。 図18cは、実施の形態に従う図18aの代わりの概要説明図である。 図19aは、実施の形態に従うマルチ開口撮像デバイスの詳細な説明図である。 図19bは、実施の形態に従うマルチ開口撮像デバイスの詳細な説明図である。 図19cは、実施の形態に従うマルチ開口撮像デバイスの詳細な説明図である。 図19dは、実施の形態に従う共通支持体によって保持された光学チャンネルのレンズ系の場合に対して、図19a〜図19cに従うマルチ開口撮像デバイスの構成図である。 図19eは、実施の形態に従う共通支持体によって保持された光学チャンネルのレンズ系の場合に対して、図19a〜図19cに従うマルチ開口撮像デバイスの構成図である。 図19fは、実施の形態に従う共通支持体によって保持された光学チャンネルのレンズ系の場合に対して、図19a〜図19cに従うマルチ開口撮像デバイスの構成図である。 図20は、実施の形態に従って、光学画像安定化のための相対的動きを実現するための、および、フォーカス化に適応するための追加手段によって補助された、図19a〜図19cに従うマルチ開口撮像デバイスの概要斜視図である。 図21aは、実施の形態に従う平らなハウジングの中に配置されたマルチ開口撮像デバイスの概要斜視図である。 図21bは、全体視野をステレオスコープ的に捕捉するためのマルチ開口撮像デバイスの概要構造図である。 図22aは、実施の形態に従って、焦点制御および光学画像安定化のための相対的置き換えを実現するための追加手段によって補助された、実施の形態に従う別のマルチ開口撮像デバイスの概要図である。 図22bは、実施の形態に従うビーム偏向デバイスの概要サイド図である。 図22cは、実施の形態に従うビーム偏向デバイスの概要サイド図である。 図22dは、実施の形態に従うビーム偏向デバイスの概要サイド図である。 図22eは、実施の形態に従うビーム偏向デバイスの概要サイド図である。 図23aは、実施の形態に従って、光学的特徴のチャンネルそれぞれの調整のための調整手段を持つマルチ開口撮像デバイスの概要図である。 図23bは、実施の形態に従う調整手段を持つマルチ開口撮像デバイスの変形図である。 図24は、実施の形態に従って、追加のアクチュエーターによって補助された、図22aのデバイスの概要斜視図である。 図25は、実施の形態に従うマルチ開口撮像デバイスの中のアクチュエーターの配置の概要斜視図である。
本発明の実施の形態が、以下で図面を参照して詳細に議論される前に、異なる図面の中において、同一の、または、機能的に等しい、または、等しい要素および/または対象物および/または構造が、同じ符号で提供されている、ことに注目するべきである。その結果、異なる実施の形態において説明されたこれらの要素の記述は、相互交換可能または相互適用可能である。
装置1000の右チャンネル(モジュール11a)に対して、左から第1の位置のインデックス(下付き指数)1を提供される符号によって提供される要素は、その後、第1コンポーネント1に属する。そして、装置1000の左チャンネル(モジュール2)に対して、左から第1の位置のインデックス(下付き指数)2を提供される符号によって提供される要素は、第2コンポーネント2または第2のモジュール11bに属する。図1bの中のモジュール数は2つであるけれども、それぞれの基本距離を有して互いについて配置されるデバイスは、より多く持つことができる。
図1aは、3Dマルチ開口撮像デバイス1000の概要透視図を示す。3Dマルチ開口撮像デバイス1000は、画像センサー12を含む。画像センサー12は、複数の画像センサーエリア5811〜5824を含む。画像センサーエリア5811〜5824のそれぞれは、画像センサーエリア5811〜5824のそれぞれが、全体画像の部分画像を捕捉するように構成されるように、複数の画素を含む。全体画像は、全体視野72の投影と考えられる。
3Dマルチ開口撮像デバイス1000は、例えば、2つ以上のモジュール11またはマルチ開口撮像デバイス11を含むことができる。マルチ開口撮像デバイス11aおよび11bのそれぞれは、全体視野を少なくとも殆んど完全に、または完全に投影するように、および、少なくともステレオスコープの捕捉システムのチャンネルを形成するように構成される。ステレオスコープの命名法を参考にして、第1のチャンネルは、例えば「右チャンネル」にでき、第2のチャンネルは「左チャンネル」にできる。左/右の決定は、この文脈において少しの制限効果も持たないけれども、また、上、下、中央、前、後、または、同様のどのような他の用語にも当てはまることができる。
捕捉に対して、3Dマルチ開口撮像デバイス1000は、例えば、アレイ141に配置された第1の複数の光学チャンネル1611〜1614を持つ第1のモジュール11aを含む。さらに、3Dマルチ開口撮像デバイス1000は、第2のアレイ142に配置された第2の複数の光学チャンネル1621〜1624を持つ第2のモジュール11bを含む。モジュール11aおよび11bは、それによって得られた不同に基づいて、少なくともステレオスコープの情報が引き出されるように、基本の距離BA分、互いにオフセットに配置される。
光学チャンネル1611〜1614のそれぞれは、部分視野74a〜74dおよび全体視野72のうちの部分視野74a〜74dを捕捉するように構成される。少なくとも隣接する部分視野は、例えば、部分視野74aおよび74b、または、部分視野74bおよび74cを重複することができる。しかし、部分視野74aおよび74c、または、部分視野74bおよび74dなどの対角線的に隣接する部分視野も、重複することができる。重複は、重複する画像エリアが、縫い合わせ方法などで、部分画像がどのように組み立てられるかの結論を許すということにおいて、部分画像から全体画像の簡単な計算を可能にすることができる。2つの列および2つの行に配置される4つの部分エリア74a〜74dの説明された配置の中で、全ての部分エリア74a〜74dは重複することができる。
インデックス(下付き指数)11〜14および21〜24によって説明されるように、例えば、光学チャンネル1611は、部分視野74aおよび7411を画像センサーエリア5811にそれぞれ投影するように構成される。同様にして、光学チャンネル1621は、部分視野74aおよび7421を画像センサーエリア5821にそれぞれ投影するように構成される。そのようにして、それぞれの部分エリア74a〜74dは、2つの光学チャンネルによって2つの画像センサーエリアに投影される。けれども、例えば、部分エリア74aは、部分視野7411としてモジュール11aによって完全に投影され、かつ、部分視野7421としてモジュール11bによって完全に投影されるように説明される。部分視野7411および部分視野7421が完全に同一でないことは、例えば製造許容差のために明らかである。しかし、そのような効果は、計算によって補償される、または、以下で無視される。
画像センサーエリア5811〜5814および光学チャンネル1611〜1614は、第1の画像モジュール11aの構成要素である。一方、画像センサーエリア5821〜5824および光学チャンネル1621〜1624は、第2の画像モジュール11bの構成要素である。画像モジュール11aおよび11bのそれぞれは、例えば、全体視野72を捕捉するように構成される。これは、3Dマルチ開口撮像デバイスが、モジュール11aおよび11bの手段によって、全体視野72をステレオスコープ的に捕捉することができる、ことを意味する。これは、例えば、光学チャンネル1621〜1624によって捕捉された部分視野7421〜7424が、視野7411〜7414に本質的に対応することができる、ことを意味する。その結果、本質的におよび完全に互いに重複もする部分視野7421〜7424が、名称74a〜74dに表現される第1の部分視野7411〜7414にそれぞれ重複する。
3Dマルチ開口撮像デバイスは、第1のモジュール11aからの画像センサーデータ100411〜100414と、第2のモジュール11bからの画像センサーデータ100421〜100424とを受信するように構成されたプロセッサ1002を含む。画像センサーデータ100411〜100424は、例えば、画像センサーエリア5811〜5824の信号またはサンプル値、または、画素値や色値などのそこから派生した値も含むことができる。例えば、画像センサーは、電荷結合素子(CCD)、または、相補型メタルオキサイド半導体(CMOS)、または、異なって形成された画像センサーとして構成される。画像センサーデータ100411〜100424は、それぞれ、それぞれのセンサーまたは部分センサーの出力値である。特定の実施から独立して、画像センサーデータ100411〜100424は、それぞれ画像センサーエリア5811〜5814および5821〜5824に投影された、部分視野7411〜7414および7421〜7424についての情報を含む。
プロセッサ1002は、データヘッダー1008とペイロードデータ1012とを含む出力信号1006を提供するように構成される。データヘッダー1008は、3Dマルチ開口撮像デバイス1000の構造に関する情報から成る。ペイロードデータ1012は、画像センサーエリア5811〜5814および5821〜5824の画素から取得された画像情報から成る。これらは、画像センサーデータ100411〜100424、または、以下でより詳細に議論される、そこから引き出された、または、処理された情報である。従って、出力信号1006は画像信号である。あるいは、全体視野のいくつかの画像がビデオとして記録されるときには、前記これらは、ビデオ信号でもある。
任意で、3Dマルチ開口撮像デバイス1000は、出力信号1004が出力される出力インタフェース1014を含む。出力インタフェース1014は、例えば、無線または有線インタフェースである。例えば、出力インタフェース1014は、永久的または一時的に、ハードディスクや外部記憶装置などの、USBメモリモジュール(USB=ユニバーサルシリアルバス)やメモリカードなどのメモリーと接続できる。代わりにまたは追加して、出力インタフェース1014は、コンピュータやラップトップなどの別のデバイスに有線または無線接続を確立するように構成される。メモリーインタフェース1014の代わりとして、メモリモジュールが配置される。
モジュール11aおよび11bは、光学チャンネル1611および1621が部分視野74aを捕捉し、かつ、光学チャンネル1612および1622が部分視野74bを捕捉し、かつ、光学チャンネル1613および1623が部分視野74cを捕捉し、かつ、光学チャンネル1614および1624が部分視野74dを捕捉するように説明され、そして、モジュール11aおよび11bの中で、アレイ141および142のライン拡張方向146に沿って同じ順に配置されているけれども、モジュール11aおよび11bは、異なる順で配置され、および/または、異なる数を持つこともできる。これは、光学チャンネル1621が光学チャンネル1611と異なる部分視野74a〜74dを捕捉することができ、および/または、光学チャンネル1622が光学チャンネル1612と異なる部分視野74a〜74dを捕捉することができ、および/または、光学チャンネル1623が光学チャンネル1613と異なる部分視野74a〜74dを捕捉することができ、および/または、光学チャンネル1624が光学チャンネル1614と異なる部分視野74a〜74dを捕捉することができることを意味する。これはまた、図1aに記述したように、等しい一定の不同が、同じ部分視野74a〜74dに導かれる光学チャンネルの間に存在するように、部分視野74a〜74dが投影できること、またはその代わりに、異なる不同が、異なる部分視野74a〜74dに対して存在できることを意味する。
図1bは、ここに説明された実施の形態に従って使われる3Dマルチ開口撮像デバイス1000を示す。画像センサー12は、2つの構成要素121および122にそれぞれ分割される。一方の構成要素121は「右」光学チャンネル161のためであり、他方の構成要素122は「左」光学チャンネル162のためである。これは、図1aの画像センサー12も、いくつかの構成要素として形成されることを意味する。例えば、それぞれのモジュール11aおよび11bは、構成要素の1つから成る。
図1bの例において、右および左光学チャンネル161および162は、同一に構造化されるけれども、デバイス1000の視野の中の場面に関して、できる限り多くの奥行き情報を得るために、基本距離BAによって互いに横にオフセット配置される。
図1bの例示的な場合において、光学チャンネルのそれぞれの複数161および162は、4つの並列された光学チャンネルを含む。それぞれの「右」チャンネルは、2番目の下付きインデックスによって区別される。ここでは、チャンネルは右から左にインデックスを付けられる。これは、光学チャンネル1611(明晰さの理由のために部分省略によって、図1bに図示されていない)が、基本距離方向108に沿って外側右エッジに配置され、それに沿って、左右チャンネルが基本距離BAによって(すなわち、左チャンネルの複数162から最も遠くに)互いにオフセット配置される、ことを意味する。他の右チャンネル1612〜1614が、基本距離方向108に沿って続いている。従って、チャンネル1611〜1614は、ライン拡張方向が基本距離方向108と一致している光学チャンネルの単一ラインのアレイを形成する。左チャンネル162は同様に構造化される。左チャンネル162も、2番目の下付きインデックスによって区別される。左チャンネル1621〜1624は、互いに傍におよび連続して、右チャンネル1611〜1614と同じ方向に、すなわち、チャンネル1621が右チャンネルに最も近く、チャンネル1624が右チャンネルから最も遠いように配置される。
右チャンネル1611〜1614のそれぞれは、図1bに示されるように、レンズシステムから成るそれぞれのレンズ系を含む。あるいは、それぞれのチャンネルは、1つのレンズを含む。それぞれの光学チャンネル1611〜1614は、図1aの文脈において説明されるように互いに重複する全体視野72のそれぞれに重複する部分視野74a〜74dおよび7411〜7414の1つを捕捉する。チャンネル1611は、例えば、画像センサーエリア5811に部分視野7411を投影する。チャンネル1612は、画像センサーエリア5812に部分視野7412を投影する。チャンネル1613は、図1bに図示されていない画像センサー12の個別の画像センサーエリア5813に割り当てられた部分視野7413を投影する。チャンネル1614は、隠されているので図1bに図示されていない個別の画像センサーエリア5814に割り当てられた部分視野7414を投影する。
図1bにおいて、画像センサー12の画像センサーエリア5811〜5814および画像センサー12の構成要素121が、基本距離方向BAに平行な面の中に、および、ライン拡張方向108に平行してそれぞれ配置される。光学チャンネル1611〜1614のレンズ系のレンズ面も、この面に平行である。さらに、画像センサーエリア5811〜5814は、互いについて横の相互チャンネル距離110を持って配置される。それによって、光学チャンネル1611〜1614のレンズも、互いについてその方向に配置される。その結果、光学チャンネル1611〜1614の光軸および光路は、画像センサーエリア5811〜5814とレンズ系1611〜1614との間を互いに平行に走る。例えば、画像センサーエリア5811〜5814の中心と光学チャンネル1611〜1614の光学系の光学中心は、画像センサーエリア5811〜5814の上記の共通面に対して垂直に走る個別の光軸に配置される。
光学チャンネル1611〜1614のそれぞれの光軸および光路は、ビーム偏向手段181によって偏向し、それゆえ、光学チャンネル1611〜1614の部分視野7411〜7414は、例えば、部分視野7411〜7414が空間角度の中で最大50%だけペアで重複するような方法で、一部だけ重複するという効果を持つ分岐点を提供される。図1bに示されるように、ビーム偏向手段181は、例えば、光学チャンネル1611〜1614の間に互いについて異なって傾けられるそれぞれの光学チャンネル1611〜1614ごとに1つの反射面を持つことができる。画像センサー面についての反射面の平均的な傾きは、右チャンネル1611〜1614の全体視野を、例えば、光学チャンネル1611〜1614のレンズ系の光軸がデバイス181によるビーム偏向の前におよび無しで走る面に垂直である方向に偏向する、または、この垂直の方向から10°より小さい角度だけ逸脱する。もしくは、ビーム偏向手段181は、光学チャンネル1611〜1614のそれぞれの光軸および光路の屈折ビーム偏向のためのプリズムも使うことができる。
ビーム偏向手段181は、方向108に、または、ライン拡張方向108に垂直な第2の方向に、実際に直線的に並置された光学チャンネル1611〜1614が、二次元的に全体視野72をカバーするように、分岐点を持つ光学チャンネル1611〜1614の光路を提供する。
また、光路および光軸は、それぞれ、説明された平行関係を逸脱できるけれども、光学チャンネルの光路の平行関係は明瞭であるので、個別のチャンネル1611〜1614によってそれぞれの画像センサーエリア5811〜5814をカバーされた、または、投影された部分視野は、ビーム偏向などの手段無しで大きく重複する、ことに注目するべきである。その結果、マルチ開口撮像デバイス1000によって、より大きい全体視野をカバーするために、ビーム偏向手段18は、チャンネル1611〜1614の部分視野が少なく重複するように、追加の分岐点を持つ光路を提供する。ビーム偏向手段181は、例えば、全体視野が全ての方位角度および全ての横断方向をそれぞれ横切って平均された開口角度を含む、という効果を持つ。それは、光学チャンネル1611〜1614の部分視野のそれぞれの平均的開口角度の1.5倍より大きい。
左チャンネル1621〜1624は、右チャンネル1611〜1614と同じ方法で構造化され、それぞれに割り当てられた画像センサーエリア5821〜5824に関連して位置決めされる。チャンネル1611〜1614の光軸と同じ面の中で互いに平行に走る光学チャンネル1621〜1624の光軸は、対応するビーム偏向手段182によって偏向される。その結果、光学チャンネル1621〜1624は、殆んど適合して同じ全体視野72を捕捉する、すなわち、全体視野72が二次元的に分割される部分視野7421〜7424を捕捉する。部分視野7421〜7424は、互いに重複すると共に、それぞれ、右チャンネル1611〜1614のそれぞれのチャンネルのそれぞれの部分視野7411〜7414と完全に殆んど重複する。部分視野7411と部分視野7421とは、殆んど完全に重複する。部分視野7412と7422なども同様である。画像センサーエリア5811〜5824は、例えば、図1aの画像センサー12のために記述されたそれぞれ1つの画像センサーチップで形成される、または、少しの画像センサーチップから成る、または、2つまたは1つだけの共通画像センサーチップから成る。
上記の言及された構成要素に加えて、3Dマルチ開口撮像デバイスは、例えば3Dマルチ開口撮像デバイス1000によって捕捉する間に右光学チャンネル1611〜1614によって捕捉された画像を、第1全体画像に結合することを目的とするプロセッサ1002を含む。ここで解決される必要がある問題は以下である。右チャンネル1611〜1614の隣接チャネルの間の相互チャンネル距離110のために、画像エリア5811〜5814の中のチャンネル1611〜1614によって捕捉する間に捕捉された画像は、互いについて簡単に置き換え的にシフトされないで、互いのトップに置かれる。すなわち、捕捉された画像は簡単に加えられない。方向BA、108および110に沿う横のオフセットは、対応しているけれども異なる画像に存在する同じ場面を捕捉する時の、画像センサーエリア5811〜5814の画像の中において、それぞれ不同と称される。対応する画像内容の不同は、場面の中のこの画像内容の距離、すなわち、デバイス1000からのそれぞれの対象物の距離に再び依存する。プロセッサ1002は、これらの画像を第1の全体画像、すなわち「右の全体画像」に結合するために、画像センサーエリア5811〜5814の画像の間の不同を評価しようとする。しかし、相互チャンネル距離110が存在し、従って、問題を起こすだけでなく、相互チャンネル距離110も、奥行き解像度と評価とが単に不正確であるように、相対的に低いことは不利である。従って、2つの画像の間の重複エリア(画像センサーエリア5811と5812との画像の間の重複エリア114など)の中の対応する画像内容を、例えば相互関係によって決定しようとすることは難しい。
従って、部分視野7411と7412との間の重複エリア114の中で結合することに対して、図1bのプロセッサは、1対の画像の中の不同を使う。一方の画像は、第2の部分視野を投影する左チャンネル1621または1622の1つによって捕捉される。すなわち、7421と7422は、それぞれ、重複エリア114で重複する。例えば、画像センサーエリア5811と5812との画像を結合するために、プロセッサ1002は、画像の中の不同を評価する。一方の画像は、画像センサーエリア5821または5822の1つによって捕捉される。他方の画像は、重複エリア114の中に含まれたチャンネルの1つによって捕捉される。すなわち、画像は、画像センサーエリア5811または5812の1つによって捕捉される。その時、そのようなペアは、チャンネル基本距離110の基本的な基本距離BAにプラス/マイナス1、または、ゼロに従って、基本の距離を持つ。後者の基本距離は、単一のチャンネル基本距離110より非常に大きい。それは、重複エリア86の中の不同が、プロセッサ1002のために決定しやすい理由である。従って、右チャンネルの画像を結合するために、プロセッサ1002は、左チャンネルの画像、および、右チャンネルの1つと左チャンネルの1つの画像との間に、好ましいけれども独占的でなく、結果として生じる不同を評価する。
より明確には、プロセッサ1002が、画像センサーエリア5811から直接的に多少右チャンネルの別の部分視野のいずれとも重複しない部分視野7411のその部分を取り、画像センサーエリア5812〜5814の画像に基づいて、部分視野7412および7413および7414の非重複エリアに対して、部分視野7411のその部分を実行することが可能である。画像センサーエリア5811〜5814の画像は、例えば、同時に捕捉される。単に、部分視野7411および7412などの隣接する部分視野の重複エリアにおいて、プロセッサ1002は、重複エリアの中の全体視野72に重複する1対の画像からの不同を使う。しかし、多数において、独占的ではなく、1対の画像の一方は右チャンネルの1つによって捕捉され、1対の画像の他方は左チャンネルの1つによって再び同時に捕捉される。
選択肢の手続によると、プロセッサ1002が、1対の画像の間の不同の評価に従って、右チャンネルの全ての画像を歪ませることも可能である。1対の画像の一方は右チャンネルによって捕捉され、1対の画像の他方は左チャンネルによって捕捉される。このようにして、例えば、右チャンネルの画像のためのプロセッサ1002によって計算された全体画像は、右チャンネルの部分視野7411〜7414の重複エリアにおいてだけでなく、右チャンネル1611〜1614の間の中心の横にある1つの視点の上への非重複エリアにおいても、重複しない部分視野7411〜7414のそれらのエリアに対しても、事実上歪む。1対の画像からの不同は、一方の画像が右チャンネルの1つによって捕捉され、他方の画像が左チャンネルの1つによって捕捉されたプロセッサ1002によって評価される。
図1bの3Dマルチ開口撮像デバイス1000は、右チャンネルの画像から全体画像を生成することができるだけでなく、図1bの3Dマルチ開口撮像デバイス1000は、少なくとも1つの作動モードで、第1のチャンネルの全体画像に加えて、捕捉された画像から左チャンネルの画像の全体画像も生成することができ、および/または、右チャンネルの全体画像に加えて、奥行きマップも生成することができる。
第1の選択肢によると、プロセッサ1002は、例えば、左光学チャンネル1621〜1624および画像センサーエリア5821〜5824によって捕捉された画像を、第2の全体画像(すなわち、左チャンネルの全体画像)に結合するように、そして、左光学チャンネルの部分視野7421〜7424の横に隣接する1つの重複エリアにおいて、このために使うように構成される。1対の画像の、1つだけではない複数の不同は、右光学チャンネル1611〜1614の1つによって捕捉されて、部分視野7421〜7424のペアのそれぞれの重複エリアで重複し、そして、残りは、好ましくは、部分視野がそれぞれの重複エリアと重複する左光学チャンネルの1つによって捕捉される。
第1の選択肢によると、一つの映像のために、プロセッサ1002は、2つの全体画像、すなわち、右光学チャンネルのための一方と左光学チャンネルのための他方を出力する。これら2つの全体画像は、例えば、ユーザーの2つの目に別々に供給され、それゆえ、捕捉された場面の三次元の印象を結果として生じる。
他の上記の選択肢によると、プロセッサ1002は、右チャンネルへの全体画像に加えて、それぞれの右チャンネルによって捕捉された画像、および、左チャンネルの1つによって捕捉された別の画像を含む、右チャンネル1611〜1614のそれぞれに対して少なくとも1ペアを含む1対の画像の不同を使って奥行きマップを生成する。
奥行きマップがプロセッサ1002によって生成される実施の形態において、奥行きマップに基づいて右チャンネルによって捕捉された全ての画像に対して、上記の歪みを実行することも可能である。奥行きマップは全体視野72を横切る奥行き情報を含むので、右チャンネルによって捕捉された全ての画像を、すなわち、右チャンネルの重複エリアにおいてだけでなく、それぞれ、事実上の共通の開口ポイントおよび事実上の光学中心における右チャンネルの非重複エリアにおいても歪ませることが可能である。
2つの選択肢は、両方ともプロセッサ1002によって実行される。プロセッサ1002は、全体画像が事実上の視野に属し、左右光学チャンネルのレンズの光学中心の間の事実上の光学中心(しかし、好ましくは独占的でなく光学中心の間の中心)にあるように、異なる遠近法から全体視野の中の場面を表現する全体画像から、割り当てられた奥行きマップを持つ全体画像を生成するために、最初、2つの全体画像、すなわち、上で説明したように、右光学チャンネルのための一方と左光学チャンネルのための他方とを生成し、右チャンネルの画像を、右チャンネルの画像の間の重複エリアに結合するとき、それらの1つが左チャンネルの画像の属する、1対の画像の不同を使うことによって生成し、そして、左チャンネルの画像を、左チャンネルの画像の間の重複エリアに結合するとき、それらの1つが右チャンネルの画像の属する、1対の画像の不同を使うことによって生成する。奥行きマップを計算し、そして、2つの全体画像の1つを歪ませる、または、事実上の視野に両方の全体画像を歪ませて結合するために、プロセッサ1002は、いわば、左右それぞれの画像の前の結合からの中間結果として、左右の全体画像をそれぞれ、その時使った。ここで、プロセッサは、奥行きマップを得るために、および、奥行きマップの歪み/結合を実行するために、2つの中間結果全体画像の中の不同を評価した。
プロセッサ1002が、例えば、画像エリアの相互相関によって1対の画像の中の不同の評価を実行できる、ことは注目するべきである。
Figure 2019522913
上記の説明に加えて、プロセッサ1002は、それぞれのチャンネルの遠近法の画像初期設定のチャンネルごとの補正、および/または、それぞれのチャンネルおよびチャンネル間の画像明るさの順応化も任意に実行する、ことは注目するべきである。
図1bの実施の形態が、単に多くの点で例示的である、ことは注目するべきである。これは、例えば、光学チャンネルの数に関係する。例えば、右光学チャンネルの数は4つではなく、2つ以上である、または、2と10との間であり、両方含む。右光学チャンネルの部分視野の重複エリアは、それぞれの部分視野に対して最も大きい重複を持つペアが、それぞれの部分視野およびそれぞれのチャンネルに対して考慮される限り、表面エリアについて、全てのこれらのペアに対して、例えば、画像面、すなわち画像センサーエリアの面で測定した画像エリア5811〜5814によって捕捉された画像の平均的な画像サイズの1/2と1/1000との間にある。同じことが、例えば左チャンネルに対して当てはまる。しかし、数は右チャンネルと左チャンネルの間で異なる。これは、図1bの場合のように、左光学チャンネルの数NLと右光学チャンネルの数NRとが必ずしも同じである必要がないこと、および、左チャンネルの部分視野と右チャンネルの部分視野とにおける全体視野72の分割が同じである必要がないことを意味する。部分視野およびそれらの重複の部分視野に関係して、それは、例えば、それぞれ10mの画像距離および対象物距離を考慮するとき、少なくとも最も大きい重複を持つ全てのペアに対して、部分視野が少なくとも20画素または100画素または500画素または1000画素だけ互いに投影する場合である。これは、左チャンネルだけでなく右チャンネルの両方に当てはまる。
その上、上記説明に反して、左光学チャンネルおよび右光学チャンネルが、それぞれ単一ラインの中に形成されることは必要でない。左および/または右チャンネルは、光学チャンネルの二次元アレイも形成する。さらに、単一ラインのアレイが、同一線上にあるライン拡張方向を持つことは必要でない。しかし、図1bの配置は、光学チャンネル、すなわち右および左チャンネルの両方の光軸が、それぞれ、ビーム偏向の前におよび無しで走る面に垂直な最小の取付け高さを結果として生じる、という有利がある。画像センサー12に関して、画像センサー12が、1つまたは2つまたはいくつかのチップで形成される、ことについて既に言及されている。例えば、1つのチップは、画像センサーエリア5811〜5814および5821〜5824ごとに提供される。いくつかのチップの場合は、左チャンネルと左チャンネルの画像センサーとに対してそれぞれ1つのボード、および、右チャンネルの画像センサーに対して1つのボードのように、1つまたはいくつかのボードに搭載される。
従って、図1bの実施の形態において、右または左チャンネルのチャンネル内に隣接チャネルをできるだけ密に置くことが可能である。最適な場合において、チャンネル距離110は、レンズ直径に略一致する。これは、低いチャンネル距離、および、それゆえ、低い不同を結果として生じる。一方の右チャンネルおよび他方の左チャンネルは、大きい不同が実現されるように、どのような距離BAでも互いに配置される。総合して、受動的な光学的画像システムを持つ奥行きマップの、人工物が減らされた、または、人工物さえ無しの画像融合および生産のオプションが、結果として生じる。
Figure 2019522913
最後に、上記の説明において、単に例示的場合が、プロセッサ1002が右チャンネルの画像を結合することに使われた、ことに注目するべきである。同じ処理は、上で言及したように、両方および全てのチャンネルグループに対してそれぞれ、または、左または右チャンネルグループに対しても、プロセッサ1002によって実行される。
Figure 2019522913
図1aおよび図1bの3Dマルチ開口撮像デバイスは、例えば、携帯電話などの携帯デバイスの平らなハウジングの中に取り付けられる。ここで、左右チャンネルのレンズ系のレンズ面だけでなく、画像センサーエリア1211〜1214および1221〜1224の面も、平らなハウジングの厚さ方向に平行に走ることができる。ビーム偏向デバイス181および182のそれぞれよるビーム偏向のため、例えば、3Dマルチ開口撮像デバイスの全体視野は、携帯デバイスのモニターが位置する前側の前にある、または、携帯デバイスの後ろ側の前にある。
後続の図3と図4と図5aと図5bと図6とに基づいて、どんな内容または情報が、データヘッダー1008および/またはペイロードデータ1012に含まれるか、例示的に説明される。後続の記述は、出力信号1006が2つの構成要素、すなわち、データヘッダー1008およびペイロードデータ1012を含むという事実に関連するけれども、データヘッダー1008およびペイロードデータ1012は、また、データヘッダー1008またはペイロードデータ1012へのそれぞれの内容の割り当てが可能である限り、織り混ぜられた方法でまたはどのような順序でも配置される。さらに、出力信号1006は、一連の番号やチェックサムなどの別の構成要素も含む。
図3は、データヘッダー(ヘッダー)1008およびペイロードデータ1012を含む出力信号1006の構造の概要図を示す。データヘッダー1008は、3Dマルチ開口撮像デバイスの構造に関する情報を含む。3Dマルチ開口撮像デバイスの構造に関する情報は、画像モジュールの数のうちの構造データ数、または、部分視野への光学チャンネルの割り当て、または、全体視野の中の部分視野のサイズおよび/または配置、または、同様のものを考慮することができる。ペイロードデータ1012は、画像センサーエリアの画像情報を含む。これらは、例えば、処理された、または処理されていない画像センサー値である。画像情報は、例えば、それぞれの画素に対して連続して存在する、または、全体画像に関して既に分類される。
図4は、出力信号1006の構造の概要図を示す。データヘッダー1008は、3Dマルチ開口撮像デバイスの説明および全体視野の分割に関する情報を含む。全体視野の分割に関する情報は、3Dマルチ開口撮像デバイスの第1または第2および別のモジュールの第1または第2の部分視野にそれぞれ関連する。情報は、例えば、それぞれの画像処理モジュールの中にいくつの光学チャンネルが配置されるかに基づいて、全体視野が分割される部分視野の数についての記述を含むことができる。分割は、少なくとも2つまたはすべての画像モジュールに対して同じにできるけれども、少なくとも2つまたはすべての画像モジュールに対して異なることもできる。
例えば、3Dマルチ開口撮像デバイスの少なくとも2つの画像モジュールは、同じ方法で構造化される。その方法では、この情報が全ての画像モジュールに適用可能なので、データヘッダー1008の中の部分視野の分割に関係するそれぞれの指標が十分である。別の実施の形態によると、少なくとも第1の画像モジュールが、別の画像モジュールと異なって構成される。これは、全体視野の中の部分視野の数および/または配置が異なることを意味する。そのようにして、データヘッダー1008は、3Dマルチ開口撮像デバイスの2つの、または、いくつかの、または、全ての視野の分割に関する情報を含むことができる。全体視野の分割に関する情報は、それゆえ、全体視野の中の部分視野の位置および/または配向に関連し、および/または、画像センサーエリアに部分視野が投影される事実に関連することができる。
もしくは、または、追加して、3Dマルチ開口撮像デバイスの構造に関する情報は、空間の画像モジュールの数または構成または配向に関連する、または、3Dマルチ開口撮像デバイスの中の画像モジュールの間の距離(すなわち、基本距離BA)にも関連することができる。
3Dマルチ開口撮像デバイスの説明は、3Dマルチ開口撮像デバイスの構造に関連することができる。例えば、データヘッダー1008は、画像モジュールがどんな基本距離を持つか、または、いくつの光学チャンネルがアレイ141および/または142の中に配置されるか、または、光学チャンネルが空間または画像モジュールの中にどんな順序または配向を持つか、についての情報を含むことができる。もしくは、または、追加して、画像モジュールの位置、および/または、空間の中の画像モジュールの配向が示される。画像モジュールの比較可能な構成において、この構成に関するそれぞれの情報は、3Dマルチ開口撮像デバイスの全ての画像モジュールを説明するために十分である。これは、データヘッダー1008が基本距離BAに関する情報を含むように、プロセッサが出力信号を形成するように構成される、ことを意味する。
図4において説明された実施の形態によると、ペイロードデータは、3Dマルチ開口撮像デバイスのそれぞれの光学チャンネルの画素毎の画像情報を含む。これは、画像センサーの画像センサーエリアの画素の情報が、予め決定された順序に従って、ペイロードデータ1012の中に逐次配置される、ことを意味する。別の実施の形態によると、追加のおよび/または代わりの情報が配置される。従って、例えば、画像情報すなわち画素値が、処理される形式で存在できる。例えば、処理される形式として、JPEGまたはブレンダーまたはIGESまたは同様の画像形式が、圧縮しておよび圧縮無しで実施される。三次元画像に関する両方の情報は、三次元効果または情報が引き出される二次元画像の複数だけでなくペイロードデータ1012の一部である。これは、第1および第2の画像センサーエリアに投影された第1および第2の部分視野が、圧縮された画像データを得るために、提供された画像値に関して圧縮される、ことを意味する。プロセッサ1002は、ペイロードデータが圧縮された画像データに関する情報を含むように、出力信号を形成するように構成される。
プロセッサ1002は、例えば、それぞれの画像センサーエリアを逐次、およびそれゆえ、それぞれの部分視野を逐次評価するように、そして、画像センサーエリアの画素から得られた画像情報を処理するように構成される。これは、ペイロードデータ1012の画素毎の画素情報が、モザイクのように、それぞれの部分視野が他の後に説明される構造を持つことができる、ことを意味する。モザイクのような形は、例えば、重複エリア114の中の部分視野74a〜74dを織り混ぜることによって得られる。代わりに、プロセッサ1002は、非モザイクされた全体画像を得るために、画像センサーエリアの画像情報を前処理するように構成される。プロセッサ1002は、ペイロードデータ1012が全体画像に関する情報を含むように、出力信号1006を形成するように構成される。例えば、全体画像のそれぞれの行またはそれぞれの列が、画素ごとの画像情報として逐次表現される。一方、モザイクのような表現において、それぞれの部分画像は、行ごとにまたは列ごとに表現される。
図5aおよび図5bは、複数の情報源を考慮することによって、プロセッサ1002により形成された出力信号1006の構造の概要図を示す。ここで、図5aおよび図5bは1つの図と考えられ、図5bにおいて説明されたデータヘッダー1008の部分は、図5aにおいて説明されたデータヘッダー1008の一部であり、図5bにおいて説明されたペイロードデータ1012は、図5aにおいて説明されたデータヘッダー1008の部分のように、出力信号1006の一部でもあることを意味する。構成要素1008aおよび1008bおよび1008cおよび1008dは、別個の情報ブロックとして説明されるけれども、データヘッダー1008の中に含まれた情報は、互いにどのような構造でも持つことができる。説明された分割は、単に説明目的に役立ち、どのような制限する効果も持たない。
プロセッサ1002は、データヘッダーが画像モジュール11の数に関する情報を含むように、出力信号1006を形成するように構成される。画像モジュールは、全体視野を完全に捕捉するように構成される。これは、画像モジュールの数に関する情報が、全体視野の複数の全体画像と同じレベルに置かれる、ことを意味する。
代わりにまたは追加して、データヘッダーは、光学チャンネルのどんな数が画像モジュール11ごとに配置されるかについての情報を含むことができる。代わりにまたは追加して、データヘッダー1008は、画素のどんな数が、例えば、水平および垂直として称される第1および/または第2の画像軸に沿って配置されるかについての情報を含むことができる。情報は、部分画像ごとに、すなわち画像センサーエリアごとの画素の数、および/または、全体画像の中で捕捉または配置された全体画像の画素の数に関連する。これは、ペイロードデータが列および/または行、または、画像センサーエリア58の幾何学的拡張に沿った画素の数などの、画像センサーエリア58に関する情報を含むように、プロセッサが出力信号1006を形成するように構成される、ことを意味する。
それぞれの情報は、全ての画像モジュール11に対して、および/または、光学チャンネルに対して、すなわち、部分画像に対して、全ての画像モジュールおよび/または部分画像に関する情報の存在が十分な説明を結果として生じるように、同一である。代わりに、少なくともそれぞれの逸脱ステートメントに対して、けれどもまた、それぞれの画像モジュールまたは部分画像に対して個別に、それぞれの情報はデータヘッダー1008の中に配置される。A)モジュールの数、および、B)モジュールごとのチャンネルの数、および、C)画像軸および/または基本距離に沿った画素の数のこの前の記述は、3Dマルチ開口撮像デバイス1000の構造に関係するメタ記述として配置され、データヘッダー1008の要素1008aとして特徴付けられる。情報は、プロセッサによって、それぞれに、そして、互いに結合して挿入される。従って、モジュールまたはデバイスの実施が、それによって符号化されるとき、例えば、型番の仕様、または、画像モジュールまたは3Dマルチ開口撮像デバイスの仕様が、そのような情報も提供できる。簡単に言うと、プロセッサ1002は、光学チャンネルが全体視野のどんな部分の中を見るか、および/または、光学チャンネルが互いにどんな距離を持つかについて、情報を出力信号1006に追加するように構成される。これは、出力信号1006の中のそれぞれの部分画像に対して特に有利である。
幾何学的記述は、データヘッダー1008の要素1008bとして特徴付けられる。それは、プロセッサ1002によって、出力信号1006のデータヘッダー1008の中に挿入される。幾何学的記述は、D)画像センサー12の画像センサーエリア58の画素の画素サイズに関連する。実施の形態によると、画素は同一のまたは同等のサイズを持つ。画素サイズの仕様は、それゆえ全ての画素に対してグローバルに作られる。別の実施の形態によると、画像センサーエリア58の総画素数は、異なるサイズを持つ。画素サイズは、要素1008bの中のそれぞれの画素へのサイズの割り当てに対してだけでなく、画素のそれぞれの異なる形状に対しても取り決められる。これは、プロセッサ1002が、画像センサーエリア58の少なくとも1つに対して、データヘッダー1008が、第1の画像拡張方向についての画素数、および、第2の画像拡張方向についての画素数に関する情報を含むことができるように、出力信号1006を形成するように構成される、ことを意味する。これは、例えば、部分視野が空間の中で拡張する、拡張方向である。第1および第2の方向は、互いに垂直に配置され、列または行の数に対応する。
さらに、プロセッサ1002は、E)それぞれのモジュール11の1つ、または、いくつか、または、それぞれの光学チャンネルに対して、二次元(X/Y)または三次元(X/Y/Z)座標を挿入するように、または、少なくとも互いについて相対的な位置決めを挿入するように構成される。従って、座標は、他の光学チャンネルについての光学チャンネル16の配置のローカル座標、および/または、グローバルな座標、すなわち3Dマルチ開口撮像デバイス内の光学チャンネルの配置である。両方の場合において、モジュール11の中、および/または、3Dマルチ開口撮像デバイス1000の中の光学チャンネル16の配置が説明される。これは、プロセッサ1002が、光学チャンネル16の少なくとも1つに対して、データヘッダー1008が3Dマルチ開口撮像デバイス1000の中の少なくとも1つの光学チャンネル16の空間座標に関する情報を含むように、出力信号1006を形成するように構成される、ことを意味する。簡単に言うと、出力信号1006は、光学チャンネルの幾何学的配置についての情報を含むように形成される。
さらに、データヘッダー1008の要素1008bは、プロセッサ1002によって、要素1008bが、F)少なくとも1つの光学チャンネルの、または、画像モジュールの視野角度範囲に関する情報を含むように形成される。視野角度範囲は、1つの、好ましくは、2つの画像方向に沿って、間隔として指標される。これは、また、「…から…までの範囲化」または「視方向±xy」とも称される。代わりにまたは追加して、視野角度範囲は、モジュール11または光学チャンネル16の中心方向によって指標され、少なくとも1つの、好ましくは、2つの画像軸に沿って、視野角度範囲の拡張によって補われる。
代わりにまたは追加して、データヘッダー1008は、G)3Dマルチ開口撮像デバイス1000の環境条件についての情報から成る任意の要素1008cを含むことができる。このため、例えば、3Dマルチ開口撮像デバイスの周りの大気または環境の圧力、3Dマルチ開口撮像デバイスの周囲温度、3Dマルチ開口撮像デバイスの作動温度、画像捕捉の時間または出力信号1006の生成、および/または、3Dマルチ開口撮像デバイスの位置が、データヘッダー1008の中に挿入される。位置は、例えば、GPSまたはガリレオまたはグロナスなどの位置決めシステムによって決定され、または、センサーなどの外部データ源によって提供される。画像データが後で訂正されるとき、画像が捕捉された温度の指標は、利点を提供できる。そのようにして、温度は、画像センサーエリア58の上の全体視野の投影の変化を結果として生じる、3Dマルチ開口撮像デバイスの画像レンズ系および/またはハウジング部分の塑性変形への影響を持つことができる。変形の温度依存の変化を知っているとき、この温度依存状態は訂正できる。代わりにまたは追加して、プロセッサは、データヘッダー1008が、少なくとも1つの光学チャンネルの配向または視方向、モジュール、および/または、3Dマルチ開口撮像デバイスについての情報を含むように、データヘッダー1008を形成するように構成される。代わりにまたは追加して、プロセッサは、要素1008cが少なくとも1つの自動フォーカス駆動に関するカメラ特定情報を含むように、データヘッダー1008を形成するように構成される。少なくとも1つの自動フォーカス駆動は、例えば、捕捉された画像の焦点を合わせるために使われる。ここで、カメラ特定情報は、画像情報またはペイロードデータのフォーカス化についての指標を含むことができる。これは、例えば、全てのモジュールに対して一般的に使われるフォーカス化、すなわちモジュールそれぞれのフォーカス化のための自動フォーカス駆動、すなわち少なくとも2つの自動フォーカス駆動またはチャンネルそれぞれのフォーカス化、すなわち複数の自動フォーカス駆動である。情報は、自動フォーカス駆動の要素のグローバルまたは相対的位置の指標、および/または、自動フォーカス駆動を制御するための電流変数や電圧変数などの制御された変数である。グローバルまたは相対的位置は、フォーカス化が推論されるように、制御された変数から再構成される。
さらに、図5bにおいて説明されるように、出力信号1006のデータヘッダー1008は、可能な訂正に関する情報を含む任意の要素1008dを含むことができる。
別の情報から独立して、要素1008dおよびそれゆえデータヘッダー1008は、H)3Dマルチ開口撮像デバイスの少なくとも1つの光学チャンネルの指標に関する情報、および/または、I)口径食作り、すなわち全体画像または画像のエッジへの部分画像に影をつけることに関する情報、および/または、J)画像センサーおよび画像センサーエリア58の不完全画素に関する情報をそれぞれ含むことができる。後で、全ての情報H)およびI)およびJ)は、また、画像を訂正するために使われる。
図4の文脈において説明したように、K)によって、ペイロードデータ1012は画素ごとの画像データも含むことができる。第1の実施の形態において、画素に関して特徴付けられた情報は、例えば、オプションa)色情報に従って連続して述べられる。画素は、使われた画像センサーに基づいて、例えば、バイエルフィルタに従うように赤色および緑色および緑色および青色体系に従って、または、赤色および緑色および青色および白色配置または体系に従って、画素当たり4色の値の割り当てを持つ。それぞれの色情報および/または明るさ情報は、連続した画素に対してペイロードデータ1012の中に連続して配置される。代わりに、色情報は、また、プロセッサ1002によって、異なる再構成可能な体系に配置される。画像データは、また、画素ごとの奥行きデータ、画素の画素群への分割についての指標、および/または、奥行き情報の指標、および/または、画素群に関する距離情報も含むことができる。画像データは、例えば、ペイロードデータの中の群の中に分類されて配置され、奥行きデータまたは群情報は、それに従ってデータヘッダーの中に配置される。
オプションL)a)によって示されるように、画素値は、好ましくは、それぞれの画像のサイズが例えば情報C)によってヘッダーデータから引き出されるときのように、分離情報または改行情報または中間的情報無しで、連続して配置される。代わりにまたは追加して、スタート/ストップ文字列は、画素値の間、または、いくつかの画素値の間に配置される。スタート/ストップ文字列は、少なくとも1つのビットを含み、新しい部分画像または新しい画像行または新しい画像列などの画像開始の新しい位置を示すことができる。これは、ペイロードデータが、捕捉された画像の改行または列区切りに関する情報を含むことができる、ことを意味する。これは、上記で述べた情報C)がヘッダーデータの中に存在しないとき、有利である。代わりにまたは追加して、画素のそれぞれのグループに対して、情報は、画像モジュール11および光学チャンネル16の特徴付け、すなわち、オプションL)c)によって示されるように、モジュール11および光学チャンネル16への画素の割り当てを可能にするヘッダーデータの中に挿入される。
画像データは、M)a)生データ(RAW)、および/または、M)b)圧縮された画像データ、および/または、M)c)ペイロードデータ1012の中の非モザイクされた画像データとして配置される。代わりに、または、K)に追加して、画像データは、画素ごとの奥行きデータを含むことができると共に、画素群への画素の分割の指標、および/または、奥行き情報の指標、および/または、画素群に関する距離情報を含むことができる。
図6は、データヘッダー1008の要素1008a〜1008dを含む出力信号1006の概要全体図を示す。要素1008bの幾何学的記述および/または要素1008dの訂正データのために、3Dマルチ開口撮像デバイス(3DMAID)の設計データ1015が、プロセッサ1002によって考慮される。画素サイズD)は、例えば、その一部である。代わりにまたは追加して、口径測定データ1016は、例えば、プロセッサ1002がデータメモリから口径測定データ1016を読み取って、プロセッサ1002によって使われる。口径測定データ、例えば視野角度範囲F)は、同じまたは同一の態様の構造化されたマルチ開口撮像デバイスの1つのシリーズに亘って同じである。
代わりに、それぞれの口径測定データ1018は、3Dマルチ開口撮像デバイスに対して個別である口径測定データなどのように、3Dマルチ開口撮像デバイスの光学チャンネルの実際の座標E)などのように、プロセッサ1002によって使われる。そのようにして、例えば、製造許容差が補償される。
一方、要素1008dにおいて、設計データ1015’が、光学チャンネルの歪みH)、および/または、口径食作りI)が考慮されるプロセッサ1002によって使われる。代わりにまたは追加して、これらのデータまたは情報H)および/またはI)は、また、3Dマルチ開口撮像デバイスのシリーズに対して同一である口径測定データ1006’として使われる。代わりにまたは追加して、口径測定データ1018’が、例えば、欠損画素J)を検出するために、および、ペイロードデータおよび/または訂正データ1008dにおいてこれを考慮するために、画素を測定することによってプロセッサ1002により使われる。
出力信号1006は、例えば、メモリーの中のファイルまたはデータブロックとして格納され、または、信号として送信される。
すなわち、全ての画像モジュール11が同じように構成されるとき、画像ごとの光学チャンネルの数、モジュールの数、および/または、部分画像ごとの水平および垂直画素の数が、データヘッダー1008の中で、全てのモジュール11に対してグローバルに述べられる。ここで、モジュールの数は、視野の多重性を表現する準冗長画像の数である。そのようにして、例えば、2つのモジュール数を持つステレオ画像、および、3つのモジュール数を持つトリプル画像、および、4つのモジュール数を持つクワトロ画像が得られる。あるいは、多重、すなわち4つを超える画像モジュールまたはマルチ開口撮像デバイスが配置される。
仮に3Dマルチ開口撮像デバイスが、例えば3つのマルチ開口撮像デバイス(すなわちモジュール)を含むならば、3Dマルチ開口撮像デバイスは、例えば、画像センサーの第3の画像センサーエリアに、互いにおよび第1の部分視野に重複する全体視野のうちの第3の部分視野を投影するための第3の複数の光学チャンネルを含む。第1および第2の複数の光学チャンネルは、互いに横に基本距離分、オフセットされる。プロセッサは、第3の複数の画像センサーエリアに投影される第3の部分視野についての情報含む画像センサーデータを画像センサーから受信するように構成され、かつ、ペイロードデータが第1の画像センサーエリアおよび第2の画像センサーエリアおよび第3の画像センサーエリアの画素から取得した画像情報を含むように、出力信号を提供するように構成される。データヘッダーの情報は、3つのモジュールの構造または配置に関連することができる。あるいは、既に説明したように、モジュールのより大きい数が可能である。
あるいは、例えば、モジュールが互いに異なるとき、少なくとも2つのモジュール11またはそれぞれのモジュール11に対して、モジュールの数、画像ごとの光学チャンネルの数、および/または、部分画像ごとの水平および垂直な画素数が特定される。モジュールに関するそれぞれの、およびグローバルな情報は、また、出力信号1006の中に一緒に配置される。これは冗長情報再生を結果として生じることができる。
チャンネル配置の幾何学データ1008bは、モジュールの数および/または指定に、それぞれのモジュール11の中の光学チャンネルの数および/または指定に、チャンネルまたはモジュールの二次元座標または三次元座標に、および/または、3Dマルチ開口撮像デバイスの中の少なくとも1つの光学チャンネルの角度配向に関連することができる。設計データの知識に基づき、幾何学データは、メモリーなどに引き出されて提供される。あるいは、幾何学データは、また、製造許容差の少なくとも部分補償を結果として生じることができる寸法によって決定される。ここで、幾何学データは、温度および圧力などの外部影響量の従属をさらに示すことができる。別の画像処理または画像再構成の間にこれらの量を知ることは、それぞれに適用された訂正の実施を可能にする。代わりにまたは追加して、カメラ情報(メーカー、型、Fナンバー、露光時間、ISO値、光値、焦点距離、フラッシュ使用および/またはフラッシュ強度などに関する)は、DSLRカメラにおけるように、幾何学データ1008bに組み入れられる。代わりにまたは追加して、カメラ情報は、位置データに関する情報、および、自動フォーカス駆動の制御された変数(制御電流、制御電圧)を含むことができる。
幾何学データ1008bは、チャンネルごとに、すなわち、それぞれの光学チャンネルに対して、画像軸に沿う視野角度の拡張(水平/垂直)だけでなく、視野角度範囲および/または中心視野または視方向をさらに示すことができる。視野角度データは設計データである。代わりにまたは追加して、視野角度データは、また、口径測定の間に測定される。口径測定は、特定の構造で規定される、または、代表的型で決定される典型的な値に対応することができる。代わりにまたは追加して、圧力や温度などの追加のパラメータは、データセットをそれぞれ選択し、計算するために挿入される。データセットは設計データまたは口径測定から取得される。口径測定は、特定の構造で決定され、代表した型で決定される典型的な値に対応する。
代わりにまたは追加して、幾何学データ1008bは、光学チャンネルごとに、また、チャンネルごとにグローバルにまたはそれぞれに、複数の列および/または行を含むことができる。代わりにまたは追加して、画素サイズに関する指標は、プロセッサ1002によって挿入される。
要素1008dは、圧力、温度、時間または位置などの追加の環境条件を含むことができる。プロセッサ1002は、図6において説明されたセンサーデータ1022によって、外部センサーにプロセッサ1002の接続を介して、そのような情報を得ることができる。
オプションの要素1008dは、光学系について訂正データを含むことができる。歪みH)に関係して、プロセッサ1002は、プロセッサ1002のための光学的および/または遠近法(キーストーン)歪みに関する設計データにアクセスし、それを処理できる。代わりにまたは追加して、測定されたデータは、口径測定から処理される。口径測定は、特定の構造で決定される、または、3Dマルチ開口撮像デバイスの代表的型で決定される典型的な値に対応できる。
口径食作りI)に関して、これらは、上で議論したように、グローバルな、または、チャンネルのそれぞれの設計データまたは口径測定データである。代わりにまたは追加して、欠損画素に関する情報J)は、画像センサー12において準備される。
ペイロードデータ12は、それぞれの画像の画像データを含むことができる。ここで、列および/または行の固定された数が考慮される。あるいは、例えば、開始/ストップビットが準備される。代わりにまたは追加して、モジュールおよび/またはチャンネルの特徴付けが実行される。画像データは、RAW(生データ)、JPEGや同様などの圧縮されたまたは詰め込まれた画像データ、および/または、非モザイクされた画像として、ペイロードデータ1012に準備される。また、幾何学データ、訂正データおよびペイロードを有する異なるファイルは、プロセッサ1002によって生成される。これは、出力信号1006が断続的な態様で生成されることを意味する。出力信号1006は、また、それぞれの光学チャンネルについて、それぞれのペイロードファイルがプロセッサ1002によって出力されるように、生成される。ここで、プロセッサ1002が、幾何学データという形式で、データヘッダー1008の中に、チャンネルごとの、または、クラスタごとの奥行き情報も挿入できる、ことに注目するべきである。
図7は、ここで記述した実施の形態の第2の面に従うマルチ開口撮像デバイス2000の概要図を示す。それは、例えば、3Dマルチ開口撮像デバイス1000の中の画像モジュール11として配置される。マルチ開口撮像デバイス2000は、少なくとも1つの光学系またはレンズ64a〜64dをそれぞれ含む光学チャンネル16a〜16dによって、画像センサー12に部分視野74a〜74dを投影するように構成される。アレイ14は、例えば、列拡張方向146に沿って配置される。従って、光学チャンネル16a〜16dは一次元アレイ14に配置される。これは、光学チャンネル16a〜16dが単一列に配置される、ことを意味する。
全体視野72は、空間の中で、第1の画像方向142に沿っておよび第2の画像方向144に沿って拡張できる。方向142と144とは、互いに垂直である。部分視野74a〜74dは、方向144に沿う画像の拡張が、方向144に沿う光学チャンネル16a〜16dの画素数および/または視野角度によって影響または決定され、方向142に沿う画像の拡張が、方向142に沿う光学チャンネル16a〜16dの画素数および視野角度によって、さらに、同様に、部分視野74a〜74dの数によって、同様に、重複ファクターによって影響または決定されるように、互いに傍に配置され、かつ、方向142に沿って重複する。これは、複数の光学チャンネル16a〜74dが、空間の中で、方向144および146に沿って配置される一次元アレイ14を形成する一方で、全体視野のうちの部分視野74a〜74dも、方向142に沿って、方向144に垂直に配置された一次元アレイを形成する、ことを意味する。従って、マルチ開口撮像デバイス2000は、アレイ14の配置方向と、対応する部分視野74a〜74dの配置との間の変換が、空間の中で実行される、という特徴を含むことができる。これは、例えば、光学チャンネル16a〜16dのそれぞれの視方向によって実行される。代わりにまたは追加して、マルチ開口撮像デバイス2000は、そのような偏向を実行する、図示されていないビーム偏向手段を含むことができる。
例えば、マルチ開口撮像デバイス2000は、本質的に、第2の視方向144に比較された第1の画像方向142に沿った非常に大きい拡張を持つ画像が、捕捉されるシステムにおいて、有利に配置される。これは、例えば、水平方向に沿う車の駆動ルートを捕捉している車の中のカメラシステムに適用することができる。これは、例えば方向142が、水平方向であることを意味する。そのような例において、光学チャンネル16a〜16dは、車の中に垂直方向に沿って配置される。方向142と146とが相互に交換可能であることは明らかである。これは、水平および垂直の指標が少しの制限効果も持たないことを意味する。
マルチ開口撮像デバイス2000は、3Dマルチ開口撮像デバイス1000の中のモジュール11aおよび11bとして、少なくとも複製して配置される。説明からの逸脱において、3Dマルチ開口撮像デバイスは、4つより少ないまたは多いチャンネルを持つことができるけれども、少なくとも2つのチャンネルを持つ。
図8は、出力信号1006を処理するためのデバイス3000の概要ブロック図を示す。デバイス3000は、出力信号1006を受信するための無線または有線インタフェース1023を含む。従って、この後、信号1006はデバイス3000のための入力信号と称される。デバイス3000は、少なくとも第1のモジュール11aの部分視野7411〜7414および第2のモジュール11bの部分視野7421〜7424の画像センサー情報について、3Dマルチ開口撮像デバイス1000の構造に関する情報を考慮しながら、入力信号1006のペイロードデータ1012を処理するためのプロセッサ1024を含む。代わりにまたは追加して、プロセッサ1024は、データヘッダー1008の別のまたは追加の情報を処理するように構成される。プロセッサ1024によって実施される機能は、例えば、入力信号1006のペイロードデータ1012の中に含まれる画像データの変化するエリアのフォーカス化のその後の変化である。
デバイス3000は、後処理された画像データの表現を可能にする画像信号1026を出力するように構成される。そのようにして、信号1026は、例えば、任意のモニター1028またはディスプレイ1028において説明される。代わりにまたは追加して、信号1026は、有線または無線の態様で、例えば、別のデバイスに送信される。別のデバイスは、さらに処理するデバイスまたは記憶素子である。
出力信号が、2つを超える数のモジュールが全体視野を捕捉するために使われた、ことを示すときでさえ、デバイス3000は、出力信号を処理するように構成される。
プロセッサ1024の機能は、また、プロセッサ1002において実現される。これは、プロセッサ1002および1024が、別のプロセッサ1024および1002についてそれぞれ記述された機能を実行するように相互に構成される、ことを意味する。
3Dマルチ開口撮像デバイス1000の捕捉された画像データは、従って、三次元対象物データとその後の、すなわち、フォーカスされるべきエリアの対象物距離依存決定を捕捉する実際の画像の後の計算を可能にする形式で格納される。
データ形式は、ヘッダーおよびペイロードエリアから成る、または、少なくとも同様のものを含むことができる。ヘッダーエリアにおいて、画像捕捉マルチ開口画像システムの記述的データおよび好ましくは追加のセンサーデータがリストされ、一方、ペイロードエリアにおいて、本質的に、画素ごとの画像データがリストされる。
そのようにして得られたマルチ開口撮像デバイスは、線形チャネル配置、すなわち単一ラインに配置された光学チャンネルを含むことができ、低いまたは最小の取付けサイズさえ持つことができる。上記の面は、調整可能な三次元の画像捕捉および画像表現を可能にする。その上、視野範囲の奥行きのその後の決定が実行される。
以下において、参照が、マルチ開口撮像デバイスおよび3Dマルチ開口撮像デバイスのさらに有利な実施に対して成される。そのそれぞれは、追加の特徴として、3Dマルチ開口撮像デバイス1000の特徴と結合される。これは、以下に説明されるマルチ開口撮像デバイスが、3Dマルチ開口撮像デバイス1000の中の画像モジュールとして配置されることを意味する。
図8aは、第1の作動状態の実施の形態に従うデバイス10の概要サイド断面図を示す。デバイス10は、携帯電話やスマートフォンなどの携帯または非携帯デバイス、タブレットコンピュータなどの携帯コンピュータ、および/または、携帯音楽プレーヤーである。
デバイス10は、画像センサー12、および、並列された光学チャンネル16のアレイ14、および、ビーム偏向手段18から成る、マルチ開口撮像デバイス11を含む。ビーム偏向手段18は、光学チャンネル16の光路17を偏向するように構成され、以下で詳細に議論される。デバイス10は、ハウジング容積24を取り囲む外部表面23を持つハウジング22を含む。これは、ハウジング容積24がハウジング22の内部容積およびハウジング22の容積を含むことを意味する。従って、ハウジング容積は、ハウジング壁によって要求された容積も含み、それゆえハウジングの外部表面23によって取り囲まれている。ハウジング22は、透明なまたは不透明な態様で形成され、例えばプラスチック素材および/または金属素材を含む。ビーム偏向手段18は、ハウジング容積24の中の第1の位置を持つ。マイクロフォンの音響チャンネルのための、または、デバイス10の電気的接続のためなどのハウジングのサイドの穴または開口は、ハウジング容積24を決定することに対して無視される。ハウジング22および/またはハウジング22内に配置された部材は、マルチ開口撮像デバイス11によって捕捉されるべきハウジング22の外に配置された視野26が、全てにおいてまたは制限された範囲だけ捕捉されないように、ビーム偏向手段18による偏向の後の光学チャンネル16の光路17を塞ぐことができる。部材は、例えば、アキュムレータまたはプリント回路基板またはハウジング22の不透明エリアまたは同様のものである。すなわち、従来のカメラの代わりに、目的の、異なる、好ましくは非光学系のデバイスが、ハウジングにおいて配置される。
ハウジング22は、ハウジング容積24がハウジング22の外部容積25に接続される開口28を含む。時々、開口28はカバー32によって完全にまたは部分的に閉じられる。デバイス10の第1の作動状態は、例えば、光学チャンネル16がハウジング22の内側に向けられる、または、全く偏向されない、マルチ開口撮像デバイス11の不活動な作動状態である。
すなわち、マルチ開口撮像デバイスの構造の取付け高さは、光学チャンネル16の光学系(レンズ)の直径によって少なくとも部分的に決定される。この(好ましくは最適の)場合では、この厚さ方向における鏡(ビーム偏向手段)の拡張が、この方向におけるレンズの拡張に等しい。しかし、ここでは、光学チャンネル16の光路が、鏡18によって制限される。これは画像明るさの減少を結果として生じる。この減少は視野角度に依存する。本実施の形態は、カメラの作動状態において、構造の一部分が、カメラの不使用状態に比べて、例えばスマートフォンのハウジングを越えて突出するように、マルチチャネルカメラ構造の一部分または全体を動かすことによって、この問題を解決する。ビーム偏向手段などの一部分の動きは、回転の(折り拡げられる、または折り開かれる)、置き換えの(拡張)、または、混在した形である。一部分および全体のシステムの追加の動きは、それぞれ、コンパクトカメラの既知の目的と同様に、カメラの不使用モードにおける最小構造形状を可能にし、かつ、技術的機能を実現化するために最適化されたカメラの使用モードにおけるより大きい構造形状を可能にする。
図9bは、第2の作動状態のデバイス10の概要サイド断面図を示す。第2の作動状態において、ビーム偏向手段18は、ハウジング容積24の外に第2の位置を持つ。これは、視野26がマルチ開口撮像デバイス11によってハウジング22の外で捕捉されるように、ハウジング容積24の外の光学チャンネル16の光路17を偏向するためのビーム偏向手段18および視野26を可能にする。カバー32は、ビーム偏向手段18がハウジング22の開口28を通ってハウジング容積24の外に動かされるように、図1aにおいて示された位置から向こうに動かされる。ビーム偏向手段18は、第1の位置と第2の位置との間を、置き換えておよび/または回転して動かされる。ハウジング22の内側の部材および/またはハウジング22自身が、光学チャンネル16の偏向された光路17を塞がない、ことは有利である。
マルチ開口撮像デバイス11は、ハウジング22の内側に少なくとも部分的に再び配置される、カメラハウジングの中に配置される。カメラハウジングは、例えば、図13の文脈の中で記述されるように搬送支持体によって少なくとも部分的に形成される。これは、単一チャネルのカメラが、画像センサーおよび/または画像光学系の回転または傾きが防止される、本場合の折り畳み機構によって異なる方向に配向される概念と異なる。
全体視野は、ビーム偏向手段が、第1の位置から始まって、ビーム偏向手段がハウジング容積の外に少なくとも部分的に置かれる第2の位置に動かされるように、デバイス10によって捕捉される。ビーム偏向手段が第2の位置にあるとき、全体視野は、光路がビーム偏向手段によって偏向されるマルチ開口撮像デバイスの並列された光学チャンネルのアレイによって捕捉される。
図10aは、別の実施の形態に従う、第1の作動状態のデバイス20の概要サイド断面図を示す。デバイス20は、例えば、接続要素34aおよび/または任意の接続要素34bを介して、ハウジング22において回転するカバー23を含む。接続要素34aおよび/または34bは、傾き、それゆえ、ハウジング22についてビーム偏向手段18のカバー23の間の回転の動きを可能にするように構成され、そして、例えばヒンジまたはコロ軸受として形成される。
ビーム偏向手段18は、ハウジングのカバーを形成する、または、その一部分である。ビーム偏向手段18のビーム偏向表面のうちの1つは、ハウジングの外側エッジである。第1の位置を含むビーム偏向手段18は、ハウジング22を部分的にまたは完全に閉じる。ビーム偏向手段18は、例えば光路17を偏向するための反射エリアを含むことができ、および、第1の位置においてハウジング22との機械的な接触を形成するように構成される接触エリアを含むことができる。簡単に言うと、カメラは、不使用のとき、見えない、または、殆んど見えない。
図10bは、第2の作動状態のデバイス20の概要サイド断面図を示す。第2の作動状態において、ビーム偏向手段18は、ハウジング22について回転的に動かされる、すなわち、ハウジング容積24が開くように折り拡げられる。回転の傾きは、画像センサー12とビーム偏向手段18との間の光学チャンネル16の光路17のコースについて、ビーム偏向手段18の傾斜したまたは傾けられた配向を可能にする。その結果、光路17が、ビーム偏向手段18で第1の方向19aに偏向される。
図10cは、第3の位置のデバイス20の概要サイド断面図を示す。デバイス20は第2の作動状態にある。図10bにおいて説明した第2の位置に比べて、ビーム偏向手段18は、異なる視野、または、異なる位置に置かれた視野が捕捉されるように、光学チャンネル16の光路17を異なる方向19bに偏向することができる。例えば、これは、光路17が偏向されるデバイス20および/またはユーザーの、前側および後側、左および右、または、上および底などの第1の側および反対の側である。接続要素34aおよび34bは、ビーム偏向手段18が択一的に第2の位置または第3の位置を含むように、例えば、フレーム構造およびビーム偏向手段18に接続される。マルチ開口撮像デバイスの切り換え可能な視方向によって、特に前部および後部に視方向を持つ2つのカメラを使うスマートフォンにおける従来の解決策は、1つの構造によって置き替えられる。
図11aは、別の実施の形態に従う、第1の作動状態のデバイス30の概要サイド断面図を示す。図3a〜3cにおいて説明した装置20に比べて、デバイス30は、ハウジング22の外側エッジ23とマルチ開口撮像デバイス11との間に配置された少なくとも部分的に透明なカバー36を含む。少なくとも部分的に透明なカバーは、ビーム偏向手段18に接続し、ビーム偏向手段18の動きに基づいて動くように構成される。少なくとも部分的に透明なカバー36は、例えば、ポリマーおよび/またはガラス素材から成る。
すなわち、カプセル化された容積を変更するオプション(可動のカバーガラス)によって、浄化からの保護のための光学系のカプセル化を可能にするデバイスが提供される。
図11bは、第2の作動状態のデバイス30の概要サイド断面図を示す。図10bのデバイス20に比べて、少なくとも部分的に透明なカバーは、ハウジング容積24の外を少なくとも部分的に動かされる。これは、接続要素34の周りのビーム偏向手段の回転の動きによって実行される。ビーム偏向手段18は、光学チャンネルが少なくとも部分的に透明なカバーを通って走るように、光学チャンネル16の光路17を偏向するように構成される。カバー36は、ハウジング容積24の中への、粒子、汚れおよび/または湿気の侵入を、減少または防止するように構成される。ここで、カバー36は、光路17に対して、透明なおよび/または部分的に不透明な態様で形成される。カバー36は、例えば、電磁放射線の特定の波長範囲に対して不透明である。粒子、汚れおよび/または湿気の減少量によって、光学チャンネルの光学系の汚染が低いので、デバイスの長い作動寿命および/または継続的に高い画質が得られることは、カバー36の利点である。
図11cは、ビーム偏向手段18が、画像センサー12と光学チャンネル16との間の光路17の方向xに垂直な、および、光学チャンネル16のアレイのライン拡張方向に垂直な方向zと垂直な方向yに沿って、任意のアクチュエーター38によって、置き換え的に可動するデバイス30の概要サイド断面図を示す。ビーム偏向手段18は、また、接続要素34の周りで、例えばガイド、レベルまたは同様のものの周りの回転の動きに基づいて、置き換え的に動かされる。折り畳み(回転の動き)は、手動またはアクチュエーターを使って実行される。任意のアクチュエーター38は、ビーム偏向手段18に配置される。あるいは、アクチュエーター38は、ハウジング22とビーム偏向手段18との間に配置される。アクチュエーター38は、例えば、ハウジング22と接続要素34aとの間に、および/または、接続要素34aとビーム偏向手段18との間に配置される。ハウジングのx方向に沿うビーム偏向手段の置き換えの動きによって、ハウジング22によって捕捉されるべき視野の影付けが減少することは、利点である。
図12aは、実施の形態に従う、第1の作動状態のデバイス40の概要サイド断面図を示す。第1の位置において、ビーム偏向手段18は、ハウジング22のハウジング容積の内側に配置され、置き換えの動き42に基づいて、第1の位置から、図12bの中に概要的に記述された第2の位置へ動くように構成される。図12aの中に説明されるように、ハウジングは、第1の作動状態において、ハウジング22およびその開口を閉じるカバー32を含む。ビーム偏向手段18は、第1の作動状態において、ビーム偏向手段18がハウジング22の内側の光路によって定義される方向xに垂直な最小拡張を持つように、配向される。
図12bは、第2の作動状態のデバイス40の概要サイド断面図を示す。ビーム偏向手段は、例えば、x方向に沿って、置き換えの動き42に基づいてハウジング容積24の外を動かされる。このため、ビーム偏向手段18は、開口28を通って動かされる。ビーム偏向手段18は、回転軸44の周りを回転して可動である。第1の作動状態と第2の作動状態との間の置き換えの動きの間に、ビーム偏向手段18は、回転軸44の周りの回転の動きを実行する。ビーム偏向手段の角度配向は、マルチ開口撮像デバイスの光路によって使われたビーム偏向手段のエリアが第1の作動状態に比べて増大するように、図11aの第1の作動状態に比べて補正される。回転軸44の周りの回転の動き46は、光学チャンネル16とビーム偏向手段18との間の光路17について、ビーム偏向手段18の可変の傾き、および、それゆえ、光学チャンネル16の光路17が偏向される可変の方向を可能にする。光学チャンネル16は光学系64a,64bを含む。
ビーム偏向手段18に加えて、光学チャンネル16の光学系64a,64bおよび/または画像センサー12は、第2の作動状態においてハウジング容積24の外に配置される。光学チャンネル16の光学系64a,64bおよび/または画像センサー12は、例えば、ビーム偏向手段18と共に動かされる。
すなわち、線形チャネル配置を持つマルチ開口カメラは、並列されて全体視野の一部分をそれぞれ送信する、いくつかの光学チャンネルを含む。有利的に、ビーム偏向のために使われて、取付け高さを減少することに寄与する鏡は、画像レンズの前に設置される。面鏡などのチャンネルごとに適用される鏡との結合において、面は、任意の態様で平面または曲面であり、または、自由形式エリアによって提供される。光学チャンネルの画像光学系が本質的に同一に構造化されることは、有利的に可能である。チャンネルの視方向は、鏡アレイのそれぞれの面によって予め決定される。ビーム偏向手段の表面は、光学チャンネルに割り当てられた反射面にて少なくとも映される。チャンネルの画像光学系は、異なる視方向がそれぞれの光学チャンネルの鏡面の角度および実施によって結果として生じるように、異なって実施されることも可能である。いくつかのチャンネルが、ビーム偏向手段の同じエリアを使用し、それゆえ、面の数はチャンネルの数より小さいことも、さらに可能である。ここで、偏向鏡は回転される。回転軸は、例えば、チャンネルの拡張方向に平行に走る。偏向鏡は、両面で反射的であり、金属または誘電体層(シーケンス)が使われる。鏡の回転は、1つ/いくつかの方向に沿って、アナログまたは安定している。回転の動きに基づいて、ビーム偏向手段は、少なくとも第1の位置と第2の位置との間に可動である。光路は、それぞれの位置において異なる方向に偏向される。同様に、図10a〜図10cのビーム偏向手段18の位置に対して記述されたように、ビーム偏向手段は、また、回転軸の周りを動かされる。ハウジングカバー32およびビーム偏向手段18の置き換えの動きに加えて、マルチ開口撮像デバイスの一部分および全ての追加の構成要素は、それぞれ、同じ方向に置き換えの態様で共同して動かされる。同じまたは異なる搬送範囲が可能である。
図13aは、カバー32がハウジング22のハウジングサイド22bに動き要素34を介して回転的に可動に配置される、デバイス50の概要サイド断面図を示す。ビーム偏向手段18は搬送支持体47に機械的に接続している。搬送支持体47は、少なくともビーム偏向手段18を動かすための機械的輸送手段として考えられる。デバイス50は、搬送支持体47を置き換え的に動かすように構成されるアクチュエーター33を含む。アクチュエーターは、ステップモータ、圧電駆動またはボイスコイル駆動など、どのような駆動も含むことができる。アクチュエーター33の代わりにまたは追加して、デバイス50は、カバー32と少なくとも一方のハウジングサイド22aのハウジングとをロックする機械式ロック35を解除するように構成されるアクチュエーター33’を含む。ビーム偏向手段または搬送支持体47は、ロック33’が解除されるとき、バネ力によってハウジン
グの外へ駆動される。これは、ロック35がビーム偏向手段18を第1の位置において維持するように構成されることを意味する。搬送支持体47も、デバイス40の中に配置される。これは、搬送支持体47もカバー32の置き換えの動きのために使われることを意味する。
図13bはデバイス50の概要サイド断面図を示し、搬送支持体47は、ビーム偏向手段18がハウジング容積24の外へ動かされるように、動き42の置き換えの方向に沿って動かされる。画像センサー12および/または光学チャンネル16の光学系は、また、搬送支持体47に機械的に接続され、ビーム偏向手段18と共に同じ範囲に動かされる。あるいは、画像センサー12および/または光学チャンネル16の光学系は、画像センサー12、光学系および/またはビーム偏向手段18の間の距離が、拡張の間、増加するように、ビーム偏向手段18より小さい範囲に可動である。代わりにまたは追加して、画像センサー12および/または光学チャンネルの光学系は、ビーム偏向手段18のみが搬送支持体47によって動かされるように、ハウジングについて固定して置かれる。拡張の間の画像センサー12、光学系および/またはビーム偏向手段18の間の増加する距離は、マルチ開口撮像デバイスがハウジング22の中において少ない取付け空間要求に適応されるように、第1の作動状態の構成要素のより小さい距離を可能にする。
図13cは、第2の作動状態のデバイス50の概要サイド断面図を示す。ビーム偏向手段は、例えばデバイス40に対して説明したように、回転の動き46を実行するために旋回される。図12bの文脈において説明したように、ビーム偏向手段18の角度配向は、マルチ開口撮像デバイスの光路によって使われたビーム偏向手段のエリアが、第1の作動状態に比べて増大するように、図13aの第1の作動状態または図13bの状態に比べて補正される。光学チャンネル16と画像センサー12にそれぞれ面しているビーム偏向手段18のサイドは、例えばy方向に沿って、動き42の置き換えの方向に垂直な寸法Bを持つことができる。寸法Bは、この方向に沿って、画像センサー12および光学チャンネル16の寸法Aより大きい。寸法Bは、例えば、アレイのライン拡張方向に垂直であり、光学チャンネルがぶつかる画像センサーの表面に平行している。これは、高い光量がビーム偏向手段18によって偏向され、捕捉されるべき画像の明るさが高い、という効果を持つことができる。図13aの中で示された位置において、拡張または寸法Bは、図13cの中で示された位置において、または、ビーム偏向手段18が別の視方向に光路を導く位置においてより小さい。
図14aは、第1の作動状態の実施の形態に従うデバイス60の概要サイド断面図を示す。ビーム偏向手段18は第1の位置にある。デバイス40、および、図4aおよび図4bにおいて説明したデバイスに比べて、デバイス60は、カバー32に接続される少なくとも部分的に透明なカバー36aおよびカバー36bを含み、動き42の置き換えの方向に沿ってカバー32と共に動く。少なくとも部分的に透明なカバー36aおよび36bは、それぞれ、ビーム偏向手段18とハウジング22との間のビーム偏向手段18の異なる側に配置される。第1の作動状態において、カバー36aおよびカバー36bは、ハウジング容積24の内側に部分的にまたは完全に配置される。カバー36aおよびカバー36bは、例えば、図13a〜図13cにおいて説明された搬送支持体47に配置される、または、搬送支持体47の透明エリアである。
図14bは、ビーム偏向手段18が第1の位置と第2の位置との間の中間位置にある、デバイス60の概要サイド断面図を示す。ビーム偏向手段の中間位置は、例えば、ビーム偏向手段18の引込みまたは拡張の間に、ハウジング容積24の中におよびハウジング容積24の外にそれぞれ得られる。ビーム偏向手段18は、部分的にハウジング容積24の外に動かされる。
図14cは、ビーム偏向手段18が第2の位置にある、すなわち、ビーム偏向手段18が例えばハウジング容積24の外に完全に拡張される、デバイス60の概要サイド断面図を示す。少なくとも部分的に透明なカバー36aおよびカバー36bは、ハウジング22aおよび22bの横の面の間の比較距離より小さい、互いの距離48を持つ。
図14dは、少なくとも部分的に透明なカバー36aおよび36bの距離が、図14a〜図14cに比べて拡大される、デバイス60の概要サイド断面図を示す。少なくとも部分的に透明なカバー36aおよび/または36bは、それぞれ、動き52aおよび52bの置き換えの方向に沿って、例えば、それぞれ他の少なくとも部分的に透明なカバー36aおよび36bから反対方向を向いている正または負のy方向に沿って可動である。図14a〜図14cにおいて説明された少なくとも部分的に透明なカバー36aおよび36bの状態は、引き込まれたまたは折り畳まれた状態と考えられる。図14dにおいて説明された状態は、拡張されたまたは拡げられた状態と考えられ、少なくとも部分的に透明なカバー36aと36bとの間の距離48’は変更されて、距離48についてそれぞれ拡大される。距離48’は、例えば、ハウジング22の比較可能なサイドの間の距離より大きいまたは等しい。ビーム偏向手段18は、光学チャンネルの光路が少なくとも部分的に透明なカバー36aおよび/または36bを通って走るように、光学チャンネルの光路を偏向するように構成される。図12b、図13aおよび図13bの文脈の中で説明したように、ビーム偏向手段18の角度配向は、マルチ開口撮像デバイスの光路によって使われたビーム偏向手段のエリアが第1の作動状態に比べて増加するように、図14aの第1の作動状態または図14bまたは図14cの状態に比べて補正される。代わりにまたは追加して、拡大した距離48’は、回転的動き46の増加した範囲を許すことができる。回転の動き46によって、ビーム偏向手段18は、少なくとも第1の位置と別の位置との間を切り換え可能である。それぞれの位置は、マルチ開口撮像デバイスの視方向に割り当てられる。鏡の回転は、1つ/いくつかの方向に沿ってアナログまたは安定している。マルチ開口撮像デバイスの視方向を変更するための回転の動き46は、図9の文脈の中で説明される光学的画像安定化のために、ビーム偏向手段18の回転の動きと結合される。カバー36aおよび/または36bは、マルチ開口撮像デバイスの他の構成要素をカプセル化できる。
反対側に配置されたカバー36aおよび/または36bおよびその透明エリアは、切り換え可能なダイヤフラムが、例えば、ビーム偏向手段の上および/または下に、または、どのような方向に沿っても導入されるように、それぞれ切り換え可能なダイヤフラムを含む。ダイヤフラムは、作動状態およびカメラの視方向に依存して切り換えられる。例えば、使われないマルチ開口撮像デバイスの視方向は、ストレイ光の侵入を減少するため、ダイヤフラムによって少なくとも部分的に閉じられる。ダイヤフラムは、機械的に動かされる、または、エレクトロミックである。ダイヤフラムにより影響されるエリアは、不使用の場合のために光学的構造をカバーする、切り換え可能なダイヤフラムをさらに提供される。ダイヤフラムは電気的に制御可能で、エレクトロミック層(シーケンス)を含む。ダイヤフラムは機械的に動かされる部分を含む。動きは、空気の、油圧の、圧電気のアクチュエーター、または、DCモーター、または、ステップモータ、または、熱アクチュエーター、静電気アクチュエーター、電気歪および/または磁気歪アクチュエーター、または、ドライブを使って実行される。視方向がダイヤフラムを通過するマルチ開口撮像デバイスの状態において、ダイヤフラムは、光学チャンネルの光路を通過させるように切り換えられる。これは、マルチ開口撮像デバイスが第1の作動状態および第2の作動状態を持つことができる、ことを意味する。ビーム偏向手段は、光学チャンネルの光路がカバー36aの第1の透明エリアを通過するように、第1の作動状態の光学チャンネルの光路を偏向することができる。第2の作動状態において、光学チャンネルの光路がカバー36bの第2の透明エリアを通過するように、光学チャンネルの光路が偏向される。第1のダイヤフラム53aは、第2の作動状態において、第1の透明エリアを少なくとも部分的に光学的に閉じるように構成される。第2のダイヤフラム53bは、第1の作動状態において時々、第2の透明エリアを少なくとも部分的に光学的に閉じるように構成される。そのようにして、マルチ開口撮像デバイスの現在の視方向ではない方向からのストレイ光の侵入が減少される。それは、画質における有利な効果を持つ。第1および/または第2のダイヤフラム53a〜53bは、光学チャンネルの少なくとも1つに対して、または、少なくとも2つに対して、または、全てに対して効果的である。例えば、マルチ開口撮像デバイスの光学チャンネルの少なくとも1つ、または、少なくとも2つ、または、全ては、光学チャンネルの光路が第1の透明エリアを通して導かれるとき、第1ダイヤフラムを通過できる、そして、光学チャンネルの光路が第2の透明エリアを通して導かれるとき、第2のダイヤフラムを通過できる。
図2および図3に従うビーム偏向手段を拡げるための機構を、置き換えの動きのための機構と結合することが可能であること、すなわち、混合形式が生じることは注目されるべきである。ハウジングを拡げること、および/または、ビーム偏向手段を拡張することは、好ましくは、画像モジュール、すなわち、光学チャンネル、その光学系および/または画像センサーが、ハウジング容積の外に動かされるように、実行される。ビーム偏向手段の角度変化は、厚さ方向においてマルチ開口撮像デバイスの拡張を大きくすることを可能にすることができ、および/または、ビーム偏向手段は、「前」および「後ろ」に向かって、光路を妨げられないで偏向することができる。カバー36などのカバーガラスも、拡げられたまたは拡張された要素について固定される。カバーガラスはどのような平面または非平面の表面でも持つことができる。
図15は、3つのマルチ開口撮像デバイス11a〜11cを持つ実施の形態に応うデバイス70の概要透視図を示す。デバイス70は、マルチ開口撮像デバイス1000に対して記述されるように、プロセッサ1002を含む。マルチ開口撮像デバイス11a〜11cは、それぞれの置き換えの動き方向42a〜42cに沿って、置き換え的に可動である。マルチ開口撮像デバイス11a〜11cは、ハウジング22の2次的なサイド22c〜22fに配置される。ハウジングは平らな態様で形成される。これは、第1のハウジング方向(例えば、x方向)に沿うハウジング22の第1の拡張、および、第2のハウジング方向(例えば、z方向)に沿うハウジング22の第2の拡張が、第3のハウジング方向(y方向など)に沿うハウジング22の第3の拡張に比べて、少なくとも3つの折り畳み次元、または、少なくとも5つの折り畳み次元、または、少なくとも7つの折り畳み次元を持つ、ことができることを意味する。ハウジング22の主要サイド22aおよび22bは、第1および第2の次元を持ち、例えば、空間のx/z面に平行して配置される。2次的なサイド22c〜22fは、主要サイド22aおよび22bに接続し、主要サイド22aと22bとの間にそれぞれ配置される。
マルチ開口撮像デバイス11aおよび11bは、ハウジング22の同じサイド22dの中にまたは上に配置され、例えば、ステレオスコープの目的などのために、互いに基本距離BAを持つ。2つを超えるモジュールも可能である。このように、全体視野は、例えば、マルチ開口撮像デバイス11cおよび少なくとも1つの別のマルチ開口撮像デバイス11aおよび/または11bの使用によって、ステレオスコープ的により高く捕捉される。マルチ開口撮像デバイス11a、11bおよび/または11cはそれぞれに可動である。あるいは、2つ以上のモジュールも、全体システムとして一緒に可動である。
以下に詳細に記述されるように、デバイス70は、全体視野を少なくともステレオスコープ的に捕捉するように構成される。全体視野は、例えば、主要サイド22aまたは22bのうちの1つに配置されるけれども、2次的なサイド22c〜22fにも配置される。例えば、マルチ開口撮像デバイス11a〜11cは、それぞれに全体視野を捕捉することができる。マルチ開口撮像デバイス11a〜11cは、互いから離れて空間的に間隔をおいた態様で説明されるけれども、マルチ開口撮像デバイス11a、11bおよび/または11cは、また、空間的に隣接または結合して配置される。好ましくは単一ラインに配置された撮像デバイス11aおよび11bのアレイは、例えば、図21bの文脈において記述されるように、互いに傍にまたは互いに平行に配置される。アレイは互いについてラインを形成できる。それぞれのマルチ開口撮像デバイス11aおよび11bは、単一列のアレイを含む。撮像デバイス11aおよび11bは、共通のビーム偏向手段、および/または、光学チャンネルの光学系の共通の支持体、および/または、共通の画像センサーを含むことができる。
図16は、デバイス70の一部分であって、マルチ開口撮像デバイス11aおよび11bの拡大された透視図を示す。デバイス70は第2の作動状態にある。マルチ開口撮像デバイス11aおよび/または11bは、例えば、元のハウジングサイドを超えて投影する。ビーム偏向手段18aおよび18bは、少なくとも部分的に、置き換えの動きの方向42aおよび42bに基づいて、ハウジング容積の外に動かされる。あるいは、第2の作動状態において、マルチ開口撮像デバイス11a〜11cのビーム偏向手段の一部分のみが、ハウジング22のハウジング容積の外に動かされる。
マルチ開口撮像デバイス11aおよび11bは、それぞれ、例えば、4つの光学チャンネル16a〜16dおよび16e〜16hを含む。ビーム偏向手段18aおよび18bは、それぞれ、光学チャンネル16a〜16dおよび16e〜16hの光路17a〜17dおよび17e〜17hを偏向するように構成される。以下に詳細に記述されるように、別のマルチ開口撮像デバイスは、異なる数の光学チャンネルを持つことができる。マルチ開口撮像デバイス11a〜11bは、同じまたは異なる数の光学チャンネルを持つことができる。
マルチ開口撮像デバイス11aおよび11bは、それぞれ、照明手段54a、54bおよび54c、54dを含む。照明手段54a〜54dは、少なくとも部分的に捕捉されるべき全体視野を照明するように構成され、および、捕捉されるべき全体視野(対象物エリア)の中心を照明するように構成される。実施の形態によると、照明手段54aまたは54b、および、54cまたは54dのうちの少なくとも1つは、それぞれ、照明手段54aまたは54b、および、54cまたは54dのうちの少なくとも1つが光学チャンネル16a〜16dおよび16e〜16hの中心の視方向に沿って全体視野を照明するように、配置される。全体視野は、少なくとも1つの光学チャンネル16a〜16dおよび16e〜16hによってそれぞれ捕捉される異なる部分視野を含むことができる。光学チャンネル16a〜16dまたは16e〜16hは、例えば、視方向の幾何学平均、または、視方向の中間値である。
照明手段54a〜54bおよび54c〜54dは、それぞれのマルチ開口撮像デバイス11aまたは11bのフラッシュライトとして作動され、どのような光源でも含むことができる。利点的に、光源は、例えば、光放出ダイオード(LED)として構成される。LEDは、低い絶縁体空間要件および低いエネルギー要件を持つからである。別の実施の形態によると、マルチ開口撮像デバイスは、照明手段54a〜54dを含まない、または、1つまたは2つより多く含むことができる。マルチ開口撮像デバイスの照明手段54a〜54dの数は、デバイスの他のマルチ開口撮像デバイスと異なる、または、同じである。照明手段54a〜54dのうちの少なくとも1つは、いくつかの視野を照明するように構成される。そのようにして、光は、例えば、照明手段によって選択的に1つまたはいくつかの方向に放出される。照明手段は、マルチ開口撮像デバイスの少なくとも2つの視方向に沿って光を放出する。このため、照明手段は少なくとも2つの光源を含む。光源はデバイスの反対側に光を放出する。例えば、1つの光源が、それぞれ搬送支持体47の上側と底側、前側と後ろ側、および/または、左側と右側に搭載される。そこでは、選択された配向、およびそれゆえ、ビーム偏向手段18の作動状態に従って捕捉されるべき視野を阻害し、その方向に光を放出する、その側の光源だけが使われる。用語の左または右だけでなく、上記前および後ろおよび上および底は、空間のそれぞれの配向で相互に交換可能なので、説明目的のためのみに役立ち、制限する感覚で理解されるべきでない。これは、例えば、光源54iが搬送支持体47bの前および後ろに配置され、ビーム偏向手段18bの位置に依存して、それぞれの光源が使われる、ことを意味する。他の反対側の光源は使われないままである。
例えば、照明手段54aおよび54bが、マルチ開口撮像デバイス11aのビーム偏向手段18aと画像センサー12aとの間に配置される。ビーム偏向手段18は、照明照射、例えば、照明手段54aおよび54bによって放出されたフラッシュ光を偏向するように構成される。照明手段54a〜54bは、ハウジング容積の内側のデバイス70の第1の作動状態および第2の作動状態に配置される。照明照射は、光路17a〜17dの少なくとも一部分である。説明したように、例えば、マルチ開口撮像デバイス11bに対して、照明手段54cおよび/または54dは、搬送支持体47bのビーム偏向手段の横の傍に配置される。照明手段54cおよび54dは、置き換えの動き42bによって、ハウジング22の中に、または、ハウジング22の外に動かされる。照明手段はデバイス70の文脈の中で記述されるけれども、ここで記述された他のデバイスまたはマルチ開口撮像デバイスも照明手段を含むことができる。
照明手段54cおよび54dは、搬送支持体47aに機械的に接続され、従って、第1の作動状態において容積42内に配置され、それゆえ、ユーザーに対して見えない態様で配置される。代わりおよび/または追加して、照明手段54aおよび54bは、ハウジング22の内側に固定の態様で配置される。搬送支持体47bの動きは、照明手段54cおよび54dの動きをもたらす。
ビーム偏向手段18aおよび18bと共に、光学系16a〜16dまたは16e〜16f、および、好ましくは画像センサー12aおよび12bは、それぞれ、搬送支持体47aおよび47bの動きによって、ハウジング容積の外に動かされる。
すなわち、追加の照明(フラッシュ光)を実現化するためのLEDは、可動部材に搭載される。ここで、LEDは、LEDがチャンネルの中心方向に放射し、ビーム偏向手段が照射を偏向するために使われる別のエリアを提供できるように、配置される。
図17は、第2の作動状態を含む実施の形態に従うデバイス90の概要透視図を示す。ビーム偏向手段18は、搭載要素56aおよび56bによってマルチ開口撮像デバイスに接続している。搭載要素56aおよび56bは搬送支持体の一部である。
図18aは、第1の作動状態の実施の形態に従うデバイス100の概要斜視図を示す。カバー32は、ハウジングの主要サイドおよび/またはハウジングの2次的なサイドと共に1つの面(例えば、ハウジングの平面サイド22c)を形成する。カバー32とハウジングサイド22cとの間に移り変わりがない、または、殆んど目立たないように、無ギャップ、または、約1mm以下、0.5mm以下または0.1mm以下の小さいギャップのみが、カバー32とハウジングサイド22cとの間に配置される。簡単に言うと、カバー32は見えなくてもよい。
図18bは、第2の作動状態のデバイス100の概要図を示す。ビーム偏向手段18は、ハウジング容積の外側の第2の位置を含む。外側から見ると、拡張されたマルチ開口撮像デバイスは、全てのサイドの不活動なハウジングフレームによって囲まれ、および/または、ボタンのような外観を持つ。デバイス100は、例えば、バネ力に基づいてビーム偏向手段がハウジング22の外へ動かされるように、図18aに従うカバー32の上を機械的に押して、機械的ロックを解除するように構成される。機械的圧力は、例えば、アクチュエーターによって、および/または、指圧力などによるユーザーによって生成される。ビーム偏向手段は、アクチュエーターによって、または、機械的圧力によって第2の位置から再び第1の位置に動かされ、そこでロックを作動する。アクチュエーターは、例えば、アクチュエーター33または33’である。言い換えると、動きは、ユーザーが自発的に部材または全体システムをそれぞれ引き込むまたは拡張して、折り畳むまたは拡げるように、手動でも実行できる。動きは、特に、手動操作およびばね力の効果の結合である。そのようにして、ユーザーは、カメラのスイッチを切るために、部材または全体システムを、それぞれ、スマートフォンなどのデバイスのハウジングの中に手動で折り畳むまたは移行する。それによって、ばねおよびロック機構を押すことは、この位置を維持する。例えばスマートフォンの適切なソフトウェアによってカメラのスイッチを入れるとき、切り換え可能なロッキング機構が、電気的リレーなどの適切な制御可能な機構によって解除され、ばねのばね力が、カメラの部材および全体システムの拡張および拡がりをそれぞれもたらす。さらに、このカバーの(指)圧がロックを解除し、部材または全体システムがそれぞれ拡張または拡がり、そして、好ましくは、デバイスの画像捕捉ソフトウェアが開始するように、ハウジングの部材を形成しているカバー、拡張可能なおよび/または傾け可能な部材、および/または、それらに基づいた別の機構が実施される。横の面のハウジングの一部分を形成する共動カバーは、外から見える不活動のハウジングによって全てのサイドが囲まれる、または、全体の高さ(=ハウジングの厚み方向)を横切る横の面を遮る。
図18cは、継続的なギャップがハウジング22の主要なサイドの間の2次的なサイド22cに形成されるように、カバー32が形成される、図18aの代わりの概要説明図を示す。これは、図18aの中で説明した4つのギャップの代わりに2つのみのギャップがハウジング22の中に知覚されることを可能にする。拡張可能なまたは拡がり可能なカバー32、および/または、別のカバーは、平らなハウジングの1つまたはいくつかの横の面に、ハウジング22の部材として形成される。
以下において、実施の形態に従って使われるように、参考が、マルチ開口撮像デバイスのいくつかの可能な実施の形態のために作られる。
図19a〜図19cは、本発明の実施の形態に従うマルチ開口撮像デバイス11を示す。図19a〜図19cのマルチ開口撮像デバイス11は、並列された光学チャンネル16a〜16dの単一ラインのアレイ14を含む。それぞれの光学チャンネル16a〜16は、画像センサー12のそれぞれに割り当てられた画像センサーエリア58a〜58dに、デバイス11の全体視野72のそれぞれの部分視野74a〜74dを投影するための光学系64a〜64dを含む。画像センサーエリア58a〜58dは、例えば、それぞれの画素アレイを含む1つのチップをそれぞれ形成される。チップは、図19a〜図19cにおいて示されるように、共通の基板および共通のプリント回路基板62にそれぞれ搭載される。あるいは、画像センサーエリア58a〜58dが、画像センサーエリア58a〜58dを横切って継続的に拡張している共通の画素アレイの部材をそれぞれ形成されることも可能である。共通の画素アレイは、例えば、単一のチップに形成される。例えば、共通の画素アレイの画素値のみが、画像センサーエリア58a〜58dに読み出される。これらの選択肢の異なる混合物は、2つ以上のチャンネルのための1つのチップの存在、および、再度の他のチャンネルまたは同じチャンネルのための別のチップの存在なども可能である。画像センサー12のいくつかのチップの場合において、それらのチップは、例えば全て一緒にまたはグループにまたは同じように、1つまたはいくつかのプリント回路基板に搭載される。
図19a〜図19cの実施の形態において、4つの光学チャンネル16a〜16dが、互いの傍の単一ラインにおいて、アレイ14のライン拡張方向に配置されるけれども、数字の4は単に例示的で、1より大きいどのような他の数でもよい。その上、アレイ14は、ライン拡張方向に沿って拡張する別のラインも含む。
光学チャンネル16a〜16dのそれぞれの光軸および光路17a〜17dは、画像センサーエリア58a〜58dと光学系64a〜64dとの間に互いに平行に走る。このため、画像センサーエリア58a〜58dは、例えば、共通の面に配置され、光学系64a〜64dの光学中心も、共通の面に配置される。両者の面は、互いに平行している、すなわち、画像センサーエリア58a〜58dの共通の面に平行である。さらに、画像センサーエリア58a〜58dの面に垂直な投影において、光学系64a〜64dの光学中心は、画像センサーエリア58a〜58dの中心と一致する。すなわち、これらの平行した面において、一方の光学系64a〜64dおよび画像センサーエリア58a〜58dは、ライン拡張方向に同じ繰り返し距離で配置される。
画像センサーエリア58a〜58dと割り当てられた光学系64a〜64dとの間の画像側距離は、画像センサーエリア58a〜58dの上の投影が望ましい対象物距離に設定されるように、調整される。距離は、例えば、光学系64a〜64dの焦点距離に等しいまたはより大きい範囲、または、光学系64a〜64dの焦点距離の1倍と2倍との間の範囲であり、両方含まれる。画像センサーエリア58a〜58dと光学系64a〜64dとの間の光軸17a〜17dに沿った画像側距離は、また、ユーザーによる手動で、または、自動焦点制御を介して自動などで調整される。
追加の手段無しで、光学チャンネル16a〜16dの部分視野74a〜74dは、光路および光軸17a〜17dの平行関係のため、それぞれ本質的に完全に重複する。より大きい全体視野72をカバーするために、部分視野74a〜74dが空間において単に部分的に重複するように、ビーム偏向手段18が提供される。ビーム偏向手段18は、チャンネルそれぞれの逸脱によって全体視野の方向76に、光路17a〜17dおよび光軸をそれぞれ偏向する。全体視野の方向76は、例えば、アレイ14のライン拡張方向に垂直な面と平行に、および、ビーム偏向の前および無しの光軸17a〜17dのコースと平行に走る。例えば、全体視野の方向76は、>0°および<180°であり、例えば80°と100°との間であり、例えば90°である角度によって、ライン拡張方向の周りの回転によって光軸17a〜17dから結果として生じる。従って、部分視野74a〜74dの全体のカバーに対応しているデバイス11の全体視野は、光軸17a〜17dの方向の、画像センサー12とアレイ14との直列接続の拡張の方向にない。しかし、ビーム偏向のために、全体視野は、デバイス11の取付け高さが測定される方向の、すなわち、ライン拡張方向と垂直な横方向の、画像センサー12およびアレイ14の側にある。さらに、ビーム偏向手段18は、上述された方向76を結果として生じる偏向からのチャンネルそれぞれの逸脱によって、それぞれの光路、および、それぞれの光学チャンネル16a〜16dの光路をそれぞれ偏向する。このため、ビーム偏向手段18は、それぞれのチャンネル16a〜16dのための反射面68a〜68dを含む。反射面68a〜68dは互いについてわずかに傾斜する。反射面68a〜68dの相互の傾きは、ビーム偏向手段18によるビーム偏向の間、部分視野74a〜74dが部分的にのみ重複するように、部分視野74a〜74dがわずかな分岐を提供されるように選ばれる。ここで、図19aに例示されるように、それぞれの偏向も、部分視野74a〜74dが、二次元の態様の全体視野72をカバーする、すなわち、全体視野72の二次元的に配布された態様で配置されるように、設計される。
デバイス11に関して記述された詳細の多くが、単に例示的に選択された、ことは注目するべきである。これは、既に、例えば光学チャンネルの上述の数に関係した。ビーム偏向手段18も、上記とは異なって形成できる。例えば、ビーム偏向手段18は必ずしも反射的ではない。ビーム偏向手段18は、また、透明なプリズムウェッジの形式など、面鏡の形式とは異なって実施される。その場合、例えば、平均ビーム偏向は0°である、すなわち、方向76は、例えば、ビーム偏向の前または無しの光路17a〜17dに平行である、または、言い換えると、デバイス11は、ビーム偏向手段18にもかかわらず「先をまっすぐに見なさい」と静める。ビーム偏向手段18によるチャンネルそれぞれの偏向は、部分視野74a〜74dの空間の角度範囲に関して重複<10%を持つペアのように、部分視野74a〜74dが単にわずかに重複する効果を再び持つ。
また、光路および光軸は、それぞれ、記述された平行関係から逸脱してもよい。マルチ開口撮像デバイス11によってより大きい全体視野をカバーするために、ビーム偏向手段18が、N個の光学チャンネル16a〜Nの部分視野が少なく重複するように、追加の分岐を持つ光路を提供するように、光学チャンネルの光路の平行関係は、それぞれのチャンネル16a〜Nによってカバーされ、かつ、それぞれの画像センサーエリア58a〜58dに投影される部分視野は、大抵、別の手段(すなわち、ビーム偏向)無しで重複するように、明瞭に静めることができる。ビーム偏向手段18は、例えば、全体視野が光学チャンネル16a〜Nのそれぞれの部分視野の開口角度の1.5倍より大きい開口角度を持つという効果を持つ。光路17a〜17dの前分岐の幾つかの分類によって、例えば、全ての面の傾きが異なるわけではなく、チャンネルのいくつかのグループが同じ傾きを持つ面を持つことも可能である。後者は、そのとき、事実上、ライン拡張方向に隣接したチャンネルのこのグループに割り当てられる1つの面として、それぞれ、統合して形成され、継続的に結合される。これらのチャンネルの光軸の分岐は、そのとき、それが、光学系の光学中心と、チャンネルまたはプリズム構造または非中心のレンズ区画の画像センサーエリアとの間の横のオフセットによって得られるように、これらの光軸の分岐から端を発する。前分岐は例えば1つの面に制限される。それぞれビーム偏向の前にまたは無しで、光軸は例えば共通の面を走るけれども、共通の面内で分岐する。面は、他の垂直な面における追加の分岐にのみ効果がある。すなわち、面は、ライン拡張方向に対して全て平行であり、上記の光軸の共通面から単に変化して互いについて傾いている。ここで、再び、いくつかの面が、同じ傾きを持つ、または、例えば、ビーム偏向の前におよび無しのペアの光軸の既に上述した共通の面において、光軸が異なるチャンネルのグループに一緒に割り当てられる。
ビーム偏向手段を省略するとき、または、平面の鏡または同様のものとして、ビーム偏向手段を実施するとき、全体の分岐が、一方の光学系の光学中心と他方の画像センサーエリアの中心との間の横のオフセットによって、または、プリズム構造または非中心のレンズ区画によって遂行される。
上述の好ましくは存在する前分岐は、例えば、光学系の光学中心がライン拡張方向に沿ってまっすぐなラインにある、ということで得られる。一方、画像センサーエリアの中心は、チャンネルそれぞれの態様において、ライン拡張方向に沿って、および/または、ライン拡張方向および画像センサーの法線の両方に垂直な方向に沿って、画像センサー面の上記まっすぐなラインの上のポイントから逸脱するポイントの上など、画像センサー面のまっすぐなラインの上のポイントの上の、画像センサーエリアの面の法線に沿って、光学中心の投影から逸脱して配置される。あるいは、前分岐は、画像センサーの中心がライン拡張方向に沿ってまっすぐなラインにある、ということで得られる。一方、光学系の中心は、チャンネルそれぞれの態様において、ライン拡張方向に沿って、および/または、ライン拡張方向および光学系の中心面の法線の両方に垂直な方向に沿って、光学系の中心面の上記まっすぐなラインの上のポイントから逸脱するポイントの上など、光学系の中心面のまっすぐなラインの上のポイントの上の、光学系の光学中心の面の法線に沿って、画像センサーの光学中心の投影から逸脱して配置される。上記それぞれの投影からのチャンネル個々の逸脱が、ライン拡張方向に単に走る、すなわち、共通の面の中の光軸が前分岐によって単に提供されるときは好ましい。光学中心と画像センサーエリア中心との両方は、その時、ライン拡張方向に平行であるけれども、間に異なるギャップを持つまっすぐなラインの上にある。ライン拡張方向に垂直な横方向のレンズと画像センサーとの間の横のオフセットは、比較において、取付け高さの拡大を結果として生じる。ライン拡張方向の純粋な面内オフセットは、取付け高さを変更しないけれども、好ましくは、少ない面を結果として生じる、および/または、面は構造を簡素化する1つの角度配向の傾きだけを持つ。
これは、共通の支持体に保持された光学系の場合のために、図19dおよび図19eに例示的に説明される。一方の隣接チャネル16aと16b、および、他方の隣接チャネル16cと16dは、それぞれ、共通の面を走り、互いについて斜視であり、すなわち、前分岐によって提供された、光軸17aと17bと17cと17dを含む。面のそれぞれのペアの間の点線によって示されるように、面68aと68bは一つの面によって形成され、面68cと68dは別の面によって形成される。2つの面だけが、1つの方向にのみ傾き、両方ともライン拡張方向に平行である。それぞれの面が、空間の方向に1つの傾きのみを含むことも可能である。
さらに、それぞれの部分視野がこれらのチャンネルによって走査されることによって解像度を増加させるための高解像度の目的など、いくつかの光学チャンネルが、同じ部分視野に割り当てられることが提供される。そのようなグループ内の光学チャンネルは、その時、例えばビーム偏向の前に平行に走り、1つの面によって部分視野の上で偏向される。有利的に、グループのチャンネルの画像センサーの画素画像は、このグループの異なるチャンネルの画像センサーの画素の画像の間の中間的な位置にある。
高解像度の目的が無くても、単にステレオスコープの目的のために、直ぐ隣接するチャンネルのグループが、それらの部分視野によってライン拡張方向の全体視野を完全にカバーし、かつ、直ぐ隣接するチャンネルの別のグループも、全体視野と、基板および支持体66を通過する両方のチャンネルグループの光路とをそれぞれ完全にカバーする、実施が可能である。これは、マルチ開口撮像デバイスが、全体視野を好ましくは完全に捕捉するように構成される第1の複数の光学チャンネルを含む、ことを意味する。マルチ開口撮像デバイスの第2の複数の光学チャンネルも、全体視野を好ましくは完全に捕捉するように構成される。このように、全体視野は、第1の複数の光学チャンネルおよび第2の複数の光学チャンネルによって、少なくともステレオスコープ的に捕捉される。第1の複数の光学チャンネルおよび第2の複数の光学チャンネルは、共通の画像センサーに突き当たる、共通のアレイ(アレイ光学系)を使う、および/または、共通のビーム偏向手段によって偏向される。それぞれのカメラのアレイと比較して、例えばフォーカスおよび/または画像安定に関して、1つのデバイスとして一緒に制御される、連続するアレイカメラが形成される。連続するアレイカメラは、全てのチャンネルが、同じアクチュエーターを使って同時に影響されるので有利である。さらに、モノリシック構造から、特に温度変化の間、全体のアレイの機械的安定性に関して利点が結果として生じる。これは、ステレオ、トリプル、クワトロなどの、チャンネル16の異なる複数によって全体視野の多重走査を持つシステムにおける使用の間に三次元の対象物データを得るためだけでなく、それぞれのチャンネルの部分画像からの全体画像の組み立てのために有利である。
以下の議論は、レンズ面が画像センサーエリア58a〜58fの共通面に平行した光学系64a〜64dを扱う。以下に記述するように、光学チャンネル16a〜16dの光学系64a〜64dのレンズは、1つまたはいくつかのレンズホルダーを介して基板66の主要サイド66aに搭載され、基板66を介して互いに機械的に接続される。特に、光学チャンネル16a〜16dの複数の光路17a〜17dは、基板66を通過して走る。従って、基板66は、少なくとも部分的に透明な素材で形成され、平らな形状である、または、例えば平らな主要サイド66a、および、平らである反対の主要サイド66bを持つ平行六面体のまたは別の凸面のボディの形状を持つ。主要サイドは、好ましくは光路17a〜17dに垂直に位置する。以下に説明するように、実施の形態によると、純粋な平行六面体形状からの逸脱が起こる。それは、基板を持つ光学系のレンズの不可欠な構成に基づく。
図19a〜図19cの実施の形態の中の平らな支持基板66は、例えば、ガラスまたはポリマーの基板である。例えば、支持基板66はガラスプレートを含む。基板66の素材は、高い光学透明、および、低い温度係数、または、硬さまたは弾力性または捩じりモジュールなどのさらに機械的特性の面に従って選ばれる。
基板66は、基板66に直接に搭載されるどのような追加のレンズ無しの、光路の簡素な平らな部分として形成される。さらに、開口またはストレイ光ダイヤフラムなどのダイヤフラム、および/または、IRブロックフィルタなどのフィルタ層が、基板の表面に搭載される、または、ダイヤフラムおよびフィルタ層が搭載される表面の異なる基板のいくつかの層から成る。それは、例えば、それらのスペクトル吸収に関して、チャンネルからチャンネルに再び異なる。
基板66は、特定の非一定の吸収において、画像センサーによって捕捉される電磁スペクトルの異なるエリアにおいて異なる特徴を持つ素材から成る。
図19a〜図19cの実施の形態において、それぞれの光学系64a〜64dは3つのレンズから成る。しかし、レンズの数は自由に選択可能である。数は、1、2またはどのような他の任意の数もある。レンズは凸面であり、球面、非球面または自由なエリアなどの、単に1つの光学的に投影機能的なエリアを含む、または、例えば凸面または凹面レンズ形状を結果として生じるための2つの反対のエリアを含む。また、いくつかの光学的に効果的なレンズエリアが、いくつかの素材のレンズを構造化することなどによって可能である。
図19a〜図19cの実施の形態において、それぞれの光学チャンネル16a〜16dの第1のレンズ78a〜78dまたは光学系は、主要サイド66aに形成される。レンズ78a〜78dは、例えば基板66の主要サイド66aにモールドされることによって生産され、例えばUVキュアー可能なポリマーなどのポリマーから成る。モールドは、例えば、モールド治具によって行われ、アニーリングは例えば、温度および/またはUV照射を介して行われる。
図19a〜図19cの実施の形態において、それぞれの光学系64a〜64dは、さらに、第2のレンズ82a〜82dおよび第3のレンズ84a〜84dをそれぞれ持つ。例示的に、これらのレンズは、それぞれのレンズホルダーの内側のチューブ状のレンズホルダー86a〜86dを軸方向に走ることを介して相互に固定され、接着または別の結合技術などによって後者を介して主要サイド66bに固定される。レンズホルダー86a〜86dの開口88a〜88dは、例えばレンズ82a〜82dと84a〜84dがそれぞれ搭載される円筒の内側の円形断面によって提供される。従って、それぞれの光学系64a〜64dに対して、レンズは、光路17a〜17dのそれぞれの光軸に同軸である。レンズホルダー86a〜86dは、それらの長さを横切ってそれぞれの光軸に沿って変化する断面も持つ。ここで、断面は、画像センサー12との距離が減少するに従って、ますます矩形または四角い特徴を持つ。従って、レンズホルダーの外側の形状は、開口の形状と異なる。レンズホルダーの素材は、光吸収体である。図11dおよび図11eの文脈において上記した斜視の光学系によると、レンズホルダーは、非回転対称および/または非同軸態様で構成される。
上記のレンズホルダーを介しての搭載は、例えば、レンズのレンズ頂点がレンズホルダーによって保持され、基板66から離れて間隔を置くように行われる。
既に上述したように、基板66が両面で平面であり、それゆえ屈折のパワー効果がないことが可能である。しかし、基板66が、例えばそれぞれのレンズまたはハウジング部材を接続する、接続されるべき部材の容易に形に適合する、および/または、力に適合する配置を可能にする、凹部または凸部などの機械的な基板を含むことも可能である。図19a〜図19cの実施の形態において、例えば、基板66は、それぞれの光学系64a〜64dのレンズホルダー86a〜86dのチューブのそれぞれの終端が設置される位置で、設置を容易にする、または、主要サイド66bの配向を容易にする構造を持つ。これらの構造は、例えば、円形凹部、または、それぞれのレンズホルダー84a〜84dのサイドが係止することができる、基板に面しているそれぞれのレンズホルダーのサイドの形状に対応する異なる形状を持つ凹部である。他の開口断面、および、それゆえ、対応して好ましくは円形レンズ開口より他のレンズ開口が可能であることが、再び強調されるべきである。
従って、図19a〜図19cの実施の形態は、それぞれのレンズ、および、それぞれのレンズを保持するためのもの、および、それらを完全に囲む不透明なハウジング支持体を含むカメラモジュールの従来の構造を持たない。むしろ、上記の実施の形態は、基板支持体として透明なボディ66を使う。透明なボディ66は、いくつかの隣接する光学チャンネル16a〜16dを、それらの投影する光路によって侵入されるように横切って拡張する。透明なボディ66は投影を妨げないけれども、取付け高さも増加させない。
しかし、図19a〜図19cの実施の形態を変えることに対して、異なるオプションが注目されるべきである。例えば、基板66は、必ずしもマルチ開口撮像デバイス11の全てのチャンネル16a〜16dを横切って拡張する必要はない。上記したものに反して、それぞれの光学系64a〜64dは、図19fにおいて説明したように、両サイド66aおよび66bのレンズホルダーによって保持されたレンズを含むことが可能である。
また、別のサイド66a(すなわち、画像センサー12から離れて面している基板66のサイドであって、同じサイド66aに面しているサイドではない)のレンズ82a〜82dおよび/または84a〜84dの提供だけでなく、主要サイド66aのレンズ82e〜82hのみ、すなわち、他のサイド66bのレンズ82a〜82dおよび/または84a〜84d無しの存在が可能である。が可能である。また、レンズ支持体86a〜86hのレンズの数は、自由に選ばれる。従って、単に1つのレンズ、または、2つを超えるレンズが、1つのそのような支持体86a〜86hに存在する。図19fに示されるように、レンズは、それぞれのレンズ支持体86a〜86dおよび86e〜86hを介して、両サイド66aおよび66bに、または、それぞれのサイド66aおよび66bに設置される。
図20は、図19a〜図19cのマルチ開口撮像デバイス11が、以下に記述する1つまたはいくつかの追加の手段によって補われる、ことを例示的に示す。
例えば、図20は、手段92が、アレイ14のライン拡張方向に平行である回転軸44の周りのビーム偏向手段18を回転させるために存在する、ことを示す。回転軸44は、例えば、光路17a〜17dの面内にある、または、光学系64a〜64dの直径の4分の1より小さい分だけ光路17a〜17dの面から遠く離れている。あるいは、回転軸が1つ未満の光学系直径または4つ未満の光学系直径など、さらに離れていることも可能である。手段92は、例えばユーザーによるマルチ開口撮像デバイス11の搖動を補償するために、1°未満または10°未満または20°未満の範囲内などの小さな角度範囲のみにおいて、短い応答時間でビーム偏向手段18を回転させるために提供される。この場合において、手段92は画像安定制御によって制御される。
代わりにまたは追加して、手段92は、より大きい角度調整によって部分視野74a〜74d(図19a)の全体のカバー範囲によって定義された全体視野の方向を変更するように構成される。ここで、全体視野が、例えば、両面で反射する鏡アレイとしてビーム偏向手段18を形成して、デバイス11に対して相対的に反対方向に配置されるビーム偏向手段18の回転によって偏向を得ることは、さらに可能である。
また、代わりにまたは追加して、デバイス11は、基板66および基板66自身によって光学系64a〜64dを置き換え的に、それゆえ、光学系64a〜64dをライン拡張方向に沿ってそれぞれ動かすための手段94を含む。手段94は、例えば、ライン拡張方向に沿う動き96によって、鏡偏向デバイス18の回転によってもたらされた画像安定化に対して画像安定化横断を得るために、上記の画像安定制御によって制御される。
さらに、追加してまたは代わりに、デバイス11は、視野の奥行きの調整を得るために、画像センサー12と光学系64a〜64dとの間、および、画像センサー12と支持体66との間の画像側距離を、それぞれ変更するための手段98を含む。手段98は、手動のユーザー制御によって、または、デバイス11の自動フォーカス制御およびフォーカス化手段によってそれぞれ制御される。
従って、手段94は基板66のサスペンションとして役立ち、好ましくは、図20に示されるように、取付け高さを増加させないために、ライン拡張方向に沿って基板66の傍に横に配置される。また、手段92および手段98は、好ましくは、取付け高さを増加させないために光路の面に配置されることは、手段92および手段98に当てはまる。手段98は、また、画像センサー12および光学系64a〜64dに接続し、画像センサー12と光学系64a〜64dとの間の画像側距離を変更するとき、光学系64a〜64dとビーム偏向手段18との間の距離が、本質的に一定、または、一定を維持するように、画像センサー12と光学系64a〜64dとを同時にまたは殆んど同時に動かすことができる。手段92、94および/または98は、空気の、油圧の、圧電気のアクチュエーター、DCモーター、ステップモータ、熱アクチュエーター、静電気アクチュエーター、電気歪および/または磁気歪アクチュエーター、または、ドライブに基づいて実施される。
光学系64a〜64dが、既に述べた透明な基板などを介して、一定の相対的位置に相互に保持されるだけでなく、好ましくは取付け高さを増加させないで、かつ、好ましくは構成要素12、14および18の面、および、光路の面をそれぞれ走る適切なフレームなどを介して、ビーム偏向手段に対して相対的に保持される、ことは注目されるべきである。相対位置の一貫性は、手段98が例えば光軸に沿ってビーム偏向手段と共に光学系64a〜64dを置き換え的に動かすように、光軸に沿う光学系とビーム偏向手段との間の距離に制限される。光学系とビーム偏向手段との間の距離は、チャンネルの光路がビーム偏向手段18の区分によって横に制限されないように、最小距離に設定される。それは取付け高さを減らす。それゆえ、さもなければ、区分68a〜68dが、光路を限定しないために、横の拡張に関して最も大きい光学系とビーム偏向手段との間の距離に対して寸法を測る必要がある。さらに、上記フレームの相対的位置の一貫性は、手段94がライン拡張方向に沿ってビーム偏向手段と共に光学系64a〜64dを置き換え的に動かすように、x軸に沿って互いに堅い態様で、光学系およびビーム偏向手段を保持できる。
光学チャンネルの光路を偏向するための上記ビーム偏向手段18は、マルチ開口撮像デバイス11の光学画像安定化制御のビーム偏向手段18の回転の動きを生成することを、2次元の、すなわち基板66の置き換えの動きによる、画像および全体視野の安定化、および、ライン拡張方向に対して本質的に平行に走る第1の画像軸に沿う画像安定化、および、ビーム偏向手段18の回転の動きを生成することによって、ビーム偏向前のおよび無しの光軸に対して本質的に平行、または、偏向された光軸が考慮されるとき、光軸およびライン拡張方向に垂直に走る第2の画像軸に沿う画像安定化をアクチュエーター92と共に可能にする。さらに、記述された配置は、フォーカス調整およびそれゆえ自動フォーカス機能を実現するために使われる、記述されたアクチュエーター98などによって、ライン拡張方向に対して垂直な述べられたフレームに固定されたビーム偏向手段とアレイ14の置き換え的動きをもたらす。
第2の画像軸に沿う画像安定化を得るための回転の動きの代わりにまたは追加して、画像センサー12とアレイ14との間の置き換えの相対的動きも実施される。この相対的動きは、例えば手段94および/または手段98によって提供される。
完全性のために、デバイスが、画像センサーエリアを介して、画像センサーエリアにチャンネルによって投影される、チャンネルごとに1つの場面の1つの画像を捕捉するとき、デバイスは、全体視野の場面に対応する全体画像に、画像を取付けまたは結合し、および/または、奥行きマップを生成するために、および、再フォーカス化(実際の捕捉の後に画像鋭さ領域を決定すること)、オールインフォーカス画像、仮想緑色スクリーン(前景と背景との分離)などのソフトウェア実現化のために、対象物場面の3D画像データおよび奥行き情報などの追加のデータを提供するプロセッサを任意に持つことができる、ことは上記記述について注目されるべきである。後者の仕事は、また、プロセッサまたは外部的により実行される。プロセッサは、しかしながら、マルチ開口撮像デバイスの外部の構成要素も代表する。
図21aは、前記選択肢のデバイス11が、例えば、携帯電話、スマートフォンまたはメディアプレーヤーなどの、携帯デバイス130の平らなハウジングの中に取り付けできることを示す。例えば、画像センサー12と画像センサーエリアの面のそれぞれ、および、光学チャンネル16の光学系のレンズ面は、平らなハウジングの平らな拡張方向に垂直に、および、厚さ方向に平行にそれぞれ配向する。そのようにして、例えば、ビーム偏向手段18は、マルチ開口撮像デバイス11の全体視野が、例えばモニターも含むハウジングの前側102の前にあるという効果を持つ。あるいは、偏向は、視野が前側102と反対の平らなハウジングの後ろ側の前であることも可能である。デバイス130のハウジング22およびデバイス自身は、それぞれ、ハウジングの中のデバイス11の説明された位置のため、ハウジングの厚さに平行であるデバイス11の取付け高さは低く維持されるので、平らである。スイッチ切り換えも、窓がサイド102とは反対側に提供され、例えば、ビーム偏向手段が2つの位置の間を動くように提供される。後者は、例えば、前および後ろを映し、1つの位置から別の位置に回転する鏡として、または、一方の位置のための面のセットおよび他方の位置のための別の面のセットを持つ面鏡として実施される。面のセットは、ライン拡張方向に互いの傍にあり、ライン拡張方向に沿って、ビーム偏向手段を前後に置き換え的に動くことによって起こる位置の間で切り換わる。異なる好ましくは車などの非携帯デバイスへのデバイス11の取付けも可能である。
それらのチャンネルの部分視野が完全に任意に適合さえして同じ視野をカバーする、いくつかのモジュール11が、ステレオスコープの目的などのために、両方のモジュールに対して同じであるライン拡張方向に沿って、基本距離BA(図15参照)を持って互いにデバイス130の中に取り付けられる。2つを超えるモジュールも可能である。モジュール11のライン拡張方向は、また、非同線形であり、単に、互いに平行である。しかし、上述したように、デバイス11およびモジュールも、それぞれ、チャンネルがグループの同じ全体視野を完全にカバーするように、チャンネルと共に提供される、ことは再び注目するべきである。モジュールは、デバイスの1つ/いくつかの列/行、または、どのような位置でも配置される。いくつかのモジュールが配置されるとき、いくつかのモジュールは同じ態様で、または、異なって形成される。第1のモジュールは、例えば、全体視野のステレオスコープの捕捉を実行するように構成される。第2のモジュールは、簡単な捕捉、ステレオスコープの捕捉またはより高次な捕捉を実行するように構成される。
代わりの実施の形態において、ビーム偏向手段も、上記実施の形態に比べて省略される、ことは注目するべきである。使用の部分視野の部分的な相互の重複のみが望まれるとき、これが、例えば、画像センサーエリアの中心とそれぞれのチャンネルの光学系の光学中心との間の相互の横のオフセットを介して得られる。明らかに、図20に従うアクチュエーターはまだ使われる。手段92の代用品として、例えば、アクチュエーター94が、光学系および支持体66をそれぞれ置き換え的に動かすために追加可能である。
また、すなわち、上記実施の形態は、マルチ開口撮像デバイスの光路の中のどこかで、チャンネルを横切って延びている、例えばガラスまたはポリマーの基板が、安定性を改善するために延びる、並列された光学チャンネルの単一ラインのアレイを持つマルチ開口撮像デバイスを示す。さらに、基板は前および/または後ろ側にレンズを含む。レンズは、(ホットスタンピングなどによって生産された)基板の素材で作られる、または、その上にモールドされる。基板の上でなく、それぞれに設置される別のレンズは、基板の前および後ろにある。いくつかの基板は、ライン拡張方向に垂直なだけでなく沿って共に、1つの構造の中に存在する。ここで、レンズを持ついくつかの基板を光路に沿って直列に接続すること、すなわち、どのような結合活動の要求無しのフレームなどを介して、異なる態様で、互いの予め決定された位置関係において、いくつかの基板を保持することも可能である。そのようにして、2倍の主要サイドは、上記の例に従ってレンズが載せられる基板66のように、支持基板として使われ、レンズを提供または設置するために利用可能である。ここで、例示的に図19bに従って、基板は、上記実施の形態に従ってレンズを、すなわち、他の間で、レンズホルダーを介して主要サイド66aおよび/または66bに設置されるレンズを載せられる。しかし、ここで、例えば、注入モールドまたは同様のものによって、例示的に説明され、必須的に生産され、その結果、レンズが両サイド66aおよび66bに形成される。しかしながら、平行六面体の形状の基板66の素材と異なる素材のモールドされたレンズも、サイド66aまたは66bのうちの1つのみのレンズと同様に可能である。両方の基板は、透明で、主要サイド66aおよび66bを通過して光路によって侵入される。従って、上記実施の形態は、単一ラインのチャンネル配置を持つマルチ開口撮像デバイスの形式で実施される。それぞれのチャンネルは、全体視野の部分視野を送信し、部分視野は部分的に重複する。3D画像捕捉のためのステレオ、トリプル、クワトロなどの構造のいくつかのそのようなマルチ開口撮像デバイスを持つ構造が可能である。ここで、複数のモジュールは、1つの隣接するラインとして実施される。隣接するラインは、同一のアクチュエーターおよび共通のビーム偏向要素を使う。好ましくは光路内に存在する1またはいくつかの機械的な実施基板が、ステレオ、トリプル、クワトロ構造を形成できる全てのラインを横切って拡張できる。高分解度の方法が使われる。いくつかのチャンネルは同じ部分画像エリアを投影する。光軸も、より少ない面がビーム偏向ユニットに必要とされるように、ビーム偏向手段無しの分岐態様で、既に走ることができる。そして、有利に、面は、1つの角度構成要素のみを持つ。画像センサーは必須であり、1つの隣接する画素マトリクスのみ、または、いくつかの中断マトリクスを含む。画像センサーは、例えばプリント回路基板に並列される多くの部分センサーを含む。フォーカス化手段の自動フォーカス駆動は、ビーム偏向要素が、光学系と同期して動く、または、固定であるように実施される。前分岐が存在しないとき、実施の形態は、画像センサー12とビーム偏向手段18との間を、本質的にまたは完全に平行に走る行路を提供する。
図21bは、例えばデバイス130の中に配置される、第1のマルチ開口撮像デバイス11aおよび第2のマルチ開口撮像デバイス11bを含む概要構造図を示す。2つのマルチ開口撮像デバイス11aおよび11bは、共通のマルチ開口撮像デバイス11を形成し、共通の画像センサー12および/または共通のアレイ14を含む。単一ラインのアレイ14aまたは141、および、14bまたは142は、例えば共通のアレイ14の共通のラインを形成する。画像センサー12aおよび12bは、共通の画像センサー12を形成し、例えば、共通の基板に、および、共通のプリント回路基板または共通のフレックス基板などの共通の回路支持体に設置される。あるいは、画像センサー12aおよび12bは、異なる基板も含む。これらの選択肢の異なる結合は、また、別々の構成要素を含む別のマルチ開口撮像デバイスだけでなく、共通の画像センサー、共通のアレイおよび/または共通のビーム偏向手段18を含むマルチ開口撮像デバイスなどが可能である。それぞれの構成要素の動きが、アクチュエーターの小さい量を制御することによって、高い精度で得られること、および、アクチュエーターの間の同期が減少または防止されることは、共通の画像センサー、共通の単一ラインのアレイおよび/または共通のビーム偏向手段の利点である。さらに、高い熱平衡が得られる。代わりにまたは追加して、別のマルチ開口撮像デバイスは、共通のアレイ、共通の画像センサーおよび/または共通のビーム偏向手段も含む。マルチ開口撮像デバイス11の構造は、異なる部分マルチ開口撮像デバイス11aおよび11bの光学チャンネルが、同じ部分視野に導かれるときに、全体または部分視野のステレオスコープの捕捉のために使われる。比較できるほど、別の部分マルチ開口撮像デバイスは、ステレオより高次の捕捉が可能であるように、共通のマルチ開口撮像デバイスに統合される。
図22aは、マルチ開口撮像デバイス150の実施の形態を示す。好ましくは、画像センサーエリア58a〜58dは、共通の面、すなわち、光学チャンネル16およびそれらの光学系の画像面にそれぞれ配置される。図22aにおいて、この面は、以下の説明を簡素化するために、図22aの中に示されて符号115で提供されるデカルト座標系のz軸およびy軸によって広げられた面に例示的に平行である。
光学チャンネルの線形アレイにおいて、マルチ開口撮像デバイス150の拡張は、それが底に向かって画像センサー12および光学系64によって制限されるので、ライン拡張方向に沿ってレンズの直径より大きい。マルチ開口撮像デバイス150の最小拡張は、それが、z軸に沿って、すなわち、光学チャンネル16a〜16dの光軸および光路に沿って、光学系64に対する画像センサー12の相互配置によって決定されるので、z軸に沿う最小拡張より小さい。しかし、単一ラインのアレイとして光学チャンネル16の実施のために、同じものは、ライン拡張方向zに垂直な横方向yにおいて、マルチ開口撮像デバイスの最小拡張より大きい。後者は、y軸に沿う光学系64a〜64dの拡張が、好ましくはホルダー66を含むように、それぞれの光学チャンネル16a〜16dの横の拡張によって与えられる。
上記したように、図22aの実施の形態において、光軸17a〜17dは、図22aに示すように、例えば、光学系64a〜64dのそれぞれで、ビーム偏向手段18による偏向の前におよび無しで互いに平行である。または、光軸17a〜17dは、それから少しだけ逸脱する。画像センサーエリア58a〜58dだけでなく光学系64a〜64dの対応する中心の位置決めは、生産し易く、取付け空間を最小化することに関して好ましい。光学チャンネルの光路の平行関係は、それぞれのチャンネル16a〜16dによってカバーされ、それぞれの画像センサーエリア58a〜58dに投影される部分視野が、ビーム偏向などの別の手段無しで、それぞれ、殆んど完全に重複する効果も持つ。マルチ開口撮像デバイス150によってより大きい全体視野をカバーするために、ビーム偏向手段18の別の機能は、チャンネル16a〜16dの部分視野が少なく重複するように、光路に分岐を提供することである。
例えば、光学チャンネル16a〜16dの光路の光軸17a〜17dは、ビーム偏向手段18の前におよび手段無しで互いにそれぞれ平行である、または、全てのチャンネルを横切って平均された一直線に沿った平行した一直線に関して、光学チャンネル16a〜16dの部分視野の最小開口角度の10番目未満だけ逸脱する、と仮定される。追加の手段無しで、部分視野は大きく重複する。従って、図22aのビーム偏向手段18は、それぞれの光学チャンネル16a〜16dに対して、このチャンネルに割り当てられた、それぞれ光学的に平面であり、互いに関して傾いている反射面68a〜68dを含む。つまり、その結果、光学チャンネルの部分視野は、例えば、立体角に関して少なく重複し、光学チャンネル16a〜16dのそれぞれの部分的視野の開口角度の1.5倍より大きい開口角度を持つ全体視野をカバーする。図22aの例示的な場合において、反射面68a〜68dの相互の傾きは、例えば、z軸に沿って直線的に並列して実際に配置される光学チャンネル16a〜16dが、部分視野74a〜74dの二次元配置に従って全体視野72をカバーする、という効果を持つ。
図22aの実施の形態において、仮に、光学チャンネル16a〜16dの光軸17a〜17dの角度偏向が、ビーム偏向の前の光軸の平均された方向とビーム偏向の後の光軸の平均された方向とによって広げられた面の中で、すなわち、一方が図22aの例のzy面の中で、および、他方が後者の面に垂直で、ビーム偏向の後の光軸の平均された方向に平行に走る面で考慮されるならば、図22aの例は、ビーム偏向の後の平均された方向がy軸に対応する、例示的な場合に対応する。従って、平均して、光学チャンネルの光軸はz軸の周りのyz面で90°だけ偏向され、平均して、光軸はyz面の外に傾かない。
例えば、βx 1は、xy面の中で測定されたxz面についての面68aの傾き角度を示す。すなわち、光軸17a〜17dが走るxz面についてのz軸の周りの面68aの傾きを示す。βz 1=0°は、xz面に平行な面68aの一直線に対応する。従って、αz 1=2・βz 1が当てはまる。従って、βx 1は、xz面について傾きβz 1を持ち、かつ、z軸に沿って測定されたz軸に平行に走る面について面68aの傾き角度を定義する。従って、αx 1=2・βx 1はそれに応じて当てはまる。同じ定義は他のチャンネルに対して当てはまる:αx i=2・βx i、αz i=2・βz i。それぞれの光学チャンネルに対して、設定角度は、光学チャンネルが走り抜ける支持基板についてこのチャンネルに割り当てられた反射面の傾きの傾き角度より大きい。ここで、支持基板は、アレイ14のライン拡張方向に平行に位置決めされ、設定角度はライン拡張方向に垂直な面にある。
図22b〜図22eは、例示的にそれぞれ直線的にまたは片側のみに配置される4つの光学チャンネルのための、実施の形態に従うビーム偏向デバイスのサイド図を示す。図22b〜図22eのビーム偏向デバイス18は、図19aのビーム偏向デバイスとして使われる。そのとき、部分視野は、図19aの中で説明されたように、全体視野を時計回りに3、4、2、1とカバーしないで、時計回りに4、2、1、3の順にカバーする。面68a〜68dの傾き角度は図22b〜図22eにおいて示される。面68a〜68dの傾き角度は、上付きインデックス1−4によって区別され、それぞれのチャンネルに割り当てられる。ここで、βx 1とβx 4は0°である。支持基板の後ろ側、すなわち、面68a〜68dを提供された表面とは反対側が、符号121によって図22b〜図22eの中に示される。支持基板123の平行六面体形状の部分を形成している素材は、点線125の下である。支持基板123に追加される追加素材が、モールドし易いように小さい容積を持つことは明らかである。
支持基板123は、画像センサー12について、すなわち、光学チャンネルの光軸の平均的な方向が偏向される軸、すなわち、図22aのz軸の周りに、設定角度αx 0だけ傾いて置かれる。この設定角度は、画像センサー12に面しているビーム偏向デバイス18の表面が、光学チャンネルの光路の「粗い偏向」を既にもたらす、という効果を持つ。
ビーム偏向手段18によるそれぞれの光学チャンネルの光路の偏向の偏向角度に対して、これは、偏向角度が、支持基板123自身について光学チャンネルに割り当てられた反射面のそれぞれの傾きだけでなく、設定角度αx 0にそれぞれ基づくことを意味する。面68a〜68dのこれらの叙述された面のそれぞれの傾きは、上記のように、xy面の傾き角度、および、それに垂直な面の中の支持基板123の法線についての傾き角度によって定義される。それが当てはまるとき、それぞれのチャンネルに対して、設定角度αx 0は傾きより大きい、すなわち、全てのチャンネルに対して、αx 0>max(|βx|,|βz|)であることが好ましい。前記不均衡が、αx 0/2に対して、または、αx 0/3に対してさえ、既に満たされているときは、より一層好ましい。すなわち、ビーム偏向デバイス18の純粋な平行六面体形状に比べた追加の素材が低いように、設定角度が、面68a〜68dの傾き角度に比べて大きいときは好ましい。αx 0は、例えば、30°と60°との間をそれぞれ含んでいる。
図22b〜図22eのビーム偏向手段18の生産は、例えば、追加の素材が、モールド治具によって支持基板123にモールドされることで実行される。ここで、支持基板123は例えばガラスである。一方、そこにモールドされた追加の素材はポリマーである。別のオプションが、注入モールドまたは同様のものによって、図22b〜図22eのビーム偏向デバイス18を形成している。これは、画像センサーに面しているビーム偏向手段の表面が、少なくとも光学チャンネルに割り当てられた反射面に映される、という効果を持つ。支持基板は、例えば、図12bの文脈において記述したように旋回できる。
これまでに記述したマルチ開口撮像デバイスの構造のいくつかの面が、いわば、全体画像を捕捉する前にまたは時間に要求されるまたは瞬時の設定に関連する。図22aのマルチ開口撮像デバイス150は、例えば、画像センサーエリア58a〜58dによって捕捉された画像を、同じ時間に、上記の設定で、全体視野72の場面を表現している全体画像に結合するプロセッサ112のようなプロセッサを含む。光学チャンネル16a〜16dによって画像センサーエリア58a〜58dに投影され、後者によって捕捉された画像を、参加または結合するためのプロセッサ112によって使用されたアルゴリズムは、例えば、マルチ開口撮像デバイス150の上記構成要素の特定のパラメータを維持する仮定が、全体画像の品質が一定の仕様を満たす、または、アルゴリズムが全てに適用されるように、従うべきであるように設計される。例えば、アルゴリズムは、以下の仮定の1つまたはいくらかへの服従を仮定する。
1)x軸に沿った画像センサーエリアに対する光学系の距離は、全ての光学チャンネル16a〜16dに対して同じである。
2)部分視野74a〜74dの相対的位置、および、特に、予め決定された仕様に対応する、または、予め決定された最大逸脱より小さくそれから逸脱する部分視野74a〜74dの間の重複。
様々な理由のために、上述の仮定の1つまたはいくらかは、従わない、または、十分に従わない場合がある。上述の仮定に従わない理由は、例えば、光学系64a〜64dの互いの相対的位置および画像センサー12との相対的位置の不正確などの製造許容差である。製造の不正確は、ビーム偏向デバイス18の取付け、好ましくは、ビーム偏向手段18が面68a〜68fを含むときには、互いに面68a〜68dの相対的位置の不正確も含む。製造で導入された許容差逸脱に追加してまたは代わりとして、温度変化が、上記仮定の1つまたはいくらかが適用されない、または、十分に従わないという効果を持つ。
ある程度まで、プロセッサ112によって実行される、画像センサーエリア58a〜58dの画像を全体画像に参加して結合するためのアルゴリズムは、好ましくは、互いに部分視野の相対的位置のセットの集まりからの全体視野72内の部分視野74a〜74dの位置の逸脱のような、構成要素の最適な一直線および配置からの逸脱を補償することができる。画像がそれぞれ参加して結合するとき、プロセッサ112は、ある程度までそのような逸脱を補償することができる。しかし、特定の逸脱限界を越えるとき(仮定2に従わないとき)、プロセッサ112は例えば逸脱を補償することができない。
特定の温度範囲を横切るなど、上記仮定が常に従うようにマルチ開口撮像デバイス150を製造することは、マルチ開口撮像デバイス150の製造コストを増加させる傾向を持つ。これを防止するために、図22aのマルチ開口撮像デバイス150は、それぞれの光学チャンネル16iの画像センサーエリア58i、それぞれの光学チャンネル16iの光学系64iとビーム偏向手段18とビーム偏向手段18のそれぞれの区分68iとの間の相対的位置をチャンネルごとに変更するための、または、光学的特徴16iまたはそれぞれの光学チャンネルの光路の偏向に関連するビーム偏向手段18の区分68iの光学的特徴をチャンネルごとに変更するための調整手段116を含む。調整手段116は初期設定値によって制御されて、初期設定値に従って調整仕事を実行する。初期設定値は、以下で議論されるメモリー118および/または制御器122によって提供される。
デバイス150は、例えば、調整手段116のチャンネルごとの制御のための格納された初期設定値を持つメモリー118を含む。初期設定値はメーカーによって決定され、メモリー118に格納される。さらに例えば、図22aの中の点線124によって示されるように、プロセッサ112は、プロセッサ112によってそれぞれ全体画像に参加して結合されるべき画像など、画像センサーエリア58a〜58dの捕捉された画像の評価を介して、メモリー118の中に格納された初期設定値を改善して更新することができる。プロセッサ112が、例えば、調整手段116を介して現在格納された初期設定値を持つマルチ開口撮像デバイス150を調整することによって場面を捕捉することは、以下により詳細に記述される。このため、初期設定値はメモリー118から読み出されて、チャンネルごとの調整のための調整手段116によって使われる。そのようにして捕捉された画像センサーエリア58a〜58dの画像を分析することによって、プロセッサ112は、捕捉のためにちょうど使われた格納された初期設定値が、これらの改善または更新された初期設定値を使うことによって、次の捕捉のときに、上記仮定のより正確なまたは改善された服従を結果として生じるために、メモリー118の中でどのように修正されるべきであるかについての情報を得る。
格納された初期設定値は、調整値の完全なセット、すなわち、デバイス150を完全に調整するための調整値のセットを含む。初期設定値は、上記したように選択され、セット特徴から、チャンネルの光学的特徴の特定のチャンネルごとの逸脱を減らす、または、取り除くために、以下により詳細に説明される。
初期設定値が、連続した温度間隔のシーケンス当たりに1つなど、常に捕捉している画像に対して調整値のセットが使われ、実際に現在の状況に対して適切であるように、調整値のいくつかのセットを含む場合である。このため、制御器122は、メモリー118の中の初期設定値セットと異なる予め決定された状況との間の割り当ての表にアクセスする、または、探すことができる。このアクセスのために、制御器122は、現在の状況を反映しているセンサーデータ(温度、圧力、湿気、部屋の中のデバイス150の位置および/またはデバイス150の現在の加速または現在の回転速度に関するデータなど)を受信し、メモリー118の中のいくつかの初期設定値セットのうちの1つを、すなわち、センサーデータによって記述される現在の状況に最も近い予め決定された状況に割り当てられた一つを、このデータから決定する。センサーデータは、また、画像センサーエリアの画像センサーデータから得られる。例えば、制御器122は、現在の温度が低下する、割り当てられた温度間隔の中のセットを選択する。オプションのフィードバック124が使われるとき、調整手段116によって捕捉されている特定の画像のために使われるメモリー118からの選択されたセットの初期設定値が、その時、再び更新される。
格納された初期設定値は、例えば、光学チャンネルの間の1つまたはいくつかの特徴の配布の拡散のための手段が、格納された初期設定値、すなわち、部分視野の規則的な配布からの部分視野の横断する逸脱、または、光学系の焦点距離、または、光学チャンネルの視野の奥行き距離によって、調整デバイスを制御することによって減らされるように構成される。
あるいは、制御器122の初期設定値は、メモリー118無しでも、すなわち、例えば、適切な初期設定値の現在のセンサーデータのマッピング(対応付け)が、制御器122の中で堅く統合されるとき、決定される。マッピングは、センサーデータと初期設定値との間の機能的な文脈によって記述される。機能的な文脈はパラメータによって適応される。パラメータはフィードバック124を介して適応される。
メモリー118は、例えば、不揮発性メモリーである。好ましくは、それは読み出し専用メモリーであるけれども、再書き込み可能なメモリーもまた可能である。制御器122およびプロセッサ112は、ソフトウェア、ハードウェアまたはプログラム化可能なハードウェアにおいて実施される。制御器122およびプロセッサ112は、共通のマイクロプロセッサにおいて実行されるプログラムであってもよい。制御器122のためのセンサーデータを提供するためのセンサーは、例えば画像センサーエリアなどのデバイス150に属する、または、以下の図面を参照して議論されるデバイスの中に組み込まれる装置の構成要素などの外部の構成要素でもある。
以下において、調整手段116に対して可能な実施が説明される。ここで、図22aの調整手段116は、以下に記述される1つの、いくらかの、または、全ての実施変化に当てはまる。特定の結合も以下で議論される。
示された変化において、調整手段116は、例えば、光軸17iに沿って、および、光路に沿って、および/または、z軸および/またはy軸に沿ってそこを横断して、軸方向のそれぞれのチャンネル16iの光学系64iを動かす、それぞれのチャンネル16iに対して1つのアクチュエーター126iを含む。あるいは、アクチュエーター126iは、例えば、画像センサー12、または、それぞれの画像センサーエリア58iも動かす。一般的に、アクチュエーター126iは、画像センサーエリア58i、光学系64i、および/または、ビーム偏向手段18のそれぞれの区分64iの相対的動きをもたらす。
図23aが関連する変化によれば、調整手段116は、図23aに示されるように、それぞれの光学系64ai(128i’’)を、画像センサーエリア58iと光学系64i(128i’)との間の区分61i(128i’’’)の中に統合する、または、光学系64iとビーム偏向区分68i(128i’’’)との間に置かれる、それぞれのチャンネル16iに対して位相変更光学要素、および、位相変更要素128iを含む。上記のオプションの結合も可能である。位相変更光学要素128iは、例えば、屈折率の位置依存の変更、すなわち液晶などによる屈折率の局地分配をもたらすことができる。代わりにまたは追加して、位相変更光学要素128iは、柔軟な固定された透明な素材に機械的効果を持つピエゾなどを使うことによって、光学的に活動的な表面の形状の変更を起こす、または、電気濡れ効果を使うことによって、変形を起こす。位相変更光学要素128i’’は、例えば、光学系64iの屈折率を変更することができる。代わりに、位相変更要素128i’’は、光学系64iの光学的レンズエリアの形状を変更でき、従って、光学系64iの効果的な屈折力を変更できる。位相変更要素128i’’’は、例えば、それぞれの表面の仮想の傾けをもたらすために、区分68iの光学的に関連した表面(反射面など)に、正弦曲線の位相グリッドを生成することができる。同様に、位相変更要素128i’または位相変更要素128i’’は、光軸を偏向することができる。
すなわち、位相変更光学要素128iによってもたらされた位相変更は、光軸17iの周りに回転対称なので、殆んど回転対称であり、それゆえ、例えば、128i’の場合において、光学系64iの焦点の幅の変更をもたらす。要素128iによってもたらされた位相変更は、しかし、それぞれの方向における偏向角度の変更または光軸17iの偏向をもたらすために、z軸またはy軸に沿って線形など、殆んど線形である。
回転対称位相変更は、それぞれの光学チャンネル16iの部分視野の位置訂正に対して、フォーカス化および線形位相変更のために使われる。
図23bに説明された別の変形によると、調整手段116は、それぞれのチャンネル16iに対して1つのアクチュエーター132iを含む。アクチュエーター132iは、光軸17iについてその角度配向、すなわち、設定角度βx iにおいて、それぞれのチャンネル16iの反射面などの区分68iを変更する。ここで、区分68iが反射面に制限されないことは注目するべきである。それぞれの区分68iは、また、プリズムが光学チャンネル16iの光路によって通過される間、yz面において光軸17iの方向を屈折させるプリズムとして実施される。
アクチュエーター126iと132iによって相対的動きをそれぞれ実現するために、すなわち、アクチュエーター132iとz軸によって区分68iを傾けるためだけでなく、例えば置き換えの態様で構成された光学系68iの動きを生成するために、例えば、空気圧、油圧、圧電気、熱、静電気または電気力学駆動、または、DCまたはステップモータ、または、ボイスコイル駆動が使われる。
図22aの更新された参考によって、マルチ開口撮像デバイス150が、任意に、調整手段116に追加して、グローバルなチャンネルを生成するための、すなわち、画像センサー12、光学系アレイ14とビーム偏向手段18との間の相対的動きが等しい全ての光学チャンネル16a〜16dのための、1つまたはいくつかのアクチュエーター134を含むことが点線により示される。1つまたはいくつかの追加のアクチュエーター134は、図22aに示されるように、任意に現存する自動フォーカス制御136(自動フォーカス/フォーカス化手段)、および/または、マルチ開口撮像デバイスの任意に現存する画像安定化制御の一部である。
特定の場合が図24に示される。図24は図22aのマルチ開口撮像デバイス150を示す。光学チャンネル16a〜16dの光学系64a〜64dは、共通の支持体66を介して互いに機械的に固定される。この共通のホルダーを介して、光学系64a〜64dを、グローバルな動きに服従させることが可能である。それはz方向の、すなわち、アレイ14のライン拡張方向に沿った支持体66の置き換えの動きなどによって、全てのチャンネルに対して同じである。このために、アクチュエーター134aが提供される。従って、アクチュエーター134aは、アクチュエーター134aが共通支持体66をx軸に沿って置き換えの動きに従属させるという点で、全ての光学チャンネル16a〜16dに対して同じである光学系64a〜64dの置き換えの動きを生成する。アクチュエーター134aのタイプに関して、文献が、図23aと図23bに関連して参照された例に対して作成される。さらに、デバイス150は、グローバルなチャンネルのための、すなわち、それぞれx軸および光軸17iに沿って画像センサー58iから光学系64iまでの距離の同じ変更をする全ての光学チャンネル16a〜16dのためのアクチュエーター134bを含む。図24に示されるように、例えば、アクチュエーター134bは、支持体66を介してだけでなくアクチュエーター134も介して割り当てられた画像センサー部分58a〜58dからの距離を変更するために、z軸に沿った置き換えの動きに光学系64a〜64dを従属させる。それは、従って、また、x軸に沿った置き換えの動きに従属させて、実際に支持体66のためのサスペンションとして役立つ。
さらに、図17のデバイス150は、z軸に平行に走ると共に、光軸17a〜17dが走る面の中に、または、面から遠く離れないでいる軸の周りにビーム偏向手段18を回転させるためのアクチュエーター134cを含む。また、アクチュエーター134bおよび134cに関して、文献が、可能な実施例に関係する上の図23aおよび図23bに関連して提供される例のリストにされる。アクチュエーター134cによってビーム偏向手段18に及ぼされた回転の動きは、全てのチャンネル16a〜16dに対して、ビーム偏向手段18の区分68a〜68dに同じまたは等しい効果を持つ。すなわち、それらはグローバルなチャンネルである。
アクチュエーター134bを介して、自動フォーカス制御136は、例えば、チャンネルグローバル感覚においてチャンネル16a〜16dによって、デバイス150による画像のフォーカスを制御することができる。画像安定化制御138は、第1の方向142におけるアクチュエーター134cによって、および、それに対して垂直な方向144におけるアクチュエーター134aによって、ユーザーによる搖動から全体視野72を安定させることができる。第1の方向142は、回転軸44の周りの回転の動きによって得られる。第1の方向142’によって示されるように、代わりにまたは追加して、ビーム偏向手段18および/またはアレイ14の置き換えの動きは、アクチュエーター134によって生成される。ここで、方向142、142’および144は、方向の1つの面の中で画像軸に平行である、または、画像軸に一致する。ここに記述した画像安定化は、光学チャンネルの2つ、複数または全ての光路に対して、共通して作動するように構成される。これは、チャンネルそれぞれの安定化が省略されることを意味し、それは有利である。
例えば、図22aのデバイス150は、チャンネルそれぞれの態様の画像センサー区分またはエリア58a〜58dを、例えば、全体視野内の部分視野の不正確、または、温度で引き起こされたドリフトの縮小を補償するために、z軸および/またはy軸に沿った置き換えの動きに従属させるために、それぞれのチャンネル16iについて1つのアクチュエーター126iなど、それぞれのチャンネル16a〜16dに対して1つのアクチュエーターを含む。代わりにまたは追加して、図22aのデバイス150は、望まないで不適当に生産によって引き起こされた光学系64a〜64dの焦点幅の相違を補償するために、アクチュエーター128i’’を含む。追加してまたは代わりに、図22aのデバイス150は、相対的な傾きが部分視野74a〜74dによって全体視野72の望ましいカバー範囲を結果として生じるように、開発した生産または温度によって起こされた互いの間の区分68a〜68dの相対的な傾きの逸脱を補償するために、アクチュエーター128i’’’を含む。追加してまたは代わりに、デバイス150は、そのとき、タイプ128i’および128i’’’のアクチュエーターをそれぞれ含む。
また、要約すると、デバイス150は、アレイ14のライン拡張方向zに平行な軸の周りのビーム偏向手段18を回転させるように構成されるアクチュエーター134cを含むことができる。回転軸は、例えば、光軸17a〜17dの面の中に、または、そこから光学系64a〜64dの直径の4分の1だけ左に離れている。あるいは、回転軸は、1つ未満の光学系64a〜64dの直径、または、4つ未満の光学系64a〜64dの直径だけ、さらに離れていることも可能である。アクチュエーター134cは、例えば、画像捕捉の間、ユーザーによるマルチ開口撮像デバイス150の揺動を補償するために、短い応答時間で、5°未満または10°未満の範囲内など、小さな角度範囲のみにおいて、ビーム偏向手段18を回転するために提供される。この場合において、アクチュエーター134cは、例えば、画像安定化制御138によって制御される。
代わりにまたは追加して、アクチュエーター134cは、その方向に部分視野74a〜74d(図22a)の全体のカバー範囲によって定義される、より大きい角度オフセットによって全体視野72を変更するように構成される。ここで、偏向は、例えば、ビーム偏向手段18が両面で反射する鏡アレイとして構成されるという点で、全体視野がデバイス150に相対的に反対方向に配置される、ビーム偏向手段18を回転させることによって得られることがさらに可能である。
また、代わりにまたは追加して、デバイス150は、ライン拡張方向に沿った置き換えの態様で、基板66、および、基板66自身、および、それゆえ光学系64a〜64dを動かすように構成されたアクチュエーター134aを含むことができる。アクチュエーター134aは、また、例えば、ライン拡張方向に沿った動き96によって、鏡偏向手段18の回転によって実現された画像安定化に対して画像安定化を横切って得るために上記の画像安定化制御によって制御される。
さらに、追加してまたは代わりに、デバイス150は、視野の奥行き調整(図20参照)を得るために、画像センサー12と光学系64a〜64dとの間、および、画像センサー12とボディ66との間の画像側距離をそれぞれ変更するためのアクチュエーター134bを含む。手段98は、手動のユーザー制御、または、デバイス150の自動フォーカス制御によって制御される。
アクチュエーター134aは、基板66のサスペンションとして役立ち、図22aに示されるように、好ましくは、取付け高さを増大させないために、ライン拡張方向に沿って基板66の傍に横に配置される。それはアクチュエーター134bおよび134cに対しても適用し、アクチュエーター134bおよび134cは、好ましくは、取付け高さを増大させないために、光路の面に配置される。
光学系64a〜64dは、上記の透明基板などを介して、互いについて保持されるだけでなく、好ましくは、取付け高さを増大させない、および、それゆえ、構成要素12、14および66の面の、および、光路の面の適切なフレームなどを介して、一定の相対位置のビーム偏向手段に関連する、ことに注目するべきである。相対位置の一貫性は、アクチュエーター134bが、例えば、置き換えの態様で、ビーム偏向手段18と共に光学系64a〜64dを光軸に沿って動かすように、光軸に沿う光学系とビーム偏向手段との間の距離に制限される。光学系とビーム偏向手段との間の距離は、最小距離に設定される。その結果、さもなければ、区分68iが寸法測定される必要があるので、チャンネルの光路は、光路を制限しないように、最も大きい光学系とビーム偏向手段との間の距離のために、横の拡張に関して、取付け高さを減らすビーム偏向手段18の区分によって横に制限されない。さらに、相対位置の一貫性は、アクチュエーター134aが、ライン拡張方向に沿って、ビーム偏向手段と共に光学系64a〜64dを置き換え的に動かすように、上記フレームが光学系およびビーム偏向手段をz軸に沿って互いに堅い態様で保持することを意味する。
光学チャンネルの光路を偏向するための上記ビーム偏向手段18は、ビーム偏向手段18の回転の動きを生成するためのアクチュエーター134cおよびマルチ開口撮像デバイス150の光学画像安定化制御のアクチュエーター134と共に、すなわち、ライン拡張方向に対して本質的に平行に走る第1の画像軸に沿った基板66の画像安定化の置き換えの動きによって、および、ビーム偏向の前のおよび無しの光軸に本質的に平行に、または、仮に偏向された光軸が考慮されるならば、光軸とライン拡張方向に垂直に走る第2の画像軸に沿ったビーム偏向手段18の画像安定化の回転の動きを生成することによって、2次元の画像および全体画像視野安定化をそれぞれ可能にする。さらに、ここで説明された配置は、フォーカス制御およびそれゆえ自動フォーカスの機能を実現するために使われる、記述されたアクチュエーター54などによって、ライン拡張方向に垂直な状態フレームおよびアレイ14に固定されたビーム偏向手段の置き換えの動きをもたらす。
図25は、画像安定化および/またはフォーカスを調整するためなどの、アクチュエーターの有利な配置を説明するためのマルチ開口撮像デバイス180の概要図を示す。画像センサー12、アレイ14およびビーム偏向手段18は、空間の直平行六面体に広がることができる。また、直平行六面体は、仮想直平行六面体と考えられて、例えば最小の容積、および、特に、y方向および厚さ方向にそれぞれ平行な方向に沿った最小の垂直の拡張を持つことができ、画像センサー12、単一ラインのアレイ14およびビーム偏向手段18を含む。最小の容積は、また、画像センサーコースの配置および/または作動動き、アレイ14、および/または、ビーム偏向手段18によって広がる直平行六面体を記述すると考えられる。アレイ14は、光学チャンネル16aおよび16bが併設のポスト、好ましくは、互いに平行に配置された、ライン拡張方向146を持つことができる。ライン拡張方向146は空間の中に固定して配置される。
仮想直平行六面体は、画像センサー12とビーム偏向手段18との間に、それぞれ光学チャンネル16aおよび16bの光路17aおよび/または17bの一部に平行であるだけでなく、単一ラインのアレイ14のライン拡張方向146に平行である、互いに反対に平行に走る2つのサイドを含む。簡単に言うと、しかし、例えば、どのような制限効果無しで、これは、仮想直平行六面体のトップと底である。2つのサイドは、第1の面148aおよび第2の面148bを広げる。これは、直平行六面体の2つのサイドが、それぞれ、面148aおよび148bの一部であることを意味する。マルチ開口撮像デバイスの別の構成要素は、完全に、しかし、面148aと面148bの間のエリアの内側に少なくとも部分的に配置される。その結果、面148aおよび/または148bの表面の法線に平行した方向に沿ったマルチ開口撮像デバイス180の取付け空間要件が低く、それは有利である。マルチ開口撮像デバイスの容積は、低い、または、面148aと面148bとの間の最小の取付け空間を持つことができる。横のサイド、または、面148aおよび/または148bの拡張方向に沿って、マルチ開口撮像デバイスの取付け空間が大きい、または、どのようなサイズでもある。仮想直平行六面体の容積は、例えば、画像センサー12、単一ラインのアレイ14およびビーム偏向手段18の配置によって影響される。これらの構成要素の配置は、面に垂直な方向に沿ったこれらの構成要素の取付け空間が、およびそれゆえ、面148aおよび148bの互いの距離が、低くまたは最小になるように、ここに記述された実施の形態に従って実行される。構成要素の他の配置に比べて、容積および/または仮想直平行六面体の他のサイドの距離は拡大される。
マルチ開口撮像デバイス180は、画像センサー12と単一ラインのアレイ14とビーム偏向手段18との間の相対的動きを生成するためのアクチュエーター手段152を含む。アクチュエーター手段152は、面148aと148bとの間に少なくとも部分的に配置される。アクチュエーター手段152は、画像センサー12、単一ラインのアレイ14またはビーム偏向手段18のうちの少なくとも1つを、少なくとも1つの軸の周りに回転的に、および/または、1つまたはいくつかの方向に沿って置き換え的に動かすように構成される。このため、アクチュエーター手段152は、少なくとも1つのアクチュエーター(それぞれの光学チャンネル16iの画像センサーエリア58iとそれぞれの光学チャンネル16iの光学系64iとビーム偏向手段18とビーム偏向手段18のそれぞれの区分68iとの間の相対的位置をそれぞれ変更するチャンネルのための、または、光学的特徴16i、または、それぞれの光学チャンネルの光路の偏向に関するビーム偏向手段18の区分68iの光学特徴をそれぞれ変更するチャンネルのためのアクチュエーター128i、132iおよび134など)を含む。代わりにまたは追加して、アクチュエーター手段は、上記したように、自動フォーカスおよび/または光学画像安定化を実施できる。
アクチュエーター手段152は、厚さ方向に平行な寸法または拡張154を持つことができる。寸法154の最大50%、最大30%または最大10%の部分は、面148aと148bの間のエリアから始まる面148aおよび/または148bを越えて突き出ている、または、エリアから突き出ている。これは、アクチュエーター手段152が面148aおよび/または148bを越えて意味なく最も突き出ることを意味する。実施の形態に従って、アクチュエーター152は、面148aおよび148bを越えて突き出ていない。厚さ方向に沿ったマルチ開口撮像デバイス180の拡張は、アクチュエーター手段152によって拡大されない、ことが利点である。
3Dマルチ開口撮像デバイス1000は、デバイス1000が少なくとも2つのマルチ開口撮像デバイス11を含むように記述される一方、マルチ開口撮像デバイスの少なくとも1つは、また、異なるマルチ開口撮像デバイスとして実施される。代わりにまたは追加して、3Dマルチ開口撮像デバイス1000は、同じ方法で、または、異なる態様で形成される2つを超えるマルチ開口撮像デバイスを含む。出力信号は、それぞれのデータヘッダーおよび/またはそれぞれのペイロード情報を含む。
特定の実施要求に依存して、本発明の実施の形態は、ハードウェアまたはソフトウェアにおいて実施される。実施は、デジタル記憶媒体、例えば、フロッピーディスクまたはDVDまたはブルーレイディスクまたはCDまたはROMまたはPROMまたはEPROMまたはEEPROMまたはフラシュメモリまたはハード駆動、または、そこに記憶された電子的に読み取り可能な制御信号を持つ別の磁気的または光学的メモリーによって実行される。それらは、それぞれの方法が実行されるように、プログラム化可能なコンピュータシステムと協力して、または、協力可能である。従って、デジタル記憶媒体は、コンピュータが読み取り可能である。発明に従っていくつかの実施の形態は、ここに記述された方法の1つが実行されるように、プログラム化可能なコンピュータシステムと協力可能である電子的に読み取り可能な制御信号を含むデータ支持体を含む。
一般に、本発明の実施の形態は、コンピュータプログラム製品がコンピュータにおいて稼動するとき、プログラムコード(方法のうちの1つを実行するために作動するプログラムコード)を持つコンピュータプログラム製品として実施される。プログラムコードは、例えば、機械的に読み取り可能な支持体に格納される。
他の実施の形態は、ここに記述された方法のうちの1つを実行するためのコンピュータプログラムを含む。コンピュータプログラムは、機械的に読み取り可能な支持体に格納される。
すなわち、従って、本発明の方法の実施の形態は、コンピュータプログラムがコンピュータにおいて稼動するとき、ここに記述された方法のうちの1つを実行するためのプログラムコードを含むコンピュータプログラムである。本発明の方法の別の実施の形態は、従って、そこに記録された、ここに記述された方法のうちの1つを実行するためのコンピュータプログラムを含むデータ支持体(または、デジタル格納媒体またはコンピュータ読み取り可能な媒体)である。
本発明の方法の別の実施の形態は、従って、ここに記述された方法のうちの1つを実行するためのコンピュータプログラムを表現するデータストリームまたはシーケンス信号である。データストリームまたはシーケンス信号は、例えば、インターネットを介して、データ通信接続を介して転送されるように構成される。
別の実施の形態は、ここに記述された方法のうちの1つを実行するように構成または採用された処理手段、例えば、コンピュータまたはプログラム化可能な論理デバイスを含む。
別の実施の形態は、ここに記述された方法のうちの1つを実行するためのコンピュータプログラムをそこにインストールされたコンピュータを含む。
いくつかの実施の形態において、プログラム可能論理デバイス(例えば、電界プログラマブルゲートアレイ、FPGA)は、ここに説明された方法のいくつかまたは全ての機能を実行するために使用される。いくつかの実施の形態において、電界プログラマブルゲートアレイは、ここに記述された方法のうちの1つを実行するために、マイクロプロセッサと協働する。一般に、方法は、好ましくは、どのようなハードウェア装置によっても実行される。これは、コンピュータプロセッサ(CPU)のような一般的に適用可能なハードウェア、または、特にASICなどのような方法のためのハードウェアである。
画像信号またはビデオ信号などの発明に従って符号化された信号は、ディジタルメモリ媒体に格納される、または、インターネットなどの無線伝送媒体または有線伝送媒体などの伝送媒体に送信される。
いくつかの面が装置の文脈の中で記述されたけれども、これらの面が、装置のブロックまたはデバイスがそれぞれの方法ステップまたは方法ステップの特徴に対応するように、対応する方法の記述も表現することは明らかである。相似的に、方法ステップの文脈の中で記述された面は、対応する装置の対応するブロックまたは詳細または特徴の記述も表現する。
上記の記述された実施の形態は、単に、本発明の原則のための説明に役立っている。ここに記述された配置と詳細の部分修正とバリエーションが当業者に明白であることは理解される。従って、本発明は、ここの実施の形態の記述および説明によって提供された特定の詳細ではなく、付加された特許の請求項の範囲だけ制限される、ことが意思である。

Claims (28)

  1. 3Dマルチ開口撮像デバイス(70;1000)であって、
    それぞれの画像センサーエリア(58)が複数の画素を含む、複数の画像センサーエリア(5811,5812,5813,5814,5821,5822,5823,5824)を持つ画像センサー(12)と、
    前記画像センサー(12)の第1の画像センサーエリア(5811,5812,5813,5814)に、全体視野(72)のうちの重複する第1の部分視野(7411,7412,7413,7414)を投影するための第1の複数(141)の光学チャンネル(1611,1612,1613,1614)と、
    前記画像センサーの第2の画像センサーエリア(5821,5822,5823,5824)に、互いにおよび前記第1の部分視野に重複する全体視野(72)のうちの第2の部分視野(7421,7422,7423,7424)を投影するための第2の複数(142)の光学チャンネル(1621,1622,1623,1624)であって、
    前記第1および第2の複数の光学チャンネルは互いに横に基本距離(BA)分、オフセットして配置される、第2の複数の光学チャンネルと、
    前記第1および第2の画像センサーエリア(5811,5812,5813,5814,5821,5822,5823,5824)に投影される前記第1および第2の部分視野(7411,7412,7413,7414,7421,7422,7423,7424)についての情報を含む画像センサーデータ(100411,100412,100413,100414,100421,100422,100423,100424)を前記画像センサー(12)から受信するように構成され、かつ、データヘッダー(1008)およびペイロードデータ(1012)を含む出力信号(1006)を提供するように構成されたプロセッサ(1002)であって、
    前記データヘッダー(1008)は前記3Dマルチ開口撮像デバイス(70;1000)の構造に関する情報を含み、前記ペイロードデータ(1012)は前記第1の画像センサーエリアおよび前記第2の画像センサーエリアの画素から取得した画像情報を含む、3Dマルチ開口撮像デバイス。
  2. 前記プロセッサ(1002)は、前記データヘッダー(1008)が前記第1および第2の複数の光学チャンネル(141,142)の数に関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1に記載の3Dマルチ開口撮像デバイス。
  3. 前記プロセッサ(1002)は、前記データヘッダー(1008)が前記全体視野(72)の前記第1または第2の部分視野(7411,7412,7413,7414,7421,7422,7423,7424)への分割に関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1または請求項2に記載の3Dマルチ開口撮像デバイス。
  4. 前記第1の複数の光学チャンネル(141)を含む第1の画像捕捉モジュール(11a)を有し、かつ、前記第2の複数の光学チャンネル(142)を含む少なくとも1つの第2の画像捕捉モジュール(11b)を有する3Dマルチ開口撮像デバイスであって、
    前記プロセッサ(1002)は、前記データヘッダー(1008)が前記3Dマルチ開口撮像デバイスの画像捕捉モジュール(11a,11b)の数に関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項3のいずれかに記載の3Dマルチ開口撮像デバイス。
  5. 前記プロセッサ(1002)は、前記データヘッダー(1008)が、少なくとも第1の画像センサーエリア(58)について、第1の画像拡張方向(142)に関する画素数および第2の画像拡張方向(144)のための画素数に関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項4のいずれかに記載の3Dマルチ開口撮像デバイス。
  6. 前記プロセッサ(1002)は、前記データヘッダー(1008)が、前記光学チャンネル(16)のうちの少なくとも1つについて、前記3Dマルチ開口撮像デバイスの中の前記少なくとも1つの前記光学チャンネル(16)の空間座標に関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項5のいずれかに記載の3Dマルチ開口撮像デバイス。
  7. 前記プロセッサ(1002)は、前記データヘッダー(1008)が前記基本距離(BA)に関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項6のいずれかに記載の3Dマルチ開口撮像デバイス。
  8. 前記プロセッサ(1002)は、前記データヘッダー(1008)が少なくとも1つの光学チャンネル(16)の視野角度に関する情報を含むように、または、前記データヘッダー(1008)が中心視野エリアおよび第1および第2の視野の拡張方向に沿った視野の拡張に関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項7のいずれかに記載の3Dマルチ開口撮像デバイス。
  9. 前記プロセッサ(1002)は、前記データヘッダー(1008)が前記第1または第2の画像センサーエリア(5811,5812,5813,5814,5821,5822,5823,5824)のうちの一方の画素のうちの少なくとも1つの画素の画素サイズに関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項8のいずれかに記載の3Dマルチ開口撮像デバイス。
  10. 前記プロセッサ(1002)は、前記データヘッダー(1008)が、前記3Dマルチ開口画像光学系の周りの大気圧、前記3Dマルチ開口画像光学系の周囲温度、前記3Dマルチ開口画像光学系の作動温度、時間、光学チャンネルのうちの少なくとも1つの角度配向、カメラ特定情報、画像情報のフォーカス化についての指標、および/または、前記3Dマルチ開口画像光学系の位置に関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項9のいずれかに記載の3Dマルチ開口撮像デバイス。
  11. 前記プロセッサ(1002)は、前記データヘッダー(1008)が前記3Dマルチ開口撮像デバイスの少なくとも1つの光学チャンネルの歪みに関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項10のいずれかに記載の3Dマルチ開口撮像デバイス。
  12. 前記プロセッサ(1002)は、前記データヘッダー(1008)が前記3Dマルチ開口撮像デバイスの少なくとも1つの光学チャンネルの口径食に関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項11のいずれかに記載の3Dマルチ開口撮像デバイス。
  13. 前記プロセッサ(1002)は、前記データヘッダー(1008)が前記画像センサー(12)の欠損画素に関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項12のいずれかに記載の3Dマルチ開口撮像デバイス。
  14. 前記プロセッサ(1002)は、前記ペイロードデータが前記捕捉された画像の改行または列区切りに関する情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項13のいずれかに記載の3Dマルチ開口撮像デバイス。
  15. 前記プロセッサ(1002)は、前記第1および第2の複数の画像センサーエリア(5811,5812,5813,5814,5821,5822,5823,5824)に投影された前記第1および第2の部分視野(7411,7412,7413,7414,7421,7422,7423,7424)についての情報を圧縮して圧縮された画像データを得て、前記ペイロードデータが前記圧縮された画像データに関する情報を含むように前記出力信号(1006)を形成するように構成される、請求項1ないし請求項14のいずれかに記載の3Dマルチ開口撮像デバイス。
  16. 前記プロセッサ(1002)は、前記第1および第2の複数の画像センサーエリア(5811,5812,5813,5814,5821,5822,5823,5824)に投影された前記第1および第2の部分視野(7411,7412,7413,7414,7421,7422,7423,7424)についての情報を処理して全体画像を得るように構成され、かつ、前記プロセッサ(1002)は、前記ペイロードデータが前記全体画像に関する情報を含むように前記出力信号(1006)を形成するように構成される、請求項1ないし請求項15のいずれかに記載の3Dマルチ開口撮像デバイス。
  17. 前記第1の複数の光学チャンネル(141)は第1の単一ラインのアレイ(141)に配置され、前記第2の複数の光学チャンネルは第2の単一ラインのアレイ(142)に配置される、請求項1ないし請求項16のいずれかに記載の3Dマルチ開口撮像デバイス。
  18. 前記プロセッサ(1002)は、前記データヘッダー(1008)が、前記基本距離(BA)に関する情報と、前記全体視野(72)の前記第1および第2の部分視野(7411,7412,7413,7414,7421,7422,7423,7424)への分割に関する情報とを含むように、前記出力信号(1006)を形成し、かつ、前記ペイロードデータが、それぞれの第1の画像センサーエリア(5811,5812,5813,5814)について、前記画像センサーエリアの中で捕捉された画像についての情報と、それぞれの第2の画像センサーエリア(5821,5822,5823,5824)について、前記画像センサーエリアの中で捕捉された画像についての情報を含むように、前記出力信号(1006)を形成するように構成される、請求項1ないし請求項17のいずれかに記載の3Dマルチ開口撮像デバイス。
  19. 前記第1の複数の光学チャンネル(141)は、第1の方向(146)に沿って配置される第1の一次元アレイを形成するが、前記全体視野(72)の前記第1の部分視野(7411,7412,7413,7414)は、前記第1の方向(146)に垂直な第2の方向(142)に沿って配置される第2の一次元アレイを形成し、
    前記第2の複数の光学チャンネル(142)は、前記第1の方向(146)に沿って配置される第3の一次元アレイを形成する、請求項1ないし請求項18のいずれかに記載の3Dマルチ開口撮像デバイス。
  20. 前記出力信号(1006)を格納するためのメモリーと、
    前記出力信号(1006)を出力するためのデータインタフェース(1014)と、
    を含む、請求項1ないし請求項19のいずれかに記載の3Dマルチ開口撮像デバイス。
  21. 互いに、および前記第1の部分視野に重複する前記全体視野(72)の第3の部分視野を、前記画像センサーの第3の画像センサーエリアに投影するための第3の複数の光学チャンネルであって、前記第1および第2の複数の光学チャンネルは、互いに横に基本距離(BA)分、オフセットして配置される、第3の複数の光学チャンネルを更に含み、
    前記プロセッサ(1002)は、前記第3の複数の画像センサーエリアに投影される前記第3の部分視野についての情報を含む画像センサーデータを前記画像センサー(12)から受信するように構成され、かつ、前記ペイロードデータ(1012)が、前記第1の画像センサーエリア、前記第2の画像センサーエリアおよび前記第3の画像センサーエリアの画素から取得した画像情報を含むように、前記出力信号(1006)を提供するように構成される、請求項1ないし請求項20のいずれかに記載の3Dマルチ開口撮像デバイス。
  22. 前記データヘッダー(1008)または前記ペイロードデータ(1012)は、画素ごとにまたは画素群について、奥行きデータ、画素の画素群への分割についての指標、および/または、奥行き情報の指標、および/または、画素群に関する距離情報を含む、請求項1ないし請求項21のいずれかに記載の3Dマルチ開口撮像デバイス。
  23. 3Dマルチ開口撮像デバイスの構造に関する情報を含むデータヘッダー(1008)と、
    前記3Dマルチ開口撮像デバイスの第1の画像センサーエリア(5811,5812,5813,5814)および第2の画像センサーエリア(5821,5822,5823,5824)の画素から取得した画像情報(100411,100412,100413,100414,100421,100422,100423,100424)を含むペイロードデータ(1012)であって、前記第1および第2の画像センサーエリアの画像情報はそれぞれ、全体視野(72)のうちの複数の部分視野(7411,7412,7413,7414,7421,7422,7423,7424)に関連する、ペイロードデータと、
    を含む、信号(1006)。
  24. データヘッダー(1008)およびペイロードデータを含む入力信号(1006)を処理するためのデバイス(3000)であって、前記データヘッダー(1008)は3Dマルチ開口撮像デバイス(70;1000)の構造に関する情報を含み、前記ペイロードデータは第1の画像センサーエリア(5811,5812,5813,5814)および第2の画像センサーエリア(5821,5822,5823,5824)の画素から取得した画像情報を含み、前記第1および第2の画像センサーエリアの画像情報それぞれ、全体視野(72)のうちの複数の部分視野(7411,7412,7413,7414,7421,7422,7423,7424)に関連し、前記装置は、
    入力信号(1006)を受信するための入力インタフェース(1023)と、
    前記部分視野(7411,7412,7413,7414,7421,7422,7423,7424)の第1の部分視野および前記部分視野(7411,7412,7413,7414,7421,7422,7423,7424)の第2の部分視野の少なくとも第1の画像センサー情報について、前記3Dマルチ開口撮像デバイス(70;1000)の前記構造に関する情報を考慮することによって前記ペイロードデータを処理するためのプロセッサ(1002)と、
    を含む、デバイス(3000)。
  25. 3Dマルチ開口撮像デバイス(70;1000)の出力信号(1006)を提供するための方法であって、
    複数の画像センサーエリア(5811,5812,5813,5814,5821,5822,5823,5824)を有する画像センサー(12)を提供するステップであって、それぞれの画像センサーエリアは複数の画素を含むステップと、
    前記画像センサーの第1の画像センサーエリア(5811,5812,5813,5814)に、全体視野(72)のうちの重複する第1の部分視野(7411,7412,7413,7414)を投影するための第1の複数(141)の光学チャンネル(1611,1612,1613,1614)を提供するステップと、
    前記画像センサー(12)の第2の画像センサーエリア(5821,5822,5823,5824)に、互いに、および前記第1の部分視野(7411,7412,7413,7414)に重複する全体視野(72)のうちの第2の部分視野(7421,7422,7423,7424)を投影するための第2の複数(142)の光学チャンネル(1621,1622,1623,1624)を提供するステップであって、前記第1および第2の複数の光学チャンネル(141,142)は互いに横に基本距離(BA)分、オフセットするように配置される、ステップと、
    前記第1および第2の複数の画像センサーエリアに投影された前記第1および第2の部分視野(7411,7412,7413,7414,7421,7422,7423,7424)についての情報を含む画像センサーデータ(100411,100412,100413,100414,100421,100422,100423,100424)を前記画像センサー(12)から受信するステップと、
    前記出力信号がデータヘッダー(1008)およびペイロードデータを含み、前記データヘッダー(1008)は前記3Dマルチ開口撮像デバイスの構造に関する情報を含み、前記ペイロードデータは前記第1の画像センサーエリアおよび前記第2の画像センサーエリアの前記画素から取得した画像情報を含むように、前記出力信号(1006)を生成するステップと、を含む、方法。
  26. それぞれの画像センサーエリアが複数の画素を含む複数の画像センサーエリア(5811,5812,5813,5814)を有する画像センサー(12)と、
    前記画像センサーの画像センサーエリア(5811,5812,5813,5814)に、全体視野(72)のうちの重複する部分視野(7411,7412,7413,7414)を投影するための複数(141)の光学チャンネル(1611,1612,1613,1614)を含み、
    前記複数の光学チャンネル(1611,1612,1613,1614)は、第1の方向(146)に沿って配置される一次元アレイ(14)を形成するが、前記全体視野(72)のうちの前記部分視野(7411,7412,7413,7414)は、前記第1の方向(146)に垂直な第2の方向(142)に沿って配置される一次元アレイを形成する、マルチ開口撮像デバイス。
  27. 前記複数(141)の光学チャンネル(1611,1612,1613,1614)が第1の複数の光学チャンネルであり、前記部分視野(7411,7412,7413,7414)が第1の部分視野であり、前記画像センサーエリア(5811,5812,5813,5814)が第1の画像センサーエリアであり、前記マルチ開口撮像デバイスが3Dマルチ開口撮像デバイスとして形成され、
    前記画像センサー(12)の第2の画像センサーエリア(5821,5822,5823,5824)に、互いに、および前記第1の部分視野(7411,7412,7413,7414)に重複する全体視野(72)のうちの第2の部分視野(7421,7422,7423,7424)を投影するための第2の複数(142)の光学チャンネル(1621,1622,1623,1624)であって、前記第1および第2の複数の光学チャンネルは互いに横に基本距離(BA)分、オフセットして配置される、第2の複数の光学チャンネルを含む、請求項26に記載のマルチ開口撮像デバイス。
  28. 全体視野(72)を捕捉するための方法であって、
    それぞれの画像センサーエリアが複数の画素を含む、複数の画像センサーエリアを有する画像センサー(12)を配置するステップと、
    前記画像センサー(12)の画像センサーエリア(5811,5812,5813,5814)に、前記全体視野(72)のうちの重複する部分視野(7411,7412,7413,7414)を投影するための複数(141)の光学チャンネル(1611,1612,1613,1614)を配置するステップを含み、
    前記複数の光学チャンネル(16)を配置するステップは、前記複数の光学チャンネル(16)が第1の方向(146)に沿って配置された一次元アレイ(141,142)を形成しながら、前記全体視野(72)のうちの前記部分視野(7411,7412,7413,7414)が、前記第1の方向(146)に垂直な第2の方向(142)に沿って配置された一次元アレイを形成するように、実行される、方法。
JP2018559720A 2016-05-12 2017-05-09 3dマルチ開口撮像デバイス、マルチ開口撮像デバイス、3dマルチ開口撮像デバイスの出力信号を提供するための方法、および、全体視野を捕捉するための方法 Active JP6864411B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016208210.8A DE102016208210A1 (de) 2016-05-12 2016-05-12 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
DE102016208210.8 2016-05-12
PCT/EP2017/061028 WO2017194524A1 (de) 2016-05-12 2017-05-09 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes

Publications (2)

Publication Number Publication Date
JP2019522913A true JP2019522913A (ja) 2019-08-15
JP6864411B2 JP6864411B2 (ja) 2021-04-28

Family

ID=58800778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018559720A Active JP6864411B2 (ja) 2016-05-12 2017-05-09 3dマルチ開口撮像デバイス、マルチ開口撮像デバイス、3dマルチ開口撮像デバイスの出力信号を提供するための方法、および、全体視野を捕捉するための方法

Country Status (9)

Country Link
US (1) US10708570B2 (ja)
EP (2) EP3694207B1 (ja)
JP (1) JP6864411B2 (ja)
KR (1) KR102211291B1 (ja)
CN (1) CN109479126B (ja)
DE (1) DE102016208210A1 (ja)
ES (1) ES2808940T3 (ja)
TW (1) TWI665469B (ja)
WO (1) WO2017194524A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017204035B3 (de) 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017206442B4 (de) 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE102017206429A1 (de) 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017208709B3 (de) 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017211586A1 (de) 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer falschlichtempfindlichkeit, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
DE102017216172A1 (de) 2017-09-13 2019-03-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer bauhöhe und umschaltbarer blickrichtung, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
KR102018984B1 (ko) * 2018-05-15 2019-09-05 재단법인 다차원 스마트 아이티 융합시스템 연구단 베이스라인을 증가시키기 위한 카메라 시스템
US10581611B1 (en) 2018-10-02 2020-03-03 Capital One Services, Llc Systems and methods for cryptographic authentication of contactless cards
DE102018222830A1 (de) 2018-12-10 2020-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multikanalabbildungsvorrichtung und vorrichtung mit einer multiaperturabbildungsvorrichtung
DE102018222865A1 (de) * 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
DE102018222861A1 (de) * 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
CN114270815A (zh) * 2019-06-06 2022-04-01 弗劳恩霍夫应用研究促进协会 多通道成像设备和具有多孔径成像设备的设备
CN112217574B (zh) * 2020-10-09 2022-02-11 西安石油大学 一种计算任意复杂形状光学接收器的孔径平均函数的方法和实现装置
DE102021202719A1 (de) 2021-03-19 2022-09-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Kamerasystem zum erzeugen einer lückenlosen optischen abbildung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143460A (ja) * 2001-08-24 2003-05-16 Fuji Photo Film Co Ltd デジタルカメラ
WO2004106857A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオ光学モジュール及びステレオカメラ
JP2009182953A (ja) * 2008-01-31 2009-08-13 Samsung Electronics Co Ltd ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置
JP2013122647A (ja) * 2011-12-09 2013-06-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2016500962A (ja) * 2012-10-19 2016-01-14 クゥアルコム・インコーポレイテッドQualcomm Incorporated フォールデッドオプティクスを用いたマルチカメラシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US8824833B2 (en) 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
CN101482693A (zh) * 2008-12-01 2009-07-15 深圳市掌网立体时代视讯技术有限公司 单传感器并列式立体图像拍摄方法及装置
WO2011063347A2 (en) * 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US9001227B2 (en) * 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
SG186210A1 (en) 2010-06-14 2013-01-30 Heptagon Micro Optics Pte Ltd Camera, and method of manufacturing a plurality of cameras
DE102010031535A1 (de) * 2010-07-19 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
EP2434751A3 (en) * 2010-09-28 2014-06-18 Nokia Corporation Method and apparatus for determining roles for media generation and compilation
TWI575494B (zh) * 2011-08-19 2017-03-21 半導體能源研究所股份有限公司 半導體裝置的驅動方法
CN103188424B (zh) * 2011-12-27 2018-10-09 财富文化产业集团(深圳)有限公司 3d成像模组及3d成像方法
SG11201500910RA (en) * 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
JP6476658B2 (ja) * 2013-09-11 2019-03-06 ソニー株式会社 画像処理装置および方法
DE102014212104A1 (de) 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143460A (ja) * 2001-08-24 2003-05-16 Fuji Photo Film Co Ltd デジタルカメラ
WO2004106857A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオ光学モジュール及びステレオカメラ
JP2009182953A (ja) * 2008-01-31 2009-08-13 Samsung Electronics Co Ltd ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置
JP2013122647A (ja) * 2011-12-09 2013-06-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2016500962A (ja) * 2012-10-19 2016-01-14 クゥアルコム・インコーポレイテッドQualcomm Incorporated フォールデッドオプティクスを用いたマルチカメラシステム

Also Published As

Publication number Publication date
US10708570B2 (en) 2020-07-07
DE102016208210A1 (de) 2017-11-16
KR102211291B1 (ko) 2021-02-02
JP6864411B2 (ja) 2021-04-28
CN109479126A (zh) 2019-03-15
US20190068950A1 (en) 2019-02-28
TW201802541A (zh) 2018-01-16
EP3694207B1 (de) 2024-03-20
CN109479126B (zh) 2021-05-04
TWI665469B (zh) 2019-07-11
KR20190007021A (ko) 2019-01-21
EP3456041A1 (de) 2019-03-20
EP3456041B1 (de) 2020-04-29
EP3694207A1 (de) 2020-08-12
ES2808940T3 (es) 2021-03-02
WO2017194524A1 (de) 2017-11-16

Similar Documents

Publication Publication Date Title
JP6864411B2 (ja) 3dマルチ開口撮像デバイス、マルチ開口撮像デバイス、3dマルチ開口撮像デバイスの出力信号を提供するための方法、および、全体視野を捕捉するための方法
US11474331B2 (en) Device comprising a multi-aperture imaging device, method for producing same and method for capturing a total field of view
US10606152B2 (en) Multi-aperture imaging device, imaging system and method for capturing an object area
US10771668B2 (en) Multi-aperture imaging device, imaging system and method for capturing an object area
US10652438B2 (en) Multi-aperture imaging devices, methods for producing same and imaging system
JP2018533751A (ja) チャネル特有の調整可能性を有するマルチ開口撮像装置
TW202037964A (zh) 包含用以產生深度圖的多光圈成像裝置之裝置
US12007680B2 (en) Device comprising a multi-aperture imaging device for generating a depth map

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200512

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210329

R150 Certificate of patent or registration of utility model

Ref document number: 6864411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250