JP6917126B2 - プレノプティック・カメラ及びこれを制御する方法 - Google Patents

プレノプティック・カメラ及びこれを制御する方法 Download PDF

Info

Publication number
JP6917126B2
JP6917126B2 JP2016151691A JP2016151691A JP6917126B2 JP 6917126 B2 JP6917126 B2 JP 6917126B2 JP 2016151691 A JP2016151691 A JP 2016151691A JP 2016151691 A JP2016151691 A JP 2016151691A JP 6917126 B2 JP6917126 B2 JP 6917126B2
Authority
JP
Japan
Prior art keywords
light
optical
layer
camera
optical structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016151691A
Other languages
English (en)
Other versions
JP2017032994A (ja
JP2017032994A5 (ja
Inventor
ドラジツク,バルター
ガルピン,フランク
セイフイ,モジデ
Original Assignee
インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ filed Critical インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Publication of JP2017032994A publication Critical patent/JP2017032994A/ja
Publication of JP2017032994A5 publication Critical patent/JP2017032994A5/ja
Application granted granted Critical
Publication of JP6917126B2 publication Critical patent/JP6917126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/957Light-field or plenoptic cameras or camera modules
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/023Mountings, adjusting means, or light-tight connections, for optical elements for lenses permitting adjustment
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Cameras In General (AREA)
  • Blocking Light For Cameras (AREA)
  • Optical Elements Other Than Lenses (AREA)

Description

本開示は、プレノプティック・カメラ(plenoptic camera)の分野に関し、更に詳しくは、プレノプティック・カメラについての光学的構造体(optical assembly)の分野に関する。
プレノプティック・カメラは、ライトフィールド・カメラ(light−field camera)とも呼ばれ、同一シーンの相異なるビューを取得する。これらの相異なるビューを得るために、生の画像(raw image:プレノプティック・カメラの光センサ・アレイによって収集されたデータから成る画像。以下、「生画像」という。)がデモザイク処理されて、デマルチプレクス処理される。このデモザイク処理は、フルカラーの生画像を復元すること、すなわち、生画像の画素についてのフルカラー情報(例えばRGB情報、RGBは「Red(赤)」、「Green(緑)」及び「Blue(青)」を表す。)を復元することを可能にする一方で、プレノプティック・カメラで取得された生画像は、各画素に一つのみの色成分(例えばR、G又はB)を対応付けている。デモザイク処理後に行われるデマルチプレクス処理は、シーンの相異なるビューを復元すること、すなわち、デモザイク処理済み生画像の画素を、それらの画素が所属するビューに従って、グループ分けすることを可能にする。
シーンの相異なるビューを復元するためには、プレノプティック・カメラで取得された生画像を調整する必要がある。この調整の主目的は、プレノプティック・カメラの光センサ・アレイ上に形成された各々のマイクロレンズのマイクロ画像の中心点の位置を特定することである。メイン・レンズがズーミング又はピント合わせで変更される毎に、マイクロ画像の中心を再度測定し直す必要がある。これは、メイン・レンズがスナップショットのために微調整される毎にシステムを調整することはあまり便利ではないので、不自由さを生じさせる。これは、システムがビデオ(動画)も可能である場合に、撮影中のズーミングが禁止されることも意味する。
本明細書において、「1つの実施形態」、「一実施形態」、「一例の実施形態」という表記は、記載されたその実施形態に特定の特徴、構造又は特性が含まれる場合があることを示しているが、あらゆる実施形態において、必ずしも、その特定の特徴、構造又は特性が含まれる訳ではない場合もある。更に、このような表現は、必ずしも同一の実施形態を指している訳ではない。更に、一実施形態に関して特定の特徴、構造又は特性が説明されている場合は、明記されているか否かに関わりなく、その他の実施形態に関してもそのような特徴、構造又は特性が当業者の知識の範囲内で用いられることが示唆されている。
本開示は、プレノプティック・カメラのための光学的構造体に関し、この光学的構造体は、カメラ・レンズを備えている。この光学的構造体は、この光学的構造体に入射する光束の光進行方向においてカメラ・レンズの前に配置された光学装置を更に備えており、この光学装置は、透過モードと分散モードとの間で制御可能な第1のレイヤと、この光学装置の縁に配置された少なくとも1つの光源とを備えている。
利点として、第1のレイヤは、光学的構造体に入射する光束の光進行方向における光学装置の前面に配置されている。
特定の一特徴によれば、光学装置は、透明な材料で作られた第2のレイヤを更に備えており、分散モードにある時に光束を少なくとも部分的に遮断するように、第1のレイヤが、光学的構造体に入射する光束の光進行方向において第2のレイヤの前に配置されている。
利点として、光学装置は、この光学装置の周囲にリング状に配置された複数の光源を備えている。
特定の一特徴によれば、少なくとも1つの光源が光を放つ時に第1のレイヤが分散モードにある。
利点として、光学的構造体は、光学装置を制御するように構成された少なくとも1つのプロセッサを更に備えている。
特定の一特徴によれば、カメラ・レンズのフォーカスの変更が検出された時に少なくとも1つの光源が光を放つ。
本開示は、光学的構造体を制御する方法にも関し、この光学的構造体は、カメラ・レンズを備えている。この方法は、光学的構造体に入射する光束の光進行方向においてカメラ・レンズの前に配置された光学装置を制御することを含み、この光学装置は、透過モードと分散モードとの間で制御可能な第1のレイヤと、この光学装置の縁に配置された少なくとも1つの光源とを備えている。
利点として、この方法は、少なくとも1つの光源が光を放つ時に第1のレイヤを分散モードに切り換えることを更に含む。
特定の一特徴によれば、この方法は、カメラ・レンズのフォーカスの変更を検出することと、フォーカスの変更が検出された時に光を放つように少なくとも1つの光源を制御することと、を更に含む。
本開示は、マイクロレンズ・アレイと、光センサ・アレイと、上記光学的構造体と、を備えているプレノプティック・カメラにも関する。
本開示は、上記プレノプティック・カメラを備えたテレコミュニケーション装置にも関する。
本開示は、コンピュータプログラム製品であって、このプログラムがコンピュータ上で実行される際に、上記プレノプティック・カメラを制御する方法の少なくとも1つのステップを実行するためのプログラム・コードの命令を備えているコンピュータプログラム製品にも関する。
本開示は、上記プレノプティック・カメラを制御する方法の少なくとも1つのステップをプロセッサに実施させるための命令を記憶した非一時的プロセッサ可読媒体にも関する。
下記の添付図面を参照する以下の記載を読めば、本開示をより良く理解でき、その他の具体的な特徴及び利点が明確になるであろう。
本原理の特定の一実施形態によるプレノプティック・カメラを示す図である。 本原理の特定の一例による、図1のプレノプティック・カメラにおける光線の進行を示す図である。 本原理の特定の一例による、図1のプレノプティック・カメラにおける光線の進行を示す図である。 本原理の特定の一実施形態による、図1のプレノプティック・カメラで得られるマイクロ画像を示す図である。 本原理の特定の一実施形態による、図1のプレノプティック・カメラを制御する方法を示す図である。 本原理の特定の一実施形態による、図1のプレノプティック・カメラを備えたテレコミュニケーション装置を示す図である。
以下、図面を参照して本発明の要旨を説明するが、全図面において同じ参照番号を用いて同じ構成要素を示している。以下、本発明の要旨を完全に理解できるように、説明の目的のために、多数の具体的な詳細事項を述べる。しかしながら、本発明の要旨の実施形態は、これらの具体的な詳細事項なしでも実現できることは明らかである。
本原理の特定の一実施形態によれば、プレノプティック・カメラの光学的構造体が、この光学的構造体に入射する光束の光進行方向においてカメラ・レンズの前に配置された光学装置を備え、この光学装置は、透過モードと分散モード(拡散モードとも呼ばれる)との間で制御可能な第1のレイヤと、この光学装置の縁に配置された少なくとも1つの光源と、を備えている。簡素化の目的で、メイン・レンズ又は一次レンズとも呼ばれるカメラ・レンズを例示するために、図面では、ただ1つのレンズを例示している。カメラ・レンズが複数のレンズの一組に相当し得ることは、当然理解されることである。
種々の動作モードを有する光学装置を使用することによって、シーンの画像のみならず、制御された画像も、例えば、均一な白色の生画像も取得でき、この均一な白色生画像は、プレノプティック・カメラの調整、或いは、口径食、けられ(vignetting)作用の除去に用いられ得る。
図1は、本原理の特定の一実施形態によるプレノプティック・カメラ1を示している。このプレノプティック・カメラは、レンズ・ユニット101(光学的構造体に対応している)とカメラ本体102とを備えている。
レンズ・ユニット101は、利点として、カメラ本体102に結合されるように構成されている。カメラ本体102は光センサ・アレイ13を備えており、この光センサ・アレイは複数m個の光センサ131,132,133〜13mを備えている。各々の光センサは、この光センサ・アレイで取得されたシーンの生画像の一画素に対応し、各々の画素は、シーンの1つの「パート(部分)」(「ポイント(点)」とも呼ばれる)を包含している。光センサ・アレイ13は、例示の目的で比較的少数の光センサ131〜13mで示されている。当然、光センサの数は、図1の例示によって限定されず、任意の数の光センサ、例えば数千個、或いは、数百万個の光センサにまで及ぶ。例えば12.4メガピクセルのカメラでは、1つの画素が1つの光センサに対応する(例えば、4088×3040個の画素/光センサのアレイに対応する)。色フィルタ・アレイ(color filter array:CFA)12が光センサ・アレイ13上に配置されてもよい。CFA12は、一般的に、光センサ・アレイ13上にRGB(赤、緑、青)の色フィルタを配列しており、このRGB配列は、例えばベイヤ・フィルタ・モザイク(Bayer filter mosaic)の形態を取っている。一変形によれば、(CFA12に加えて、或いは、CFA12の代わりに)1つのCFAがマイクロレンズ・アレイ11(レンズレット・アレイとも呼ばれる)上に配置される。
カメラ本体102は、n個のマイクロレンズ111,112〜11n(nは2以上の整数)から成るマイクロレンズ・アレイ11も備えている。マイクロレンズ・アレイ11は、例示目的のために、比較的少数のマイクロレンズで示されているが、マイクロレンズの個数は、数千個、或いは、百万個、或いは、数百万個にまで及ぶこともある。光センサ・アレイ13の光センサのグループが、マイクロレンズ・アレイ11の各々のマイクロレンズ111〜11nに光学的に関連付けられている。例えば、マイクロレンズ・アレイ11の各々のマイクロレンズ111〜11nは、2×1、4×4又は10×10個の光センサの1つのアレイに対応するようにサイズが設定されている。1つのマイクロレンズに関連付けられた光センサのグループ(換言すれば、1つのマイクロレンズの配下の光センサのグループ)は、このマイクロレンズに関連付けられたマイクロ画像を形成し、この光センサのグループの各々の光センサがそのマイクロ画像の1画素を形成している。1つの単一のマイクロレンズに光学的に関連付けられた複数の光センサのうちの各々の光センサによって、1つの位置に従ってシーンの1画素を表す生データを取得すること(画素と同数の視差の取得)が可能になる。
レンズ・ユニット101をカメラ本体102に結合させるために、レンズ・ユニット101は第1の装着部を備え、カメラ本体102は第2の装着部を備えており、第1及び第2の装着部が互いに適合している。第1及び第2の装着部によって、レンズ・ユニット101はカメラ本体102にクリップで取り付けられてもよく、或いは、レンズ・ユニット101はカメラ本体102にねじで取り付けられてもよい。レンズ・ユニットがカメラ本体に結合されるように構成されたような第1及び第2の装着部は、例えば、2013年5月30日に公開された日本特許出願の特開2013−105151号公報に記載されている。第1及び第2の装着部は、レンズ・ユニット101とカメラ本体102とが合体させられると、レンズ・ユニット101とカメラ本体102とが、シーンの取得毎にそのシーンの複数のビューを取得するように構成されたプレノプティック・カメラを形成するように構成されている。一変形によれば、レンズ・ユニット101とカメラ本体102とは、集合的に1つの単一の本体を形成して、取り外し不可能に組み立てられている。
レンズ・ユニット101は、カメラ・レンズ10(メイン・レンズ又は一次レンズとも呼ばれる)を備えており、このカメラ・レンズ10は、利点として1つ又は複数のレンズ素子で構成されるが、図1においては、明瞭さの目的で、1つのレンズ素子10のみが示されている。レンズ・ユニット101は、カメラ・レンズ10の前に、或いは、前方に配置された光学装置14も備えている。カメラ・レンズ10の「前」、或いは、「前方」は、プレノプティック・カメラ1に入射する光束の光進行方向を考えると分かる。プレノプティック・カメラで取得すべきシーンから来てプレノプティック・カメラに入る光は、先ず光学装置14を通過し、その後カメラ・レンズ10を通過し、マイクロレンズ・アレイ11を通過して光センサ・アレイ13に到達する。
光学装置14は、光ガイド141と、光ガイド141に光を投じる光源143と、光ガイド141の前面上に配置された、或いは、コーティングされた第1のレイヤ142と、を備えており、光ガイド141の前面は、シーンに面する表面に相当し、すなわち、プレノプティック・カメラ1に入射する光束が最初に通過する表面に相当し、光ガイド141の他方の表面は、カメラ・レンズ10に面している。
光ガイド141の形状は、利点として、カメラ・レンズ10の一般的な形状と同じであり、例えば円形である。また、光ガイド141のサイズは、例えばカメラ・レンズ10のサイズと同じであり、カメラ・レンズ10の形状が例えば円形である場合、光ガイドの直径はカメラ・レンズの直径と同じである。光ガイド141のサイズは、その光ガイドの表面が、カメラ・レンズに入射する光束が先ず光ガイド141を通過するようにカメラ・レンズをカバーするのに十分な大きさを有するようなサイズである。一変形によれば、光ガイド141のサイズはカメラ・レンズ10のサイズより大きい、例えば、光ガイド141の直径はカメラ・レンズ10の直径より大きい。光ガイド141は、利点として、光源143からの光をカメラ・レンズ10に面している光ガイドの表面に最小限の損失で移送するように設計された装置に相当する。光は、内反射によって光ガイドを通過して送られる。光ガイド141は、例えば、透明な材料で作られている第2のレイヤに相当する。光ガイド141は、例えば光学グレード材料(optical grade material)、例えば、アクリル樹脂、ポリカーボネート、エポキシ、及び/又は、ガラスで作られている。光ガイドの例は、Avago Technologiesの「Light Guide Techniques Using LED Lamps/Application Brief I−003」において見出されるであろう。カメラ・レンズ10の光軸に沿う光ガイド141の幅は、例えば、1ミリメートル〜数ミリメートル分の1の範囲で構成されている。光ガイドとカメラ・レンズとの間には、間隙が配置されてもよく、この間隙は、例えば空気又は不活性ガスで構成され、カメラ・レンズの光軸に沿う幅が例えば1ミリメートルから数ミリメートルの範囲で構成される。
光源143は、1つ又は複数の発光装置を備えている。一変形によれば、光源143は、例えば光ガイド141の外周縁の形状を有する1つの面光源に相当し、例えば、光ガイドが円形の形状を有する場合は、リングの形状を有する1つの面光源に相当する。光源143は、光ガイド141に光を投じるように光ガイドの縁に配置される。光源143が複数の発光装置を備えている場合、それらの発光装置は、利点として、光ガイドに投じる光が均一になるように、光ガイドの周辺に、すなわち、光ガイドの周りに、均等に分散配置される。光源143は、利点として、白色光を発する。一変形によれば、光源143は、白色光と異なる光、例えば、黄色い光又は青い光を発する。
光ガイド141の前面上に配置された第1のレイヤ142は、2つの相異なる状態又はモード、すなわち、透過状態/モードと分散状態/モードを取ってもよい。透過モードにおいては、第1のレイヤ142は、これに到来した光束を通す(通過させる)。分散モードにおいては、第1のレイヤで142は、これに到来した光束を分散(拡散)し、その光束の一部分(例えば40%又は50%)が反射されてシーンに戻され、余りの部分(例えば、それぞれ、60%又は50%)が、分散されることによって、光ガイドを通過する。その結果、第1のレイヤ142が透過モードにある場合、シーンを源とする光線は、第1のレイヤ142、光ガイド141、カメラ・レンズ10を通過した後、光センサ・アレイ13に到達する。第1のレイヤ142が分散モードにある場合、シーンを源とする光線は、第1のレイヤ142によって部分的に遮断され、光線の一部分が光センサ・アレイ13に到達する。このように、シーンを源とする光束は、レイヤ142が分散モードにある場合に作動させられる光源143によって発せられる光よりも低い光強度で、光センサ・アレイに到達する。第1のレイヤ142は、利点として、透過モードから分散モードに、そして、分散モードから透過モードに切り換え制御できる。第1のレイヤ142は、例えば、PDLC(Polymer Dispersed Liquid Crystal:高分子分散型液晶)タイプのアクティブ・ディフューザ(active diffuser:能動拡散器)に相当する。PDLCアクティブ・ディフューザは、ポリマーと液晶との液体配合物を備え、この液体配合物は、透明な導電性の材料から成る薄い層を含むガラス又はプラスチックの2つの層の間に配置された後、ポリマーが硬化される。電源からの電極が、透明電極に接続されている。液体配合物に電圧が印加されない時は、液晶は、液滴(droplet)内において不規則に配列されており、その結果、光は、PDLCアクティブ・ディフューザを通過する際に分散される。すなわち、半透明の「乳白色(milky white)」の様相となり、PDLCアクティブ・ディフューザを通過する光が分散される。電極に電圧が印加された時は、ガラス上の2つの透明電極の間に形成された電界によって液晶が整列することによって、光が、殆ど分散されずに液滴を通過でき、その結果、透明な状態がもたらされる。透明度は、印加電圧によって制御できる。別の一例によれば、第1のレイヤ142はSPD(Suspended Particle Device:浮遊粒子装置)に相当する。浮遊粒子装置(SPD)においては、棒状のナノスケールの粒子の薄膜積層物(thin film laminate)を液体内で浮遊させて、2枚のガラス又はプラスチック相互間に配置するか、或いは、1つの第1のレイヤに取り付ける。電圧が印加されない時は、浮遊粒子は、不規則に編成されており、従って、光を遮断して吸収する。電圧が印加された時は、浮遊粒子は、整列して、光を通過させる。薄膜の電圧を変えることによって浮遊粒子の向きを変えて、それによって、透過する光の量を制御する。
当然、光学装置14の形状、及び、光ガイド141の形状、及び/又は、第1のレイヤ142の形状は、円形の形状には限定されず、任意の形状、例えば正方形又は矩形であってもよく、また、それぞれが相異なる形状であってもよい。
プレノプティック・カメラ1は、利点として、プレノプティック・カメラ1を制御するように、例えば第1のレイヤ142のモードと光源143とを制御するように構成されたハードウェアの構成要素103を備えている。光源143は、利点として、第1のレイヤ142が分散モードに切り換えられた時に、電源が投入されるように、すなわち、光ガイド141に光を投じるように制御される。また、光源143は、利点として、第1のレイヤ142が透過モードに切り換えられた時に、電源が切られるように、すなわち、光ガイド141に光を投じないように制御される。構成要素103は、更に、カメラ・レンズ10の1つ又は複数のパラメータの変化、例えば、カメラ・レンズの焦点距離の変化、及び/又は、焦点を合わせる際、或いは、ズーミングする際に生じる焦点距離の変化、を検出するように構成されている。構成要素103は、カメラ本体102又はレンズ・ユニット101内に含まれていてもよい。構成要素103は、利点として、メモリに、例えば、1つ又は複数のレジスタを備えるランダム・アクセス・メモリ、すなわち、RAM1032に関連付けられた1つ又は複数のプロセッサ1031を備えている。このメモリは、プレノプティック・カメラ1を制御する方法を実施する1つ又は複数の処理の命令を記憶している。一変形によれば、構成要素103は、例えばFPGA(Field−Programmable Gate Array:フィールド・プログラマブル・ゲート・アレイ)、ASIC(Application−Specific Integrated Circuit:特定用途向けIC)、或いは、DSP(Digital Signal Processor:デジタル信号プロセッサ)のタイプのプログラム可能論理回路の形態を取っている。構成要素103は、例えば、第1のレイヤ142を制御するために種々の電圧をこれに供給できる、及び/又は、光源143に電源を投入するための電圧を供給できる、可変電圧供給源を備えた電力源1033を備えている。この電力源は、利点として、プロセッサ1031によって制御される。構成要素103は、例えば、ユーザが、プレノプティック・カメラ1を設定するために、ユーザ・インタフェースを介して入力した制御パラメータのようなデータを受信及び/又は送信するように構成されたインタフェースも備えていてもよく、このユーザ・インタフェースは、例えばカメラ本体102上に配置された例えば表示スクリーン(例えば、LCD又は有機LEDディスプレイ)上に表示されてもよい。構成要素103は、プレノプティック・カメラ1から離れたソース(供給源)からのデータの受信も、及び/又は、これらのソース(供給源)へのデータの送信もできる。
一変形によれば、構成要素103は、プレノプティック・カメラ1には含まれずに、有線接続を介して(例えばUSB:Universal Serial Bus(ユニバーサル・シリアル・バス)を介して)、或いは、無線接続を介して(例えば、Bluetooth(登録商標)、WiFi又はZigBeeを介して)プレノプティック・カメラ1に接続されている。この一変形によれば、構成要素103は、プレノプティック・カメラ1とデータを交換するための送信器を備えている。また、この一変形によれば、電力源1033は、プレノプティック・カメラ1に含まれている。
プレノプティック・カメラ1は、マイクロレンズ・アレイ11と光センサ・アレイ13との間の距離がマイクロレンズの焦点距離と等しいプレノプティック・カメラに相当するタイプ1.0であっても、或いは、そうではないタイプ2.0(フォーカスト・プレノプティック・カメラ(focused plenoptic camera)とも呼ばれる)であっても、同様である。
図2には、本原理の特定の一実施形態による、光学装置14の第1のレイヤ142が透過モードにある場合にプレノプティック・カメラ1のカメラ・レンズを通過して光センサ・アレイ13に到達する光線束が示されている。
図2に例示されているように、光センサ・アレイ13の光センサのグループが、レンズレット・アレイ11の各々のマイクロレンズに光学的に関連付けられている。例えば、図2において、光センサのグループ2010がマイクロレンズ201に関連付けられており、光センサのグループ2020がマイクロレンズ202に関連付けられている。マイクロレンズに関連付けられた各々の光センサのグループは、対応するマイクロレンズに関連付けられたマイクロ画像に対応する。シーンの同一点が、マイクロレンズの幾何学的形状により、種々の角度から見られるので、プレノプティック・カメラ1で取得されたシーンの同一点20及び21のビューの数は、1つのマイクロレンズに光学的に関連付けられた光センサの数に相当する。これは、所与のマイクロレンズに光学的に関連付けられた各々の光センサが、シーンの1つの点の特定の1つのビューを表すデータを取得することを意味する。プレノプティック・カメラで取得されたシーンのビューの数は、レンズレット・アレイ11の各々のマイクロレンズに関連付けられた(すなわち、各々のマイクロレンズの配下の)画素の数に相当する。1つのマイクロレンズに光学的に関連付けられた光センサの数は、利点として、レンズレット・アレイ11の各々のマイクロレンズについて同じである。図2に例示されているように、取得されたシーンから、更に具体的には、点20から来る光線200は、光学装置14、カメラ・レンズ10及びレンズレット・アレイ11を通過して、光センサ・アレイ13、すなわち、グループ2010の光センサ2001に到達する。同様に、取得されたシーンから、更に具体的には、点21から来る光線210、211は、光学装置14、カメラ・レンズ10及びレンズレット・アレイ11を通過して、光センサ・アレイ13、すなわち、グループ2020の光センサ2101、或いは、グループ2010の1つの光センサに到達する。光学装置14は、光学装置14の第1のレイヤ142が透過モードにある時に、シーンから来る光線を通過させる。光線200及び210は、光学装置14を通過する前は、入力光線と呼ばれ、光学装置14を通過した場合、出力光線と呼ばれる。
第1のレイヤ142が透過モードにある時、光源143はオフ状態であり、これは、光が光源によって光ガイド141内に放たれていないことを意味する。シーンから来た光のみが光センサ・アレイ13に到達する。
シーンの相異なるビューが、そのシーンの生画像をデマルチプレクス処理してデモザイク処理することによって得られ、この生画像の画素は、光センサ・アレイ13の光センサに対応している。特定したビューを得るために、この特定したビューの画素が生画像から集められる。例えば、光センサ2001と2101に関連付けられた画素は、同じビューに所属するが、これは、当業者であれば分かるように、光センサ2001と2101が、それぞれが所属する光センサのグループ、すなわち、グループ2010と2020の中心を基準にして、同じ位置に配置されているからである。
当然、マイクロレンズ201と202にそれぞれ関連付けられた光センサのグループ2010と2020の光センサの数は、各々が点20と21の相異なるビューに対応する図1に例示された光センサの数nには限定されず、nより大きい数にも適用される。光センサのグループ2010と2020に所属しており、且つ、図2に例示されていない光センサは、利点として、点20及び21とは異なるシーンの点から受信される光情報を受信する。
図3には、本原理の特定の一実施形態による、シーンから来る光線束と、光学装置14の第1のレイヤ142が分散モードにある時にプレノプティック・カメラ1のカメラ・レンズ10から出力される光線とが示されている。
分散モードにあるように制御された第1のレイヤ142は、シーンの点20,21から来る光線200,210,211を部分的に遮断する。更に全般的に言えば、分散モードにある第1のレイヤ142は、シーンから来る光線の一部分を遮断する一方、これらの光線の余りの部分を分散し、これらの余りの部分は、第1のレイヤ142を通過できる。その結果、シーンから来る光線の一部分のみが、光ガイド141、カメラ・レンズ10及びマイクロレンズ・アレイ11を通過する。従って、シーンから来る光の一定の割合のみが、光センサ・アレイ13に到達し、この一定の割合は、第1のレイヤ142に印加される電圧に依存する。例えば、光線211は、第1のレイヤ142によって分散されて、光線31を形成し、この光線31は、光ガイド141を通過して、例えばマイクロレンズ201を介して、光センサ・アレイに到達する。第1のレイヤが分散モードに切り換えられると、光源143が、オン状態にあるように、すなわち、光学装置14の光ガイド141に向けてその中に光を放つように、制御される。例示の明瞭さの目的で、図3には、光源143から発生して光ガイド141を通り抜けるように送られる1つの光線30のみが示されている。当然、光源143よって放たれる光線の数は、1つには限定されず、任意の数に適用される。光ガイド141の光学的特性(光ガイド141を構成する材料の屈折率と、この光ガイドを囲む媒体、例えば、第1のレイヤ142又は空気の屈折率との差分)により、光線は、光ガイド141内で導かれて、カメラ・レンズに面した表面から光ガイドを出る。光線30は、光学装置14を出て光線300を形成し、この光線300は、カメラ・レンズ10に入射し、カメラ・レンズ10を横断して、更に、例えばマイクロレンズ202を介してマイクロレンズ・アレイ11を通過して、光センサ・アレイ13に到達する。光源143によって放たれる光が白色光である場合、光センサ・アレイ13上に得られるマイクロ画像は白色のマイクロ画像であり、各々の白色マイクロ画像は、マイクロレンズ・アレイ11の1つのマイクロレンズの配下で形成される。第1のレイヤ142を分散モードに切り換えることによって、シーンから発生して来たオリジナルの(元の)光線と光源143によって放たれた光線との混合を回避でき、これによって、プレノプティック・カメラ1を調整するために用いられ得る、すなわち、各々のマイクロレンズによって光センサ・アレイ13上に形成された各々のマイクロ画像の中心の位置を特定するために用いられ得る均一な白色生画像を得ることができる。
第1のレイヤ142が、分散モードにあり、分散(散乱)によってシーンから来た光の一定の割合(例えば、30%、40%又は50%)のみを通過させるように制御されている場合、光センサ・アレイ13に到達する光は、光源143によって放たれた(そして、光ガイド141を通り抜けるように導かれた)光と、シーンから来て第1のレイヤ142によって分散された光の上記一定の割合と、の混合に相当する。第1のレイヤが、入来する光の50%を反射して、入来する光の50%を分散するように制御されている場合、光源の強度は、光源143の強度が、シーンから来て、第1のレイヤ142によって分散される光の50%の強度よりも高くなるように制御される。その結果、シーンの画像は、光源143によって放たれた光の強度よりも低い強度で、光源143からの光と混合される。シーンから来た光が分散されるので、シーンの構造は、この分散のために、及び/又は、光源143によって放たれた光の強度よりも低い、シーンから来た光線の強度のために、光センサ・アレイ上に現れない(シーンの画像は、光源143によって放たれた光の中で埋没する)。たとえ光センサ・アレイ13に到達した光の一部分がシーンから来たものであっても、白色生画像は、依然として得られる。
均一な白色生画像が取得されると、第1のレイヤ142は、プレノプティック・カメラがシーンの相異なるビューから成る1つ又は複数の生画像を取得できる元の透過モードに切り換えられる。カメラ・レンズ10のフォーカス又はズームの新たな変更が検出されると、第1のレイヤ142が制御されて分散モードに切り換えられ、且つ、光源が同時に(又は、数ミリ秒後に)制御されて電源投入され、これによって、カメラ・レンズの新たなフォーカス及び/又はズームのパラメータに対応する新たな均一な白色生画像を取得でき、従って、カメラ・レンズのこの新たな設定についてのマイクロ画像の中心の位置を特定できる。本原理の代表的な一実施形態によれば、均一な白色生画像が、カメラ・レンズ10のフォーカス及び/又はズームの設定の変更が為される、或いは、検出される度に、(上述のように)取得される。
図4には、レンズレット・アレイ11のマイクロレンズに関連付けられたマイクロ画像41〜48が示されている。第1の特定の実施形態によれば、マイクロ画像41〜48は、プレノプティック・カメラ1を調整するために用いられる白色マイクロ画像、すなわち、図3に関して説明したように、第1のレイヤ142が分散モードにあり、且つ、光源143が光ガイド141に光を投じる場合に得られる白色マイクロ画像に相当する。第2の特定の実施形態によれば、マイクロ画像41〜48は、図2に関して説明したように、第1のレイヤ142が透過モードにある時にシーンの1つ又は複数の画像を取得する場合に得られるマイクロ画像に相当する。図4には、マイクロレンズ・アレイ11の一部のマイクロレンズの配下で光センサ・アレイ13上に形成されたマイクロ画像の一部分4のみ、すなわち、マイクロ画像41,42,43,44,45,46,47及び48が表されている。
プレノプティック・カメラを調整することは、マイクロレンズの配下で光センサ・アレイ上に形成された各々のマイクロ画像の中心を特定することであると理解してもよい。この目的を達成するために、図3に関して説明したように均一な白色生画像を取得して、白色マイクロ画像41〜48を得る。所与のマイクロ画像に関連付けられた光センサは、その所与のマイクロ画像を形成するマイクロレンズの配下の光センサ、すなわち、所与のそのマイクロレンズによってカバーされる領域上に投影する光センサに相当する。所与のマイクロ画像に関連付けられた光センサのグループの各々の光センサは、このマイクロレンズに関連付けられたマイクロ画像の画素に相当する。
各々のマイクロ画像の中心を求めるために、所与の白色マイクロ画像のどの光センサ/画素が、この所与の白色マイクロ画像の全ての光センサ/画素のうちで、最大量の光を受けているかを特定する。最大量の光を受けている光センサ/画素が、各々の白色マイクロ画像について、黒色又は薄い灰色で強調表示される。例えば、白色マイクロ画像41において、最大量の光を受けている光センサ/画素は、光センサ/画素411,412,413及び414に相当する。光センサ/画素411から414のグループの中で白色マイクロ画像41の中心に対応する光センサ/画素を特定するために、各々の光センサ/画素411から414によって受けられた光の量が互いに比較され、その最大値を有する光センサ/画素が、白色マイクロ画像41の中心に対応する規準光センサとして選択される。一変形によれば、白色マイクロ画像41の中心に対応する規準光センサは、白色マイクロ画像41の光センサ/画素のグループの中で最大量の光を受けている光センサとして、直接特定される。各々のマイクロ画像の中心画素の座標は、プレノプティック・カメラに関連付けられた、例えば、メモリ、レジスタ又はバッファ内に、例えば、記憶される。
各々のマイクロレンズに関連付けられた各々のマイクロ画像の境界と各々のマイクロ画像の中心画素(プレノプティック・カメラ1の調整から得られる)が判れば、各々のマイクロ画像内の任意の画素を集めて、それらを正しいビューに関連付けることが可能になる。実際、プレノプティック・カメラによって1回のスナップショットで取得されるビューの数は、1つのマイクロレンズに関連付けられた光センサの数、すなわち、1つのマイクロ画像を形成する画素/光センサの数に相当する。所与のビューを構築するためには、マイクロレンズに関連付けられた各々のマイクロ画像内において正しい画素を選択する必要がある。このようなプロセスは、デマルチプレクス処理と呼ばれるが、本原理の一実施形態により、上述のように特定された規準画素を用いて行われる。デマルチプレクス処理のプロセスの本質は、ある特定の入射角を有する光線を捉えた全ての画素が、いわゆるビュー(サブアパチャ・ビュー(sub−aperture view)とも呼ばれる)を作る同一の画像に格納されるように、生画像の画素を再編成することにある。光線の角度の情報は、各々のマイクロ画像における規準画素の位置に対するマイクロ画像内における相対的な画素位置によって与えられる。各々のマイクロレンズに関連付けられたそれぞれのマイクロ画像の中心画素に対する同一の相対的な位置にある、各々のマイクロレンズの配下の画素は、同じビューに所属する。マイクロ画像の画素は、例えば、RとCを整数として、R行とC列を有する画素の格子(grid)を形成している。マイクロ画像の画素の座標は、画素の行番号と列番号で与えられる。マイクロ画像41について、中心画素411の座標は、例えば(i,j)である。同じことが、各々のマイクロ画像のそれぞれの中心画素について当てはまる。例えば、マイクロ画像42において、中心画素421の座標は同じく(i,j)であり、マイクロ画像43において、中心画素431の座標は同じく(i,j)であり、各々のマイクロ画像について、画素の数は同じであり、且つ、各々のマイクロ画像における行と列の数RとCも、それぞれ、同じである。特定されたビューを構築するために、それぞれのマイクロ画像において同じ座標を有する全ての画素が選択される。例えば、同じビューに関係する画素が、図4において×印(cross)で識別されており、この×印で識別される各々の画素の座標は、それぞれのマイクロ画像の中心画素の座標(i,j)を基準にして、それぞれのマイクロ画像において、(i+3,j+3)である。
マイクロ画像の境界は、例えば、図3に関して説明したように得られる均一な白色生画像の白色マイクロ画像から特定される。マイクロ画像は、マイクロレンズの分布と同じ分布を有する。均一な白色生画像を取得することによって、マイクロレンズの配下の画素は、マイクロレンズの配下に配置されていない画素よりも明るく見える。マイクロ画像は、光センサ・アレイ上で明るく見える画素を集約し、マイクロレンズの形状と同じ形状を有する。一変形によれば、マイクロ画像の境界は、例えば、プレノプティック・カメラの製造時に恒久的に確定され、その境界を表す情報が、例えば、プレノプティック・カメラのメモリ(例えばRAM)に記憶されていてもよい。別の一変形によれば、マイクロレンズの形状が判っていれば、マイクロ画像の境界を中心画素を用いて特定してもよい。2つの隣接するマイクロ画像の中心画素を両端として有する線分の中点を求めることによって、マイクロ画像のサイズが、容易に特定され得る。例えば、マイクロ画像に関連付けられたマイクロレンズが円形である場合、マイクロ画像の半径は、中心画素と、2つの隣接するマイクロ画像の中心画素を両端として有する線分の中点に配置された画素との間の画素の数に対応する。
図5には、本原理の特定の一実施形態による、プレノプティック・カメラ1を制御する方法が示されている。
初期化ステップ50において、プレノプティック・カメラの種々のパラメータ、特に、光学装置14を制御するために用いられるパラメータが更新される。
次に、ステップ51において、プレノプティック・カメラに入射する光束の光進行方向においてカメラ・レンズ10の前に配置された光学装置14が、例えば制御部103によって制御される。光学装置14は、透過モードと分散モードとの間で制御可能な第1のレイヤと、光学装置14の縁に配置された1つ又は複数の光源と、を備えている。光源は、この光源によって放たれた光が光学装置を出てカメラ・レンズとマイクロレンズ・アレイとを介してプレノプティック・カメラの光センサ・アレイを照らすような態様で光学装置に光を投じるように配置されている。光学装置は、例えば、シーンから発生して来たオリジナルの光線を通過させるように制御され、この通過した光線が光センサ・アレイに到達することによって、シーンの相異なるビューを得るために使用され得るシーンの生画像が取得される。この目的を達成するために、第1のレイヤが、透過モードにあるように制御され、更に、光源が、光学装置に光を投じないオフ状態にあるように制御される。別の一例によれば、光学装置は、シーンから発生して来たオリジナルの光線の一部分を遮断するように、且つ、光学装置を通過する光線の部分を分散するように制御される。この目的を達成するために、第1のレイヤが、分散モードにあるように、或いは、分散モードに切り換わるように制御される。同時に、光源が、光学装置に光を投じるオン状態にあるように制御される。光源が光を放つと、第1のレイヤが分散モードに切り換えられる、そして/或いは、第1のレイヤが分散モードに切り換えられると、光源が光を放つように制御される。光学装置は、光源によって放たれた光線を導いて、カメラ・レンズとマイクロレンズ・アレイとを通過させて光センサ・アレイに向かわせるように設計されている。シーンから発生して来たオリジナルの光線の一部分を遮断し、且つ、シーンから発生して来たオリジナルの光線の余りの部分をカメラ・レンズに向けて分散する一方で、光センサ・アレイに制御された光を投じることによって、プレノプティック・カメラを調整するために使用され得る制御された生画像、例えば、均一な白色生画像を得ることが可能になる。例えば(光センサ・アレイの)1回の露光期間の間、第1のレイヤを分散モードに設定しておき、且つ、光源をオン状態に設定しておくことによって、プレノプティック・カメラがスチール写真撮影に用いられる場合に1つの均一な白色画像を生成でき、或いは、プレノプティック・カメラがビデオ撮影に用いられる場合に1つの均一な白色フレームを生成できる。
一変形によれば、第1のレイヤは、分散モードにあるように制御され、一方、光源は、例えば、光センサ・アレイに全く光を投じないオフ状態にある。
また、例えばプレノプティック・カメラ1に電源が投入されると、第1のレイヤは、分散モードにあるように制御され、光源は、オン状態にあるように制御される。オプションの一変形によれば、カメラ・レンズのフォーカス及び/又はズームの変更が行われた、そして/或いは、検出された時に、第1のレイヤは、分散モードにあるように制御され、光源は、オン状態にあるように制御される。この一変形によれば、フォーカス及び/又はズームのパラメータの変更が検出された場合に、均一な白色生画像が得られ、それによって、この検出された変更に従って、プレノプティック・カメラを調整することが可能になる。調整情報(例えば、各々のマイクロ画像の中心の座標)は、例えば、プレノプティック・カメラに関連付けられたメモリ、レジスタ及び/又はバッファ内に、或いは、例えば、構成要素103のメモリ1032又は構成要素103のプロセッサ1031のバッファ内に記憶される。一変形によれば、この調整情報は、遠隔記憶装置に記憶され、そして、この調整情報は、要求された際に、プレノプティック・カメラによって受信される。
図6には、例えばスマートフォン又はタブレットに相当するテレコミュニケーション(telecommunication)装置6のハードウェアの一実施形態が概略的に例示されている。
テレコミュニケーション装置6は、アドレスとデータのバスでありクロック信号も送るバス64によって互いに接続された下記の構成素子、すなわち、
−マイクロプロセッサ61(すなわち、CPU)、
−ROM(リード・オンリー・メモリ)タイプの不揮発性メモリ62、
−ランダム・アクセス・メモリ、すなわち、RAM63、
−無線インタフェース66、
−データの送信に適合化されたインタフェース67、
−例えば図1のプレノプティック・カメラ1に相当するプレノプティック・カメラ68、及び、
−ユーザに情報を表示する、そして/或いは、データ又はパラメータを入力するために適合化されたMMIインタフェース69、
を備えている。
尚、メモリ62と63の説明で使用される用語の「レジスタ」は、上記の各々のメモリにおいて、小容量のメモリ・ゾーンと大容量の(プログラム全体の記憶が可能な、或いは、受信された、そして、復号化されたデータを表すデータの全て又は一部分の記憶が可能な)メモリ・ゾーンとを意味する。
メモリのROM62は、特に「prog」プログラムを備えている。
本開示に固有の以下に説明する方法のステップを実施するアルゴリズムが、これらのステップを実施するテレコミュニケーション装置6に関連付けられたメモリであるROM62に記憶されている。電源が投入されると、マイクロプロセッサ61が、これらのアルゴリズムの命令をロードして実行する。
ランダム・アクセス・メモリ63は、特に、
−レジスタ内の、テレコミュニケーション装置6の電源投入を担当するマイクロプロセッサ61のオペレーティング・プログラムと、
−受信パラメータ(例えば、変調、符号化、MIMO、フレームの繰り返し、についてのパラメータ)、
−送信パラメータ(例えば、変調、符号化、MIMO、フレームの繰り返し、についてのパラメータ)、
−受信器66によって受信されて復号化されるデータに相当する入来データ、
−インタフェース69からアプリケーションに送信されるように形成された復号化データ、及び、
−光学装置14を制御するためのパラメータ、
を備えている。
図6に関して説明された構成以外のテレコミュニケーション装置6のその他の構成も本開示に適合する。特に、変形例によれば、このテレコミュニケーション装置は、全くのハードウェアの具現化に従って、例えば、1つの専用構成部品(例えば、ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)、FPGA(Field−Programmable Gate Array:フィールド・プログラマブル・ゲート・アレイ)、或いは、VLSI(Very Large Scale Integration:超大規模集積回路)の形態で、或いは、装置に組み込まれた複数の電子部品の形態で、実施してもよく、或いは、ハードウェア構成要素とソフトウェア構成要素との混合の形態でも実施してもよい。
無線インタフェース66とインタフェース67は、例えばIEEE802.11(WiFi)、IMT2000仕様(3Gとも呼ばれる)、3GPP LTE(4Gとも呼ばれる)、IEEE802.15.1(ブルートゥース(登録商標)(Bluetooth(登録商標))とも呼ばれる)等に準拠した規格のような1つ又は複数のテレコミュニケーション(電気通信)規格に従う信号の送受信に適合化されている。
一変形によれば、このテレコミュニケーション装置は、ROMを全く含まず、RAMのみを含み、本開示に固有の方法のステップを実施するアルゴリズムは、そのRAMに記憶されている。
当然、本開示は、これまでに説明された実施形態に限定されない。
特に、本開示は、プレノプティック光学的構造体には限定されず、そのようなプレノプティック光学的構造体を組み込んだ任意の装置、例えば、光センサ・アレイを備えたプレノプティック・カメラ、或いは、光センサ・アレイを備えたテレコミュニケーション装置にも適用できる。
テレコミュニケーション装置は、例えば、スマートフォン、スマートウォッチ、タブレット、コンピュータ、モバイル・フォン、ポータブル/パーソナル・ディジタル・アシスタント(PDA)、セットトップ・ボックス、及び、エンドユーザ相互間の情報の通信を容易にするその他の装置を含む。
ここに説明したプレノプティック・カメラ及び/又は光学装置14の方法と制御動作は、プロセッサによって行われる命令によって実施されてもよく、そのような命令(及び/又は、実施形態によって生成されるデータ値)は、プロセッサ可読媒体に記憶されてもよく、そのようなプロセッサ可読媒体は、例えば、集積回路、ソフトウェア搬送又はその他の記憶機器、例えば、ハード・ディスク、コンパクト・ディスケット(CD)、光ディスク(例えば、しばしばデジタル多用途ディスク又はデジタル・ビデオ・ディスクと呼ばれるDVD)、ランダム・アクセス・メモリ(RAM)、あるいは、リード・オンリ・メモリ(ROM)である。命令は、プロセッサ可読媒体に明確に組み入れられたアプリケーション・プログラムを構成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、あるいは、それらの組み合わせの中に入れられてもよい。命令は、例えば、オペレーティング・システム、個別のアプリケーション、あるいは、両者の組み合わせの中に存在してもよい。したがって、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有する(記憶装置のような)プロセッサ可読媒体を備えたデバイスとの両方を兼ねたものとして見なされてもよい。更に、プロセッサ可読媒体は、実施形態によって生成されたデータ値を、命令に加えて又は命令の代わりに、記憶してもよい。
当業者には明らかであろうが、実施形態は、例えば、記憶又は送信可能な情報を搬送するようにフォーマット化された種々の信号を生成してもよい。この情報には、例えば、方法を実施するための命令、あるいは、説明された実施形態の1つによって生成されたデータが含まれてもよい。例えば、信号は、説明された実施形態のシンタックスを書く又は読むための規則をデータとして搬送するように、あるいは、説明された実施形態によって書かれた実際のシンタックス値をデータとして搬送するようにフォーマット化されてもよい。そのような信号は、例えば、(例えば、スペクトルの無線周波数部分を用いて)電磁波として、あるいは、ベースバンド信号としてフォーマット化されてもよい。このフォーマット化には、例えば、データ・ストリームを符号化すること、及び、搬送波を符号化データ・ストリームで変調することが含まれてもよい。この信号が搬送する情報は、例えば、アナログ情報又はデジタル情報であってもよい。この信号は、周知の如く、種々の相異なる有線又は無線リンクを介して送信されてもよい。この信号は、プロセッサ可読媒体に記憶されてもよい。
以上、いくつかの実施形態を説明した。しかしながら、種々の修正を加えてもよいことが理解されるであろう。例えば、相異なる実施形態の構成要素を組み合わせる、補う、修正する、あるいは、取り去ることによって別の実施形態を実現してもよい。更に、当業者であれば、ここに開示された構成及びプロセスの代わりに別のものを用いてもよく、その結果得られる実施形態が、少なくとも実質的に同じ機能を、少なくとも実質的に同じやり方で、果たして、開示された実施形態と少なくとも実質的に同じ成果を実現できることが理解できるであろう。これに従って、本願は、これらの実施形態及びその他の実施形態を熟慮している。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
(付記1)
プレノプティック・カメラのための光学的構造体であって、カメラ・レンズと、光学的構造体に入射する光束の光進行方向においてカメラ・レンズの前に配置された光学装置とを備え、光学装置が、透過モードと分散モードとの間で制御可能な第1のレイヤと、光学装置の縁に配置された少なくとも1つの光源とを備えている、光学的構造体。
(付記2)
第1のレイヤが、光学的構造体に入射する光束の光進行方向における光学装置の前面に配置されている、付記1に記載の光学的構造体。
(付記3)
光学装置が、透明な材料で作られた第2のレイヤを更に備えており、分散モードにある時に光束を少なくとも部分的に遮断するように、第1のレイヤが、光学的構造体に入射する光束の光進行方向において第2のレイヤの前に配置されている、付記1又は2に記載の光学的構造体。
(付記4)
光学装置が、光学装置の周囲にリング状に配置された複数の光源を備えている、付記1から3のいずれか1項に記載の光学的構造体。
(付記5)
少なくとも1つの光源が光を放つ時に第1のレイヤが分散モードにある、付記1から4のいずれか1項に記載の光学的構造体。
(付記6)
光学装置を制御するように構成された少なくとも1つのプロセッサを更に備えている、付記1から5のいずれか1項に記載の光学的構造体。
(付記7)
カメラ・レンズのフォーカスの変更が検出された時に少なくとも1つの光源が光を放つ、付記1から6のいずれか1項に記載の光学的構造体。
(付記8)
プレノプティック・カメラのための光学的構造体を制御する方法であって、光学的構造体がカメラ・レンズを備えており、方法が、光学的構造体に入射する光束の光進行方向においてカメラ・レンズの前に配置された光学装置を制御することを含み、光学装置が、透過モードと分散モードとの間で制御可能な第1のレイヤと、光学装置の縁に配置された少なくとも1つの光源とを備えている、方法。
(付記9)
第1のレイヤが、光学的構造体に入射する光束の光進行方向における光学装置の前面に配置されている、付記8に記載の方法。
(付記10)
光学装置が、透明な材料から作られた第2のレイヤを更に備えており、第1のレイヤが、光学的構造体に入射する光束の光進行方向において第2のレイヤの前に配置されており、分散モードにある時に光束を少なくとも部分的に遮断する、付記8又は9に記載の方法。
(付記11)
光学装置が、光学装置の周囲にリング状に配置された複数の光源を備えている、付記8から10のいずれか1項に記載の方法。
(付記12)
少なくとも1つの光源が光を放つ時に第1のレイヤを分散モードに切り換えることを更に含む、付記8から11のいずれか1項に記載の方法。
(付記13)
カメラ・レンズのフォーカスの変更を検出することと、フォーカスの変更が検出された時に光を放つように少なくとも1つの光源を制御することと、を更に含む、付記8から12のいずれか1項に記載の方法。
(付記14)
コンピュータプログラム製品であって、プログラムがコンピュータ上で実行される際に付記8から13のいずれか1項に記載の方法を実行するためのプログラム・コードの命令を備えている、コンピュータプログラム製品。
(付記15)
マイクロレンズ・アレイと、光センサ・アレイと、付記1から7のいずれか1項に記載のプレノプティック構造体とを備えているプレノプティック・カメラ。

Claims (15)

  1. プレノプティック・カメラのための光学的構造体であって、
    カメラ・レンズと、
    前記光学的構造体に入射する光束の光進行方向において前記カメラ・レンズの前に配置された光学装置と、を備え、
    前記光学装置が、透過モードと分散モードとの間で制御可能な第1のレイヤと、前記光学装置の縁に配置された少なくとも1つの発光装置とを備えている、光学的構造体。
  2. 前記第1のレイヤが、前記光学的構造体に入射する光束の光進行方向における前記光学 装置の前面に配置されている、請求項1に記載の光学的構造体。
  3. 前記光学装置が、透明な材料で作られた第2のレイヤを更に備えており、前記分散モードにある時に前記光束を少なくとも部分的に遮断するように、前記第1のレイヤが、前記光学的構造体に入射する光束の光進行方向において前記第2のレイヤの前に配置されている、請求項1又は2に記載の光学的構造体。
  4. 前記少なくとも1つの発光装置が、前記光学装置の周囲にリング状に配置された複数の発光装置を備え、 前記複数の発光装置は、光を前記光学装置に導く、請求項1から3のいずれか1項に記載の光学的構造体。
  5. 前記少なくとも1つの発光装置が光を前記光学装置に放つ時に、前記第1のレイヤが分散モードにある、請求項1から4のいずれか1項に記載の光学的構造体。
  6. 前記光学装置を制御するように構成された少なくとも1つのプロセッサを更に備えている、請求項1から5のいずれか1項に記載の光学的構造体。
  7. 前記カメラ・レンズのフォーカスの変更が検出された時に前記少なくとも1つの発光装置が光を放つ、請求項1から6のいずれか1項に記載の光学的構造体。
  8. プレノプティック・カメラのための光学的構造体を制御する方法であって、
    前記光学的構造体は、カメラ・レンズと、前記光学的構造体に入射する光束の光進行方向において前記カメラ・レンズの前に配置された光学装置と、を備え、前記光学装置は、透過モードと分散モードとの間で制御可能な第1のレイヤと、前記光学装置の縁に配置された少なくとも1つの発光装置とを備え、
    前記方法は、前記透過モードと前記分散モードとの間で前記第1のレイヤのスイッチングを制御することと、前記少なくとも1つの発光装置を制御することを含む、方法。
  9. 前記第1のレイヤが、前記光学的構造体に入射する光束の光進行方向における前記光学 装置の前面に配置されている、請求項8に記載の方法。
  10. 前記光学装置が、透明な材料から作られた第2のレイヤを更に備えており、前記第1の レイヤが、前記光学的構造体に入射する光束の光進行方向において前記第2のレイヤの前 に配置されており、前記分散モードにある時に、前記光束を少なくとも部分的に遮断する 、請求項8又は9に記載の方法。
  11. 前記少なくとも1つの発光装置が、前記光学装置の周囲にリング状に配置された複数の発光装置を備え、前記複数の発光装置は、光を前記光学装置に導く、請求項8から10のいずれか1項に記載の方法。
  12. 光を前記光学装置に放つように前記少なくとも1つの発光装置を制御するときに、前記第1のレイヤを分散モードに切り換えることを更に含む、請求項8から11のいずれか1項に記載の方法。
  13. 前記カメラ・レンズのフォーカスの変更を検出することと、
    フォーカスの変更が検出されたときに光を放つように前記少なくとも1つの発光装置を制御することと、
    を更に含む、請求項8から12のいずれか1項に記載の方法。
  14. コンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行される際に請求項8から13のいずれか1項に記載の方法を実行するためのプログラム・コードの命令を備えている、コンピュータプログラム製品。
  15. マイクロレンズ・アレイと、光センサ・アレイと、請求項1から7のいずれか1項に記載の光学的構造体とを備えているプレノプティック・カメラ。
JP2016151691A 2015-08-04 2016-08-02 プレノプティック・カメラ及びこれを制御する方法 Active JP6917126B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306265.8A EP3128750A1 (en) 2015-08-04 2015-08-04 Plenoptic camera and method of controlling the same
EP15306265.8 2015-08-04

Publications (3)

Publication Number Publication Date
JP2017032994A JP2017032994A (ja) 2017-02-09
JP2017032994A5 JP2017032994A5 (ja) 2019-09-05
JP6917126B2 true JP6917126B2 (ja) 2021-08-11

Family

ID=53835370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016151691A Active JP6917126B2 (ja) 2015-08-04 2016-08-02 プレノプティック・カメラ及びこれを制御する方法

Country Status (10)

Country Link
US (1) US10721380B2 (ja)
EP (2) EP3128750A1 (ja)
JP (1) JP6917126B2 (ja)
KR (1) KR20170016796A (ja)
CN (1) CN106454018B (ja)
AU (1) AU2016210615B2 (ja)
BR (1) BR102016016922A2 (ja)
CA (1) CA2936387A1 (ja)
MX (1) MX371371B (ja)
TW (1) TWI733686B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3462724A1 (en) * 2017-09-29 2019-04-03 Thomson Licensing Reduced optical crosstalk plenoptic imaging device, corresponding method, computer program product, computer-readable carrier medium and apparatus
JP7287283B2 (ja) * 2018-01-31 2023-06-06 ソニーグループ株式会社 撮像装置、および撮像方法
US11868029B2 (en) * 2019-04-18 2024-01-09 Sony Group Corporation Interchangeable lens, information processing apparatus, information processing method, and program
CN113419394B (zh) * 2021-06-23 2022-12-20 合肥联宝信息技术有限公司 一种镜头组件、摄像头及成像方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148593A (ja) * 1992-11-11 1994-05-27 Canon Inc 光量調整装置を有した光学系
US5644369A (en) * 1995-02-24 1997-07-01 Motorola Switchable lens/diffuser
US6377300B1 (en) * 1998-04-14 2002-04-23 Mcdonnell Douglas Corporation Compact flat-field calibration apparatus
US7286166B2 (en) * 1999-05-27 2007-10-23 Intel Corporation Calibrating digital cameras for varying ambient light conditions
US7990600B2 (en) * 2004-05-24 2011-08-02 Compound Photonics Limited Transmissive, optically addressed, photosensitive spatial light modulators and color display systems incorporating same
US8288936B2 (en) * 2007-06-05 2012-10-16 Sharp Kabushiki Kaisha Light emitting apparatus, method for manufacturing the light emitting apparatus, electronic device and cell phone device
US8680451B2 (en) * 2007-10-02 2014-03-25 Nikon Corporation Light receiving device, focus detection device and imaging device
JP5463718B2 (ja) * 2009-04-16 2014-04-09 ソニー株式会社 撮像装置
WO2011066275A2 (en) * 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
JP2012023439A (ja) * 2010-07-12 2012-02-02 Asahi Glass Co Ltd ホワイトバランス調整装置
EP2503364A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Camera system comprising a camera, camera, method of operating a camera and method for deconvoluting a recorded image
JP2012205014A (ja) * 2011-03-24 2012-10-22 Casio Comput Co Ltd 撮像装置の製造装置及び製造方法、並びに撮像装置
JP2013097082A (ja) * 2011-10-31 2013-05-20 Hitachi Ltd 画像信号処理装置
JP2013105151A (ja) 2011-11-16 2013-05-30 Olympus Corp 光学装置
JP5948050B2 (ja) * 2011-12-20 2016-07-06 ローム株式会社 撮影補助光装置およびこれを備えたデジタルカメラ
JP2014066897A (ja) * 2012-09-26 2014-04-17 Fujifilm Corp 領域分割レンズ及びプレノプティックカメラ
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
KR101871034B1 (ko) * 2013-02-13 2018-07-19 유니버시타트 데스 사를란데스 플렌옵틱 이미징 장치
US20150350530A1 (en) * 2014-06-02 2015-12-03 Nokia Corporation Light Field Imaging
US9544583B2 (en) * 2015-01-09 2017-01-10 Ricoh Company, Ltd. Object space calibration of plenoptic imaging systems

Also Published As

Publication number Publication date
US20170041518A1 (en) 2017-02-09
EP3128750A1 (en) 2017-02-08
EP3128751A1 (en) 2017-02-08
CN106454018B (zh) 2021-01-26
KR20170016796A (ko) 2017-02-14
US10721380B2 (en) 2020-07-21
AU2016210615B2 (en) 2021-09-02
MX371371B (es) 2020-01-28
TW201722134A (zh) 2017-06-16
JP2017032994A (ja) 2017-02-09
EP3128751B1 (en) 2019-12-25
TWI733686B (zh) 2021-07-21
MX2016010020A (es) 2017-04-27
AU2016210615A1 (en) 2017-02-23
CA2936387A1 (en) 2017-02-04
CN106454018A (zh) 2017-02-22
BR102016016922A2 (pt) 2017-02-07

Similar Documents

Publication Publication Date Title
JP6917126B2 (ja) プレノプティック・カメラ及びこれを制御する方法
CN100403545C (zh) 固体摄像元件及其设计支持方法及摄像装置
EP3026887B1 (en) Plenoptic camera comprising a light emitting device
JP2014187554A (ja) 撮像装置、情報処理装置、携帯端末装置及び表示装置
US11134202B2 (en) Plenoptic camera comprising a spatial light modulator
WO2021098349A1 (zh) 一种摄像模组、摄像头、终端设备及图像信息的确定方法
US20140071317A1 (en) Image pickup apparatus
KR20160074222A (ko) 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
EP3112920A1 (en) Plenoptic camera comprising an anti-vignetting optical filter and method f controlling the same
EP3110130A1 (en) Plenoptic camera and method of controlling the same
WO2021166834A1 (ja) 撮像装置、及び撮像方法
GB2506405A (en) Imaging device with steerable light redirection units forming virtual lens
EP3032817A1 (en) Plenoptic camera comprising a spatial light modulator and method of acquiring views with such a plenoptic camera
JP2021132372A (ja) 撮像装置、及び撮像方法
CN105277277A (zh) 一种光检测方法及电子设备

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180223

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190725

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200828

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210719

R150 Certificate of patent or registration of utility model

Ref document number: 6917126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150