JP6971084B2 - ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置 - Google Patents

ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置 Download PDF

Info

Publication number
JP6971084B2
JP6971084B2 JP2017156980A JP2017156980A JP6971084B2 JP 6971084 B2 JP6971084 B2 JP 6971084B2 JP 2017156980 A JP2017156980 A JP 2017156980A JP 2017156980 A JP2017156980 A JP 2017156980A JP 6971084 B2 JP6971084 B2 JP 6971084B2
Authority
JP
Japan
Prior art keywords
optical system
pixel
pupil
polygon
vertices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017156980A
Other languages
English (en)
Other versions
JP2018033133A (ja
JP2018033133A5 (ja
Inventor
ボワソン，ギョーム
ブロンデ，ローラン
ヴァンダム，ブノワ
Original Assignee
インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ filed Critical インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Publication of JP2018033133A publication Critical patent/JP2018033133A/ja
Publication of JP2018033133A5 publication Critical patent/JP2018033133A5/ja
Application granted granted Critical
Publication of JP6971084B2 publication Critical patent/JP6971084B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、プレノプティック撮像(plenoptic imaging)の分野におけるものであり、ライト・フィールド・コンテンツに関連するボケ(bokeh)情報を生成する技術に関連する。
画像捕捉デバイスは、3次元的なシーンを2次元的なセンサーに投影する。動作の際、従来のキャプチャー・デバイスは、デバイス内のフォトセンサー(又はフォトディテクタ或いはフォトサイト)に到達する光の量を表現するシーンの2次元(2-D)画像を捕捉する。しかしながら、この2-D画像は、(ライト・フィールドと言及される)フォトセンサーに届く光線の方向分布に関する情報を何ら含んでいない。例えば、この捕捉の最中に、深度又は奥行き(Depth)は失われる。従って、従来のキャプチャー・デバイスは、シーンからの光分布に関する情報の大部分を保存していない。
「ライト・フィールド・データ取得デバイス(light-field data acquisition devices)」と言及されても良いライト・フィールド・キャプチャー・デバイスは、そのシーンの様々な視点からの光を捕捉することにより、シーンの4次元ライト・フィールド(a four-dimensional (4D) light-field)を測定するように設計されている。フォトレジスタと交わる光ビームの各々に沿って進行する光の量を測定することにより、これらのデバイスは、追加的な光学情報(特に、光線束の方向分布に関する情報)を捕捉し、事後的な処理による新たなイメージング・アプリケーションをもたらすことが可能である。ライト・フィールド・キャプチャー・デバイスにより獲得/取得される情報は、ライト・フィールド・データとして言及される。ライト・フィールド・キャプチャー・デバイスは、ライト・フィールド・データを捕捉することが可能な任意のデバイスとしてここでは定義される。幾つかの種類のライト・フィールド・キャプチャー・デバイスが存在し、例えば次のようなものがある：
− 画像センサー及びメイン・レンズの間に配置されるマイクロレンズ・アレイを利用するプレノプティック・デバイス(例えば、US2013/0222633)；
− 「Wilburn et al.，"High performance imaging using large camera arrays." ACM Transactions on Graphics (TOG) 24, no. 3 (2005): 765-776」及び特許文献US 8514491B2に記載されているようなカメラ・アレイ；等である。
ライト・フィールド・データ処理は、特に、シーンのリフォーカスされた画像を生成すること、シーンの透視図(perspective views)を生成すること、シーンの深度マップを生成すること、被写界深度拡大(extended depth of field (EDOF))画像を生成すること、立体画像を生成すること、及び/又は、これらの任意の組み合わせを含んで良いが、これらに限定されない。
ライト・フィールド取得デバイスにより取得される画像又はビデオは、例えば、ディスプレイ・デバイスのような他のデバイスへ送られる必要がある。
ユーザーがディスプレイ・デバイスでライト・フィールド・コンテンツの表示を希望する場合、彼/彼女は、コンテンツのうち様々な部分に焦点を合わせる又は焦点をずらすために、コンテンツのうちの様々な部分を選択して良い。フォーカス面は所望の深度に設定され、深度データは、ユーザーにより選択される画像部分にリフォーカスするために使用される。
しかしながら、そのように合成されるピクチャーは、現実感及び美的品質に欠けてしまうかもしれない。実際には、レンズにより生成される画像のうち焦点が合ってない部分は、不鮮明になる(blurred)。そのような不鮮明性の美的品質は「ボケ(bokeh)」と呼ばれ、ボケは「レンズが光の焦点外れ点(out-of-focus points of light)にする経路」として定義されても良い。レンズの収差及び開口形状の相違は、眼にとって心地良い方法で画像をぼかすことを、ある種のレンズ設計にはもたらすが、他のものには、心地良くない又は気が散る不鮮明性をもたらす。
ライト・フィールド・コンテンツから画像又はビデオをレンダリングする場合に、ぼやけた審美性の観点から、従来の画像又はビデオにできるだけ近い画像を表示すること、すなわち、優れたボケ特性を有する画像を表示することは、興味深いことである。
従って、ライト・フィールド・コンテンツの信号表現をエンコード及びデコードする技術であって、ライト・フィールド・イメージングの特異性に相応しく、かつ、画像又はビデオの現実味のある及び/又は美的なレンダリングを許容する技術を提供することが望まれている。
本発明は上記の観点から為されている。
本発明の第1形態によればコンピュータにより実行される方法が提供され、当該方法は、光学系の瞳孔(又は絞り)(a pupil)と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間(an object space)におけるコンジュゲート(a conjugate)とを通る光線群により占められる前記光学系の対物空間における或る体積に関連するボケを表すデータを生成するためにコンピュータにより実行される方法であって、前記体積は、ピクセル・ビームと言及される光線群により占められ、前記ピクセル・ビームの集合によりライト・フィールド・コンテンツが表現され、当該方法は：
前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線(a convex envelope)に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成するステップ；
を有する方法である。
そのような方法は、所与のピクセル・ビームに関連する人工的なボケ形状(a synthetic bokeh shape)を伝達することを可能にする。その方法の利点は、物理的な基礎の幾何学形状を保存することである。本発明の実施形態による方法は、高速であり、かつ、ピクセル・ビームの集合により表現されるライト・フィールド・コンテンツの撮像ワークフローを通じて、ボケ形状を本質的に伝達する利点をもたらす。
本発明の実施形態による方法の他の利点は、そのような方法が、ポリゴンの利用を当てにしているので、包括的なことである。
ボケを表現するデータを生成する方法の実施形態によれば、前記ピクセル・ビームのセクションは前記センサーのピクセルのコンジュゲートに対応し、前記瞳孔は前記光学系のエントランス瞳孔に対応し、前記第1表面は前記光学系の焦点面に対応する。
これは人工的な撮像に対応する。本発明による方法のこの実施形態においては、ピクセル・ビームは、光学系の対物空間に位置付けられるオブジェクト・ピクセル・ビームである。
ボケを表現するデータを生成する方法の実施形態によれば、前記ピクセル・ビームのセクションが、前記ピクセル・ビームと或る平面との交わりについての他の光学系を介するコンジュゲートに対応し、前記瞳孔は前記光学系のエグジット瞳孔に対応し、前記第1表面は前記光学系に関連するセンサーに対応する。
本発明による方法のこの実施形態においては、ピクセル・ビームは、光学系の像空間(the image space)に位置付けられる像ピクセル・ビームである。
ボケを表現するデータを生成する方法の実施形態によれば、前記第1ポリゴンはp個の頂点を有し、前記第2ポリゴンはn個の頂点を有し、前記第1ポリゴンのp個の頂点を前記第2ポリゴンのn個の頂点に結ぶ線の個数は、n×pの倍数である。
本発明の実施形態による解決手段の複雑さは、第1及び第2ポリゴンの頂点数に比例して増える。処理中のメモリ・ユニットにおけるアライメントの問題のためには、p及びnは4の倍数であることが好ましい。
ピクセル・ビームが光学システムの対物空間に位置付けられる場合において、本発明の実施形態により得られるボケは、p×n個の点の凸状包絡線に対応する。
ピクセル・ビームが光学系の像空間に位置付けられる場合(すなわち、像ピクセル・ビームである場合)、より具体的に言えば、像ビームが2つの重なる円錐の統合に対応する場合、得られるボケ形状は、n×2p個の点の凸状包絡線に対応する。この場合、p個の点群はそれぞれ瞳孔の点によるサンプリングされた楕円の像に対応する。
本発明の別の対象は装置であり、本装置は、光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる前記光学系の対物空間における或る体積に関連するボケを表すデータを生成する装置であって、前記体積は、ピクセル・ビームと言及される光線群により占められ、前記ピクセル・ビームの集合によりライト・フィールド・コンテンツが表現され、当該装置は：
前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成する；
ように構成されるプロセッサを有する装置である。
ボケを表現するデータを生成する装置の実施形態によれば、前記ピクセル・ビームのセクションは前記センサーのピクセルのコンジュゲートに対応し、前記瞳孔は前記光学系のエントランス瞳孔に対応し、前記第1表面は前記光学系の焦点面に対応する。
ボケを表現するデータを生成する装置の実施形態によれば、前記ピクセル・ビームのセクションが、前記ピクセル・ビームと或る平面との交わりについての他の光学系を介するコンジュゲートに対応し、前記瞳孔は前記光学系のエグジット瞳孔に対応し、前記第1表面は前記光学系に関連するセンサーに対応する。
ボケを表現するデータを生成する装置の実施形態によれば、前記第1ポリゴンはp個の頂点を有し、前記第2ポリゴンはn個の頂点を有し、前記第1ポリゴンのp個の頂点を前記第2ポリゴンのn個の頂点に結ぶ線の個数は、n×pの倍数である。
本発明の他の対象はデバイスに関連し、本デバイスは、光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる光学系の対物空間における或る体積に関連するボケをレンダリングするデバイスであって、前記体積は、本発明の実施形態による方法により取得されるピクセル・ビームと言及される光線群により占められる、デバイスである。
本発明のエレメントにより実現される幾つかのプロセスはコンピュータで実現されても良い。従って、そのようなエレメントは、完全なハードウェアの実施形態、完全なソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)、或いは、ソフトウェア及びハードウェアの形態を組み合わせる実施形態の形式を取っても良く、それらは全て一般的に「回路」、「モジュール」又は「システム」のように言及されて良い。更に、そのようなエレメントは、媒体に具現化されるコンピュータ利用可能プログラム・コードを有する任意の有形媒体に組み込まれるコンピュータ・プログラム・プロダクトの形式を採用しても良い。
本発明のエレメントはソフトウェアで実現されることが可能であるので、本発明は、適切な任意の搬送媒体でプログラム可能な装置に提供するコンピュータ読み取り可能なコードとして具現化されることが可能である。有形の搬送媒体は、フロッピー・ディスク、CD-ROM、ハード・ディスク・ドライブ、磁気テープ・デバイス、ソリッド・ステート・メモリ・デバイス等のような記憶媒体を含んで良い。一時的な媒体は、電気信号、電子信号、光信号、音響信号、磁気的な信号、電磁的な信号(例えば、マイクロ波、RF信号など)のような信号を含んでも良い。
添付図面を参照しながら単なる例示により本発明の実施形態が説明される。
カメラの光学系の瞳孔を通る光線群により占められる体積を示す図。 本発明の実施形態によるピクセル・ビームを表現する一葉双曲面(a hyperboloid of one sheet)を示す図。 一葉双曲面及びその漸近円錐(its asymptotic cones)を示す図。 本発明の実施形態による部分的にオーバーラップする2つの同軸円錐により表現されるピクセル・ビームを示す図。 ピクセル・ビームに関連するボケを表すデータを生成する本発明の実施形態による装置の一例を示す概略ブロック図。 ピクセル・ビームに関連するボケを表すデータを生成する本開示の実施形態によるプロセスを説明するためのフロー・チャートを示す図。 本発明の実施形態によるポリゴンによりサンプリングされるピクセル・ビームの断面を示す図。 本発明の別の実施形態によるポリゴンによりサンプリングされるピクセル・ビームの断面を示す図。 本発明の実施形態による第2光学系を介して撮像されるピクセル・ビームを表現する図。
当業者に認められるように、本原理による形態は、システム、方法又はコンピュータ読み取り可能な媒体として具現化されることが可能である。従って、本原理による形態は、完全なハードウェアの実施形態、完全なソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)、或いは、ソフトウェア及びハードウェアの形態を組み合わせる実施形態の形式を取っても良く、それらは全て一般的に「回路」、「モジュール」又は「システム」のように言及されて良い。更に、本原理による形態は、コンピュータ読み取り可能な記憶媒体の形式を採用することが可能である。1つ又は複数のコンピュータ読み取り可能な記憶媒体の任意の組み合わせが活用されて良い。
光取得システムにより捕捉される4Dライト・フィールド・データを表現する処理前画像(raw images)又はエピポーラ画像(epipolar images)に加えて、プレノプティックであってもなくても良い任意の光学取得システムに関し、光学取得システムのセンサーのピクセルと、光学取得システムの対物空間との間の対応関係に関する情報を取得することは、興味深いことである。画素が光学取得システムのセンサーに所属している光学取得システムの対物空間の何れの部分がセンシングを行うかを知ることは、デマルチプレクシング(分離)、デモザイキング(モザイク解除)、リフォーカシング等、及び、様々な特性を有する様々な光学系により取得される画像のミキシングのような信号処理オペレーションの改善を可能にする。更に、光学取得システムのセンサーのピクセルと光学取得システムの対物空間との間の対応関係に関する情報は、光学取得システムと独立している。
本開示は図1に示されるピクセル・ビーム10という表記を導入し、ピクセル・ビームは、(図1では図示されていない)カメラの光学系11の瞳孔と、瞳孔の表面に垂直な方向にある光学系の対物空間内にある、カメラのセンサーのピクセルのコンジュゲート(a conjugate of a pixel of a sensor of the camera)とを通る光線群により占められる体積を表現する。
光線群は、光学システム11の瞳孔14を通ってカメラのセンサー13のピクセル12により検知される。光学システム11は、写真又はビデオカメラ用に適合させたレンズの組み合わせであっても良い。光学システムの瞳孔は、光学システムを通して見えるような開口絞り(the image of an aperture stop)の像として定義され、すなわち、光学取得システムのうちの開口絞りに先行して位置するレンズ(群)として定義される。開口絞りは、光学取得システムの光学系を通過する光の量を制限する開口である。例えば、カメラ・レンズより内側に位置する調整可能な絞り羽根(又はブレード・ダイヤフラム)が、レンズの開口絞りであっても良い。ダイヤフラムの通過を許可される光の量は、ダイヤフラム開口の直径により制御され、その直径は、カメラのユーザーが許可しようとする光量に依存して合わせられても良い。例えば、開口を小さくすることは、ダイヤフラムの通過を許可される光の量を減らすと同時に、焦点の深度を増やす。レンズ部分の屈折作用に起因して、絞りの見かけ上のサイズは、その物理的なサイズより大きい又は小さいかもしれない。形式上、瞳孔は、物理的な絞りと対物空間との間に位置する光学取得システムのレンズ全てを介する開口絞りの像であるとする。
ピクセル・ビーム10は、エントランス瞳孔14を経て光学系11を伝搬する場合に、所与のピクセル12に届く光線のペンシル(又は光線束)(a pencil of rays of light)として定義される。光が自由空間の中を複数の直線に沿って進行する場合、そのようなピクセル・ビーム10の形状は2つのセクションによって規定されることが可能であり、一方のセクションはピクセル12のコンジュゲート15であり、他方のセクションはエントランス瞳孔14である。ピクセル12は、非ヌル表面及びセンシティビティ・マップにより規定される。
本発明の第1実施形態では、ピクセル・ビーム20は、図2に示されるような一葉双曲面により表現されても良く、一葉双曲面は、瞳孔24、及び、ピクセル12についての対物空間内のコンジュゲート25という2つの要素によりサポートされている。
一葉双曲面は、光線のペンシル(光線束)の概念を支持し且つ物理的な光ビームの「エテンデュ(`etendue)」の概念、物理的な光ビームの断面を横切るエネルギの保存に結び付けられる概念と両立する線識面(a ruled surface)である。
図3に示されるように、一葉双曲面30は、ウェスト35と言及される最小セクションの基本領域を除いて、漸近円錐31，32にほぼ一致しており、ウェスト35は対物空間におけるコンジュゲート15に対応する。ライト・フィールド・カメラのようなプレノプティック・システムの場合、これは、複数の光線による空間サンプリングが実行される領域である。この領域内の一点に縮退する(degenerating)固有のコーンによるサンプリング空間は適切ではなく、なぜなら、ピクセル12の感度は、その表面において数十平方ミクロンで有意であり、円錐の先端のような無限に小さな表面しか有しない数学的な点によって表現することはできないからである。
本発明の実施形態において、各々のピクセル・ビーム10，20，30は、瞳孔14，24の前方における瞳孔コンジュゲート15，35の位置及びサイズを規定する4つの独立パラメータzp，θx，θy，aと、瞳孔14，24の位置、向き及び半径を規定する6つの瞳孔パラメータx0，y0，z0，θx0，θy0，rとにより規定される。これら6つの瞳孔パラメータは、一葉双曲面によって表現される場合に、同じ瞳孔14，24を共有するピクセル・ビームの集まりに対して共通している。実際、ピクセル・ビームは、瞳孔14を介してピクセル12により検知される光学システム11の対物空間における光線束により占められる体積を表現し、すなわち、ピクセル12/瞳孔14，24の所与の組み合わせは、固有のピクセル・ビーム10，20，30に対応するが、複数の個々のピクセル・ビームは、同じ瞳孔14，24によってサポートされることが可能である。
ピクセル・ビーム10，20，30を表現する一葉双曲線のパラメータが規定される座標系(x，y，z)の原点Oは、図1に示されるように瞳孔の中心に対応し、この場合において、z軸は瞳孔14，24の表面に対して垂直な方向を規定する。
パラメータθx，θyは、エントランス瞳孔14の中心に対する主要光線方向を規定する。これらは、センサー13におけるピクセル12の位置、及び、光学系11の光学要素に依存する。より正確に言えば、パラメータθx，θyは、ピクセル12のコンジュゲート15についての、瞳孔14中心からの方向を規定するずれ角(shear angles)を表現する。
パラメータzpは、ピクセル・ビーム10，20，30のウェスト35、すなわち、ピクセル12のコンジュゲート15についての、z軸に沿った距離を表現する。
パラメータaは、ピクセル・ビーム10，20，30のウェスト35の半径を表現する。
光のひずみ及びフィールド湾曲(field curvatures)がモデル化される場所である光学系11に関し、パラメータzp及びaは、パラメータ関数によりパラメータθx及びθyに依存することが可能である。
4つの独立パラメータは、ピクセル12及びそのコンジュゲート15に関連する。
ピクセル・ビーム10，20，30を規定する6つの補足的な瞳孔パラメータは、次のとおりである：
− r：瞳孔14，24の半径を表現する；
− x0，y0，z0：(x，y，z)座標系における瞳孔14，24の中心の座標を表現する；
− θx0，θy0：基準(x，y，z)座標系における瞳孔14，24の向きを表現する。
これら6つの瞳孔パラメータは瞳孔14，24に関連している。べつのパラメータcが定義される。そのパラメータcは、瞳孔12及びそのコンジュゲート15に関連するパラメータzp及びaと、瞳孔14，24に関連するパラメータrとに依存する。パラメータcは、ピクセル・ビーム10，20，30の角度開口αを規定し、次式によって与えられる：tan(α)=a/c。
パラメータcを表す式は次式によって与えられる：
Figure 0006971084
ピクセル・ビーム10，20，30の境界を定める表面に属する点についての対物空間での座標(x，y，z)は、瞳孔14及びピクセルのコンジュゲート15に関する上記のパラメータ群の関数である。こうして、ピクセル・ビーム10，20，30を表現する一葉双曲面の生成を可能にする数式(2)は、次のとおりである：
Figure 0006971084
ピクセル・ビーム10，20，30を表現する同じ双曲面のパラメータ方程式(3)は、次のとおりである：
Figure 0006971084
νは、双曲線の生成からピクセル・ビーム10，20，30の生成を可能にする(x,y)平面内の角度であり、νは[0,2π]のインターバルで変化し、z∈[0,∞]は、瞳孔14、24の表面に垂直な方向を規定するz軸に沿った(z軸上の)座標である。数式(2)及び(3)は、瞳孔12及びそのコンジュゲート15の断面が円形であり、かつ、瞳孔14，24の断面も円形である、という仮定の下で記載されている。
光学取得システムのセンサーのピクセルと、光学取得システムの対物空間との間の対応関係に関する情報は、瞳孔14，24の前方にあるピクセル・コンジュゲート15，35の位置及びサイズを規定する4つの独立パラメータ(zp，θx，θy，a)と、ピクセル・ビームがパラメータ方程式で表現される場合に、瞳孔14，24の位置、方向及び半径を規定する6つの瞳孔パラメータx0，y0，z0，θx0，θy0，rとを含むパラメータ群の何れかの形式を取っても良い。
従って、4Dライト・フィールド・データを処理する場合に使用されるように、光学取得システムにより取得される4Dライト・フィールド・データを表現するエピポーラ画像又は処理前画像に加えて、このパラメータ群が提供される。
本発明の第2実施形態では、ピクセル・ビーム40は、図4に示されるようなフロント・コーン(前方円錐)41F及びリア・コーン(後方円錐)41Rである部分的にオーバーラップする同軸上にあるコーンにより表現され、ピクセル・ビーム40は、ピクセル42についての対物空間におけるコンジュゲート45及び瞳孔44という2つの要素によりサポートされ、すなわち、対物空間の中でピクセルで撮像される表面によりサポートされる。
フロント・コーン41Fは、ピクセル42及び瞳孔44により規定される凸状錐台の像(the image of a convex frustum)である。凸状錐台の先端は、光学取得システムのセンサーを超えた位置にある。この構成によれば、フロント・コーン41Fは光学取得システムの対物空間内で収束しており(一点に交わっており)、フロント・コーン41Fの先端は、ピクセル42のコンジュゲート即ちピクセル・ビーム40のウェストと瞳孔44との間にある。フロント・コーン41Fは、ピクセル42における瞳孔44に対する立体角から導出される。
リア・コーン41Rは、ピクセル42及び瞳孔44により規定される円錐の像であり、その先端は、瞳孔44と光学取得システムのセンサーとの間にある。この構成によれば、リア・コーン41Rの先端は、瞳孔44のウェスト45を超えた位置にある。リア・コーン41Rは、光学取得システムの対物空間の中で必ずしも収束しておらず、場合によっては、円筒状又は発散するコーンに縮退していても良い。後者の場合、発散するコーンの先端は、光学取得システムの像空間内にあり、すなわち、瞳孔44のエントランスの前方にある。
フロント・コーン41F及びリア・コーン41Rは、瞳孔44の中心とウェスト45の中心とを結ぶラインである同じ回転軸(the same revolution axis)を共有する。
コーンは、光線のペンシル(光線束)の概念を支持し、2つのコーンを組み合わせる場合に、物理的な光ビームの「エテンデュ」の概念、物理的な光ビームの断面を横切るエネルギの保存に結び付けられる概念と両立する線識面である。円錐の平面との交わりは双曲線のような円錐曲線であり、円錐曲線は複数の係数により特徴付けられることが可能である。先端を考察すると、コーンは3つの角度パラメータにより表現されても良く、その3つのパラメータは：コーンの回転軸から測った極角(a polar angle)(高々先端角に至るまでの角度)(up to the apex angle)と、2つの角度で与えられる回転軸の方向とである。
xyzを光学取得システムの座標系とし、zは光学取得システムの光学軸を示し、z＞0を光学取得システムの対物空間とし、瞳孔44の中心をこの座標系の原点とする。
光学取得システムの光学系は、光学取得システムの対物空間を、z∈[2f;+∞]のレンジから、z∈[-2f;-f]という光学取得システムの像空間へ撮像し、ここで、fは光学取得システムの光学系の焦点距離である。ピクセル・ビーム40のウェスト45及び瞳孔44の位置は、光学取得システムの校正により、光学座標システムの座標系xyzにおいて既知である。瞳孔44及びウェスト45は、平行であり、かつ、何れもz軸に垂直であるように仮定されている。
z’をピクセル・ビーム40の主要光線(the chief ray)と呼ぶことにする。主要光線は、瞳孔44の中心とピクセル・ビーム40のウェストの中心とを結ぶライン上にある。主要光線は、回転軸でもあり、かつ、ピクセル・ビーム40の対称軸でもある。従って、座標系xyz’において、ピクセル・ビーム40は回転体(a solid of revolution)である。
フロント・コーン41F及びリア・コーン41Rの双方の先端は、ピクセル・ビーム40の主要光線z’上に位置付けられる。薄レンズ近似の下では、これら2つの先端の座標は、次のようにして、光学取得システムの座標系xyzで算出され、ただし、光学取得システムのセンサーは、後方焦点面には位置付けられないことが仮定される：
Figure 0006971084
 ここで、P、zp、W及びzwは、それぞれ、瞳孔44の直径(P＞0)、瞳孔のz座標、ピクセルのコンジュゲート45の直径(0＜W＜+∞)、及び、コンジュゲートのz座標(0＜zw＜+∞)である。
リア・コーン41Rの先端のz座標zrearは、リア・コーン41Rが収束するコーンである場合には「正」であり、リア・コーン41Rが発散するコーンである場合には「負」であっても良い。ピクセル・ビームのピクセルのコンジュゲート45及び瞳孔44が同じサイズのものである場合、そのz座標は無限大であっても良い。
光学取得システムのセンサーが後方焦点面に位置付けられる場合、W＝+∞及びzw＝+∞である。それらの比率は一定であるので、次式が成り立つ：
Figure 0006971084
 ここで、p及びfは、それぞれ、ピクセル42の直径(p＞0)及び光学取得システムの光学系の焦点距離(f＞0)であるが、光学取得システムの光学系は収束するレンズであることを仮定している。
先端角は次式で与えられる：
Figure 0006971084
 各コーンの先端を考慮すると、それらの融合(union)はピクセル・ビーム40を表現し、光線は次の2つの角度パラメータで規定されることが可能であり、その角度パラメータは：ピクセル・ビームの回転軸から測った極角(高々先端角に至る程度の角度である)と、[0,2π]におけるアジマス角(又は方位角)とである。
ピクセル・ビームに関連するこれらの情報は、所与の光学取得システムに関連するメタデータである。これらは、例えば、光学取得システムに供給されるCD-ROM又はフラッシュ・ドライブに保存されるデータ・ファイルとして提供されても良い。ピクセル・ビームに関連する追加的な情報を含むデータ・ファイルは、光学取得システムの製造業者に帰属するサーバーからダウンロードされても良い。本発明の実施形態では、ピクセル・ビームに関連するこれらの追加的な情報は、光学取得システムにより取得される画像のヘッダに組み込まれても良い。
ピクセル・ビームに関連するこれらの情報についての知識は、専用のファイル・フォーマット(the proprietary file format)によらず、及び、処理される画像を捕捉するために使用される光学取得システムの特徴にもよらず、任意の光学取得システムにより取得される画像の処理を可能にする。
ピクセル・ビームに関連する情報についての知識は、専用のファイル・フォーマットによらず、及び、処理される画像を捕捉するために使用される光学取得システムの特徴にもよらず、任意の光学取得システムにより取得される画像の処理を可能にする。
図5は ピクセル・ビームに関連するボケを表現するデータを生成する本開示の実施形態による装置の具体例を示す概略的なブロック図である。
装置500は、プロセッサ501と、ストレージ・ユニット502と、入力デバイス503と、ディスプレイ・デバイス504と、インターフェース・ユニット505とを含み、これらはバス506により接続されている。当然に、コンピュータ装置500の構成要素は、バス接続以外のコネクションで接続されていても良い。
プロセッサ501は装置500のオペレーションを制御する。ストレージ・ユニット502は、プロセッサ501により実行される第2光学系によりこれらのピクセル・ビームが撮像される場合に、第1光学系の対物空間を表現するピクセル・ビームを表すデータを生成することが可能な少なくとも1つのプログラム；及び、センサー13におけるピクセル12の位置に関するパラメータ、又は、光学取得システムの第1光学系及び第2光学系に関連するパラメータ、プロセッサ501により実行される計算により使用されるパラメータ、プロセッサ501により実行される計算の中間的なデータ等を含む様々なデータ； を保存する。プロセッサ501は、何らかの既知の適切なハードウェア若しくはソフトウェア又はハードウェア及びソフトウェアの組み合わせにより形成されても良い。例えば、プロセッサ501は、処理回路のような専用ハードウェアにより、或いは、メモリに保存されるプログラムを実行するCPU(中央処理ユニット)等のようなプログラム可能な処理ユニットにより形成されても良い。
ストレージ・ユニット502は、コンピュータ読み取り可能な方法で、プログラムやデータ等を保存することが可能な適切な任意の手段又はストレージにより形成されても良い。ストレージ・ユニット502の具体例は、半導体メモリ・デバイス等のような非一時的なコンピュータ読み取り可能な記憶媒体、及び、リード及びライト・ユニットに搭載される磁気的、光学的又は磁気-光学的な記録媒体を含む。プログラムは、図6を参照しながら説明されるような本開示の実施形態に従って、第2光学系を介するピクセル・ビームの像コンジュゲートにより、第1光学系の対物空間を表すピクセル・ビームの集合のうちのピクセル・ビームを表すデータを算出するプロセスを実行することを、プロセッサ501に実行させる。
コマンドを入力すること、光学系の対物空間における光線群により占められる体積を表現するパラメータを生成するために使用されるパラメータのユーザー選択を可能にすること等のために、ユーザーが使用するキーボードやポインティング・デバイス(例えば、マウス)等により、入力デバイス503は形成されても良い。出力デバイス504は、例えば、グラフィカル・ユーザー・インターフェース(GUI)、本開示の実施形態により生成される画像を表示するディスプレイ・デバイスにより形成されても良い。入力デバイス503及び出力デバイス504は、例えばタッチスクリーン・パネルにより一体的に形成されても良い。
インターフェース・ユニット505は、装置500と外部装置との間のインターフェースを提供する。インターフェース・ユニット505は、ケーブル又は無線通信により外部装置と通信しても良い。一実施形態において、外部装置は、実際のカメラのような光学取得システムであっても良い。
図6は、ピクセル・ビームに関連するボケを表現するデータを生成する本発明の実施形態によるプロセスを説明するためのフロー・チャートである。
レンズにより生じる画像のうちピントが合っていない部分(焦点外れの部分)は、不鮮明になっている。そのような不鮮明性の美的品質は「ボケ」と呼ばれ、ボケは「レンズが光の焦点外れ点にする経路」として定義されても良い。レンズの収差及び開口形状の相違は、眼にとって心地良い方法で画像をぼかすことを、ある種のレンズ設計にはもたらすが、他のものには、心地良くない又は気が散る不鮮明性をもたらす。
ライト・フィールド・コンテンツから画像又はビデオをレンダリングする場合に、ぼやけた審美性の観点から、従来の画像又はビデオにできるだけ近い画像を表示すること、すなわち、優れたボケ特性を有する画像を表示することは、興味深いことである。
ライト・フィールド・コンテンツは、光学系の対物空間を規定するピクセル・ビームの集合によってサンプリングされても良い。本発明の実施形態は、光学デバイスにより直接的に取得されるライト・フィールド・コンテンツに限定されない。これらのコンテンツは、所与のシーンを記述するために、コンピュータにより完全に又は部分的にシミュレーションされるコンピュータ・グラフィックス・イメージ(CGI)であっても良い。ライト・フィールド・コンテンツの他のソースは、例えば、光学デバイス又はCGIから取得される色の度合い、ライト・フィールド・コンテンツ等のような修正される事後的に生成されるデータであっても良い。光学取得デバイスを利用して取得されるデータ及びCGIデータの双方の混合であるデータを有することも、映画業界において今や一般的である。センサーのピクセルは、コンピュータ生成シーン・システムによりシミュレーションされることが可能であり、拡張により、センサー全体が当該システムによりシミュレーションされることが可能であることが、理解されるべきである。これらから、「センサーのピクセル」又は「センサー」に関する何らかの言い回しは、光学取得デバイスに取り付けられた物理的な対象物、或いは、コンピュータ生成シーン・システムにより得られるシミュレーションされるエンティティであっても良いことが、理解される。
ステップ600において、装置500のプロセッサ501は、p個の頂点を有する第1ポリゴンP1のように、ライト・フィールド・コンテンツを表現するピクセル・ビームの集合のピクセル・ビーム10，20，30，40，92のセクションS1をサンプリングする。セクションS1は、円、楕円、正方形などであっても良い。セクションS1及びポリゴンP1の具体例は、図7A-7Cに表現されている。図7Aにおいて、ピクセル・ビーム10，20，30，40，92のセクションS1をサンプリングするポリゴンP1は6つの頂点を有する。図7Bにおいては、ピクセル・ビーム10，20，30，40，92のセクションS1をサンプリングするポリゴンP1は8つの頂点を有する。図7Cにおいては、ピクセル・ビーム10，20，30，40，92のセクションS1をサンプリングするポリゴンP1は16個の頂点を有し、ピクセル・ビーム10，20，30，40，62のセクションS1とほぼ合わせることが可能である。
ステップ602において、装置500のプロセッサ501は、n個の頂点を有する第2ポリゴンP2のように、ライト・フィールド・コンテンツを表現するピクセル・ビームの集合のピクセル・ビーム10，20，30，40，92の瞳孔S2をサンプリングする。瞳孔S2は、円、楕円、正方形などであっても良い。瞳孔S2及びポリゴンP2の具体例は、図8A-8Fに表現されている。図8Aにおいて、ピクセル・ビーム10，20，30，40，92の瞳孔S2をサンプリングするポリゴンP2は4つの頂点を有する。図8Bにおいて、ピクセル・ビーム10，20，30，40，92の瞳孔S2をサンプリングするポリゴンP2は5つの頂点を有する。図8Cにおいて、ピクセル・ビーム10，20，30，40，92の瞳孔S2をサンプリングするポリゴンP2は6つの頂点を有する。図8Dにおいて、ピクセル・ビーム10，20，30，40，92の瞳孔S2をサンプリングするポリゴンP2は8つの頂点を有する。図8Eにおいて、ピクセル・ビーム10，20，30，40，92の瞳孔S2をサンプリングするポリゴンP2は12個の頂点を有する。図8Fにおいては、ピクセル・ビーム10，20，30，40，92のセクションS1をサンプリングするポリゴンP2は16個の頂点を有し、ピクセル・ビーム10，20，30，40，62の瞳孔92とほぼ合わせることが可能である。
本発明の実施形態による方法の複雑さは、第1ポリゴンS1及び第2ポリゴンS2の頂点の個数とともに線形に増えることが分かる。処理の最中における装置500のプロセッサ501及びストレージ・ユニット502のアライメントの問題に関し、p及びnは4の倍数であることが好ましい。ポリゴンP1及びP2の頂点の数は、装置500のユーザーにより選択されても良いし、装置500の入力デバイス503によりボケを表現するデータを生成するために使用されるパラメータとして装置500に提供されても良い。
ピクセル・ビームに関連するボケを表現するデータを生成する方法の第1実施形態では、考察されるピクセル・ビーム10，20，30，40は、光学系の対物空間を表現するピクセル・ビームの集合に帰属する(不図示)。この第1実施形態では、ピクセル・ビーム10，20，30，40のセクションS1は、ピクセル15，25，35，45のコンジュゲートに対応し；瞳孔S2はエントランス瞳孔であり、瞳孔14，24，44に対応する。
ピクセル・ビームに関連するボケを表現するデータを生成する方法の第2実施形態では、考察されるピクセル・ビーム92は、図9に示されるように、第2光学系91を介して第1光学系(不図示)の対物空間を表現するピクセル・ビームの集合に帰属するピクセル・ビーム10，20，30，40のコンジュゲートである。以下の例では、ピクセル・ビーム10，20，30，40，92は、一葉双曲面により表現されている。この第2実施形態では、ピクセル・ビーム92のセクションS1は、所与のピクセル・ビーム10,20,30,40と平面との交わりについての、第2光学系91を介するコンジュゲートに対応し；瞳孔S2は第2光学系91のエグジット瞳孔(an exit pupil)に対応する。
図6に戻り、ステップ603において、装置500のプロセッサ501は、第1ポリゴンP1のp個の頂点と第2ポリゴンP2のn個の頂点とを共に結ぶ光線群を算出する。
ピクセル・ビームに関連するボケを表現するデータを生成する方法の第1実施形態に対応する、光学系の対物空間に位置付けられるピクセル・ビーム10，20，30，40の場合、第1ポリゴンP1の頂点を、第2ポリゴンP2の頂点に結ぶp×n個の線が存在する。
ピクセル・ビーム92又は画像ピクセル・ビームの場合：これは、ピクセル・ビームに関連するボケを表現するデータを生成する方法の第2実施形態に対応し、より具体的に言えば、ピクセル・ビーム10，20，30，40，92は2つのオーバーラップするコーンの統合に対応する場合であり、その場合、第1ポリゴンP1の頂点を、第2ポリゴンP2の頂点に結ぶn×2p個の線が存在する。
ステップ604において、プロセッサ501は、第1ポリゴンP1のp個の頂点及び第2ポリゴンP2のn個の頂点を結ぶ線と、表面との交わりを算出する。
ピクセル・ビームに関連するボケを表現するデータを生成する方法の第1実施形態においては、その表面は、光学系の焦点面に対応する。
ピクセル・ビームに関連するボケを表現するデータを生成する方法の第2実施形態においては、その表面は、第2光学系91に関連するセンサーに対応する。
より具体的には、表面は、ピクセル・ビームのセクションの算出が提供される場合には焦点面に対応し、或いは、カメラでピクセル・ビームのセクションを撮像する場合にはセンサーに対応して良い。
ステップ605において、装置500のプロセッサ501は、第1ポリゴンP1のp個の頂点及び第2ポリゴンS2のn個の頂点を結ぶ線の、表面との交わりに適合する凸状包絡線を算出する。凸状包絡線は、ピクセル・ビーム10，20，30，40，92に関連するボケに対応する。ステップ605の間に算出される凸状包絡線を表すパラメータは、更なる利用のために装置500のストレージ・ユニット502に保存され、更なる利用は、例えば、ボケに関連するデータが算出されているピクセル・ビームの集合によりサンプリングされるライト・フィールド・コンテンツをレンダリングすること等である。交わりが多いほど、豊富な審美的なボケとなる。
以上、本発明は特定の実施形態を参照しながら説明されてきたが、本発明は特定の実施形態には限定されず、本発明の範囲内にある修正は、当業者にとって明らかであろう。
上記の例示的な実施形態を参照した当業者にとって、他の多くの修正及び変形は自ずと示唆され、上記の実施形態は単なる例示として与えられているに過ぎず、本発明の範囲を限定するようには意図されておらず、本発明は添付の特許請求の範囲によって専ら決定される。特に、様々な実施形態の様々な特徴は、適切である限り可換である。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる前記光学系の対物空間における或る体積に関連するボケを表すデータを生成するためにコンピュータにより実行される方法であって、前記体積は、ピクセル・ビームと言及される光線群により占められ、前記ピクセル・ビームの集合によりライト・フィールド・コンテンツが表現され、当該方法は、
前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成するステップ
を有する方法。
（付記２）
前記ピクセル・ビームのセクションは前記センサーのピクセルのコンジュゲートに対応し、前記瞳孔は前記光学系のエントランス瞳孔に対応し、前記第1表面は前記光学系の焦点面に対応する、付記１に記載の方法。
（付記３）
前記ピクセル・ビームのセクションが、前記ピクセル・ビームと或る平面との交わりについての他の光学系を介するコンジュゲートに対応し、前記瞳孔は前記光学系のエグジット瞳孔に対応し、前記第1表面は前記光学系に関連するセンサーに対応する、付記１に記載の方法。
（付記４）
前記第1ポリゴンはp個の頂点を有し、前記第2ポリゴンはn個の頂点を有し、前記第1ポリゴンのp個の頂点を前記第2ポリゴンのn個の頂点に結ぶ線の個数は、n×pの倍数である、付記１ないし3のうちの何れか一項に記載の方法。
（付記５）
光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる前記光学系の対物空間における或る体積に関連するボケを表すデータを生成する装置であって、前記体積は、ピクセル・ビームと言及される光線群により占められ、前記ピクセル・ビームの集合によりライト・フィールド・コンテンツが表現され、当該装置は
前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成する；
ように構成されるプロセッサを有する装置。
（付記６）
前記ピクセル・ビームのセクションは前記センサーのピクセルのコンジュゲートに対応し、前記瞳孔は前記光学系のエントランス瞳孔に対応し、前記第1表面は前記光学系の焦点面に対応する、付記５に記載の装置。
（付記７）
前記ピクセル・ビームのセクションが、前記ピクセル・ビームと或る平面との交わりについての他の光学系を介するコンジュゲートに対応し、前記瞳孔は前記光学系のエグジット瞳孔に対応し、前記第1表面は前記光学系に関連するセンサーに対応する、付記５に記載の装置。
（付記８）
前記第1ポリゴンはp個の頂点を有し、前記第2ポリゴンはn個の頂点を有し、前記第1ポリゴンのp個の頂点を前記第2ポリゴンのn個の頂点に結ぶ線の個数は、n×pの倍数である、付記５ないし７のうちの何れか一項に記載の装置。
（付記９）
光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる光学系の対物空間における或る体積に関連するボケをレンダリングするデバイスであって、前記体積は、付記１ないし４のうち何れか一項に記載の方法により取得されるピクセル・ビームと言及される光線群により占められる、デバイス。
（付記１０）
プログラムがプロセッサにより実行される場合に、付記１ないし４のうち何れか一項に従って、ボケを表すデータを生成する方法を実現するプログラム・コード命令を有することを特徴とするコンピュータ・プログラム。
（付記１１）
付記１ないし４のうち何れか一項に従って、ボケを表すデータを生成する方法をプロセッサに実行させる命令を保存したプロセッサ読み取り可能な媒体。
（付記１２）
プログラムがコンピューティング・デバイスで実行される場合に、付記１ないし４のうち何れか一項に従って、ボケを表すデータを生成する方法を実行するためのプログラム・コードの命令を担う非一時的な記憶媒体。

Claims (12)

  1. 光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる前記光学系の対物空間における或る体積に関連するボケを表すデータを生成するためにコンピュータにより実行される方法であって、前記体積は、ピクセル・ビームと言及される光線群により占められ、前記ピクセル・ビームの集合によりライト・フィールド・コンテンツが表現され、当該方法は：
    前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成するステップ；
    を有する方法。
  2. 前記ピクセル・ビームのセクションは前記センサーのピクセルのコンジュゲートに対応し、前記瞳孔は前記光学系のエントランス瞳孔に対応し、前記第1表面は前記光学系の焦点面に対応する、請求項1に記載の方法。
  3. 前記ピクセル・ビームのセクションが、前記ピクセル・ビームと或る平面との交わりについての他の光学系を介するコンジュゲートに対応し、前記瞳孔は前記光学系のエグジット瞳孔に対応し、前記第1表面は前記光学系に関連するセンサーに対応する、請求項1に記載の方法。
  4. 前記第1ポリゴンはp個の頂点を有し、前記第2ポリゴンはn個の頂点を有し、前記第1ポリゴンのp個の頂点を前記第2ポリゴンのn個の頂点に結ぶ線の個数は、n×pの倍数である、請求項1ないし3のうちの何れか一項に記載の方法。
  5. 光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる前記光学系の対物空間における或る体積に関連するボケを表すデータを生成する装置であって、前記体積は、ピクセル・ビームと言及される光線群により占められ、前記ピクセル・ビームの集合によりライト・フィールド・コンテンツが表現され、当該装置は：
    前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成する；
    ように構成されるプロセッサを有する装置。
  6. 前記ピクセル・ビームのセクションは前記センサーのピクセルのコンジュゲートに対応し、前記瞳孔は前記光学系のエントランス瞳孔に対応し、前記第1表面は前記光学系の焦点面に対応する、請求項5に記載の装置。
  7. 前記ピクセル・ビームのセクションが、前記ピクセル・ビームと或る平面との交わりについての他の光学系を介するコンジュゲートに対応し、前記瞳孔は前記光学系のエグジット瞳孔に対応し、前記第1表面は前記光学系に関連するセンサーに対応する、請求項5に記載の装置。
  8. 前記第1ポリゴンはp個の頂点を有し、前記第2ポリゴンはn個の頂点を有し、前記第1ポリゴンのp個の頂点を前記第2ポリゴンのn個の頂点に結ぶ線の個数は、n×pの倍数である、請求項5ないし7のうちの何れか一項に記載の装置。
  9. 光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる光学系の対物空間における或る体積に関連するボケをレンダリングするデバイスであって、前記体積は、請求項1ないし4のうち何れか一項に記載の方法により取得されるピクセル・ビームと言及される光線群により占められる、デバイス。
  10. プログラムがプロセッサにより実行される場合に、請求項1ないし4のうち何れか一項に従って、ボケを表すデータを生成する方法を実現するプログラム・コード命令を有することを特徴とするコンピュータ・プログラム。
  11. 請求項1ないし4のうち何れか一項に従って、ボケを表すデータを生成する方法をプロセッサに実行させる命令を保存したプロセッサ読み取り可能な媒体。
  12. プログラムがコンピューティング・デバイスで実行される場合に、請求項1ないし4のうち何れか一項に従って、ボケを表すデータを生成する方法を実行するためのプログラム・コードの命令を担う非一時的な記憶媒体。
JP2017156980A 2016-08-25 2017-08-16 ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置 Active JP6971084B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306082.5A EP3288253A1 (en) 2016-08-25 2016-08-25 Method and apparatus for generating data representative of a bokeh associated to light-field data
EP16306082.5 2016-08-25

Publications (3)

Publication Number Publication Date
JP2018033133A JP2018033133A (ja) 2018-03-01
JP2018033133A5 JP2018033133A5 (ja) 2020-09-24
JP6971084B2 true JP6971084B2 (ja) 2021-11-24

Family

ID=56883744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017156980A Active JP6971084B2 (ja) 2016-08-25 2017-08-16 ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置

Country Status (5)

Country Link
US (1) US10475163B2 (ja)
EP (2) EP3288253A1 (ja)
JP (1) JP6971084B2 (ja)
KR (1) KR102478989B1 (ja)
CN (1) CN107786808B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP3270589A1 (en) * 2016-07-11 2018-01-17 Thomson Licensing An apparatus and a method for generating data representative of a pixel beam
US11328437B2 (en) 2020-09-08 2022-05-10 Weta Digital Limited Method for emulating defocus of sharp rendered images
US11308586B2 (en) 2020-09-08 2022-04-19 Unity Technologies Sf Method for applying a vignette effect to rendered images

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8400454B2 (en) 2005-03-30 2013-03-19 Ati Technologies, Inc. System and method for creating motion blur
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
JP5067154B2 (ja) * 2007-12-27 2012-11-07 ソニー株式会社 撮像装置
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101661166B1 (ko) 2010-06-14 2016-09-29 연세대학교 산학협력단 3차원 영상 시스템에서 광선 추적 방법 및 장치
JP2012044564A (ja) * 2010-08-20 2012-03-01 Sanyo Electric Co Ltd 撮像装置
JP5623313B2 (ja) * 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
EP2817955B1 (en) * 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
GB2503656B (en) * 2012-06-28 2014-10-15 Canon Kk Method and apparatus for compressing or decompressing light field images
JP6335423B2 (ja) * 2012-08-31 2018-05-30 キヤノン株式会社 情報処理装置および情報処理方法
JP6091176B2 (ja) * 2012-11-19 2017-03-08 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
US9092890B2 (en) * 2012-12-20 2015-07-28 Ricoh Company, Ltd. Occlusion-aware reconstruction of three-dimensional scenes from light field images
JP6381273B2 (ja) 2014-05-02 2018-08-29 キヤノン株式会社 撮像装置、画像処理システム、ならびにそれらの制御方法
US8988317B1 (en) * 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
JP6548367B2 (ja) * 2014-07-16 2019-07-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
CN105635530B (zh) * 2014-11-03 2019-04-30 北京蚁视科技有限公司 光场成像***
EP3026884A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Plenoptic camera comprising a light emitting device
FR3030066B1 (fr) * 2014-12-16 2017-12-22 Commissariat Energie Atomique Projecteur de lumiere structuree et scanner tridimensionnel comportant un tel projecteur
US9544514B2 (en) * 2015-03-06 2017-01-10 Ricoh Company, Ltd. Automatic adjustment of light field imaging systems for resolution enhancement
JP2017021425A (ja) * 2015-07-07 2017-01-26 キヤノン株式会社 画像生成装置、画像生成方法、および画像生成プログラム
US10218968B2 (en) * 2016-03-05 2019-02-26 Maximilian Ralph Peter von und zu Liechtenstein Gaze-contingent display technique
US10887581B2 (en) * 2016-11-11 2021-01-05 Disney Enterprises, Inc. Object reconstruction from dense light fields via depth from gradients
US9900510B1 (en) * 2016-12-08 2018-02-20 Lytro, Inc. Motion blur for light-field images

Also Published As

Publication number Publication date
EP3291535A1 (en) 2018-03-07
JP2018033133A (ja) 2018-03-01
KR102478989B1 (ko) 2022-12-19
KR20180023835A (ko) 2018-03-07
CN107786808A (zh) 2018-03-09
US20180061016A1 (en) 2018-03-01
US10475163B2 (en) 2019-11-12
EP3288253A1 (en) 2018-02-28
CN107786808B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
JP6971084B2 (ja) ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置
KR102253320B1 (ko) 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템
JP2018531448A6 (ja) 光学的捕捉システムを校正する装置及び方法
JP2018531448A (ja) 光学的捕捉システムを校正する装置及び方法
RU2729698C2 (ru) Устройство и способ для кодирования изображения, захваченного оптической системой получения данных
KR102454773B1 (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
CN108353120B (zh) 用于生成表示像素束的数据的装置和方法
CN109565583B (zh) 用于生成表示像素束的数据的方法和装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200813

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R150 Certificate of patent or registration of utility model

Ref document number: 6971084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150