JP2015032144A - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP2015032144A JP2015032144A JP2013161267A JP2013161267A JP2015032144A JP 2015032144 A JP2015032144 A JP 2015032144A JP 2013161267 A JP2013161267 A JP 2013161267A JP 2013161267 A JP2013161267 A JP 2013161267A JP 2015032144 A JP2015032144 A JP 2015032144A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- distance map
- map
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【解決手段】撮像装置1は、画像を取得する画像取得手段(画像形成回路103)と、第1の距離マップを取得する距離マップ取得手段(距離マップ算出回路106)と、前記第1の距離マップに基づいて、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成手段(測距範囲マップ生成回路112)と、前記画像と前記測距範囲マップとを合成した合成画像を生成する合成手段(画像合成回路113)と、前記合成画像を表示する表示手段(画像出力部114)と、を備える。
【選択図】図1
Description
、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成手段と、前記画像と前記測距範囲マップとを合成した合成画像を生成する合成手段と、前記合成画像を表示する表示手段と、を備える。
(距離計測の原理)
DFD法は、同一の被写体を、撮影条件を変えて複数回撮影し、撮影画像のぼけ方の違いを手掛かりとして、距離マップを取得する。ここでは、撮影条件として、フォーカス位置を2回変えて撮影した場合を説明する。なお、本明細書中でフォーカス位置の変更量であるフォーカスブラケット量(FB)は、特に断りの無い限り、センサ側(以下、像面)の移動量(第一フォーカス位置の像面と第二フォーカス位置の像面の間の距離)を指す。
本実施形態のDFD法では、光学系のPSF(Point Spread Function:点拡がり関数)のピーク値のデフォーカス特性を利用して距離を推定する。以下、収差の無い理想的な撮像光学系のPSFを用いて説明するが、実際の撮像光学系においてもほぼ同様に扱うことができる。
Fの断面形状を実線で示す。デフォーカスするに従い、PSF座標中心での値は低下し、形状は崩れていく。図5の点線はそれぞれ、20μm、40μm、60μm、80μmだけデフォーカスした場合のPSFの断面を示している。ここでは、このPSFの座標中心での値を「PSFピーク値」と定義する。
次に、PSFピーク値から距離を算出する方法について説明する。図6に示したように、PSFピーク値はデフォーカス量に依存する。従って、PSFピーク値を撮影画像から算出できれば、デフォーカス量がわかり、被写体までの物体距離に換算することが可能となる。しかしながら、被写体の空間周波数等の影響があるため、1枚の画像から撮像光学系のPSFピーク値を正確に求めることは困難である。そこで、撮影条件を変えて撮影した複数の画像を用いて、被写体の影響を除去する。被写体の影響をキャンセルするためには、比を取るのが良い。以下、2つの画像からそれぞれ求めたPSFピーク値の比を「PSFピーク比」と定義する。本実施形態の距離計算では、理論的に求めた撮像光学系のPSFピーク比のデフォーカス特性と、実際に撮影して得た2枚の画像から求めたPSFピーク比の値との対応を取ることで距離を算出する。
実際に撮影して得られた2画像からPSFピーク比を計算する方法について説明する。2画像において、対応する局所領域I1とI2はシーンsとPSF1およびPSF2の畳み込みで表される。フーリエ変換した前記領域をFI1、FI2とし、シーンsのフーリエ変換をSとすると、この比は、式3のように表される。
ここで、PSFをフーリエ変換した光学伝達関数をOTFとし、2つのOTFの比をOTFrとする。このOTFrは、式3に示すようにシーンSが打ち消されることでシーンに依存しない値となる。このOTFrからPSFピーク比PSFrを求めるには、式4に示すようにOTFrの平均値を求めればよい。PSFのピークが画像I1,I2の中心にあるとすると、PSFピーク比PSFrは
が成り立つ。これを離散的に表現すると、
となる。式5により画像から算出されたPSFピーク比PSFrを図7に示すようなPSFピーク比のデフォーカス特性に当てはめることで、局所領域I1とI2に写っている物体のデフォーカス量、すなわち距離情報を得ることができる。
次に、PSFピーク比を用いた距離計測において、計測可能な距離範囲(以下、測距範囲)に関して図7を用いて説明する。図7の実線で示すように、PSFピーク比のデフォーカス特性は、異なる二つのフォーカス位置の中間位置から徐々に値が低下し、極小値に達した後、再び上昇し、これを繰り返す。これは図6に示すように、PSFピーク値のデフォーカス特性が振動しているためである。以下、PSFピーク値、PSFピーク比などのデフォーカス特性曲線における最大ピークを「最大ピーク」もしくは「一次ピーク」と呼び、最大ピークの前側と後ろ側にそれぞれ最初に現れる極小値を「一次極小値」と呼ぶ。
り精度が下がるため、前側の一次極小値と後側の一次極小値の間よりもやや狭い範囲を計測可能範囲に設定することが望ましい。図7の例では約−75μm〜55μmが計測可能範囲となる。なお、図における負方向を前側とする。
次に、フォーカスブラケット量と計測可能範囲の変化の関係、およびフォーカスブラケット量とPSFピーク比の値域変化の関係を説明する。図8(a)〜(f)にフォーカスブラケット量を変えた場合のPSFピーク値のデフォーカス特性と、PSFピーク比の変化を示す。フォーカスブラケット量は、2つのPSFピーク値のデフォーカス特性(点線)の横軸方向の差である。つまり、図8(a)〜(f)にいくに従って、フォーカスブラケット量を徐々に大きくしている。ここでは、2つのPSFピーク値のデフォーカス特性の交点(点線の交点)における値が、PSFピーク値の最大値の99.8%、90%、70%、50%、20%、5%となるように設定した例を示している。フォーカスブラケット量の増加に伴い、PSFピーク比(実線)の特性が変化することが分かる。具体的には、フォーカスブラケット量が大きくなるに従って、計測可能範囲(PSFピーク比の最大ピークの前側の一次極小値位置と後側の一次極小値位置の間の範囲)が狭くなっていくことがわかる。このような特性は式6から明らかである。
ブラケット量を大きくしていくと計測可能範囲が狭くなるものの、距離分解能(推定精度)は向上することが分かる。
式6に示したように、測距範囲(R)は、F値(F)、波長(λ)、及びフォーカスブラケット量(FB)の関数で与えられる。また、図9(a)、(b)から分かるように、フォーカスブラケット量(FB)を変えると、測距範囲(R)だけでなく、距離分解能(推定精度)も変化する。従って、所望の距離範囲や精度といった計測条件が与えられた場合に、それを満足するように、各画像を撮影する際のフォーカス位置や光学系のF値などの撮影条件を適切に設定することが望ましい。
次に係数kの好ましい値について説明する。本発明者はシミュレーションと実験により、好ましい係数kの値を以下のように見出した。係数kは、0<k<15の範囲の値とすべきである。kが15よりも大きいと、被写体のボケが大きくなりすぎ、計測精度が低下
するからである。なお、k=0が除外されているのは、同じフォーカス位置の画像からはボケの違いが得られないからである。距離計測の目的が、距離の2層分離、つまり被写体が特定の距離範囲に含まれるか否かを判定するというものである場合、係数kは、8<k<15の範囲の値に設定するとよい。係数kが大きいほどフォーカスブラケット量は大きくなり、計測可能範囲が狭まる(図8(e)、(f)参照)。計測可能範囲が狭いということは、ある特定の距離周辺に被写体が存在するかしないかで、PSFピーク比の値が大きく変化するということである。よって、2層分離の場合は、フォーカスブラケット量をある程度大きくするほうがよい。
DFF法の場合は、フォーカス位置を変更して取得した複数の画像の中で、被写体領域中の最も合焦しているフォーカス位置を決定し、その位置から物体側の距離を式2の結像公式を用いて算出することができる。このフォーカス位置をどの範囲で動かすかによって、測距範囲が決定する。しかし、フォーカス位置の移動範囲を広くすれば、その分時間がかかるためフォーカス位置の移動ステップを粗くするなど、トレードオフ関係があることは容易に想像できる。
次に、図10を用いて、ステレオ法の距離計測原理および計測可能な距離範囲について説明する。図10(a)は三次元空間中の点Pを、同一の焦点距離を有する2台のカメラを用いて撮影している状況を上から見た模式図である。各撮像装置の光軸は並行で、かつ、同一の高さに設置されるよう調整されているものとする。また、図10(b)は、左右の撮像装置で取得した画像をそれぞれ表している。
なお、視差dは、撮像装置の光軸が平行で、同一の高さになるよう校正されているため、式10に記載の通り、横方向の変化のみを考えればよい。各撮像装置の光軸や高さが校正
されていない場合は、事前に校正する必要がある。式10の通り、fは光学系が決定すれば一意に定まるが、基線長bおよび視差dは計測対象までの距離に必要な分解能によって適切に設定する必要がある。基線長に関しては、カメラの配置を変更することで対応が可能である。
<実施例1>
図1は、本実施形態に係る撮像装置1の構成を模式的に示している。撮像装置1は、DFD方式により距離マップを取得する。撮影レンズ100は、撮像素子102に被写体光を導く。露光制御部材101は絞りやシャッタ等を含む。撮影レンズ100を介して入射された被写体光は、露光制御部材101を介して撮像素子102へ入射される。撮像素子102は被写体光を電気信号に変換して出力する撮像素子であり、典型的にはCCDやCMOS等のイメージセンサで構成される。画像形成回路103は、撮像素子102から出力されたアナログ信号をデジタル化して画像化するための画像形成回路である。画像形成回路103は、不図示のアナログ/デジタル変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換回路などによって構成される。画像形成回路103は、本発明における画像取得手段に相当する。露光制御部104は、露光制御部材101を制御する手段である。また、フォーカス制御部105は撮影レンズ100のフォーカシングを制御する手段である。露光制御部104およびフォーカス制御部105は、例えば、TTL方式(Through The Lens:撮影用のレンズを実際に通った光を測定することで露出やフォーカスを制御する方式)を用いて制御される。距離マップ算出回路106は、フォーカス制御部105で制御されたフォーカス位置に応じ、距離マップパラメータ算出回路107で制御された撮影条件で撮影された2画像を基に距離マップを算出する回路である。距離マップパラメータ算出回路107は、フォーカス制御部105で制御されたフォーカス位置や、所望の測距範囲などから距離マップを取得するために好適な撮影条件を算出する回路である。システム制御回路108は、撮像装置1全体の動作を司る制御回路であり、撮影のための光学系の制御と、撮影した画像をデジタル処理するための制御を行う。距離マップ算出回路106および距離マップパラメータ算出回路107は、それぞれ、本発明における距離マップ生成手段およびパラメータ変更手段に相当する。
リ110は各種調整値などの情報を記憶する、電気的に消去および記録可能なEEPROM等の不揮発性メモリである。フレームメモリ110は、画像形成回路103で生成された画像を数フレーム分記憶するフレームメモリである。また、メモリ制御回路111は、フレームメモリ110に入出力される画像信号を制御するメモリ制御回路である。測距範囲マップ生成回路112は、距離マップ算出回路106で生成された距離マップを元に測距範囲を表す測距範囲マップを生成する回路である。画像合成回路113では、画像形成回路103で生成された観賞用画像と測距範囲マップ生成回路112で生成された測距範囲マップを合成し、不図示の表示装置に表示する表示画像を生成する回路である。画像出力部114は、画像形成回路103や画像合成回路113で生成された画像を不図示の画像出力装置(ディスプレイ等)に表示するための機能部である。入力部115は、ユーザからの入力操作を受け付けるための機能ブロックであり、ボタンやスイッチ、タッチパネルなどから構成される。本実施例では、ユーザは、測距範囲マップが合成された表示画像を確認しながら、測距範囲の調整を指示する操作を入力可能である画像処理部116は、観賞用画像に対して距離マップに基づいた画像処理(例えば、切り出し処理や背景ぼかし処理など)を行う。
次に、図2のフローチャートを用いて、本実施形の撮影開始から完了までの処理の流れを説明する。まず、ステップS201では、撮影者が撮影対象に対して、ズームなどを行い、構図を決めと同時にシャッタ速度やFナンバーなど所定の撮影条件を設定する。なお、撮影条件の一部を撮像装置1が自動的に決定しても良い。また、ここでは、距離マップを取得して所望の画像処理を行うモードにユーザが設定したものとする。
の画素数に相当するように算出することで、計算コストを低減し高速化を図る。このことで、本撮影前に距離マップの測距範囲を確認することが可能となる。
ただし、αは、0<α<1を満たす定数である。
。次に、ステップS211で、本撮影を行って観賞用画像と距離マップの取得を行う。システム制御部108は、ステップS210において設定された撮影パラメータに基づいて、2枚の画像を撮影する。画像形成回路103は、2画像のうち主被写体にフォーカスがあった画像に対して、所定の信号処理を施して観賞用画像を生成し、所定の圧縮処理などを実施後記憶する。また、距離マップ算出回路106は、2つの画像とステップS210で設定されたパラメータに基づいて距離マップ(画像処理用距離マップ)を生成する。その後、ステップS212において、画像処理部116は、画像処理用距離マップを取得し、この距離マップに基づいて観賞用画像に対して画像処理を行い、所定の圧縮処理などを実施後に不揮発性メモリ110に記録する。
以上説明したように、本実施形態に係る撮像装置は、撮影時に表示用距離マップを取得合成し、表示部に表示している。これにより、撮影者は現在の撮影における測距範囲を容
易に確認することができる。さらに、撮影者が測距範囲の変更を指示した場合には、指定された測距範囲を測距できるように、距離マップ取得用の撮影パラメータを自動で変更する。このことで、撮影者は所望する測距範囲の距離マップを得られ、さらには所望する画像処理結果を確実に得られるという効果がある。
前記実施例において、距離マップ取得方法をDFD方式として説明したが、DFF方式の場合においても適用可能である。DFF方式の場合は、撮像装置を固定可能で、かつ、被写体が静止しているような場合に好適である。このような場合は、処理全体の流れは変わらず、各回路および処理の内容を変更するだけでよい。
次に、本発明の第2の実施例として、2眼ステレオ方式で距離マップを取得し、所望の画像処理を行う場合について、図を用いて説明する。
本実施例における撮像装置の構成を図4に示す。本実施例における撮像装置は図1に示した撮像装置1と共通するものは、図1の符号と同符号を付し、相違点のみ説明する。
次に、本実施例の撮像装置の場合の処理の流れをフローチャートを用いて説明する。
本実施例の処理の流れは、第1の実施例の処理の流れ図2と同じで、ステップS204〜ステップS205の各ステップの処理内容のみが異なるので、相違点のみ説明する。
。探索範囲がd0であるということは、基準画像を左画像(x,y)とした際に、右画像の(x±d0,y)で表される範囲で最も類似している領域を探索することを意味する。ただし、ここでは、撮像装置の光軸方向や高さが校正されているものとして、探索範囲を水平方向のみとしたが、校正されていない場合は垂直方向など探索範囲とすればよい。視差の探索範囲d0と視差の探索範囲の関係は式10から導ける。また、基線長bが可変な構成であれば、基線長bを変化させることによって測距範囲を調整しても良い。
以上、説明したように距離マップ取得方式がステレオ法の場合においても、撮影完了前に距離マップの測距範囲を確認することが可能となり、撮影者の所望する画像処理結果を確実に得ることが可能になる、という効果がある。
上記では、2眼ステレオ方式を例に説明したが、光学系の瞳分割を行って1つの光学系で2視点の画像を取得する撮像装置にも本発明を適用可能である。
なお、上記装置への具体的な実装は、ソフトウェア(プログラム)による実装と、ハードウェアにより実装のいずれも可能である。例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータ(又はCPU、MPU等のデバイス)によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体(つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体)から、上記コンピュータに提供される。したがって、上記コンピュータ(CPU、MPU等のデバイスを含む)、上記方法、上記プログラム(プログラムコード、プログラムプロダクトを含む)、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
103 画像形成回路
106 距離マップ算出回路
112 測距範囲マップ生成回路
113 画像合成回路
114 画像出力部
Claims (14)
- 画像を取得する画像取得手段と、
第1の距離マップを取得する距離マップ取得手段と、
前記第1の距離マップに基づいて、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成手段と、
前記画像と前記測距範囲マップとを合成した合成画像を生成する合成手段と、
前記合成画像を表示する表示手段と、
を備える、撮像装置。 - 前記距離マップ取得手段の測距範囲の変更指示をユーザから受け付ける変更指示手段と、
前記変更指示手段により変更された測距範囲に基づいて、前記距離マップ取得手段が用いる距離マップ取得用パラメータを変更するパラメータ変更手段と、
距離マップに基づいて前記画像に画像処理を施す画像処理手段と、
を更に備え、
前記距離マップ取得手段は、前記パラメータ変更手段によって変更された距離マップ取得用パラメータを用いて第2の距離マップを取得し、
前記画像処理手段は、前記第2の距離マップに基づいて、前記画像に画像処理を施す、
請求項1に記載の撮像装置。 - 前記第1の距離マップの解像度は、前記第2の距離マップの解像度よりも低い、
請求項2に記載の撮像装置。 - 前記パラメータ変更手段は、前記変更指示手段による変更前の測距範囲と変更後の測距範囲の変更度合いに基づいて、距離マップ取得用パラメータを変更する、
請求項2または3に記載の撮像装置。 - 前記距離マップ取得手段は、DFDにより距離マップを取得するものであり、
前記距離マップ取得用パラメータは、F値またはフォーカスブラケット量の少なくともいずれかである、
請求項4に記載の撮像装置。 - 前記パラメータ変更手段は、前記変更度合いが所定の閾値より大きければF値を変更し、前記変更度合いが前記所定の閾値以下であればフォーカスブラケット量を変更する、
請求項5に記載の撮像装置。 - 前記距離マップ取得手段は、ステレオ法、DFD、DFFのいずれかの方式により距離マップを取得する、
請求項1から6のいずれか1項に記載の撮像装置。 - 画像を取得する画像取得ステップと、
第1の距離マップを取得する第1の距離マップ取得ステップと、
前記第1の距離マップに基づいて、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成ステップと、
前記画像と前記測距範囲マップとを合成した合成画像を生成する合成ステップと、
前記合成画像を表示する表示ステップと、
を含む、撮像装置の制御方法。 - 測距範囲の変更指示をユーザから受け付ける変更指示ステップと、
変更指示ステップにおいて変更された測距範囲に基づいて、距離マップ取得用パラメータを変更するパラメータ変更ステップと、
変更された距離マップ取得用パラメータを用いて第2の距離マップを取得する第2の距離マップ取得ステップと、
前記第2の距離マップに基づいて、前記画像に画像処理を施す画像処理ステップと、
を更に含む、請求項8に記載の撮像装置の制御方法。 - 前記第1の距離マップの解像度は、前記第2の距離マップの解像度よりも低い、
請求項9に記載の撮像装置の制御方法。 - 前記パラメータ変更ステップでは、前記変更指示ステップにおける変更前の測距範囲と変更後の測距範囲の変更度合いに基づいて、距離マップ取得用パラメータを変更する、
請求項9または10に記載の撮像装置の制御方法。 - 距離マップは、DFDにより取得されるものであり、
前記距離マップ取得用パラメータは、F値またはフォーカスブラケット量の少なくともいずれかである、
請求項11に記載の撮像装置の制御方法。 - 前記パラメータ変更ステップでは、前記変更度合いが所定の閾値より大きければF値を変更し、前記変更度合いが所定の閾値以下であればフォーカスブラケット量を変更する、
請求項12に記載の撮像装置の制御方法。 - 距離マップは、ステレオ法、DFD、DFFのいずれかの方式により取得される、
請求項8から13のいずれか1項に記載の撮像装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013161267A JP6245885B2 (ja) | 2013-08-02 | 2013-08-02 | 撮像装置およびその制御方法 |
US14/340,824 US9961329B2 (en) | 2013-08-02 | 2014-07-25 | Imaging apparatus and method of controlling same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013161267A JP6245885B2 (ja) | 2013-08-02 | 2013-08-02 | 撮像装置およびその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015032144A true JP2015032144A (ja) | 2015-02-16 |
JP2015032144A5 JP2015032144A5 (ja) | 2016-09-08 |
JP6245885B2 JP6245885B2 (ja) | 2017-12-13 |
Family
ID=52427242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013161267A Expired - Fee Related JP6245885B2 (ja) | 2013-08-02 | 2013-08-02 | 撮像装置およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9961329B2 (ja) |
JP (1) | JP6245885B2 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9282228B2 (en) | 2013-01-05 | 2016-03-08 | The Lightco Inc. | Camera methods and apparatus using optical chain modules which alter the direction of received light |
JP2015036841A (ja) | 2013-08-12 | 2015-02-23 | キヤノン株式会社 | 画像処理装置、距離計測装置、撮像装置、画像処理方法 |
US9549127B2 (en) | 2013-10-18 | 2017-01-17 | Light Labs Inc. | Image capture control methods and apparatus |
US9374514B2 (en) | 2013-10-18 | 2016-06-21 | The Lightco Inc. | Methods and apparatus relating to a camera including multiple optical chains |
US9557519B2 (en) | 2013-10-18 | 2017-01-31 | Light Labs Inc. | Methods and apparatus for implementing a camera device supporting a number of different focal lengths |
US9467627B2 (en) | 2013-10-26 | 2016-10-11 | The Lightco Inc. | Methods and apparatus for use with multiple optical chains |
US9736365B2 (en) | 2013-10-26 | 2017-08-15 | Light Labs Inc. | Zoom related methods and apparatus |
US9426365B2 (en) | 2013-11-01 | 2016-08-23 | The Lightco Inc. | Image stabilization related methods and apparatus |
US9554031B2 (en) | 2013-12-31 | 2017-01-24 | Light Labs Inc. | Camera focusing related methods and apparatus |
US10931866B2 (en) | 2014-01-05 | 2021-02-23 | Light Labs Inc. | Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture |
US20150244949A1 (en) | 2014-02-21 | 2015-08-27 | Rajiv Laroia | Illumination methods and apparatus |
US9979878B2 (en) | 2014-02-21 | 2018-05-22 | Light Labs Inc. | Intuitive camera user interface methods and apparatus |
CN106575366A (zh) | 2014-07-04 | 2017-04-19 | 光实验室股份有限公司 | 关于检测和/或指示脏镜头状况的方法和装置 |
US10110794B2 (en) | 2014-07-09 | 2018-10-23 | Light Labs Inc. | Camera device including multiple optical chains and related methods |
WO2016061565A1 (en) | 2014-10-17 | 2016-04-21 | The Lightco Inc. | Methods and apparatus for using a camera device to support multiple modes of operation |
CN107211099A (zh) | 2014-12-17 | 2017-09-26 | 光实验室股份有限公司 | 用于实施并使用摄像机装置的方法及设备 |
US9544503B2 (en) * | 2014-12-30 | 2017-01-10 | Light Labs Inc. | Exposure control methods and apparatus |
US10600169B2 (en) * | 2015-03-26 | 2020-03-24 | Sony Corporation | Image processing system and image processing method |
US9824427B2 (en) | 2015-04-15 | 2017-11-21 | Light Labs Inc. | Methods and apparatus for generating a sharp image |
US10075651B2 (en) | 2015-04-17 | 2018-09-11 | Light Labs Inc. | Methods and apparatus for capturing images using multiple camera modules in an efficient manner |
US10091447B2 (en) | 2015-04-17 | 2018-10-02 | Light Labs Inc. | Methods and apparatus for synchronizing readout of multiple image sensors |
US9967535B2 (en) * | 2015-04-17 | 2018-05-08 | Light Labs Inc. | Methods and apparatus for reducing noise in images |
US9857584B2 (en) | 2015-04-17 | 2018-01-02 | Light Labs Inc. | Camera device methods, apparatus and components |
US9930233B2 (en) | 2015-04-22 | 2018-03-27 | Light Labs Inc. | Filter mounting methods and apparatus and related camera apparatus |
US10129483B2 (en) | 2015-06-23 | 2018-11-13 | Light Labs Inc. | Methods and apparatus for implementing zoom using one or more moveable camera modules |
US10491806B2 (en) | 2015-08-03 | 2019-11-26 | Light Labs Inc. | Camera device control related methods and apparatus |
US9958585B2 (en) | 2015-08-17 | 2018-05-01 | Microsoft Technology Licensing, Llc | Computer vision depth sensing at video rate using depth from defocus |
US10365480B2 (en) | 2015-08-27 | 2019-07-30 | Light Labs Inc. | Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices |
US10051182B2 (en) | 2015-10-05 | 2018-08-14 | Light Labs Inc. | Methods and apparatus for compensating for motion and/or changing light conditions during image capture |
US9749549B2 (en) | 2015-10-06 | 2017-08-29 | Light Labs Inc. | Methods and apparatus for facilitating selective blurring of one or more image portions |
US10225445B2 (en) | 2015-12-18 | 2019-03-05 | Light Labs Inc. | Methods and apparatus for providing a camera lens or viewing point indicator |
US10003738B2 (en) | 2015-12-18 | 2018-06-19 | Light Labs Inc. | Methods and apparatus for detecting and/or indicating a blocked sensor or camera module |
WO2017134936A1 (ja) * | 2016-02-05 | 2017-08-10 | 株式会社リコー | 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム |
US10306218B2 (en) | 2016-03-22 | 2019-05-28 | Light Labs Inc. | Camera calibration apparatus and methods |
US9948832B2 (en) | 2016-06-22 | 2018-04-17 | Light Labs Inc. | Methods and apparatus for synchronized image capture in a device including optical chains with different orientations |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01167610A (ja) * | 1987-11-27 | 1989-07-03 | Univ New York State | 3次元空間シーンの表面区画及びカメラ装置間の距離を決定するための方法及び装置 |
JPH09153983A (ja) * | 1995-11-06 | 1997-06-10 | Bayer Corp | 原稿画像の走査及び画像処理の方法及び装置 |
US5793900A (en) * | 1995-12-29 | 1998-08-11 | Stanford University | Generating categorical depth maps using passive defocus sensing |
JP2003087545A (ja) * | 2001-09-07 | 2003-03-20 | Canon Inc | 撮像装置、画像処理装置及び方法 |
JP2003284096A (ja) * | 2002-01-16 | 2003-10-03 | Olympus Optical Co Ltd | ステレオ撮影装置、ファインダ、目印提示部材、及び、ステレオ撮影装置の撮影方法 |
JP2007139892A (ja) * | 2005-11-15 | 2007-06-07 | Olympus Corp | 合焦検出装置 |
US20120076362A1 (en) * | 2010-09-24 | 2012-03-29 | Paul James Kane | Coded aperture camera with adaptive image processing |
JP2013037246A (ja) * | 2011-08-09 | 2013-02-21 | Ricoh Co Ltd | 撮像装置および撮像方法 |
WO2013054527A1 (ja) * | 2011-10-12 | 2013-04-18 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2993610B2 (ja) | 1990-09-29 | 1999-12-20 | 工業技術院長 | 画像処理方法 |
US20040131348A1 (en) | 2001-03-30 | 2004-07-08 | Kohtaro Ohba | Real-time omnifocus microscope camera |
US7231087B2 (en) * | 2002-10-30 | 2007-06-12 | Metrica, Inc. | Matching binary templates against range map derived silhouettes for object pose estimation |
WO2009011492A1 (en) * | 2007-07-13 | 2009-01-22 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image |
KR20120023431A (ko) * | 2010-09-03 | 2012-03-13 | 삼성전자주식회사 | 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치 |
US9035939B2 (en) * | 2010-10-04 | 2015-05-19 | Qualcomm Incorporated | 3D video control system to adjust 3D video rendering based on user preferences |
JP2012124555A (ja) | 2010-12-06 | 2012-06-28 | Canon Inc | 撮像装置 |
US9208570B2 (en) * | 2012-03-28 | 2015-12-08 | Sony Corporation | System and method for performing depth estimation by utilizing an adaptive kernel |
IN2014CN02708A (ja) * | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
JP6214183B2 (ja) | 2012-05-11 | 2017-10-18 | キヤノン株式会社 | 距離計測装置、撮像装置、距離計測方法、およびプログラム |
JP5932476B2 (ja) | 2012-05-17 | 2016-06-08 | キヤノン株式会社 | 画像処理装置、撮像装置、距離計測方法および距離計測プログラム |
US20140184586A1 (en) * | 2013-01-02 | 2014-07-03 | International Business Machines Corporation | Depth of field visualization |
-
2013
- 2013-08-02 JP JP2013161267A patent/JP6245885B2/ja not_active Expired - Fee Related
-
2014
- 2014-07-25 US US14/340,824 patent/US9961329B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01167610A (ja) * | 1987-11-27 | 1989-07-03 | Univ New York State | 3次元空間シーンの表面区画及びカメラ装置間の距離を決定するための方法及び装置 |
JPH09153983A (ja) * | 1995-11-06 | 1997-06-10 | Bayer Corp | 原稿画像の走査及び画像処理の方法及び装置 |
US5793900A (en) * | 1995-12-29 | 1998-08-11 | Stanford University | Generating categorical depth maps using passive defocus sensing |
JP2003087545A (ja) * | 2001-09-07 | 2003-03-20 | Canon Inc | 撮像装置、画像処理装置及び方法 |
JP2003284096A (ja) * | 2002-01-16 | 2003-10-03 | Olympus Optical Co Ltd | ステレオ撮影装置、ファインダ、目印提示部材、及び、ステレオ撮影装置の撮影方法 |
JP2007139892A (ja) * | 2005-11-15 | 2007-06-07 | Olympus Corp | 合焦検出装置 |
US20120076362A1 (en) * | 2010-09-24 | 2012-03-29 | Paul James Kane | Coded aperture camera with adaptive image processing |
JP2013037246A (ja) * | 2011-08-09 | 2013-02-21 | Ricoh Co Ltd | 撮像装置および撮像方法 |
WO2013054527A1 (ja) * | 2011-10-12 | 2013-04-18 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
Also Published As
Publication number | Publication date |
---|---|
US9961329B2 (en) | 2018-05-01 |
JP6245885B2 (ja) | 2017-12-13 |
US20150035824A1 (en) | 2015-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6245885B2 (ja) | 撮像装置およびその制御方法 | |
US9208396B2 (en) | Image processing method and device, and program | |
US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
JP6091228B2 (ja) | 画像処理装置、撮像装置 | |
CN109255810B (zh) | 图像处理装置及图像处理方法 | |
TWI538512B (zh) | 調整對焦位置的方法及電子裝置 | |
US9076214B2 (en) | Image acquisition apparatus and image processing apparatus using selected in-focus image data | |
US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
JP2015035658A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JPWO2011158498A1 (ja) | 撮像装置及び撮像方法 | |
JPWO2011158508A1 (ja) | 画像処理装置および画像処理方法 | |
JP6071257B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2010117593A (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
JP2013044844A (ja) | 画像処理装置および画像処理方法 | |
JP2020174331A (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
US11808561B2 (en) | Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium | |
US10999491B2 (en) | Control apparatus, image capturing apparatus, control method, and storage medium | |
KR101715553B1 (ko) | 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램 | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
JP6728020B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20160065941A1 (en) | Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program | |
JP7113327B1 (ja) | 撮像装置 | |
JP6900228B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム | |
JP2016065744A (ja) | 撮像装置及び撮像方法 | |
JP2023069386A (ja) | 画像計測装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160719 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160719 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6245885 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |