JP2016134732A - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- JP2016134732A JP2016134732A JP2015007907A JP2015007907A JP2016134732A JP 2016134732 A JP2016134732 A JP 2016134732A JP 2015007907 A JP2015007907 A JP 2015007907A JP 2015007907 A JP2015007907 A JP 2015007907A JP 2016134732 A JP2016134732 A JP 2016134732A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- imaging
- spatial light
- pattern
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Diaphragms For Cameras (AREA)
- Blocking Light For Cameras (AREA)
Abstract
【課題】様々な撮影条件に適した符号化開口パターンを選択可能な撮像装置の提供を目的とする。【解決手段】撮像対象102からの光に空間的な変調を付与して出射する空間光変調素子130と、空間光変調素子130によって空間的な変調を付与された変調光を画像情報として取得する撮像素子120と、前記光が空間光変調素子130に照射される照射領域上の各点における空間光変調素子130の透過率を設定することで開口パターンを生成するパターン生成手段131と、を有し、空間光変調素子130の前記開口パターンは、パターン生成手段131によって取得された、撮像対象102と当該撮像装置100との間の距離情報に基づいて生成される撮像装置100。【選択図】図1
Description
本発明は、空間光変調素子を用いた撮像装置及び撮像方法に関する。
カメラに代表される撮像装置は、写真撮影などの観賞用の他、産業用計測・物体認識システム、車両の危険検知、防犯用の監視システムなど、幅広く利用されている。これらの利用形態においては、被写体の画像のみならず、距離や視野方向などの空間情報の取得がしばしば要求される。
こうした空間情報の取得が可能な技術として、撮像素子と符号化された開口パターンとを用い、得られた画像に復号処理を施して撮像素子に入射した光束の空間及び入射角度に関する情報を取得する技術が知られている(例えば、特許文献1、非特許文献1〜3等参照)。
このような従来の符号化された開口パターンを用いた撮像装置においては、撮影条件によって、例えば被写体までの距離によって生成するべき最適な開口パターンが異なることが知られている。
しかしながら、従来の開口パターンを用いた撮像装置では、予め設計された基本波の周波数に従って開口パターンを形成するに過ぎず、様々な撮影条件に適した開口パターンを選択することは困難であった。
本発明は、以上のような問題点に鑑みてなされたものであり、様々な撮影条件に適した開口パターンを選択可能な撮像装置の提供を目的とする。
上述した課題を解決するため、本発明の撮像装置は、撮像対象からの光に空間的な変調を付与して出射する空間光変調素子と、前記空間光変調素子によって空間的な変調を付与された変調光を画像情報として取得する撮像素子と、前記光が前記空間光変調素子に照射される照射領域上の各点における前記空間光変調素子の透過率を設定することで開口パターンを生成するパターン生成手段と、を有し、前記空間光変調素子の前記開口パターンは、前記パターン生成手段によって取得された、前記撮像対象と当該撮像装置との間の距離情報に基づいて生成される。
本発明によれば、様々な撮影条件に適した開口パターンを選択可能な撮像装置を提供することができる。
本実施形態の一例である図1に示された撮像装置100は、シーンたる撮像対象102からの光に空間的な変調を付与する空間光変調素子130と、画像情報を取得するための撮像素子120と、を有している。
撮像装置100は、入射した光束を結像して撮像素子120に向けて出射する結像光学系110を構成するレンズL1、L2と、入射する光束の量を制御する開口絞り115と、を有している。
撮像装置100は、撮像対象102と撮像装置100との間の距離を測定するための距離測定部としての測距センサ150を有している。
撮像装置100は、これら各部を制御するための制御手段たる制御部190を有している。
撮像装置100は、入射した光束を結像して撮像素子120に向けて出射する結像光学系110を構成するレンズL1、L2と、入射する光束の量を制御する開口絞り115と、を有している。
撮像装置100は、撮像対象102と撮像装置100との間の距離を測定するための距離測定部としての測距センサ150を有している。
撮像装置100は、これら各部を制御するための制御手段たる制御部190を有している。
空間光変調素子130は、高空間周波数を有する減衰パターンを含むマスクである。
空間光変調素子130は、撮像対象102からの光が空間光変調素子130に照射される照射領域上の各点であり、2次元的に多数配置されたセル132における透過率を独立して変えることができる光学素子である。
空間光変調素子130は、例えば透過型の液晶デバイスであり、それぞれの位置における透過率を変化させることで、符号化された開口パターン、言い換えるとモザイクパターンたる濃淡パターンを形成する。
なお、空間光変調素子130は、ここでは透過型の液晶デバイスとしたが、ウェット毛細管型の空間光変調素子であっても良い。
空間光変調素子130は、撮像対象102からの光が空間光変調素子130に照射される照射領域上の各点であり、2次元的に多数配置されたセル132における透過率を独立して変えることができる光学素子である。
空間光変調素子130は、例えば透過型の液晶デバイスであり、それぞれの位置における透過率を変化させることで、符号化された開口パターン、言い換えるとモザイクパターンたる濃淡パターンを形成する。
なお、空間光変調素子130は、ここでは透過型の液晶デバイスとしたが、ウェット毛細管型の空間光変調素子であっても良い。
撮像素子120は、空間光変調素子130によって空間的な変調を付与された変調光を画像情報として取得する撮像面たる光検出器アレイとしてのCCD(Charge Coupled Device)を用いたイメージセンサである。
撮像素子120には複数の光検出器121である受光素子たるフォトダイオードが2次元的に並べて配設された光検出器アレイが配置されており、撮像面に入射した光の強度等の情報を電気信号に変換する。ここではCCDを用いることとしたが、画像情報を取得可能なイメージセンサであれば、CMOS(Complementary Metal-Oxide Semiconductor)センサ等を用いるものであっても良い。
撮像素子120には複数の光検出器121である受光素子たるフォトダイオードが2次元的に並べて配設された光検出器アレイが配置されており、撮像面に入射した光の強度等の情報を電気信号に変換する。ここではCCDを用いることとしたが、画像情報を取得可能なイメージセンサであれば、CMOS(Complementary Metal-Oxide Semiconductor)センサ等を用いるものであっても良い。
測距センサ150は、レーザーなどを撮像対象102に照射し、撮像対象102からの反射光を用いて撮像対象102までの距離の情報を得るための距離測定部たるレーザーセンサである。
なお、測距センサ150は、ここではレーザーセンサであるとしたが、例えば結像光学系110の焦点を撮像対象102に合わせるオートフォーカス動作時に、得られた画像のコントラスト比から撮像対象102までの距離を求めるものであってもよい。
また、得られた画像の位相差から撮像対象102までの距離を求めるものであってもよい。
なお、測距センサ150は、ここではレーザーセンサであるとしたが、例えば結像光学系110の焦点を撮像対象102に合わせるオートフォーカス動作時に、得られた画像のコントラスト比から撮像対象102までの距離を求めるものであってもよい。
また、得られた画像の位相差から撮像対象102までの距離を求めるものであってもよい。
制御部190は、空間光変調素子130の透過率を設定することで開口パターンを生成するパターン生成手段たるパターン生成部131と、撮像素子120が取得した画像情報を4Dライトフィールドとして再構築するための画像生成部140と、を有している。
制御部190は、撮像装置100に内蔵されたマイクロプロセッサあるいは当該マイクロプロセッサ上で動作するプログラムによって実現する制御手段である。
制御部190は、撮像装置100に内蔵されたマイクロプロセッサあるいは当該マイクロプロセッサ上で動作するプログラムによって実現する制御手段である。
パターン生成部131は、電気信号によって空間光変調素子130の各セル132における透過率を独立して設定することで、開口パターンを生成するパターン生成手段である。
パターン生成部131は、撮像対象102からの光が当該空間光変調素子130に照射される照射領域を複数に分割し、分割された当該照射領域たるセル132における空間光変調素子130の透過率を設定することで、開口パターンを生成する。
パターン生成部131は、撮像対象102からの光が当該空間光変調素子130に照射される照射領域を複数に分割し、分割された当該照射領域たるセル132における空間光変調素子130の透過率を設定することで、開口パターンを生成する。
画像生成部140は、撮像素子120から入力された画像情報を合成して、画角分離画像を算出する画像算出手段であり、撮像素子120によって取得された画像情報を画角や距離等の情報を含む4Dライトフィールド情報へと変換して出力する。
パターン生成部131が生成する開口パターンの一例を、X方向のある一次元について、縦軸に透過率をとって図2(a)、(b)に示す。
開口パターンは、ここでは図2(a)に示すように、1次元においては、基本波長1mm、基本周波数f0のコサイン波及びその4次までの高調波の合成波である。
かかる高調波の合成波を、X方向とY方向それぞれについて合成すると、図3に示すように、互いに干渉して、モザイク状の開口パターンを形成する。なお、図3においては、簡単のためそれぞれのセル132における透過率を色の濃さで模式的に示しているが、実際には、セル132が表現可能な透過率の段階、言い換えると階調に従って分布している。
すなわち空間光変調素子130に形成される開口パターンは、空間的に連続した高周波の2Dパターンである。
開口パターンは、ここでは図2(a)に示すように、1次元においては、基本波長1mm、基本周波数f0のコサイン波及びその4次までの高調波の合成波である。
かかる高調波の合成波を、X方向とY方向それぞれについて合成すると、図3に示すように、互いに干渉して、モザイク状の開口パターンを形成する。なお、図3においては、簡単のためそれぞれのセル132における透過率を色の濃さで模式的に示しているが、実際には、セル132が表現可能な透過率の段階、言い換えると階調に従って分布している。
すなわち空間光変調素子130に形成される開口パターンは、空間的に連続した高周波の2Dパターンである。
図2のような透過率の分布を与えた場合の光検出器121それぞれの理想的なサイズについて考える。
説明を簡単にするため、X方向についてのみ考えると、図2に示したように、空間光変調素子130の透過率は基本周波数1サイクル/mmすなわち波長1mmで周期的に変化している。また、透過率の濃淡は1mmの中で5回変化しているから、透過率の変化の高周波成分は、約0.2mm間隔となる。
説明を簡単にするため、X方向についてのみ考えると、図2に示したように、空間光変調素子130の透過率は基本周波数1サイクル/mmすなわち波長1mmで周期的に変化している。また、透過率の濃淡は1mmの中で5回変化しているから、透過率の変化の高周波成分は、約0.2mm間隔となる。
光検出器121のX方向の大きさをピクセルサイズdとして、ある波長λmmの波を検出する場合を考える。
図4(a)、(b)は、光検出器121に照射される光量の概念図であり、透過率の濃淡が連続的に変化する場合の理想的な再現波形を破線で、有限のピクセルサイズdをもつ光検出器121が再現する波形を実線で、それぞれ示している。
なお、光検出器121はピクセルサイズdの範囲内において、光量を検出するが、総量のみで、その分布までは検出できない。
図4(a)、(b)は、光検出器121に照射される光量の概念図であり、透過率の濃淡が連続的に変化する場合の理想的な再現波形を破線で、有限のピクセルサイズdをもつ光検出器121が再現する波形を実線で、それぞれ示している。
なお、光検出器121はピクセルサイズdの範囲内において、光量を検出するが、総量のみで、その分布までは検出できない。
図4(a)に示すように、ピクセルサイズdに対して波長λが十分大きい場合には、すなわち、λ=10d程度で光検出器121のピクセルサイズdに対して濃淡の変化が十分に大きい場合には、光検出器121は、光量の変化を精度よく再現することができる。
一方で、図4(b)に示すように、ピクセルサイズdと波長λとの大きさの差異が小さい場合には、例えばλ=2d〜3d程度の場合には、光量の変化を精度良く再現しているとは言いがたい。
従って、図2に示すような高周波成分を有する周期的な波を再現するためには、λ=10d程度の、少なくとも1ピクセルあたり0.02mm以下のサイズの光検出器121が必要である。
一方で、図4(b)に示すように、ピクセルサイズdと波長λとの大きさの差異が小さい場合には、例えばλ=2d〜3d程度の場合には、光量の変化を精度良く再現しているとは言いがたい。
従って、図2に示すような高周波成分を有する周期的な波を再現するためには、λ=10d程度の、少なくとも1ピクセルあたり0.02mm以下のサイズの光検出器121が必要である。
かかる構成の撮像装置100を用いて、4Dライトフィールド情報を含む画像を得るまでの撮影方法について、図5を用いて説明する。
まず、撮影が開始されると、撮像装置100に入射してきた光は、結像光学系110によって、撮像素子120上に像を結ぶように偏向され、開口絞り115を通過することで光量が調整される。
かかる初期状態においては、空間光変調素子130には、まだ開口パターンは形成されておらず、セル132の全てが透過状態、すなわち透過率最大に設定されている(ステップS201)。
まず、撮影が開始されると、撮像装置100に入射してきた光は、結像光学系110によって、撮像素子120上に像を結ぶように偏向され、開口絞り115を通過することで光量が調整される。
かかる初期状態においては、空間光変調素子130には、まだ開口パターンは形成されておらず、セル132の全てが透過状態、すなわち透過率最大に設定されている(ステップS201)。
撮像素子120には、通常のデジタルカメラと同様に、2D画像が形成されて、画像情報として画像生成部140に保存される(ステップS202)。
かかる処理は、撮像素子120が、空間光変調素子130を透過してきた光から画像情報を取得する画像取得ステップである。
かかる処理は、撮像素子120が、空間光変調素子130を透過してきた光から画像情報を取得する画像取得ステップである。
制御部190は、撮像素子120によって取得された、空間変調のかけられていない画像情報を元に、得られた画像のコントラスト比を利用したコントラストオートフォーカス(コントラストAF)によって、撮像対象102までの距離を測定する(ステップS203)。
なお、開口絞り115よりも光の光軸方向下流で一度光路を2つに分け、互いに得られた画像を比較した上で位相差を検知して、撮像対象までの距離を測定する像面位相差オートフォーカス(像面位相差AF)によって測定してもよい。
なお、開口絞り115よりも光の光軸方向下流で一度光路を2つに分け、互いに得られた画像を比較した上で位相差を検知して、撮像対象までの距離を測定する像面位相差オートフォーカス(像面位相差AF)によって測定してもよい。
このように、ステップS201からステップS203までの処理を行うことで、撮像対象102と、撮像装置100との間の距離を測定する距離測定ステップが行われる。
あるいは、ステップS201からステップS203までの処理に代えて、測距センサ150を用いて、撮像対象102と、撮像装置100との間の距離を測定する操作を距離測定ステップとしても良い(ステップS220)。
あるいは、ステップS201からステップS203までの処理に代えて、測距センサ150を用いて、撮像対象102と、撮像装置100との間の距離を測定する操作を距離測定ステップとしても良い(ステップS220)。
かかる距離測定ステップにより、制御部190は、かかるコントラストAF又は像面位相差AFの何れか一方あるいは両方を使用して、撮像対象102と撮像装置100との間の距離を測定する。
パターン生成部131は、かかる距離測定ステップにおいて得られた距離情報を、制御部190から取得するとともに、かかる距離情報に基づいて、開口パターンを生成する(ステップS204)。ステップS204は、このとき空間光変調素子130の透過率を設定することで開口パターンを生成するパターン生成ステップである。
パターン生成部131は、かかる距離測定ステップにおいて得られた距離情報を、制御部190から取得するとともに、かかる距離情報に基づいて、開口パターンを生成する(ステップS204)。ステップS204は、このとき空間光変調素子130の透過率を設定することで開口パターンを生成するパターン生成ステップである。
空間光変調素子130は、例えば図2に示したようなパターン生成部131からの電気信号、言い換えると周期的な変調信号に従って、素子上それぞれのセル132における透過率を変化させることで符号化された開口パターンを形成する(ステップS205)。
開口パターンの形成により、空間光変調素子130は、素子上の各セル132の透過率を周期的に変化させることで、空間光変調素子130を通過する光に対して空間的な変調を付与することが可能となる。
パターン生成ステップの後、結像光学系110から入射し、空間光変調素子130に入射した光は、空間光変調素子130によって空間的な変調を付与される。
開口パターンの形成により、空間光変調素子130は、素子上の各セル132の透過率を周期的に変化させることで、空間光変調素子130を通過する光に対して空間的な変調を付与することが可能となる。
パターン生成ステップの後、結像光学系110から入射し、空間光変調素子130に入射した光は、空間光変調素子130によって空間的な変調を付与される。
こうした空間透過率分布を用いて、開口パターンを形成する際には、その正弦波の周期に対応する空間周波数位置、すなわちフーリエ変換を行った場合の横軸に、画像自身の持つ有限の空間周波数帯域のスペクトル分布が畳み込み積分の形で複製される。
つまり、正弦波形の周期の数だけ、空間周波数の軸上に被写体の空間周波数スペクトル分布が複製される。ここで、正弦波形の周波数の大きさに依存して角度成分の周波数情報が混ざりこむことにより画角分離が可能となる(例えば非特許文献1〜3)。
つまり、正弦波形の周期の数だけ、空間周波数の軸上に被写体の空間周波数スペクトル分布が複製される。ここで、正弦波形の周波数の大きさに依存して角度成分の周波数情報が混ざりこむことにより画角分離が可能となる(例えば非特許文献1〜3)。
空間的な変調を付与された変調光は、撮像素子120に検出されることで、画像情報として認識される(ステップS206)。この画像情報には、周期的な変調信号に従って空間的な変調を付与されたことにより、空間光変調素子130上のどのセル132を、どの時間に通過したのかという情報が含まれている。
画像生成部140は、かかる撮像素子120に検知された画像情報から、画角分離画像を算出する(ステップS207)。
画像生成部140は、撮像素子120に検知された画像情報と、当該画像情報が検出された撮像素子120の位置から、撮像素子120に検出された変調光の角度情報、言い換えると光の方向成分の情報を算出する(ステップS208)。
なお、ステップS207とステップS208とは、順番が逆であっても良い。
画像生成部140は、かかる撮像素子120に検知された画像情報から、画角分離画像を算出する(ステップS207)。
画像生成部140は、撮像素子120に検知された画像情報と、当該画像情報が検出された撮像素子120の位置から、撮像素子120に検出された変調光の角度情報、言い換えると光の方向成分の情報を算出する(ステップS208)。
なお、ステップS207とステップS208とは、順番が逆であっても良い。
画像生成部140はさらに、このようにして得られた画像情報から、空間的な変調を取り除いて画像を再構成することにより、撮像装置を複数台設ける等の特殊な装置構成を必要とせず、距離や方向などの空間情報を含んだ出力画像を得る(ステップS209)。
出力画像を得ると、撮像装置100は撮影を終了する。
以上のような撮影方法において、得られる画角及び距離等の空間情報を含んだ出力画像の精度は、空間光変調素子130に与えられる基本周波数の基本波長λ0と、撮像素子120のピクセルサイズdによって制限される。
図6は、開口パターンの基本周波数f0に対応する基本波長λ0と解像度との関係を示す模式図であり、図の中央部分に撮像対象102を模式的に表し、図の外縁部に対応する開口パターンの基本波を表示している。
ここでは例としてまず12mm角の撮像素子120を用いて、空間光変調素子130に与える開口パターンを基本波長λ0=0.5mmの基本波に4次までの余弦波を合成した合成波として設定する。
撮像対象102の撮影は、図6に概略を示したように、得られた被写体を基本波長λ0ごとに区切って、かかる測定エリア133における画像情報を得ることと等しい。
ここで測定エリア133は、空間光変調素子130の照射領域内において、照射領域を分割された1領域である。
測定エリア133は、空間光変調素子130の透過率を制御可能な最小分割単位であるセル132と同一のサイズであっても良いし、セル132を複数、二次元的にグループ化した任意の領域であっても良い。
ここでは例としてまず12mm角の撮像素子120を用いて、空間光変調素子130に与える開口パターンを基本波長λ0=0.5mmの基本波に4次までの余弦波を合成した合成波として設定する。
撮像対象102の撮影は、図6に概略を示したように、得られた被写体を基本波長λ0ごとに区切って、かかる測定エリア133における画像情報を得ることと等しい。
ここで測定エリア133は、空間光変調素子130の照射領域内において、照射領域を分割された1領域である。
測定エリア133は、空間光変調素子130の透過率を制御可能な最小分割単位であるセル132と同一のサイズであっても良いし、セル132を複数、二次元的にグループ化した任意の領域であっても良い。
図6に示した状態を基準状態として、図7、図8に示すような基本波に8次までの余弦波を合成した合成波を付与する高調波状態について考える。
このとき、図7は図6に高調波を重畳した形になるから、基本波長λ0=0.5mmは変わらず、濃淡のパターンの高周波成分の波長λ2が基準状態の高周波成分の波長λ1の半分になる。
従って、図8に示すように、測定エリア133辺りの情報量が倍になるから、角度分解能は向上する。
その一方で、図4を用いて既に説明したように、ピクセルサイズdが同一であれば、波長λ2に対して十分な数のピクセル数を確保できず、画像の再現精度が低下する。
このとき、図7は図6に高調波を重畳した形になるから、基本波長λ0=0.5mmは変わらず、濃淡のパターンの高周波成分の波長λ2が基準状態の高周波成分の波長λ1の半分になる。
従って、図8に示すように、測定エリア133辺りの情報量が倍になるから、角度分解能は向上する。
その一方で、図4を用いて既に説明したように、ピクセルサイズdが同一であれば、波長λ2に対して十分な数のピクセル数を確保できず、画像の再現精度が低下する。
また、ピクセルサイズdは撮像素子120の性能そのものであり、ピクセルサイズdの低減は容易ではない。
例えば、同様に10ピクセルの画素数を割り当てるならば、基準状態ではピクセルサイズd=0.01mm以下で良いが、図8に示した高調波状態では、ピクセルサイズd=0.005mm以下であることが必要となる。
例えば、同様に10ピクセルの画素数を割り当てるならば、基準状態ではピクセルサイズd=0.01mm以下で良いが、図8に示した高調波状態では、ピクセルサイズd=0.005mm以下であることが必要となる。
図9には、12mm角の撮像素子120を用いて、空間光変調素子130に基本波長λ0=1.0mm、基本波に8次までの余弦波を合成した合成波を開口パターンとして付与する長波長状態について考える。
かかる長波長状態では、基本波長λ0が倍になっているので、8次までの高調波が合成される一方で、要求されるピクセルサイズdは基準状態と同一である。このとき、長波長状態における高調波の波長λ3は、基準状態の高調波の波長λ1と同等の長さをもつ。
したがって、測定エリア133内での情報量は倍になって角度分解能は向上するが、測定エリア133の1区画辺りの長さも倍になるため、測定エリア133内の角度情報を切り分けることができない。すなわち、測定エリア133内で撮像対象102と撮像装置100との距離が大きく異なる2つの被写体が入り込む図9のような場合には、不正確な角度情報しか得られない。
かかる長波長状態では、基本波長λ0が倍になっているので、8次までの高調波が合成される一方で、要求されるピクセルサイズdは基準状態と同一である。このとき、長波長状態における高調波の波長λ3は、基準状態の高調波の波長λ1と同等の長さをもつ。
したがって、測定エリア133内での情報量は倍になって角度分解能は向上するが、測定エリア133の1区画辺りの長さも倍になるため、測定エリア133内の角度情報を切り分けることができない。すなわち、測定エリア133内で撮像対象102と撮像装置100との距離が大きく異なる2つの被写体が入り込む図9のような場合には、不正確な角度情報しか得られない。
このように、撮像対象との位置関係によって、空間光変調素子130に与えるべき開口パターンを形成するための基準となる基本波は異なる。
そこで、本実施形態では、空間光変調素子130の開口パターンは、パターン生成部131によって取得された、撮像対象102と撮像装置100との間の距離情報に基づいて生成される。
かかる構成により、様々な撮影条件に適した符号化開口パターンを選択可能である。
そこで、本実施形態では、空間光変調素子130の開口パターンは、パターン生成部131によって取得された、撮像対象102と撮像装置100との間の距離情報に基づいて生成される。
かかる構成により、様々な撮影条件に適した符号化開口パターンを選択可能である。
この点について、詳しく説明する。
図5で既に説明したように、撮像装置100は、空間変調をかけない画像を取得した上で、当該画像から、あるいは測距センサ150を用いて、撮像装置100と撮像対象102との間の距離を測定する。
また、パターン生成部131は、かかる距離情報を元に、空間光変調素子130に表示する開口パターン、言い換えるとモザイクパターンたる濃淡パターンを決定する。
図5で既に説明したように、撮像装置100は、空間変調をかけない画像を取得した上で、当該画像から、あるいは測距センサ150を用いて、撮像装置100と撮像対象102との間の距離を測定する。
また、パターン生成部131は、かかる距離情報を元に、空間光変調素子130に表示する開口パターン、言い換えるとモザイクパターンたる濃淡パターンを決定する。
具体的には、測定エリア133において、測定エリア133に反映される画像の被写体が全て比較的近距離であって、被写体同士の距離に大きな差が無い場合には、開口パターンの基本波の波長を長くする長波長状態に設定する。
また、基本波に重畳させる高調波の次数を高くした高調波状態とすることで、角度測定の分解能を向上させることができる。
また、基本波に重畳させる高調波の次数を高くした高調波状態とすることで、角度測定の分解能を向上させることができる。
また、リフォーカスを目的とした測定で、シーンの被写体が比較的遠くにあるものが多い場合には、開口パターンの基本波長λ0を短くし、画像内の解析点数を多くすることで、角度情報の精度を向上させる。
また、測定エリア133に反映される画像の被写体の位置がばらばらな場合にも、開口パターンの基本波長λ0を短くし、画像内の解析点数を多くすることで、角度情報の精度を向上させる。
また、その際の画像情報の再現性の低下については、基本波に重畳させる高調波の次数を低く抑えることで抑制することができる。
また、その際の画像情報の再現性の低下については、基本波に重畳させる高調波の次数を低く抑えることで抑制することができる。
また、各測定エリア133における開口パターンは、空間光変調素子130の全域で同じにする必要は無く、図10(a),(b)に示すように、各測定エリア133における距離情報に応じて、遠距離部分と近距離部分とで異なる開口パターンを設定しても良い。
具体的には、空間光変調素子130の照射領域を、領域X1、X2、X3、X4の4つに分けたときに、撮像対象102に遠距離のものが多く含まれる領域X1、X2に対応する測定エリア133に遠距離用の開口パターンを設定する。
撮像装置100は、このように、空間光変調素子130の照射領域を、距離情報に対応した複数の区画に分割する区画分離ステップを有している。
具体的には、空間光変調素子130の照射領域を、領域X1、X2、X3、X4の4つに分けたときに、撮像対象102に遠距離のものが多く含まれる領域X1、X2に対応する測定エリア133に遠距離用の開口パターンを設定する。
撮像装置100は、このように、空間光変調素子130の照射領域を、距離情報に対応した複数の区画に分割する区画分離ステップを有している。
また同様に、撮像対象102に近距離のものが多く含まれる領域X3では、かかる領域X3に対応する測定エリア133に近距離用の開口パターンを設定し、撮像対象102に中距離のものが多く含まれる領域X4では中距離用の開口パターンを設定する。
かかる構成により、撮像対象102までの距離が、各測定エリア133において一様でない場合であっても、精度良く様々な撮影条件に適した開口パターンを選択可能である。
かかる構成により、撮像対象102までの距離が、各測定エリア133において一様でない場合であっても、精度良く様々な撮影条件に適した開口パターンを選択可能である。
また、図11に示すように、距離情報の取得を行った後、距離情報の変化を検知するための距離比較ステップS310を有し、距離比較ステップにおいて距離情報の変化を検知しないときには、開口パターンを継続して使用することとしても良い。
またこの場合には、距離比較ステップS310において、距離情報の変化を検知したときには、再び距離情報を取得し、開口パターンを再度生成することが望ましい。
またこの場合には、距離比較ステップS310において、距離情報の変化を検知したときには、再び距離情報を取得し、開口パターンを再度生成することが望ましい。
距離比較ステップS310を有する場合には、図11に示すように、以前に測定された距離情報の有無を確認するデータ確認ステップS308と、データ確認ステップS308において確認されたデータを読み出すデータ読み出しステップS309と、を有することが望ましい。
かかるデータ確認ステップS311と、データ読みだしステップ312とによって、以前測定された距離情報を精度よく読みとることができるから、計算負荷を低減しながらも様々な撮影条件に適した符号化開口パターンを選択可能である。
かかるデータ確認ステップS311と、データ読みだしステップ312とによって、以前測定された距離情報を精度よく読みとることができるから、計算負荷を低減しながらも様々な撮影条件に適した符号化開口パターンを選択可能である。
かかる構成により、距離情報を取得するためのステップを省略できて、計算負荷を低減しながらも様々な撮影条件に適した符号化開口パターンを選択可能である。
これら撮像方法は、制御部190に記録されたプログラムによって実現されており、CPUなどの計算手段によって実行される。かかるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、FD、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
以上本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。
例えば、上記実施形態において、撮像装置100は、コンパクトデジタルカメラや、携帯機器搭載の小型カメラのような種々の形態の撮像装置であっても良い。
また、上記実施形態においては、パターン生成手段が距離を測定するための距離測定部を有するとしたが、外部の測定手段を用いて撮像対象と撮像装置100との距離を測定し、パターン生成手段は当該距離情報を取得するのみであっても良い。
本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。
100 撮像装置
102 撮像対象
110 結像光学系
120 撮像素子
130 空間光変調素子(空間光変調手段)
131 パターン生成手段(パターン生成部)
133 分割された照射領域(測定エリア)
140 画像生成部
150 測距センサ
190 制御部(パターン生成部)(画像生成部)(距離測定部)
S201、S202、S203、S220 距離測定ステップ
S202 画像取得ステップ
S204 パターン生成ステップ
S310 距離比較ステップ
102 撮像対象
110 結像光学系
120 撮像素子
130 空間光変調素子(空間光変調手段)
131 パターン生成手段(パターン生成部)
133 分割された照射領域(測定エリア)
140 画像生成部
150 測距センサ
190 制御部(パターン生成部)(画像生成部)(距離測定部)
S201、S202、S203、S220 距離測定ステップ
S202 画像取得ステップ
S204 パターン生成ステップ
S310 距離比較ステップ
アナ・レヴィン他(A.Levin,R.Fergus,F.Durand and W.Freeman)著、「Image and Depth from a conventional Camera with a Coded Aperture(SIGGRAPH ACM Transactions on Graphics Vol.26,No.3)」(米国)、2007年
チャンイン・ゾウ他(C.Zhou,S.Lin, and S.Nayar)著、「Coded Aperture Pairs for Depth from Defocus(IEEE International Conference on Computer Vision (ICCV)2009)」(米国)、2009年
アショック・ヴィーララハン他(A.Veeraraghavan)著、「斑な写真:ヘテロダイン処理がされた光場および符号化開口の再フォーカス動作に関するマスキングが強化されたカメラ」、ACM Transactions on Graphics Vol.26,No.3, paper 69、2007年
Claims (10)
- 撮像対象からの光に空間的な変調を付与して出射する空間光変調素子と、
前記空間光変調素子によって空間的な変調を付与された変調光を画像情報として取得する撮像素子と、
前記光が前記空間光変調素子に照射される照射領域上の各点における前記空間光変調素子の透過率を設定することで開口パターンを生成するパターン生成手段と、を有し、
前記空間光変調素子の前記開口パターンは、前記パターン生成手段によって取得された、前記撮像対象と当該撮像装置との間の距離情報に基づいて生成される撮像装置。 - 請求項1に記載の撮像装置において、
前記パターン生成手段は、前記照射領域を分割し、分割された当該照射領域における前記空間光変調素子の透過率を設定することで前記開口パターンを生成することを特徴とする撮像装置。 - 請求項1又は2に記載の撮像装置において、
前記パターン生成手段は、前記撮像対象と当該撮像装置との間の距離を測定するための距離測定部を有することを特徴とする撮像装置。 - 請求項3に記載の撮像装置において、
前記距離測定部は、前記開口パターンを前記光が透過する透過状態に設定したときに、前記撮像素子によって取得される画像情報のうち、位相差またはコントラスト比の一方あるいは両方を用いて前記距離を測定することを特徴とする撮像装置。 - 請求項3または4に記載の撮像装置において、
前記距離測定部は、前記距離を測定するための測距センサを有することを特徴とする撮像装置。 - 請求項1乃至5の何れか1つに記載の撮像装置において、
前記空間光変調素子は複数に区画され、
前記開口パターンは、複数の前記区画それぞれにおいて、各区画における前記撮像対象と当該撮像装置との距離情報に基づいて形成されることを特徴とする撮像装置。 - 撮像対象までの距離情報を取得する距離取得ステップと、
前記距離情報を元に、前記撮像対象からの光が当該光に空間的な変調を付与する空間光変調手段に照射される照射領域上の各点において、前記空間光変調手段の透過率を設定することで開口パターンを生成するパターン生成ステップとを有する撮像方法。 - 請求項7に記載の撮像方法であって、
前記距離取得ステップによって取得された前記距離情報の変化を検知する距離比較ステップを有し、
前記距離比較ステップにおいて前記距離情報の変化を検知したときには、再び距離情報を取得し、
前記距離比較ステップにおいて前記距離情報の変化を検知しないときには、継続して当該距離情報を用いることを特徴とする撮像方法。 - 請求項7または8に記載の撮像方法であって、
空間光変調手段を透過してきた光から画像情報を取得する画像取得ステップを有し、
前記距離取得ステップにおいて取得される前記距離情報は、前記画像取得ステップにおいて取得された前記画像情報から算出されることを特徴とする撮像方法。 - 請求項7乃至9の何れか1つに記載の撮像方法であって、
前記空間光変調手段を、前記距離情報に対応した複数の区画に分割する区画分離ステップを有し、
前記開口パターンは、複数の前記区画それぞれにおける前記距離情報に基づいて形成されることを特徴とする撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015007907A JP2016134732A (ja) | 2015-01-19 | 2015-01-19 | 撮像装置及び撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015007907A JP2016134732A (ja) | 2015-01-19 | 2015-01-19 | 撮像装置及び撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016134732A true JP2016134732A (ja) | 2016-07-25 |
Family
ID=56464617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015007907A Pending JP2016134732A (ja) | 2015-01-19 | 2015-01-19 | 撮像装置及び撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016134732A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019171691A1 (ja) * | 2018-03-06 | 2019-09-12 | ソニー株式会社 | 画像処理装置、および撮像装置、並びに画像処理方法 |
WO2022153692A1 (ja) * | 2021-01-12 | 2022-07-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 制御装置及び制御方法 |
-
2015
- 2015-01-19 JP JP2015007907A patent/JP2016134732A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019171691A1 (ja) * | 2018-03-06 | 2019-09-12 | ソニー株式会社 | 画像処理装置、および撮像装置、並びに画像処理方法 |
CN111788824A (zh) * | 2018-03-06 | 2020-10-16 | 索尼公司 | 图像处理装置、成像装置以及图像处理方法 |
JPWO2019171691A1 (ja) * | 2018-03-06 | 2021-03-04 | ソニー株式会社 | 画像処理装置、および撮像装置、並びに画像処理方法 |
CN111788824B (zh) * | 2018-03-06 | 2022-07-08 | 索尼公司 | 图像处理设备、成像设备以及图像处理方法 |
US11663708B2 (en) | 2018-03-06 | 2023-05-30 | Sony Corporation | Image processing apparatus, imaging apparatus, and image processing method |
JP7363765B2 (ja) | 2018-03-06 | 2023-10-18 | ソニーグループ株式会社 | 画像処理装置、および撮像装置、並びに画像処理方法 |
WO2022153692A1 (ja) * | 2021-01-12 | 2022-07-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 制御装置及び制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liang | Punching holes in light: recent progress in single-shot coded-aperture optical imaging | |
US10101453B2 (en) | Time of flight apparatuses and an illumination source | |
CN102119527B (zh) | 图像处理设备和图像处理方法 | |
KR102083875B1 (ko) | 홀로그래픽 영상에 대한 품질 측정 장치 및 방법 | |
JP2018504577A (ja) | 厚膜サンプル用落射照明フーリエタイコグラフィ撮像 | |
JP5829464B2 (ja) | 絶対測長型エンコーダ | |
US10161788B2 (en) | Low-power image change detector | |
CN107306333A (zh) | 一种高速单像素成像方法 | |
JP4135113B2 (ja) | ホログラム再生装置、ホログラム記録再生装置およびホログラム再生方法 | |
JP2017201760A (ja) | 撮像装置および測距装置 | |
US11743480B2 (en) | Imaging apparatus and imaging system | |
Yu et al. | Single-photon compressive imaging with some performance benefits over raster scanning | |
CN114721006B (zh) | 高精度单像素成像方法及*** | |
US20120162370A1 (en) | Apparatus and method for generating depth image | |
CN114095718B (zh) | 单像素成像***及方法 | |
KR101175780B1 (ko) | 적외선 레이저 프로젝션 디스플레이를 이용한 3차원 깊이 카메라 | |
US20180313759A1 (en) | Image acquisition device, image acquisition method, and spatial light modulation unit | |
CN109900249B (zh) | 距离测量装置和距离测量方法 | |
JP2016134732A (ja) | 撮像装置及び撮像方法 | |
WO2011139150A1 (en) | Improved optical rangefinding and imaging apparatus | |
KR20180055994A (ko) | 디지털 마이크로미러 소자를 활용한 구조 입사 3차원 굴절률 토모그래피 장치 및 방법 | |
Brady et al. | Coding for compressive focal tomography | |
CN116520348A (zh) | 基于调制光场的深度成像***、方法、设备及介质 | |
JP2019092088A (ja) | 撮像装置 | |
JP7412166B2 (ja) | 撮像装置および撮像方法 |