JP2018022937A - 撮像システム、その制御方法およびコンピュータプログラム - Google Patents
撮像システム、その制御方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2018022937A JP2018022937A JP2016150968A JP2016150968A JP2018022937A JP 2018022937 A JP2018022937 A JP 2018022937A JP 2016150968 A JP2016150968 A JP 2016150968A JP 2016150968 A JP2016150968 A JP 2016150968A JP 2018022937 A JP2018022937 A JP 2018022937A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- condition
- imaging
- normal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Stroboscope Apparatuses (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】ユーザが法線情報の取得が可能か否かを容易に確認することができるようにする。【解決手段】撮像システムは、撮像により生成された撮像画像から被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する条件取得部104bと、法線取得条件を示す情報および被写体が法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成する画像生成部104cとを有する。法線取得条件は、例えば被写体までの距離、撮像画像における輝度および被写体の表面の材質に関する条件である。【選択図】図1
Description
本発明は、被写体の法線情報を取得する撮像システムに関する。
デジタルカメラ等の撮像システムで被写体を撮像して得られた撮像画像から、被写体の形状情報として該被写体の表面の面法線の情報(以下、法線情報という)を取得する方法が知られている。法線情報を用いることで、撮像後の画像処理において被写体の見えを変更した画像やユーザが任意に選択した光源条件に対応した画像等を生成することができる。法線情報を取得する方法には、レーザ光を用いた三角測量や2眼ステレオ法等の方法で取得した距離情報から求めた三次元形状を面法線情報に変換する方法や、非特許文献1にて開示された照度差ステレオ法等がある。
照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置のそれぞれでの被写体の輝度情報と仮定した反射特性とから面法線を決定する方法である。被写体の反射特性としてはランバートの余弦則に従うランバート反射モデルが用いられることが多い。
照度差ステレオ法により法線情報を取得する際には、複数の光源位置で光源を順次点灯して被写体を互いに異なる方向から照明することで被写体(撮像画像)の輝度変化を得る必要がある。この際、光源位置が固定されていると、被写体が遠いほど撮像光軸と光源の方向とがなす角(以下、照明角度という)が小さくなる。照明角度が小さくなると輝度変化が低下するため、撮像画像に含まれるノイズの影響によって算出される法線情報にばらつきが生じ易くなる。つまり、被写体距離によっては法線情報を取得することができなくなる。
松下康之、"照度差ステレオ"、情報処理学会研究報告、Vol.2011-CVIM-177,No.29,pp.1-12,2011
しかしながら、法線情報を取得可能な従来の撮像システムでは、撮像時にユーザに対して法線情報が取得可能な条件(被写体距離の範囲等)が明示されないために、ユーザが撮像を行っても希望する法線情報を取得することができない場合がある。
本発明は、ユーザが法線情報の取得が可能か否かを容易に確認することができるようにした撮像システム等を提供する。
本発明の一側面としての撮像システムは、撮像により生成された撮像画像から被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する条件取得部と、法線取得条件を示す情報および被写体が法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成する画像生成部とを有することを特徴とする。
また、本発明の他の一側面としての撮像システムの制御方法は、撮像により生成された撮像画像から被写体の表面の法線情報を取得可能な条件である法線取得条件を取得するステップと、法線取得条件を示す情報および被写体が法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成するステップとを有することを特徴とする。
なお、撮像システムのコンピュータに、撮像により生成された撮像画像から被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する処理と、法線取得条件を示す情報および被写体が法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成する処理と実行させるコンピュータプログラムも、本発明の他の一側面を構成する。
本発明によれば、ユーザは条件表示画像を見ることで法線情報の取得が可能か否かを容易に確認することができる。
以下、本発明の実施例について図面を参照しながら説明する。
本実施形態では被写体の法線情報を取得する。法線情報(面法線情報)とは、面法線の1自由度の候補を少なくとも1つ以上決定する情報、面法線の複数の解候補から真の解を選択するための情報および求めた面法線の妥当性に関する情報である。
まず、法線情報を取得する手法である照度差ステレオ法について説明する。照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する方法である。光源位置とは点灯(発光)する光源の位置を意味し、光源方向とは被写体から見た光源位置の方向である。
仮定する反射特性はある面法線と光源位置が与えられたときに反射率が一意に定まればよいが、被写体の反射特性が未知の場合はランバートの余弦則に従うランバート反射モデルで近似すればよい。また、鏡面反射成分は図10に示した光源ベクトルsと視線方向ベクトルvの2等分線と面法線nのなす角に反射率が依存する。したがって、前述した反射特性は視線方向にも基づく特性としてもよい。照度差ステレオ法に用いる輝度情報は、既知の光源が点灯している場合と消灯している場合のそれぞれの画像を撮像し、これらの差分をとることで環境光等、既知の光源以外の光源による影響を除いてもよい。以下では、ランバート反射モデルを仮定した場合を説明する。
反射光の輝度をiとは、物体のランバート拡散反射率をρdとし、入射光の強さをEとし、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をsとし、物体の単位面法線ベクトルをnとする。このとき、ランバートの余弦則から、
と表せる。ここで異なるM個(M≧3)の光源方向s1,s2,・・・,sMで得られた輝度値i1,i2,・・・iMとすると(1)式から以下のように表せる。
ここで左辺はM行1列の輝度ベクトルであり、右辺の[s1T,・・・,sMT]はM行3列の光源方向を示す入射光行列Sである。また、nは3行1列の単位面法線ベクトルである。M=3の場合は入射光行列Sの逆行列を左から乗じることで、Eρdnが下記のように求まる。
左辺のベクトルのノルムがEとρdの積であり、正規化したベクトルが物体の面法線ベクトルとして求まる。ここから分かるように、Eとρdは積の形でのみ条件式に現れるので、Eρdで1つの変数として見ると、単位面法線ベクトルの2自由度と合わせて未知の3変数を決定する連立方程式とみなせる。よって、3つの光源条件で輝度情報を取得することで方程式が3つ得られ、解を決定することができる。なお、入射光行列Sが正則でない場合は逆行列が存在しないため、光源方向s1〜s3をSが正則となるように選択する必要がある。つまり、s3をs1とs2に対して線形独立に選ぶことが望ましい。
一方、M>3の場合は求める未知変数より多い条件式が得られる。このときは任意に選択した3つの条件式から上記と同様の方法で面法線ベクトルを求めることができる。4つ以上の条件式を用いる場合は入射光行列Sが正方行列ではなくなるため、例えば、Moore-Penrose疑似逆行列を使って近似解を求めればよい。
また、行列計算を用いなくとも、既存のフィッティング手法や最適化手法によって解を求めてもよい。特に、被写体の反射特性をランバート反射モデル以外のモデルで仮定した場合は条件式が単位面法線ベクトルnの各成分や反射特性モデルの未知係数に対する線形方程式でなくなることがある。この場合は、行列計算ができず、既存のフィッティング手法や最適化手法によって解を求めることとなる。
また、M>3である場合には、3以上M−1以下の条件式の組み合わせが複数得られるため、複数の法線候補を求めることもできる。この場合は、後述の方法によって解を選択するとよい。
面法線ベクトルの解の候補が複数求まる場合、さらに別の条件から解を選択するとよい。例えば、面法線ベクトルの連続性を条件として用いることができる。面法線を撮像装置の1画素ごとに算出する場合、画素(x,y)での面法線n(x,y)として、n(x−1,y)が既知であれば評価関数である、
が最小となる解を選択するとよい。n(x+1,y)やn(x,y±1)も既知であれば、
が最小となるような解を選択するとよい。既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、全画素での総和である、
が最小となるように解を選択してもよい。
上記は一例であり、注目画素の最近傍以外の画素での面法線情報を用いたり、注目画素の位置からの距離に応じて重みをつけた評価関数としたりしてもよい。
また、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、法線ベクトルと光源方向が近いほど反射光の輝度が大きくなる。このため、複数の光源方向での輝度値から、輝度が大きい方向により近くなるような法線ベクトルを選択することができる。また、鏡面反射モデルでは物体からカメラへの方向の単位ベクトル(カメラの視線ベクトル)をvとして、
が滑らかな表面では成り立つ。このため、光源方向ベクトルsとカメラの視線ベクトルvが既知であれば法線nを算出することができる。表面に粗さがある一般の被写体の場合は、鏡面反射も射出角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解候補から最も平滑面に対する解に近い候補を選択することができる。
また、複数の解候補の平均によって真の解を決めてもよい。
本発明の実施例1である撮像システム(法線情報取得システム)について説明する。本実施例の撮像システムは、撮像レンズを含めた一体型の撮像装置として構成されている。図1には本実施例の撮像装置の外観を示し、図2には該撮像装置の構成を示している。
撮像装置は、図1に示すように不図示の被写体からの光を結像させる撮像レンズ(撮像光学系)101を含む撮像部100と、該撮像レンズ101の周囲に配置された複数の光源201を含む光源部200とを有する。図1には光源部200が8つの光源201を含む場合を示しているが、照度差ステレオ法を利用するには最低3つの光源位置で別々に点灯可能な光源が必要であるため、光源201の数は3つ以上であれば幾つでもよい。また、図1には8つの光源201を撮像部100(撮像レンズ101)の光軸から等距離の位置(同一円上)に周方向等間隔で配置しているが、これは例であり、光軸から等距離でなくてもよいし、周方向等間隔でなくてもよい。また、図1には光源部200が撮像装置に内蔵されている場合を示しているが、外付けされる光源部を用いてもよい。撮像装置はさらに、オートフォーカス(AF)や測光等の撮像準備動作および後述するプリ撮像を指示するためにユーザに半押し操作され、記録用の撮像画像(本撮像画像)を取得する本撮像を指示するために全押し操作されるレリーズスイッチ300を有する。
図2において、撮像レンズ101は不図示の被写体からの光を撮像素子102上に結像させる。撮像光学系101は、変倍レンズ101b、絞り101aおよびフォーカスレンズ101cを含む。撮像素子102は、CCDセンサやCMOSセンサ等の光電変換素子により構成され、撮像レンズ101により形成された光学像としての被写体像を光電変換(撮像)する。撮像レンズ101および撮像素子102により撮像部100が構成される。
撮像素子102での光電変換により生成されたアナログ撮像信号は、A/Dコンバータ103でデジタル撮像信号に変換されて画像処理部104に入力される。システムコントローラ110は、コンピュータにより構成され、本実施例の撮像装置の全ての動作や処理を制御する。
画像処理専用コンピュータとしての画像処理部104は、デジタル撮像信号に対して所定の処理を行い、ライブビュー画像、撮像画像(本撮像画像、プリ撮像画像)および後述する法線条件表示画像を生成する。画像処理部104は、被写体距離推定部(距離取得部)104a、法線取得条件取得部(条件取得部)104b、表示画像生成部(画像生成部)104cおよび法線推定部(法線生成部)104dを有する。
被写体距離推定部104aは、後述する距離推定処理による被写体距離の推定結果を示す距離情報を生成する。法線取得条件取得部104bは、被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する。法線取得条件は、主として撮像装置に対する被写体までの距離(被写体距離)に関する条件であり、その取得には撮像条件や光源条件等が用いられる。撮像条件とは、撮像を行う際の撮像レンズ101の絞り101aの設定値(以下、絞り値という)、焦点距離を変化させる変倍レンズ101aの位置(以下、ズーム位置という)およびフォーカスレンズ101cの位置(以下、フォーカス位置という)等である。また、撮像条件には、撮像における撮像素子102の露出時間や、撮像レンズ101の合焦対象としての被写体(合焦被写体)も含まれる。一方、光源条件とは、上記8つの光源201のうち点灯する光源の位置(光源位置)や該光源からの被写体への照射光量等である。なお、本実施例では、法線取得条件を被写体の位置に関する条件として主として説明するが、後述するように被写体の表面の材質等、他の項目に関する条件を加えてもよい。
表示画像生成部104cは、法線取得条件得部104bで取得した法線取得条件と被写体距離推定部104aにより推定された距離情報とを用いて条件表示画像を生成する画像生成処理を行う。条件表示画像は、撮像対象である被写体が法線取得条件を満たすか否か、つまりは該被写体を撮像することで法線情報の取得が可能か否かを示す情報(以下、法線取得ガイド情報という)を表示する画像である。条件表示画像は、撮像画像の取得のための本撮像前にライブビュー画像に代わって又はライブビュー画像として表示部105に表示される。なお、条件表示画像は、法線取得条件自体を示す情報(以下、法線取得条件情報という)を含むものであってもよく、法線取得ガイド情報および法線取得条件情報のうち少なくとも一方を含む画像であればよい。
表示部105は、液晶ディスプレイ等の表示デバイスを含む。ユーザは表示部105に表示されたライブビュー画像を見て撮像構図を選択し、また条件表示画像を見て法線情報の取得が可能か否かを確認することができる。
表示制御部111は、システムコントローラ110からの指示に基づいて、表示部105における表示のON/OFFおよび表示する画像の切り替えを行う。システムコントローラ110は、ユーザがレリーズスイッチ300を半押し操作することに応じて表示制御部111に条件表示画像の表示指示を送る。
画像処理部104の法線推定部104dは、本撮像により画像処理部104にて生成された複数の光源位置での輝度情報を含む撮像画像を用いて被写体の表面の法線情報を推定(取得)する法線推定処理を行う。なお、複数の光源位置での輝度情報を含む撮像画像は、1つの光源位置に対して1つの撮像画像(つまりは複数の光源位置に対して複数の撮像画像)であってもよいし、複数の光源位置でのそれぞれの輝度情報を分離可能に含む1つの撮像画像であってもよい。
画像処理部104で生成された撮像画像、条件表示画像および推定された法線情報を含む法線推定画像は、半導体メモリや光ディスク等により構成される画像記録部109に保存される。また、画像処理部104は、被写体距離推定部104aで得られた距離情報を含む距離情報画像や、法線情報を用いてユーザが任意に選択した光源条件に対応する画像として生成された任意光源画像等も生成することができる。
情報入力部108は、ユーザが所望の撮像条件(絞り値、ズーム位置、フォーカス位置、露光時間および合焦被写体等)を選択して入力する情報を検出してシステムコントローラ110にそのデータを供給する。撮像制御部107は、システムコントローラ110からの指示に基づいて、フォーカスレンズ101cを移動させたり、絞り値を変更したり、撮像素子102の露出時間を制御したりすることで、ユーザ所望の撮像条件での撮像を可能とする。光源制御部106は、システムコントローラ110の指示に応じて、光源部200のうち点灯する光源201を選択したりその発光量を制御したりする。なお、撮像レンズ101は、撮像装置に対して一体に設けられていてもよいし、交換レンズとして撮像装置に対して着脱(交換)可能に設けられていてもよい。
図3のフローチャートには、条件表示画像を生成してユーザに対して表示する画像生成処理の手順および法線推定処理の手順を示している。これらの処理は、システムコントローラ110および画像処理部104が、コンピュータプログラムとしての画像処理プログラムに従って実行する。
ステップS101では、システムコントローラ110は、ユーザが情報入力部108を通じて入力した本撮像での撮像条件および光源条件を設定する。光源条件は、ユーザが入力した撮影条件に基づいて自動で設定するようにしてもよい。例えば、本撮像時に適正露出になるように光源の光量を自動設定する。撮像条件および光源条件は前述した通りであるが、合焦被写体はユーザがタッチパネル機能を有する表示部(合焦被写体設定部)105に表示されたライブビュー画像の一部をタッチ(指定)することに応じて設定してもよい。また、画像処理部104が顔認識機能等により認識した人物等の主被写体をユーザが許可することで合焦被写体として設定してもよい。
ステップS102では、システムコントローラ110は、レリーズスイッチ300が半押し操作されたか否かを判定する。半押し操作された場合はシステムコントローラ110はAF等の撮像準備動作を行うとともにプリ撮像を行い、不図示のメモリまたはDRAMにプリ撮像により画像処理部104で生成されたプリ撮像画像を保存する。なお、プリ撮像時の撮像条件および光源条件は、ステップS101で設定された本撮像時の撮像条件および光源条件と同じであることが望ましいが、異なっていてもよく、例えば、プリ撮像時は光源を発光させなくてもよい。
ステップS103では、画像処理部104(被写体距離推定部)104aは、ステップS102で取得したプリ撮像画像を用いて被写体距離を推定することで被写体距離情報を生成する。なお、ステップS103は後述するステップS104の後に行ってもよい。
本実施例では、互いに異なる視点からの撮像により生成された複数の視差画像を取得し、ステレオ法によって被写体距離を推定する。ステレオ法では、取得した複数の視差画像中に存在する被写体の対応点間の視差量、各視点の位置および撮像レンズ101の焦点距離とから三角測量法によって奥行きを推定することができる。推定する被写体距離は、被写体の複数の対応点間で算出された奥行きの平均値としてもよいし、被写体の特定点における奥行きとしてもよい。
被写体距離の推定に用いられる複数の視差画像を取得するために、本実施例の撮像部100は、撮像レンズ101の射出瞳のうち互いに異なる複数の部分領域を通過した複数の光束を、撮像素子102における互いに異なる受光部(画素)で受光する。図4には、撮像部100における撮像素子102の受光部と撮像レンズ101の射出瞳との関係を示す。図4において、MLはマイクロレンズであり、CFはカラーフィルタである。EXPは撮像レンズ101の射出瞳を示している。G1,G2は受光部(以下それぞれをG1画素およびG2画素という)であり、1つのG1画素と1つのG2画素とが互いに対をなしている。撮像素子102には、G1画素とG2画素の対である画素対が複数配列されている。対のG1画素とG2画素は、共通の(つまりは画素対ごとに1つずつ設けられた)マイクロレンズMLを介して射出瞳EXPと共役な関係を有する。撮像素子102に配列された複数のG1画素をまとめてG1画素群ともいい、同様に撮像素子102に配列された複数のG2画素をまとめてG2画素群ともいう。
図5には、図4に示した射出瞳EXPの位置に薄肉レンズがあると仮定した場合の撮像系を模式的に示している。G1画素は射出瞳EXPのうち部分領域P1(以下、P1領域という)を通過した光束を受光し、G2画素は射出瞳EXPのうち部分領域P2(以下、P2領域という)を通過した光束を受光する。OSPは撮像している物点である。物点OSPには必ずしも物体が存在している必要は無く、この点を通った光束はそれが通過する射出瞳EXP内での部分領域(位置)に応じてG1画素またはG2画素に入射する。射出瞳EXP内の互いに異なる部分領域を光束が通過することは、物点OSPからの入射光が角度(視差)によって分離されることに相当する。すなわち、各マイクロレンズMLに対して設けられたG1およびG2画素のうち、G1画素からの出力信号を用いて生成された画像とG2画素からの出力信号を用いて生成された画像とが、互いに視差を有する複数(ここでは一対)の視差画像となる。以下の説明において、射出瞳EXP内の互いに異なる部分領域を通過した光束を互いに異なる受光部(画素)により受光することを、瞳分割ともいう。
また、図4および図5において、射出瞳EXPの位置がずれる等して、上述した共役関係が完全ではなくなったりP1領域とP2領域とが部分的にオーバーラップしたりしても、得られた複数の画像を視差画像として扱うことができる。
さらに別の例として、図6に示すように、1つの撮像装置に複数の撮像光学系OSj(j=1,2)を設けることで複数の視差画像を取得することもできる。また、複数のカメラを用いて同一被写体を撮像する場合も複数の視差画像が得られる。
また、被写体距離は、ステップS102でのAFによって又はユーザがマニュアルフォーカスを行うことによって移動したフォーカス位置から推定してもよいし、TOF(Time Of Flight)方式等の種々の距離計測方法を用いて推定してもよい。
ステップS104では、画像処理部104(法線取得条件取得部104b)は、合焦被写体についての法線取得条件を取得する。上述したように光源位置が固定されている場合には被写体が遠くなるほど撮像レンズ101の光軸方向と光源方向とがなす照明角度が小さくなる。複数の光源位置での輝度変化から法線情報を取得する照度差ステレオ法においては、照明角度が小さくなると輝度変化が低下するため、ノイズの影響によって推定される法線情報にばらつきが生じ易くなる。ばらついた法線情報を用いて被写体の見えを変更する処理を行うと、ノイズが増幅されたような画像が生成されてしまう。したがって、照明角度が所定値としての下限閾値以上となるような被写体距離の範囲を法線取得条件として取得することが好ましい。例えば、照明角度θが(8)式で示される条件を満たすような被写体距離の範囲を法線取得条件として取得する。(8)式において、右辺は閾値に相当し、cは定数であり、σnは撮像装置で発生するノイズの標準偏差であり、Eは被写体への入射光の強さである。ただし、照明角度θに対する閾値は(8)式に示されるものに限定されない。
また、照明角度が大きくなると被写体中の陰領域が多くなり、法線情報の算出が困難になる場合がある。このため、照明角度が所定値としての上限閾値以上にならないような被写体距離の範囲を法線取得条件として取得してもよい。
また、被写体への照射光量が所定値としての下限閾値以上となる被写体距離の範囲を法線取得条件としてもよい。被写体への照射光量は被写体距離の2乗に比例して減衰するため、下限閾値以上の照射光量が確保できない被写体距離ではノイズの影響が大きくなり、法線情報の算出が困難となる。
さらに、本撮像時の撮像条件から決定される被写界深度に基づいて法線取得条件を取得してもよい。撮像装置の被写界深度外の被写体距離にある被写体はぼけてしまうため、正確な法線情報の取得が困難となる。したがって、被写界深度内の被写体距離の範囲を法線取得条件として取得してもよい。
また、撮像条件や光源条件ごとの法線取得条件を予めメモリに保存しておき、本撮像時の撮像条件や光源条件に対応した法線取得条件を該メモリから読み出すことで取得してもよい。
ステップS105では、画像処理部104(表示画像生成部104c)は、ステップS103で生成(推定)した被写体距離情報とステップS104で取得した法線取得条件とに基づいて条件表示画像を生成する。
ここでは、例えば図7に示すような被写体空間をプリ撮像した場合について説明する。プリ撮像では撮像レンズ101は被写体Bに合焦しており、プリ撮像画像は図8(a)に示すようになる。被写体Bは、合焦被写体として被写界深度内に入っており、かつ照明角度が下限閾値以上となる被写体距離に存在しているため、法線取得条件を満たす条件内被写体となる。一方、被写体Cは被写界深度内に入っているが、照明角度が下限閾値より小さくなる被写体距離に存在しているため、法線取得条件を満たさない条件外被写体となる。また、被写体Aは照明角度が下限閾値以上であるが、被写界深度外に存在しておりプリ撮像画像中でぼけているため、条件外被写体となる。
表示画像生成部104cは、図8(a)に示したプリ撮像画像から、ステップS103で取得した被写体空間内の全ての被写体A〜Cの被写体距離情報とステップS104で取得した法線取得条件とを比較することにより、条件内被写体と条件外被写体とを抽出する。条件内被写体Bを抽出した画像を図8(b)に示し、条件外被写体A,Cを抽出した画像を図8(c)に示す。
そして表示画像生成部104cは、図8(d)に示すように、プリ撮像画像のうち条件内被写体Bが写っている領域以外の領域(条件外被写体A,Cが写っている領域)に斜線によるマーキングを行うことで法線取得ガイド情報を含む条件表示画像を生成する。法線取得ガイド情報は、被写体Bについては法線情報の取得が可能であり、被写体A,Cについては法線情報の取得が不可能であることを示す。
なお、図8(d)ではプリ撮像画像のうち条件外被写体が写っている領域に斜線によるマーキングを行う場合について説明したが、該領域に斜線以外の図形を用いたマーキングを行ってもよい。また、該領域の色を変更したり、輝度を落としたり、該領域を点滅させたり、該領域内の被写体のエッジ部を強調したりする等、他の処理を行ってもよい。条件内被写体と条件外被写体とが明示できればよいので、プリ撮像画像のうち条件内被写体が写っている領域に対してマーキング等の処理を行ってもよい。
また、条件内被写体か否かを明示する処理を、ステップS101で指定された合焦被写体が存在する領域のみに対して行ってもよい。例えば、合焦被写体が照明角度が下限閾値以上となる被写体距離に存在すればプリ撮像画像内に「OK」を表示した条件表示画像を生成し、照明角度が下限閾値より小さくなる被写体距離に存在すればプリ撮像画像内に「NG」を表示した条件表示画像を生成する。
また、表示画像生成部104cは、図8(e)に示すように、プリ撮像画像の一部にステップS104で取得した法線取得条件を数値等で直接示す法線取得条件情報を含ませた条件表示画像を生成してもよい。
さらに、被写体距離に関する法線取得条件以外の法線取得条件として、撮像画像の輝度や被写体の表面の材質に関する法線取得条件を用いてもよい。例えばプリ撮像時の撮像条件と光源条件から、同じ撮像条件と光源条件で行われる本撮像時に輝度が飽和すると推定される法線情報取得が困難な被写体に対しても、同様に法線取得条件を満たさない条件外被写体として条件表示画像内に明示してもよい。また、表面の材質が金属や透明体等であり、ランバート反射成分(拡散反射成分)が観測できずに法線情報の取得が困難な被写体についても同様である。例えば、プリ撮像を行った際に被写体の認識を行い、法線情報の取得が困難な材質の被写体に対して、法線取得条件を満たさない条件外被写体として条件表示画像内に明示する。なお、輝度飽和する被写体やランバート反射が観測できない被写体を条件外被写体とする場合には、ステップS103での被写体距離の推定は不要である。また、被写体距離に関する法線取得条件と、撮像画像の輝度に関する法線取得条件と、被写体の表面の材質に関する法線取得条件のうち少なくとも2つを組み合わせてもよい。
ステップS106では、表示制御部111は、ステップS105で生成された条件表示画像を表示部105に表示させる。以上の一連の処理は、撮像素子102を通じてプリ撮像画像が取得されている間、一定の周期で繰り返し実行される。これによりユーザは、現在の撮像条件および光源条件において合焦被写体の法線情報の取得が可能か否かをほぼリアルタイムで容易に確認することができる。
ステップS107では、システムコントローラ110は、レリーズスイッチ300が全押し操作されたか否かを判定し、全押し操作されると本撮像を行うためにステップS108に進む。
ステップS108では、システムコントローラ110は、撮像制御部107と光源制御部106を通じて撮像部100と光源部200を制御して複数の光源位置での撮像を行う。
そして、ステップS109では、システムコントローラ110は、画像処理部104に撮像素子102およびA/Dコンバータ103からのデジタル撮像信号を用いて本撮像画像を生成させる。さらに、法線推定部104dに本撮像画像から法線情報を推定する法線推定処理を行わせる。この際、画像処理部104は、デジタル撮像信号に対して通常の現像処理や各種補正処理を行ってもよい。法線推定部104dは、上述した照度差ステレオ法を用いて、光源位置ごとの輝度情報の変化に基づいて法線情報を推定する。システムコントローラ110は、画像処理部104に法線推定処理により得られた法線情報を含む法線推定画像を生成させ、表示制御部111を通じて表示部105に表示させたり、画像記録部109に記録させたりする。
本実施例では、法線情報の推定に照度差ステレオ法を用いたが、ステレオ方式やTOF方式等の方法で距離情報を取得し、距離情報から求めた三次元形状を法線情報に変換する方法を用いてもよい。
図9には、本発明の実施例2である撮像システム(法線情報取得システム)を示している。実施例1では、光源部を内蔵した撮像装置について説明したが、本実施例では、撮像装置とその外部に設けられた光源ユニットからなる撮像システムについて説明する。
本システムは、被写体303を撮像する撮像装置301と複数の光源ユニット302とを有する。本実施例における撮像装置301も、基本的には実施例1において図2に示した構成を有するが、図2中の光源部200および光源制御部106は有する必要はない。
光源ユニット302は、撮像装置301と有線または無線で通信可能であり、撮像装置301は光源ユニット302からの光源位置情報を取得できることが望ましい。撮像装置301は、光源ユニット302からの光源位置情報を取得できない場合には、ユーザに光源位置情報を入力させるようにしてもよい。さらに、入力された光源位置情報に基づいて、自動的に各光源ユニット302の位置(光源位置)を変えられるようにしてもよい。
照度差ステレオ法では3つ以上の光源位置での撮像が必要であるが、本実施例のように光源位置が可変である場合は、少なくとも1つ用意した光源ユニットの位置を撮像ごとに変えて3つ以上の光源位置で撮像を行えばよい。
本実施例においても撮像装置301は、実施例1と同様の処理を行って条件表示画像を生成および表示する。これにより、ユーザは法線情報の取得が可能か否かを容易に確認することができる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
100 撮像部
104 画像処理部
110 システムコントローラ
201 光源
104 画像処理部
110 システムコントローラ
201 光源
Claims (15)
- 被写体を撮像する撮像システムであって、
前記撮像により生成された撮像画像から前記被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する条件取得部と、
前記法線取得条件を示す情報および前記被写体が前記法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成する画像生成部とを有することを特徴とする撮像システム。 - 前記法線取得条件は、前記被写体までの距離に関する条件であることを特徴とする請求項1に記載の撮像システム。
- 前記法線取得条件は、前記撮像における光軸方向に対して前記被写体を照明する光源の方向がなす角度が所定値より大きくなる前記距離に関する条件であることを特徴とする請求項2に記載の撮像システム。
- 前記法線取得条件は、前記被写体が前記撮像における被写界深度内に入る前記距離に関する条件であることを特徴とする請求項2に記載の撮像システム。
- 前記法線取得条件は、前記被写体を照明する光源から前記被写体への照射光量が所定値より多くなる前記距離に関する条件であることを特徴とする請求項1または2に記載の撮像システム。
- 前記被写体の距離情報を取得する距離取得部を有し、
前記画像生成部は、前記距離情報と前記法線取得条件とに基づいて前記表示画像を生成することを特徴とする請求項1から5のいずれか一項に記載の撮像システム。 - 前記法線取得条件は、前記撮像画像における輝度に関する条件であることを特徴とする請求項1から6のいずれか一項に記載の撮像システム。
- 前記法線取得条件は、前記表面の材質に関する条件であることを特徴する請求項1から7のいずれか一項に記載の撮像システム。
- 前記画像生成部は、前記撮像画像を生成するための前記撮像が行われる前に前記条件表示画像を生成することを特徴とする請求項1から8のいずれか一項に記載の撮像システム。
- 互いに異なる3つ以上の位置で点灯可能な光源を有することを特徴とする請求項1から9のいずれか一項に記載の撮像システム。
- 前記3つ以上の位置で前記光源を別々に点灯させて前記被写体を撮像することにより生成された前記撮像画像における輝度情報に基づいて前記法線情報を生成する法線生成部を有することを特徴とする請求項10に記載の撮像システム。
- 前記撮像において合焦対象としての被写体である合焦被写体を設定する合焦被写体設定部を有し、
前記画像生成部は、設定された前記合焦被写体についての前記情報を含む前記表示画像を生成することを特徴とする請求項1から11のいずれか一項に記載の撮像システム。 - 前記被写体を撮像する撮像素子と、
互いに異なる3つ以上の位置で点灯可能な光源と、
前記条件表示画像を表示する表示部とを有する撮像装置として構成されていることを特徴とする請求項1から12のいずれか一項に記載の撮像システム。 - 被写体を撮像する撮像システムの制御方法であって、
前記撮像により生成された撮像画像から前記被写体の表面の法線情報を取得可能な条件である法線取得条件を取得するステップと、
前記法線取得条件を示す情報および前記被写体が前記法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成するステップとを有することを特徴とする撮像システムの制御方法。 - 被写体を撮像する撮像システムのコンピュータに、
前記撮像により生成された撮像画像から前記被写体の表面の法線情報を取得可能な条件である法線取得条件を取得する処理と、
前記法線取得条件を示す情報および前記被写体が前記法線取得条件を満たすか否かを示す情報のうち少なくとも一方を含む条件表示画像を生成する処理と実行させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016150968A JP2018022937A (ja) | 2016-08-01 | 2016-08-01 | 撮像システム、その制御方法およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016150968A JP2018022937A (ja) | 2016-08-01 | 2016-08-01 | 撮像システム、その制御方法およびコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018022937A true JP2018022937A (ja) | 2018-02-08 |
Family
ID=61164614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016150968A Pending JP2018022937A (ja) | 2016-08-01 | 2016-08-01 | 撮像システム、その制御方法およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018022937A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015232477A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
JP2016020891A (ja) * | 2014-06-20 | 2016-02-04 | 株式会社リコー | 形状計測システムおよび撮像装置 |
JP2016133396A (ja) * | 2015-01-20 | 2016-07-25 | キヤノン株式会社 | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム |
-
2016
- 2016-08-01 JP JP2016150968A patent/JP2018022937A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015232477A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
JP2016020891A (ja) * | 2014-06-20 | 2016-02-04 | 株式会社リコー | 形状計測システムおよび撮像装置 |
JP2016133396A (ja) * | 2015-01-20 | 2016-07-25 | キヤノン株式会社 | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6456156B2 (ja) | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム | |
JP6786225B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US10356384B2 (en) | Image processing apparatus, image capturing apparatus, and storage medium for storing image processing program | |
JP2012049773A (ja) | 撮像装置および方法、並びにプログラム | |
JP2019168862A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 | |
JP2017102637A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP6425571B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6877936B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP6671915B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
US11808561B2 (en) | Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium | |
JP2017134561A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US11277569B2 (en) | Measurement apparatus, image capturing apparatus, control method, and recording medium | |
JP2019200140A (ja) | 撮像装置、アクセサリ、処理装置、処理方法、および、プログラム | |
JP7118776B2 (ja) | 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
JP7106259B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP7213686B2 (ja) | 形状計測装置、制御方法及びプログラム | |
JP2018022937A (ja) | 撮像システム、その制御方法およびコンピュータプログラム | |
JP7373297B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6910763B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
US20200077032A1 (en) | Image processing apparatus and electronic apparatus | |
JP7490457B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、およびプログラム | |
JP7309425B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、および、プログラム | |
JP2016099322A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP2020173591A (ja) | 処理装置、処理システム、撮像装置、処理方法、および、プログラム | |
JP2014011639A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190725 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200915 |