JP2013070154A - 複眼撮像装置およびその動作制御方法 - Google Patents
複眼撮像装置およびその動作制御方法 Download PDFInfo
- Publication number
- JP2013070154A JP2013070154A JP2011206000A JP2011206000A JP2013070154A JP 2013070154 A JP2013070154 A JP 2013070154A JP 2011206000 A JP2011206000 A JP 2011206000A JP 2011206000 A JP2011206000 A JP 2011206000A JP 2013070154 A JP2013070154 A JP 2013070154A
- Authority
- JP
- Japan
- Prior art keywords
- face
- area
- blind spot
- image
- background object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【目的】背景画像に顔が重ならないようにする。
【構成】視点の異なる位置から被写体を撮像し,複数の被写体像を得る。撮像により得られた被写体像から顔画像が検出され(ステップ42),死角領域が検出される(ステップ43)。死角領域が背景オブジェクトと重なっている場合には(ステップ45でYES),顔の移動指示が与えられる(ステップ47)。死角領域か背景オブジェクトに重畳しなければ(ステップ45でNO),撮像により得られた被写体像を表す画像データが記録される(ステップ50)。
【選択図】図2
【構成】視点の異なる位置から被写体を撮像し,複数の被写体像を得る。撮像により得られた被写体像から顔画像が検出され(ステップ42),死角領域が検出される(ステップ43)。死角領域が背景オブジェクトと重なっている場合には(ステップ45でYES),顔の移動指示が与えられる(ステップ47)。死角領域か背景オブジェクトに重畳しなければ(ステップ45でNO),撮像により得られた被写体像を表す画像データが記録される(ステップ50)。
【選択図】図2
Description
この発明は,複眼撮像装置およびその動作制御方法に関する。
ディジタル・カメラの背面には,液晶表示装置が設けられている。その液晶表示装置の表示画面に撮像した被写体像が表示される。表示画面は,ディジタル・カメラの背面に形成されているから,撮影者が自分を撮像する場合には,表示画面を見ながら撮像することはできない。このために,重要な背景が自分自身に隠れてしまうことがある。このために,現実の建物や風景を背景として自分撮りにおいて背景に対する被撮影者の立ち位置を所望の関係にするものがある(特許文献1)。また,複数の顔とともに複数の顔枠を表示する場合に,立体視する観察者の立体感を阻害しないようにするもの(特許文献2),対象物を実際の大きさで知覚できるもの(特許文献3),少ない演算量で画像の位置合わせを行うもの(特許文献4)もある。
特許文献1に記載のものでは,人物が写っていない状態の背景画像に対して人物指標を事前に設定しなければならない。また,背景に自分自身を撮影することによる死角領域が重なってしまうと,その死角領域の部分は立体的に見えない。
この発明は,人物指標などの事前設定が不要であっても,撮影者が自分を撮像する場合に,重要な背景が自分自身に隠れてしまうことを未然に防止することを目的とする。また,この発明は,背景オブジェクトが,自分自身を撮影することにより生じる死角領域と重ならないようにすることを目的とする。
この発明は,異なる視点での撮像を繰り返す複数の撮像装置を備えた複眼撮像装置において,上記複数の撮像装置によって被写体を撮像して得られた複数の被写体像の少なくとも一方から顔領域を検出する顔検出手段,複数の被写体像のうち一方の被写体像には含まれるが他方の被写体像には含まれない死角領域が,上記顔検出手段によって検出された顔領域に隣接して存在するかどうかを判定する死角領域判定手段,上記死角領域判定手段によって死角領域が存在すると判定されたことに応じて,その死角領域が顔領域の背景にある顔領域に隣接した背景オブジェクトの領域と重なるかどうかを判定する重畳判定手段,および上記重畳判定手段によって死角領域が背景オブジェクトの領域と重なると判定されたことに応じて顔または複眼撮像装置自体の移動指示を報知する第1の報知手段を備えていることを特徴とする。
この発明は,上記複眼撮像装置に適した動作制御方法も提供している。すなわち,この方法は,異なる視点での撮像を繰り返す複数の撮像装置を備えた複眼撮像装置の動作制御方法において,顔検出手段が,上記複数の撮像装置によって被写体を撮像して得られた複数の被写体像の少なくとも一方から顔領域を検出し,死角領域判定手段が,複数の被写体像のうち一方の被写体像には含まれるが他方の被写体像には含まれない死角領域が,上記顔検出手段によって検出された顔領域に隣接して存在するかどうかを判定し,重畳判定手段が,上記死角領域判定手段によって死角領域が存在すると判定されたことに応じて,その死角領域が顔領域の背景にある顔領域に隣接した背景オブジェクトの領域と重なるかどうかを判定し,報知手段が,上記重畳判定手段によって死角領域が背景オブジェクトの領域と重なると判定されたことに応じて顔または複眼撮像装置自体の移動指示を報知するものである。
この発明によると,複数の撮像装置によって被写体を撮像して得られた,異なる視点から撮像された複数の被写体像から顔領域が検出される。検出された顔領域に隣接して死角領域が存在するかどうかが判定される。死角領域が存在すると判定されると,その死角領域が顔領域の背景にある顔領域に隣接した背景オブジェクトの領域と重なるかどうかが判定される。死角領域がそのような背景オブジェクトの領域と重なると判定されると,顔または複眼撮像装置自体の移動指示が報知される。
異なる視点から撮像された複数の被写体像があると,立体画像が得られる。しかしながら,死角領域があると,その死角領域は立体的には見えない。死角領域が背景オブジェクトの領域と重なる場合には顔または複眼撮像装置自体を移動するように指示されるので,撮影者は顔が背景オブジェクトに重なってしまうことが分かる。顔を移動して撮像することにより,顔も背景オブジェクトも撮像できるようになる。とくに,背景オブジェクトに死角領域が重ならないようになるので,死角領域によって背景オブジェクトが立体的に見えないということを未然に防止できる。
上記顔検出手段によって検出された顔領域が,撮影可能な範囲よりも狭い画角である所定の画角に入っているかどうかを判定する画角判定手段をさらに備えてもよい。この場合,上記第1の報知手段は,たとえば,上記画角判定手段によって顔が所定の画角に入っていると判定されたことに応じて,顔または複眼撮像装置自体の移動指示を報知するものである。
上記重畳判定手段によって死角領域が背景オブジェクトの領域と重なっていないと判定されたことに応じて,撮影許可を報知する第2の報知手段をさらに備えてもよい。
上記画角判定手段によって顔が所定の画角に入っていると判定されたことに応じて撮影許可を報知する第3の報知手段をさらに備えることが好ましい。
上記重畳判定手段によって死角領域が背景オブジェクトの画像と重なっていないと判定されたことに応じて,上記複数の撮像装置において撮像された被写体像を表す画像データを記録媒体に記録する第1の記録制御手段をさらに備えてもよい。
上記画角判定手段によって顔が所定の画角に入っていると判定されたことに応じて,上記複数の撮像装置において撮像された被写体像を表す画像データを記録媒体に記録する第2の記録制御手段をさらに備えてもよい。
上記顔画像によって表される顔と上記背景オブジェクトとの間にある物体との視差が0となるように上記複数の被写体像の視差量を調整する第1の視差量調整手段をさらに備えてもよい。
上記顔画像によって表される顔と上記背景オブジェクトとの距離を算出する距離算出手段,および上記距離算出手段によって算出された距離が所定距離以上であることに応じて,顔の画像部分の視差量が所定視差量以下となるように上記複数の被写体像の視差量を調整する第2の視差量調整手段をさらに備えてもよい。
上記背景オブジェクトの視差量を算出する背景オブジェクト視差量算出手段,および上記背景オブジェクト視差量算出手段によって算出された視差量が所定量以上であった場合に,2Dの画像データを記録媒体に記録する第3の記録制御手段をさらに備えてもよい。
上記背景オブジェクトの総面積を算出する第1の面積算出手段,上記背景オブジェクトが上記顔検出手段によって検出された顔によって隠されている部分を除く残りの部分の面積を算出する第2の面積算出手段,および上記第1の面積算出手段によって算出された面積と上記第2の面積算出手段によって算出された面積との面積比を報知する第4の報知手段をさらに備えてもよい。
上記背景オブジェクトは,たとえば,同一色の物体である。
図1は,この発明の実施例を示すもので,いわゆる複眼ディジタル・カメラの電気的構成を示すブロック図である。
ディジタル・カメラ1の全体の動作は,CPU10によって統括される。ディジタル・スチル・カメラ1には,立体画像生成用の立体撮像モード,通常の二次元撮像を行う撮像モード,二次元再生を行う二次元再生モード,立体画像表示を行う立体再生モード,設定モードなどのモードを設定するモード設定ボタン,二段ストローク・タイプのシャッタ・レリーズ・ボタンなどの各種ボタン類が含まれている操作装置(図示略)が設けられている。操作装置から出力される操作信号は,CPU10に入力する。
ディジタル・スチル・カメラには,立体画像の閲覧者が左目で見る左視点画像を撮像する左視点撮像装置1および立体画像の閲覧者が右目で見る右視点画像を撮像する右視点撮像装置2が含まれている。
左視点撮像装置1には,被写体を撮像し,左視点画像を表わす左視点画像信号を出力するCCD4が含まれている。このCCD4の前方には,モータ・ドライバ5および6によってズーム量およびフォーカス量がそれぞれ制御されるズーム・レンズ2およびフォーカス・レンズ3が設けられている。
立体撮像モードが設定されると,シャッタ・レリーズ・ボタンの押し下げの前にプレ撮像(スルー画撮像)が行われ,一定周期でCCD4から左視点画像信号が出力される。CCD4から出力された左視点画像信号は,アナログ/ディジタル変換回路7において左視点画像データに変換される。左視点画像データは,画像入力コントローラ8によってディジタル信号処理装置21に入力する。
右視点撮像装置11には,被写体を撮像し,右視点画像を表わす右視点画像信号を出力するCCD14が含まれている。このCCD14の前方には,モータ・ドライバ15および16によってそれぞれズーム量およびフォーカス量が制御されるズーム・レンズ12およびフォーカス・レンズ13が設けられている。
立体撮像モードでは,プレ撮像において,CCD14からも右視点画像信号が出力される。CCD14から出力された右視点画像信号は,アナログ/ディジタル変換回路17において右視点画像データに変換される。右視点画像データは,画像入力コントローラ18によってディジタル信号処理装置21に入力する。
ディジタル信号処理装置21において左視点画像データおよび右視点画像データに対して所定のディジタル信号処理が行われる。ディジタル信号処理装置21から出力された左視点画像データおよび右視点画像データは,表示制御装置26を介してディジタル・カメラの背面に表示画面が設けられている第1の表示装置27に与えられる。第1の表示装置27の表示画面に撮像により得られた画像が立体的な動画で表示される(スルー画表示)。第1の表示装置27に左視点像データおよび右視点画像データの両方の画像データを与え,被写体像を立体的に表示せずとも,左視点画像データまたは右視点画像データのいずれか一方の画像データを与え,被写体像を二次元的に表示するようにしてもよい。
ディジタル・カメラには,その前面に表示画面が形成されている第2の表示装置28も含まれている。
ディジタル信号処理装置21から出力された左視点画像データおよび右視点画像データは,視差量算出装置29および顔検出装置30にも与えられる。視差量算出装置29において左視点画像と右視点画像との視差量が算出される。また,顔検出装置30において,撮像された画像から顔の画像部分が検出される。
シャッタ・レリーズ・ボタンの半押しにより,被写体が撮像され,撮像により得られた左視点画像データおよび右視点画像データの少なくとも一方の画像データが積算装置23に入力する。積算装置23において高周波数成分の積算および輝度データの積算が行われる。高周波数成分の積算値にもとづいて,フォーカス・レンズ3および13のフォーカス量が決定される。輝度データの積算値にもとづいて,いわゆる電子シャッタのシャッタ速度が決定される。シャッタ・レリーズ・ボタンの全押しにより,被写体が撮像され,左視点撮像装置1の撮像により得られた左視点画像データおよび右視点撮像装置11の撮像により得られた右視点画像データは,メモリ制御装置19を介してメイン・メモリ20に与えられ,そのメイン・メモリ20に一時的に記憶される。左視点画像データおよび右視点画像データは,メイン・メモリ20から読み出されて圧縮伸張処理装置22に入力する。左視点画像データおよび右視点画像データは,圧縮伸張処理装置22において圧縮され,圧縮された左視点画像データおよび右視点画像データがメモリ制御装置24によってメモリ・カード25に記録される。
立体再生モードが設定されると,メモリ・カード25に記録されている左視点画像データと右視点画像データとが読み出される。読み出された左視点画像データおよび右視点画像データが圧縮伸張処理装置22において伸張される。伸張された左視点画像データおよび右視点画像データが表示装置26に与えられることにより,立体画像が表示される。
図2は,複眼ディジタル・カメラの処理手順を示すフローチャートである。
複眼ディジタル・カメラでは,撮像により得られた被写体像は,背面に形成されている表示画面(第1の表示装置27)に表示される。表示画面は,複眼ディジタル・カメラの背面に形成されているので,複眼ディジタル・カメラを持ってユーザが自分自身を撮像する場合,第1の表示装置27の表示画面を見ることはできないので,第1の表示装置27の表示画面に表示されている被写体像を見ながらカメラ・アングルを決定することはできない。このために,背景のうち重要と考えられるオブジェクト(背景オブジェクト)がユーザの陰に隠れてしまうことがある。この実施例では,複眼ディジタル・カメラを持って,ユーザが自分自身を撮像する場合に,背景オブジェクトがユーザの陰に隠れないようにするものである。
ユーザは,複眼ディジタル・カメラを持って,自分自身の方に向けて構える。左視点撮像装置および右視点撮像装置によって被写体であるユーザ自身が撮像される(ステップ41)。
図3(A)は左視点撮像装置によって撮像された左視点画像60Lの一例,図3(B)は右視点撮像装置によって撮像された右視点画像60Rの一例を示している。
左視点画像60Lと右視点画像60Rとは異なる視点により撮像されているから,視差が生じている。視差が生じているので,左視点画像60Lと右視点画像60Rとから立体画像を生成できる。左視点画像60Lには,撮像者であるユーザの画像62Lとユーザの後にある自動車の画像61Lとが含まれている。同様に,右視点画像60Rには,左視点画像60Rに含まれているユーザの画像62Lと自動車の画像61Lとに対応しているユーザの画像62Rと自動車の画像61Rとが含まれている。
撮像により左視点画像60Lと右視点画像60Rとが得られると,得られた左視点画像60Lと右視点画像60Rのそれぞれにおいて顔検出処理が行われる(図3ステップ42)。顔検出処理は,テンプレート・マッチングなどを利用できる。
図4(A)は左視点画像60Lの一例であり,図4(B)は右視点画像60Rの一例である。
左視点画像60Lおよび右視点画像60Rのそれぞれにおいて顔検出処理が行われることにより,顔画像63Lおよび顔画像63Rが検出される。
図4(A)および図4(B)には,所定の画角で定められている顔存在規定領域64Lおよび64Rも規定されている。この実施例においては,背景オブジェクトがユーザ自身の顔によって隠れないようにするために,背景オブジェクトがユーザ自身の顔によって隠れている場合には顔を移動するようにユーザに報知される。但し,ユーザの顔が撮像可能範囲の端部にある場合に顔を移動させてしまうと,ユーザの顔が撮像されなくなってしまう。このために,顔を移動してもユーザの顔が撮像可能範囲内にあるような場合に,ユーザに顔を移動するように報知される。顔が顔存在規定領域64Lおよび64Rの中に入っている場合に,ユーザに顔を移動するように報知される。
顔が検出されると,左視点画像64Lおよび右視点画像64Rのそれぞれから死角領域が検出される(図2ステップ43)。
図5(A)および図5(B)は,左視点画像60Lおよび右視点画像60Rを示している。これらの図において,図3(A)および図3(B)に示すものと同一物には同一符号を付して説明を省略する。
上述したように,左視点画像60Lと右視点画像60Rとは異なる視点から撮像されているから,左視点画像60Lには,左視点画像60Lには含まれているが右視点画像60Rには含まれていない死角領域(右死角領域)63が含まれている。右死角領域63は,顔の画像62Lの左側にあり,自動車の画像61Lに重なっている。同様に,右視点画像60Rには,右視点画像60Rには含まれているが左視点画像60Lには含まれていない死角領域(左死角領域)64が含まれている。左死角領域64は,顔の画像62Rの右側にある。左視点画像60Lと右視点画像60Rとの各画素の対応を検出し,対応の画素が無いものを死角領域の検出となる。
死角領域63および64の部分は,左視点画像60Lと右視点画像60Rのうち,一方の画像には含まれているが他方の画像には含まれていないから,その死角領域63および64の部分は,立体的には見えない。この実施例では,図5(A)に示すように顔の画像62Lに隣接する死角領域63または図5(B)に示すように顔の画像62Rに隣接する死角領域64が背景オブジェクトに重なっている場合には,その背景オブジェクトの一部が顔によって隠されているものと考えられる。このために,死角領域63または64が背景オブジェクトに重なっているかどうかの重畳判定処理が行われる(図2ステップ44)。この重畳判定処理について詳しくは,後述する。
右死角領域63または左死角領域64が背景オブジェクトに重畳していなければ(ステップ45でNO),ユーザ自身の顔によって背景オブジェクトが隠れてしまっていないと考えられる。このために,記録許可がユーザに報知される(ステップ48)。例えば,ユーザは複眼ディジタル・カメラを自分でもって自分自身を撮像しているので,第1の表示装置27の表示画面は見えない。このために第1の表示装置27の表示画面に記録許可を表示してもユーザは分からないので,複眼ディジタル・カメラの前面に設けられている第2の表示装置28の表示画面(LEDでもよい)にユーザへの報知が行われよう。音声による報知でもよい。ユーザによってシャッタ・レリーズ・ボタンが押されると(ステップ49でYES),被写体であるユーザ自身が撮像され,撮像により得られた左視点画像および右視点画像をそれぞれ表す画像データがメモリ・カード25に記録される(ステップ50)。死角領域が背景オブジェクトに重畳していない場合に(ステップ45でNO),被写体であるユーザ自身が撮像され,撮像により得られた左視点画像および右視点画像をそれぞれ表す画像データがメモリ・カード25に記録されるときには背景オブジェクト61の総面積Sが算出され,その総面積Sを表わすデータもメモリ・カード25に記録されるようにするとよい。後述のように,背景オブジェクト61が顔62によって隠れている場合に,その隠れている割合をユーザに知らせることができる。
右死角領域63または左死角領域64が背景オブジェクトに重畳していると(ステップ45でYES),ユーザ自身の顔によって背景オブジェクトが隠れてしまっていると考えられる。このために,顔を移動するようにユーザに報知される(ステップ47)(複眼ディジタル・カメラ自体を移動するようにユーザに報知してもよい)。
図6(A)から図6(C)は,第1の表示装置27の表示画面に表示される立体画像(立体画像でなくともよい)の一例である。
図6(A)を参照して,撮像画像60Aに含まれている顔画像62によって背景オブジェクト61が隠れてしまっていると,上述のように顔を移動するようにユーザに報知される。その報知に応じてユーザは,自分の顔を移動する。すると,図6(B)に示すように,撮像画像60Bに含まれる顔画像62が水平方向に動くので,背景オブジェクト61の見える割合が多くなる。依然として,顔画像62によって背景オブジェクト61が隠れていると,再び,顔を移動するようにユーザに報知される。その報知に応じて,ユーザは,再び顔を移動する。図6(C)に示すように,顔画像62が水平方向に動き,背景オブジェクト61が見えるようになる。
このように,顔の移動指示に応じてユーザが顔を動かすことより,顔と背景オブジェクトとの重なりが少なくなっていくようになる。
但し,上述したように,顔の移動後の顔が撮像範囲内にあるように,顔が所定の規定領域64Lおよび64R内に入っている(所定の画角内に入っている)場合に(ステップ46でYES),顔を移動するようにユーザに報知される(ステップ47)。例えば,複眼ディジタル・カメラの前面に設けられている第2の表示装置28の表示画面に,その旨が表示される。音声報知でもよい。顔が所定画角内に入っていない場合には(ステップ46でNO),記録許可がユーザに報知される(ステップ48)。
上述の実施例では,ユーザに記録許可を報知したあとにユーザによるシャッタ・レリーズのオンがあったことに応じて被写体を撮像して得られた画像データがメモリ・カードに記録されているが,ユーザに記録許可を報知せずに自動撮像を行い,得られた画像データをメモリ・カードに記録するようにしてもよい。ユーザは,画角の設定に専念でき,撮影の手間が省ける。
図7は,重畳判定処理手順(図2ステップ44の処理手順)を示すフローチャートである。
重畳判定処理は,左視点画像60Lと右視点画像60Rとのそれぞれについて行われる。まず,左視点画像60Lについて重畳判定が行われ(ステップ71),つづいて右視点画像60Rについて重畳判定が行われる(ステップ72)。
得られた左視点画像の重畳判定処理と右視点画像の重畳判定処理とのそれぞれの判定結果が統合される(ステップ73)。たとえば,複眼ディジタル・カメラに近い背景オブジェクトが顔の陰とならないような処理が行われる。
図8は,左視点画像重畳判定処理手順(図7ステップ71の処理手順)を示すフローチャートである。左視点画像60Lについての重畳判定処理について述べる画,右視点画像60Rについても同様に行われる。
まず,左視点画像60Lの色領域分割処理が行われる(ステップ81)。色領域分割処理は,画像に含まれる対象物を色ごとの領域に分割する処理である。右視点画像60Rについても色領域分割処理が行われる。色領域分割処理は,たとえば,k-means法などを利用できる。
図9(A)および図9(B)は,色分割処理が行われた右視点画像(右視点色分割画像)90Lおよび左視点画像(左視点色分割画像)90Rの一例である。
図9(A)を参照して,左視点画像60Lについて色分割処理が行われることにより,自動車の色である赤色の領域91L,ユーザの髪の毛の色である黒色の領域92L,ユーザの顔の色である,うす茶色の領域93Lおよび背景の空の色である青色の領域94Lの各領域に分割される。右視点色分割画像90Lには,右死角領域63も図示されている。
同様に,図9(B)を参照して,右視点画像60Rについて色分割処理が行われることにより,自動車の色である赤色の領域91R,ユーザの髪の毛の色である黒色の領域92R,ユーザの顔の色である,うす茶色の領域93Rおよび背景の空の色である青色の領域94Rの各領域に分割される。左視点色分割画像90Rには,左死角領域64も図示されている。
右視点死角領域63の色領域が,隣接する色領域と同じ色領域であれば,右視点死角領域63は,右視点死角領域63に隣接する領域の一部であると考えられる。このために,右視点死角領域63の色領域が,隣接する色領域と同じ色領域かどうかが判定される(ステップ82)。但し,その色領域の大きさが所定の大きさ以上であると,空などのようにユーザ自身に隠れてもよい背景オブジェクトであると考えられる。このために,色領域の大きさが所定の大きさ以下かどうかも確認される(ステップ83)。
右視点死角領域63の色領域が,隣接する色領域と同じ色領域であると(ステップ82でYES),上述のように,その色領域の大きさが所定の大きさ以下かどうかが確認される(ステップ83)。所定の大きさ以下であると(ステップ83でYES),右視点死角領域63は,その色領域によって特定される背景オブジェクトの一部であると決定される(ステップ84)。これにより,右死角領域63が色領域91Lによって特定される背景オブジェクトに重畳していると判定される。図8(A)に示すように,右死角領域63の色領域が,隣接する色領域91Lと同じ色領域と判断され,かつその色領域91Lの大きさが所定の大きさ以下であると,右死角領域63は,色領域91Lで特定される自動車の画像61Lに重なっていると判定される。
右視点死角領域63の色領域が,隣接する色領域と同じ色領域ではない場合には(ステップ82でNO),右視点死角領域63は背景オブジェクトの一部ではないと決定される(ステップ85)。たとえば,右視点死角領域63の色が,右視点死角領域63の右側にある色領域93Lの色と異なると,右視点死角領域63は,色領域93によって特定される背景オブジェクトの一部ではないと判定される。また,右視点死角領域63に隣接する色領域の大きさが所定の大きさよりも大きいと,右視点死角領域63は,右視点死角領域63に隣接する色領域の一部とは決定されない(ステップ85)。
上述の処理と同様の処理が図9(B)に示す右視点色分割画像についても行われる。
上述の実施例において,左視点画像60Lまたは右視点画像60Rにおいて,顔画像の両側に背景オブジェクトと重畳している死角領域が存在する場合には,顔画像の左側にある背景オブジェクトと顔画像の右側にある背景オブジェクトとのどちらが顔画像に重畳しないようにすれば分からないので,顔の移動指示を報知することなく,撮像許可を報知するようにできる。もっとも,顔画像の両側にある背景オブジェクトのうち,複眼ディジタル・カメラに近い方の背景オブジェクトが顔画像と重畳しないように顔の移動指示を与えるようにしてもよい。顔の移動方向は,顔画像の位置と死角領域との位置関係にもとづいて決定できる。死角領域が顔画像の左側にある場合には,被写体像において顔画像が右側に移動するように報知させ,死角領域が顔画像の右側にある場合には,被写体像において顔画像が左側に移動するように報知させるようにしてもよい。また,背景オブジェクトは,たとえば,同一色の物体と考えられる。
図10から図15(A)および図15(B)は,変形例を示している。
図10は,視差調整処理手順を示すフローチャートである。この視差調整は,たとえば,シャッタ・レリーズ・ボタンがオンされた(図2のステップ49でYES)ことに応じて行われる。図11は,被写体距離レンジと顔の視差量との関係を示している。図12(A),図13(A),図14(A)および図15(A)は,被写体像(左視点画像または右視点画像)111,121,131および141の一例を示し,図12(B),図13(B),図14(B)および図15(B)は,被写体の位置を示している。
この変形例は,ユーザと背景オブジェクトとの距離とにもとづいて視差量を調整するものである。
まず,顔までの距離および背景オブジェクトまでの距離が算出される(ステップ101)。これらの距離はフォーカス・レンズの移動量などにより算出できる。つづいて,顔と背景オブジェクトとの距離(被写体距離レンジ)が算出される(ステップ102)。顔と背景オブジェクトとの距離にもとづいて視差量が算出される(ステップ103)。算出された視差量となるように,左視点画像60Lと右視点画像60Rとの視差量が調整される(ステップ104)。もっとも,顔と背景オブジェクトとの間にある物体の視差量が0となるように視差量調整処理が行われてもよい。
図11を参照して,被写体距離レンジが0のときは,視差量も0である。顔の位置がクロス・ポイントの位置となる。被写体距離レンジが所定の値R1までは,被写体距離レンジが大きくなるにつれて顔の視差量も序々に大きくなる。被写体距離レンジが所定の値R1を以上となると,あらかじめ定められている許容視差量となる。
顔の視差量が大きくなってしまうと,背景の視差量はそれ以上に大きくなってしまい,立体視しづらい状態となってしまう。顔の視差量が許容視差量に抑えられるので,背景の視差量が大きくなってしまうことを未然に防止できる。顔だけでなく,背景の被写体の破綻無く立体視できるようになる。
図12(A)は,被写体が空以外はユーザのみの被写体像111の一例である。このように被写体が空以外はユーザのみの場合には,ユーザと背景オブジェクトとの距離が0となり,図12(B)に示すようにユーザの画像(顔画像)112がクロス・ポイントの位置となるように視差量調整が行われる。
図13(A)は,被写体像121にユーザの画像122とバイクの画像123とが含まれている。図13(B)に示すように,ユーザとバイクとの距離が小さいとそれらの距離差に応じて視差量が調整される。
図14(A)は,被写体像131にユーザの画像132と建物の画像132とが含まれている。図14(B)に示すように,ユーザと建物との距離が比較的近い場合も,それらの距離差に応じて視差量が調整される。
図15(A)は,被写体像141にユーザの画像142と山の画像142とが含まれている。図15(B)に示すように,ユーザと山との距離が遠いと,これらの距離差に応じて視差量が調整されると,立体視しづらいことがある。このために,上述のように,ユーザの顔の視差量は許容視差量に抑えられる。
図16は,被写体距離レンジと顔の視差量との関係を示すもので,図11に対応している。
図11に示す関係では,被写体距離レンジが0の場合には,顔の視差量が0とされているが,図16に示す関係では,被写体距離レンジが0の場合には,顔の視差量は最適視差量となる。被写体距離レンジが所定の距離レンジR1までは顔の視差量は距離レンジが増加するにつれて増加される。所定の距離レンジR1以上となると顔の視差量は許容視差量に抑えられるのは上述したのと同様である。
顔の視差量における許容視差量,最適視差量は表示画面の大きさ,解像度などによって変える必要がある。たとえば,水平方向800画素垂直方向640画素の3.5型の表示画面に立体画像を表示する場合には,たとえば,許容視差量は56画素,最適視差量は24画素である。
図17は,他の変形例を示すもので,撮像制御処理手順を示すフローチャートである。ユーザによってシャッタ・レリーズ・ボタンが押されたことにより,図16に示す処理手順が行われる。
上述したように,顔までの距離と背景オブジェクトの距離とが算出され(ステップ101),顔までの距離と背景オブジェクトまでの距離との間の距離(距離レンジ)が算出される(ステップ102)。算出された距離レンジにもとづいて視差量が算出される(ステップ103)。
視差量が大きくなりすぎる背景オブジェクトがあれば(ステップ151でYES),立体視が破綻されてしまうので,2D撮像が行われる(ステップ153)。視差量が大きくなりすぎる背景オブジェクトがなければ(ステップ151でNO),3D撮像が行われる(ステップ152)。2D撮像は,左視点撮像装置および右視点撮像装置のうちの一方の撮像装置で撮像すればよいし,3D撮像は,左視点撮像装置および右視点撮像装置の両方の撮像装置で撮像すればよい。
図18は,他の実施例を示すもので,複眼ディジタル・カメラの処理手順を示すフローチャートである。この処理は,図2に示す処理につづいて行われるものである。図19は,第1の表示装置27の表示画面に表示される撮像画像60Dの一例である。図6(A)から図6(C)の撮像画像60Aから60Cに対応する。
この実施例は,背景オブジェクトと顔との重なりの程度をユーザに報知するものである。
上述したように,背景オブジェクトの総面積Sが記録されており,その総面積Sが利用される。画角が変わってしまうと,撮像範囲の中に含まれている背景オブジェクトが変わってしまうことがあるので,画角が変わっている場合には(ステップ162でYES),他の処理が行われる。
画角が変わっていない場合には(ステップ162でNO),図19に示すように,被写体が撮像され,得られた撮像画像60Dから顔画像62が検出される(ステップ163)。
上述のように,撮像画像60Dの中から背景オブジェクト61が見つけ出され,見つけ出された背景オブジェクト61のうち,顔62によって表示されていない非表示領域と死角領域とが除かれた背景オブジェクトの面積Aが算出される(ステップ164)。算出された面積Aは,立体画像として見える面積を表わしていることとなる。
背景オブジェクトの表示割合R=A/Sが算出され(ステップ165),算出された表示割合がユーザに報知される(ステップ166)。複眼ディジタル・カメラの前面に表示画面か形成され,その表示画面に表示割合が表示される,あるいは表示割合が音声出力されることとなろう。たとえば,図19に示すものであれば,背景オブジェクト61の割合が80%であることが報知される。ユーザは,その割合を知ることにより,背景オブジェクト61の全体のうち,どの位の割合を立体視できるかが分る。その割合でよければシャッタ・レリーズ・ボタンがオンされ(ステップ167でYES),撮像により得られた画像データ(左視点画像データおよび右視点画像データ)がメモリ・カード25に記録される(ステップ168)。ユーザは,顔と背景オブジェクトとの重なりの程度が分かるので,所望の重なりの程度のときに撮像できるようになる。
撮像される背景オブジェクト61の割合が所望の割合でなければ(ステップ167でNO),ユーザは顔を動かし,再び背景オブジェクト61の全体のうち立体視できる割合が算出され,かつ表示される(ステップ163〜166)。この場合においても,立体視できる背景オブジェクト61の割合を変えるには顔を動かす旨をユーザに報知してもよい。
1,2 撮像装置
10 CPU
10 CPU
Claims (12)
- 異なる視点での撮像を繰り返す複数の撮像装置を備えた複眼撮像装置において,
上記複数の撮像装置によって被写体を撮像して得られた複数の被写体像の少なくとも一方から顔領域を検出する顔検出手段,
複数の被写体像のうち一方の被写体像には含まれるが他方の被写体像には含まれない死角領域が,上記顔検出手段によって検出された顔領域に隣接して存在するかどうかを判定する死角領域判定手段,
上記死角領域判定手段によって死角領域が存在すると判定されたことに応じて,その死角領域が顔領域の背景にある顔領域に隣接した背景オブジェクトの領域と重なるかどうかを判定する重畳判定手段,および
上記重畳判定手段によって死角領域が背景オブジェクトの領域と重なると判定されたことに応じて顔または複眼撮像装置自体の移動指示を報知する第1の報知手段,
を備えた複眼撮像装置。 - 上記顔検出手段によって検出された顔領域が,撮影可能な範囲よりも狭い画角である所定の画角に入っているかどうかを判定する画角判定手段をさらに備え,
上記第1の報知手段は,
上記画角判定手段によって顔が所定の画角に入っていると判定されたことに応じて,顔または複眼撮像装置自体の移動指示を報知するものである,
請求項1に記載の複眼撮像装置。 - 上記重畳判定手段によって死角領域が背景オブジェクトの領域と重なっていないと判定されたことに応じて,撮影許可を報知する第2の報知手段,
をさらに備えた請求項1または2に記載の複眼撮像装置。 - 上記画角判定手段によって顔が所定の画角に入っていると判定されたことに応じて撮影許可を報知する第3の報知手段,
をさらに備えた請求項2または3に記載の複眼撮像装置。 - 上記重畳判定手段によって死角領域が背景オブジェクトの画像と重なっていないと判定されたことに応じて,上記複数の撮像装置において撮像された被写体像を表す画像データを記録媒体に記録する第1の記録制御手段,
をさらに備えた請求項1から4のうち,いずれか一項に記載の複眼撮像装置。 - 上記画角判定手段によって顔が所定の画角に入っていると判定されたことに応じて,上記複数の撮像装置において撮像された被写体像を表す画像データを記録媒体に記録する第2の記録制御手段,
をさらに備えた請求項2から4のうち,いずれか一項に記載の複眼撮像装置。 - 上記顔画像によって表される顔と上記背景オブジェクトとの間にある物体との視差が0となるように上記複数の被写体像の視差量を調整する第1の視差量調整手段,
をさらに備えた請求項1から6のうち,いずれか一項に記載の複眼撮像装置。 - 上記顔画像によって表される顔と上記背景オブジェクトとの距離を算出する距離算出手段,および
上記距離算出手段によって算出された距離が所定距離以上であることに応じて,顔の画像部分の視差量が所定視差量以下となるように上記複数の被写体像の視差量を調整する第2の視差量調整手段,
をさらに備えた請求項1から7のうち,いずれか一項に記載の複眼撮像装置。 - 上記背景オブジェクトの視差量を算出する背景オブジェクト視差量算出手段,および
上記背景オブジェクト視差量算出手段によって算出された視差量が所定量以上であった場合に,2Dの画像データを記録媒体に記録する第3の記録制御手段,
をさらに備えた請求項8に記載の複眼撮像装置。 - 上記背景オブジェクトの総面積を算出する第1の面積算出手段,
上記背景オブジェクトが上記顔検出手段によって検出された顔によって隠されている部分を除く残りの部分の面積を算出する第2の面積算出手段,および
上記第1の面積算出手段によって算出された面積と上記第2の面積算出手段によって算出された面積との面積比を報知する第4の報知手段,
をさらに備えた請求項1から9のうち,いずれか一項に記載の複眼撮像装置。 - 上記背景オブジェクトは同一色の物体である,請求項1から10のうち,いずれか一項に記載の複眼撮像装置。
- 異なる視点での撮像を繰り返す複数の撮像装置を備えた複眼撮像装置の動作制御方法において,
顔検出手段が,上記複数の撮像装置によって被写体を撮像して得られた複数の被写体像の少なくとも一方から顔領域を検出し,
死角領域判定手段が,複数の被写体像のうち一方の被写体像には含まれるが他方の被写体像には含まれない死角領域が,上記顔検出手段によって検出された顔領域に隣接して存在するかどうかを判定し,
重畳判定手段が,上記死角領域判定手段によって死角領域が存在すると判定されたことに応じて,その死角領域が顔領域の背景にある顔領域に隣接した背景オブジェクトの領域と重なるかどうかを判定し,
報知手段が,上記重畳判定手段によって死角領域が背景オブジェクトの領域と重なると判定されたことに応じて顔または複眼撮像装置自体の移動指示を報知する,
複眼撮像装置の動作制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011206000A JP2013070154A (ja) | 2011-09-21 | 2011-09-21 | 複眼撮像装置およびその動作制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011206000A JP2013070154A (ja) | 2011-09-21 | 2011-09-21 | 複眼撮像装置およびその動作制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013070154A true JP2013070154A (ja) | 2013-04-18 |
Family
ID=48475369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011206000A Withdrawn JP2013070154A (ja) | 2011-09-21 | 2011-09-21 | 複眼撮像装置およびその動作制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013070154A (ja) |
-
2011
- 2011-09-21 JP JP2011206000A patent/JP2013070154A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5390707B2 (ja) | 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム | |
JP5346266B2 (ja) | 画像処理装置、カメラ及び画像処理方法 | |
US20120263372A1 (en) | Method And Apparatus For Processing 3D Image | |
JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
JP5526233B2 (ja) | 立体視用画像撮影装置およびその制御方法 | |
JP5612774B2 (ja) | 追尾枠の初期位置設定装置およびその動作制御方法 | |
CN102959974B (zh) | 立体图像再现装置、其视差调整方法及摄影装置 | |
JP5425305B2 (ja) | 立体画像制御装置ならびにその動作制御方法およびその動作制御プログラム | |
US20130162764A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
JP5978573B2 (ja) | 映像信号処理装置および映像信号処理方法 | |
JP2011259168A (ja) | 立体パノラマ画像撮影装置 | |
JP5449551B2 (ja) | 画像出力装置、方法およびプログラム | |
US9532034B2 (en) | Three-dimensional imaging apparatus and three-dimensional image display method | |
US20120236126A1 (en) | Image pickup device, image pickup method, program, and integrated circuit | |
WO2023036218A1 (zh) | 视点宽度的确定方法及其装置 | |
JP5580486B2 (ja) | 画像出力装置、方法およびプログラム | |
JP5571257B2 (ja) | 画像処理装置、方法およびプログラム | |
JP2012227653A (ja) | 撮像装置及び撮像方法 | |
JP4887461B2 (ja) | 3次元画像撮像装置及び3次元画像表示方法 | |
JP2011146825A (ja) | ステレオ画像撮影装置およびその方法 | |
JP2013070154A (ja) | 複眼撮像装置およびその動作制御方法 | |
JP4249187B2 (ja) | 立体映像処理装置並びにそのプログラム | |
JP2013046343A (ja) | 画像撮像装置 | |
JP5579329B2 (ja) | 立体画像表示制御方法、立体画像表示制御装置、及び撮像装置 | |
JP2012114680A (ja) | 立体映像撮影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141202 |