JP5197469B2 - 前方被写体像抽出装置およびその動作制御方法 - Google Patents

Description

この発明は，前方被写体像抽出装置およびその動作制御方法に関する。

視点の異なる２つの画像を利用することが種々考えられている。たとえば，左右画像のエッジ画像を生成し，両方のエッジ画像を一致させて特定の被写体像を抽出するものがある（特許文献１）。また，視点の異なる２つの画像から２つの画像の任意の視点に対応する中間像を生成するものもある（特許文献２）。さらに，被写体の背景面までの距離を測定するものもある（特許文献３）。

しかしながら，いずれも所望の被写体像を比較的簡単に抽出することは考えられていない。

特開平８−２１０８４７号公報 特開平９−２７９６９号公報 特開2000-１２５１９６号公報

この発明は，比較的簡単に所望の被写体像を抽出することを目的とする。

この発明による前方被写体像抽出装置は，第１の視点および第２の視点から撮像された第１の画像を表す第１の画像データおよび第２の画像を表す第２の画像データを入力する画像入力手段，上記第１の画像のうち，上記第１の画像には見えているが上記第２の画像には見えていない画像部分が遮蔽部分領域として表される第１の遮蔽画像を生成する第１の遮蔽画像生成手段，上記第２の画像のうち，上記第２の画像には見えているが上記第１の画像には見えていない画像部分が遮蔽部分領域として表される第２の遮蔽画像を生成する第２の遮蔽画像生成手段，抽出する対象画像部分の一部分または一点（たとえば顔の中心）が一致するように，上記第１の遮蔽画像生成手段によって生成された第１の遮蔽画像と上記第２の遮蔽画像生成手段によって生成された第２の遮蔽画像とを重ね合わせて重畳画像を生成する重畳画像生成手段，ならびに上記重畳画像生成手段によって生成された重畳画像の中から，上記一部分または一点を含む遮蔽画像部分領域内に存在する画像部分（たとえば，顔の中心を含む人物像全体），またはユーザによって指定された遮蔽画像部分領域内に存在する画像部分を抽出する抽出手段を備えていることを特徴とする。

この発明は，上記前方被写体像抽出装置に適した動作制御方法も提供している。すなわち，この方法は，画像入力手段が，第１の視点および第２の視点から撮像された第１の画像を表す第１の画像データおよび第２の画像を表す第２の画像データを入力し，第１の遮蔽画像生成手段が，上記第１の画像のうち，上記第１の画像には見えているが上記第２の画像には見えていない画像部分が遮蔽部分領域として表される第１の遮蔽画像を生成し，第２の遮蔽画像生成手段が，上記第２の画像のうち，上記第２の画像には見えているが上記第１の画像には見えていない画像部分が遮蔽部分領域として表される第２の遮蔽画像を生成し，重畳画像生成手段が，抽出する対象画像部分の一部分または一点が一致するように，上記第１の遮蔽画像生成手段によって生成された第１の遮蔽画像と上記第２の遮蔽画像生成手段によって生成された第２の遮蔽画像とを重ね合わせて重畳画像を生成し，抽出手段が，上記重畳画像生成手段によって生成された重畳画像の中から，上記一部分または一点を含む遮蔽画像部分領域内に存在する画像部分，またはユーザによって指定された遮蔽画像部分領域内に存在する画像部分を抽出するものである。

この発明は，上記前方被写体像抽出装置の動作制御方法を実施するのに適したプログラムも格納している。また，そのようなプログラムを格納した記録媒体も提供するようにしてもよい。

この発明によると，少なくとも第１の視点から撮像された第１の画像と第２の視点から撮像された第２の画像とが利用される。第１の画像のうち，第１の画像には見えている（存在している）が第２の画像には見えていない（存在していない）画像部分が遮蔽部分領域（オクルージョン領域）として表される第１の遮蔽画像が生成される。同様に，第２の画像のうち，第２の画像には見えているが第１の画像には見えていない画像部分が遮蔽部分領域として表わされる第２の遮蔽画像が生成される。抽出する対象画像部分の一部分または一点が一致するように，第１の遮蔽画像と第２の遮蔽画像とが重ね合わせられて重畳画像が生成される。重畳画像の中から，上記一部分または一点を含む遮蔽部分領域内に存在する画像部分，またはユーザによって指定された遮蔽画像部分領域内に存在する画像部分が抽出される。

視点が異なる２つの画像には，被写体の陰となって，一方の画像には見えているが他方の画像には見えていない遮蔽部分が生じる。その遮蔽部分は，前方の被写体ほど大きくなるため，第１の遮蔽画像と第２の遮蔽画像とを，所望の対象画像部分の一部分または一点が一致するように重畳画像を生成し，その重畳画像に含まれる上記一部分または一点を含む遮蔽部分領域内に存在する画像部分が抽出されることにより，抽出された画像部分は前方の所望の被写体像となる。比較的簡単に所望の被写体像部分を抽出できる。

上記抽出手段は，たとえば，上記第１の視点と上記第２の視点とを結ぶ直線と平行の２本の直線であって，上記もっとも大きな遮蔽部分領域に接する２本の直線と，上記もっとも大きな遮蔽部分領域と，で囲まれる画像部分を抽出するものである。

上記入力手段は，たとえば，同一直線上に存在しない３つの第１の視点，第２の視点および第３の視点から撮像された３駒の第１の画像を表す第１の画像データ，第２の画像を表す第２の画像データおよび第３の画像を表す第３の画像データを入力するものであり，上記第１の遮蔽画像生成手段は，上記第１の画像には見えているが，上記第２の画像または上記第３の画像には見えていない画像部分が遮蔽画像領域として表される第１の遮蔽画像を生成するものであり，上記第２の遮蔽画像生成手段は，上記第２の画像には見えているが，上記第１の画像または上記第３の画像には見えていない画像部分が遮蔽画像領域として表される第２の遮蔽画像を生成するものである。

また，この場合，上記第３の画像には見えているが，上記第１の画像および上記第２の画像には見えていない画像部分が遮蔽画像領域として表される第３の遮蔽画像を生成する第３の遮蔽画像生成手段をさらに備える。さらに，上記重畳画像生成手段は，抽出する対象画像部分の一部分または一点が一致するように，上記第１の遮蔽画像生成手段によって生成された第１の遮蔽画像と上記第２の遮蔽画像生成手段によって生成された第２の遮蔽画像と上記第３の遮蔽画像生成手段によって生成された第３の遮蔽画像とを重ね合わせた重畳画像を生成するものとなろう。

抽出する対象画像部分が人物像の場合には，上記重畳画像生成手段は，たとえば，人物像に含まれる顔画像部分のうち少なくとも一点が一致するようにして重畳画像を生成するものである。上記抽出手段は，生成された重畳画像の中から（上記一部分または一点を含み），もっとも大きなまたはもっとも幅の広い遮蔽画像部分領域内に存在する画像部分，上記一部分または一点からもっとも近い遮蔽部分領域内に存在する画像部分を抽出するものでもよい。

ディジタル・スチル・カメラの電気的構成を示すブロック図である。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 （Ａ）および（Ｂ）は，異なる視点から撮像された２駒の画像の一例である。 （Ａ）および（Ｂ）は遮蔽画像の一例である。 重畳画像の一例である。 重畳画像において，被写体像抽出に用いられる直線を示している。 抽出された被写体像を示している。 遮蔽画像生成処理手順を示すフローチャートである。 撮像装置の構成を示している。 撮像装置の位置関係を示している。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 撮像により得られた画像の一例である。 遮蔽画像の一例である。 重畳画像の一例である。 遮蔽画像生成処理手順を示すフローチャートである。

図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。

ディジタル・スチル・カメラの全体の動作は，ＣＰＵ11によって統括される。

ディジタル・スチル・カメラには，後述する動作プログラム，その他のデータが格納されているメモリ16が含まれている。動作プログラムは，メモリ・カード19等の記録媒体に書き込まれて，そのようなメモリ・カード19から読み出されてディジタル・スチル・カメラにインストールされてもよいし，プレ・インストールされていてもよい。

ディジタル・スチル・カメラには，シャッタ・レリーズ・ボタン12およびモード・スイッチ13が含まれている。シャッタ・レリーズ・ボタン12の押し下げを示す信号は，ＣＰＵ11に入力する。モード・スイッチ13は，撮像モードまたは再生モードを選択するもので，スイッチＳ１またはＳ２を選択的にオンすることができる。スイッチＳ１がオンされることにより撮像モードが設定され，スイッチＳ２がオンされることにより再生モードが設定される。

この実施例によるディジタル・スチル・カメラは，左右（上下，斜め方向でもよい）に視差のある２駒の画像を同時（同時でなくともよい）に撮像することができる。このために，左右に所定距離だけ離れた第１の撮像装置１および第２の撮像装置２がディジタル・スチル・カメラに設けられている。

モード・スイッチ13によって撮像モードが設定されると，第１の撮像装置１または第２の撮像装置２の一方によって一定周期（例えば，１／30秒周期）で被写体が撮像される。被写体像を表す映像信号は，一定周期で第１の撮像装置１または第２の撮像装置２から出力し，アナログ／ディジタル変換回路９に入力する。映像信号は，アナログ／ディジタル変換回路９においてディジタル画像データに変換される。

ディジタル画像データは，画像入力コントローラ５によって画像信号処理回路６に入力し，ガンマ補正などの所定の信号処理が行われる。ディジタル画像データは，ＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）17に書き込まれた後に，読み出されて画像表示装置10に与えられることにより，画像表示装置27の表示画面に動画として表示（一定周期で表示）される。

この実施例によるディジタル・スチル・カメラ１においては撮像により得られた被写体像に含まれる顔画像部分を検出することができる。このために，ディジタル・スチル・カメラには，顔検出回路８が含まれている。

撮像によって得られたディジタル画像データおよび検出された顔画像部分の位置を示すデータは，ＡＦ（自動合焦）検出回路14に入力する。ＡＦ検出回路14において，検出された顔画像部分が合焦するように，ズーム・レンズ（図示略，第１の撮像装置１および第２の撮像装置２の中に含まれている）のズーム位置が制御される。また，撮像によって得られたディジタル画像データおよび検出された顔画像部分の位置を示すデータは，ＡＥ（自動露光）／ＡＷＢ（自動白バランス）検出回路15にも入力する。ＡＥ／ＡＷＢ検出回路15において，検出された顔画像部分の明るさが適正な明るさとなるように絞り（図示略，第１の撮像装置１および第２の撮像装置２の中に含まれている）の絞りが決定される。さらに，ＡＥ／ＡＷＢ検出回路15において白バランス調整も行われる。もちろん，絞り，ズーム・レンズが不要であれば，第１の撮像装置１および第２の撮像装置２の中に絞り，ズーム・レンズが含まれなくともよい。

シャッタ・レリーズ・ボタン12が押されると，第１の撮像装置１および第２の撮像装置２の両方の撮像装置１，２によって被写体が撮像される。第１の撮像装置１の撮像により得られた第１の画像データおよび第２の撮像装置により得られた第２の画像データは，いずれも圧縮処理回路７に入力する。圧縮処理回路７において所定の圧縮処理が行われた第１の画像データおよび第２の画像データはビデオ・エンコーダ20に入力してエンコーディングされる。エンコーディングされた第１の画像データおよび第２の画像データがメモリ・カード・コントローラ18の制御のもとにメモリ・カード19に記録される。

モード・スイッチ４によって再生モードが設定されると，メモリ・カード28に記録されている第１の画像データおよび第２の画像データが読み取られる。第１の画像データと第２の画像データとは視差が生じる異なる視点から撮像されているから，第１の画像データによって表される第１の画像（右画像）には，第１の画像には見えているが第２の画像には見えていない遮蔽画像部分が含まれている。同様に，第２の画像データによって表される第２の画像（左画像）には，第２の画像には見えているが第１の画像には見えていない遮蔽画像部分が含まれている。この実施例では，これらの遮蔽画像部分を用いて第１の画像（第２の画像）から，所望の被写体像が抽出される。抽出された被写体像が画像表示装置10の表示画面に表示される。

図２は，ディジタル・スチル・カメラの処理手順を示すフローチャートである。図３（Ａ），（Ｂ）から図７は画像の一例である。

異なる２つの第１の視点および第２の視点において撮像された第１の画像データおよび第２の画像データがメモリ・カード19から読み取られ，第１の画像データによって表される右画像および第２の画像データによって表される左画像が得られる（ステップ31）。得られた右画像および左画像から右遮蔽画像および左遮蔽画像が生成される（ステップ32）。

図３（Ａ）は左画像の一例であり，図３（Ｂ）は右画像の一例である。図３（Ａ）の左画像40は上述のように第２の撮像装置２によって撮像されたものであり，図３（Ｂ）の右画像50は第１の撮像装置１によって撮像されたものである。左画像40および右画像50は実質的に同時と見なされるタイミングで撮像されている。

図３（Ａ）に示すように左画像40には，前方に人物像41の被写体像が含まれている。この人物像40の後方に樹木の画像42，43および44が含まれている。図３（Ｂ）に示すように右画像50にも前方に人物像51の被写体像が含まれている。この人物像51の後方に樹木の画像52，53および54が含まれている。左画像40に含まれている人物像41の人物と右画像50に含まれている人物像51の人物とは同一人物である。また，左画像40に含まれている樹木の画像42，43および44のそれぞれの樹木と右画像50に含まれている樹木の画像52，53および54のそれぞれの樹木とは同じものである。

左画像40と右画像50とは異なる視点で撮像されているので，上述のように，左画像40には見えているが右画像50には見えていない画像部分が存在する。同様に，右画像50には見えているが左画像40には見えていない画像部分が存在する（このように見えていない画像部分を遮蔽部分領域といい，遮蔽部分領域を表した画像を遮蔽画像ということにする）。

図４（Ａ）は左遮蔽画像の一例であり，図４（Ｂ）は右遮蔽画像の一例である。

図４（Ａ）を参照して，左遮蔽画像60には，人物像41の左側に遮蔽部分領域45が表示されている。この遮蔽部分領域45は，図３（Ａ）に示す左画像40には見えているが，図３（Ｂ）に示す右画像50には見えていない部分である。同様に，図４（Ｂ）を参照して，人物像51の右側に遮蔽部分領域55が表示されている。この遮蔽部分領域55は，図３（Ｂ）に示す右画像50には見えているが，図３（Ａ）に示す左画像40には見えていない部分である。このように左遮蔽画像60および右遮蔽画像70が生成される。左遮蔽画像60および右遮蔽画像70の生成方法の詳細は後述する。

図４（Ａ）においては，人物像41の左部分に形成されている遮蔽画像部分45のほかに樹木画像42，43および44の左側にも遮蔽画像部分が生じるが，それらの樹木画像42，43および44の左側に生じる遮蔽画像部分は小さいので図示を省略する。同様に，図４（Ｂ）においては，人物像51の右側に形成されている遮蔽画像部分55のほかに樹木画像52，53および54の右側にも遮蔽画像部分が生じるが，樹木画像52，53および54の右側に生じる遮蔽画像部分は小さいので図示を省略する。

図２に戻って，左遮蔽画像60および右遮蔽画像70が生成されると，それぞれの画像60，70に含まれている人物像41，51の顔画像が検出され，検出された顔画像（の中心）が一致するように重ね合わせられる（ステップ34）。

図５は，このようにして生成された重畳画像80の一例である。

左遮蔽画像60と右遮蔽画像70とが，左遮蔽画像60の顔画像と右遮蔽画像70の顔画像とが一致するように重ね合わせられると，人物像81がぶれていない重畳画像80となる。人物像81の背景には，左遮蔽画像60に含まれている樹木画像42，43および44ならびに右遮蔽画像70に含まれている樹木画像52，53および54が含まれている。人物像81の左側には，左遮蔽画像60に含まれている遮蔽部分領域45が表示されている。同様に，人物像の右側には，右遮蔽画像70に含まれている遮蔽部分領域55が表示されている。

重畳画像80の生成に利用された顔の中心は遮蔽部分領域45および55で囲まれている画像部分に含まれている。したがって遮蔽部分領域45および55で囲まれる画像部分が抽出する画像部分であると考えられる。

再び，図２に戻って，顔の中心を含む遮蔽部分領域45，55の上端同士を結ぶ直線と下端同士を結ぶ直線とが算出される（ステップ35）。

図６は，重畳画像80において，顔の中心を含む遮蔽部分領域45，55の上端同士を結ぶ直線Ｌ１および下端同士を結ぶ直線Ｌ２を示している。

顔の中心を含む遮蔽部分領域45，55の上端同士を結ぶ直線が求められることにより，直線Ｌ１が得られる。同様に，顔の中心を含む遮蔽部分領域45，55の下端同士を結ぶ直線が求められることにより，直線Ｌ２が得られる。

再び，図２を参照して，重畳画像80において，顔の中心を含む遮蔽部分領域45，55ならびに上端同士を結ぶ直線Ｌ１および下端同士を結ぶ直線Ｌ２で囲まれる画像部分が抽出される（ステップ36）。

図７は，重畳画像80から，顔の中心を含む遮蔽部分領域45，55ならびに上端同士を結ぶ直線Ｌ１および下端同士を結ぶ直線Ｌ２で囲まれる画像部分が抽出された画像の一例である。抽出された人物像81を含む画像90が得られるようになる。この人物像81全体が抽出する所望の被写体像である。顔画像から，顔画像を含む人物像81の全体を抽出できることとなる。

この実施例においては，左右の視差が生じている左画像40と右画像50とが用いられているから，抽出する画像の上下範囲を規定するために顔の中心を含む遮蔽部分領域45，55の上端同士と下端同士とをそれぞれ結ぶ直線が利用されているが，上下の視差が生じる２つの画像が用いられる場合には，顔の中心を含む遮蔽部分領域の左端同士および右端同士を結ぶ直線が利用されて，所望の被写体像が抽出されるのはいうまでもない。また，視差が斜め方向である場合には，その斜め方向と垂直に斜めな方向の２本の直線を利用して，前方の被写体像が抽出されることとなろう。

また，上述の実施例においては，抽出する画像の上下範囲を規定するためにもっとも大きい遮蔽部分領域45，55の上端同士と下端同士とをそれぞれ結ぶ直線が利用されているが，抽出すべき画像部分が顔の中心を含む遮蔽部分で囲まれている場合には，これらの直線を利用せずに，もっとも大きい遮蔽部分領域で囲まれる画像部分を抽出するようにしてもよい。

図８は，遮蔽画像生成処理手順（図２ステップ32の処理手順）を示すフローチャートである。この処理は，左画像の遮蔽画像（左遮蔽画像）を生成するものである。

左画像40の画像の画素ｐが検出される（ステップ101）。右画像50において，その画素ｐに対応する画素が検出される（ステップ102）。

右画像において，その画素ｐに対応する画素が見つかると（ステップ103でＹＥＳ），左画像の画素ｐが，生成しようとする左画像の遮蔽画像の対応する位置に貼り付けられる（ステップ104）。右画像において，その画素ｐに対応する画素が見つからないと（ステップ103でＮＯ），遮蔽画像において，その画素ｐに対応する位置に遮蔽画像部分であることを示すフラグが立てられる（ステップ105）。フラグを立てられた画素によって特定される部分が上述の遮蔽画像部分となる。

すべての画素について上述の処理が終了するまで（ステップ106），画素ｐが１つずつインクレメントされながら繰り返される（ステップ107）。左画像のすべての画素について上述の処理が行われるように，上述した画素ｐがインクレメントされる。

左画像の遮蔽画像が生成されると，同様に右画像の遮蔽画像が生成される。

図９から図16は，他の実施例を示すものである。上述の実施例が，２つの異なる視差によって撮像された２駒の画像を利用したものであるのに対し，この実施例は，３つの異なる視差によって撮像された３駒の画像を利用するものである。

図９は，ディジタル・スチル・カメラに含まれる撮像装置の電気的構成を示すブロック図である。図10は，ディジタル・スチル・カメラに含まれる撮像装置の位置関係を示している。

この実施例では，３つの撮像装置１，２，および３が利用される。第１の撮像装置１および第２の撮像装置２は上述したように，カメラを水平に構えた場合に，上下の視差は生じないが左右の視差が生じるように左右の異なる視点から撮像するように位置決めされている。第３の撮像装置３は，カメラを水平に構えた場合に，第１の撮像装置および第２の撮像装置と上下の視差が生じるように位置決めされている。また，第３の撮像装置３は，第１の撮像装置１と第２の撮像装置２との水平方向における中間の位置に位置決めされている。

第１の撮像装置１，第２の撮像装置２および第３の撮像装置３によって被写体が撮像されることにより，それぞれの撮像装置１，２および３から被写体像を表す映像信号が出力する。出力した映像信号は，アナログ／ディジタル変換回路４に入力し，ディジタル画像データに変換される。変換されたディジタル画像データは上述のようにしてメモリ・カード19に記録される。

上述のように，第１の撮像装置１を用いて撮像された画像は右画像であり（図３（Ｂ）），第２の撮像装置２を用いて撮像された画像は左画像である（図３（Ａ））。また，第３の撮像装置３を用いて撮像された画像は後述する上画像となる（図12）。

図11は，ディジタル・スチル・カメラの処理手順を示すフローチャートであり，図２の処理手順に対応している。

左右に視差のある２駒の画像と，その２駒の画像と上下に視差のある１駒の画像を表す画像データがメモリ・カード19に記録されており，それらの３駒の画像データがメモリ・カード19から読み取られる（ステップ111）。左右に視差のある２駒の画像は，図３（Ａ）および図３（Ｂ）に示した左画像40および右画像50であり，残りの一駒の画像が図12に示す上画像120である。左画像40は，被写体に対して左側から撮像された画像であり，右画像50は，被写体に対して右側から撮像された画像であり，上画像120は被写体に対して上から撮像された画像である。

図12を参照して，上画像120には，人物像121が前方に表示されている。この人物像121の後方には樹木画像122，123および124が表示されている。上画像120に含まれている樹木画像122は，左画像40に含まれている樹木画像42および右画像50に含まれている樹木画像52と同じ樹木である。また，上画像120に含まれている樹木画像123は，左画像40に含まれている樹木画像43および右画像50に含まれている樹木画像53と同じ樹木である。同様に，上画像120に含まれている樹木画像124は，左画像40に含まれている樹木画像44および右画像50に含まれている樹木画像54と同じ樹木である。

図11に戻って，異なる視点をもつ３つの画像のそれぞれについて遮蔽画像が生成されて３つの遮蔽画像が生成される（ステップ112）。左画像40および右画像50については，上述のように左遮蔽画像60（図４（Ａ））および右遮蔽画像70（図４（Ｂ））が生成される。上画像120についても上遮蔽画像が生成される。

図13は上遮蔽画像130の一例である。

左遮蔽画像60，右遮蔽画像70と同様に，上遮蔽画像130にも上画像120には見えているが左画像40または右画像50には見えていない部分がある。その部分が遮蔽部分領域125として上遮蔽画像130に表示される。上画像120は，左画像40および右画像50と比べて被写体を上から撮像したものであるから，上画像120には被写体像121の上部分が見えているが，左画像40および右画像50には被写体像121の上の部分に相当する部分は見えていないことは理解できよう。また，上画像120と左右画像40，50との間には上下の視差だけでなく左右の視差もあるため，人物像121の左側，右側にも見えない部分が生じる。したがって，被写体像121の上側ならびに左側および右側に遮蔽部分領域125が形成される。但し，上画像120を撮像する第３の撮像装置３は右画像50を撮像する第１の撮像装置１と左画像40を撮像する第２の撮像装置２との中間にあるから，左側および右側の遮蔽部分領域125の幅は遮蔽部分領域45，55の幅の半分となる。

図２に戻って，３駒の遮蔽画像のそれぞれの画像60，70および130から顔画像が検出され（ステップ113），検出された顔画像（の中心）が一致するように３駒の遮蔽画像60，70および130が重ね合わせられる（ステップ114）。

図14は，３駒の遮蔽画像60，70および130が重ね合わせられた重畳画像150の一例である。

重畳画像150には，人物像131が表示されている。この人物像131は，左画像40の人物像41，右画像50の人物像51および上画像120の人物像121を代表して表したものである。人物像131の上には，遮蔽部分領域125が表示されている。また，人物像131の左には遮蔽部分領域45が表示されている。さらに，人物像131の右側には遮蔽部分領域55が表示されている。人物像131の後方には樹木画像42，43および44，樹木画像52，53および54ならびに樹木画像122，123および124が表示されている。

ふたたび図11に戻って，重畳画像150の中の顔を含む遮蔽部分領域45，55および125によって囲まれている画像部分が抽出される（ステップ115）。これにより，図７に示すように人物像81が抽出された画像が得られる。遮蔽部分領域によって画像部分が囲まれていない場合には，画像の四辺のいずれかの辺と遮蔽部分領域によって囲まれている部分が抽出される。

図15は，遮蔽画像生成処理手順を示すフローチャートであり，図８の処理手順に対応している。

３駒の画像のうち，一の画像の画素ｐが検出され（ステップ161），他の２駒の画像において，その画素ｐに対応する画素が検出される（ステップ162）。

他の２駒の画像のいずれにおいても対応する画素が見つかると（ステップ163でＹＥＳ），一の画像の画素ｐが生成しようとする遮蔽画像の対応する位置に貼り付けられる（ステップ164）。他の２駒の画像のいずれかにおいて対応する画素が見つからなければ（ステップ163でＮＯ），遮蔽画像において，その画素ｐに対応する位置に遮蔽画像部分フラグが立てられる（ステップ165）。

すべての画素について上述の処理が繰り返される（ステップ166，167）。

上記の実施例においては，２つまたは３つの撮像装置によって２駒または３駒の視点の異なる画像を得ているが，１つの撮像装置を用いて異なる２つまたは３つの視点から被写体を撮像して２駒または３駒の被写体像を得てもよい。また，１台のカメラを用いて撮像してもよいし，２台または３台のカメラを用いて撮像してもよい。

上述した実施例においては，重畳画像の中から，重畳画像を生成するのに用いられた顔画像（抽出する対象画像部分の一部分または一点）を含む遮蔽画像部分領域内の人物像が抽出されているが，もっとも大きなまたはもっとも幅の広い遮蔽画像部分領域内（顔画像を含む遮蔽画像部分領域内）に存在する画像部分を抽出するようにしてもよい。また，遮蔽画像部分領域が複数存在する場合，その複数の遮蔽画像部分領域の中からユーザが所望の遮蔽画像部分領域を指定し，その指定された遮蔽画像部分領域内の画像部分を抽出するようにしてもよい。たとえば，表示画面上にタッチパネルを形成し，所望の遮蔽画像部分領域をタッチすることにより，所望の遮蔽画像部分領域を指定することができる。

１，２，３ 撮像装置（画像入力手段）
11 ＣＰＵ（第１の遮蔽画像生成手段，第２の遮蔽画像生成手段，重畳画像生成手段，抽出手段）

Claims (8)

1. 第１の視点および第２の視点から撮像された第１の画像を表す第１の画像データおよび第２の画像を表す第２の画像データを入力する画像入力手段，
   上記第１の画像のうち，上記第１の画像には見えているが上記第２の画像には見えていない画像部分が遮蔽部分領域として表される第１の遮蔽画像を生成する第１の遮蔽画像生成手段，
   上記第２の画像のうち，上記第２の画像には見えているが上記第１の画像には見えていない画像部分が遮蔽部分領域として表される第２の遮蔽画像を生成する第２の遮蔽画像生成手段，
   抽出する対象画像部分の一部分または一点が一致するように，上記第１の遮蔽画像生成手段によって生成された第１の遮蔽画像と上記第２の遮蔽画像生成手段によって生成された第２の遮蔽画像とを重ね合わせて重畳画像を生成する重畳画像生成手段，ならびに
   上記重畳画像生成手段によって生成された重畳画像の中から，上記第１の視点と上記第２の視点とを結ぶ直線と平行の２本の直線であって，上記もっとも大きな遮蔽部分領域に接する２本の直線と，上記もっとも大きな遮蔽部分領域と，で囲まれる画像部分を抽出する抽出手段，
   を備えた前方被写体像抽出装置。
2. 上記入力手段は，
   同一直線上に存在しない３つの第１の視点，第２の視点および第３の視点から撮像された３駒の第１の画像を表す第１の画像データ，第２の画像を表す第２の画像データおよび第３の画像を表す第３の画像データを入力するものであり，
   上記第１の遮蔽画像生成手段は，
   上記第１の画像には見えているが，上記第２の画像または上記第３の画像には見えていない画像部分が遮蔽画像領域として表される第１の遮蔽画像を生成するものであり，
   上記第２の遮蔽画像生成手段は，
   上記第２の画像には見えているが，上記第１の画像または上記第３の画像には見えていない画像部分が遮蔽画像領域として表される第２の遮蔽画像を生成するものであり，
   上記第３の画像には見えているが，上記第１の画像および上記第２の画像には見えていない画像部分が遮蔽画像領域として表される第３の遮蔽画像を生成する第３の遮蔽画像生成手段をさらに備え，
   上記重畳画像生成手段は，
   抽出する対象画像部分の一部分または一点が一致するように，上記第１の遮蔽画像生成手段によって生成された第１の遮蔽画像と上記第２の遮蔽画像生成手段によって生成された第２の遮蔽画像と上記第３の遮蔽画像生成手段によって生成された第３の遮蔽画像とを重ね合わせた重畳画像を生成するものである，
   請求項１に記載の前方被写体像抽出装置。
3. 抽出する対象画像部分が人物像であり，
   上記重畳画像生成手段は，
   人物像に含まれる顔画像部分のうち少なくとも一点が一致するようにして重畳画像を生成するものである，
   請求項１または２に記載の前方被写体像抽出装置。
4. 画像入力手段が，第１の視点および第２の視点から撮像された第１の画像を表す第１の画像データおよび第２の画像を表す第２の画像データを入力し，
   第１の遮蔽画像生成手段が，上記第１の画像のうち，上記第１の画像には見えているが上記第２の画像には見えていない画像部分が遮蔽部分領域として表される第１の遮蔽画像を生成し，
   第２の遮蔽画像生成手段が，上記第２の画像のうち，上記第２の画像には見えているが上記第１の画像には見えていない画像部分が遮蔽部分領域として表される第２の遮蔽画像を生成し，
   重畳画像生成手段が，抽出する対象画像部分の一部分または一点が一致するように，上記第１の遮蔽画像生成手段によって生成された第１の遮蔽画像と上記第２の遮蔽画像生成手段によって生成された第２の遮蔽画像とを重ね合わせて重畳画像を生成し，
   抽出手段が，上記重畳画像生成手段によって生成された重畳画像の中から，上記第１の視点と上記第２の視点とを結ぶ直線と平行の２本の直線であって，上記もっとも大きな遮蔽部分領域に接する２本の直線と，上記もっとも大きな遮蔽部分領域と，で囲まれる画像部分を抽出する，
   前方被写体像抽出装置の動作制御方法。
5. 前方被写体像抽出装置のコンピュータを制御するプログラムであって，
   第１の視点および第２の視点から撮像された第１の画像を表す第１の画像データおよび第２の画像を表す第２の画像データを入力させ，
   上記第１の画像のうち，上記第１の画像には見えているが上記第２の画像には見えていない画像部分が遮蔽部分領域として表される第１の遮蔽画像を生成させ，
   上記第２の画像のうち，上記第２の画像には見えているが上記第１の画像には見えていない画像部分が遮蔽部分領域として表される第２の遮蔽画像を生成させ，
   抽出する対象画像部分の一部分または一点が一致するように，生成された第１の遮蔽画像と生成された第２の遮蔽画像とを重ね合わせて重畳画像を生成させ，
   重畳画像の中から，上記第１の視点と上記第２の視点とを結ぶ直線と平行の２本の直線であって，上記もっとも大きな遮蔽部分領域に接する２本の直線と，上記もっとも大きな遮蔽部分領域と，で囲まれる画像部分を抽出させるように前方被写体像抽出装置のコンピュータを制御するコンピュータ読み取り可能なプログラム。
6. 同一直線上に存在しない３つの第１の視点，第２の視点および第３の視点から撮像された３駒の第１の画像を表す第１の画像データ，第２の画像を表す第２の画像データおよび第３の画像を表す第３の画像データを入力する画像入力手段，
   上記第１の画像には見えているが，上記第２の画像または上記第３の画像には見えていない画像部分が遮蔽画像領域として表される第１の遮蔽画像を生成する第１の遮蔽画像生成手段，
   上記第２の画像には見えているが，上記第１の画像または上記第３の画像には見えていない画像部分が遮蔽画像領域として表される第２の遮蔽画像を生成する第２の遮蔽画像生成手段，
   上記第３の画像には見えているが，上記第１の画像および上記第２の画像には見えていない画像部分が遮蔽画像領域として表される第３の遮蔽画像を生成する第３の遮蔽画像生成手段，
   抽出する対象画像部分の一部分または一点が一致するように，上記第１の遮蔽画像生成手段によって生成された第１の遮蔽画像と上記第２の遮蔽画像生成手段によって生成された第２の遮蔽画像と上記第３の遮蔽画像生成手段によって生成された第３の遮蔽画像とを重ね合わせた重畳画像を生成する重畳画像生成手段，ならびに
   上記重畳画像生成手段によって生成された重畳画像の中から，上記一部分または一点を含む遮蔽画像部分領域内に存在する画像部分，またはユーザによって指定された遮蔽画像部分領域内に存在する画像部分を抽出する抽出手段，
   を備えた前方被写体像抽出装置。
7. 画像入力手段が，同一直線上に存在しない３つの第１の視点，第２の視点および第３の視点から撮像された３駒の第１の画像を表す第１の画像データ，第２の画像を表す第２の画像データおよび第３の画像を表す第３の画像データを入力し，
   第１の遮蔽画像生成手段が，上記第１の画像には見えているが，上記第２の画像または上記第３の画像には見えていない画像部分が遮蔽画像領域として表される第１の遮蔽画像を生成し，
   第２の遮蔽画像生成手段が，上記第２の画像には見えているが，上記第１の画像または上記第３の画像には見えていない画像部分が遮蔽画像領域として表される第２の遮蔽画像を生成し，
   第３の遮蔽画像生成手段が，上記第３の画像には見えているが，上記第１の画像および上記第２の画像には見えていない画像部分が遮蔽画像領域として表される第３の遮蔽画像を生成し，
   重畳画像生成手段が，抽出する対象画像部分の一部分または一点が一致するように，上記第１の遮蔽画像生成手段によって生成された第１の遮蔽画像と上記第２の遮蔽画像生成手段によって生成された第２の遮蔽画像と上記第３の遮蔽画像生成手段によって生成された第３の遮蔽画像とを重ね合わせた重畳画像を生成し，
   抽出手段が，上記重畳画像生成手段によって生成された重畳画像の中から，上記一部分または一点を含む遮蔽画像部分領域内に存在する画像部分，またはユーザによって指定された遮蔽画像部分領域内に存在する画像部分を抽出する，
   前方被写体像抽出装置の動作制御方法。
8. 前方被写体像抽出装置のコンピュータを制御するプログラムであって，
   同一直線上に存在しない３つの第１の視点，第２の視点および第３の視点から撮像された３駒の第１の画像を表す第１の画像データ，第２の画像を表す第２の画像データおよび第３の画像を表す第３の画像データを入力させ，
   上記第１の画像には見えているが，上記第２の画像または上記第３の画像には見えていない画像部分が遮蔽画像領域として表される第１の遮蔽画像を生成させ，
   上記第２の画像には見えているが，上記第１の画像または上記第３の画像には見えていない画像部分が遮蔽画像領域として表される第２の遮蔽画像を生成させ，
   上記第３の画像には見えているが，上記第１の画像および上記第２の画像には見えていない画像部分が遮蔽画像領域として表される第３の遮蔽画像を生成させ，
   抽出する対象画像部分の一部分または一点が一致するように，上記第１の遮蔽画像と上記第２の遮蔽画像と上記第３の遮蔽画像とを重ね合わせた重畳画像を生成させ，
   生成された重畳画像の中から，上記一部分または一点を含む遮蔽画像部分領域内に存在する画像部分，またはユーザによって指定された遮蔽画像部分領域内に存在する画像部分を抽出させるように前方被写体像抽出装置のコンピュータを制御するコンピュータ読み取り可能なプログラム。

Images