JP4396720B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

近年、デジタルカメラ（Digital camera）、本件出願人が商標権を有する「ハンディカム（Handycam）」などのデジタルビデオカメラ（Digital video camera）、デジタルカメラ機能を有する携帯電話など、静止画像または動画像を撮像する撮像機能を有する装置が広く普及している。

しかしながら、上記のような従来の撮像機能を有する装置では、例えば、被写体（人）を静止画像として撮影する（例えば、写真をとる）場合において、撮像機能を有する装置を使用する使用者が構図を決めて撮影しようとした瞬間に被写体が視線を動かすことにより所望する画像が得られないなど、被写体が撮像機能を有する装置に視線を向けている瞬間（いわゆるシャッターチャンス）の画像を容易に得ることができない場合があった。

また、上記のような従来の撮像機能を有する装置では、撮影した複数の静止画像、または動画像の中から、被写体が撮像機能を有する装置に視線を向けている画像を選択する場合、例えば、撮像を行った撮像者が一枚一枚確認して画像を選択する必要もあった。

ここで、人の視線の検出に係る技術としては、例えば、特許文献１が挙げられる。

特開２００６−２０２１８１号公報

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、撮像手段により撮像された少なくとも１以上の被写体を含む撮像画像の中から、上記撮像手段に向けられた上記被写体の視線を検出する視線検出部と、上記視線検出部の視線検出結果に基づいて、上記撮像手段に向けられた上記被写体の視線が検出されたか否かを上記被写体ごとに明示する視線明示部とを備える画像処理装置が提供される。

上記画像処理装置は、視線検出部と、視線明示部とを備えることができる。視線検出部は、撮像手段により撮像された撮像画像の中から、当該撮像手段に向けられた被写体の視線を検出することができる。視線明示部は、視線検出部における上記被写体の視線の検出結果を用いて、被写体の視線が検出されたか否かを被写体ごとに示すことができる。かかる構成により、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

また、上記視線明示部において上記撮像手段に向けられた上記被写体の視線が検出されたか否かが明示された画像を表示する表示部をさらに備えるとしてもよい。

かかる構成により、画像処理装置を用いるユーザは、撮像画像において被写体の視線が撮像手段に向けらているか否かを視覚的に捉えることができる。

また、上記視線明示部において上記撮像手段に向けられた上記被写体の視線が検出されたか否かが明示された画像を保持する記憶部をさらに備えるとしてもよい。

かかる構成により、画像処理装置を用いるユーザは、画像処理装置が被写体の視線を示した画像を、ユーザが所望するときに確認することができる。

また、上記視線検出部は、上記撮像画像の中から被写体の顔領域を検出し、検出された顔領域ごとに上記撮像手段に向けられた上記被写体の視線を検出して、上記被写体ごとに上記撮像手段に向けられた上記被写体の視線が検出されたか否かを判定するとしてもよい。

かかる構成により、撮像画像の中から被写体を判別し、判別された被写体ごとに撮像手段に視線が向けらているか否かを判定することができる。

また、上記視線明示部は、上記視線検出部において上記撮像手段に向けられた上記被写体の視線が検出された顔領域に対してマーキングを行うとしてもよい。

かかる構成により、撮像手段に視線を向けている被写体を明示することができるので、相対的に撮像手段に視線を向けていない被写体をも示すことができる。

また、上記視線明示部が行う上記マーキングは、上記撮像手段に視線が向けられた被写体の顔領域を示す矩形の枠を上記撮像画像に付すことであるとしてもよい。

かかる構成により、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

また、上記視線明示部は、上記視線検出部において上記撮像手段に向けられた上記被写体の視線が検出されなかった顔領域に対してマーキングを行うとしてもよい。

かかる構成により、撮像手段に視線を向けていない被写体を明示することができるので、相対的に撮像手段に視線を向けている被写体をも示すことができる。

また、上記撮像手段としての撮像部をさらに備え、上記撮像画像は、上記撮像部により撮像されたプレビュー画像であるとしてもよい。

かかる構成により、画像処理装置を用いるユーザは、撮像手段によって撮影を行う前のプレビュー画像の段階で、被写体の視線が撮像手段に向けらているか否かを視覚的に捉えることができる。

また、上記撮像部は、上記視線検出部において検出される上記撮像手段に向けられた上記被写体の視線が、所定の数以上の場合に撮影を行うとしてもよい。

かかる構成により、撮像部を備える画像処理装置は、予め定められた数の被写体の視線が撮像手段へと向けられている瞬間を撮影することができる。

また、上記撮像手段により既に撮像された画像を保持する記憶部をさらに備え、上記撮像画像は、上記記憶部に保持された画像であるとしてもよい。

かかる構成により、撮影済みの画像において、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

上記撮像画像は、外部装置から入力された画像であるとしてもよい。

かかる構成により、画像処理装置とは別体の外部装置から入力される画像において、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

また、上記目的を達成するために、本発明の第２の観点によれば、撮像手段により撮像された少なくとも１以上の被写体を含む撮像画像の中から、上記撮像手段に向けられた上記被写体の視線を検出するステップと、上記視線検出部の視線検出結果に基づいて、上記撮像手段に向けられた上記被写体の視線が検出されたか否かを上記被写体ごとに明示するステップとを有する画像処理方法が提供される。

かかる方法を用いることにより、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

また、上記目的を達成するために、本発明の第３の観点によれば、撮像手段により撮像された少なくとも１以上の被写体を含む撮像画像の中から、上記撮像手段に向けられた上記被写体の視線を検出する手段、上記視線検出部の視線検出結果に基づいて、上記撮像手段に向けられた上記被写体の視線が検出されたか否かを上記被写体ごとに明示する手段としてコンピュータを機能させるためのプログラムが提供される。

かかるプログラムにより、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

本発明によれば、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置１００を示すブロック図である。

図１を参照すると、画像処理装置１００は、視線検出部１０２と、視線明示部１０４と、表示部１０６と、記憶部１０８と、撮像部１１０とを備える。また、画像処理装置１００は、ＭＰＵ（Micro Processing Unit）などで構成され画像処理装置１００全体を制御する制御部（図示せず）、画像処理装置１００を使用するユーザが操作可能な操作部（図示せず）、記憶部１０８に保持されたデータを復号する復号部（図示せず）などを備えてもよい。

視線検出部１０２は、入力される撮像画像の中から当該撮像画像に含まれる被写体の視線を検出する。なお、視線検出部１０２は、入力される全ての撮像画像について被写体の視線を検出することができるが、本発明の実施形態は上記に限られず、例えば、操作部（図示せず）より発せられる視線を検出するか否かの命令に基づいて、被写体の視線を検出するか否かを適宜変更することもできる。ここで、操作部（図示せず）としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられるが、上記に限られない。

視線検出部１０２に入力される撮像画像は、例えば、撮像部１１０により撮像されたプレビュー画像（すなわち、撮影される前の画像）であってもよいし、または、記憶部１０８に保持された画像（すなわち、既に撮影された撮影済みの画像）、あるいは、画像処理装置１００とは別体の外部装置から入力される画像であってもよい。なお、視線検出部１０２に入力される撮像画像は、静止画像であってもよいし、または、動画像（例えば、動画像はフレーム単位で静止画として扱うことができる。）とすることもできる。本発明の実施形態に係る撮像画像としては、例えば、図２が挙げられる。図２は、本発明の実施形態に係る撮像画像の一例を示す説明図であり、Ａ〜Ｇの７人の被写体が含まれている。

また、視線検出部１０２が検出する視線は、例えば、撮像画像を撮像した撮像手段に向けられた視線とすることができる。上記の場合、被写体の視線は、撮像画像において正面（すなわち、撮像手段側）に向けられることとなる。なお、本発明の実施形態において視線検出部１０２が検出することが可能な視線は、撮像手段に向けられた視線に限られず、例えば、撮像画像における正面から所定の角度の方向に視線が向けられている被写体の視線を検出することもできる。以下では、視線検出部１０２が検出する視線を、撮像手段に向けられた視線として説明する。

図２を参照すると、図２に示す撮像画像における被写体Ａ〜Ｇそれぞれの視線および顔の向きの関係は、次の通りである。
（１）視線が正面、および顔の向きが正面 ： 被写体Ｂ、Ｃ、Ｆ、Ｇ
（２）視線が正面、および顔の向きが正面以外 ： 被写体Ａ
（３）視線が正面以外、および顔の向きが正面 ： 被写体Ｄ
（４）視線が正面以外、および顔の向きが正面以外 ： 被写体Ｅ
すなわち、図２に示す撮像画像は、被写体Ａ〜Ｃ、Ｆ、Ｇが撮像手段に視線を向け、また被写体Ｄ、Ｅが撮像手段に視線を向けていない画像である。

したがって、視線検出部１０２は、入力される撮像画像が図２に示す画像である場合、被写体Ａ〜Ｇそれぞれの視線の向きを検出し、被写体Ａ〜Ｃ、Ｆ、Ｇの５人について（撮像手段への）視線ありと判定し、被写体Ｄ、Ｅについて（撮像手段への）視線なしと判定する。以下に、本発明の実施形態に係る視線検出方法を示す。

[視線検出方法]
図３は、本発明の実施形態に係る視線検出方法の一例を示す流れ図である。なお、図３に示す視線検出方法は、撮像画像に含まれる被写体の数だけ繰り返される。

まず、被写体の顔を検出し、被写体の顔部分を含む領域（以下、「顔領域」という。）を特定する（Ｓ１００）。ステップＳ１００における被写体の顔領域を特定は、例えば、顔の輝度分布および構造パターンと類似した領域を検出することで行うことができる。なお、顔の輝度分布および構造パターンのデータなど、ステップＳ１００における顔領域を特定に係るデータは、例えば、記憶部１０８に保持することができ、または、画像処理装置１００が通信部（図示せず）を備えて外部装置から取得することもできるが、上記に限られない。なお、図３では示していないが、一の撮像画像において顔領域が特定されない場合には、ステップＳ１０２以降の処理を実行せずに一の撮像画像に対する処理を終了することができる。

また、ステップＳ１００における被写体の顔領域の特定は、例えば、撮像画像が動画像である場合には、一つ前のフレーム（frame）との差分をとって動体を検出し、当該動体から頭部を特定することにより行うことができる。

ステップＳ１００において特定した顔領域内から目を検出する（Ｓ１０２）。ステップＳ１０２における目の検出は、例えば、ステップＳ１００において特定した顔画像領域内の輝度分布を利用して行うことができる。

ステップＳ１０２において検出された被写体の目部分から、被写体の視線の方向を検出する（Ｓ１０４）。ステップＳ１０４における視線の方向の検出は、例えば、白目部分と黒目部分との比率などにより行うことができる。なお、ステップＳ１０４における視線の方向の検出は、一律の尺度で行われることに限られず、例えば、被写体の顔の傾きなどにより適宜検出する尺度を補正して行うことができることは、言うまでもない。

ステップＳ１０４において検出された被写体の視線が特定の方向を向いているか否かを判定する（Ｓ１０６）。ここで、特定の方向とは、例えば、撮像手段の方向（すなわち、正面）を指す。つまり、特定の方向を撮像手段の方向としたとき、ステップＳ１０４で検出された被写体の視線が特定の方向を向いていると判定された場合には、被写体は撮像手段に視線を向けていることとなる。なお、本発明の実施形態に係る特定の方向は、撮像手段の方向に限られず、任意の方向とすることができることは、言うまでもない。

ステップＳ１０６において被写体の視線が特定の方向を向いていると判定された場合には、被写体の視線ありと判定し（Ｓ１０８）、座標を保持する（Ｓ１１２）。ここで、ステップＳ１０８における判定結果は、例えば、１ビット（bit）のデータとして表す（すなわち、「０」または「１」の値で判定結果が表される。）ことができるが、１ビットに限られない。また、ステップＳ１１２で保持される座標は、例えば、撮像画像の任意の点を原点に定めた場合において、被写体の顔部分を含むような矩形の顔領域を設定し、当該矩形の顔領域における四隅の四点の座標とすることができる。ここで、上記顔部分を含む矩形の顔領域のサイズは、例えば、顔部分のサイズと矩形の顔領域のサイズとが対応付けられたテーブルを用いて定めることができる。また、顔部分から一定の幅分外側の領域を顔領域として矩形の顔領域のサイズを定めることもできる。さらに、上記顔部分を含むような矩形の顔領域のサイズは、操作部（図示せず）から指定することもできる。なお、ステップＳ１１２で保持される座標は、例えば、被写体の目や口など特徴点の座標であってもよい。

ステップＳ１１２で保持される座標などは、例えば、視線検出部１０２が有する記憶手段に保持することができるが、上記に限られず、記憶部１０８に保持してもよい。ここで、視線検出部１０２が有する記憶手段としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリなどが挙げられるが、上記に限られない。以下では、ステップＳ１１２で保持される座標のデータを視線検出部１０２が保持するものとして説明する。

また、ステップＳ１０８、Ｓ１１０における判定結果、およびステップＳ１１２で保持される座標は、上記のように撮像画像とは別のデータとして保持することができるが、本発明の実施形態は上記に限られない。上記判定結果、および上記座標は、例えば、タグ（tag）情報として撮像画像に付加することもできるし、または、電子透かし（digital watermarking）を用いて撮像画像に付加することもできる。

ステップＳ１０６において被写体の視線が特定の方向を向いていないと判定された場合には、被写体の視線なしと判定し（Ｓ１１０）、座標を保持する（Ｓ１１２）。ここで、ステップＳ１１０における判定結果は、例えば、１ビット（bit）のデータとして表すことができ、データの値はステップＳ１０８におけるデータの値を反転したものとすることができる。

視線検出部１０２は、図３に示すような視線検出方法を被写体の数分繰り返すことにより、複数の被写体を含む撮像画像の中から当該撮像画像に含まれる被写体の視線を被写体ごとに検出することができる。

[視線検出方法の変形例]
なお、図３では、被写体の視線があると判定された場合（ステップＳ１０８）、および被写体の視線がないと判定された場合（ステップＳ１１０）の双方において座標を保持（ステップＳ１１２）したが、本発明の実施形態に係る視線検出方法は上記に限られず、例えば、被写体の視線があると判定された場合、または被写体の視線がないと判定された場合の一方のみ座標を保持することもできる。なお、被写体の視線があると判定された場合、または被写体の視線がないと判定された場合の一方のみ座標を保持する場合には、被写体の視線の有無を判別するためのデータを保持しなくてもよい。

再度図１を参照して、画像処理装置１００について説明する。視線明示部１０４は、マーカー生成部１１２と、画像合成部１１４とを備え、視線検出部１０２における被写体ごとの視線の検出結果（例えば、ステップＳ１０８またはＳ１１０における判定結果と、ステップＳ１１２の座標）を用いて、視線検出部１０２に入力された撮像画像を編集し、被写体ごとの視線を明示する。なお、視線明示部１０４では、視線検出部１０２から視線の検出結果が伝達されない場合には被写体ごとの視線を明示するための処理を行わなくてもよいことは、言うまでもない。上記の場合、視線明示部１０４は、自身に入力された撮像画像をそのまま出力する。

マーカー生成部１１２は、例えば、視線を撮像手段へ向けていない被写体の顔領域を囲む矩形の枠（マーカー）を生成する。なお、マーカー生成部１１２が生成するマーカーは、矩形の枠に限られず、例えば、被写体の目や口などの特徴点に付加するための「＋」マークであってもよいし、または、被写体が視線を撮像手段へ向けていない旨を示すためのアイコン（icon）とすることもできる。また、マーカー生成部１１２は、視線検出部１０２が保持する座標のデータを用いて生成するマーカーの大きさを定めることができる。

画像合成部１１４は、撮像画像と、マーカー生成部１１２が生成したマーカーとを合成することにより、撮像画像にマーキングを行う。ここで、画像合成部１１４がマーカーを合成する位置は、視線検出部１０２が保持する座標のデータを用いて行うことができる。

図４は、図２に示す撮像画像に対して視線の明示が行われた画像の一例を示す説明図である。図４は、視線を撮像手段へと向けていない被写体を明示した画像の一例であり、視線を撮像手段へと向けていない被写体Ｄ、Ｅに対して、それぞれ矩形のマーカーＭ１、Ｍ２が合成されている。なお、図４では、視線を撮像手段へと向けていない被写体に対してマーカーが付加されているが、本発明の実施形態は上記に限られず、例えば、視線を撮像手段へと向けている被写体に対してマーカーを付加してもよいし、または、視線を撮像手段へと向けていない被写体、および視線を撮像手段へと向けている被写体それぞれに対して相異なるマーカーを付加することもできる。

したがって、本発明の実施形態に係る「被写体ごとの視線の明示」は、視線を撮像手段へ向けていない被写体、および視線を撮像手段へ向けている被写体それぞれを明示する（例えば、相異なるマーカーを付加する。）ことに限られず、例えば、図４のように上記どちらか一方の被写体のみに対してマーカーを付加し、他方の被写体にはマーカーを付加しないことにより、視線を撮像手段へ向けていない被写体、および視線を撮像手段へ向けている被写体を視覚的に差別化することも含まれる。

表示部１０６は、画像処理装置１００が備える表示手段であり、視線明示部１０４から出力される画像（すなわち、撮像画像、またはマーキングされた画像）を表示することができる。表示部１０６としては、例えば、ＬＣＤ（Liquid Crystal Display；液晶ディスプレイ）、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display；または、有機ＥＬディスプレイ（organic electroluminescence display）とも呼ばれる。）、ＦＥＤ（Field Emission Display；電界放出ディスプレイ）などが挙げられるが、上記に限られない。

記憶部１０８は、画像処理装置１００が備える記憶手段であり、撮影済みの画像や、視線明示部１０４から出力される画像を保持することができる、ここで、記憶部１０８としては、例えば、ハードディスクや磁気テープなどの磁気記録媒体や、フラッシュメモリ、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ(Phase change Random Access Memory)などの不揮発性メモリ（nonvolatile memory）、光磁気ディスク（Magneto Optical Disk）などが挙げられるが、上記に限られないことは、言うまでもない。

撮像部１１０は、例えば、レンズ（Lens）と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを有する撮像手段である。また、撮像部１１０は、例えば、ＡＧＣ（Automatic Gain Control）回路、ＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号に変換する信号処理手段を有することもできる。さらに、信号処理手段は、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、補間処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理、およびＪｐｅｇコーディング処理などを行い、表示部１０６に表示、および／または、記憶部１０８に保持させるための形式に画像を変換することもできる。

ここで、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理は、例えば、ＲＡＷ画像データ（信号処理前の撮像画像）に対して、ＲＧＢ（Red Green Blue）の各色ごとに予め設定されたゲインをかけ、各画素（pixel）の画素値を増幅する処理である。補間処理は、例えば、ベイヤー配列からすべての画素のＲＧＢを作り出す処理である。色調補正処理は、例えば、画像の色調を補正する処理である。ガンマ補正処理は、例えば、ＲＧＢの信号を非線形変換し、視覚的なリニアリティ（linearity）を確保する処理である。ＹＣｂＣｒ変換処理は、例えば、所定の変換式に基づいて、ＲＧＢをＹＣｂＣｒに変換する処理である。ここで、Ｙは輝度（luminance）、Ｃｂは色差（chrominance）、そして、Ｃｒは色差（chrominance）をそれぞれ表す。エッジ強調処理は、例えば、画像からエッジ部分を検出し、検出されたエッジ部分の輝度を高めることにより画像の濃淡を強調する処理である。そして、Ｊｐｅｇコーディング処理は、画像をＪｐｅｇ（Joint Photographic Experts Group）形式の画像ファイルに変換する処理である。

また、撮像部１１０は、視線検出部１０２における被写体ごとの視線の検出結果を用いて、自動的に撮影を行うこともできる。ここで、撮像部１１０が用いる視線検出部１０２における検出結果としては、例えば、視線があると判定された被写体の合計値が挙げられる。上記の場合、撮像部１１０は、例えば、上記合計値が所定の値以上となったとき自動的に撮影を行う。なお、上記所定の値は、例えば、撮像部１１０が備える記憶手段に保持されてもよいし、記憶部１０８に保持することもできる。また、撮像部１１０が備える記憶手段としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられるが、上記に限られない。

以上のように、本発明の第１の実施形態に係る画像処理装置１００は、視線検出部１０２を備え、視線検出部１０２に入力される撮像画像の中から撮像手段に向けられた被写体の視線を被写体ごとに検出することができる。また、画像処理装置１００は視線明示部１０４を備え、視線明示部１０４は、視線検出部１０２における被写体ごとの視線の検出結果を用いて、例えば、視線が検出されないと判定された被写体にマーキングをすることにより、視覚的に被写体ごとの視線を明示することができる。

したがって、画像処理装置１００は、撮像画像に対して被写体ごとの視線の有無を被写体ごとに明示することができるので、画像処理装置１００を使用するユーザは、撮像画像において被写体の視線が撮像手段に向けらているか否かを視覚的に捉えることができる。

また、画像処理装置１００が処理する撮像画像（すなわち、視線検出部１０２に入力される撮像画像）がプレビュー画像である場合には、ユーザは、被写体の視線が撮像手段に向けらているか否かを視覚的に捉えた上で撮影を行う（例えば、操作部としてのシャッターボタンを押下し、撮像部１１０に撮影命令を伝達する。）ことができるので、従来の撮像機能を有する装置のように、被写体が撮像手段に視線を向けている瞬間（いわゆるシャッターチャンス）を逃すこともなく、また、所望する画像を得ることができる。また、例えば、図２に示すような、いわゆる集合写真を撮影する場合には、ユーザは、被写体の視線が撮像手段としての撮像部１１０を向いているか否かをプレビュー画像で視覚的に確認することができるので、視線が撮像手段を向いていない被写体を容易に確認することもできる。

また、画像処理装置１００は、視線検出部１０２における被写体ごとの視線の検出結果を用いて、撮像手段に向けらている視線が所定の数以上に達した場合に自動的に撮影を行うこともできる。したがって、画像処理装置１００は、従来の撮像機能を有する装置のように、被写体が撮像手段に視線を向けている瞬間（いわゆるシャッターチャンス）を逃すこともなく、また、所望する画像を自動的に得ることができる。

また、画像処理装置１００が処理する撮像画像は、プレビュー画像に限られず、記憶部１０８に保持された画像（すなわち、既に撮影された撮影済みの画像）、画像処理装置１００とは別体の外部装置から入力される画像（すなわち、外部装置により既に撮影された撮影済みの画像）とすることができる。ここで、画像処理装置１００は、撮影済みの画像であっても被写体ごとの視線の検出を行うことができる。したがって、画像処理装置１００は、視線の検出結果を用いることにより、例えば、撮影した複数の静止画像、または動画像の中から、被写体が撮像機能を有する装置に視線を向けている画像を選択することもできる。

また、本発明の第１の実施形態として、画像処理装置１００を挙げて説明したが、本発明の第１の実施形態は、係る形態に限られず、デジタルカメラ、本件出願人が商標権を有する「ハンディカム（Handycam）」などのデジタルビデオカメラ、デジタルカメラ機能を有する携帯電話など、静止画像または動画像を撮像する撮像機能を有する装置などに適用することができる。

（第１の実施形態に係るプログラム）
第１の実施形態に係る画像処理装置１００をコンピュータとして機能させるためのプログラムにより、撮像画像において、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

（第２の実施形態）
第１の実施形態に係る画像処理装置１００では、撮像手段に向けられた被写体の視線を検出し、例えば、撮像画像にマーキングすることにより、撮像手段に向けられた被写体の視線が検出されたか否かを明示する構成について示した。しかしながら、本発明の実施形態に係る画像処理装置は、上記に限られない。そこで、次に、本発明の第２の実施形態に係る画像処理装置について説明する。

図５は、本発明の第２の実施形態に係る画像処理装置２００を示すブロック図である。

図５を参照すると、第２の実施形態に係る画像処理装置２００は、基本的に本発明の第１の実施形態に係る画像処理装置１００と同様の構成を有しており、画像処理装置１００と比較すると、視線明示部１０４の後段にさらに画像編集部２０２を備えている。

画像編集部２０２は、入力される画像を編集し、編集された画像を生成する。以下、画像編集部２０２における画像編集の例を示す。

[画像編集部２０２における画像編集の第１の例：顔画像の生成]
画像編集部２０２は、視線検出部１０２における被写体ごとの視線の検出結果を用いて、撮像画像から画像を切り出し、顔画像を生成することができる。図６は、本発明の画像編集部２０２に係る画像編集の第１の例を説明するための説明図である。

図６（ａ）は視線検出部１０２において視線が撮像手段へ向いていないと判定された被写体Ｄの顔画像を示したものであり、また、図６（ｂ）は視線検出部１０２において視線が撮像手段へ向いていると判定された被写体Ａの顔画像を示したものである。上述した第１の実施形態に係る画像処理装置１００、および図３に示す視線検出方法において説明したように、本発明の実施形態に係る視線検出部１０２は、視線が撮像手段へ向いているか否かを被写体ごとに判定することができる。したがって、画像編集部２０２は、例えば、視線検出部１０２が保持する座標のデータを用いて、視線が撮像手段へ向いていない被写体、および／または、視線が撮像手段へ向いている被写体の顔領域を、撮像画像から切り出して顔画像を生成することができる。

ここで、広範囲の撮像画像を生成するために、例えば、撮像部１１０が広角のレンズを有しているとき、撮像画像には歪みが生じる。撮像画像から画像の一部を切り出す場合、撮像画像の中央部分であれば上記広角の影響が小さい（すなわち、歪みが小さい）ため、画像編集部２０２は、少なくとも撮像画像から画像の一部を切り出す切り出し処理（トリミング）を行うことによって顔画像を生成することができる。しかしながら、撮像画像の周辺部分では上記広角の影響が大きい（すなわち、歪みが大きい）ため、画像編集部２０２が単に切り出し処理を行ったとしても、画像編集部２０２では歪んだ顔画像しか得ることができない。

したがって、画像編集部２０２は、例えば、視線検出部１０２が保持する座標のデータを用いて顔画像を切り出す位置を特定し、当該切り出す位置に応じて歪み補正を行う歪み補正処理を、切り出し処理により生成された顔画像に対してさらに行うことができる。なお、歪み補正処理としては、例えば、切り出し処理により生成された顔画像を水平方向および／または垂直方向に伸張することにより、切り出し処理により生成された顔画像を短形の画像に補正し、水平方向および垂直方向それぞれに対して伸張の度合いに応じて均等化することが挙げられる。なお、歪み補正処理は、上記に限られず、画像の歪みを補正することが可能な任意の方法を用いることができることは、言うまでもない。

また、画像編集部２０２は、生成した顔画像のサイズを任意に変更する（いわゆる、リサイズ）こともできる。図６（ｃ）は図６（ａ）の顔画像を拡大した顔画像Ｍ１’であり、また、図６（ｄ）は図６（ｂ）の顔画像を縮小した顔画像Ｍ３’である。上記のように、画像編集部２０２は画像の歪みが補正された顔画像を生成することができるので、生成された顔画像の水平方向および垂直方向それぞれに対して同一の値を積算（すなわち、水平方向と垂直方向との比率は変わらない）すれば、所望のサイズの顔画像を生成することができる。

上記のように、画像編集部２０２は、視線検出部１０２における被写体ごとの視線の検出結果を用いて顔画像を生成することができる。したがって、画像処理装置２００では、例えば、生成した顔画像を視線明示部１０４がマーキングした画像とは別に表示することにより、画像処理装置２００を使用するユーザは、撮像画像において被写体の視線が撮像手段に向けらているか否かを視覚的に捉えることができる。特に、被写体が多数存在する撮像画像の場合には、被写体各々の顔領域のサイズは小さくなることがある。画像編集部２０２における画像編集の第１の例では、上記の場合であっても、ユーザは視線が撮像手段を向いていない被写体を容易に確認することができる。

[画像編集部２０２における画像編集の第２の例：生成した顔画像を撮像画像に合成]
画像編集部２０２は、顔画像を生成し（画像編集の第１の例）、視線明示部１０４がマーキングした画像に対して当該顔画像をさらに合成することもできる。図７は、本発明の画像編集部に係る画像編集の第２の例を説明するための説明図である。

図７は、画像編集部２０２における画像編集の一例として撮像手段に視線を向けていない被写体Ｄ、Ｅの顔画像Ｍ１’、Ｍ２’を合成した画像を示したものである。上述したように、視線検出部１０２は、視線が撮像手段へ向いていない被写体、および視線が撮像手段へ向いている被写体それぞれについての顔領域に係る座標のデータを保持することができる。したがって、画像編集部２０２は、例えば、視線検出部１０２が保持する座標のデータを用いることにより、被写体と重ならないような領域に顔画像を合成することができる。なお、画像編集部２０２における顔画像の合成手段は、上記に限られず、例えば、操作部（図示せず）を介して、「どの被写体の顔画像を」、「どのようなサイズで」、「どの位置に合成するか」などの命令が画像編集部２０２に入力され、当該命令に応じて画像編集部２０２が顔画像の合成を行うこともできる。

画像編集部２０２は、例えば、図７に示すように視線が撮像手段へ向いていない被写体の顔画像を画像に合成することができるので、画像処理装置２００を使用するユーザは、撮像画像において被写体の視線が撮像手段に向けらているか否かを視覚的に捉えることができる。特に、被写体が多数存在する撮像画像の場合には、被写体各々の顔領域のサイズは小さくなることがある。画像編集部２０２における画像編集の第２の例では、上記の場合であっても、ユーザは視線が撮像手段を向いていない被写体を容易に確認することができる。

以上のように、本発明の第２の実施形態に係る画像処理装置２００は、第１の実施形態に係る画像処理装置１００と同様に、視線検出部１０２、視線明示部１０４を備え、視線検出部１０２に入力される撮像画像の中から撮像手段に向けられた被写体の視線を被写体ごとに検出し、視覚的に被写体ごとの視線を明示することができる。

したがって、画像処理装置２００は、撮像画像に対して被写体ごとの視線の有無を被写体ごとに明示することができるので、画像処理装置２００を使用するユーザは、撮像画像において被写体の視線が撮像手段に向けらているか否かを視覚的に捉えることができる。

また、画像処理装置２００が処理する撮像画像（すなわち、視線検出部１０２に入力される撮像画像）がプレビュー画像である場合には、ユーザは、被写体の視線が撮像手段に向けらているか否かを視覚的に捉えた上で撮影を行うことができるので、従来の撮像機能を有する装置のように、被写体が撮像手段に視線を向けている瞬間を逃すこともなく、また、所望する画像を得ることができる。また、例えば、図２に示すような、いわゆる集合写真を撮影する場合には、画像処理装置２００を使用するユーザは、第１の実施形態に係る画像処理装置１００を使用する場合と同様に、被写体の視線が撮像手段としての撮像部１１０を向いているか否かをプレビュー画像で視覚的に確認することができるので、視線が撮像手段を向いていない被写体を容易に確認することもできる。

また、画像処理装置２００は、第１の実施形態に係る画像処理装置１００と同様に、視線検出部１０２における被写体ごとの視線の検出結果を用いて、撮像手段に向けらている視線が所定の数以上に達した場合に自動的に撮影を行うこともできる。したがって、画像処理装置２００は、従来の撮像機能を有する装置のように、被写体が撮像手段に視線を向けている瞬間（いわゆるシャッターチャンス）を逃すこともなく、また、所望する画像を自動的に得ることができる。

また、画像処理装置２００が処理する撮像画像は、第１の実施形態に係る画像処理装置１００と同様に、プレビュー画像に限られず、記憶部１０８に保持された画像、画像処理装置１００とは別体の外部装置から入力される画像とすることができる。したがって、画像処理装置２００は、視線の検出結果を用いることにより、例えば、撮影した複数の静止画像、または動画像の中から、被写体が撮像機能を有する装置に視線を向けている画像を選択することもできる。

さらに、画像処理装置２００は、画像編集部２０２を備え、視線検出部１０２における被写体ごとの視線の検出結果を用いて被写体の顔画像を生成する、または、生成した顔画像をさらに視線明示部１０４がマーキングした画像に合成するなどの画像編集処理を行うことができる。したがって、ユーザは、撮像画像において被写体の視線が撮像手段に向けらているか否かを視覚的に捉えることができる。

また、本発明の第２の実施形態として、画像処理装置２００を挙げて説明したが、本発明の第２の実施形態は、係る形態に限られず、デジタルカメラ、デジタルビデオカメラ、デジタルカメラ機能を有するＰＨＳ（Personal Handyphone System）など、静止画像または動画像を撮像する撮像機能を有する装置などに適用することができる。

（第２の実施形態に係るプログラム）
第２の実施形態に係る画像処理装置２００をコンピュータとして機能させるためのプログラムにより、撮像画像において、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

（第３の実施形態）
第１の実施形態に係る画像処理装置１００では、視線明示部１０４がマーキングした画像を、表示部１０６に表示する、および／または、記憶部１０８に保持する構成を示した。また、第２の実施形態に係る画像処理装置２００では、画像編集部２０２が画像編集処理を行った画像を、表示部１０６に表示する、および／または、記憶部１０８に保持する構成を示した。しかしながら、本発明の実施形態に係る画像処理装置は、画像を表示部１０６に表示する、および／または、画像を記憶部１０８に保持する構成に限られず、例えば、画像処理装置が通信部をさらに備えて外部装置に被写体の視線が明示された画像を送信することもできる。

上記構成であっても、第３の実施形態に係る画像処理装置は、撮像画像の中から撮像手段に向けられた被写体の視線を被写体ごとに検出し、被写体ごとの視線を明示することができるので、第３の実施形態に係る画像処理装置から送信された画像を受信した外部装置側では、例えば、撮像画像において被写体の視線が撮像手段に向けらているか否かを視覚的に捉えることができ、また、撮影した複数の静止画像、または動画像の中から、被写体が撮像機能を有する装置に視線を向けている画像を選択することもできる。

なお、第３の実施形態に係る通信部は、例えば、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ１３９４規格の端子、ＬＡＮ（Local Area Network）端子など外部装置と物理的に接続する端子、もしくは、ＷＵＳＢ（Wireless Universal Serial Bus）、ＩＥＥＥ８０２．１１（「Ｗｉ−Ｆｉ」とも呼ばれる。）、Bluetooth（登録商標）などを利用して外部装置と無線で接続して通信を行う部とすることができるが、通信部が上記に限られないことは、言うまでもない。

（第３の実施形態に係るプログラム）
第３の実施形態に係る画像処理装置をコンピュータとして機能させるためのプログラムにより、撮像画像において、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

（第４の実施形態）
第１〜第３の実施形態に係る画像処理装置では、画像処理装置が撮像部を備える構成を示したが、本発明の実施形態に係る画像処理装置は上記に限られず、撮像部を備えていない構成とすることもできる。

上記構成であっても、第４の実施形態に係る画像処理装置は、撮像画像の中から撮像手段に向けられた被写体の視線を被写体ごとに検出し、視覚的に被写体ごとの視線を明示することができるので、ユーザは、撮像画像において被写体の視線が撮像手段に向けらているか否かを視覚的に捉えることができる。

また、本発明の第４の実施形態に係る画像処理装置は、例えば、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）などの情報処理装置に適用することができる。

（第４の実施形態に係るプログラム）
第４の実施形態に係る画像処理装置をコンピュータとして機能させるためのプログラムにより、撮像画像において、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、図５に示す第２の実施形態に係る画像処理装置２００は、視線明示部１０４と画像編集部２０２とを別体の部として備える構成について示したが、本発明に係る画像処理装置は、かかる形態に限られず、視線明示部と画像編集部とを一体の部とすることもできる。また、本発明に係る画像処理装置は、画像処理装置２００の視線明示部１０４が有するマーカー生成部１１２および画像合成部１１４を、画像編集部２０２と置き換えることもできる。かかる構成であっても、本発明に係る画像処理装置は、撮像手段に視線を向けている被写体と、撮像手段に視線を向けていない被写体とを示すことができる。

上述した構成は、当業者が容易に変更し得る程度のことであり、本発明の等価範囲に属するものと理解すべきである。

本発明の第１の実施形態に係る画像処理装置を示すブロック図である。 本発明の実施形態に係る撮像画像の一例を示す説明図である。 本発明の実施形態に係る視線検出方法の一例を示す流れ図である。 図２に示す撮像画像に対して視線の明示が行われた画像の一例を示す説明図である。 本発明の第２の実施形態に係る画像処理装置を示すブロック図である。 本発明の画像編集部に係る画像編集の第１の例を説明するための説明図である。 本発明の画像編集部に係る画像編集の第２の例を説明するための説明図である。

符号の説明

１００、２００ 画像処理装置
１０２ 視線検出部
１０４ 視線明示部
１０６ 表示部
１０８ 記憶部
１１０ 撮像部
１１２ マーカー生成部
１１４ 画像合成部
２０２ 画像編集部

Claims (13)

1. 撮像手段により撮像された少なくとも１以上の被写体を含む撮像画像の中から、前記撮像手段に向けられた前記被写体の視線を検出する視線検出部と；
   前記視線検出部の視線検出結果に基づいて、前記撮像手段に向けられた前記被写体の視線が検出されたか否かを前記被写体ごとに明示する視線明示部と；
   前記視線検出部における被写体ごとの視線の検出結果に基づいて前記撮像画像から画像を切り出して顔画像を生成し、前記視線明示部により前記撮像手段に向けられた前記被写体の視線が検出されたか否かが明示された画像における前記被写体と重ならない領域に、生成した前記顔画像を合成する画像編集部と；
   を備える、画像処理装置。
2. 前記視線検出部は、前記撮像画像の中から被写体の顔領域を検出し、検出された顔領域ごとに前記撮像手段に向けられた前記被写体の視線を検出して、前記被写体ごとに前記撮像手段に向けられた前記被写体の視線が検出されたか否かを判定する、請求項１に記載の画像処理装置。
3. 前記視線明示部は、前記視線検出部において前記撮像手段に向けられた前記被写体の視線が検出された顔領域に対してマーキングを行う、請求項２に記載の画像処理装置。
4. 前記視線明示部が行う前記マーキングは、前記撮像手段に視線が向けられた被写体の顔領域を示す矩形の枠を前記撮像画像に付すことである、請求項３に記載の画像処理装置。
5. 前記視線明示部は、前記視線検出部において前記撮像手段に向けられた前記被写体の視線が検出されなかった顔領域に対してマーキングを行う、請求項２に記載の画像処理装置。
6. 画像編集部が前記顔画像を合成した画像を表示する表示部をさらに備える、請求項１に記載の画像処理装置。
7. 前記視線明示部において前記撮像手段に向けられた前記被写体の視線が検出されたか否かが明示された画像を保持する記憶部をさらに備える、請求項１に記載の画像処理装置。
8. 前記撮像手段としての撮像部をさらに備え、
   前記撮像画像は、前記撮像部により撮像されたプレビュー画像である、請求項１に記載の画像処理装置。
9. 前記撮像部は、前記視線検出部において検出される前記撮像手段に向けられた前記被写体の視線が、所定の数以上の場合に撮影を行う、請求項８に記載の画像処理装置。
10. 前記撮像手段により撮像された画像を保持する記憶部をさらに備え、
    前記撮像画像は、前記記憶部に保持された画像である、請求項１に記載の画像処理装置。
11. 前記撮像画像は、外部装置から入力された画像である、請求項１に記載の画像処理装置。
12. 撮像手段により撮像された少なくとも１以上の被写体を含む撮像画像の中から、前記撮像手段に向けられた前記被写体の視線を検出するステップと；
    前記視線を検出するステップにおいて検出された視線検出結果に基づいて、前記撮像手段に向けられた前記被写体の視線が検出されたか否かを前記被写体ごとに明示するステップと；
    前記検出するステップにおける被写体ごとの視線の検出結果に基づいて前記撮像画像から画像を切り出して顔画像を生成し、前記明示するステップにおいて前記撮像手段に向けられた前記被写体の視線が検出されたか否かが明示された画像における前記被写体と重ならない領域に、生成した前記顔画像を合成するステップと；
    を有する、画像処理方法。
13. 撮像手段により撮像された少なくとも１以上の被写体を含む撮像画像の中から、前記撮像手段に向けられた前記被写体の視線を検出する手段；
    前記視線を検出する手段において検出された視線検出結果に基づいて、前記撮像手段に向けられた前記被写体の視線が検出されたか否かを前記被写体ごとに明示する手段；
    前記検出する手段における被写体ごとの視線の検出結果に基づいて前記撮像画像から画像を切り出して顔画像を生成し、前記明示する手段において前記撮像手段に向けられた前記被写体の視線が検出されたか否かが明示された画像における前記被写体と重ならない領域に、生成した前記顔画像を合成する手段；
    としてコンピュータを機能させるためのプログラム。
    
    

Images