JP2016092513A - 画像取得装置、ブレ軽減方法及びプログラム - Google Patents

Abstract

【課題】被写体が移動中であっても、特徴量を算出するのに最適な画像を取得し、顔認識の精度を維持する。
【解決手段】ＣＰＵ１８は、ＣＣＤ１３によって撮像された画像のブレ量が所定以上であるか否かを判定し、ブレ量が所定以上である場合、ブレ量が所定未満となるように、撮影条件としてシャッター速度を変更する。また、ＣＰＵ１８は、シャッター速度を変更したことにより、撮像された画像に黒潰れが生じないように、撮影条件として更にＩＳＯ感度を変更する。そして、ＣＰＵ１８は、変更した撮影条件に従って、ＣＣＤ１３によって画像を再度撮像させる。識別器２６は、顔領域の特徴量から、事前に機械学習したデータに基づいて、ＬＢＰ特徴を用いた年齢、性別等を判別して出力する。
【選択図】図１

Description

本発明は、画像取得装置、ブレ軽減方法及びプログラムに関する。

従来より、デジタルサイネージにおいては、画像取得装置によって利用者の顔認識を行い、当該顔認識結果を用いて、動的にコンテンツを提示することが行われている。なお、画像認識の分野では、ＬＢＰ（ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ）特徴を用いた認識方法が広く使われている。ＬＢＰ特徴による画像認識では、画像の明るさの影響を受けにくい。そのため、ある程度明るさが違う画像であっても同じような特徴を抽出することができる。

しかしながら、利用される場面の多くで、利用者は移動しながら画像取得装置に近づいてくることが想定されるため、取得できる顔画像は移動中のものである。移動中の顔画像には、ブレが生じる。ある程度ブレた顔画像でも顔検出を行うことはできるが、ブレ量が大きくなると、テクスチャなどの特徴が消失してしまい、正確な顔認識を行うことができなくなる。

従来、画像のブレを軽減するために、取得画像データから顔領域を検出し、顔領域の大きさの変化または移動速度に基づいて、シャッター速度やＩＳＯ感度などを調整する技術が提案されている（例えば、特許文献１、２参照）。これら従来技術では、ブレを軽減するためにシャッター速度を上げたり、ＩＳＯ感度を上げたりする。

特開２００８−２２３００号公報 特開平５−１６７９１５号公報

しかしながら、上記従来技術では、シャッター速度やＩＳＯ感度などを調整するだけであり、シャッター速度を上げることで露出不足になって黒潰れになったり、必要以上にＩＳＯ感度を上げ過ぎて多くのノイズが乗ることが起こりうる。このように、黒潰れや、ノイズなどによって顔領域の画像のテクスチャが変わってしまうと、特徴も大きく変化してしまい、顔認識の精度を維持することができないという問題があった。

そこで本発明は、被写体が移動中であっても、特徴量を算出するのに最適な画像を取得し、顔認識の精度を維持することを目的とする。

この発明に係る画像取得装置は、撮像手段と、前記撮像手段によって撮像された画像のブレ量が所定以上であるか否かを判定する判定手段と、前記ブレ量が所定以上である場合、前記ブレ量が所定未満となるように、撮影条件としてシャッター速度を変更する第１変更手段と、前記第１変更手段によって前記シャッター速度を変更したことにより、前記撮像された画像に黒潰れが生じないように、前記撮影条件として撮像感度を変更する第２変更手段と、前記変更した撮影条件に従って、前記撮像手段によって画像を再度、撮像させる制御手段と、を備えることを特徴とする。

この発明に係るブレ軽減方法は、撮像手段を備える画像取得装置のブレ軽減方法であって、前記撮像手段によって撮像された画像のブレ量が所定以上であるか否かを判定するステップと、前記ブレ量が所定以上である場合、前記ブレ量が所定未満となるように、撮影条件としてシャッター速度を変更するステップと、前記シャッター速度を変更したことにより、前記撮像された画像に黒潰れが生じないように、前記撮影条件として撮像感度を変更するステップと、前記変更した撮影条件に従って、前記撮像手段によって画像を再度、撮像させるステップと、を含むことを特徴とする。

この発明に係るプログラムは、撮像手段を備える画像取得装置を制御するコンピュータに、前記撮像手段によって撮像された画像のブレ量が所定以上であるか否かを判定する機能、前記ブレ量が所定以上である場合、前記ブレ量が所定未満となるように、撮影条件としてシャッター速度を変更する機能、前記シャッター速度を変更したことにより、前記撮像された画像に黒潰れが生じないように、前記撮影条件として撮像感度を変更する機能、前記変更した撮影条件に従って、前記撮像手段によって画像を再度、撮像させる機能、を実現させることを特徴とする。

この発明によれば、被写体が移動中であっても、特徴量を算出するのに最適な画像を取得することができ、顔認識の精度を維持することができる。

本発明の実施形態による画像取得装置１０の構成を示すブロック図である。 本実施形態による画像取得装置１０の撮影動作を説明するためのフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．実施形態の構成
図１は、本発明の実施形態による画像取得装置１０の構成を示すブロック図である。図において、画像取得装置１０は、例えば、デジタルカメラからなり、撮像レンズ１１、絞り兼用シャッタ１２、ＣＣＤ１３、ＴＧ（Timing Generator）１４、ユニット回路１５、画像処理部１６、レンズ駆動部１７、ＣＰＵ１８、ＤＲＡＭ１９、メモリ２０、フラッシュメモリ２１、表示部２２、キー入力部２３、カードＩ／Ｆ２４、メモリ・カード２５、及び識別器２６を備えている。

撮像レンズ１１は、ズームレンズ、フォーカスレンズを含み、レンズ駆動部１７が接続されている。レンズ駆動部１７は、ＣＰＵ１８からの制御信号に従って撮像レンズ１１を駆動し、オートフォーカス駆動やズーム駆動などを行う。絞り兼用シャッタ１２は、図示しない駆動回路を含み、駆動回路によってＣＰＵ１８から送られてくる制御信号に従って動作する。該絞り兼用シャッタ１２は、撮像レンズ１１から入ってくる光の量を制御する。ＣＣＤ（撮像素子）１３は、撮像レンズ１１、及び絞り兼用シャッタ１２を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路１５に出力する。該ＣＣＤ１３は、ＴＧ１４によって生成されたタイミング信号に従って駆動される。

ユニット回路１５は、ＣＣＤ１３から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されている。該ユニット回路１５は、ＴＧ１４によって生成されたタイミング信号に従って駆動される。ＣＣＤ１３の撮像信号は、ユニット回路１５を経てデジタル信号として画像処理部１６に送られる。

画像処理部１６は、ユニット回路１５から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、撮像画像のトリミングや撮像画像のデジタルズームなどの処理などを行う。該画像処理部１６は、ＴＧ１４によって生成されたタイミング信号に従って駆動される。

ＣＰＵ１８は、画像取得装置１０の各部を制御するワンチップマイコンである。特に、本実施形態では、ＣＰＵ１８は、オートフォーカスのためのレンズ駆動部１７の制御や、シャッター速度やＩＳＯ感度の調整、画像処理部１６による撮像画像に対する画像処理（顔検出、顔領域の切り出し、ブレ判定、ＬＢＰ特徴量の算出）、撮像画像の表示部２２への表示（ライブビュー表示）の動作などを制御する。

ＤＲＡＭ１９は、ＣＣＤ１３によって撮像された後、ＣＰＵ１８に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１８のワーキングメモリとして使用される。上記ＣＰＵ１８は、ＤＲＡＭ１９に保存された撮像画像に対して上述した処理を施すよう制御する。メモリ２０は、ＣＰＵ１８による画像取得装置１０の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ１８は、このプログラムに従って処理を行う。フラッシュメモリ２１や、メモリ・カード２５は、ＣＣＤ１３によって撮像された画像データなどを保存しておく記録媒体である。

表示部２２は、カラー液晶表示器とその駆動回路を含み、撮像待機状態にあるときには、ＣＣＤ１３によって撮像された撮像画像をライブビュー画像として表示し、記録画像の再生時には、フラッシュメモリ２１や、メモリ・カード２５から読み出され、伸張された記録画像を表示する。キー入力部２３は、シャッターボタン、撮影モード設定ダイヤル、ズームスイッチ、ＳＥＴキー、十字キー等の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１８に出力する。カードＩ／Ｆ２４には、画像取得装置１０本体の図示しないカードスロットを介してメモリ・カード２５が着脱自在に装着されている。

識別器２６は、ＣＰＵ１８の制御の下、与えられた顔領域の特徴量から、事前に機械学習したデータに基づいて、ＬＢＰ特徴を用いた年齢、性別等を判別し、識別結果（年齢、性別等）を出力する。

本実施形態では、ＣＰＵ１８は、ＣＣＤ１３から取得した撮像画像から切り出した被写体の顔領域におけるブレ量を算出し、所定以上のブレ量がある場合に、シャッター速度とＩＳＯ感度とを調整することで、黒潰れしておらず、ノイズが少なくブレていない画像を取得できる撮影条件で最終的な撮像画像を取得するよう各部を制御する。また、ＣＰＵ１８は、このようにして取得した撮像画像の顔領域からＬＢＰ特徴量を算出し、当該ＬＢＰ特徴量を識別器２６に与えることで、識別器２６によって判別された識別結果（年齢、性別等）を取得する。

Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図２は、本実施形態による画像取得装置１０の撮影動作を説明するためのフローチャートである。

まず、ＣＰＵ１８は、ＣＣＤ１３を介して、画像を取得する（ステップＳ１０）。次に、ＣＰＵ１８は、取得した画像から顔検出を行い、顔領域を切り出す（ステップＳ１２）。続いて、ＣＰＵ１８は、顔領域の画像を用いてブレ判定を行い、被写体のブレ量を定量的に算出する（ステップＳ１４）。ブレ量の計算例としては、ボケカーネルの算出、コントラスト計算、距離センサの単位時間当たりの変位量等を用いる。

ここで、ＣＰＵ１８は、顔領域のブレ量が所定以上のブレ量であるか否かを判断する（ステップＳ１６）。そして、ブレ量が所定以上である場合には（ステップＳ１８のＹＥＳ）、ＣＰＵ１８は、ブレ量に基づいて、ブレ量が所定未満となるシャッター速度を算出する（ステップＳ１８）。なお、ブレ量とシャッター速度の関係は予め求めておき、ルックアップテーブルとして保持しておいてもよい。但し、シャッター速度を上げると、画像全体が暗くなり黒潰れが生じる可能性がある。そこで、本実施形態では、以下に説明するようにＩＳＯ感度を調整する。

次に、ＣＰＵ１８は、画素値ヒストグラムに基づいて、黒潰れが生じないＩＳＯ感度を算出する（ステップＳ２０）。より具体的には、顔領域の画像を用いて、画素値（輝度）を変換して画素値ヒストグラムを作成し、画素値ヒストグラムの０付近の値が、所定の閾値以上に多くなったときを黒潰れが生じていると判定し、ＩＳＯ感度（ＡＤＣ等のゲイン）の値を調整し、黒潰れが生じないＩＳＯ感度を算出する。このとき、ＩＳＯ感度を上げることによりノイズが発生する可能性があるので、黒潰れが生ぜず、かつノイズが少なくなるＩＳＯ感度とする。

次に、ＣＰＵ１８は、算出したシャッター速度とＩＳＯ感度とを撮影条件に設定する（ステップＳ２２）。このとき、黒潰れしておらず、ノイズが少なくブレ量が所定未満である画像が取得される撮影条件となっている。続いて、ＣＰＵ１８は、ステップＳ１０に戻り、再度、ＣＣＤ１３を介して、画像を取得する。その後、上述したステップＳ１２以降を実行する。

このときの画像取得で、顔領域のブレ量は所定未満となっているので（ステップＳ１６のＮＯ）、ＣＰＵ１８は、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量を算出する（ステップＳ２４）。ＬＢＰでは、注目点とその周囲８近傍点の画素値の大小を比較し、注目点の方が大きければ０、小さければ１を記録する。これを８近傍点の画素で行うので８ｂｉｔの数列が得られる。これを１０進数に変換し、画像の矩形領域ごとにヒストグラムを作成し、その値を特徴量とする。次に、ＣＰＵ１８は、顔領域の特徴量を、事前に機械学習した識別器２６に与え、識別結果（ＬＢＰ特徴を用いた年齢、性別等）を取得する（ステップＳ２６）。その後、当該処理を終了する。

なお、識別器２６に与えるべき画像の優先順位は以下の順である。
１．黒潰れしておらず、ノイズが少なくブレていない画像
２．多少黒潰れしていても、ノイズが少なくブレていない画像
３．ノイズがあってもブレていない画像
４．ブレていても顔が写っている画像

上述した実施形態によれば、ブレ量を認識することにより、ブレ量に応じてシャッター速度とＩＳＯ感度を最適な値に調節し、ＬＢＰ特徴を活かせるブレを軽減した画像を取得するようにしたので、被写体が移動中であっても、特徴量を算出するのに最適な黒潰れしておらず、ノイズが少なくブレ量が軽減された画像を取得することができる。

また、上述した実施形態によれば、撮像された画像から被写体の顔を検出して被写体の顔を含む顔領域を切り出し、当該切り出された顔領域の画像からブレ量の判定を行うようにしたので、被写体が移動中であっても、特徴量を算出するのに最適な黒潰れしておらず、ノイズが少なくブレ量が軽減された画像を取得することができる。

また、上述した実施形態によれば、ブレ量が所定未満である場合、顔領域のＬＢＰ特徴量を算出し、当該ＬＢＰ特徴量に基づいて、識別器２６によって、被写体の特徴を識別して識別結果（年齢、性別等）を取得するようにしたので、被写体が移動中であっても、特徴量を算出するのに最適な黒潰れしておらず、ノイズが少なくブレ量が軽減された画像を取得することができ、顔認識の精度を維持することができる。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
付記１に記載の発明は、撮像手段と、前記撮像手段によって撮像された画像のブレ量が所定以上であるか否かを判定する判定手段と、前記ブレ量が所定以上である場合、前記ブレ量が所定未満となるように、撮影条件としてシャッター速度を変更する第１変更手段と、前記第１変更手段によって前記シャッター速度を変更したことにより、前記撮像された画像に黒潰れが生じないように、前記撮影条件として撮像感度を変更する第２変更手段と、前記変更した撮影条件に従って、前記撮像手段によって画像を再度、撮像させる制御手段と、を備えることを特徴とする画像取得装置である。

（付記２）
付記２に記載の発明は、前記撮像手段によって撮像された画像から被写体の顔を検出する検出手段と、前記検出手段によって検出された前記被写体の顔を含む顔領域を切り出す切出手段と、を更に備え、前記判定手段は、前記切出手段によって切り出された顔領域のブレ量が所定以上であるか否かを判定する、ことを特徴とする付記１に記載の画像取得装置である。

（付記３）
付記３に記載の発明は、前記ブレ量が所定未満である場合、前記切出手段によって切り出された顔領域の特徴量を取得する特徴量取得手段と、前記特徴量取得手段によって取得された前記顔領域の特徴量に基づいて、前記被写体の特徴を識別する識別手段と、を更に備えることを特徴とする付記２に記載の画像取得装置である。

（付記４）
付記４に記載の発明は、撮像手段を備える画像取得装置のブレ軽減方法であって、前記撮像手段によって撮像された画像のブレ量が所定以上であるか否かを判定するステップと、前記ブレ量が所定以上である場合、前記ブレ量が所定未満となるように、撮影条件としてシャッター速度を変更するステップと、前記シャッター速度を変更したことにより、前記撮像された画像に黒潰れが生じないように、前記撮影条件として撮像感度を変更するステップと、前記変更した撮影条件に従って、前記撮像手段によって画像を再度、撮像させるステップと、を含むことを特徴とするブレ軽減方法である。

（付記５）
付記５に記載の発明は、撮像手段を備える画像取得装置を制御するコンピュータに、前記撮像手段によって撮像された画像のブレ量が所定以上であるか否かを判定する機能、前記ブレ量が所定以上である場合、前記ブレ量が所定未満となるように、撮影条件としてシャッター速度を変更する機能、前記シャッター速度を変更したことにより、前記撮像された画像に黒潰れが生じないように、前記撮影条件として撮像感度を変更する機能、前記変更した撮影条件に従って、前記撮像手段によって画像を再度、撮像させる機能、を実現させることを特徴とするプログラムである。

１０ 画像取得装置
１１ 撮像レンズ
１２ 絞り兼用シャッタ
１３ ＣＣＤ
１４ ＴＧ（Timing Generator）
１５ ユニット回路
１６ 画像処理部
１７ レンズ駆動部
１８ ＣＰＵ
１９ ＤＲＡＭ
２０ メモリ
２１ フラッシュメモリ
２２ 表示部
２３ キー入力部
２４ カードＩ／Ｆ
２５ メモリ・カード
２６ 識別器

Claims (5)

1. 撮像手段と、
   前記撮像手段によって撮像された画像のブレ量が所定以上であるか否かを判定する判定手段と、
   前記ブレ量が所定以上である場合、前記ブレ量が所定未満となるように、撮影条件としてシャッター速度を変更する第１変更手段と、
   前記第１変更手段によって前記シャッター速度を変更したことにより、前記撮像された画像に黒潰れが生じないように、前記撮影条件として撮像感度を変更する第２変更手段と、
   前記変更した撮影条件に従って、前記撮像手段によって画像を再度、撮像させる制御手段と、
   を備えることを特徴とする画像取得装置。
2. 前記撮像手段によって撮像された画像から被写体の顔を検出する検出手段と、
   前記検出手段によって検出された前記被写体の顔を含む顔領域を切り出す切出手段と、
   を更に備え、
   前記判定手段は、前記切出手段によって切り出された顔領域のブレ量が所定以上であるか否かを判定する、
   ことを特徴とする請求項１に記載の画像取得装置。
3. 前記ブレ量が所定未満である場合、前記切出手段によって切り出された顔領域の特徴量を取得する特徴量取得手段と、
   前記特徴量取得手段によって取得された前記顔領域の特徴量に基づいて、前記被写体の特徴を識別する識別手段と、
   を更に備えることを特徴とする請求項２に記載の画像取得装置。
4. 撮像手段を備える画像取得装置のブレ軽減方法であって、
   前記撮像手段によって撮像された画像のブレ量が所定以上であるか否かを判定するステップと、
   前記ブレ量が所定以上である場合、前記ブレ量が所定未満となるように、撮影条件としてシャッター速度を変更するステップと、
   前記シャッター速度を変更したことにより、前記撮像された画像に黒潰れが生じないように、前記撮影条件として撮像感度を変更するステップと、
   前記変更した撮影条件に従って、前記撮像手段によって画像を再度、撮像させるステップと、
   を含むことを特徴とするブレ軽減方法。
5. 撮像手段を備える画像取得装置を制御するコンピュータに、
   前記撮像手段によって撮像された画像のブレ量が所定以上であるか否かを判定する機能、
   前記ブレ量が所定以上である場合、前記ブレ量が所定未満となるように、撮影条件としてシャッター速度を変更する機能、
   前記シャッター速度を変更したことにより、前記撮像された画像に黒潰れが生じないように、前記撮影条件として撮像感度を変更する機能、
   前記変更した撮影条件に従って、前記撮像手段によって画像を再度、撮像させる機能、
   を実現させることを特徴とするプログラム。
   
   

Images