JP2008160620A - 画像処理装置および撮像装置 - Google Patents

Abstract

【課題】撮影画像を表示するための標準デジタル信号に顔領域を表すオンスクリーンデータを重畳する点に工夫を凝らすことにより、表示画像における顔情報の喪失を抑制し、顔領域検出の検出精度を向上させる。
【解決手段】イメージセンサ１による撮像信号をＡＤ変換して得られる画像データを入力し表示用の標準デジタル信号を生成するデジタル信号処理部５と、標準デジタル信号にオンスクリーンデータを重畳するデータ重畳部１１と、オンスクリーンデータが重畳された標準デジタル信号を入力し任意の画像内の顔領域の検出を行って顔領域情報を生成する顔領域検出部１２と、顔領域検出部が顔領域を検出したときに、検出された顔領域または顔領域内の特定部位を表す枠のオンスクリーンデータを色信号データのみにおいて生成し、データ重畳部１１に送出するオンスクリーンデータ生成手段（ＣＰＵ７）を備える。
【選択図】図１

Description

本発明は、顔領域検出機能を備えた画像処理装置に関する。また、撮像装置に関する。

近年、フィルムも現像も不要なデジタルスチルカメラは活況を呈し、携帯電話もカメラ搭載型が主流を占め、高速化と高画質化の技術向上には目覚ましいものがある。人物の写真撮影においては、人物の動きや手振れに強力に対応でき、自動合焦時と撮影時とで構図を変更することなく撮影できることが重要である。現状では、画面内にある人物の顔領域を検出して焦点を合わせ、顔領域に最適な露出で撮影する図３に示すような撮影装置が提案されている（例えば特許文献１参照）。

ＡＤ変換された画像データを第１の画像データとして記憶する一方、画像データに所定の処理を施して第２の画像データとして記憶し、第２の画像データから顔領域を検出する。その間にＡＤ変換された画像データに基づいて画像の表示を行う。顔領域の検出が完了すると、第１の画像データのうちの顔領域に対応する部分のデータから必要な情報を抽出してオートフォーカス、自動露出、ホワイトバランスの処理を行う。この場合、撮影シーケンスの中で顔領域検出用の画像データから顔領域検出を行うので、オートフォーカス、自動露出、ホワイトバランスの処理を人物の動きに対して素早く追随させることができる。
特開２００５−３１８５５４号公報（第１３−１６頁、第１−６図）

従来の技術においては、オートフォーカス、自動露出、ホワイトバランスなどのための顔領域を表す枠のオンスクリーンデータについて、これを輝度信号データおよび色信号データとして生成し、そのオンスクリーンデータを標準デジタル信号の輝度信号データおよび色信号データにそれぞれ重畳するようにしている。しかし、このオンスクリーンデータはその成分に輝度信号データを含んでいることから、顔を表す画像データが枠を表すオンスクリーンデータに完全に置き換わって、表示画像において顔情報の喪失が発生し、結果として、顔領域検出の検出精度が低下してしまう。顔領域検出の検出精度が低下すると、人物撮影時のオートフォーカス、自動露出、ホワイトバランスなどの動作の安定性に支障が生じる。顔の表情や居眠りなどの検出のために眼、鼻、頬、口などの特定部位を表す枠のオンスクリーンデータについても同様である。

本発明は、このような事情に鑑みて創作したものであり、撮影画像を表示するための標準デジタル信号に顔領域を表すオンスクリーンデータを重畳する点に工夫を凝らすことにより、表示画像における顔情報の喪失を抑制し、顔領域検出の検出精度を向上させることができる画像処理装置を提供することを目的としている。

本発明による画像処理装置は、
２次元イメージセンサによる撮像信号をＡＤ変換して得られる画像データを入力して表示用の標準デジタル信号を生成するデジタル信号処理部と、
前記デジタル信号処理部による前記標準デジタル信号にオンスクリーンデータを重畳するデータ重畳部と、
前記オンスクリーンデータが重畳された標準デジタル信号を入力として任意の画像内の顔領域の検出を行って顔領域情報を生成する顔領域検出部と、
前記顔領域検出部が顔領域を検出したときに、検出された顔領域または顔領域内の特定部位を表す枠のオンスクリーンデータを色信号データのみにおいて生成し、前記データ重畳部に送出するオンスクリーンデータ生成手段とを備えたものである。これは、標準デジタル信号に重畳するオンスクリーンデータを色信号データに限定していることに特徴がある。

上述したように、顔領域を表す枠のオンスクリーンデータを輝度信号データおよび色信号データとして生成し、これを標準デジタル信号に重畳した場合には、表示画像において顔を表す画像データが枠を表すオンスクリーンデータに完全に置き換わって、表示画像において顔情報の喪失が発生する。これに対して、本発明では、顔領域検出部がオンスクリーンデータを重畳した標準デジタル信号において顔領域の検出を行い、顔領域検出部が顔領域を検出したときには、オンスクリーンデータ生成手段が顔領域または特定部位を表す枠のオンスクリーンデータを色信号データのみにおいて生成し、これを標準デジタル信号に重畳するもので、輝度信号データを伴わないオンスクリーンデータは標準デジタル信号に対して透かし情報として表示されることになる。このようにして、顔情報の喪失が最小限に抑えられる結果、顔領域検出の検出精度を向上させることが可能となる。

上記構成の画像処理装置において、前記オンスクリーンデータ生成手段は、顔領域検出時には、検出された顔領域または顔領域内の特定部位を表す枠のオンスクリーンデータに加えて、すべてのオンスクリーンデータを色信号データのみにおいて生成するという態様がある。このように構成すれば、輝度信号データを用いる顔領域検出の精度をさらに向上させることが可能となる。

本発明による撮像装置は、上記のいずれかの画像処理装置が搭載されているものである。

本発明によれば、標準デジタル信号に重畳するオンスクリーンデータを色信号データに限定することにより、オンスクリーンデータを標準デジタル信号に対して透かし情報として表示させて、顔情報の喪失を最小限に抑え、顔領域検出の検出精度を向上させることができる。ひいては、人物撮影時のオートフォーカス、自動露出、ホワイトバランスの動作を安定化させることが可能となる。また、人物画像再生時の顔領域検出による付加機能の動作も安定化させることが可能となる。

以下、本発明にかかわる画像処理装置の実施の形態を図面を用いて詳細に説明する。

図１の本発明の実施の形態における画像処理装置を含む撮像装置の構成を示すブロック図である。図１において、１は２次元のイメージセンサ、２はイメージセンサ１の駆動パルスを発生するタイミングジェネレータ（ＴＧ）、３はイメージセンサ１から出力される撮像映像信号のノイズを除去し、ゲインをコントロールするＣＤＳ／ＡＧＣ回路、４はアナログの映像信号をデジタルの画像データに変換するＡＤ変換器（ＡＤＣ）、５は所定のプログラムが実行されることによって各種の処理（顔領域検出、動き検出処理を含む）を実行するデジタル信号処理回路（ＤＳＰ）、６は画像データおよび各種データを保存するメモリ、７は制御プログラムにより撮像装置の全体のシステム動作を制御するＣＰＵ（マイクロコンピュータ）、８は撮影レンズを含むレンズユニット、９は画像出力信号を入力として画像表示を行う表示装置、１０は撮影画像を記録するための記録媒体、１１はデジタル信号処理部５の内部機能である画像出力信号にデータを重畳するオンスクリーンデイスプレイ機能を発揮するデータ重畳部、１２は画像データの輝度信号データから顔領域検出を行う顔領域検出部である。本発明の実施の形態における画像処理装置は、デジタル信号処理部５とＣＰＵ７と顔領域検出部１２とで構成される。顔領域検出部１２は、ＡＤ変換器４の出力とデジタル信号処理部５の表示用画像出力とを入力とする状態で、ＣＰＵ７に接続されている。ＣＰＵ７の一部の機能として、顔領域検出部１２が顔領域を検出したときに、検出された顔領域または顔領域内の特定部位を表す枠のオンスクリーンデータを色信号データのみにおいて生成し、データ重畳部１１に送出するオンスクリーンデータ生成手段が設けられている。

次に、上記のように構成された本実施の形態の画像処理装置の動作を説明する。

まず代表的な動画撮像の記録再生動作として、撮像光がレンズユニット８におけるレンズを介して２次元イメージセンサ１に入射すると、被写体像はフォトダイオードなどにより電気信号に変換され、タイミングジェネレータ２からの駆動パルスに同期する垂直駆動および水平駆動により、アナログ連続信号である撮像映像信号が２次元イメージセンサ１から出力される。２次元イメージセンサ１から出力された撮像映像信号は、ＣＤＳ／ＡＧＣ回路３のサンプルホールド回路（ＣＤＳ）によって１／ｆノイズが適切に低減された後、自動ゲインコントロールされ、ＡＤ変換器４に入力されて、デジタルの画像データ（ＲＧＢデータ）に変換される。得られた画像データはデジタル信号処理部５に入力され、メモリ６を介して、輝度信号処理、色分離処理、カラーマトリクス処理、データ圧縮処理、リサイズ処理などの各種の処理が行われる。生成された画像データは表示サイズにリサイズされ、データ重畳部１１においてオンスクリーンデータが重畳されたのち、ＲＥＣ６５６などの標準デジタル信号として表示装置９に出力される。また、記録操作によって画像データは記録媒体１０に記録される。任意の１フレーム画像に対する上記の一連の処理を連続的な動画フレーム処理として繰り返すことにより、動画出力が行われる。

上記において、データ重畳部１１においてオンスクリーンデータを標準デジタル信号に重畳する場合、通常は、輝度信号データ、色信号データの両方を対象として、キャラクタの文字やアイコンなどのオンスクリーンデータと置き換える。本実施の形態においては、顔領域検出部１２が顔領域を検出したときに、検出された顔領域または顔領域内の特定部位を表す枠のオンスクリーンデータについては、これを色信号データのみにおいて生成し、データ重畳部１１に送出する（オンスクリーンデータ生成手段）。

顔領域検出部１２においては、表示装置９への入力フォーマットに合わせた画像データを入力とし、内部の入力前処理の輝度信号抽出部（図示せず）で顔領域検出用の輝度信号データを発生し、顔領域と大きさと傾き情報などを抽出する。ＣＰＵ７は、顔領域検出部１２からの顔領域情報において、表示用画像データ内での顔領域を推定演算し、データ重畳部１１でオンスクリーンディスプレイするための、顔全体を表す枠や、眼、鼻、口、頬などの特定部位を表す枠のオンスクリーンデータを設定する。この際に、オンスクリーンデータを色信号データのみにおいて生成する。

データ重畳部１１は、デジタル信号処理部５によって得られた標準デジタル信号に、ＣＰＵ７で設定された枠のオンスクリーンデータを重畳し、その重畳標準デジタル信号を表示装置９に出力する。表示装置９では、撮影者が目視確認できるように枠が重畳表示される。重畳標準デジタル信号は顔領域検出部１２にも供給され、顔領域検出部１２は重畳標準デジタル信号における輝度信号データに基づいて顔領域検出を行う。

上記において、標準デジタル信号に重畳する枠のオンスクリーンデータを生成する際、もし、オンスクリーンデータを輝度信号データおよび色信号データとして生成し、これを標準デジタル信号の輝度信号データおよび色信号データにそれぞれ重畳するとすれば、顔や特定部位を表す画像データがオンスクリーンデータに完全に置き換わってしまう。その結果、顔情報の喪失となり、顔領域検出の検出精度が低下する。

このような不都合を回避するために、本実施の形態では、オンスクリーンデータを色信号データのみにおいて生成し、これを標準デジタル信号の色信号データに重畳することとしている。このようにすれば、輝度信号データを伴わないオンスクリーンデータが標準デジタル信号に対して透かし情報として表示され、顔情報の喪失は最小限に抑えられる結果、顔領域検出の検出精度を向上させることができる。オンスクリーンデータは輝度信号データを伴っていないので、輝度信号データに基づく顔領域検出においてオンスクリーンデータが影響を与えることがないからである。

図２を用いて、顔領域検出の検出精度の変化について説明する。

図２の（ａ）は、顔領域や特定部位を表すオンスクリーンデータを輝度信号データおよび色信号データとして生成し、これを標準デジタル信号に重畳した場合の表示画像である（従来技術相当）。オンスクリーンデータＡ０に輝度信号データの影響が濃く現れ、オンスクリーンデータＡ０が顔や特定部位の画像データに完全に置き換わり、顔情報の喪失となり、顔領域検出の検出精度が低下する。

一方、図２の（ｂ）は、オンスクリーンデータを色信号データのみにおいて生成し、これを標準デジタル信号に重畳した場合の表示画像である。オンスクリーンデータＡ１が標準デジタル信号に対して透かし情報として表示され、顔領域検出処理では元画像の輝度信号データの画像情報から顔を明瞭に認知することができる。このように、顔情報の喪失は最小限に抑えられる結果、図２（ａ）の場合に比べて、顔領域検出の検出精度を向上させることができる。

本発明では上記のように、検出された顔領域情報に基づくオンスクリーンデータを標準デジタル信号に重畳して出力しながら顔領域検出を行い、さらに検出された顔領域情報に基づいてオンスクリーンデータを生成し、標準デジタル信号に重畳する。さらに、重畳の際に、顔が撮像される有効エリア内では、顔領域検出動作時は検出された顔領域情報を含むすべてのオンスクリーンデータを色信号データのみにおいて生成することにより、顔領域検出の精度をさらに向上させることができる。

なお、顔領域検出を行わないときは、オンスクリーンデータを輝度信号データおよび色信号データとして生成するものとする。

本発明の画像処理装置は、デジタルカメラや携帯電話において、オートフォーカス、自動露出、ホワイトバランスを安定的に動作させて高品質な人物動画を撮影する上で有用である。また、人物画像再生時の顔領域検出による付加機能（顔状況の判定処理）も安定に動作させる上で有用である。

本発明の実施の形態における画像処理装置を含む撮像装置の構成を示すブロック図 本発明の実施の形態における人物の画像に対する顔のオンスクリーンデータ表示概念図 従来の顔領域検出を含む撮像装置の構成図

符号の説明

１ イメージセンサ
２ タイミングジェネレータ
３ ＣＤＳ／ＡＧＣ回路
４ ＡＤ変換器
５ デジタル信号処理回路
６ メモリ
７ ＣＰＵ（オンスクリーンデータ生成手段）
８ レンズユニット
９ 表示装置
１０ 記録媒体
１１ データ重畳部（オンスクリーンディスプレイ機能）
１２ 顔領域検出部
Ａ０ 輝度信号データおよび色信号データとして生成したときのオンスクリーンデータ
Ａ１ 色信号データのみとして生成したときのオンスクリーンデータ

Claims (3)

1. ２次元イメージセンサによる撮像信号をＡＤ変換して得られる画像データを入力して表示用の標準デジタル信号を生成するデジタル信号処理部と、
   前記デジタル信号処理部による前記標準デジタル信号にオンスクリーンデータを重畳するデータ重畳部と、
   前記オンスクリーンデータが重畳された標準デジタル信号を入力として任意の画像内の顔領域の検出を行って顔領域情報を生成する顔領域検出部と、
   前記顔領域検出部が顔領域を検出したときに、検出された顔領域または顔領域内の特定部位を表す枠のオンスクリーンデータを色信号データのみにおいて生成し、前記データ重畳部に送出するオンスクリーンデータ生成手段とを備えた画像処理装置。
2. 前記オンスクリーンデータ生成手段は、顔領域検出時には、検出された顔領域または顔領域内の特定部位を表す枠のオンスクリーンデータに加えて、すべてのオンスクリーンデータを色信号データのみにおいて生成する請求項１に記載の画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置が搭載されている撮像装置。

Images