JP6433177B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は画像内の被写体に対して輪郭を強調する輪郭強調処理の画像処理に関する。

近年のデジタルカメラにおいて、光学系素子や撮像素子の進化によって、明所での撮影から暗所での撮影まで、また近い被写体の撮影から遠い被写体の撮影など撮影可能な被写体の幅が広がっている。

しかし、上記の従来のデジタルカメラにおいては、被写体や撮影シーンに対応して画像処理が行なわれているものの、被写体や撮影シーンの種類によっては画像処理が適切に行われない場合がある。たとえば、被写体や撮影シーンに対応した画像処理のうち、被写体をくっきり見せるための輪郭強調処理に関して、被写体の色温度や撮影感度に応じて輪郭強調の強調量を可変する方法（特許文献１）や、撮影モードにより輪郭強調の強調量を可変する方法（特許文献２）などが提案されている。

特開２００４−２４７８７２号公報 特開２００２−２８１３４８号公報

しかしながら、輪郭強調の強調の度合い（強調量、強度）を何れの被写体に対しても一律に可変した場合、たとえば夜空の星をくっきりさせるために強調量を上げて輪郭強調の処理しようとすると、輪郭を強調したくない背景被写体も強調してしまう。

本発明に係る画像処理装置は、前記画像内の被写体の種類を判定する被写体判定手段と、前記被写体の輪郭を強調する輪郭強調処理を行う処理手段と、前記被写体判定手段により夜空領域と判定された領域に対し、オーバーシュートをアンダーシュートに対して強める前記輪郭強調処理を行い、前記夜空領域と判定されなかった他の領域に対しては前記輪郭強調処理を行わない、またはオーバーシュート量とアンダーシュート量の比率を変更しないよう前記処理手段を制御する制御手段と、を備えることを特徴とする。

本発明によれば、過剰な輪郭強調や輪郭強調による画像内でのノイズ増加等の弊害を軽減することができる。

第１の実施形態の撮像装置の構成である。 第１の実施形態の画像処理回路の構成である。 第１の実施形態の画像処理回路のうち、エッジ強調回路の構成である。 第１の実施形態の領域判定を説明する図である。 第２の実施形態のシーン判定の動作フローである。

以下、図面を参照して、本発明の実施形態にかかる画像処理装置を詳細に説明する。以下の説明において、画像処理装置の一例としてデジタルカメラを採用して画像処理装置を説明するが、これに限定されない。

（第１の実施形態）
図１から図４を参照して、第１の実施形態にかかる画像処理装置１００を説明する。

図１は、実施形態の画像処理装置１００の構成を示している。

画像処理装置１００は、フォーカスレンズを含む撮影レンズ１０、絞り機能を備える機械式シャッター１２を備える。また、画像処理装置１００は、撮影レンズ１０及びシャッター１２などの光学系から入射される光学像を電気信号に変換する撮像素子１４、撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ（アナログ／デジタル）変換器１６を更に備える。

撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。機械式シャッター１２以外にも、タイミング発生回路１８による撮像素子１４のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現することができる。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行う。

画像処理回路２０で得られた演算結果に基づいて、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して、ＡＦ（オートフォーカス）処理、ＡＥ（自動露光）処理、ＥＦ（フラッシュ調光）処理を行う。さらに、画像処理回路２０は、画像データに対してＡＷＢ（オートホワイトバランス）処理も行うことができる。

さらに、画像処理回路２０は被写体検出回路を含む構成であってもよく、被写体検出方法としてはパターンマッチング、特徴点抽出などの方法を適用することが可能である。

なお、本実施形態においては、画像処理装置２０は、人物被写体の顔、風景被写体の夜空を検出する例を用いて説明しているが、これらの被写体の種類に限定されず、他の種類の被写体を検出してもよい。なお、画像処理装置２０は、人物被写体の顔を検出する顔検出回路として機能することが可能であり、検出結果として顔領域の位置（座標）、さらに詳細には目の位置（座標）などが領域情報（座標）とともに出力することができる。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力された画像データが、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

ＴＦＴ、ＬＣＤ等から成る画像表示部２８は、メモリ２０に書き込まれた表示用の画像データをメモリ制御回路２２を介して表示する。画像表示部２８を用いて、撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

メモリ３０は、撮影した静止画像や動画像の画像データを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像の画像データを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

ＦｌａｓｈＲＯＭ等で構成された不揮発性メモリ３１には、システム制御回路５０が実行するプログラムコードが書き込まれており、システム制御回路５０は、記憶されたプログラムコードを逐次読み出して実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路３２は、メモリ３０に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ３０に書き込む。

絞り機能を備えるシャッター１２を制御する露光制御手段４０は、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

さらに、画像処理装置１００は、撮影レンズ１０のフォーカシングを制御する測距制御手段４２、撮影レンズ１０のズーミングを制御するズーム制御手段４４を備えている。

フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像で得られた画像データを画像処理回路２０によって演算した演算結果に基づいて、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

システム制御回路５０は、画像処理装置１００全体を制御する制御回路である。

システム制御回路５０の各種の動作指示を入力するための操作手段は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。以下に、これらの操作手段の具体的な説明を行う。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

シャッタースイッチＳＷ１（６２）は、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。シャッタースイッチＳＷ２（６４）は、シャッターボタンの操作完了でＯＮとなる。

フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段４０により遮光することで、撮像素子１４への露光を終了させる。また、撮像素子１４から読み出した信号を記録媒体２００に書き込む記録処理までの一連の処理の動作開始を指示する。より具体的には、Ａ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２での圧縮を行う、などである。

表示切替スイッチ６６は、画像表示部２８の表示切替を行うことが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

各種ボタン、タッチパネルや回転式ダイアル等からなる操作部７０は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

ユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部７２は、ズームスイッチ７２ともいい、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

画像処理装置１００は、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段８６を備えている。

また、メモリカードやハードディスク等の記録媒体とのインタフェース９０、メモリカードやハードディスク等の記録媒体と接続を行うコネクタ９２を備えている。

さらに、保護手段１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである。

光学ファインダ１０４は、画像表示部２８による電子ファインダー機能を使用せずに、光学ファインダのみを用いて撮影を行うことが可能である。

通信手段１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。また、通信手段１１０によって、画像処理装置１００が他の機器と接続するためのインターフェイスとして、コネクタ１１２或いは無線通信の場合はアンテナ１１２を有している。

メモリカードやハードディスク等の記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

上述した画像処理装置１００内の各構成は、ハードウェアモジュールで構成してもよく、その一部あるいは全部をソフトウェアモジュールとして構成しても良い。

本実施形態の画像処理回路２０の構成を図２を用いて説明する。

画像処理回路２０は、撮像素子１４から入力した画像データのベイヤ配列の信号から輝度信号生成Ｓ２０１、色信号生成Ｓ２０２、エッジ強調Ｓ２０３を実施し、ＹＵＶ信号を得る。そのＹＵＶ信号は、リサイズ、彩度変更、エッジ強調等の後処理Ｓ２０４を撮影シーン等に応じて実施する。また、顔検出などの被写体検出、シーン検出等の検出処理Ｓ２０５を実施することにより、シーン等に応じて、Ｓ２０１からＳ２０４の画質パラメータを変更する。

本実施形態の画像処理回路２０のうち、エッジ強調回路の構成を図３を用いて説明する。

図３（ａ）はエッジ強調回路の構成である。入力した画像信号にローパスフィルタ（ＬＰＦ）Ｓ３０１を施し、Ｓ３０２の減算回路にて元画像とＬＰＦ画像の差分をとる。この減算処理では負の信号は考慮しないことによって、高輝度側に凸のエッジ信号であるオーバーシュートを得る。逆に、Ｓ３０３の減算回路ではＬＰＦ画像と元画像の差分をとることによって、低輝度側に凸のエッジ信号であるアンダーシュートの反転した信号を得る。

さらに、Ｓ３０４のゲイン回路（ＡＭＰ）ではＳ３０５のゲイン制御回路（ＣＴＲＬ）により、Ｓ３０２の減算回路で得られたオーバーシュートにゲインを施す。同様にＳ３０６のゲイン回路（ＡＭＰ）では、Ｓ３０７のゲイン制御回路（ＣＴＲＬ）により、Ｓ３０３の減算回路で得られたアンダーシュートの反転した信号にゲインを施す。

また、Ｓ３０８の加算回路では元画像とゲインを施したオーバーシュートを加算する。Ｓ３０９の減算回路では元画像とオーバーシュートを加算した画像からアンダーシュートの反転した信号を減算することにより、結果としてアンダーシュートを加算する。

さらに、図３（ｂ）から（ｅ）の信号波形を用いてオーバーシュート及びアンダーシュートを取得する動作を説明する。図３（ｂ）は元画像の水平方向の波形の一部を示し縦軸が輝度レベル、横軸が画像の水平方向の座標である。図３（ｃ）は元画像をＳ３０１にてＬＰＦ処理を施したＬＰＦ画像を示しており、元画像から高周波成分が無くなった波形である。これらの信号の差分をとることにより、元画像からＬＰＦ画像を減算すると図３（ｄ）の斜線部分Ｓ３１１１がオーバーシュートとして得られ、逆にＬＰＦ画像から元画像を減算すると図３（ｅ）の網かけ部分Ｓ３２１がアンダーシュートとして得られる。オーバーシュートは輪郭強調の明るい側、アンダーシュートは暗い側の調整を行う。

なお、ここで用いるローパスフィルタは、例えば着目画素と隣接画素で１：２：１（／４）のフィルタであるが、これに限定されない。また、本実施形態では元画素とＬＰＦ画像との差分を求めたが、それに限らず、高周波成分を含む画像と高周波を含まない画像の差分を求めることができればよい。

本実施形態の領域判定について図４を用いて説明する。

図４（ａ）は本実施形態の想定構図の１つである星空夜景で、山などの暗い遠景Ｓ４０１、夜空Ｓ４０２、星Ｓ４０３から構成される構図である。

図４（ｂ）は、図４（ａ）を複数のブロック分割し、各ブロックについて輝度信号及び色信号の平均値を求め、差分の少ないブロックを結合して領域として設定しており、暗い茶色の領域Ｓ４１１、暗い青の領域Ｓ４１２と判断する。

図４（ｃ）は、図４（ｂ）にて得た領域毎の輝度信号及び色信号の平均値から被写体を判定することにより、被写体に対応して、夜空領域Ｓ４２１はオーバーシュートをアンダーシュートに対して相対的に強めて輪郭強調を施し、夜空領域Ｓ４２１以外のＳ４２２には通常処理としてエッジ強調を実施しないか、オーバーシュートとアンダーシュートの比率を変更しないエッジ強調を施す。

また、図４（ｄ）は本実施形態の想定構図の１つである人物撮影で、人物Ｓ４３１、山などの遠景Ｓ４３２、空Ｓ４３３から構成される構図である。

図４（ｅ）は、図４（ｄ）を複数のブロック分割し、各ブロックについて輝度信号及び色信号の平均値を求め、差分の少ないブロックを結合して領域設定しており、黒い領域Ｓ４４１、肌色領域Ｓ４４２、白い領域Ｓ４４３、茶色の領域Ｓ４４４、青い領域Ｓ４４５と判断する。さらに、顔検出回路により検出された顔領域Ｓ４４６がある。

図４（ｆ）は、図４（ｅ）にて得た領域毎の輝度信号及び色信号の平均値及び顔検出領域から被写体を判定することにより、被写体に対応して、顔検出領域Ｓ４５１を含む顔領域Ｓ４５２はアンダーシュートをオーバーシュートに対して相対的に強めて輪郭強調処理を施し、顔領域以外のＳ４５３は通常処理としてエッジ強調を実施しないか、オーバーシュートとアンダーシュートの比率を変更しないエッジ強調を施す。

なお、上述したように、図４（ｃ）、図４（ｆ）の領域ごとにオーバーシュートとアンダーシュートの比率を可変させて制御する際に、領域の輝度レベルに基づいて、前記比率をさらに調整してもよい。具体的には、輝度レベルが予め設定された所定値よりも低い領域についてはオーバーシュート量の比率がより大きくなるように、輝度レベルが所定値よりも高い領域についてはアンダーシュート量の比率がより大きくするなるようにしてもよい。

また、本実施形態では、夜空と人物（顔）を対象として被写体判定を行う例を用いて説明したが、被写体対象はこれらに限定されない。つまり、夜空の代わりに低輝度領域の中に高輝度領域が含まれる被写体であってもよく、人物（顔）の代わりに高輝度領域の中に低輝度領域が含まれる被写体であってもよい。

以上により、本実施形態においては、画像内の被写体の種類に応じて、輪郭強調処理のオーバーシュート量とアンダーシュート量の比率を制御して輪郭強調の画像処理を行うことによって、被写体ごとに適切な輪郭強調を行うことが可能となる。よって、過剰な輪郭エッジ強調や輪郭強調による画像内でのノイズ増加等の弊害を軽減することが可能となる。

（第２の実施形態）
第１の実施形態では被写体の種類を判定し、被写体に応じて、オーバーシュート量とアンダーシュート量の比率を制御するものであったが、第２の実施形態では画像の撮影シーンを判定して撮影シーンに応じて前記比率を制御するものである。

第１の実施形態と同一の構成については説明を省略し、以下では、主に本実施形態の特徴的な構成について説明する。

図５は、第２の実施形態のシーン判定の動作フローを示す。図５を用いて、本実施形態の撮影シーン判定の動作を説明する。

Ｓ５０１にて画像から顔を検出し、顔があると判定したらＳ５０２で露出設定等の測光結果から照度の判定をする。たとえば測光結果の照度が所定値と比較することで明暗を判定する。明るい場所での撮影であると判定したら人物撮影であると判断し（Ｓ５０３）、オーバーシュートに対してアンダーシュートを強めて輪郭強調を施す。Ｓ５０２で暗い場所での撮影であると判定したら夜景人物撮影であると判断し（Ｓ５０４）、領域分割したエッジ強調を実施するか、通常処理としてエッジ強調を実施しないか、オーバーシュートとアンダーシュートの比率を変更しないエッジ強調を施す。

なお、上記動作を行うために、画像処理部２０が顔検出部、明るさ検出部としての機能を行ってもよい。

Ｓ５０１にて顔がないと判定したらＳ５０５で露出設定等の測光結果から照度の判定をする。明るい場所での撮影であると判定したら人物や夜景を除く一般撮影であると判断し（Ｓ５０６）、通常処理としてエッジ強調を実施しないか、オーバーシュートとアンダーシュートの比率を変更しないエッジ強調を施す。Ｓ５０５で暗い場所での撮影であると判定したら夜景撮影であると判断し（Ｓ５０７）、オーバーシュートをアンダーシュートに対して強めて輪郭強調を施す。

本実施形態では、画像から撮影シーンを判定し、撮影シーンの種類に応じて、輪郭強調処理のオーバーシュート量とアンダーシュート量の比率を制御して輪郭強調の画像処理を行うことを特徴としている。

本実施形態の変形例として、使用者が撮影時に設定した撮影モードを判定し、判定された撮影モードに応じて前記比率を制御してもよい。たとえば撮影時に夜景撮影モードが設定されていた場合には、オーバーシュートをアンダーシュートに対して強めて輪郭強調を施す。また、ポートレート撮影モードが設定されていた場合には、オーバーシュートに対してアンダーシュートを強めて輪郭強調を施す。

なお、撮影モード判定については、たとえば画像ファイルに画像とともに記録された撮影モードを取得して判定するようにしてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

上記実施形態では、画像処理装置が撮像装置に内蔵された構成であり、当該撮像装置で取得した画像に対して輪郭強調の画像処理を施すものであるが、画像処理装置が撮像装置とは分離して構成され画像が外部機器から通信により取得される構成でもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０ 画像処理部
５０ システム制御部
１００ 画像処理装置

Claims (4)

1. 画像を取得する取得手段と、
   前記画像内の被写体の種類を判定する被写体判定手段と、
   前記被写体の輪郭を強調する輪郭強調処理を行う処理手段と、
   前記被写体判定手段により夜空領域と判定された領域に対し、オーバーシュートをアンダーシュートに対して強める前記輪郭強調処理を行い、前記夜空領域と判定されなかった他の領域に対しては前記輪郭強調処理を行わない、またはオーバーシュート量とアンダーシュート量の比率を変更しないよう前記処理手段を制御する制御手段と、を備えることを特徴とする画像処理装置。
2. 被写体の種類に対応して前記画像を領域分割する分割手段を備え、
   前記処理手段は、前記領域ごとに前記輪郭強調処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. レンズ及び撮像素子を有することを特徴とする請求項１または２に記載の画像処理装置。
4. 画像処理装置の制御方法であって、
   画像を取得し、
   前記画像内の被写体の種類を判定し、
   前記被写体の輪郭を強調する輪郭強調処理を行う画像処理方法であって、
   前記被写体の種類の判定により夜空領域と判定された領域に対し、オーバーシュートをアンダーシュートに対して強めるよう前記輪郭強調処理を行い、前記夜空領域と判定されなかった他の領域に対しては前記輪郭強調処理を行わない、またはオーバーシュート量とアンダーシュート量の比率を変更しないよう制御することを特徴とする制御方法。

Images