JP2021005320A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】機械学習を利用したオブジェクト検出を行うとともに色空間の情報を利用することで、オブジェクトに対する有効な画質調整処理を行う。【解決手段】 実施形態によれば、画像処理装置は、入力された画像を縮小して縮小画像を出力する縮小部と、前記縮小画像からあらかじめ定められた対象オブジェクトを検出するオブジェクト検出部と、前記オブジェクト検出部の検出結果に基づいて、前記入力された画像中の前記対象オブジェクトが含まれるオブジェクト候補領域を判定する領域判定部と、前記対象オブジェクトに対応する色空間の情報に基づいて、前記オブジェクト候補領域が前記対象オブジェクトに対応する領域であるか否かを判定する色空間判定部と、前記色空間判定部の判定結果に基づいて、前記入力された画像に対する画像処理を制御する画像処理回路とを具備する。【選択図】図１

Description

本発明の実施形態は、画像処理装置及び画像処理方法に関する。

従来、画像の高画質化のために、例えば、超解像処理、鮮鋭化処理、ノイズリダクション処理等の種々の画像処理技術が利用されている。このような高画質化処理を行う画像処理装置においては、画像中のオブジェクトに応じた画像処理を施すことで、一層の高画質化を図るものがある。

例えば、認識対象として重要なオブジェクトである人物の顔を検出し、検出した顔領域を考慮した超解像処理やノイズリダクション処理等が行われることもある。また、近年、顔検出の手法として、深層学習を利用した処理が行われることもある。この場合には、顔検出のための演算量を低減するために、縮小画像を用いて顔領域の推論処理が行われることもある。

しかしながら、縮小画像を用いた顔領域の判定結果からは正確な顔領域を特定することができず、十分な高画質化を図れないことがあるという問題があった。

特開２０１９−４０３８２号

実施形態は、機械学習を利用したオブジェクト検出を行うとともに色空間の情報を利用することで、オブジェクトに対する有効な画質調整処理を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。

実施形態に係る画像処理装置は、入力された画像を縮小して縮小画像を出力する縮小部と、前記縮小画像からあらかじめ定められた対象オブジェクトを検出するオブジェクト検出部と、前記オブジェクト検出部の検出結果に基づいて、前記入力された画像中の前記対象オブジェクトが含まれるオブジェクト候補領域を判定する領域判定部と、前記対象オブジェクトに対応する色空間の情報に基づいて、前記オブジェクト候補領域が前記対象オブジェクトに対応する領域であるか否かを判定する色空間判定部と、前記色空間判定部の判定結果に基づいて、前記入力された画像に対する画像処理を制御する画像処理回路とを具備する。

本発明の一実施の形態に係る画像処理装置を示すブロック図。 オブジェクト検出部４における処理の一例を説明するための説明図。 オブジェクト検出部４における処理の一例を説明するための説明図。 実施の形態の動作を説明するためのフローチャート。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

図１は本発明の一実施の形態に係る画像処理装置を示すブロック図である。本実施の形態は動画像中のオブジェクトを機械学習によって得た推論モデルを用いた検出器により判定すると共に、検出されたオブジェクトの領域について色空間の判定を行うことで、オブジェクト又はその近傍に対する高画質化処理の仕方を高精度に制御するものである。これにより、画像中の例えば人物の顔等のオブジェクトを高画質化することができる。

本実施の形態における画像処理装置は、画像処理を行う各種装置に採用することができる。例えば、本実施の形態における画像処理装置をテレビジョン受信機や、ビデオレコーダ等に採用してもよく、放送番組の画像中の各種オブジェクトを高画質化し、結果的に画像全体で高画質の動画像を得ることができる。また、例えば、本実施の形態における画像処理装置を監視カメラや、車載カメラ等に採用してもよく、撮影された動画像中の各種オブジェクトを高画質化し、結果的に人物等のオブジェクトの認識精度を向上させることもできる。

図１において、入力画像は、縮小回路１、領域判定回路２及び高画質化処理回路３に与えられる。入力画像は、所定のフレームレート、所定の解像度、所定の規格に基づく動画像である。例えば、テレビジョン受信機等によって受信された放送信号に基づくものであってもよく、所定のカメラシステムから得られたものであってもよい。

縮小部としての縮小回路１は、入力画像に対して縮小処理を行う。例えば、縮小回路１は、公知のバイリニア法、バイキュービック法等の各種縮小アルゴリズムを採用してもよく、アルゴリズムは特に限定されるものではない。縮小回路１は、入力画像から縮小画像を取得する。なお、縮小倍率は入力画像サイズやオブジェクト検出部４の演算速度に依存する。縮小回路１は、所定のフレームレートで生成した縮小画像を順次オブジェクト検出部４に出力する。

オブジェクト検出部４は、機械学習技術を利用して、入力された縮小画像中から検出対象のオブジェクト（以下、対象オブジェクトという）を検出する処理を行う。なお、対象オブジェクトは、事前に定められたものであってもよい。オブジェクト検出部４は、対象オブジェクト検出のための推論モデルを構築する所定のネットワークがハードウェア又はソフトウェアによって構成されている。

オブジェクト検出部４の推論モデルは、例えば、縮小画像に縮小画像中の対象オブジェクトの範囲を示す情報をラベルとして付加して作成した大量の教師データを、所定のネットワークに与えて学習させることで得られるものである。この推論モデルは、縮小画像の入力に対して、対象オブジェクトの範囲を示す情報をその信頼度の情報と共に出力する。なお、所定のネットワークとしては、ＤＮＮ（ディープニューラルネットワーク）を採用してもよい。また、オブジェクト検出部４は、機械学習の手法として、ディープニューラルネットワーク以外の手法、例えば、ハールライク（Ｈａａｒ−Ｌｉｋｅ）等を利用するものであってもよい。

図２及び図３はオブジェクト検出部４における処理の一例を説明するための説明図である。図２及び図３は対象オブジェクトが人物の顔である場合の検出処理の例を示している。

図２及び図３の縮小画像Ｐｉｎは、オブジェクト検出部４に入力される縮小画像を示している。この縮小画像Ｐｉｎには、人物Ｏ１，Ｏ２の画像が含まれており、丸い形状は、対象オブジェクトである顔部分の画像を示している。図２の例では、オブジェクト検出部４は、推論処理によって、縮小画像Ｐｏｕｔに示すように、人物Ｏ１の顔部分を含む領域ＤＲ１と人物Ｏ２の顔部分を含む領域ＤＲ２とを対象オブジェクトの検出領域として検出する。例えば、オブジェクト検出部４は、顔部分を検出し、検出した顔部分の中心の座標を中心とした所定サイズの矩形領域を検出領域とする。オブジェクト検出部４は、領域ＤＲ１，ＤＲ２に関する情報を対象オブジェクトの検出結果として出力する。

一方、図３は縮小画像Ｐｉｎをグリッドによって区画された小領域（以下、判定小領域という）毎に対象オブジェクトの範囲を検出する例を示している。この場合には、オブジェクト検出部４を構成する推論モデルは、判定小領域毎に対象オブジェクトであるか否かを示すラベルを付加した縮小画像を教師データとする学習によって取得することができる。

従って、オブジェクト検出部４は、推論処理によって、縮小画像Ｐｏｕｔに示すように、人物Ｏ１の顔部分として検出した２つの判定小領域を含む領域ＤＲ３と人物Ｏ２の顔部分として検出した４つの判定小領域を含む領域ＤＲ４とを対象オブジェクトの検出領域として検出する。オブジェクト検出部４は、領域ＤＲ３，ＤＲ４に関する情報を対象オブジェクトの検出結果として出力する。

オブジェクト検出部４は、検出領域に関する情報を領域判定回路２に出力する。領域判定部としての領域判定回路２は、図２及び図３の例のいずれの場合においても、縮小画像について検出された検出領域を、入力画像のサイズに対応した位置及びサイズの領域（以下、オブジェクト推論領域という）に変換する。

オブジェクト検出部４は、当該オブジェクト推論領域の入力画像について、対象オブジェクトを構成するであろうと考えられる領域の候補（以下、オブジェクト候補領域という）を求める。例えば、オブジェクト検出部４は、当該オブジェクト推論領域の入力画像について、オブジェクト推論領域内の画素毎に、オブジェクト候補領域内の画素、即ち、対象オブジェクトを構成する画素の候補（以下、オブジェクト画素候補という）であるか否かを判定する。

例えば、領域判定回路２は、検出領域の判定時の信頼度のスコアを、オブジェクト推論領域の各画素がオブジェクト画素候補であるか否かの判定に用いるスコア（以下、領域スコアという）としてもよい。この場合には、図２の例では、領域ＤＲ１に対応するオブジェクト推論領域内の全ての画素は相互に同一領域スコアとなり、領域ＤＲ２に対応するオブジェクト推論領域内の全ての画素は相互に同一領域スコアとなる。また、図３の例では、領域ＤＲ３，ＤＲ４の各判定小領域にそれぞれ対応するオブジェクト推論領域毎に、オブジェクト推論領域内の全ての画素が相互に同一領域スコアとなる。

なお、領域判定回路２は、検出領域の判定時の信頼度のスコアだけでなく、他の情報を利用して領域スコアを決定してもよい。領域判定回路２は領域スコアが所定の閾値を超えた画素をオブジェクト画素候補としてもよい。

本実施の形態においては、対象オブジェクトを構成する画素であるオブジェクト画素を求めるために、オブジェクト画素候補を色空間判定部５に与えるようになっている。なお、オブジェクト画素は、対象オブジェクトに対する処理パラメータを用いて画像処理が行われる画素のことである。

色空間判定部５は、オブジェクト画素候補の画素が、対象オブジェクトに相当する色空間の情報を保持しているかに基づいて、オブジェクト画素を判定するようになっている。例えば、対象オブジェクトが人間の顔である場合には、オブジェクト画素候補の画素の色情報が人間の肌色(顔色)を示す場合には、当該画素は対象オブジェクトに相当する色空間の情報を保持していると判定できる。

例えば、色空間判定部５は、入力画像中のオブジェクト画素候補の各画素を、所定の色空間の情報に変換して、その色を判定してもよい。例えば、色空間判定部５は、入力画像中のオブジェクト画素候補の各画素をＨＳＶ色空間に変換し、画素の色がＨＳＶ色空間内の対象オブジェクトの色に対応する所定の範囲（以下、オブジェクト色範囲という）内に存在するか否かを画素毎に判定することで、オブジェクト画素を判定してもよい。また、ＨＳＶ色空間内の色相（Ｈ）、彩度（Ｓ）及び明度（Ｖ）のうちの少なくとも１つがオブジェクト色範囲内にあるか否かによってオブジェクト画素を判定してもよい。

また、例えば、色空間判定部５は、入力画像中のオブジェクト画素候補の各画素をＹＣｂＣｒ色空間に変換し、画素の色がＹＣｂＣｒ色空間内のオブジェクト色範囲内に存在するか否かを画素毎に判定することで、オブジェクト画素を判定してもよい。また、この場合にも、ＹＣｒＣＢ色空間のうちの少なくとも１つがオブジェクト色範囲内にあるか否かによってオブジェクト画素を判定してもよい。

なお、色空間判定部５が判定に用いる色空間としては、上述したＨＳＶ色空間、ＹＣｒＣｂ色空間に限らず、ＲＧＢ色空間等、種々の色空間を採用することができる。人間の顔を対象オブジェクトとする場合には、人種等に応じてオブジェクト色範囲が異なる。そこで、色空間判定部５は、オブジェクト画素の判定に際して複数のオブジェクト色範囲を設定してもよい。

また、上記説明では、オブジェクト画素候補の各画素の色がオブジェクト色範囲内にあるか否かによってオブジェクト画素であるか否かを判定する例を説明した。これに対し、色空間判定部５は、オブジェクト色範囲内に基準点を設け、この基準点からの各画素の色の点までの距離に応じた色スコアを設定し、色スコアが所定の閾値を超えた画素をオブジェクト画素としてもよい。上述したオブジェクト色範囲内にあるか否かによってオブジェクト画素であるか否かを判定する例は、オブジェクト色範囲内の色スコアが最大値でオブジェクト色範囲外の色スコアが最小値である例と言える。

例えば、図３の例では、領域スコアの結果から、領域ＤＲ３，ＤＲ４中の丸い形状の部分を入力画像のサイズに応じて拡大した領域の各画素がオブジェクト画素候補になり得る。しかし、上述したように、領域判定回路２における検出領域の判定時の信頼度のスコアを領域スコアに用いた場合には、オブジェクト推論領域内又は判定小領域内の全ての画素が同一領域スコアとなる。この結果、特に顔の輪郭部分では、顔部分以外（背景）に対応する画素についてもオブジェクト画素候補となることがある。

本実施の形態においては、オブジェクト画素候補の各画素について色スコアを求めており、オブジェクト画素候補の各画素のうち顔部分以外の背景部分の画素については、色スコアを用いることで、オブジェクト画素から除外することが可能である。

色空間判定部５は、オブジェクト画素候補の画素毎に、オブジェクト画素であるか否かの判定結果、又は色スコアの情報を高画質化処理回路３に出力する。なお、オブジェクト画素であるか否かの判定結果についても、上述したように、色スコアの情報として表現できるので、以下の説明では、色スコアの情報が高画質化処理回路３に供給されるものとして説明する。

画像処理回路を構成する高画質化処理回路３は、入力画像に対して所定の画質処理を行うことで、高画質化処理を施す。本実施の形態においては、高画質化処理回路３は、入力画像又は入力画像中のオブジェクト画素候補について、画素毎に色スコアの情報に基づいて画質処理の処理パラメータを設定してもよい。

例えば、高画質化処理回路３は、色スコアが所定の閾値より高い画素をオブジェクト画素とし、オブジェクト画素については鮮鋭化処理に適した処理パラメータを設定して鮮鋭化処理を施してもよい。また、高画質化処理回路３は、入力画像のうち色スコアが所定の閾値より高い画素以外の画素、又はオブジェクト画素候補の各画素のうち色スコアが所定の閾値以下の画素に対して、ノイズリダクション処理に適した処理パラメータを設定してノイズリダクション処理を施してもよい。凹凸のある人間の顔部等のオブジェクトと比較的平坦な背景との境界部分では、折り返しのノイズが生じやすい。高画質化処理回路３は、このようなノイズの除去や鮮鋭化処理によって、対象オブジェクトの画質を高画質化することが可能である。

なお、高画質化処理回路３は、鮮鋭化処理やノイズリダクション処理に限らず、各種画像処理、例えば、超解像処理等を行うようになっていてもよい。超解像処理においても、処理パラメータを色スコアに応じて画素毎に変更することができる。更に、領域スコアが所定の閾値よりも大きいオブジェクト画素候補の各画素の色スコアのみに応じて処理パラメータを設定する例を説明したが、領域スコア及び色スコアの値に応じて処理パラメータを画素毎に設定するようになっていてもよい。また、処理パラメータは画素毎でなく、所定の領域毎に変更するようになっていてもよい。

次に、このように構成された実施の形態の動作について図４を参照して説明する。図４は実施の形態の動作を説明するためのフローチャートである。

動画像等が入力画像として縮小回路１、領域判定回路２及び高画質化処理回路３に入力される。図４のフローチャートは、入力された動画像のフレーム毎の処理を示しており、図１の各回路は、所定のフレームについて図４の各処理を実行する。

縮小回路１は、図４のステップＳ１において、縮小処理を行う。入力画像は所定の縮小アルゴリズムによって縮小画像に変換される。この縮小画像はオブジェクト検出部４に供給される。

オブジェクト検出部４は、機械学習技術を利用して、対象オブジェクトを検出する（ステップＳ２）。例えば、オブジェクト検出部４は、対象オブジェクトの画像領域として矩形の検出領域を求める。オブジェクト検出部４の検出結果は領域判定回路２に供給され、領域判定回路２は、検出領域を元の入力画像の位置及びサイズに拡大したオブジェクト推論領域を求める（ステップＳ３）。

領域判定回路２は、オブジェクト推論領域内の画素毎に、対象オブジェクトを構成する画素の候補であるか否かの判定に用いる領域スコアを求める（ステップＳ４）。領域判定回路２は、領域スコアが閾値よりも大きい画素をオブジェクト画素候補に決定する（ステップＳ５）。

オブジェクト画素候補の情報は、色空間判定部５に与えられる。色空間判定部５は、オブジェクト画素候補の各画素について色スコアを求める（ステップＳ６）。例えば、色空間判定部５は、所定の色空間においてオブジェクト画素候補の画素の色とオブジェクト色範囲との関係に基づいて、色スコアを求める。即ち、色スコアは、例えば大きな値ほど、その画素の色が、色空間上で、対象オブジェクトの色に近い色であると考えられる。従って、色スコアを用いることで、オブジェクト画素候補の各画素が対象オブジェクトの画素であるか否かの判定をより高精度に行うことが可能である。

色空間判定部５は、オブジェクト画素候補の画素毎の色スコアの情報を高画質化処理回路３に出力する。高画質化処理回路３は、色スコアに応じて入力画像に対する画質処理の処理パラメータを例えば画素毎に設定し（ステップＳ７）、高画質化処理を施す（ステップＳ８）。

例えば、高画質化処理回路３は、色スコアが所定の閾値よりも高いオブジェクト画素については、鮮鋭化処理に適した処理パラメータを設定し、オブジェクト画素以外の画素についてはノイズリダクション処理に適した処理パラメータを設定して、高画質化処理を施す。これにより、人間の顔等の対象オブジェクトを高画質化することが可能である。

なお、本実施の形態においては、高画質化処理回路３において、オブジェクト画素とオブジェクト画素以外の画素について相互に異なる処理パラメータを設定するようになっており、対象オブジェクト以外の画素部分を低画質化することで、相対的に対象オブジェクトを高画質化することも可能である。例えば、予め定められた対象オブジェクトに対して、画像中の他のオブジェクトの画質を低画質化することも可能であり、この場合には、対象オブジェクトの視認性を相対的に向上させることができる。

このように本実施の形態においては、動画中の対象オブジェクトを機械学習によって得た推論モデルを用いた検出器により判定するだけでなく、検出されたオブジェクトの領域について色空間の判定を行うことで、オブジェクトやその周辺に対する高画質化処理の仕方を高精度に制御することができる。これにより、画像中の例えば人物の顔等のオブジェクトを高画質化することができ、動画像中のオブジェクトの視認性を向上させることができると共に、オブジェクトに対する認識精度を向上させることも可能である。

なお、上記実施の形態においては、対象オブジェクトとして人物の顔を例に説明したが、対象オブジェクトは特に限定されるものではない。例えば、対象オブジェクトとして、犬、猫等の動物や、自動車や、ボール等を設定してもよい。例えば、ゴルフボールを対象オブジェクトに設定した場合には、ゴルフボールを追尾した動画像において、ゴルフボールの画質を向上させ、ディンプルまで明瞭に表示する等の高画質化処理が可能となる。

なお、上記実施の形態における各回路（縮小回路１、領域判定回路２、高画質化処理回路３、オブジェクト検出部４及び色空間判定部５）は、それぞれを構成する各部が個々の電子回路として構成されていてもよく、あるいは、集積回路における回路ブロックとして構成されていてもよい。また、各回路は、１つ以上のＣＰＵを具備して構成されていてもよい。また、各回路が、各部の機能を実行させるためのプログラムをメモリ等の記憶媒体から読み込むと共に、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１…縮小回路、２…領域判定回路、３…高画質化処理回路、４…オブジェクト検出部、５…色空間判定部。

Claims (7)

1. 入力された画像を縮小して縮小画像を出力する縮小部と、
   前記縮小画像からあらかじめ定められた対象オブジェクトを検出するオブジェクト検出部と、
   前記オブジェクト検出部の検出結果に基づいて、前記入力された画像中の前記対象オブジェクトが含まれるオブジェクト候補領域を判定する領域判定部と、
   前記対象オブジェクトに対応する色空間の情報に基づいて、前記オブジェクト候補領域が前記対象オブジェクトに対応する領域であるか否かを判定する色空間判定部と、
   前記色空間判定部の判定結果に基づいて、前記入力された画像に対する画像処理を制御する画像処理回路と
   を具備する画像処理装置。
2. 前記オブジェクト検出部は、ニューラルネットワークを用いた推論処理によって、前記縮小画像から前記対象オブジェクトを検出する
   請求項１に記載の画像処理装置。
3. 前記領域判定部は、前記入力された画像の画素毎に前記オブジェクト候補領域を構成するオブジェクト画素候補を判定する
   請求項１に記載の画像処理装置。
4. 前記色空間判定部は、前記オブジェクト画素候補について、画素毎に前記対象オブジェクトを構成するオブジェクト画素である否かを判定する
   請求項３に記載の画像処理装置。
5. 前記画像処理回路は、前記オブジェクト画素と前記オブジェクト画素以外の画素とで異なる処理パラメータを用いた画像処理を施す
   請求項４に記載の画像処理装置。
6. 前記画像処理回路は、前記オブジェクト画素に鮮鋭化処理を施し、前記オブジェクト画素以外の画素にノイズリダクション処理を施すための処理パラメータを設定する
   請求項４に記載の画像処理装置。
7. 入力された画像を縮小して縮小画像を出力し、
   前記縮小画像からあらかじめ定められた対象オブジェクトを検出し、
   前記対象オブジェクトの検出結果に基づいて、前記入力された画像中の前記対象オブジェクトが含まれるオブジェクト候補領域を判定し、
   前記対象オブジェクトに対応する色空間の情報に基づいて、前記オブジェクト候補領域が前記対象オブジェクトに対応する領域であるか否かを判定し、
   前記色空間の情報を用いた判定の結果に基づいて、前記入力された画像に対する画像処理を制御する
   画像処理方法。

Images