JP6798690B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、カラー画像をモノクロ画像に変換するための、画像処理装置及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。

近年、コンピュータの処理速度の向上により、画像処理によって、画像中の特定の物体を検出することが行なわれている。このような画像処理では、コンピュータの処理負担を軽減するため、予め、カメラから出力されたカラー画像をモノクロ画像に変換する処理が行なわれている。また、カラー画像をモノクロ画像に変換する処理としては、種々の処理が提案されている。

例えば、特許文献１及び２は、カラー画像を構成する各画素の輝度値を用いて、カラー画像をモノクロ画像に変換する、画像処理装置を開示している。このうち、特許文献１に開示された画像処理装置は、モノクロ画像における画素間の区別を行なうため、元のカラー画像における各画素の色に応じて、変換後のモノクロ画像の各画素の輝度値を補正する。

また、特許文献２に開示された画像処理装置は、ユーザから色相の指定を受付けると、まず、指定された色相の画素を抽出する。そして、この画像処理装置は、抽出した画素の輝度値が閾値よりも高い場合は、その画素の輝度値を閾値よりも高い値に飽和させ、抽出した画素の輝度値が閾値よりも低い場合は、その画素の輝度値を増加させて、モノクロ画像を生成する。

特開平１１−３３９０３４号公報 特開２００８−１０３９８６号公報

しかしながら、上記特許文献１に開示された画像処理装置においては、元のカラー画像に存在する色の数が多いと、変換後のモノクロ画像において画素間に差異が生じないことから、元のカラー画像によっては、画素間の区別が困難なモノクロ画像しか得られないという問題がある。また、特許文献２に開示された画像処理装置においては、得られたモノクロ画像は、ユーザが指定した単一の色を持った物体の検出にしか利用できないという問題がある。

その他、カラー画像を構成する各画素の彩度を用いて、カラー画像をモノクロ画像に変換する、画像処理装置も提案されている。しかし、この画像処理装置では、元のカラー画像において、赤、青、緑といった有彩色の部分では、濃淡がはっきりとし、白、灰色、黒といった無彩色の部分では、濃淡がはっきりとしない、モノクロ画像しか得られないという問題がある。

本発明の目的の一例は、上記問題を解消し、カラー画像から変換されたモノクロ画像において、単一色の物体に限定されることなく、物体の識別が容易に行なえ得るようにする、画像処理装置、画像処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における画像処理装置は、
対象画像の各画素の輝度値に応じて輝度変換を行なって、第１のモノクロ画像を生成する、第１の輝度変換部と、
前記第１のモノクロ画像の各画素の輝度値を用いて、前記対象画像を構成する画素のうち、Ｒ値、Ｂ値、及びＧ値のうちいずれかが設定条件を満たす画素の輝度が、前記設定条件を満たさない画素の輝度よりも高くなるようにして、前記対象画像を第２のモノクロ画像に変換する、第２の輝度変換部と、
を備えている、ことを特徴とする。

また、上記目的を達成するため、本発明の一側面における画像処理方法は、
（ａ）対象画像の各画素の輝度値に応じて輝度変換を行なって、第１のモノクロ画像を生成する、ステップと、
（ｂ）前記第１のモノクロ画像の各画素の輝度値を用いて、前記対象画像を構成する画素のうち、Ｒ値、Ｂ値、及びＧ値のうちいずれかが設定条件を満たす画素の輝度が、前記設定条件を満たさない画素の輝度よりも高くなるようにして、前記対象画像を第２のモノクロ画像に変換する、ステップと、
を有する、ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）対象画像の各画素の輝度値に応じて輝度変換を行なって、第１のモノクロ画像を生成する、ステップと、
（ｂ）前記第１のモノクロ画像の各画素の輝度値を用いて、前記対象画像を構成する画素のうち、Ｒ値、Ｂ値、及びＧ値のうちいずれかが設定条件を満たす画素の輝度が、前記設定条件を満たさない画素の輝度よりも高くなるようにして、前記対象画像を第２のモノクロ画像に変換する、ステップと、
を実行させる、ことを特徴とする。

以上のように、本発明によれば、カラー画から変換されたモノクロ画像において、単一色の物体に限定されることなく、物体の識別が容易に行なえるようにすることができる。

図１は、本発明の実施の形態における画像処理の概略構成を示すブロック図である。 図２は、本発明の実施の形態における画像処理装置の構成を具体的に示すブロック図である。 図３は、カラー画像を変換して得られた第１のモノクロ画像（輝度変換画像）の一例を示す図である。 図４は、カラー画像を変換して得られた第２のモノクロ画像（色変換画像）の一例を示す図である。 図５は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。 図６は、本発明の実施の形態における画像処理装置の変形例を示すブロック図である。 図７は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図１〜図７を参照しながら説明する。

［装置構成］
最初に、本実施の形態における画像処理装置の構成について説明する。図１は、本発明の実施の形態における画像処理の概略構成を示すブロック図である。

図１に示す本実施の形態における画像処理装置１０は、対象画像であるカラー画像からモノクロ画像を生成する装置である。図１に示すように、画像処理装置１０は、第１の輝度変換部１１と、第２の輝度変換部１２とを備えている。

第１の輝度変換部１１は、対象画像の各画素の輝度値に応じて輝度変換を行なって、第１のモノクロ画像（以下「輝度変換画像」と表記する。）を生成する。第２の輝度変換部１２は、第１のモノクロ画像の各画素の輝度値を用いて、対象画像を構成する画素のうち、Ｒ値、Ｂ値、及びＧ値のうちいずれかが設定条件を満たす画素の輝度が、設定条件を満たさない画素の輝度よりも高くなるようにして、対象画像を第２のモノクロ画像（以下「色変換画像」と表記する）に変換する。

このように、本実施の形態では、元のカラー画像の各画素の色が原色に近い程、輝度が高くなるように調整されたモノクロ画像（輝度変換画像）が生成される。このため、本実施の形態によれば、カラー画像から変換されたモノクロ画像において、単一色の物体に限定されることなく、物体の識別を容易に行なうことが可能となる。

続いて、図２〜図４を用いて、本実施の形態における画像処理装置の構成について更に具体的に説明する。図２は、本発明の実施の形態における画像処理装置の構成を具体的に示すブロック図である。

図２に示すように、本実施の形態における画像処理装置１０は、外部の撮像装置２０に接続されている。撮像装置２０は、固体撮像素子を備え、撮影を行なうと、カラー画像の画像データを画像処理装置２０に出力する。また、本実施の形態では、撮像装置２０は、設定された時間間隔で、連続して画像データを出力する。

また、図２に示すように、本実施の形態において、画像処理装置１０は、第１の輝度変換部１１及び第２の輝度変換部１２に加えて、画像取得部１３と、物体検出部１４とを更に備えている。

画像取得部１３は、撮像装置２０から変換対象となるカラー画像を取得する。具体的には、画像取得部１３は、撮像装置２０がカラー画像の画像データを出力する度に、出力された画像データを取得し、取得した画像データを第１の輝度変換部１１及び第２の輝度変換部１２に入力する。

第１の輝度変換部１１は、画像取得部１３からカラー画像の画像データが入力されると、カラー画像を構成する画素毎に、輝度値を抽出し、各画素が輝度値の情報のみを持つ輝度変換画像を生成する。図３は、カラー画像を変換して得られた第１のモノクロ画像（輝度変換画像）の一例を示す図である。図３に示すように、輝度変換画像においては、カラー画像において赤色の部分（図中右側の円内の信号の赤色部分）と水色の部分（図中左側の円内の空の部分）との相異が曖昧となっている。

第２の輝度変換部１２は、本実施の形態では、まず、設定条件として、「画素において、Ｒ値とＧ値との差の絶対値、Ｇ値とＢ値との差の絶対値、及びＢ値とＲ値との差の絶対値のうち、最も値の大きな絶対値が設定値よりも大きいこと」を用いる。そして、第２の輝度変換部１２は、設定条件を満たす画素の輝度を、最も値の大きな絶対値を用いて算出し、設定条件を満たさない画素の輝度を、その画素に対応する、輝度変換画像の画素の輝度値を用いて算出する。

具体的には、各画素のＲ値をｒ、Ｇ値をｇ、Ｂ値をｂとすると、設定条件は、設定値をＲとすると、下記の数１で表すことができる。なお、Ａは任意の係数である。設定値Ｒ及び係数Ａは、予め行なわれた実験の結果に基づいて適宜設定される。

（数１）
Ｃ＝Ａ×ｍａｘ（｜ｒ−ｇ｜，｜ｒ−ｂ｜，｜ｇ−ｂ｜）＞Ｒ

また、第２の輝度変換部１２は、設定条件が上記数１で表される場合において、Ｃ＞Ｒとなる画素については、下記の数２に示すように、輝度変換画像における輝度Ｇを例えば上述のＣに設定する。

（数２）
Ｇ＝Ｃ

一方、第２の輝度変換部１２は、Ｃ≦Ｒとなる画素については、下記の数３に示すように、その画素に対応する輝度変換画像の画素の輝度Ｌを用いて、色変換画像における輝度Ｇを設定する。なお、数２において、ａ、ｂは、任意の係数である。係数ａ、ｂも、予め行なわれた実験の結果に基づいて適宜設定される。

（数３）
Ｇ＝ａ×Ｃ＋ｂ×Ｌ

図４は、カラー画像を変換して得られた第２のモノクロ画像（色変換画像）の一例を示す図である。図４に示すように、色変換画像においては、カラー画像において赤色の部分が強調され、この赤色の部分（図中右側の円内の信号の赤色部分）と水色の部分（図中左側の円内の空の部分）との相異が明確となっている。

物体検出部１４は、第２の輝度変換部１２から輝度変換画像を取得し、取得した輝度変換画像から、画像中の物体を検出する。具体的には、物体検出部１４は、例えば、輝度変換画像の中から、予め設定された特徴量を持つ領域を抽出し、抽出した領域を物体として検出する。なお、物体検出部１４による物体検出処理は、特に限定されるものではない。物体検出処理としては、既存の種々の処理が利用可能である。

［装置動作］
次に、本実施の形態における画像処理装置１０の動作について図５を用いて説明する。図５は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図４を参酌する。また、本実施の形態では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。

図５に示すように、最初に、画像取得部１３が、撮像装置２０から変換対象となるカラー画像を取得する（ステップＡ１）。また、画像取得部１３は、取得したカラー画像を第１の輝度変換部１１と第２の輝度変換部１２とに入力する。

次に、第１の輝度変換部１１は、画像取得部１３からカラー画像の画像データが入力されると、カラー画像を構成する画素毎に、輝度値を抽出し、各画素が輝度値の情報のみを持つ輝度変換画像を生成する（ステップＡ２）。

次に、第２の輝度変換部１２は、第１のモノクロ画像の各画素の輝度値を用い、設定条件を満たす画素の輝度が、設定条件を満たさない画素の輝度よりも高くなるようにして、対象画像から色変換画像を生成する（ステップＡ３）。具体的には、第２の輝度変換部１２は、上記数１に示した設定条件を用い、画素毎の設定条件による判定結果に基づいて、上記数２又は数３に示した式を用いて、輝度変換画像における輝度Ｇを算出する。

物体検出部１４は、第２の輝度変換部１２から輝度変換画像を取得し、取得した輝度変換画像から、画像中の物体を検出する（ステップＡ４）。また、ステップＡ４の終了後、撮像装置２０が新たに画像データを出力すると、再度、ステップＡ１〜Ａ４が実行される。ステップＡ１〜Ａ４は、撮像装置２０から画像データが出力される度に、繰り返し実行される。

以上のように、本実施の形態では、輝度変換画像を対象にして物体検出が行なわれる。また、輝度変換画像は、上記数１に示した設定条件を用いて生成されるため、赤、青、緑といいた原色に近い画素程、白色で強調された画像となる。このため、本実施の形態によれば、物体検出の精度の向上が図られることになる。

［変形例］
ここで、図６を用いて、本実施の形態における画像処理装置１０の変形例について説明する。図６は、本発明の実施の形態における画像処理装置の変形例を示すブロック図である。

図６に示すように、本変形例では、画像処理装置１０は、第１の輝度変換部１１、第２の輝度変換部１２、画像取得部１３、及び物体検出部１４に加えて、ＲＧＢ算出部１５を備えている。ＲＧＢ算出部１５は、対象画像がＹＣｂＣｒ信号で出力されてくる場合に、対象画像の各画素毎に、Ｃｂ値及びＣｒ値を用いて、Ｒ値、Ｂ値、及びＧ値を算出する。

このため、本変形例では、画像処理装置１０は、撮像装置２０が画像データをコンポジット映像信号（ＹＣｂＣｒ信号）によって出力する場合に対応することができる。なお、第１の輝度変換部１１、第２の輝度変換部１２、画像取得部１３、及び物体検出部１４における処理は、図１〜図５に示した場合と同様である。

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図５に示すステップＡ１〜Ａ４を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置１０と画像処理方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、第１の輝度変換部１１、第２の輝度変換部１２、画像取得部１３、及び物体検出部１４として機能し、処理を行なう。また、変形例においては、ＣＰＵは更にＲＧＢ算出部１５としても機能する。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、第１の輝度変換部１１、第２の輝度変換部１２、画像取得部１３、及び物体検出部１４のいずれかとして機能しても良い。

ここで、本実施の形態におけるプログラムを実行することによって、画像処理装置１０を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

図７に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施の形態における画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

以上のように、本発明によれば、カラー画から変換されたモノクロ画像において、単一色の物体に限定されることなく、物体の識別が容易に行なえるようにすることができる。本発明は、物体検出等の画像処理が行なわれる分野において有用である。

１０ 画像処理装置
１１ 第１の輝度変換部
１２ 第２の輝度変換部
１３ 画像取得部
１４ 物体検出部
１５ ＲＧＢ算出部
２０ 撮像装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (6)

1. 対象画像の各画素の輝度値に応じて輝度変換を行なって、第１のモノクロ画像を生成する、第１の輝度変換部と、
   前記第１のモノクロ画像の各画素の輝度値を用いて、前記対象画像を構成する画素のうち、Ｒ値、Ｂ値、及びＧ値のうちいずれかが設定条件を満たす画素の輝度が、前記設定条件を満たさない画素の輝度よりも高くなるようにして、前記対象画像を第２のモノクロ画像に変換する、第２の輝度変換部と、
   を備え、
   前記第２の輝度変換部は、
   Ｒ値とＧ値との差の絶対値、Ｇ値とＢ値との差の絶対値、及びＢ値とＲ値との差の絶対値のうち、最も値の大きな絶対値が設定値よりも大きいことを前記設定条件として用い、
   前記設定条件を満たす画素の輝度を、前記最も値の大きな絶対値を用いて算出し、
   前記設定条件を満たさない画素の輝度を、当該画素に対応する、前記第１のモノクロ画像の画素の輝度を用いて算出する、
   ことを特徴とする画像処理装置。
2. 前記対象画像がＹＣｂＣｒ信号で出力されてくる場合に、前記対象画像の各画素毎に、Ｃｂ値及びＣｒ値を用いて、Ｒ値、Ｂ値、及びＧ値を算出する、ＲＧＢ算出部を更に備えている、
   請求項１に記載の画像処理装置。
3. （ａ）対象画像の各画素の輝度値に応じて輝度変換を行なって、第１のモノクロ画像を生成する、ステップと、
   （ｂ）前記第１のモノクロ画像の各画素の輝度値を用いて、前記対象画像を構成する画素のうち、Ｒ値、Ｂ値、及びＧ値のうちいずれかが設定条件を満たす画素の輝度が、前記設定条件を満たさない画素の輝度よりも高くなるようにして、前記対象画像を第２のモノクロ画像に変換する、ステップと、
   を有し、
   前記（ｂ）のステップにおいて、
   Ｒ値とＧ値との差の絶対値、Ｇ値とＢ値との差の絶対値、及びＢ値とＲ値との差の絶対値のうち、最も値の大きな絶対値が設定値よりも大きいことを前記設定条件として用い、
   前記設定条件を満たす画素の輝度を、前記最も値の大きな絶対値を用いて算出し、
   前記設定条件を満たさない画素の輝度を、当該画素に対応する、前記第１のモノクロ画像の画素の輝度を用いて算出する、
   ことを特徴とする画像処理方法。
4. （ｃ）前記対象画像がＹＣｂＣｒ信号で出力されてくる場合に、前記対象画像の各画素毎に、Ｃｂ値及びＣｒ値を用いて、Ｒ値、Ｂ値、及びＧ値を算出する、ステップを更に有している、
   請求項３に記載の画像処理方法。
5. コンピュータに、
   （ａ）対象画像の各画素の輝度値に応じて輝度変換を行なって、第１のモノクロ画像を生成する、ステップと、
   （ｂ）前記第１のモノクロ画像の各画素の輝度値を用いて、前記対象画像を構成する画素のうち、Ｒ値、Ｂ値、及びＧ値のうちいずれかが設定条件を満たす画素の輝度が、前記設定条件を満たさない画素の輝度よりも高くなるようにして、前記対象画像を第２のモノクロ画像に変換する、ステップと、
   を実行させ、
   前記（ｂ）のステップにおいて、
   Ｒ値とＧ値との差の絶対値、Ｇ値とＢ値との差の絶対値、及びＢ値とＲ値との差の絶対値のうち、最も値の大きな絶対値が設定値よりも大きいことを前記設定条件として用い、
   前記設定条件を満たす画素の輝度を、前記最も値の大きな絶対値を用いて算出し、
   前記設定条件を満たさない画素の輝度を、当該画素に対応する、前記第１のモノクロ画像の画素の輝度を用いて算出する、
   プログラム。
6. 前記コンピュータに、
   （ｃ）前記対象画像がＹＣｂＣｒ信号で出力されてくる場合に、前記対象画像の各画素毎に、Ｃｂ値及びＣｒ値を用いて、Ｒ値、Ｂ値、及びＧ値を算出する、ステップを更に実行させる、
   請求項５に記載のプログラム。