JP7129270B2 - 画像処理装置、画像処理方法及び画像処理システム - Google Patents

Description

本発明は、視野画像から検出対象を検出する画像処理装置、画像処理方法及び画像処理システムに関する。

従来、路面上に存在する車線区分線や停止線等の対象物を検出する画像処理の前処理として、車両に取り付けられた撮像装置により取得した路面画像をグレースケール画像に変換することが度々行われる（例えば特許文献１段落［００２７］）。

再表２０１７－００９９２３号公報

しかしながら、特許文献１に記載のように、路面画像をグレースケール画像に変換する前処理では、黄色や白等の輝度が大きい色の対象物は十分に検出することができるが、他の色の対象物に対する検出精度が低いという課題がある。

以上のような事情に鑑み、本発明の目的は、種々の色の対象物を検出可能な画像処理装置、画像処理方法及び画像処理システムを提供することにある。

上記目的を達成するため、本発明の一形態に係る画像処理装置は、取得部と、前処理部と、後処理部と、判定部とを有する。
上記取得部は、移動体に設置された撮像部により撮像された視野画像を取得する。
上記前処理部は、上記取得部により取得された視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、上記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とを実行する。
上記後処理部は、上記第１の画像と上記第２の画像の両方に基づいて検出すべき対象の特徴を抽出する。
上記判定部は、上記抽出処理の結果に基づいて、検出対象の有無を判定する。

上記構成によれば、視野画像がグレースケール画像だけはなく、ＲＧＢ空間とは異なる色空間の画像（例えばＨＳＶ画像）に変換される。これにより、輝度が大きい黄色や白色の検出対象だけではなく、輝度が小さい青、緑又は赤等の種々の色の検出対象を検出することができる。従って、従来よりも検出対象に対する検出精度が向上する。

上記前処理部は、上記第１の画像と上記第２の画像とが合成された合成画像を生成し、
上記後処理部は、上記合成画像に基づいて検出すべき対象の特徴を抽出し、
上記判定部は、当該抽出処理の結果に基づき検出対象の有無を判定してもよい。
グレースケール画像である第１の画像とＲＧＢ空間とは異なる色空間の画像である第２の画像（例えばＨＳＶ画像）とを合成することによって両者の欠点が互いに補填されるため、検出対象周辺の光量の変化に対するロバスト性が向上する。

上記判定部は、上記検出対象の色をさらに判定し、
上記画像処理装置は、上記検出対象の色に基づいた画像情報と上記視野画像とを重畳して表示させるための制御信号を生成する信号生成部をさらに有してもよい。
これにより、ユーザに検出対象の色に応じた注意喚起を促すことができる。

上記信号生成部は、上記検出対象の色に応じた制御信号を生成してもよい。

上記目的を達成するため、本発明の一形態に係る画像処理方法は、
移動体に設置された撮像部により撮像された視野画像が取得される。
上記視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、上記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とが実行される。
上記第１の画像と上記第２の画像の両方に基づいて検出すべき対象の特徴が抽出される。
上記抽出処理の結果に基づいて、検出対象の有無が判定される。

上記目的を達成するため、本発明の一形態に係る画像処理システムは、撮像部と、画像処理装置とを有する。
上記撮像部は、移動体に設置される。
上記画像処理装置は、取得部と、前処理部と、後処理部と、判定部とを有する。
上記取得部は、上記撮像部により撮像された視野画像を取得する。
上記前処理部は、上記取得部により取得された視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、上記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とを実行する。
上記後処理部は、上記第１の画像と上記第２の画像の両方に基づいて検出すべき対象の特徴を抽出する。
上記判定部は、上記抽出処理の結果に基づいて、検出対象の有無を判定する。

以上のように、本発明によれば、種々の色の対象物を検出可能な画像処理装置、画像処理方法及び画像処理システムを提供することができる。

本発明の一実施形態に係る画像処理システムの構成例を示すブロック図である。 上記画像処理システムを備えた移動体の概略側面図である。 上記画像処理システムの作用を説明する図である。 本発明の一実施形態に係る画像処理装置の動作手順を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。

＜画像処理システムの全体構成＞
図１は、本発明の一実施形態に係る画像処理システム１００の構成例を示すブロック図である。図２は、画像処理システム１００を備えた移動体１の概略側面図である。

本実施形態の画像処理システム１００は、図１及び図２に示すように、画像処理装置１０と、撮像部２０と、表示部３０とを有する。

画像処理システム１００は、例えば、工場内で運行される移動体（例えばフォークリフト）に搭載され、移動体の走行路上における所定の検出対象（例えば停止線）の有無を判定し、検出対象を検出した場合にはその旨を運転手へ報知する安全支援システムとして構成される。

［画像処理装置］
画像処理装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のコンピュータに用いられるハードウェア要素及び必要なソフトウェアにより実現される。画像処理装置１０は、ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、あるいは、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、その他ＡＳＩＣ（Application Specific Integrated Circuit）等を有してもよい。

画像処理装置１０は、機能的に、取得部１１と、前処理部１２と、後処理部１３と、判定部１４と、表示制御部１５と、通信部１６と、メモリ１７とを有する。

（取得部）
取得部１１は、移動体１に設置された撮像部２０（２１，２２）により撮像された視野画像Ｖ１（図３（Ａ）参照）を時系列に取得可能に構成される。取得部１１は、撮像部２０に対する撮影の指示及び撮影の停止を制御することが可能に構成されてもよい。

（前処理部）
図３は、画像処理システム１００の作用の説明図である。前処理部１２は、図３（Ｂ），（Ｃ）に示すように、取得部１１で取得された視野画像Ｖ１をグレースケール画像Ｖ２（第１の画像）とＨＳＶ（Hue, Saturation, Value）画像Ｖ３（第２の画像）に変換可能に構成される。グレースケール画像Ｖ２及びＨＳＶ画像Ｖ３への変換方法は特に限定されず、例えば特定色を抽出する適宜のアルゴリズムを用いることができる。

（後処理部）
後処理部１３は、視野画像Ｖ１から変換されたグレースケール画像Ｖ２及びＨＳＶ画像Ｖ３の少なくとも一方に基づいて、停止線等の検出すべき対象である被写体の特徴を抽出可能に構成される。このような特徴としては、例えば、画像を構成する各画素のうち所定の輝度閾値以上の対象画素である。

検出対象は特に限定されず、本実施形態では、移動体１が走行する路面（床面）上に存在する直線成分をもった路上物、例えば、走行領域を規定する車線、荷物の載置区画を表示する枠線、一時停止ラインや進行方向の標識（あるいは標示）といった路上標示物が対象とされる。これらの路上標示物は、路面を構成する床材（コンクリートやアスファルト、あるいはこれらの上に塗装された塗膜）の上に、床材とは異なる色でペイントされ、あるいは貼り付けられている。

本実施形態では、水平方向に延びる所定以上の長さの横線を検出対象としている。このような横線としては、典型的には、一時停止ライン（停止線）や横断歩道等が挙げられる。

（判定部）
判定部１４は、後処理部１３の抽出処理の結果に基づいて、撮像部２０により撮像された視野画像Ｖ１に検出対象があるか否かを判定する。判定部１４は、所定のフレーム単位で視野画像Ｖ１における検出対象の存在の有無を判定するように構成される。判定部１４は、典型的には、取得部１１より時系列的に取得される視野画像Ｖ１をフレーム単位で更新するが、数フレームあるいは数十フレーム単位で更新するようにしてもよい。

（表示制御部）
表示制御部１５は、視野画像Ｖ１を表示する表示部３０へ検出対象の存在を知らせる画像情報を表示させるための制御信号を生成するように構成される。これにより、表示部３０を介してユーザに路上への注意喚起を促すことができる。表示制御部１５は、特許請求の範囲の「信号生成部」に相当する。

上記制御信号は、上記画像情報に代えて又はこれに加えて、図示しないスピーカやランプ等から音や光等の報知情報を出力させる信号であってもよい。

（通信部）
通信部１６は、画像処理装置１０と管理装置４０との間で情報を送受信することが可能なアンテナ等を含む通信モジュールを備える。通信部１６は、取得部１１で取得された、撮像部２０により撮像された画像や、後処理部１３により上記所定のフレーム単位で抽出された検出対象の存在の有無に関する情報等を管理装置４０へ出力するように構成される。なお、通信部１６及び管理装置４０の設置は任意であり、必要に応じて省略されてもよい。

（メモリ）
メモリ１７は、画像処理装置１０の各部の動作を実行するプログラムソフトウェアや演算パラメータが格納される。メモリ１７は、取得部１１により取得された視野画像Ｖ１、前処理部１２において生成されたグレースケール画像Ｖ２やＨＳＶ画像Ｖ３、判定部１４による検出対象の存在の有無の判定結果等が格納されてもよい。なお、メモリ１７は、画像処理装置１０とは別の記憶装置で構成されてもよい。

［撮像部］
撮像部２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を有し、移動体１の進行方向の視野を撮影するビデオカメラで構成される。撮像部２０は、図２に示すように前進用および後退用の２つの撮像部２１，２２を備えていてもよい。撮像部２０は、移動体１の走行方向の路面（あるいは床面）Ｓを撮影することが可能に移動体１の適宜の場所に設置される。

視野画像Ｖ１は、典型的には、移動体１の走行方向の視野を撮影した動画であり、主として、移動体１の走行方向における路面Ｓおよびその周囲の画像を含む。取得した視野画像Ｖ１のデータは、メモリ１７に蓄積され、あるいは、通信部１６を介して管理装置４０へ無線送信される。

［表示部］
表示部３０は、撮像部２０で撮影された視野画像Ｖ１を表示することが可能な液晶表示装置や有機ＥＬ表示装置等で構成され、典型的には、図２に示すように移動体１の運転席等に設置される。

本実施形態の表示部３０には視野画像Ｖ１として移動体１の進行方向の前方視野が表示される。ここで前方視野とは、移動体１が前進している場合は撮像部２１により撮影される画像であり、移動体１が後退している場合は撮像部２２により撮影される画像である。

＜画像処理システムの動作＞
次に、本実施形態の画像処理システム１００の典型的な動作について説明する。

図４は、画像処理装置１０の動作手順を示すフローチャートである。以下、図４を適宜参照しながら画像処理装置の画像処理方法について説明する。

［ステップＳ１０１：視野画像取得］
移動体１が走行を開始すると、取得部１１は、撮像部２０から路面Ｓの視野画像Ｖ１を時系列的に取得する。視野画像Ｖ１は、表示部３０に表示される。表示部３０に表示される視野画像Ｖ１は典型的にはＲＧＢ画像である。

［ステップＳ１０２：第１の画像処理］
次に、前処理部１２は、取得部１１から出力された視野画像Ｖ１をグレースケール画像Ｖ２に変換する第１の画像処理を実行する。この第１の画像処理は、時系列に所定のフレーム単位で実行される。第１の画像処理の結果生成されたグレースケール画像Ｖ２はメモリ１７に記憶される。

［ステップＳ１０３：第２の画像処理］
次いで、前処理部１２は、取得部１１から出力された視野画像Ｖ１をＲＧＢ空間とは異なる色空間の画像に変換する第２の画像処理を実行する。本実施形態の第２の画像処理では、典型的には視野画像Ｖ１がＨＳＶ画像Ｖ３に変換され、この処理が時系列にフレーム単位で実行される。

具体的には、前処理部１２は、視野画像Ｖ１をＲＧＢ空間からＨＳＶ空間に変換し、ＨＳＶ空間上において、特定の色成分に対応する領域を閾値処理により特定する。これにより、ＲＧＢ画像（視野画像Ｖ１）から特定の色成分のみが抽出されたＨＳＶ画像Ｖ３が生成される。第２の画像処理の結果生成されたＨＳＶ画像Ｖ３はメモリ１７に記憶される。

［ステップＳ１０４：合成画像生成］
次いで、前処理部１２は、視野画像Ｖ１から変換されたグレースケール画像Ｖ２とＨＳＶ画像Ｖ３とを合成する。これにより、グレースケール画像である合成画像Ｖ４が生成される（図３（Ｄ）参照）。画像の合成は、例えば、グレースケール画像Ｖ２とＨＳＶ画像Ｖ３を構成する各画素について、それぞれに対応する画素値（輝度値）を比較し、大きい輝度値を採用するという方法で行う。

具体的には、グレースケール画像Ｖ２を構成する各画素の濃淡を表す階調値と、ＨＳＶ画像Ｖ３を構成する各画素の色相（Hue）、彩度（Saturation）、明度（Value）の度合いを表す階調値とを比較し、値が大きい方の階調値を補正することによって得られた画素値（輝度値）に基づいてグレースケール画像（合成画像Ｖ４）を生成する。

あるいは、グレースケール画像Ｖ２の画素の画素値（輝度値）と、当該画素に対応するＨＳＶ画像Ｖ３の画素の画素値（輝度値）との平均値を算出し、この平均値を合成画像Ｖ４の画素の画素値（輝度値）とする方法が採用されてもよい。

［ステップＳ１０５：検出対象の有無の判定］
次に、後処理部１３は、先のステップＳ１０４において生成された合成画像Ｖ４に基づいて、停止線等の検出すべき対象である被写体の特徴を抽出する。具体的には、後処理部１３は、合成画像Ｖ４の濃淡を白と黒の２階調に変換することで二値化画像（図示略）を生成する。これにより、合成画像Ｖ４の各画素は、その輝度値に基づいて、当該輝度値が閾値以上の場合は白に、閾値未満の場合は黒に置き換えられる。

後処理部１３は、生成された二値化画像をエッジ処理（エッジ検出）するように構成されてもよい。これにより、合成画像Ｖ４内の停止線等の被写体の輪郭あるいは路面との境界部が強調表示されたエッジ画像（図示略）が得られる。

次いで、判定部１４は、後処理部１３の抽出処理の結果に基づいて、視野画像Ｖ１に検出対象が有るか否かを判定する。具体的には、判定部１４は、生成された二値化画像あるいはエッジ画像に基づいて一軸方向に連続する所定の輝度閾値以上の対象画素をカウントする。そして、対象画素のカウント数が所定値以上であるか否かに基づいて、視野画像Ｖ１内における検出対象の有無を判定し、対象画素のカウント数が所定値以上の場合に、その画素領域を検出対象として抽出する。

ここで、判定部１４により視野画像Ｖ１に検出対象があると判定された場合（ステップＳ１０５のＹＥＳ）、後述のステップＳ１０６が実行される。一方、検出対象が無いと判定された場合は（ステップＳ１０５のＮＯ）、引き続き路面Ｓの視野画像Ｖ１が時系列的に取得される。なお、ステップＳ１０５において述べた検出対象の有無を判定する方法はあくまで一例であり、他の方法が採用されてもよい。

［ステップＳ１０６：色判定］
判定部１４は、先のステップＳ１０１において取得された視野画像Ｖ１の各画素の画素値に基づいて、検出対象と判定された被写体の色を判定する。そして、表示制御部１５は、検出対象の色に応じた制御信号を生成し、この信号を表示部３０に出力する。

［ステップＳ１０７：表示制御］
検出対象の色に応じた制御信号を取得した表示部３０は、図３（Ｅ）に示すように、視野画像Ｖ１と検出対象の色に応じた画像情報とが重畳した重畳画像Ｖ５を表示する。これにより、表示部３０を介してユーザに検出対象の色に応じた注意喚起を促すことができる。

上記の画像情報とは図３（Ｅ）に示すように、例えば、検出対象を囲む枠線Ｗであり、例えば赤色で強調表示される。この場合、枠線Ｗを太線で表示したり、点滅表示したりしてもよい。また、枠線Ｗの形状は、同図示すような矩形に限られず、円形、楕円形、台形等その形状は問わない。

以上の処理は、移動体１の運転が終了するまで繰り返し実行される（ステップＳ１０８）。

＜作用＞
従来、画像処理によって車線区分線や停止線等の検出対象を検出する場合、画像の前処理として、ＲＧＢ画像を輝度変化のみで構成されるグレースケール画像に変換することによって検出対象を検出する。しかしながら、この場合、白や黄色等の輝度が大きい色の検出対象は十分に検出することができるが、他の色の検出対象に対する検出精度が低いという課題がある。

これに対し、本実施形態では、視野画像Ｖ１内の検出対象を検出する際に、グレースケール画像Ｖ２だけはなく視野画像Ｖ１から特定の色成分が抽出された画像であるＨＳＶ画像Ｖ３が利用される。これにより、輝度が大きい黄色や白色の検出対象だけではなく、輝度が小さい青、緑又は赤等の種々の色の検出対象を検出することができる。従って、従来よりも検出対象に対する検出精度が向上する。

また、本実施形態では、視野画像Ｖ１内の検出対象を検出する際に、グレースケール画像Ｖ２とＨＳＶ画像Ｖ３とが合成された合成画像Ｖ４が利用される。これにより、検出対象の色が輝度の低い色であっても当該検出対象がＨＳＶ画像Ｖ３で検出され、ＨＳＶ空間上において特定の色成分に対応する領域を見つける際の閾値処理が適切でないことにより検出対象周辺の光量の影響で検出対象を正しく検出できない場合であっても、色によっては当該検出対象がグレースケール画像Ｖ２で検出される。
即ち、グレースケール画像Ｖ２とＨＳＶ画像Ｖ３とを合成することによって、両者の欠点が互いに補填されるため、検出対象周辺の光量の変化に対するロバスト性が向上する。

＜変形例＞
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく種々変更を加え得ることは勿論である。

例えば、上記実施形態では、合成画像Ｖ４に基づいて検出対象の有無が判定されるがこれに限られず、グレースケール画像Ｖ２及びＨＳＶ画像Ｖ３のどちらか一方に基づいて検出対象の有無が判定されてもよい。

また、上記実施形態では、第１の画像処理が実行された後に第２の画像処理が実行されるがこれに限られず、第１の画像処理と第２の画像処理とが並行して実行されてもよい。これにより、比較的短時間で検出対象の有無を判定することができる。

さらに、本発明では、検出対象の特定の色だけではなく、色毎に処理を並列に実行し、複数の色を見分けて色に応じて異なる処理が実行されてもよい。

加えて、上記実施形態では、検出対象として、停止線等の水平方向に連続する所定長さの線成分を有する対象物を例に挙げて説明したが、車線等の垂直方向（視野画像内では斜め方向）に連続する所定長さの線成分を有する対象物を検出対象としてもよい。

また、上記実施形態の第２の画像処理では、視野画像Ｖ１がＨＳＶ画像Ｖ３に変換されるがこれに限られない。例えば、第２の画像処理では、ＨＳＶ画像に代えて、視野画像Ｖ１がＨＬＳ画像、ＹＵＶ画像、ＸＹＺ画像等のＲＧＢ空間とは異なる色空間の画像に変換されてもよい。

さらに、上記実施形態では、移動体１としてフォークリフトを例に挙げて説明したが、これに限られず、一般車両や自律走行ロボット等の有人または無人の他の移動体であってもよい。さらに、移動体１は、走行体に限られず、ドローン等の飛行体であってもよい。この場合、天井の梁や柱、建物の壁面等を検出対象とすることができる。

加えて、上記実施形態では、検出対象は典型的には停止線であるがこれに限られず、路面Ｓに落下した物体等の対象物以外の他の対象物の検出にも、本発明は適用可能である。

また、実施形態では、視野画像Ｖ１に検出対象が存在する場合、枠線Ｗを表示部３０において強調表示するように構成されたが、上述したように、これに代えて又は加えて、音や光等によりオペレータへ注意を喚起することが可能なブザー、ランプその他の警報器が設置されてもよい。

１０・・・画像処理装置
１１・・・取得部
１２・・・前処理部
１３・・・後処理部
１４・・・判定部
１５・・・表示制御部（信号生成部）
２０・・・撮像部
３０・・・表示部
Ｖ１・・・視野画像
Ｖ２・・・グレースケール画像（第１の画像）
Ｖ３・・・ＨＳＶ画像（第２の画像）
Ｖ４・・・合成画像
１００・・・画像処理システム

Claims (6)

1. 移動体に設置された撮像部により撮像された視野画像を取得する取得部と、
   前記取得部により取得された視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、前記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とを実行する前処理部と、
   前記第１の画像と前記第２の画像の両方に基づいて検出すべき対象の特徴を抽出する後処理部と、
   前記抽出処理の結果に基づいて、検出対象の有無を判定する判定部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記前処理部は、前記第１の画像と前記第２の画像とが合成された合成画像を生成し、
   前記後処理部は、前記合成画像に基づいて検出すべき対象の特徴を抽出し、
   前記判定部は、当該抽出処理の結果に基づき検出対象の有無を判定する
   画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記判定部は、前記検出対象の色をさらに判定し、
   前記画像処理装置は、前記検出対象の色に基づいた画像情報と前記視野画像とを重畳して表示させるための制御信号を生成する信号生成部をさらに具備する
   画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記信号生成部は、前記検出対象の色に応じた制御信号を生成する
   画像処理装置。
5. 移動体に設置された撮像部により撮像された視野画像を取得し、
   前記視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、前記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とを実行し、
   前記第１の画像と前記第２の画像の両方に基づいて検出すべき対象の特徴を抽出し、
   前記抽出処理の結果に基づいて、検出対象の有無を判定する
   画像処理方法。
6. 移動体に設置された撮像部と、
   前記撮像部により撮像された視野画像を取得する取得部と、前記取得部により取得された視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、前記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とを実行する前処理部と、前記第１の画像と前記第２の画像の両方に基づいて検出すべき対象の特徴を抽出する後処理部と、前記抽出処理の結果に基づいて検出対象の有無を判定する判定部と、を有する画像処理装置と
   を具備する画像処理システム。

Images