JP2007058282A - 画像認識処理装置 - Google Patents

Abstract

【課題】 画像認識処理に関し、特に画像認識処理用ＬＳＩのメモリ量を削減し、画質の劣化による認識能力の低下を防止した車載用の画像認識処理装置を提供する。
【解決手段】 ２値化した画像データの認識処理を行う画像認識処理装置２０であって、前記２値化した画像データを格納するメモリ２３と、画像データを複数画素から成る画素ブロックに分割し、前記複数画素の累積画素値によって前記画素ブロックを２値化して前記メモリに格納する第一の２値化手段２２と、を有する。前記メモリ２３は、前記画素ブロックの画素数と対応する画面領域に分割される。
【選択図】 図３

Description

本発明は画像認識処理に関し、特に画像認識処理用ＬＳＩのメモリ量を削減し、画質の劣化による認識能力の低下を防止した車載用の画像認識処理装置に関するものである。

図１は、車載用画像認識処理装置を備えた車両の一例を示したものである。
図１の（ａ）に示す車両１は、車両前方を撮影する車載カメラ２、前方車両との間の相対速度や相対距離を測定するレーザレーダ３、そして車速センサ等の各種センサを有して車両全体を制御する制御ＥＣＵ４を搭載している。図１の（ｂ）には、制御ＥＣＵ４が、車載カメラ２やレーザレーダ３等からの信号に基づいて、図示しない車室内のディスプレイ上に表示する画像の一例を示している。

図２は、従来の車載用画像認識処理装置２０の動作の一例を図式的に示したものである。なお、本例の画像認識処理装置２０は、図１の車載カメラ２と制御ＥＣＵ４とで構成されており、ＣＣＤ (Charge Coupled Device) ２１は車載カメラ２に、そして画像処理ＬＳＩ２２は制御ＥＣＵ４にそれぞれ内蔵されている。

図２の（ａ）では、ＣＣＤ２１が受光した信号を、画像処理ＬＳＩ２２が各画素単位（６４０×４８０ビット毎）に２値化（１又は０）し、それを内部メモリ２３に格納する。画像処理ＬＳＩ２２は、例えばＣＣＤ２１からの２５６階調レベル（８ビット）の受光信号を、その中間値（１２８階調レベル）を基準に、それ以上の受光レベルの信号に「１（白）」を、それ未満には「０（黒）」を割り付けて格納する。なお、画像のエッジ検出の際には、縦方向、横方向それぞれ個別に２値化した結果の累積（以下；エッジヒストグラム）を行う必要があるため、本例では２画面分のメモリ２３（６４０×４８０×２ビット）を設けている。

図２の（ｂ）は、図２の（ａ）の例でさらに画素単位の間引き処理を行った場合を示している（特許文献１参照）。例えば、２画素のうちの１画素を間引くことで、縦方向と横方向の２方向合わせて内部メモリ２３のメモリ量を４分の１に削減することができる。

特開２００２−２５２７５４

上述したように、図２の（ａ）に示す従来技術では、画像認識処理のために車載カメラ２で撮影した画像を１画素単位で２値化し、その結果を画像処理ＬＳＩ２２の内部メモリ２３に蓄積している。そのため、画像認識処理に必要なメモリ容量は、カメラの解像度（＝画素数）を６４０×４８０画素とすると、縦方向、横方向のエッジヒストグラムを求める必要から６４０×４８０×２＝６１４Ｋｂｉｔと大きくなり、その結果画像処理ＬＳＩ２２の単価が上昇するという問題があった。

このため、図２の（ｂ）に示す画素を間引いて２値化する方法も行われていたが、この方法では実質的に画素数を削減して撮影したのと同じ結果となり、画像認識能力の低下を招くという問題があった。

そこで本発明の目的は、上記の問題点に鑑み、複数画素で構成される画素ブロック単位で２値化を行う画像認識処理装置を提供することにある。また、２値化の対象となる前記画素ブロックの適用領域や適用条件を適宜可変させる画像認識処理装置を提供することにある。

本発明によれば、２値化した画像データの認識処理を行う画像認識処理装置であって、前記２値化した画像データを格納するメモリと、画像データを複数画素から成る画素ブロックに分割し、前記複数画素の累積画素値によって前記画素ブロックを２値化して前記メモリに格納する第一の２値化手段と、を有する画像認識処理装置が提供される。前記メモリは、前記画素ブロックの画素数と対応する画面領域に分割される。

前記画像認識処理装置は、画像データを１画素単位で２値化して前記メモリに格納する第二の２値化手段と、前記第一の２値化手段と前記第二の２値化手段の適用及び／又は前記メモリ内におけるそれらの適用領域を可変する制御手段と、をさらに有する。

本発明によれば、１画素単位で２値化した画素を単に間引く場合（画像情報の欠落）とは異なり、元の画像情報を反映させた画素ブロックを用いることで画像認識能力の低下を抑制し、それと同時に画素ブロック単位の２値化によってその情報を格納するメモリ量を削減することが可能となる。また、周囲環境等の種々の条件によって前記画素ブロックの適用領域や適用条件を適宜変化させることで、低コストで十分な性能を有する画像認識処理装置を提供することが可能となる。

図３は、本発明による画像認識処理装置２０の基本構成を図式的に示したものである。
本例では、画像処理ＬＳＩ２２において、車載カメラ２より取り込んだ画像データの４画素（２×２画素）をまとめて１つの画素ブロックとし、画素ブロック単位で２値化した値を内部メモリ２３に格納する。そのため新たにラインメモリ２４を設け、先ず車載カメラ２から入力された偶数ラインの画像データを一旦ラインメモリ２４に格納する。

次に、隣接する奇数ラインの画像データをラインメモリ２４に入力し、偶数ラインの２つの画素と対応する奇数ラインの２つの画素をまとめて１画素ブロックとする。そして、各画素ブロックに含まれる４画素の各諧調レベルを加算してその中間値との比較により画素ブロック単位の２値化を行う。２値化された「１（白）」又は「０（黒）」の値は、画素ブロック単位で内部メモリ２３に格納される。このように、本例では４画素全ての画像データを反映させた画素ブロックを用いるため、２値化した画素を単に間引く場合（画像情報の欠落）と比べて画像認識能力の低下が抑制される。

一例として、「１」、「０」、「０」、「０」の２×２画像データの場合を考えると、最初の画素値だけ用いる単純な間引き処理では間引き後の値は「１」となる。一方、本例の画素ブロックの値は「０」となり、単純間引きを行う場合よりも実際の画像データを反映させた値となる。また、画素ブロック単位の２値化によって、その値を格納する内部メモリ２３のメモリ量も１／４に削減される。なお、本例では２×２の画素単位で２値化しているがそれに限定されず、例えば画素ブロックサイズを３×３等としてもよく画素ブロック形状も正方形状に限定されない。

上述した２値化判定の手法をより具体的に説明すると、以下に示す１画素毎の判定結果の合計値又は複数画素の合計値を用いる２通りの判定方法が使用できる。
１画素毎の判定結果の合計値を用いる判定方法では、例えば１画素を８ｂｉｔ、その２値化の判定基準を１２８、最終的に２値化する画素を４とすれば、２値化判定基準は２となる。１０進数で１３０，１８０，４０，２００の４画素値の画像データを車載カメラ２から取得した場合、１３０（＞１２８）→２値化により「１」、１８０（＞１２８）→２値化により「１」、４０（＜１２８）→２値化により「０」、２００（＞１２８）→２値化により「１」となり、その合計は３（＞２）となって２値化後は「１」となる。

別の複数画素の合計値を用いる方法では、上記と同様に１画素を８ｂｉｔ、最終的に２値化する画素を４とすれば、その２値化判定基準は５１２（＝１２８×４）となる。１０進数で１３０，１８０，４０，２００の４画素値の画像データを車載カメラ２から取得した場合、その合計値は５５０（＞５１２）となり２値化後は「１」となる。

両者を比較すれば、前者の方法ではラインメモリの容量を削減できるが演算数が増加し、後者の方法では演算数は削減できるが必要なメモリ量が増加する。従って、画像認識の用途や必要条件に応じて最適な２値化判定方法を選択することになる。

図４は、本発明の第１の実施例を示したものである。
本例では、図３の画素ブロック化によって１画面分のメモリ使用量が低減された既存の画像処理ＬＳＩ２２の内部メモリ２３を複数画面用に分割する。そして、車両前方及び左右方向を撮影する３台の車載カメラ２’からの画像データを１つの画像処理ＬＳＩ２２で処理する。これにより、外部メモリを付加することなく１つの画像処理ＬＳＩ２２で複数のシステムアプリケーションに対応可能となる。

具体的には、１個の車載カメラ２を用いるシステムでは、従来通り１画素単位で２値化を行う。一方、複数台の車載カメラ２’を用いるシステムでは、複数画素を含む画素ブロック単位で２値化を行う。図４の（ｂ）には車載カメラ３台分のメモリを個別に用意する従来構成の一例（６４０×４８０×２×３）を示しており、図４の（ａ）には図３の２×２画素ブロックを用いるメモリ構成の一例（６４０×４８０×２×３／４）をそれぞれ示している。

以降では、２値化する画素単位を適宜可変し、それによって画像処理ＬＳＩ２２の限られた内部メモリ２３を有効活用しながら最適な画像認識処理を行う実施例について説明する。なお、各実施例は個々に又はそれらを組み合わせて実施することができる。

図５は、本発明の第２の実施例を示したものである。
本例では２値化する画素ブロックを車両１の車速に応じて可変する。本例では２値化する画素ブロックのサイズに応じて処理できる画面数を決定する。そのため、画像処理ＬＳＩ２２の内部に画面数を決定するレジスタ（図示せず）が新たに設けられる。制御ＥＣＵ４は、車速センサからの車速パルスを計測して現在の車速に応じた画面数（又は画素ブロックの画素数）を前記レジスタに設定する。

車載カメラ２からは毎秒３０フレームの画像データが与えられ、それらは前記レジスタに設定された画面数分の対応メモリ領域に格納される。その際、図５の（ａ）の車速が低い場合には、映像の時間的変化が少ないことから毎秒３０フレームの画像データを３フレーム（図中の画像１〜画像３）に１回の割合でメモリへ取り込み、従来と同じ１画素単位の２値化処理（画面数＝１）を行う。画像処理ＬＳＩ２２は画像１だけを取り込み、画像２及び３の取り込みタイミングで取り込んだ画像１の認識処理（ヒストグラム処理及びマッチング処理）を行う。

一方、図５の（ｂ）の車速が高い場合には、映像の時間的変化が大きいことから、画素ブロック化によって処理すべき画素数を低下させる代わりに３フレーム（画像１〜画像３）に２回の割合で取り込む画像データを増加させる。本例では４画素を含む画素ブロック単位の２値化処理（画面数＝４）を行う。画像処理ＬＳＩ２２は、画像１及び２を順次取り込んで、画像２の取り込みタイミングで画像１の認識処理を行い、そして画像３の取り込みタイミングで画像２の認識処理を実行する。

上述した車速以外に、例えば車両１に備えられたレーザレーダ３を使って前方車両との間の車間距離を測定し、その測定結果に基づいて最適な認識処理を行うことができる。車間距離が近い場合には鮮明な画像が期待できることから、画素数を落として画像処理枚数を増やし、近距離の前方車両の変化に素早く対応できるようにする。反対に、車間距離が遠い場合には２値化する画素数を増やして解像度を上げる。

その他にも、天候により２値化を行う画素数を変更することができる。例えば、晴れの日には鮮明な画像が期待できるため画素数を落とし、雨の日には画素数を増やして解像度を上げる。同様に、１日の時間帯や季節により２値化を行う画素数を変更することもできる。例えば、日中や日の出の早い夏場の明るい時は画素数を落とし、夕方や日没の早い冬場の時は画素数を増やす。このように、種々の状況や環境条件に応じて２値化を行う画素数を変更することができる。

図６は、本発明の第３の実施例を示したものである。
本例では、図３に示す隣接ライン間に渡る画素ブロック化（正方形状のブロック化）とは異なり、縦並びや横並びの同一ライン上で画素ブロック化を行う。このようなブロック化によって縦方向又は横方向に特徴を有するエッジを確実に検出することができる。

縦方向では縦の精度が重要であり、横方向では横の精度が重要であるため、縦方向のエッジ検出を行う場合には横長（１×４等）の４画素に対して２値化を行い、横方向のエッジ検出を行う場合には縦長（４×１等）の４画素に対して２値化を行う。本例では図３のラインメモリ２４が不要となる利点がある。なお、本例で２値化する画素の数は図３の場合と同じである。

以降の図７〜９の各実施例では、１画素単位の２値化と画素ブロック単位の２値化とを組み合わせてそれらを特定領域へ適用する。
図７は、本発明の第４の実施例を示したものである。
本例では、前の画面で抽出したエッジ付近のみを、次の画面において１画素で２値化して検出エッジの精度を向上させ、それ以外の画素についは前の画面と同じ画素ブロックによる２値化を行う。画像認識処理において重要なのは対象物の輪郭（＝エッジ）を抽出することである。つまりエッジのない平坦な画素では認識能力を落とすことが可能である。そこで車載カメラ２から入力される画像の連続性に着目し、前回処理して得られたエッジの位置情報を用いることで、そのエッジ付近のみを１画素で２値化し、それ以外は複数画素（画素ブロック）で２値化している。

ここでは、以下に示す処理１）〜４）を実行する。
１）動作開始時に予め設定した領域のみ１画素単位で２値化を行い、それ以外の部分は４画素で２値化を行う。２）その状態のエッジヒストグラムより、エッジ位置をＣＰＵにより判定する。３）２）で判定したエッジ部分を１画素単位で２値化し、それ以外を４画素単位で２値化する。４）以降、１画素単位で２値化する領域を前の画面で検出した境界付近に変化させていく。５）さらに他の要因を含めることができる。例えば、車速を検出して、高速時には境界付近の１画素単位の２値化領域を広く取り、低速時には境界付近の１画素単位の２値化領域を狭く取るようにすることができる。

図８は、本発明の第５の実施例を示したものである。
本例では、画面全体に同じ処理を行うのではなく、精度の高い画像認識処理を行う領域（参照領域）を１つ以上設定し、参照領域内では１画素単位の２値化を行い、その他の領域では画素ブロック単位の２値化を行う。画像認識処理において画像の精度が必要な参照領域は予め限定されており、参照領域以外の画像精度は必要が無い場合がある。例えば図４の例において、車両前方（前方カメラ）からの画像データは精度の高い１画素単位の２値化を行い、左右方向（左右方向カメラ）からの画像データは４画素単位の２値化を行う。

図９は、本発明の第６の実施例を示したものである。
車両１が走行中に車線変更を行うと、例えば前画面のエッジ検出位置が大きくずれて前画面との相関関係が成立しなくなる場合が生じる。また、車両１がトンネルに出入りする際にターゲット見失う等によって同様のことが生じ得る。そのため、本例ではそのような場合を検出すると、既存の参照領域の設定を初期値に戻し、次に車両の進行方向を中心に新たなお参照領域の設定を行う。特に、車線変更時には広範囲にわたって危険が生じ得ることから、横方向に広く１画素単位の２値化を行う参照領域を設定する。

具体的には、車両１が左方向に車線変更を行うと，制御ＥＣＵ４は内蔵するＧセンサにより変更方向を検知し、この場合は参照領域内の左方向、又は前画面内の左方向、又は前画面内の左方向に存在する参照領域に対し１画素単位の２値化を設定する。また、交差点付近では広範囲にわたって危険があるので、横方向に広がる参照領域を設定する。さらに、自車前方に他車が車線変更してきた際に、前記他車の進行方向をレーザレーダ３で検出してその進行方向の領域に１画素単位で２値化を行う参照領域を設定することもできる。

本発明では、これまで説明してきた種々の実施例を組み合わせることができる。また、そのような組み合せを前記参照領域やそれ以外の領域に対して適用して様々な実施態様を実現することができる。エッジ付近の検出精度の向上、車速度、車間距離、１日の時間帯、季節等の複数の要因により、１画素単位又は画素ブロック単位の２値化の適用領域や条件を適宜変化させることができる。

一例として、レーザレーダ３によって検出したその参照領域内の対象物との相対速度に応じてエッジ検出した境界付近の１画素単位で２値化する領域の広／狭を変更することができる。この場合、相対速度が高いときに１画素単位で２値化する領域を境界付近中心に広く取り、相対速度が低いときに１画素単位で２値化する領域を境界付近中心に狭く取ることで、相対速度が高いほど次画面で検出するエッジ位置の大きな変動に対処する。

また、参照領域内の対象物との相対速度と距離の複合条件を用いて１画素単位で２値化する領域を変更してもよい。さらに、外部オペレータからの指示より以下のような任意の組合せを実行させることもできる。
相対速度 相対距離 ２値化領域
高 近 広
高 遠 広
低 近 広
低 遠 狭

なお、実施例では１画素を８ビットとしたが、これに限らず１６ビット等、他のビット数でも適用可能である。また、レーザレーダ以外にもミリ波レーダ等、その他のレーダにも適用可能である。

車載用画像認識処理装置を備えた車両の一例を示した図である。 従来の車載用画像認識処理装置の動作の一例を図式的に示した図である。 本発明による画像認識処理装置の基本構成を図式的に示した図である。 本発明の第１の実施例を示した図である。 本発明の第２の実施例を示した図である。 本発明の第３の実施例を示した図である。 本発明の第４の実施例を示した図である。 本発明の第５の実施例を示した図である。 本発明の第６の実施例を示した図である。

符号の説明

１ 車両
２、２’ 車載カメラ
３ レーザレーダ
４ 制御ＥＣＵ
２０ 画像認識処理装置
２１ ＣＣＤ
２２ 画像処理ＬＳＩ
２３ 内部メモリ
２４ ラインメモリ

Claims (21)

1. ２値化した画像データの認識処理を行う画像認識処理装置であって、
   前記２値化した画像データを格納するメモリと、
   画像データを複数画素から成る画素ブロックに分割し、前記複数画素の累積画素値によって前記画素ブロックを２値化して前記メモリに格納する第一の２値化手段と、
   を有することを特徴とする画像認識処理装置。
2. 前記メモリは、前記画素ブロックの画素数と対応する画面領域に分割される、ことを特徴とする請求項１記載の画像認識処理装置。
3. 画像データを１画素単位で２値化して前記メモリに格納する第二の２値化手段と、
   前記第一の２値化手段と前記第二の２値化手段の適用及び／又は前記メモリ内におけるそれらの適用領域を可変する制御手段と、
   をさらに有することを特徴とする請求項１又は２記載の画像認識処理装置。
4. 前記画素ブロックは、平行に走る複数の走査線上の複数の画素で形成される、ことを特徴とする請求項１記載の画像認識処理装置。
5. 前記画素ブロックは、同一走査線上の複数の画素で形成される、ことを特徴とする請求項１記載の画像認識処理装置。
6. 前記画像認識処理装置は、車両に搭載されており、
   前記制御手段は、各種センサを用いて車両状況を判定し、それによって対応する前記制御を行う、を特徴とする請求項３記載の画像認識処理装置。
7. 前記車両は複数のカメラを有しており、
   前記メモリにおいて、画素ブロックの画素数と対応して分割された各画面領域に、前記複数のカメラのそれぞれの画像データが格納される、ことを特徴とする請求項６記載の画像認識処理装置。
8. 前記制御手段は、自車の車速を判定し、車速が高い場合には前記第一の２値化手段を適用し、車速が低い場合には前記第二の２値化手段を適用する、ことを特徴とする請求項６記載の画像認識処理装置。
9. 前記制御手段は、前方車両との相対距離を判定し、相対距離が短い場合には前記第一の２値化手段を適用し、相対距離が長い場合には前記第二の２値化手段を適用する、ことを特徴とする請求項６記載の画像認識処理装置。
10. 前記制御手段は、天候、１日の時間帯、季節のいずれか１つ又はそれらの組合せを判定して前記制御を行うこと、を特徴とする請求項６記載の画像認識処理装置。
11. 前記制御手段は、前の画面で抽出したエッジ付近のみ前記第二の２値化手段を適用すること、を特徴とする請求項６記載の画像認識処理装置。
12. 前記制御手段は、さらに自車の車速を判定し、車速が高い場合には前記第二の２値化手段を適用する領域を前記抽出したエッジ付近を中心に広くとり、車速が低い場合には前記第二の２値化手段を適用する領域を前記抽出したエッジ付近を中心に狭くとること、を特徴とする請求項１１記載の画像認識処理装置。
13. 前記制御手段は、さらに前方車両との相対距離を判定し、相対距離が短い場合には前記第一の前記第二の２値化手段を適用する領域を前記抽出したエッジ付近を中心に広くとり、相対距離が遠い場合には前記第二の２値化手段を適用する領域を前記抽出したエッジ付近を中心に狭くとること、を特徴とする請求項１１記載の画像認識処理装置。
14. 前記制御手段は、さらに前方車両との相対速度を判定し、相対速度が高い場合には前記第二の２値化手段を適用する領域を前記抽出したエッジ付近を中心に広くとり、相対速度が低い場合には前記第二の２値化手段を適用する領域を前記抽出したエッジ付近を中心に狭くとること、を特徴とする請求項１１記載の画像認識処理装置。
15. 前記制御手段は、前記メモリ内に１つ以上の前記第二の２値化手段を適用する参照領域を設定しておくこと、を特徴とする請求項６記載の画像認識処理装置。
16. 前記制御手段は、車線変更又はトンネルの出入りを判定し、車線変更時又はトンネルの出入り時には前記参照領域の設定を初期値に戻すこと、を特徴とする請求項１５記載の画像認識処理装置。
17. 前記制御手段は、車線変更又は自車の進行方向への他車の進入を判定し、車線変更時又は他車の進入時には車線変更による進行方向又は他車の進入方向に前記参照領域を設定すること、を特徴とする請求項１５記載の画像認識処理装置。
18. 前記制御手段は、車線変更時又はトンネルの出入り時には前記参照領域の横方向を広げること、を特徴とする請求項１５又は１６記載の画像認識処理装置。
19. 前記制御手段は、外部からの指示に従って任意に前記制御を行うこと、を特徴とする請求項６記載の画像認識処理装置。
20. 前記第一の２値化手段は、画素諧調レベルの中間基準値と前記複数画素の各々の諧調レベルとを比較して前記複数画素を２値化し、該２値化した値の累積加算値とその中間基準値との比較によって前記画素ブロックを２値化すること、を特徴とする請求項１記載の画像認識処理装置。
21. 前記第一の２値化手段は、画素諧調レベルの中間基準値に前記複数画素の数を乗算して得た比較基準値と前記複数画素の各々の諧調レベルの累積加算値との比較によって前記画素ブロックを２値化すること、を特徴とする請求項１記載の画像認識処理装置。

Images