JP5930806B2 - 検知装置、及び検知方法 - Google Patents

Description

本発明は、検知装置、及び検知方法の技術に関する。

車載カメラが撮影した車外画像を車両に搭載されたディスプレイへ表示する画像表示装置が開発されている。このような画像表示装置によれば、ユーザはディスプレイに表示された車外画像を参考にして車両を運転することができる。

例えば、特許文献１には、特定の場所を一定の時間中一定の時間間隔で連続して撮像した複数の画像のそれぞれから、移動物体の一部を示す特徴点を抽出し、一定の時間中移動物体が画像上を一定の速度で移動することを前提に、複数の画像のうちの第１画像における各特徴点に相当するものを他の画像における特徴点の中から選択し、同一の特徴点の群を時間方向連結群として記憶手段に記憶させ、時間方向連結群のペアーの空間方向の連結の強さを示す空間方向連結指標値を算出し、空間方向連結指標値に基づいて、同一移動物体に属する前記時間方向連結群を検出することにより、これらの時間方向連結群に対応する移動物体を検出する技術が開示されている。

また、例えば、特許文献２には、移動体に設置された撮像装置によって撮像された動画像の画像上の検出対象点の画面上での動きを表す検出対象速度ベクトルを求め、検出対象点の予測速度ベクトルを他の検出対象点の検出対象速度ベクトルを用いて算出し、検出対象速度ベクトルの水平成分が予測速度ベクトルの水平成分よりも第１の閾値以上大きい場合に、当該検出対象点が障害物上の点であると判定する技術が開示されている。

特開２００５−２５０９１０号公報 特開２００５−２０９０１９号公報

車載カメラが撮影した車外画像を車両に搭載されたディスプレイへ表示する画像表示装置が開発されている。このような技術の一例として、交差点進入時や出庫する際に、自車両に接近する車両や歩行者（以下、ターゲットともいう）を自動で検出し、運転者に通知するシステムがある。ここで、図１は、従来技術において、自車両に接近するターゲットを強調枠で囲んで通知する例を示す。図１に示す従来技術では、ターゲットのエッジを検出して各ターゲットの一部を構成する特徴点を抽出し、抽出した特徴点をグループ化し、運転者に注意を促すための強調枠を設定し、これを画面に表示して運転者に対して注意を促す。但し、図１に示すような従来技術では、抽出した特徴点をグループ化する際、隣接する異なるターゲットの特徴点が区別されず、複数のターゲットが存在しているにも関わらず複数のターゲットが一つの強調枠で囲まれてしまうことがあった。図１においても、本来ターゲットが３つ存在するものの、これらが一つの強調枠で囲まれている。複数のターゲットが一つの強調枠で囲まれると、強調枠内には、実際に接近するターゲットが存在しない無駄な領域も存在することになる。複数のターゲットを含む場合に強調枠が広い場合には、強調枠が広くなる為にこのような無駄な領域を含む強調枠を通知された運転者は、強調枠内の特にどこに注意をしたらよいか困惑し、運転操作に支障をきたすことも想定される。特に、交差点進入時や出庫する際など、車両が停止している状態、またはこれに近い状態では、ターゲットの位置や場所を正確に通知できることが好ましい。一方で、車
両が走行中においては、ターゲットの位置や場所は、停止時ほど正確に通知する必要が無い場合もある。

本発明では、車両の状況に応じてターゲットをグループ化する範囲を変更でき、運転者が短時間で正確な状況整理をでき、円滑な運転操作を可能とする技術を提供することを課題とする。

本発明では、上述した課題を解決するため、特徴点を抽出してグループ化する範囲を状況に応じて変更することとした。

より詳細には、本発明は、車載カメラが撮影した車外画像からターゲットを検知してディスプレイへ表示する検知装置であって、前記車外画像から前記ターゲットの一部を構成する特徴点を抽出し、当該特徴点をグループ化する際の範囲を定めた範囲既定値に基づいて前記抽出された特徴点をグループ化し、グループ化された特徴点に基づいて前記ターゲットの存在を運転者に通知するための強調枠を決定し、決定された強調枠を前記ディスプレイに表示させる情報処理部を備え、前記情報処理部は、車両の状況に応じて前記範囲既定値を変更し、当該車両の状況に応じて変更される前記範囲既定値に基づいて前記抽出された特徴点をグループ化し、変更された範囲既定値に基づいてグループ化された特徴点に基づいて前記強調枠を決定する。

特徴点は、ターゲットの一部を構成するもので、換言すると、ターゲットを表す境界線上に存在する点である。グループ化は、ターゲットの存在を運転者に通知するために決定する強調枠を決定するために行うもので、特定した「点」同士を所定の条件に従って関連付けるものである。

本発明に係る検知装置は、上記グループ化に一つの特徴を有しており、グループ化する際の範囲を定めた範囲既定値を車両の状況に応じて変更できることを特徴とする。車両の状況とは、運転に影響を与える要因を広く含むもので、この車両の状況には、車両の走行状態、車両の周囲の状況、車外画像の内容などが例示される。本発明に係る検知装置では、このような状況に応じて範囲既定値が変更できる。すなわち、車両の状況に応じてグループ化する範囲を狭くしたり、又は広くしたりすることができる。グループ化する範囲を狭くすると、相対的に広い場合に比べ、一つの特徴点に対して関連付けを行える特徴点の数が減少する。その結果、ターゲットが複数存在する場合でも、ターゲット同士を区別することが可能となる。したがって、グループ化する範囲を狭くする場合は、車両が停止している状況のように、ターゲットをより正確に把握したい状況に有用である。

一方で、グループ化する範囲を広くすると、相対的に狭い場合に比べ、一つの特徴点に対して関連付けを行える特徴点の数が増加する。そのため、ターゲットが複数存在する場合、ターゲット同士を区別することが困難になる。したがって、グループ化する範囲を広くする場合は、車両が走行中のように、停止時と比較すると、ターゲットを特定する範囲が広くてもよい状況に有用である。

本発明に係る検知装置によれば、車両の状況に応じてターゲットをグループ化する際の範囲を変更できる。また、これに応じてターゲットの接近状況を通知する態様を変更できる。

ここで、本発明に係る検知装置において、前記情報処理部は、前記特徴点の数が既定数を上回る場合、当該特徴点をグループ化する範囲が狭くなるよう前記範囲既定値を小さくし、変更された範囲既定値に基づいて前記抽出された特徴点をグループ化するようにして
もよい。

特徴点の数が多い場合には、ターゲットが複数存在していることが想定される。そこで、本発明では、特徴点の数が既定数を上回る場合、グループ化する範囲が狭くなるよう範囲既定値を小さい値に変更する。これにより、ターゲットをより正確に特定することができる。特徴点の数を判断する際に基準となる既定数は、車両の状況に応じて想定されるターゲットの数や種類に基づいて適宜設定することができる。ここでの車両の状況には、例えば、交差点進入時や出庫する際など、車両が停止している状態、またはこれに近い状態が例示される。

また、本発明に係る検知装置は、前記情報処理装置は、前記ターゲットの通過が想定される領域を定める仮想枠を決定し、前記強調枠が前記仮想枠内に収まらない場合、当該特徴点をグループ化する範囲が狭くなるよう前記範囲既定値を小さくし、変更された範囲既定値に基づいて前記抽出された特徴点をグループ化するようにしてもよい。

仮想枠はターゲットの通過が想定される領域を定めるものであり、強調枠がこのような仮想枠に収まらない場合には、強調枠が不要な領域、すなわちターゲット以外のものを含んでいると判断することができる。本発明では、強調枠が仮想枠内に収まらない場合、グループ化する範囲を狭くすることで、ターゲットをより正確に特定することができる。なお、強調枠が仮想枠内に収まる場合、グループ化する範囲を広げるようにしてもよい。

ここで、本発明は、検知方法として特定することもできる。例えば、本発明は、車載カメラが撮影した車外画像からターゲットを検知してディスプレイへ表示する検知方法であって、前記車外画像から前記ターゲットの一部を構成する特徴点を抽出する抽出ステップと、前記特徴点をグループ化する際の範囲を定めた範囲既定値に基づいて前記抽出された特徴点をグループ化するグループ化ステップと、前記グループ化された特徴点に基づいて前記ターゲットの存在を運転者に通知するための強調枠を決定する強調枠決定ステップと、前記決定された強調枠を前記ディスプレイに表示させる表示ステップと、を備え、前記グループ化ステップでは、車両の状況に応じて前記範囲既定値を変更し、当該車両の状況に応じて変更される前記範囲既定値に基づいて前記抽出された特徴点をグループ化し、前記強調枠決定ステップでは、変更された範囲既定値に基づいてグループ化された特徴点に基づいて前記強調枠を決定する。

また、本発明に係る検知方法において、前記グループ化ステップでは、前記特徴点の数が既定数を上回る場合、前記特徴点をグループ化する範囲が狭くなるよう前記範囲既定値を小さくし、変更された範囲既定値に基づいて前記抽出された特徴点をグループ化するようにしてもよい。更に、本発明は、前記ターゲットの通過が想定される領域を定める仮想枠を決定する仮想枠決定ステップを更に備え、
前記グループ化ステップでは、前記強調枠が前記仮想枠内に収まらない場合、前記特徴点をグループ化する範囲が狭くなるよう前記範囲既定値を小さくし、変更された範囲既定値に基づいて前記抽出された特徴点をグループ化するようにしてもよい。

また、本発明は、上述した検知方法を実現させるプログラムとして特定することもできる。更に、本発明は、そのようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この場合、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行することにより、その機能を提供させることができる。なお、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

本発明によれば、車両の状況に応じてターゲットをグループ化する範囲を変更でき、運転者が短時間で正確な状況整理が可能となり、円滑な運転操作が可能となる。

従来技術において、自車両に接近するターゲットを強調枠で囲んで通知する例を示す。 第一実施形態に係る検知装置の構成を示す。 第一実施形態に係る車両を示す。 第一実施形態に係る検知処理のフローを示す。 フロントカメラで撮影された車外画像の一例を示す。 検出領域が設定された車外画像の一例を示す。 検出領域に対して特徴点の抽出処理を実行した車外画像の一例を示す。 図７に示す車外画像に対して特徴点の追跡処理を実行した車外画像の一例を示す。 第一実施形態に係るグループ化処理のフローを示す。 水平方向のヒストグラムの作成を説明する図を示す。 穴埋め処理を説明する図を示す。 車両の走行状態に応じて穴埋め係数を決定する処理フローを示す。 穴埋め係数「ａ」のパラメータテーブルＡを示す。 特徴点数に応じて穴埋め係数を決定する処理フローを示す。 穴埋め係数「ａ」のパラメータテーブルＢを示す。 穴埋め後のヒストグラムに対してエッジ検出する処理を説明するイメージを示す。 垂直方向のヒストグラムの作成を説明するイメージ図を示す。 第一実施形態に係る検知処理によって生成された通知画面を示す。 図１８に示す通知画面の比較例であり、穴埋め係数「ａ」を図１８に示す場合よりも大きい値に設定した例を示す。 第二実施形態に係るグループ化処理のフローを示す。 車外画像に仮想枠を表示した例を示す。 第二実施形態に係る検知処理によって生成された通知画面を示す。 図２２に示す通知画面の比較例であり、穴埋め係数「ａ」を変更する前の値で穴埋め処理を行った例を示す。

次に、本発明に係る検知装置の実施形態について図面に基づいて説明する。以下に示す第一実施形態は例示であり、本発明の技術的範囲は、これらに限定されるものではない。

[第一実施形態]
＜構成＞
図２は、第一実施形態に係る検知装置１の構成を示す。検知装置１は、車両２に搭載され、車載カメラ３で撮影された車外画像からターゲットを検知してディスプレイ６へ表示し、また必要に応じてスピーカ７を通じて音声通知する。車載カメラ３には、フロントカメラ３１、左サイドカメラ３２、右サイドカメラ３３、リヤカメラ３４が含まれる。これらの車載カメラ３は、いずれも検知装置１とケーブルを介して接続されている。また、車両２には、検知装置１に関連するものとして、車速センサ４、シフトポジションセンサ５、スピーカ７が設けられ、検知装置１とケーブルを介して電気的に接続されている。

検知装置１は、ＡＳＩＣ（Application Specific Integrated Circuit）によって構成
することができ、例えば図２に示すように、ＲＡＭ（Random Access Memory）１０、Ａ／
Ｄコンバータ１１、デコーダ１２、検知処理部１３、エンコーダ１４、Ｄ／Ａコンバータ１５を備える。なお、検知装置１は、ＣＰＵ（Central Processing Unit）、メモリを備
えるマイクロコンピュータによって構成してもよい。

Ａ／Ｄコンバータ１１は、フロントカメラ３１などの車載カメラ３から出力された画像信号をデジタル信号に変換する。また、Ａ／Ｄコンバータ１１は、車速センサ４やシフトポジションセンサ５からの各種信号をデジタル信号に変換する。デコーダ１２は、変換されたデジタル信号に含まれるデータを複合する。複合されたデータは、検知処理部１３に入力される。検知処理部１３（本発明の情報処理部に相当する。）は、入力されるデータを処理する。検知処理部１３が実行する処理内容（検知処理の内容）については、後述する。検知処理部１３は、ＲＡＭ１０にアクセス可能であり、入力されたデータの書き換えを行うことができる。検知処理部１３で処理されたデータは、エンコーダ１４に出力される。エンコーダ１４は、検知処理部１３で処理されたデータを符号化する。符号化されたデータは、Ｄ／Ａコンバータ１５へ出力される。Ｄ／Ａコンバータ１５は、符号化されたデータをアナログ信号に変換され、例えばディスプレイ６などに出力される。

車載カメラ３は、車外画像を撮影する。カメラのレンズには魚眼レンズが採用されており、その魚眼レンズは１８０度以上の画角を有している。このため、車載カメラ３を構成する、フロントカメラ３１、左サイドカメラ３２、右サイドカメラ３３、リヤカメラ３４により、車載カメラ３は、車両２の全周囲の撮影が可能となっている。

図３に示すように、フロントカメラ３１は、車両２の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両２の前進方向へ向けられている。左サイドカメラ３２は、左サイドミラーに設けられており、その光軸は車両２の前進方向を基準にした左方向に沿って外部へ向けられている。右サイドカメラ３３は、右サイドミラーに設けられており、その光軸は車両２の前進方向を基準にした右方向に沿って外部へ向けられている。リヤカメラ３４は、車両２の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両２の前進方向の逆方向へ向けられている。なお、フロントカメラ３１やリヤカメラ３４の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。なお、第一実施形態に係る車両２は、合成画像生成部（図示せず）を備えており、合成画像生成部は、フロントカメラ３１、左サイドカメラ３２、右サイドカメラ３３、リヤカメラ３４で撮影された車外画像の合成画像を生成することができる。合成画像生成部の機能を利用することで、車両２の周辺の任意の視点からみた合成画像を生成して、ディスプレイ６へ生成した合成画像を出力して表示させることができる。

車速センサ４は、車両２が移動した際に車輪が回転する速度を車速信号として検知装置１へ出力する。車速センサ４は、車両２のエンジンルーム内に設置される。

シフトポジションセンサ５は、車両２に備わる変速ギヤを変更するシフトがユーザによって操作可能になっており、このシフトポジションを検知してシフトポジションを示す信号を検知装置１出力する。シフトポジションセンサ５は、車両１のセンターコンソール中央部に備わるシフトレバー近傍に設定される。

ディスプレイ６は、車載カメラ３で撮影された車外画像や、検知装置１による処理結果（ターゲットが接近している旨の通知など）を表示する。ディスプレイ６は、車両２の運転席と助手席との間のセンターコンソール上部に設けられている。

スピーカ７は、例えば、ターゲットが接近している旨の音声通知を出力する。

＜検知処理＞
次に、検知装置１で実行される検知処理について説明する。検知処理とは、車載カメラ３で撮影された車外画像からターゲット（車両、歩行者など）を検知してディスプレイ６へ表示する処理である。検知処理では、車外画像からターゲットの一部を構成する特徴点が抽出され、グループ化する際の範囲を定めた範囲既定値としての穴埋め係数に基づいて抽出された特徴点がグループ化され、グループ化された特徴点に基づいてターゲットの存在を運転者に通知するための強調枠が決定され、決定された強調枠がディスプレイ６に表示される。また、第一実施形態に係る検知処理では、車両２の状況に応じて穴埋め係数が変更され、車両２の状況に応じて変更される穴埋め係数に基づいて抽出された特徴点がグループ化され、変更された穴埋め係数に基づいてグループ化された特徴点に基づいて強調枠が決定される。なお、以下の説明では、車両２が交差点に進入した場合に、フロントカメラ３１で撮影された車外画像に対して検知処理を実行する場合を例に説明する。但し、検知処理は、他の車載カメラ３で撮影された車外画像に対して実行することもできる。

図４は、第一実施形態に係る検知処理フローを示す。以下の処理は、例えば車速センサ４やシフトポジションセンサ５からの信号を検知装置１が取得し、検知装置１が、車両２が停止状態、又はこれに近い状態、換言すると車両２が交差点侵入時や出庫時であると判断して開始される。

ステップＳ０１では、検知装置１は、画像を取得する。具体的には、まず、フロントカメラ３１により、車外画像（車両２前方を撮影した画像）が撮影される。撮影された車外画像は、Ａ／Ｄコンバータ１１でデジタル信号に変換され、デコーダ１２で複合され、検知処理部１３に入力される。ここで、図５は、フロントカメラ３１で撮影された車外画像の一例を示す。図５に示す車外画像は、交差点侵入時のものであり、前方右手に車両（ターゲットＴ２）、前方左手に横断歩道を横断する歩行者（ターゲットＴ１）が存在している。また、第一実施形態では、フロントカメラ３１を含め車載カメラ３のレンズに魚眼レンズを用いており、撮影された車外画像は全体として円形に歪んでいる。車外画像の中心付近の歪みが最も小さく、車外画像の周辺にいくほど歪みが大きくなっている。画像が取得されると、ステップＳ０２へ進む。

ステップＳ０２では、検知装置１は、検出領域を設定する。検出領域とは、ターゲットの検知対象となる領域である。図６は、検出領域が設定された車外画像の一例を示す。図６に示す検出領域Ｒ１，Ｒ２は矩形状であり、車外画像の左側と右側に夫々設定されている。第一実施形態における検知処理は、車両２に接近するターゲットを特定するものである。車両２に接近しているかどうかは、車外画像を水平方向で２分割し、中央に移動するターゲットを特定することで判断することができる。そこで、検出領域が車外画像の左側と右側に夫々に設定される。ここで、車外画像の水平方向では、いずれの位置においても接近するターゲットが存在する可能性がある。よって、水平方向を全てカバーできるよう、各検出領域Ｒ１，Ｒ２の水平方向の長さは、車外画像の凡そ２分の１に設定されている。一方で、車外画像の垂直方向では、上部と下部には接近するターゲットが存在する可能性が低い領域が存在する。よって、各検出領域Ｒ１，Ｒ２の垂直方向の長さは、接近するターゲットが存在する可能性が低い領域が排除するよう設定されている。なお、検出領域Ｒ１，Ｒ２は、車載カメラ３の特性、ディスプレイ６の画面サイズ等に基づいて適宜設定することができる。検出領域が設定されると、ステップＳ０３へ進む。

ステップＳ０３では、検知装置１は、車外画像に含まれるノイズを除去する。例えば、既存のガウスフィルタにより、撮影された車外画像に含まれるノイズが除去される。ノイズが除去されると、ステップＳ０４へ進む。

ステップＳ０４では、検知装置１は、車外画像に含まれる物体のエッジを検出する。第
一実施形態におけるエッジ検出とは、コーナー検出と呼ばれるもので、例えば既存のHarrisオペレータと呼ばれる検出法により実現できる。コーナーとは、２つのエッジの交点である。なお、エッジの検出は、コーナーすなわち２本のエッジの交点を検出できればよく、他の検出法によってもよい。エッジが検出されると、ステップＳ０５へ進む。

ステップＳ０５では、検知装置１は、特徴点を抽出する。具体的には、エッジ検出を実行することで特定されたコーナーを特徴点として特定する。ここで、図７は、検出領域に対して特徴点の抽出処理を実行した車外画像の一例を示す。図７は、右側の検出領域に対してエッジ検出及び特徴点抽出を行い、風景や車両（ターゲット）のエッジが検出（コーナーが検出）された様子を示す。特徴点が抽出されると、ステップＳ０６へ進む。

ステップＳ０６では、検知装置１は、特徴点を追跡する。特徴点の追跡とは、具体的には、特定された特徴点が所定時間あたりどこへ移動したかを追跡するもので、各画素が次のフレームでどこへ移動したかを計測するいわゆるオプティカルフロー検出手法により実現することができる。第一実施形態では、車両２に接近するターゲットＴ１，Ｔ２を特定する必要があることから、左側の検出領域Ｒ１では右向きのベクトルを持つ特徴点が抽出される。また、右側の検出領域Ｒ２では左向きのベクトルを持つ特徴点が抽出される。これにより、静止物や自車両２から遠ざかる対象物など、不要な対象物を構成する特徴点が除去される。図８は、図７に示す車外画像に対して特徴点の追跡処理を実行した車外画像の一例を示す。図８の各特徴点に付されたベクトルは、説明の便宜上付したものであり、各特徴点が左向きのベクトルを有することを示す。図８に示すように、特徴点の追跡処理を実行することで、左向きのベクトルを持つ特徴点のみ、すなわち、風景などの特徴点は排除され、自車両２に接近する歩行者（ターゲットＴ１）と車両（ターゲットＴ２）の特徴点のみが抽出される。特徴点の追跡が完了すると、ステップＳ０７へ進む。

ステップＳ０７では、検知装置１は、抽出された特徴点のグループ化処理を行う。

＜＜グループ化処理＞＞
ここで、図９は、グループ化処理のフローを示す。図９に示すように、特徴点のグループ化処理は、水平方向のヒストグラムの作成（Ｓ１１）、水平方向でグループ化する特徴点の決定（Ｓ１２）、穴埋め処理（Ｓ１３）、穴埋め後のヒストグラム結果に対してのエッジ検出（Ｓ１４）、垂直方向のヒストグラムの作成（Ｓ１５）、水平方向・垂直方向比のチェック（Ｓ１６）、強調枠の決定（Ｓ１７）を含む。

ステップＳ１１では、水平方向のヒストグラムが作成される。ここで、図１０は、水平方向のヒストグラムの作成を説明する図を示す。ヒストグラムの作成では、まず、特定方向のベクトルを持つ特徴点（第一実施形態の場合、左側の検出領域Ｒ１では、右向きのベクトルを持つ特徴点、右側の検出領域Ｒ２では、左向きのベクトルを持つ特徴点）の一つ一つに対して、横方向のヒストグラムが作成される。その際、各特徴点には重み幅を持たせて算出される。重み幅は、例えば市場の実測値に基づいて算出される固定値であり、図１０では重み幅（ｒ＝２）に設定されている。図１０において、Ｘ軸は検出領域のＸ座標であり、Ｙ軸はＸ方向ヒストグラムである。

図１０は、特徴点リストに示すように、５つの特徴点に対してヒストグラムを作成する様子を示す。５つの特徴点とは、（１）（１７，ｘｘ）、（２）（１８，ｘｘ）、（３）（１５，ｘｘ）、（４）（１２，ｘｘ）、（５）（Ｗ−５，ｘｘ）である。これらの５つの特徴点の夫々についてヒストグラムを作成すると、特徴点のＸ座標が重なる領域では、□で表現される特徴点（重み幅を含む）が積み重ねられ（累積され）ヒストグラムが作成される。図１０の上図に示すように、例えば、Ｘ座標：１６及びＸ座標：１７では、特徴点（１）の他、特徴点（２）及び（３）の特徴点（重み幅によるもの）が累積される。な
お、第一実施形態ではヒストグラムを作成し、接近物ありと判断する基準となる閾値が「３」に設定されている。水平方向のヒストグラムが作成されると、ステップＳ１２へ進む。

ステップＳ１２では、検知装置１は、水平方向でグループ化する特徴点を決定する。具体的には、ヒストグラムの作成後、ヒストグラムが閾値３以上の場合“１”、それ以外は“０”とする二値化処理が行われる。第一実施形態では、ヒストグラム３以上は、Ｘ座標：１６及びＸ座標：１７のみである。したがって、図１０の下図に示すように、Ｘ座標：１６及びＸ座標：１７が、水平方向でグループ化する特徴点として決定される。水平方向でグループ化する特徴点が決定されると、ステップＳ１３へ進む。

ステップＳ１３では、検知装置１は、穴埋め処理を行う。ここで、図１１は、穴埋め処理を説明する図を示す。穴埋め処理の対象となる領域は、水平方向の座標で、水平方向でグループ化する特徴点に該当する値がない穴空き領域（ステップ１２の二値化処理で“０”となった領域）である。但し、斜線部分の画素は穴埋め対象外の領域である。穴空き領域に対して、その左右ａ座標範囲内にグループ化する特徴点がともに存在していれば、図１０（ｄ）に示すように、穴埋め処理が行われる。これに対し、穴空き領域に対して、左右一方でもａ座標範囲内にグループ化する特徴点が存在していれば、図１０（ｂ）、図１０（ｃ）に示すように、穴埋め処理は行われない。すなわち、ａ座標範囲内に左右共に“１”があれば、対象座標のヒストグラムが“１”に置換される。

ここで、上記穴埋め処理を行う際に用いる「ａ」は、穴埋め係数で、本発明の範囲既定値に相当し、画像の「画素」と対応している。この穴埋め係数「ａ」の値が大きくなるとグループ化する範囲が広くなり、この穴埋め係数「ａ」の値が小さくなるとグループ化する範囲が狭くなる。第一実施形態に係る検知装置１は、この穴埋め係数「ａ」を車両２の状況に応じて変更することを特徴とする。すなわち、第一実施形態の車両２の状況のように、交差点侵入時、すなわち車両が停止している場合、もしくはこれに近い状況の場合には、ターゲットをより正確に把握したいことから、穴埋め係数「ａ」を例えば走行中に比べて小さい値に設定することができる。

＜＜穴埋め係数決定処理１＞＞
ここで、図１２は、穴埋め係数の決定処理のうち、車両の走行状態に応じて穴埋め係数を決定する処理フローを示す。ステップＳ２１では、検知装置１は、車両２の走行状態を取得する。走行状態は、車速センサ４やシフトポジションセンサ５からの信号により取得する。次に、ステップＳ２２では、検知装置１は、車両２が停車状態であるか判断する。車両２が停車状態である場合、ステップＳ２３へ進む。一方、車両が停車状態でない場合、ステップＳ２４へ進む。

ステップＳ２３では、検知装置１は、穴埋め係数「ａ」を「１」に設定する。一方で、ステップＳ２４では、検知装置１は、穴埋め係数「ａ」を「２」に設定する。ここで、図１３は、穴埋め係数「ａ」のパラメータテーブルＡを示す。このテーブルＡは、例えばＲＡＭ１０に格納され、停止時と走行中で穴埋め係数「ａ」を設定したものであり、停止時の穴埋め係数「ａ」は走行中の穴埋め係数「ａ」よりも小さい値に設定されている。検知装置１は、テーブルＡにアクセスすることで、車両２の状況に応じた穴埋め係数「ａ」を取得し、設定することができる。以上により、穴埋め係数決定処理１が終了する。

＜＜穴埋め係数決定処理２＞＞
ここで、図１４は、穴埋め係数の決定処理のうち、特徴点数に応じて穴埋め係数を決定する処理フローを示す。ステップＳ３１では、検知装置１は、特徴点数を取得する。この特徴点数は、ステップＳ０６の特徴点追跡処理を実行後の特徴点数とすることができる。
次に、ステップＳ３２では、検知装置１は、特徴点数がＸよりも多いか判断する。比較基準となる「Ｘ」は、ターゲットが複数存在している可能性が高い値として実測により得ることができる。特徴点数がＸよりも多い場合、ステップＳ３３へ進む。一方、車両が走行状態でない場合、ステップＳ３４へ進む。

ステップＳ３３では、検知装置１は、穴埋め係数「ａ」を「１」に設定する。一方で、ステップＳ３４では、検知装置１は、穴埋め係数「ａ」を「２」に設定する。ここで、図１５は、穴埋め係数「ａ」のパラメータテーブルＢを示す。テーブルＢは、特徴点数によって穴埋め係数「ａ」を設定したものであり、特徴点数＞Ｘの場合、穴埋め係数「ａ」は「１」に設定され、特徴点数≦Ｘの場合、穴埋め係数「ａ」は「２」に設定されている。すなわち、特徴点数が多い場合、相対的に穴埋め係数「ａ」が小さい値に設定されている。特徴点数が多い場合、ターゲットが複数存在することが想定されるが、このように穴埋め係数を小さい値に設定することで、グループ化する範囲を狭めることができ、その結果、ターゲット同士を区別することが可能となる。検知装置１は、テーブルＢにアクセスすることで、特徴点数に応じた穴埋め係数「ａ」を取得し、設定することができる。以上により、穴埋め係数決定処理２が終了する。

穴埋め処理が終了すると、ステップＳ１４へ進み、検知装置１は、穴埋め後のヒストグラムに対してエッジ検出を行う。ここで、図１６は、穴埋め後のヒストグラムに対してエッジ検出する処理を説明する図を示す。ステップＳ１４のエッジ検出では、穴埋め後のヒストグラム結果から連続性を見つけ出し、水平方向のグループを決定する。すなわち、水平方向に複数の接近するターゲットがあれば、その数だけグループが作成される。より具体的には、Ｘ座標を右方向へ移動し、前座標のヒストグラムと比較し、不一致した座標が変化点（エッジ）として検出される。したがって、図１６では、ｓｅｇ[０]、ｓｅｇ[１]、ｓｅｇ[２]、ｓｅｇ[３]において、座標が“０”から“１”又は“１”から“０”へ変化しており、これらの座標が変化点（エッジ）として検出される。

次にステップＳ１５では、検知装置１は、垂直方向のヒストグラムを作成する。ここで、図１７は、垂直方向のヒストグラムの作成を説明する図を示す。垂直方向のヒストグラムは、ステップＳ１４でエッジを検出することで得られた水平方向のグループごとの範囲（例えば、ｓｅｇ[０]からｓｅｇ[１]や、ｓｅｇ[２]からｓｅｇ[３]の領域）上に存在する垂直方向の特徴点に対して、先に説明した水平方向のヒストグラムの作成と同様に行われる。すなわち、ヒストグラムは、各特徴点に重み幅を持たせて算出される。重み幅は、水平方向のヒストグラムの算出と同じく、図１７では重み幅（ｒ＝２）に設定されている。特徴点のＹ座標が重なる領域では、□で表現される特徴点（重み幅を含む）が積み重ねられ（累積され）ヒストグラムが作成される。また、接近物ありと判断する基準となる閾値が「３」に設定されており、ヒストグラムが閾値３以上の場合“１”、それ以外は“０”とする二値化処理が行われる（図１７の下図参照）。以上により、特徴点がグループ化され、ターゲットの存在を運転者に通知するための、仮の強調枠が作成される。

次に、ステップＳ１６では、検知装置１は、仮の強調枠の、水平方向・垂直方向比（縦横比）のチェックを行う。縦横比のチェックは、ステップＳ１１からステップＳ１６で得られたヒストグラムのＸ座標の最小値、最大値、Ｙ座標の最小値、最大値に対して行われる。例えば、極端に細長いものや極端にいびつなものなど、車両や歩行者のターゲットに基づいて算出された仮の形状枠としてふさわしくないものが除外される。この処理は、予め車両や歩行者のターゲットに基づく比較用の強調枠を記憶しておき、これと比較することで実現することができる。

次に、ステップＳ１７では、検知装置１は、ステップＳ１６のチェックを通過した仮の強調枠を最終的な強調枠として決定する。換言すると、ステップＳ１６で削除されなかっ
たグループをクラスタリング処理によるグループ結果とする。以上により、グループ化処理が終了する。

グループ化処理が終了すると、図４に示すステップＳ０８において、検知装置１は、ターゲットを追跡する。換言すると、ターゲットを表す、グループ化処理で決定された強調枠の単位時間当たりの移動量を算出し、時間的追跡を行う。移動方向は、左側の検出領域Ｒ１では右方向、右側の検出領域Ｒ２であれば左方向となる。強調枠に対して時間的追跡を行うことで、強調枠の座標値が特定される。

次に、ステップＳ０９では、検知装置１は、検出領域、強調枠の描画処理を行う。すなわち、検出領域の座標、及び強調枠の座標を原画像に描画して、ターゲットが接近していることを運転者に通知するための通知画面を生成する。

ステップＳ１０では、検知装置１は、生成した通知画面をディスプレイ６に出力する。具体的には、生成された通知画面の画像データがエンコーダ１４で符号化され、符号化された画像データがＤ／Ａコンバータ１５でアナログ信号に変換され、例えばディスプレイ６などに出力される。なお、検知装置１は、ディスプレイ６に表示される通知画面に合わせてスピーカ７を通じて音声通知を行うようにしてもよい。

＜効果＞
第一実施形態に係る検知装置によれば、特徴点をグループ化する処理で穴埋め係数「ａ」が小さい値に設定されることで、接近するターゲットが複数存在する場合に、これらの複数のターゲットを運転者に通知するための強調枠をターゲット毎に表示することができる。ここで、図１８は、第一実施形態に係る検知処理によって生成された通知画面を示す。図１８に示す画面では、右側の検出領域Ｒ１内に強調枠Ｆ１，Ｆ２が表示されている。一方は、歩行者（ターゲットＴ１）が接近していることを通知する強調枠Ｆ１であり、もう一方は、車両（ターゲットＴ２）が接近していることを通知する強調枠Ｆ２である。図１８に示すように、第一実施形態に係る検知装置１では、グループ化する処理で穴埋め係数「ａ」を小さい値に設定されることで、接近する２つのターゲットＴ１，Ｔ２を区別して強調枠Ｆ１，Ｆ２が表示されている。

ここで、図１９は、図１８に示す通知画面の比較例であり、穴埋め係数「ａ」を図１８に示す場合よりも大きい値に設定した例を示す。図１９に示す比較例では、グループ化する処理において、歩行者（ターゲットＴ１）特徴点と車両（ターゲットＴ２）の特徴点とが一つのグループとして処理されたことで、強調枠Ｆが一つのみ表示されている。この比較例における強調枠Ｆには、無駄な領域が多く存在している。したがって、このような強調枠Ｆを通知された運転者は、どこに注意をしたらよいか困惑し、運転操作に支障をきたすことも想定される。一方で、図１８の強調枠Ｆ１，Ｆ２は、歩行者（ターゲットＴ１）が接近していることを通知する強調枠Ｆ１と、車両（ターゲットＴ２）が接近していることを通知する強調枠Ｆ２が区別して表示されることから、運転者は接近するターゲットＴ１，Ｔ２の存在を容易に把握することができる。

[第二実施形態]
第二実施形態に係る検知装置１は、ターゲットの通過が想定される領域を定める仮想枠を決定し、強調枠が仮想枠内に収まらない場合、グループ化する範囲が狭くなるよう範囲既定値（穴埋め係数「ａ」）を小さい値とし、変更された穴埋め係数「ａ」に基づいて抽出された特徴点をグループ化する。このような処理は、第一実施形態と同様の構成により実現できる。よって、構成についての説明は割愛し、以下、処理の相違点を中心に説明する。

ここで、図２０は、第二実施形態に係るグループ化処理のフローを示す。第二実施形態におけるグループ化処理では、ステップＳ１３−１において、既定の穴埋め係数「ａ」に基づいて穴埋め処理が行われる。その後、第一実施形態と同様のステップＳ１４から１７の処理が実行され、強調枠が決定される。強調枠が決定されるとステップＳ１８へ進む。

ステップＳ１８では、検知装置１は、仮想枠を決定する。仮想枠とは、ターゲットの通過が想定される領域である。ここで、図２１は、車外画像に仮想枠Ｈを表示した例を示す。第二実施形態においてもフロントカメラ３１を含め車載カメラ３のレンズに魚眼レンズを用いており、撮影された車外画像は全体として円形に歪んでいる。車外画像の中心付近の歪みが最も小さく、車外画像の周辺にいくほど歪みが大きくなっている。また、車両２の近くのターゲットが車外画像の中央付近で大きく表示され、車両２から離れるにつれ、車外画像の周辺にいくほどターゲットが小さく表示される。そのため、図２１に示す仮想枠Ｈは五角形（ホームベース型）となっている。仮想枠Ｈの形状や寸法は、市場の実測値に基づいて適宜設計することができる。仮想枠Ｈが決定されると、ステップＳ１９へ進む。

ステップＳ１９では、検知装置１は、強調枠が仮想枠Ｈに収まっているか判断する。すなわち、強調枠が仮想枠からはみ出ていないかが判断される。強調枠が仮想枠Ｈに収まっていると判断された場合、グループ化処理が終了する。なお、強調枠が仮想枠Ｈに収まっていると判断された場合、穴埋め係数「ａ」の値を大きい値に変更し、再度穴埋め処理を行うようにしてもよい。一方で、強調枠が仮想枠Ｈに収まっていると判断されなかった場合、ステップＳ２０へ進む。

ステップＳ２０では、検知装置１は、穴埋め係数「ａ」を変更する。強調枠が仮想枠Ｈに収まっていない場合には、強調枠が複数のターゲットを含み、無駄な領域を多く含んでいることが想定される。そこで、強調枠が仮想枠に収まっていない場合には、穴埋め係数「ａ」が小さい値に変更される。その後、ステップＳ１３−１へ戻り、変更後の穴埋め係数「ａ」に基づいて穴埋め処理が実行される。その後、更にステップＳ１４から１８の処理が実行され、ステップＳ１９において強調枠が仮想枠に収まっていると判断された場合、グループ化処理が終了する。

＜効果＞
第二実施形態に係る検知装置１によれば、仮想枠を決定し、強調枠が仮想枠に収まるか判断することで、仮に収まらない場合には、強調枠が不要な領域、すなわちターゲット以外のものを含んでいると判断することができる。ここで、図２２は、第二実施形態に係る検知処理によって生成された通知画面を示す。また、図２３は、図２２に示す通知画面の比較例であり、穴埋め係数「ａ」を変更する前の値で穴埋め処理を行った例を示す。図２３に示す強調枠Ｆは、二つのターゲットＴ１，Ｔ２を含み、無駄な領域が多く存在している。したがって、このような強調枠Ｆを通知された運転者は、どこに注意をしたらよいか困惑し、運転操作に支障をきたすことも想定される。そこで、強調枠Ｆが仮想枠Ｈに収まっているかどうかを判断し、図２３のように収まっていない場合には、穴埋め係数「ａ」を小さい値に変更することで、図２２に示すように、歩行者（ターゲットＴ１）が接近していることを通知する強調枠Ｆ１と、車両（ターゲットＴ２）が接近していることを通知する強調枠Ｆ２を区別して表示することができる。その結果、運転者は接近するターゲットの存在を容易に把握することができる。

以上、本発明の好適な実施形態を説明したが、本発明に係る検知装置はこれらに限らず、可能な限りこれらの組合せを含むことができる。

１・・・検知装置
１０・・・ＲＡＭ
１１・・・Ａ／Ｄ変換
１２・・・デコーダ
１３・・・検知処理部
１４・・・エンコーダ
１５・・・Ｄ／Ａ変換
２・・・車両
３・・・車載カメラ
３１・・・フロントカメラ
３２・・・左サイドカメラ
３３・・・右サイドカメラ
３４・・・リヤカメラ
４・・・車速センサ
５・・・シフトポジションセンサ
６・・・ディスプレイ
７・・・スピーカ

Claims (6)

1. 車載カメラが撮影した車外画像からターゲットを検知してディスプレイへ表示する検知装置であって、
   前記車外画像に含まれる前記ターゲットのエッジに基づいて特徴点を抽出し、当該特徴点をグループ化する際の範囲を定めた範囲既定値に基づいて前記抽出された特徴点をグループ化し、グループ化された特徴点に基づいて強調枠を決定し、決定された強調枠を前記ディスプレイに表示させる情報処理部を備え、
   前記情報処理部は、車両停車時の前記範囲既定値を、車両走行時の前記範囲既定値よりも相対的に小さな値に設定する
   検知装置。
2. 前記情報処理部は、前記特徴点の数が既定数を上回る場合、当該特徴点をグループ化する範囲が狭くなるよう前記範囲既定値を小さくし、変更された範囲既定値に基づいて前記抽出された特徴点をグループ化する、請求項１に記載の検知装置。
3. 前記情報処理部は、前記ターゲットの通過が想定される領域を定める仮想枠を決定し、前記強調枠が前記仮想枠内に収まらない場合、当該特徴点をグループ化する範囲が狭くなるよう前記範囲既定値を小さくし、変更された範囲既定値に基づいて前記抽出された特徴点をグループ化する、請求項１又は２に記載の検知装置。
4. 車載カメラが撮影した車外画像からターゲットを検知してディスプレイへ表示する検知方法であって、
   前記車外画像に含まれる前記ターゲットのエッジに基づいて特徴点を抽出する抽出ステップと、
   前記特徴点をグループ化する際の範囲を定めた範囲既定値に基づいて前記抽出された特徴点をグループ化するグループ化ステップと、
   前記グループ化された特徴点に基づいて強調枠を決定する強調枠決定ステップと、
   前記決定された強調枠を前記ディスプレイに表示させる表示ステップと、を備え、
   前記グループ化ステップでは、車両停車時の前記範囲既定値を、車両走行時の前記範囲既定値よりも相対的に小さな値に設定する
   検知方法。
5. 前記グループ化ステップでは、前記特徴点の数が既定数を上回る場合、前記特徴点をグループ化する範囲が狭くなるよう前記範囲既定値を小さくし、変更された範囲既定値に基づいて前記抽出された特徴点をグループ化する、
   請求項４に記載の検知方法。
6. 前記ターゲットの通過が想定される領域を定める仮想枠を決定する仮想枠決定ステップを更に備え、
   前記グループ化ステップでは、前記強調枠が前記仮想枠内に収まらない場合、前記特徴点をグループ化する範囲が狭くなるよう前記範囲既定値を小さくし、変更された範囲既定値に基づいて前記抽出された特徴点をグループ化する、請求項４又は５に記載の検知方法。

Images