JP6620715B2 - 画像認識装置 - Google Patents

Description

本開示は、車両に搭載される画像認識装置に関する。

特許文献１には、車両に搭載されたカメラにより撮像した撮像画像から歩行者等の検出対象物を検出して検出結果を表示装置に出力する画像認識装置が開示されている。この画像認識装置は、撮像画像から抽出した物体の特徴量データを、サンプル画像により特徴量データを学習して作成され事前に記憶されている識別子としての学習モデルのうち最適なモデルと照合し、歩行者の特徴量データに適合するか否かを判定する。そして、適合する物体が検出された場合、その検出された物体、つまり歩行者を表す画像を囲むように、枠状の画像が撮像画像に重畳して表示される。

特許第５４２３６３１号公報

上述したように識別子を用いて歩行者を検出する手法では、様々な状態の歩行者をあらかじめ想定して正確に検出することは技術的に困難である。例えば、ベビーカーを押している歩行者など、通常の歩行者とは見え方の異なる歩行者は、識別子との一致度が低くなりやすく、歩行者として検出されにくくなる場合がある。

本開示は、歩行者を検出する精度を向上させることができる画像認識装置を提供することを目的としている。

本開示の一態様は、画像認識装置（５）であって、画像取得部（Ｓ１１）と、移動体検出部（Ｓ１２）と、歩行者検出部（Ｓ１５）と、を備える。画像取得部は、車両に搭載されたカメラ（２）から車両の周辺の撮像画像を取得する。移動体検出部は、画像取得部により取得された時系列的に連続する複数の撮像画像に基づき移動量を算出することにより、撮像画像から移動体を検出する。歩行者検出部は、画像取得部により取得された撮像画像から歩行者を識別する識別子を用いて歩行者を検出する。また、歩行者検出部は、移動体検出部により移動体が検出された場合、撮像画像の移動体が検出された部分において、識別子を用いて歩行者を検出する際の検出基準を緩和する。

このような構成によれば、撮像画像から移動体及び歩行者を検出することができる。また、移動体が検出された場合、撮像画像の移動体が検出された部分において、識別子を用いて歩行者を検出する際の検出基準が緩和される。このため、移動体であるか否かに関係なく同じ検出基準で歩行者を検出する場合と比較して、歩行者でない物体が歩行者として誤検出されることを抑制しつつ、歩行者が歩行者として検出されないことを生じにくくすることができる。したがって、歩行者を検出する精度を向上させることができる。

画像認識システムの構成を示すブロック図である。 歩行者検出処理のフローチャートである。 表示装置に表示される撮像画像の一例を示す図である。 歩行者表示態様処理のフローチャートである。

以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．構成］
図１に示す画像認識システム１は、後方カメラ２、車速センサ３、舵角センサ４、ＥＣＵ５及びモニタ６を備える。以下では、画像認識システム１が搭載された車両を「自車両」という。

後方カメラ２は、自車両の後部に搭載され自車両の後方を撮像する。後方カメラ２は、撮像画像を表す信号をＥＣＵ５へ出力する。なお、自車両には、後方カメラ２以外のカメラが搭載されていてもよい。

車速センサ３は、自車両の走行速度を検出するためのセンサである。車速センサ３は、検出された走行速度に応じた信号をＥＣＵ５へ出力する。
舵角センサ４は、自車両のステアリングの操舵角を検出するためのセンサである。舵角センサ４は、検出された操舵角に応じた信号をＥＣＵ５へ出力する。

ＥＣＵ５は、ＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３などを有する周知のマイクロコンピュータを備える。ＣＰＵ５１は、非遷移的実体的記録媒体であるＲＯＭ５３に格納されたプログラムを実行する。当該プログラムが実行されることで、当該プログラムに対応する方法が実行される。具体的には、ＥＣＵ５は当該プログラムに従い、後述する図２に示す歩行者検出処理を実行する。ＥＣＵ５は、撮像画像を表す信号をモニタ６に出力する。なお、ＥＣＵはＥｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔの略である。

モニタ６は、画像を表示するためのディスプレイであり、自車両の運転者などが視認できる位置に設けられている。
［２．処理］
次に、ＥＣＵ５が実行する歩行者検出処理について、図２のフローチャートを用いて説明する。歩行者検出処理は、シフトレバーのシフトポジションがリバースである間に周期的に実行される。

Ｓ１１では、ＥＣＵ５は、後方カメラ２から撮像画像を取得する。
Ｓ１２では、ＥＣＵ５は、取得された複数の撮像画像から移動体を検出する。具体的には、移動体は、今回取得した撮像画像と前回以前に取得した時系列的に連続する複数の撮像画像に基づき周知のオプティカルフロー法を用いて撮像画像中の物体の移動量を算出することにより検出される。

Ｓ１２で移動体が検出された場合、Ｓ１３に移行し、ＥＣＵ５は、図３に示すように撮像画像の左端部にＵの字状の太線である移動体強調画像７１を表示して、移動体が検出されたことを強調する。

また、Ｓ１３を実行すると、Ｓ１４に移行し、ＥＣＵ５は、撮像画像の移動体が検出された部分、つまり、移動体を含む一定の部分において、識別子を用いて歩行者を検出する際の検出基準を緩和し、Ｓ１５に移行する。ここで、検出基準の緩和とは、移動体が検出された場合、歩行者を検出する際に用いられる識別子との一致度を判断する際に基準となるしきい値を移動体が検出されなかった場合と比較して下げることである。

一方、前述したＳ１２で移動体が検出されなかった場合、ＥＣＵ５はＳ１５に移行する。
Ｓ１５では、ＥＣＵ５は、取得された撮像画像から歩行者を検出する。具体的には、歩行者は、周知のパターンマッチング法で、歩行者を識別する識別子と撮像画像中の物体との一致度が検出基準となる所定のしきい値以上である場合に検出される。ここで、前述したＳ１２で移動体が検出されなかった場合、通常の検出基準である第１のしきい値以上で歩行者が検出される。また、前述したＳ１２で移動体が検出された場合、移動体が検出された部分において緩和された検出基準である第２のしきい値以上で歩行者が検出される。

Ｓ１５で歩行者が検出されなかった場合、ＥＣＵ５は歩行者検出処理を終了する。
一方、前述したＳ１５で歩行者が検出された場合、ＥＣＵ５は、Ｓ１６に移行し歩行者表示態様処理を実行する。

ここで、ＥＣＵ５が実行する歩行者表示態様処理について、図４のフローチャートを用いて説明する。歩行者表示態様処理は、後述する図２のＳ１７で歩行者を強調して表示する際の表示態様を、検出された歩行者の挙動に応じて変化させることを決定する処理である。

Ｓ２１では、ＥＣＵ５は、車速センサ３から検出された走行速度に応じた信号を取得する。
Ｓ２２では、ＥＣＵ５は、舵角センサ４から検出された操舵角に応じた信号を取得する。

Ｓ２３では、ＥＣＵ５は、前述したＳ１５で検出された歩行者が、自車両が走行すると予測される軌跡である予測軌跡上に存在するか否かを判定する。自車両の予測軌跡は、アッカーマン・ジャントー式等を用いることにより、車速センサ３及び舵角センサ４からの信号に基づいて生成することができる。そして、ＥＣＵ５は後方カメラ２から取得した撮像画像に基づき自車両の予測軌跡上に歩行者が存在するか否かを判定する。

Ｓ２３で歩行者が自車両の予測軌跡上に存在すると判定された場合、Ｓ２４に移行し、ＥＣＵ５は歩行者を強調して表示する際の表示態様についての強調の度合いである強調度の値を１増やし、Ｓ２５に移行する。なお、強調度の値は、歩行者表示態様処理の開始時に０に初期化される。

一方、前述したＳ２３で歩行者が自車両の予測軌跡上に存在しないと判定された場合、ＥＣＵ５は前述したＳ２４を飛ばしてＳ２５に移行する。
Ｓ２５では、ＥＣＵ５は、前述したＳ１５で検出された歩行者が、自車両に対して接近しているか否かを判定する。歩行者が自車両に接近しているか否かは、後方カメラ２から取得された時系列的に連続する複数の撮像画像に基づき算出した移動量に基づいて判定する。

Ｓ２５で歩行者が自車両に接近していると判定された場合、Ｓ２６に移行し、ＥＣＵ５は強調度の値を１増やし、Ｓ２７に移行する。
一方、前述したＳ２５で歩行者が自車両に接近していないと判定された場合、ＥＣＵ５は前述したＳ２６を飛ばしてＳ２７に移行する。

Ｓ２７では、ＥＣＵ５は、前述したＳ１５で検出された歩行者が、自車両を基準とした所定の範囲である判定範囲に存在するか否かを判定する。歩行者と自車両との距離は、後方カメラ２から取得された撮像画像における歩行者の下端位置の高さに基づいて特定することができる。すなわち、自車両を基準として歩行者の位置が遠いほど、撮像画像におけるその歩行者の下端位置が高くなる傾向にある。このため、歩行者が判定範囲に存在するか否かを撮像画像における歩行者の下端位置の高さに基づいて判定することができる。

Ｓ２７で歩行者が判定範囲に存在すると判定された場合、Ｓ２８に移行し、ＥＣＵ５は強調度の値を１増やして歩行者表示態様処理を終了する。その後、図２のＳ１７に移行する。

一方、前述したＳ２７で歩行者が判定範囲に存在しないと判定された場合、ＥＣＵ５はＳ２８を飛ばして歩行者表示態様処理を終了する。その後、図２のＳ１７に移行する。
ここで、ＥＣＵ５が実行する歩行者検出処理を説明する図２のフローチャートに戻る。Ｓ１７では、ＥＣＵ５は、前述した歩行者表示態様処理で決定された強調度の値に基づき、歩行者を強調して表示する際の表示態様を決定する。そして、図３に示すように撮像画像から検出された歩行者を囲むように、枠状の画像である歩行者強調画像７２を表示して、歩行者を強調する。具体的には、例えば、強調度の値に応じて歩行者強調画像７２の色を変化させる。例えば、強調度の値が０の場合は緑色、強調度の値が１の場合は黄色、強調度の値が２の場合は橙色、強調度の値が３の場合は赤色に歩行者強調画像７２を変化させる。その後、歩行者検出処理を終了する。

［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（３ａ）本実施形態によれば、ＥＣＵ５は、撮像画像から移動体及び歩行者を検出することができる。また、移動体が検出された場合、撮像画像の移動体が検出された部分において、識別子を用いて歩行者を検出する際の検出基準が緩和される。このため、移動体であるか否かに関係なく同じ検出基準で歩行者を検出する場合と比較して、歩行者でない物体が歩行者として誤検出されることを抑制しつつ、歩行者が歩行者として検出されないことを生じにくくすることができる。したがって、歩行者を検出する精度を向上させることができる。

（３ｂ）本実施形態では、ＥＣＵ５は、歩行者が強調された撮像画像をモニタ６に表示する。これにより、歩行者について運転者に注意喚起することができる。
（３ｃ）本実施形態では、ＥＣＵ５は、歩行者以外の移動体を歩行者とは異なる表示態様で強調する。これにより、歩行者を歩行者以外の移動体と区別して運転者に注意喚起することができる。

（３ｄ）本実施形態では、ＥＣＵ５は、歩行者が自車両の予測軌跡上に存在するか否かを判定する。ＥＣＵ５は、歩行者が自車両の予測軌跡上に存在すると判定された場合、強調度の値を増やし、歩行者が自車両の予測軌跡上に存在しないと判定された場合と異なる表示態様で歩行者を強調する。これにより、歩行者が自車両の予測軌跡上に存在する場合、歩行者を強調する度合いを強化して運転者に注意喚起をすることができる。

（３ｅ）本実施形態では、ＥＣＵ５は、歩行者が自車両に対して接近しているか否かを判定する。ＥＣＵ５は、歩行者が自車両に接近していると判定された場合、強調度の値を増やし、歩行者が自車両に接近していないと判定された場合と異なる表示態様で歩行者を強調する。これにより、自車両の後方に存在する歩行者が自車両に接近している場合、歩行者を強調する度合いを強化して運転者に注意喚起をすることができる。

（３ｆ）本実施形態では、ＥＣＵ５は、歩行者が自車両を基準とした判定範囲に存在するか否かを判定する。ＥＣＵ５は、歩行者が判定範囲に存在すると判定された場合、強調度の値を増やし、歩行者が判定範囲に存在しないと判定された場合と異なる表示態様で歩行者を強調する。これにより、歩行者が判定範囲に存在する場合、歩行者を強調する度合いを強化して運転者に注意喚起をすることができる。

なお、本実施形態では、ＥＣＵ５が画像認識装置に相当し、モニタ６が表示装置に相当し、後方カメラ２がカメラに相当し、Ｓ１１が画像取得部としての処理に相当し、Ｓ１２が移動体検出部としての処理に相当し、Ｓ１４及びＳ１５が歩行者検出部としての処理に相当する。また、Ｓ１３及びＳ１７が表示処理部としての処理に相当し、Ｓ２３が軌跡判定部としての処理に相当し、Ｓ２５が接近判定部としての処理に相当し、Ｓ２７が存在判定部としての処理に相当する。

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々変形して実施することができる。

（４ａ）上記実施形態では、後方カメラ２から取得された撮像画像に基づき自車両の後方に存在する移動体及び歩行者が検出される。しかし、移動体及び歩行者の検出は自車両の後方に限定されるものではない。例えば、前方カメラから取得された撮像画像に基づき自車両の前方に存在する移動体及び歩行者が検出されてもよい。

（４ｂ）上記実施形態では、歩行者以外の移動体を歩行者と区別して強調して表示するが、表示による強調はこれに限定されるものではない。例えば、歩行者のみ強調されてもよい。

（４ｃ）上記実施形態では、撮像画像に基づき検出された歩行者の挙動に応じて歩行者強調画像７２の色を変えて表示態様を変化させる一例を示すが、歩行者強調画像７２の表示態様はこれに限定されるものではない。例えば、歩行者強調画像７２を他の形に変化させる表示態様としてもよい。

（４ｄ）上記実施形態では、撮像画像に基づき検出された移動体及び歩行者をモニタ６に強調して表示して運転者に注意喚起をするが、運転者への注意喚起は表示に限定されるものではない。例えば、ブザーや音声等の音を発することにより運転者に注意喚起を行ってもよい。

（４ｅ）上記実施形態においてＥＣＵ５が実行した機能の一部又は全部を、１つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。
（４ｆ）前述したＥＣＵ５の他、当該ＥＣＵ５を構成要素とする画像認識システム１、歩行者検出処理をコンピュータに実行させるためのプログラム、このプログラムを記録したＲＯＭ５３などの半導体メモリ等の非遷移的実体的記録媒体、歩行者を検出する方法など、種々の形態で本開示を実現することもできる。

（４ｇ）上記実施形態における１つの構成要素が有する機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

１…画像認識システム、２…後方カメラ、３…車速センサ、４…舵角センサ、５…ＥＣＵ、６…モニタ、５１…ＣＰＵ、５２…ＲＡＭ、５３…ＲＯＭ、７１…移動体強調画像、７２…歩行者強調画像、

Claims (6)

1. 車両に搭載されたカメラ（２）から前記車両の周辺の撮像画像を取得する画像取得部（Ｓ１１）と、
   前記画像取得部により取得された時系列的に連続する複数の前記撮像画像に基づき移動量を算出することにより、前記撮像画像から移動体を検出する移動体検出部（Ｓ１２）と、
   前記画像取得部により取得された前記撮像画像から歩行者を識別する識別子を用いて歩行者を検出する歩行者検出部（Ｓ１４，Ｓ１５）と、
   を備え、
   前記歩行者検出部は、前記移動体検出部により前記移動体が検出された場合、前記撮像画像の前記移動体が検出された部分において、前記識別子を用いて前記歩行者を検出する際の検出基準を緩和する、画像認識装置（５）。
2. 請求項１に記載の画像認識装置であって、
   前記撮像画像を表示装置（６）に表示させる表示処理部（Ｓ１３、Ｓ１７）を更に備え、
   前記表示処理部は、前記歩行者検出部により検出された前記歩行者を強調した前記撮像画像を前記表示装置に表示する、画像認識装置。
3. 請求項２に記載の画像認識装置であって、
   前記表示処理部は、前記移動体検出部により検出された前記歩行者以外の前記移動体を、前記歩行者検出部により検出された前記歩行者とは異なる表示態様で強調する、画像認識装置。
4. 請求項２又は請求項３に記載の画像認識装置であって、
   前記歩行者検出部により検出された前記歩行者が、前記車両が走行すると予測される軌跡である予測軌跡上に存在するか否かを判定する軌跡判定部（Ｓ２３）を更に備え、
   前記表示処理部は、前記軌跡判定部により前記歩行者が前記予測軌跡上に存在すると判定された場合、前記歩行者が前記予測軌跡上に存在しないと判定された場合と異なる表示態様で前記歩行者を強調する、画像認識装置。
5. 請求項２から請求項４までのいずれか１項に記載の画像認識装置であって、
   前記歩行者検出部により検出された前記歩行者が、前記車両に対して接近しているか否かを判定する接近判定部（Ｓ２５）を更に備え、
   前記表示処理部は、前記接近判定部により前記歩行者が前記車両に接近していると判定された場合、前記歩行者が前記車両に接近していないと判定された場合と異なる表示態様で前記歩行者を強調する、画像認識装置。
6. 請求項２から請求項５までのいずれか１項に記載の画像認識装置であって、
   前記歩行者検出部により検出された前記歩行者が、前記車両を基準とした所定の範囲である判定範囲に存在するか否かを判定する存在判定部（Ｓ２７）を更に備え、
   前記表示処理部は、前記存在判定部により前記歩行者が前記判定範囲に存在すると判定された場合、前記歩行者が前記判定範囲に存在しないと判定された場合と異なる表示態様で前記歩行者を強調する、画像認識装置。

Images