JP2022126350A - 認識装置、移動体、認識方法、およびプログラム - Google Patents

Abstract

【課題】撮像部を用いて認識される信号機の点灯状況の信頼性を向上させることが可能な技術を提供する。
【解決手段】移動体に搭載され、信号機の点灯状況を認識する認識装置は、前記移動体の外界を周期的に撮像する撮像部と、前記撮像部で周期的に得られる画像ごとに、画像内に含まれる前記信号機の点灯態様を逐次検出する検出部と、前記検出部により前記信号機の同じ点灯態様が所定時間継続して検出された場合に、当該点灯態様を前記信号機の点灯状況として決定する決定部と、を備え、前記所定時間は、前記撮像部の撮像周期の２倍以上である。
【選択図】図２

Description

本発明は、信号機の点灯状況を認識する認識装置、移動体、認識方法、およびプログラムに関する。

特許文献１には、カメラでの信号認識または無線通信で取得した信号認識のいずれか一方の認識結果を車速に応じて切り替えて車内のディスプレイに表示する技術が開示されている。

特開２００９－６１８７１号公報

撮像部（カメラ）で得られた画像に基づいて信号機の点灯状況を認識する装置では、撮像部の撮像周期と信号機の点灯周期との差などに起因して、誤認識を起こすことがある。そのため、撮像部を用いて信号機の点灯状況を認識する際の信頼性を向上させることが望まれる。

そこで、本発明は、撮像部を用いて認識される信号機の点灯状況の信頼性を向上させることが可能な技術を提供することを目的とする。

上記目的を達成するために、本発明の一側面としての認識装置は、移動体に搭載され、信号機の点灯状況を認識する認識装置であって、前記移動体の外界を周期的に撮像する撮像部と、前記撮像部で周期的に得られる画像ごとに、画像内に含まれる前記信号機の点灯態様を逐次検出する検出部と、前記検出部により前記信号機の同じ点灯態様が所定時間継続して検出された場合に、当該点灯態様を前記信号機の点灯状況として決定する決定部と、を備え、前記所定時間は、前記撮像部の撮像周期の２倍以上である、ことを特徴とする。

本発明によれば、例えば、撮像部を用いて認識される信号機の点灯状況の信頼性を向上させることが可能な技術を提供することができる。

車両の制御装置を示すブロック図 認識装置の構成例を示すブロック図 認識処理を説明するための模式図 検出部の誤検出および未検出を説明するための図 車両が走行する道路を模式的に示す図 外部通信装置から供給される外部情報の一例を示す図 認識処理を説明するための模式図 認識処理を示すフローチャート

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

＜第１実施形態＞
本発明に係る第１実施形態の認識装置について説明する。本発明に係る認識装置は、移動体に搭載され、移動体の外界を撮像する撮像部（カメラ）を用いて信号機の点灯状況（点灯状態）を認識する装置である。移動体としては、道路を走行する車両が挙げられうる。以下では、車両としての四輪車に対して本発明に係る認識装置を適用（搭載）する例について説明するが、鞍乗型車両（自動二輪車、三輪車）など四輪車以外の車両に対しても、本発明に係る認識装置を適用することもできる。

まず、車両１の全体的な制御系について図１を参照しながら説明する。図１は、車両１の制御装置２を示すブロック図である。図１では、車両１の概略が平面図と側面図とで図示されており、車両１としてはセダンタイプの四輪の乗用車が例示されている。

制御装置２は、車両１の各部を制御する。制御装置２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０～２９を含む。各ＥＣＵ（Electronic Control Unit）は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、プロセッサ２０ａとメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムが含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ等の専用の集積回路を備えてもよい。他のＥＣＵについても同様である。

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合したりすることが可能である。

ＥＣＵ２０は、本実施形態に係る車両１（自車両）の自動運転に関わる車両制御を実行する。自動運転においては、車両１の操舵および車速（加減速）の少なくとも一方を自動制御する。本実施形態の場合、車両１の操舵および車速の双方を自動制御する例を示す。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は、操舵操作をアシストしたり、あるいは、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニット４１～４３の制御および検知結果の情報処理を行う。検知ユニット４１は、撮像により車両１の外界を周期的に撮像する撮像デバイスである（以下では、カメラ４１と表記することがある）。本実施形態の場合、カメラ４１は車両１の前方を撮影可能なように、車両１のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ４１が撮影した画像の解析（画像処理）により、車両１の前方に位置する信号機（交通信号機）などの物標の解析や、信号機の表示や道路上の車線の区画線（白線等）を抽出可能である。

検知ユニット４２（ライダ検知部）は、Light Detection and Ranging（LIDAR：ライダ）であり（以下では、ライダ４２と表記することがある）、光により車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、ライダ４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。また、検知ユニット４３（レーダ検知部）は、ミリ波レーダであり（以下では、レーダ４３と表記することがある）、電波により車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。

ＥＣＵ２２は、一方のカメラ４１と、各ライダ４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４１と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。本実施形態において、ＥＣＵ２２およびＥＣＵ２３は、カメラ４１で周期的に得られた画像ごとに、画像内に含まれる信号機の点灯態様を逐次検出する検出部として機能しうる。ここで、信号機の表示には、車両の進行可否を指示する信号機の色表示（点灯色（赤、青、黄））と、車両の進行可能方向を指示する信号機の矢印表示とが含まれうる。

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。通信装置２４ｃは、例えば、ＶＩＣＳ（Vehicle Information and Communication System）（登録商標）などの道路の交通状況を監視するシステムの情報提供用サーバと無線通信を行い、自車両Ｍが走行中の道路や走行予定の道路の交通状況を示す交通情報を取得する。交通情報には、設定された経路上における渋滞情報、渋滞地点を通過するための所要時間情報、故障車・工事情報、速度規制・車線規制情報などの交通障害情報が含まれる。

ＥＣＵ２４は、記憶デバイスに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。データベース２４ａはネットワーク上に配置可能であり、通信装置２４ｃがネットワーク上のデータベース２４ａにアクセスして、情報を取得することが可能である。

ＥＣＵ２５は、車車間通信、路車間通信、またはスマートフォン等の情報処理装置と通信可能な通信装置２５ａを備える。例えば、通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行ったり、外部の情報処理装置等との無線通信により情報交換を行ったりすることが可能である。本実施形態において、通信装置２５ａおよび通信装置２４ｃは、信号機の点灯状況を示す情報（色表示、矢印表示の点灯情報）を無線通信により受信する受信部として機能しうる。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。なお、パワープラント６の構成は、この例に限られず、電動機を動力源とした電気自動車、エンジン及び電動機を兼ね備えたハイブリッド自動車等を含む。このうち、電気自動車は、例えば、二次電池、水素燃料電池、金属燃料電池、アルコール燃料電池等の電池により放電される電力を使用して駆動される。

ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車速（車両１の速度および加減速）を制御する。

ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は車両１の前部、ドアミラーおよび後部に設けられている。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者を含む乗員に対する情報の出力と、乗員からの情報の入力の受け付けを行う。音声出力装置９１は乗員に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は、例えば運転席および助手席の正面に配置され、ヒューマンマシンインターフェースとして機能するタッチパネル式のインストルメントパネル等を構成する。

例えば、ＥＣＵ２８は、ＥＣＵ２４により探索された現在地から目的地への経路上において、車両１（自車両）の位置情報と地図情報から取得した、車両１が現在走行している複数の車線を含む道路情報を表示装置９２に表示する表示制御を行う。また、ＥＣＵ２８は、音声出力装置９１および表示装置９２を制御して、音声、地図表示、及び音声による案内情報を運転者に提供する。

なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。

入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を入力するスイッチ群および乗員の音声を入力する音声入力装置を含む。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは、車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

［認識装置の構成］
次に、本実施形態の認識装置１００の構成例について、図２を参照しながら説明する。図２は、本実施形態の認識装置１００の構成例を示すブロック図である。認識装置１００は、上述したように、カメラを用いて信号機（交通信号機）の点灯状況（点灯状態）を認識する装置であり、システムバス１５０を介して相互に通信可能に接続された撮像部１１０、処理部１２０、表示部１３０、および通信部１４０を含みうる。

撮像部１１０は、例えば図１のカメラ４１であり、所定の撮像周期（例えば６０ｍ秒）で車両１の外界を周期的に撮像する。撮像部１１０は、車両１の周囲に存在する物体や標識を含む物標に関する外界情報を取得する外界センサとして理解されてもよい。なお、以下では、撮像部１１０をカメラ１１０と表記することがある。

処理部１２０は、例えば図１の制御装置２（ＥＣＵ２０～２９）であり、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含むコンピュータによって構成されうる。本実施形態の場合、当該記憶デバイスには、信号機の点灯状態を認識するためのプログラム（以下では、認識プログラムと表記することがある）が格納されており、認識プログラムに含まれる命令をプロセッサが実行することにより、処理部１２０による信号機の点灯状況の認識処理が実行されうる。また、本実施形態の処理部１２０は、検出部１２１と、決定部１２２（認定部）と、出力部１２３とを含みうる。

検出部１２１は、例えば図１のＥＣＵ２３およびＥＣＵ２４であり、カメラ１１０で周期的に得られる画像ごとに、画像内に含まれる信号機の点灯態様を逐次検出する。具体的には、検出部１２１は、カメラ１１０で得られた画像に対して公知の画像処理を行うことにより、画像内に含まれる物標（オブジェクト）として信号機を特定（抽出）するとともに、特定した信号機の点灯態様を検出することができる。信号機の点灯態様とは、例えば、信号機の色表示（青、黄、赤）のうち何色が点灯しているか、信号機の矢印表示が点灯しているか否かなどを含みうる。

決定部１２２は、例えば図１のＥＣＵ２０であり、検出部１２１で検出された信号機の点灯態様に基づいて、信号機の点灯状況を決定（認定、認識）する。本実施形態の場合、決定部１２２は、検出部１２１により信号機の同じ点灯態様が所定時間継続して検出された場合に、当該所定時間継続して検出された点灯態様を信号機の現在（実際）の点灯状況として決定（認定、認識）する。所定時間は、カメラ１１０の撮像周期の２倍以上に設定されうる。また、所定時間は、カメラ１１０で周期的に得られる画像に対して検出部１２１により信号機の同じ点灯態様が継続して検出される所定回数で規定されてもよい。所定回数は、換言すると、検出部１２１により同じ点灯態様であると継続的に検出される画像の枚数（即ち撮像回数）であり、２回以上に設定されうる。以下では、決定部１２２が所定回数を用いて判断し、所定回数が３回に設定されている例について説明する。

出力部１２３は、例えば図１のＥＣＵ２８であり、決定部１２２で決定された信号機の点灯状況を示す情報（以下では点灯情報と呼ぶことがある）を表示部１３０に出力し、点灯情報を表示部１３０に表示させる。また、出力部１２３は、ＥＣＵ２０で実行される車両１の自動運転（車両制御）において点灯情報が使用されるように、ＥＣＵ２０における自動運転制御を担当するユニットに、決定部１２２から得られた点灯情報を出力してもよい。

表示部１３０は、例えば図１の表示装置９２に対応するディスプレイであり、出力部１２３から出力された点灯情報を表示する。また、通信部１４０は、例えば図１の通信装置２４ｃおよび通信装置２５ａであり、車両１が走行する道路に設置された外部通信装置（送信装置）から、信号機の点灯状況を示す情報を無線通信により受信する。外部通信装置は、例えば、ビーコン方式、または、携帯電話向け通信規格により標準化されたモバイル用の通信ネットワークを用いたセルラー方式の通信装置として構成されうる。通信部１４０は、車両１の周辺に存在する複数の信号機（一例として、車両１の進行方向に配置されている複数の信号機）についての点灯状況を示す情報を外部通信装置から取得しうる。なお、以下では、外部通信装置から受信した情報を、外部情報と表記することがある。

［処理の概要］
次に、処理部１２０が実行する認識処理の概要について説明する。上述したように、処理部１２０（決定部１２２）は、カメラ１１０で周期的に得られた画像から検出部１２１により検出される信号機の点灯態様が、同じ点灯態様で所定回数（ここでは３回）継続した場合に、継続して検出された点灯状態を信号機の現在（実際）の点灯状況として決定する。

図３は、処理部１２０（決定部１２２）において信号機ＴＳの点灯状況を認識する認識処理を説明するための模式図である。図３（ａ）は、決定部１２２に入力される情報、即ち、検出部１２１により検出された信号機ＴＳの点灯態様を示す情報を時系列で示している。具体的には、図３（ａ）は、検出部１２１において、カメラ１１０で得られた画像に対して画像処理を行い、当該画像に含まれる信号機ＴＳの点灯態様を検出した結果を時系列で示している。また、図３（ｂ）は、決定部１２２から出力される情報、即ち、決定部１２２で決定された信号機ＴＳの点灯状況を示す情報（点灯情報）を時系列で示している。具体的には、図３（ｂ）は、検出部１２１で検出された信号機ＴＳの点灯態様に基づいて決定部１２２で決定される信号機ＴＳの点灯情報を時系列で示している。ここで、図３における「ｔ」は、カメラ１１０で周期的に得られる画像の時系列番号、即ち、各画像から検出部１２１により検出される信号機ＴＳの点灯態様を示す情報の時系列番号を表しているが、カメラ１１０の撮像周期（換言すると、検出部１２１の検出周期）に対応する時刻と理解されてもよい。ｔ＝１～４は、処理部１２０で継続的に行われている認識処理の一部を抜き出したものを時系列で表すために用いているだけであり、認識処理で最初～４番目に得られることを表すものではない。後述する図４および図７における「ｔ」も同様である。

ｔ＝１では、検出部１２１において、カメラ１１０で得られた画像から、信号機ＴＳの点灯態様が赤点灯Ｒであると検出され、決定部１２２においても、信号機ＴＳの点灯状況が赤点灯Ｒであると決定されている。次いで、ｔ＝２では、検出部１２１は、図３（ａ）に示すように、カメラ１１０で次に得られた画像から、信号機ＴＳの点灯態様が青点灯Ｂであると検出する。しかしながら、この段階では、検出部１２１により継続して検出された信号機ＴＳの点灯態様（青点灯Ｂ）の回数が未だ１回であり、所定回数（３回）に達していないため、図３（ｂ）に示すように、決定部１２２は、前回決定した信号機ＴＳの点灯状況（赤点灯Ｒ）を保持させる。

ｔ＝３では、検出部１２１は、図３（ａ）に示すように、カメラ１１０で次に得られた画像から、信号機ＴＳの点灯態様が青点灯Ｂであると検出する。しかしながら、この段階では、検出部１２１により継続して検出された信号機ＴＳの点灯態様（青点灯Ｂ）の回数が未だ２回であり、所定回数（３回）に達していないため、図３（ｂ）に示すように、決定部１２２は、前回決定した信号機ＴＳの点灯状況（赤点灯Ｒ）を保持させる。次いで、ｔ＝４では、検出部１２１は、図３（ａ）に示すように、カメラ１１０で次に得られた画像から、信号機ＴＳの点灯態様が青点灯Ｂであると検出する。この段階において、検出部１２１により継続して検出された信号機ＴＳの点灯態様（青点灯Ｂ）の回数が所定回数（３回）に達するため、図３（ｂ）に示すように、決定部１２２は、信号機ＴＳの点灯状況を青点灯Ｂであると決定する。

本実施形態の決定部１２２は、上記の認識処理を実行することにより、検出部１２１で誤検出および／または未検出が生じた場合であっても、信号機ＴＳの点灯状況を精度よく決定（認識）することが可能となる。即ち、検出部１２１での誤検出および／または未検出に基づいて信号機ＴＳの点灯状況を決定することを回避・低減することが可能となる。検出部１２１の誤検出とは、図４（ａ）のｔ＝２に示すように、実際には信号機ＴＳが赤点灯しているにも関わらず、青点灯Ｂであると検出部１２１が検出することである。検出部１２１の未検出とは、図４（ｂ）のｔ＝２に示すように、実際には信号機ＴＳが点灯（赤点灯）しているにも関わらず、その点灯が検出部１２１で検出されないことである。また、上記の認識処理により決定部１２２で決定された信号機ＴＳの点灯状況を示す情報（点灯情報）は、出力部１２３により表示部１３０（ディスプレイ）に供給され、当該表示部１３０に表示されうる。決定部１２２から出力される点灯情報は、前述したように、ＥＣＵ２０で実行される車両１の自動運転（車両制御）に用いられてもよい。

ここで、本実施形態の決定部１２２は、信号機の点灯状況を示す外部情報を通信部１４０により外部通信装置から受信した場合、当該外部情報に基づいて信号機ＴＳの点灯状況を決定してもよい。外部通信装置から得られる外部情報は、信号機の点灯状況を示す情報としての信頼性が高い傾向にある。そのため、決定部１２２は、検出部１２１により信号機ＴＳの同じ点灯態様が継続して検出された時間（回数）が所定時間（所定回数）未満であっても、通信部１４０により外部通信装置から外部情報を受信した場合には、当該外部情報に基づいて信号機の点灯状況を決定することができる。

図５には、車両１が走行する道路が模式的に表されている。図５に示す例では、車両１の進行方向は矢印Ａの方向であり、車両１の進行方向には複数の信号機ＴＳ１～ＴＳ３が配置されている。信号機ＴＳ１～ＴＳ３の各々は、進行可否を指示する色表示（点灯色（赤、青、黄））と、直進を許可する直進矢印表示と、右折を許可する右折矢印表示とを含む。また、道路には、複数の外部通信装置ＣＡ１～ＣＡ２が配置されている。外部通信装置ＣＡ１は信号機ＴＳ１の手前に配置されており、外部通信装置ＣＡ２は信号機ＴＳ２の手前（信号機ＴＳ１と信号機ＴＳ２との間）に配置されている。外部通信装置ＣＡ１～ＣＡ２の各々は、車両１の周辺に存在する複数の信号機（信号機ＴＳ１～ＴＳ３を含む）についての点灯状況を示す外部情報を、ビーコン方式で車両１に送信（提供）する装置である。一例として、信号機ＴＳの手前に配置された外部通信装置ＣＡ１は、図６に示すように、信号機ＴＳ１～ＴＳ３の各々についての点灯状況を示す外部情報を車両１に供給（送信）する。図６は、外部通信装置ＣＡ１から供給される外部情報の一例を示している。

図７は、処理部１２０（決定部１２２）における認識処理を説明するための模式図である。図７では、検出部１２１で検出された信号機ＴＳの点灯態様だけでなく、外部通信装置ＣＡから得られた外部情報にも更に基づいて信号機ＴＳの点灯状況を認識する認識処理の例を示している。図７（ａ）は、決定部１２２に入力される情報、即ち、検出部１２１により検出された信号機ＴＳの点灯態様を示す情報を時系列で示している。図７（ｂ）は、外部通信装置（例えばＣＡ１）から供給された信号機ＴＳの点灯態様を示す外部情報を時系列で示している。図７（ｃ）は、決定部１２２から出力される情報、即ち、決定部１２２で決定された信号機ＴＳの点灯状況を示す点灯情報を時系列で示している。

ｔ＝１では、検出部１２１において、カメラ１１０で得られた画像から、信号機ＴＳの点灯態様が赤点灯Ｒであると検出され、決定部１２２においても、信号機ＴＳの点灯状況が赤点灯Ｒであると決定されている。この段階では、外部情報は未受信である。次いで、ｔ＝２では、検出部１２１は、図７（ａ）に示すように、カメラ１１０で次に得られた画像から、信号機ＴＳの点灯態様が青点灯Ｂであると検出する。この段階では、外部情報は未受信である。また、検出部１２１により継続して検出された信号機ＴＳの点灯態様（青点灯Ｂ）の回数が未だ１回であり、所定回数（３回）に達していない。そのため、図７（ｃ）に示すように、決定部１２２は、前回決定した信号機ＴＳの点灯状況（赤点灯Ｒ）を保持させる。

ｔ＝３では、検出部１２１は、図７（ａ）に示すように、カメラ１１０で次に得られた画像から、信号機ＴＳの点灯態様が青点灯Ｂであると検出する。一方、外部通信装置ＣＡ１から、信号機ＴＳの点灯状況が青点灯Ｂであるとの外部情報が通信部１４０によって受信される。この段階では、検出部１２１により継続して検出された信号機ＴＳの点灯態様（青点灯Ｂ）の回数が未だ２回であり、所定回数（３回）に達していないが、図７（ｂ）に示すように、外部通信装置から青点灯Ｂとの外部情報が得られている。そのため、図７（ｃ）に示すように、決定部１２２は、当該外部情報を優先的に用いて、信号機ＴＳの点灯状況を青点灯Ｂであると決定する。次いで、ｔ＝４では、メラ１１０で次に得られた画像から検出部１２１により検出された信号機ＴＳの点灯態様が青点灯Ｂであり（図７（ａ）参照）、外部情報でも青点灯Ｂである（図７（ｂ）参照）。そのため、図７（ｃ）に示すように、決定部１２２は、信号機ＴＳの点灯状況を青点灯Ｂであると決定する。このように外部通信装置から供給される外部情報を更に用いることにより、信号機ＴＳの点灯状況を精度よく且つ迅速に決定（認識）することが可能となる。

［認識処理のフロー］
次に、処理部１２０で実行される認識処理のフローについて説明する。図８は、処理部１２０で実行される認識処理を示すフローチャートである。図８に示すフローチャートは、繰り返し実行されるものであり、ステップＳ１６が終了した後もステップＳ１１から新たに開始されうる。

ステップＳ１１では、処理部１２０は、カメラ１１０に車両１の外界（本実施形態では前方）を撮像させることにより、車両１の外界の画像を取得する。ステップＳ１２では、処理部１２０（検出部１２１）は、カメラ１１０で得られた画像内に含まれる信号機ＴＳの点灯態様を検出する。例えば、検出部１２１は、カメラ１１０で得られた画像に対して公知の画像処理を行うことにより、画像内の信号機ＴＳにおける点灯色を点灯態様として検出することができる。次いで、ステップＳ１３では、処理部１２０（決定部１２２）は、検出部１２１により検出された信号機ＴＳの点灯態様が、同じ点灯態様で所定回数（本実施形態では３回）継続したか否かを判断する。同じ点灯態様が所定回数継続した場合にはステップＳ１６に進み、同じ点灯態様が所定回数継続していない場合にはステップＳ１４に進む。

ステップＳ１４では、処理部１２０（決定部１２２）は、通信部１４０により外部通信装置ＣＡから外部情報を取得したか否かを判断する。外部情報とは、前述したように、信号機ＴＳの点灯状況を示す情報であり、例えばビーコン方式やセルラー方式によって取得されうる。外部情報を取得した場合にはステップＳ１５に進み、外部情報を取得していない場合にはステップＳ１１に戻る。次いで、ステップＳ１５では、処理部１２０（決定部１２２）は、ステップＳ１４で通信部１４０により外部情報を取得してからの経過時間が規定期間内であるか否かを判断する。信号機ＴＳの点灯状況は刻々と変化するものであるため、取得した外部情報における信号機ＴＳの点灯状況が古いものであると、後述するステップＳ１６において信号機ＴＳの現在の点灯状況を精度よく決定することが困難になる。そのため、本ステップＳ１５では、外部情報を用いることができる有効期間として規定期間（規定時間）が設けられ、当該外部情報を取得してからの経過時間が規定期間内か否かが判断される。規定期間は信号機ＴＳにおいて同じ点灯色が維持している時間（例えば、青点灯の時間、赤点灯の時間）を示す情報に基づいて設定されるとよい。同じ点灯色が維持している時間を示す情報としては、例えば、図６の「変更予定」に示される時間の情報であってもよい。また、規定期間は、信号機ＴＳごとに設定されてもよいし、複数の信号機ＴＳで共通に設定されてもよい。

ここで、前述したように、外部通信装置ＣＡから受信した外部情報に、車両１の周辺に存在する複数の信号機ＴＳについて点灯状況を示す情報が含まれる場合がある。この場合、決定部１２２は、複数の信号機ＴＳのうち、外部情報を取得してからの経過時間が規定期間内である信号機ＴＳについては、当該外部情報に基づいて現在の点灯状況を決定しうる。一方、複数の信号機ＴＳのうち、外部情報を取得してからの経過時間が規定期間外である信号機ＴＳについては、当該外部情報を用いずに、検出部１２１での検出結果に基づいて現在の点灯状況を決定するとよい。

ステップＳ１６では、処理部１２０（決定部１２２）は、信号機ＴＳの点灯状況を決定（認定、認識）する。例えば、検出部１２１により信号機ＴＳの同じ点灯態様が所定回数（３回）継続して検出された場合、決定部１２２は、所定回数計測して検出された点灯態様を、信号機ＴＳの現在（実際）の点灯状況として決定する。一方、外部通信装置ＣＡから外部情報を受信し、且つ、当該外部情報を受信してからの経過時間が規定期間内である場合、決定部１２２は、当該外部情報を優先的に用いて、当該外部情報に含まれる信号機ＴＳの点灯状況を、信号機ＴＳの現在（実際）の点灯状況として決定する。

ここで、上記の例では、ステップＳ１５において規定期間を確認した結果として点灯状態を規定期間内であればステップＳ１６にて点灯状態を決定するが、他の手法として、ステップＳ１５にて規定期間の処理を行わず、ステップＳ１６にて検出部１２１により検出された点灯状態と、外部通信装置ＣＡから受信した外部情報とが一致した信号機情報を点灯状態として決定してもよい。例えば、検出部１２１では信号機の青色を検出しており、外部通信装置ＣＡから受信した外部情報も同様に信号機が青色としている場合には、規定期間を考慮せずに、当該信号機の点灯状態を青色と決定してもよい。

また、規定時間を反映しない場合にも外部通信装置ＣＡにより信号機の表示情報を受信する場合に、当該外部通信装置ＣＡから、進行方向に配置される信号機の点灯色、進行方向指示に加え、それらの最低点灯時間と最高点灯時間とが送信されることを活用することができる。例えば、点灯色は青色であり、最低点灯時間０秒、最高点灯時間１０秒として通信される場合があり、その場合、通信による信号機情報の取得は成功しているものの、対象信号機が０秒後に黄色点灯に変化する可能性があり、信号機の点灯予測情報としては不確実となってしまう等の確実性を判断可能である。

このように通信部１４０で受信した外部情報（信号機情報）と撮像部１１０で得られた情報とを比較した後に表示することで精度の高い表示を行うことが出来る。また、比較の際に、最低点灯時間を考慮し、基準時間を設定してもよい。すなわち、移動体が交差点に突入すると推定される時間より最低基準時間（最低点灯時間）が長い場合には、通信部１４０で受信した情報（外部情報９を優先し、他方、短い場合には、通信部１４０で受信した情報と撮像部１２１で得られた情報とを比較してもよい。

上述したように、本実施形態の認識装置１００は、カメラ１１０で周期的に得られる画像ごとに、画像内の信号機ＴＳの点灯態様を検出し、同じ点灯態様が所定回数継続して検出された場合に、当該点灯態様を、信号機ＴＳの現在（実際）の点灯状況として決定する。これにより、画像から信号機ＴＳの点灯態様を検出する際に誤検出や未検出が生じた場合であっても、誤検出や未検出に基づいて現在の信号機ＴＳの点灯状況を決定（認識）することを回避・低減することができる。即ち、信号機ＴＳの現在の点灯状況を精度よく且つ正確に認識し、撮像部を用いて認識される信号機の点灯状況の信頼性を向上させることができる。

＜第２実施形態＞
第１実施形態では、信号機ＴＳの色表示に対して上記の認識処理を行う例を説明したが、信号機ＴＳの矢印表示に対しても上記の認識処理を行うことができる。ただし、矢印表示は、一般に、公知の画像処理では検出が難しく、検出部１２１において誤検出や未検出が生じ易い。そのため、矢印表示に対して認識処理を行う場合では、色表示に対して用いられた所定時間の代わりに、当該所定時間より長い時間に設定された第２所定時間を用いるとよい。同様に、色表示に対して用いられた所定回数の代わりに、当該所定回数より多い回数に設定された第２所定回数を用いてもよい。なお、認識装置１００の構成や上記以外の処理の内容については第１実施形態と同様であるため、ここでの説明を省略する。

＜第３実施形態＞
第１実施形態で説明したように、決定部１２２での決定された信号機の点灯状況を示す点灯情報（決定結果）は、ＥＣＵ２０での自動運転に用いられることがある。このように点灯情報を自動運転で用いる場合、当該点灯情報には高い正確性が求められうる。そのため、点灯情報を自動運転で用いる場合には、点灯情報を自動運転で用いない場合に比べて所定時間を長く設定する（または、所定回数を多く設定する）とよい。例えば、点灯情報を表示部１３０に表示するだけに用いる場合における所定回数が３回に設定されている場合、点灯情報を自動運転に用いる場合には、当該所定回数が４回以上の値に設定されるとよい。これにより、点灯情報をより正確に得ることができるため、自動運転の精度の向上、乗員への違和感の低減が可能となる。なお、認識装置１００の構成や上記以外の処理の内容については第１実施形態と同様であるため、ここでの説明を省略する。また、本実施形態では、第２実施形態を適用することもできる。

＜第４実施形態＞
カメラ１１０で得られた画像には、車両１の進行方向における進行指示を行う信号機ＴＳに加えて、車両１の進行方向とは異なる方向における進行指示を行う信号機や、先の交差点の信号機など、複数の信号機が映っている場合がある。このようにカメラ１１０で得られた画像内に複数の信号機が含まれる場合、検出部１２１は、車両１の進行方向の信号機であることを示す確実度（確からしさ、信頼度）を信号機ごとに求め、複数の信号機のうち当該確実度が最も高い信号機について点灯態様を検出するとよい。例えば、検出部１２１は、画像内に含まれる複数の信号機の各々について、画像内での点灯部分の面積を算出し、算出した当該面積の大きさを確実度とすることができる。このように確実度を算出することで、画像内に複数の信号機が含まれる場合であっても、車両１の進行方向の信号機ＴＳを特定することが可能となる。また、確実度に関しては複数の信号機の情報を統合した後に、他の地図情報や通信で得た情報と突き合わせることで確実度を向上させてもよい。なお、認識装置１００の構成や上記以外の処理の内容については第１実施形態と同様であるため、ここでの説明を省略する。また、本実施形態では、第２～第３実施形態を適用することもできる。

＜実施形態のまとめ＞
１．上記実施形態の認識装置は、
移動体（例えば１）に搭載され、信号機（例えばＴＳ）の点灯状況を認識する認識装置（例えば１００）であって、
前記移動体の外界を周期的に撮像する撮像部（例えば１１０）と、
前記撮像部で周期的に得られる画像ごとに、画像内に含まれる前記信号機の点灯態様を逐次検出する検出部（例えば１２１）と、
前記検出部により前記信号機の同じ点灯態様が所定時間継続して検出された場合に、当該点灯態様を前記信号機の点灯状況として決定する決定部（例えば１２２）と、
を備え、
前記所定時間は、前記撮像部の撮像周期の２倍以上である。
この実施形態によれば、画像から信号機の点灯態様を検出する際に誤検出や未検出が生じた場合であっても、誤検出や未検出に基づいて現在の信号機の点灯状況を決定（認識）することを回避・低減することができる。即ち、信号機の現在の点灯状況を精度よく且つ正確に認識し、撮像部を用いて認識される信号機の点灯状況の信頼性を向上させることができる。

２．上記実施形態において、
前記決定部は、前記検出部により前記信号機の同じ点灯態様が前記所定時間継続して検出されない場合には、前回決定した前記信号機の点灯状況を保持する。
この実施形態によれば、信号機の現在の点灯状況を確実に決定することができない限りは、信号機の点灯状況を示す情報を変更しないため、精度を向上させることが可能となる。

３．上記実施形態において、
前記所定時間は、前記検出部により前記信号機の同じ点灯態様が継続して検出される所定回数で規定され、
前記所定回数は２回以上である。
この実施形態によれば、所定時間の代わりに所定回数を用いる場合においても、所定時間を用いる場合と同様に、信号機の現在の点灯状況を精度よく且つ正確に認識することができる。

４．上記実施形態において、
前記決定部で決定された前記信号機の点灯状況を示す情報を表示部（例えば１３０）に出力する出力部（例えば１２３）を更に備える。
この実施形態によれば、信号機の点灯状況をユーザ（例えば運転者）に通知することができる。

５．上記実施形態において、
前記決定部は、前記所定時間を用いた前記信号機の点灯状況の決定を、前記移動体の進行可否を指示する前記信号機の色表示に対して行う。
この実施形態によれば、信号機の色表示（点灯色（赤、青、黄））の点灯状況を精度よく且つ正確に認識することができる。

６．上記実施形態において、
前記決定部は、前記移動体の進行可能方向を指示する前記信号機の矢印表示について点灯状況を決定する場合、前記所定時間の代わりに、前記所定時間より長い第２所定時間を用いる。
この実施形態によれば、公知の画像処理では検出が難しく、誤検出や未検出が生じ易い信号機の矢印表示についても、点灯状況を精度よく且つ正確に認識することができる。

７．上記実施形態において、
前記信号機の点灯に関する情報を無線通信により受信する通信部（例えば１４０）を更に備え、
前記決定部は、前記検出部により前記信号機の同じ点灯態様が継続して検出された時間が前記所定時間未満であっても、前記通信部で前記情報を受信した場合には、前記情報に基づいて前記信号機の点灯状況を決定する。
この実施形態によれば、無線通信により受信した情報は、画像から検出される情報に比べて信頼性が高い傾向にあるため、そのような情報を積極的に用いることで、信号機の点灯状況をより精度よく且つ正確に認識することができる。

８．上記実施形態において、
前記通信部は、前記移動体が走行する道路に設置された外部通信装置（例えばＣＡ）から、前記移動体の周辺に存在する複数の信号機について前記情報を受信し、
前記決定部は、
前記複数の信号機のうち、前記通信部で前記情報を受信してからの経過時間が規定期間内である信号機については、前記情報に基づいて点灯状況を決定し、
前記経過時間が前記規定期間外である信号機については、前記検出部での検出結果に基づいて前記点灯状況を決定する。
この実施形態によれば、認識装置による情報の取得状況に応じて、各信号機の点灯状況を適切に認識することができる。

９．上記実施形態において、
前記検出部は、前記撮像部で得られた画像内に複数の信号機が含まれる場合、前記移動体の進行方向の信号機であることを示す確実度を信号機ごとに求め、前記複数の信号機のうち前記確実度が最も高い信号機について点灯態様を検出する。
この実施形態によれば、撮像部で取得された画像内に複数の信号機が含まれる場合であっても、車両の進行方向の信号機を特定し、特定した信号機についての点灯態様を検出することができる。つまり、車両の進行方向の信号機についての点灯状況を認識することができる。

１０．上記実施形態において、
前記決定部は、前記信号機の点灯状況の決定結果が前記移動体の操舵および車速の自動制御に用いられる場合、前記決定結果が前記自動制御に用いられない場合に比べて前記所定時間を長く設定する。
この実施形態によれば、信号機の点灯状況の決定結果を自動運転に用いる場合、当該決定結果をより正確に得ることができるため、自動運転の精度の向上、乗員への違和感の低減が可能となる。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。

１００：認識装置、１１０：撮像部（カメラ）、１２０：処理部、１２１：検出部、１２２：決定部、１２３：出力部、１３０：表示部、１４０：通信部

Claims (13)

1. 移動体に搭載され、信号機の点灯状況を認識する認識装置であって、
   前記移動体の外界を周期的に撮像する撮像部と、
   前記撮像部で周期的に得られる画像ごとに、画像内に含まれる前記信号機の点灯態様を逐次検出する検出部と、
   前記検出部により前記信号機の同じ点灯態様が所定時間継続して検出された場合に、当該点灯態様を前記信号機の点灯状況として決定する決定部と、
   を備え、
   前記所定時間は、前記撮像部の撮像周期の２倍以上である、ことを特徴とする認識装置。
2. 前記決定部は、前記検出部により前記信号機の同じ点灯態様が前記所定時間継続して検出されない場合には、前回決定した前記信号機の点灯状況を保持する、ことを特徴とする請求項１に記載の認識装置。
3. 前記所定時間は、前記検出部により前記信号機の同じ点灯態様が継続して検出される所定回数で規定され、
   前記所定回数は２回以上である、ことを特徴とする請求項１又は２に記載の認識装置。
4. 前記決定部で決定された前記信号機の点灯状況を示す情報を表示部に出力する出力部を更に備える、ことを特徴とする請求項１乃至３のいずれか１項に記載の認識装置。
5. 前記決定部は、前記所定時間を用いた前記信号機の点灯状況の決定を、前記移動体の進行可否を指示する前記信号機の色表示に対して行う、ことを特徴とする請求項１乃至４のいずれか１項に記載の認識装置。
6. 前記決定部は、前記移動体の進行可能方向を指示する前記信号機の矢印表示について点灯状況を決定する場合、前記所定時間の代わりに、前記所定時間より長い第２所定時間を用いる、ことを特徴とする請求項５に記載の認識装置。
7. 前記信号機の点灯に関する情報を無線通信により受信する通信部を更に備え、
   前記決定部は、前記検出部により前記信号機の同じ点灯態様が継続して検出された時間が前記所定時間未満であっても、前記通信部で前記情報を受信した場合には、前記情報に基づいて前記信号機の点灯状況を決定する、ことを特徴とする請求項１乃至６のいずれか１項に記載の認識装置。
8. 前記通信部は、前記移動体が走行する道路に設置された外部通信装置から、前記移動体の周辺に存在する複数の信号機について前記情報を受信し、
   前記決定部は、
   前記複数の信号機のうち、前記通信部で前記情報を受信してからの経過時間が規定期間内である信号機については、前記情報に基づいて点灯状況を決定し、
   前記経過時間が前記規定期間外である信号機については、前記検出部での検出結果に基づいて前記点灯状況を決定する、ことを特徴とする請求項７に記載の認識装置。
9. 前記検出部は、前記撮像部で得られた画像内に複数の信号機が含まれる場合、前記移動体の進行方向の信号機であることを示す確実度を信号機ごとに求め、前記複数の信号機のうち前記確実度が最も高い信号機について点灯態様を検出する、ことを特徴とする請求項１乃至８のいずれか１項に記載の認識装置。
10. 前記決定部は、前記信号機の点灯状況の決定結果が前記移動体の操舵および車速の自動制御に用いられる場合、前記決定結果が前記自動制御に用いられない場合に比べて前記所定時間を長く設定する、ことを特徴とする請求項１乃至９のいずれか１項に記載の認識装置。
11. 請求項１乃至１０のいずれか１項に記載の認識装置を備えることを特徴とする移動体。
12. 信号機の点灯状況を認識する認識方法であって、
    移動体の外界を周期的に撮像する撮像部で周期的に得られる画像ごとに、画像内に含まれる前記信号機の点灯態様を逐次検出する検出工程と、
    前記検出工程で前記信号機の同じ点灯態様が所定時間継続して検出された場合に、当該点灯態様を前記信号機の点灯状況として決定する決定工程と、
    を含み、
    前記所定時間は、前記撮像部の撮像周期の２倍以上である、ことを特徴とする認識方法。
13. 請求項１２に記載の認識方法の各工程をコンピュータに実行させるためのプログラム。

Images