JP7507707B2 - 制御装置、移動体、制御方法及びプログラム - Google Patents

Description

本発明は、制御装置、移動体、制御方法及びプログラムに関する。

特許文献１には、カメラでの信号認識または無線通信で取得した信号認識のいずれか一方の認識結果を車速に応じて切り替えて車内のディスプレイに表示する技術が開示されている。

特開２００９－６１８７１号公報

しかしながら、道路側方の街路樹の影響により信号機の一部が覆われる等の走行している道路の周辺環境や降雪などの天候条件によりカメラ（撮像部）が撮像した画像において信号機の表示を正確に認識することができない場合が生じ得る。また、通信状態により無線通信を介して認識結果を取得することができない場合も生じ得る。

本発明は、上記の課題に鑑み、撮像部の認識結果及び通信部が通信で受信した表示情報の比較に基づいて信号機の表示を決定することが可能な技術を提供する。

本発明の一態様に係る制御装置は、移動体に搭載され、前記移動体の外界を撮像する撮像部により撮像された画像に含まれる信号機の表示を表示部に表示する制御装置であって、
前記画像から信号機の表示を認識する認識部と、
前記信号機の表示情報を無線通信により受信する通信部と、
前記認識部により認識された前記信号機の表示と前記通信部により受信された前記表示情報とに基づいて前記信号機の表示を決定し、当該決定した前記信号機の表示を前記表示部に表示する制御部と、を備え、
前記制御部は、
前記認識部により認識された前記信号機の点灯色と、前記無線通信による前記表示情報から取得した前記信号機の点灯色とを比較して、前記比較の結果に基づいた所定の優先順位に従い前記表示部に表示する前記信号機の点灯色を決定する点灯色決定部と、
前記認識部により認識された前記信号機の進行方向の指示と、前記無線通信による前記表示情報から取得した前記信号機の進行方向の指示とを比較して、前記比較の結果が一致する進行方向の指示を前記表示部に表示する進行方向の指示として決定する進行方向決定部と、を備える。

本発明によれば、撮像部の認識結果及び通信部が通信で受信した表示情報の比較に基づいて信号機の表示を決定することができる。

制御装置の基本構成を例示するブロック図。 制御装置の機能構成を車両に設けた構成例を示すブロック図。 第１実施形態に係る制御装置による処理の流れを説明する図。 優先決定処理に関する制御装置の処理の流れを説明する図。 第２実施形態に係る制御装置による処理の流れを説明する図。 車両が走行する道路を模式的に示す図。 複数の信号機の表示の統合処理を模式的に示す図。 信号機の表示の認識結果と表示情報との比較処理および信号機の表示の決定処理を模式的に示す図。 信号機の点灯色に関する所定の優先順位の設定例を示す図。 信号機の進行方向の指示の決定例を説明する図。 統合信号表示と地図情報との比較処理を模式的に示す図。 中間段階の信号機の表示と表示情報との比較処理および信号機の表示の決定処理を模式的に示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

[第１実施形態]
第１実施形態において、移動体には車両が含まれ、以下の説明では、移動体として車両の例を説明し、車両乗員（運転者）に情報を提示（表示）する構成を説明する。図１は、車両１を制御する制御装置２の基本構成を例示するブロック図である。制御装置２は、処理を司る処理部Ｃ１、メモリＣ２、ネットワーク上のサーバや外部機器と通信可能な通信部Ｃ３等を含む。センサＳは、例えば、複数のレーダＳ１、および複数のライダＳ２（Light Detection and Ranging（LIDAR：ライダ））、ジャイロセンサＳ３、ＧＰＳセンサＳ４、車速センサＳ５等を含む。センサＳおよびカメラＣＡＭは、自車両の周囲に存在する物体や標識を含む物標や車両の位置情報に関する外界情報を取得する外界センサとして機能する。センサＳおよびカメラＣＡＭ（外界センサ）は、車両の情報および車両周辺の各種情報を取得し、取得した情報を制御装置２に入力する。

制御装置２は、レーダＳ１、ライダＳ２およびカメラＣＡＭから入力された情報に画像処理を行い、車両の周囲に存在する物標（オブジェクト）を抽出し、車両の周囲にどのような物標が配置されているかを解析し、物標を監視する。例えば、車両が走行している道路の前方に位置する信号機の表示を認識することが可能である。

制御装置２は、抽出した物標（オブジェクト）の情報、およびセンサＳおよびカメラＣＡＭから入力された情報に基づいて車両の自動運転制御を行う車両制御装置および信号機の表示などの物標（オブジェクト）の情報を表示部に表示する表示制御装置として機能する。表示制御装置は、移動体（車両）に搭載され、移動体（車両）の外界を撮像するカメラＣＡＭ（撮像部）により撮像された画像に含まれる信号機の表示を表示部に表示する。また、制御装置２は、自車両の現在位置を地図上にマッピングすると共に目的地までの経路案内等を行うナビゲーション機能を有する装置として機能する。これらの装置や機器は、例えばＣＡＮ（Controller Area Network）等の通信媒体を介して相互にデータ通信可能に接続して構成されている。

また、ジャイロセンサＳ３は車両の回転運動や姿勢を検知し、制御装置２は、ジャイロセンサＳ３の検知結果や、車速センサＳ５により検出された車速等に基づいて、車両の進路を判定することができる。また、制御装置２は、ＧＰＳセンサＳ４の検出結果に基づいて、地図情報における車両の現在位置（位置情報）や、車両（自車両）が走行している車線数や道路形状、経路における車線減少または車線増加、工事や故障車等の存在などの道路情報を取得することができる。制御装置２は、複数の制御状態を車両の周辺環境の情報に基づいて段階的に状態遷移させて、車両の自動運転走行を制御することが可能である。すなわち、制御装置２は、センサＳおよびカメラＣＡＭの情報を用いて車両の周辺環境の情報を取得し、周辺環境の情報に基づいて、車両の制御状態を遷移させて、車両の自動運転走行を制御する。

図１に示す制御装置２の処理を車両上で行う場合、制御装置２を、例えば、センサＳやカメラＣＡＭの情報を処理する認識処理系や画像処理系のＥＣＵ内に配置してもよいし、通信装置、表示装置や入出力装置を制御するＥＣＵ内に配置してもよいし、車両の駆動制御を行うＥＣＵや、自動運転用のＥＣＵ内に配置してもよい。

例えば、以下に説明する図２のように、レーダ、ライダ用、カメラ用のＥＣＵ２２、２３、通信制御用のＥＣＵ２４、２５、入出力装置用のＥＣＵ２８、および自動運転用のＥＣＵ２０等、車両１を制御するために設けられている複数のＥＣＵに、制御装置２の機能を分散させてもよい。

図２は、制御装置として機能する制御装置２（図１）を車両１に設けた構成例を示すブロック図である。図２において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。

図２の制御装置２は、車両１の各部を制御する。制御装置２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０～２９を含む。各ＥＣＵ（Electronic Control Unit）は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、プロセッサ２０ａとメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムが含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ等の専用の集積回路を備えてもよい。他のＥＣＵについても同様である。

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については、車両１の適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合することが可能である。

ＥＣＵ２０は、本実施形態に係る車両１（自車両）の自動運転に関わる車両制御を実行する。自動運転においては、車両１の操舵と、車線変更、加減速を自動制御する。自動運転に関わる具体的な制御に関する処理については後に詳細に説明する。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニット４１～４３の制御および検知結果の情報処理を行う。検知ユニット４１は、図１のカメラＣＡＭに対応する構成であり、撮像により車両１の前方の物体を検知する撮像デバイスである（以下、カメラ４１と表記する場合がある。）。本実施形態の場合、カメラ４１は車両１の前方を撮影可能なように、車両１のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ４１が撮影した画像の解析（画像処理）により、車両１の前方に位置する信号機などの物標の輪郭抽出や、信号機の表示や道路上の車線の区画線（白線等）を抽出可能である。

検知ユニット４２（ライダ検知部）は、Light Detection and Ranging（LIDAR：ライダ）であり（以下、ライダ４２と表記する場合がある）、光により車両１の周囲の物標を検知したり、物標との距離を測距する。検知ユニット４２（ライダ４２）は図１のライダＳ２に対応する構成である。本実施形態の場合、ライダ４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。

検知ユニット４３（レーダ検知部）は、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、電波により車両１の周囲の物標を検知したり、物標との距離を測距する。検知ユニット４３（レーダ４３）は図１のレーダＳ１に対応する構成である。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。

ＥＣＵ２２は、一方のカメラ４１と、各ライダ４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４１と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。本実施形態において、ＥＣＵ２２およびＥＣＵ２３は、認識部として機能して、カメラ４１（撮像部）により撮像された画像から信号機の表示を認識する。ここで、信号機の表示には、信号機の点灯色（赤、青、黄）と、矢印表示で示される信号機の進行方向の指示とが含まれる。

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。通信装置２４ｃは、例えば、ＶＩＣＳ（Vehicle Information and Communication System）（登録商標）などの道路の交通状況を監視するシステムの情報提供用サーバと無線通信を行い、自車両Ｍが走行中の道路や走行予定の道路の交通状況を示す交通情報を取得する。交通情報には、設定された経路上における渋滞情報、渋滞地点を通過するための所要時間情報、故障車・工事情報、速度規制・車線規制情報などの交通障害情報が含まれる。また、通信装置２４ｃは、無線通信により、信号機の表示情報（点灯色、信号機の進行方）を保持する地図情報を取得する。通信装置２４ｃは、無線通信により、信号機の表示情報として少なくとも矢印信号の方向を示す信号機の進行方向の表示情報を保持する地図情報を取得し、記憶デバイスに保存する。

ＥＣＵ２４は、記憶デバイスに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。データベース２４ａはネットワーク上に配置可能であり、通信装置２４ｃがネットワーク上のデータベース２４ａにアクセスして、情報を取得することが可能である。ジャイロセンサ５、ＧＰＳセンサ２４ｂは、それぞれ、図１のジャイロセンサＳ３、ＧＰＳセンサＳ４に対応する構成である。

ＥＣＵ２５は、車車間通信、路車間通信、またはスマートフォン等の情報処理装置と通信可能な通信装置２５ａを備える。例えば、通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行ったり、外部の情報処理装置等との無線通信により情報交換を行うことが可能である。通信装置２５ａおよび通信装置２４ｃは、図１の通信部Ｃ３に対応する構成である。本実施形態において、通信装置２５ａおよび通信装置２４ｃは、通信部として機能して、信号機の表示情報を無線通信により受信する。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。なお、パワープラント６の構成は、この例に限られず、電動機を動力源とした電気自動車、エンジン及び電動機を兼ね備えたハイブリッド自動車等を含む。このうち、電気自動車は、例えば、二次電池、水素燃料電池、金属燃料電池、アルコール燃料電池等の電池により放電される電力を使用して駆動される。

ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃ（図１の車速センサＳ５）が検知した車速等の情報に基づいて変速機の変速段を切り替える。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は車両１の前部、ドアミラーおよび後部に設けられている。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者を含む乗員に対する情報の出力と、乗員からの情報の入力の受け付けを行う。音声出力装置９１は乗員に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席および助手席の正面に配置され、ヒューマンマシンインターフェースとして機能するタッチパネル式のインストルメントパネル等を構成する。本実施形態において、ＥＣＵ２８は、制御部として機能して、認識部（ＥＣＵ２２、２３）により認識された信号機の表示と、通信部（通信装置２４ｃ、２５ａ）により受信された表示情報とに基づいて信号機の表示を決定し、当該決定した信号機の表示を表示装置９２（表示部）に表示する。

ＥＣＵ２４により探索された現在地から目的地への経路上において、ＥＣＵ２８は、車両１（自車両）の位置情報と地図情報から取得した、車両１が現在走行している複数の車線を含む道路情報を表示装置９２に表示する表示制御を行う。また、ＥＣＵ２８は、音声出力装置９１および表示装置９２を制御して、音声、地図表示、及び音声による案内情報を運転者に提供する。

なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせてもよい。

入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を入力するスイッチ群および乗員の音声を入力する音声入力装置を含む。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

（処理の概要）
次に、制御装置２が実行する処理の概要について説明する。図４は、車両１が走行する道路を模式的に示す図である。図４に示すように、車両１は、直進または左折が可能な車線ＬＮ１を矢印４４０の方向に走行中である。車線ＬＮ１に隣接する車線ＬＮ２は右折専用車線であり、車線ＬＮ３は対向車線であり、他車両４３１、４３２は矢印４４０に対して逆方向に走行可能である。

車両１の前方には第１交差点４１０、及び第２交差点４２０が位置している。第１交差点４１０は車両１の走行位置に対して最も近い位置の交差点であり、第２交差点４２０は第１交差点４１０から距離Ｌ１離間した位置の交差点である。

第１交差点４１０には、第１信号機４１１が設けられており、「赤」、「黄」及び「青」の点灯表示部を有する第１信号機４１１には、矢印信号により進行方向の指示を示す矢印信号部４１２、４１３が設けられている。図４に示す表示例において、第１信号機４１１の点灯色は「赤」（網掛け表示）であり、右折の指示を示す矢印信号部４１２の矢印信号は点灯した状態である。また、直進の指示を示す矢印信号部４１３の矢印信号は消灯した状態（非点灯状態）である。右折の指示を示す矢印信号部４１２の点灯表示により、他車両４１５が車線ＬＮ２から第１交差点４１０を右折した状態である。

第２交差点４２０には、第２信号機４２１が設けられており、「赤」、「黄」及び「青」の点灯表示部を有する第２信号機４２１には、矢印信号により進行方向の指示を示す矢印信号部４２２、４２３が設けられている。図４に示す表示例において、第２信号機４２１の点灯色は「赤」（網掛け表示）であり、右折の指示を示す矢印信号部４２２の矢印信号は消灯した状態（非点灯状態）である。また、直進の指示を示す矢印信号部４２３の矢印信号は点灯した状態である。直進の指示を示す矢印信号部４２３の点灯表示により、他車両４２５が車線ＬＮ１から第２交差点４２０を直進した状態である。

なお、本実施形態において、各信号機の点灯色として「赤」の場合を例示的に説明しているが、本実施形態における制御装置２の処理では、点灯色は「赤」に限定されるものではなく、「黄」及び「青」の点灯色においても同様である。また、矢印信号の表示例として、右折と直進の表示例を示しているが、左折の矢印信号の表示であっても制御装置２は同様に処理を行うことが可能である。

第１交差点４１０の位置に対して手前の距離Ｌ２の位置に外部通信装置４１４が配置されており、第２交差点４２０の位置に対して手前の距離Ｌ３の位置に外部通信装置４２４が配置されている。外部通信装置４１４、４２４は、例えば、ビーコン方式または、携帯電話向け通信規格により標準化されたモバイル用の通信ネットワークを用いたセルラー方式の外部通信装置として構成される。外部通信装置４１４、４２４は、Ｖ２Ｘ（Vehicle to Everything）による通信機能を有しており、外部通信装置４１４、４２４は、信号機（第１信号機４１１、第２信号機４２１）の表示を制御する信号制御システムと通信し、信号制御システムから受信した信号機の表示情報を移動体に配信する。外部通信装置４１４、４２４は、車線（ＬＮ１、ＬＮ２）の上方に配置されており、外部通信装置４１４、４２４の下方を移動体が走行する際に、移動体の通信部（通信装置２４ｃ、２５ａ）は、外部通信装置４１４、４２４から送信された信号機の表示情報を受信することが可能である。

移動体の通信部（通信装置２４ｃ、２５ａ）は外部通信装置４１４、４２４の下方を走行する際に、信号機の表示情報をまとめて受信する。例えば、信号機の表示情報には、以下の情報が少なくとも含まれる。
第１信号機４１１：現在の点灯色「赤」
矢印信号の表示状態（右折点灯、直進非点灯）
次点灯信号「青」、変更予定時間（Ｔ１秒後）
第２信号機４２１：現在の点灯色「赤」
矢印信号の表示状態（右折非点灯、直進点灯）
次点灯信号「青」、変更予定時間（Ｔ２秒後）。

信号機の表示を制御する信号制御システムは、交通の円滑化を図るために交差点の混雑状況に合わせて、信号機の表示（点灯色、進行方向の指示）の制御タイミングを変更にする場合がある。セルラー方式の外部通信装置は、信号機の表示情報が変更された場合でも、リアルタイムで変更後の信号機の表示情報の通信が可能である。

一方、ビーコン方式の外部通信装置の場合には、例えば、移動体の通信部（通信装置２４ｃ、２５ａ）が外部通信装置４１４から受信した表示情報は、次の外部通信装置４２４から変更後の信号機の表示情報を受信するまで更新されない。本実施形態では、外部通信装置の下方を走行した時点から所定時間（基準時間）は、ビーコン方式またはセルラー方式の外部通信装置４１４、４２４から受信した信号機の表示情報は正確な情報を維持できる時間とする。

（処理フロー）
次に、制御装置２が実行する処理フローについて説明する。図３Ａは制御装置２の処理の流れを説明する図であり、図５～図６は、ＥＣＵ２８による信号機の表示を決定する内部的な処理を模式的に示す図である。

図３ＡのＳ３０１において、カメラ４１（ＣＡＭ）が移動体（車両）の外界を撮像する。Ｓ３０２において、認識部（ＥＣＵ２２、２３）は、カメラ４１（ＣＡＭ）により撮像された画像（撮像画像）に含まれる信号機の表示を認識する。認識部（ＥＣＵ２２、２３）は、撮像画像に対して画像処理を施すことにより、撮像画像に含まれる信号機を抽出し、信号機の表示を認識することができる。

Ｓ３０３において、認識部（ＥＣＵ２２、２３）は、信号機の表示として複数の表示を取得したか否かを判定する。複数の表示を取得していない場合（Ｓ３０３－Ｎｏ）、認識部（ＥＣＵ２２、２３）は、処理をＳ３０５に進める。一方、Ｓ３０３の判定処理で、複数の表示を取得した場合（Ｓ３０３－ＮＹｅｓ）、認識部（ＥＣＵ２２、２３）は、処理をＳ３０４に進める。

Ｓ３０４において、認識部（ＥＣＵ２２、２３）は、複数の信号機の表示を統合する。複数の信号機の表示は、例えば、図４に示すように第１交差点４１０、第２交差点４２０が連続するような道路構造において、第１信号機４１１の表示と第２信号機４２１の表示がカメラ４１により撮像される場合に生じ得る。図５は、複数の信号機の表示の統合処理を模式的に示す図である。第１信号機の表示５１０は第１信号機４１１の表示（図４）に基づいて認識された表示であり、第２信号機の表示５２０は第２信号機４２１の表示（図４）に基づいて認識された表示である。

信号機の表示の統合処理は表示部分の加算であり、認識部（ＥＣＵ２２、２３）は、第１信号機の表示５１０における右折の矢印信号の表示と、第２信号機の表示５２０における直進の矢印信号の表示とを加算した統合信号表示５３０を取得する。点灯色は、第１信号機の表示５１０及び第２信号機の表示５２０において共通の「赤」であり、認識部（ＥＣＵ２２、２３）は点灯色「赤」の統合信号表示５３０を取得する。

図５に示す例では、点灯色が一致している場合を示しているが、この表示例に限定されるものではない。点灯色が異なる場合として例えば、第１信号機の表示５１０における点灯色が「青」であり、第２信号機の表示５２０における点灯色が「赤」の場合に、認識部（ＥＣＵ２２、２３）は、これらの点灯色を加算した点灯色（「赤」、「青」）の統合信号表示５３０を取得することが可能である。

説明を図３Ａに戻し、Ｓ３０５において、通信部（通信装置２４ｃ、２５ａ）は、外部通信装置４１４，４２４から信号機の表示情報を無線通信により受信する。

Ｓ３０６において、ＥＣＵ２８（制御部）は、信号機の表示の認識結果（Ｓ３０２、Ｓ３０４）と、表示情報（Ｓ３０５）との比較を行う。

そして、Ｓ３０７において、ＥＣＵ２８（制御部）は、Ｓ３０６の比較の結果に基づいて、信号機の表示を決定する。ＥＣＵ２８（制御部）は、位置情報取得部（ＥＣＵ２４、ジャイロセンサ５、ＧＰＳセンサ２４ｂ）が取得した移動体の位置情報に基づいて、移動体の走行位置を特定する。ＥＣＵ２８（制御部）は、認識部（ＥＣＵ２２、２３）により認識された信号機の進行方向の指示のうち、走行位置に対して最も近い位置の交差点に関する信号機の表示を決定する。

ここで、図６は、信号機の表示の認識結果と通信により受信した表示情報６１０、６２０との比較処理（Ｓ３０６）および信号機の表示の決定処理（Ｓ３０７）を模式的に示す図である。図６のＳＴ６１は、表示情報６１０に基づいた比較処理および信号機の表示の決定処理を模式的に示す図である。ここで、表示情報６１０は、点灯色が赤であり、進行方向の指示が右折の表示状態を示す。

また、図６のＳＴ６２は、表示情報６２０に基づいた比較処理および信号機の表示の決定処理を模式的に示す図であり、表示情報６２０は点灯色が赤であり、進行方向の指示が直進の表示状態を示す。

本実施形態において、ＥＣＵ２８（制御部）は、機能構成として、点灯色決定部および進行方向決定部として機能することが可能である。ここで、点灯色決定部は、認識部（ＥＣＵ２２、２３）により認識された信号機の点灯色と、通信装置２４ｃの無線通信による表示情報から取得した信号機の点灯色とを比較して、比較の結果に基づいた所定の優先順位に従い表示部に表示する信号機の点灯色を決定する。

また、進行方向決定部は、認識部（ＥＣＵ２２、２３）により認識された信号機の進行方向の指示と、通信装置２４ｃの無線通信による表示情報から取得した信号機の進行方向の指示とを比較して、比較の結果が一致する進行方向の指示を表示部に表示する進行方向の指示として決定する。

（点灯色の決定）
図７は信号機の点灯色に関する所定の優先順位の設定例を示す図であり、点灯色決定部は、比較の結果に基づいた所定の優先順位（図７）に従い表示部に表示する信号機の点灯色を決定する。図７に示す所定の優先順位は例示的なものであり、点灯色として「青」、「赤」の例について説明しているが、「黄」を除くものではなく、３色を含む所定の優先順位を設定することも可能である。

図７に示す優先順位の設定例において、認識部（ＥＣＵ２２、２３）により認識された表示色７０１と通信部（通信装置２４ｃ）が受信した表示情報７０２とが一致する場合（７１０、７５０）、点灯色決定部は、両者が一致する点灯色を表示部に表示する信号機の点灯色として決定する。この場合、点灯色決定部は、受信した表示情報に基づいて、現在の点灯色が変更されるまでの残時間を点灯色とともに決定する。

優先順位の設定例において、認識部（ＥＣＵ２２、２３）により認識された表示色７０１と通信部が受信した表示情報７０２とが一致しない場合（７２０、７４０）、点灯色決定部は、赤信号における交差点進入を防止するため、点灯色「赤」を表示部に表示する信号機の点灯色として決定する。

比較の対象となる情報が取得できないなど、カメラ４１の状態と制御装置２の状態で整合がとれない場合（７３０、７６０、７７０）には、認識された表示色７０１および表示情報７０２に、未定情報を示す「unknown」が設定される。認識された表示色７０１および表示情報７０２のうち少なくとも何れか一方に未定情報（「unknown」）が設定される場合に、点灯色決定部は、所定の優先順位に従い、取得することができた情報に基づいて表示部に表示する信号機の点灯色を決定する。例えば、表示情報７０２を通信部から受信することができず、表示情報７０２に未定情報（「unknown」）が設定されている場合（７３０、７６０）には、点灯色決定部は、認識部（ＥＣＵ２２、２３）により認識された表示色に基づいて表示部に表示する信号機の点灯色を決定する。

信号機の点灯色に関して、図６の決定処理の例（ＳＴ６１、ＳＴ６２）では、統合信号表示５３０と表示情報６１０の点灯色（赤）は一致しており、点灯色決定部は、比較の結果に基づいた所定の優先順位（図７の７５０）に従い一致する点灯色（赤）を表示部に表示する信号機の点灯色として決定する。

（進行方向の決定）
進行方向決定部は、認識部（ＥＣＵ２２、２３）により認識された信号機の進行方向の指示のうち、無線通信による表示情報から取得した前記信号機の進行方向の指示と一致しない進行方向の指示を除外する。すなわち、進行方向決定部は、認識部（ＥＣＵ２２、２３）により認識された信号機の進行方向の指示のうち、無線通信による表示情報から取得した信号機の進行方向の指示と一致する信号機の進行方向の指示を表示部に表示する進行方向の指示として決定する。

認識部（ＥＣＵ２２，２３）は、カメラ４１で撮像された画像に含まれる複数の信号機の表示を取得した場合に、複数の信号機の表示を統合した統合信号表示５３０を信号機の表示として認識する（図５）。進行方向決定部は、統合信号表示５３０と無線通信による表示情報（６１０、６２０）との比較の結果が一致する進行方向の指示を表示部に表示する進行方向の指示として決定する。

図８は信号機の進行方向の指示の決定例を示す図であり、進行方向決定部は、認識部（ＥＣＵ２２、２３）により認識された矢印信号８０１（信号機の進行方向の指示）と、通信装置２４ｃの無線通信による表示情報８０２から取得した信号機の進行方向の指示とを比較して、比較の結果が一致する進行方向の指示を表示部に表示する進行方向の指示として決定する。

図８に示すように、認識部（ＥＣＵ２２、２３）により認識された矢印信号８０１と通信部（通信装置２４ｃ）が受信した表示情報８０２とが一致する場合（８１０、８４０）、進行方向決定部は、比較の結果が一致する進行方向の指示を表示部に表示する進行方向の指示として決定する（８０３）。この場合、進行方向決定部は、受信した表示情報８０２に基づいて、現在の矢印信号の表示が変更される残時間を進行方向の指示（矢印信号の方向）とともに決定する。また、比較の結果が一致しない場合（８２０、８３０）、進行方向決定部は、進行方向の指示は無いと決定する（８０３）。

矢印信号に関して、図６の決定処理の例（ＳＴ６１）では、認識された矢印信号（直進、右折）と通信部（通信装置２４ｃ、２５ａ）が受信した表示情報（右折）との比較により、進行方向決定部は、比較の結果が一致する進行方向の指示（右折）を表示部に表示する進行方向の指示として決定する。

また、図６の決定処理の例（ＳＴ６２）では、認識された矢印信号（直進、右折）と通信部（通信装置２４ｃ、２５ａ）が受信した表示情報（直進）との比較により、進行方向決定部は、比較の結果が一致する進行方向の指示（直進）を表示部に表示する進行方向の指示として決定する。

通信部（通信装置２４ｃ、２５ａ）が、移動体の走行する車線の上方に配置された外部通信装置４１４、４２４との無線通信により信号機の表示情報を受信する場合に、外部通信装置４１４、４２４からは進行方向に配置される信号機の点灯色、進行方向指示に加え、それらの最低点灯時間と最高点灯時間が送信される。例えば、点灯色は青色であり、最低点灯時間０秒、最高点灯時間１０秒として通信される場合がある。その場合、通信による信号機情報の取得は成功しているものの、表示の対象の信号機が０秒後に黄色点灯に変化する可能性があり、信号機の点灯予測情報としては不確実となってしまう場合が生じ得る。

そのため、本実施形態のように通信部が取得した信号機情報と撮像部により認識された信号機の表示の情報とを比較した後に表示する信号機の表示を決定することで精度の高い表示を行うことが出来る。また、比較の際に、最低点灯時間を考慮し、基準時間を設定してもよい。すなわち、信号機の表示が変化する最低基準時間が、移動体が交差点に突入すると推定される時間より長い場合は、通信部が取得した信号機情報を優先し、他方、最低基準時間が推定される時間に比べて短い場合は、通信部と撮像部との情報を比較してもよい。

（変形例）
第１実施形態では、点灯色決定部および進行方向決定部の基本処理を説明した。本例では、ＥＣＵ２８（制御部）は、外部通信装置４１４、４２４から表示情報を受信した時点から基準時間内では外部通信装置４１４、４２４から受信した情報を優先して用いることにより、信号機の表示（点灯色、進行方向の指示）を決定する処理（優先決定処理）について説明する。そして、ＥＣＵ２８（制御部）は、基準時間経過後に、優先決定処理の設定を解除して第１実施懈怠で説明した基本処理に戻すように設定を変更する。本例で説明する優先決定処理は、例えば、図３ＡのＳ３０５で実行される処理である。図３Ｂは優先決定処理に関する制御装置２の処理の流れを説明する図である。

図３ＢのＳ３１０において、通信部（通信装置２４ｃ、２５ａ）は、外部通信装置４１４，４２４から信号機の表示情報を無線通信により受信する。

Ｓ３１１において、ＥＣＵ２８（制御部）は受信した表示情報に基づいて、走行位置に対して最も近い位置の交差点に関する信号機の表示を決定する。

本ステップにおいて、点灯色決定部は、表示情報を受信してから基準時間内では比較の結果に基づいた所定の優先順位（図７）によらず、表示情報から取得した信号機の点灯色に基づいて、表示部に表示する信号機の点灯色を決定する（点灯色の優先決定処理）。また、進行方向決定部は、表示情報を受信してから基準時間内では比較の結果によらず、表示情報から取得した信号機の進行方向の指示に基づいて、表示部に表示する進行方向の指示を決定する（進行方向の指示の優先決定処理）。

Ｓ３１２において、ＥＣＵ２８（制御部）は表示情報の受信に基づいて内部クロックに基づいて時間の計測を開始する。

Ｓ３１３において、ＥＣＵ２８（制御部）は計測した時間が基準時間を経過したか否か判定し、基準時間を経過していない場合（Ｓ３１３－Ｎｏ）、処理をＳ３１１に戻し、同様の処理を繰り返し実行する。一方、Ｓ３１３の判定で、基準時間を経過した場合（Ｓ３１３－Ｙｅｓ）、ＥＣＵ２８（制御部）は処理をＳ３１４に進める。

Ｓ３１４において、ＥＣＵ２８（制御部）は、Ｓ３１１で行った優先決定処理の設定を解除する。点灯色決定部は、基準時間の経過後では点灯色の優先決定処理によらず、比較の結果に基づいた所定の優先順位（図７）に従い表示部に表示する信号機の点灯色を決定する。また、進行方向決定部は、基準時間の経過後では進行方向の指示の優先決定処理によらず、比較の結果が一致する進行方向の指示を表示部に表示する進行方向の指示として決定する。

[第２実施形態]
第１実施形態では、認識部（ＥＣＵ２２、２３）により認識された信号機の表示と通信部（通信装置２４ｃ、２５ａ）により受信された表示情報とに基づいて信号機の表示を決定する構成について説明した。第２実施形態では、更に、信号機の進行方向の表示情報を保持する地図情報を組み合わせて信号機の表示を決定する構成について説明する。制御装置２の構成は第１実施形態で説明した図１、図２と同様である。

図３Ｃは第２実施形態に係る制御装置による処理の流れを説明する図である。図３Ｃにおいて、Ｓ３０１～Ｓ３０５、Ｓ３０７の処理は第１実施形態で説明した処理と同様であり、重複する説明を省略して、異なるステップの処理について以下説明する。

Ｓ３０４の統合処理の後、図３ＣのＳ３０８において、通信部（通信装置２４ｃ、２５ａ）は、無線通信により、信号機の表示情報（点灯色、信号機の進行方向）を保持する地図情報を取得する。地図情報は信号機の表示情報として少なくとも矢印信号の方向を示す表示情報を保持するものとする。なお、地図情報の取得は無線通信に限られず、制御装置２は、信号機の表示情報として、少なくとも矢印信号の方向を示す信号機の進行方向の表示情報を保持する地図情報を記憶デバイス等に予め備えておくことも可能である。

Ｓ３０９において、ＥＣＵ２８（制御部）は、Ｓ３０４で取得された統合信号表示５３０と、地図情報（Ｓ３０８）との比較を行う。

図９は、統合信号表示５３０（Ｓ３０４）と地図情報９１０（Ｓ３０８）との比較処理を模式的に示す図である。地図情報に保持される種々の情報のうち、図９に示す地図情報９１０は、移動体の走行位置に対して最も近い位置の交差点に関する信号機の表示情報を示すものとする。地図情報９１０は、信号機の表示情報として、３色（「赤」、「黄」及び「青」）の表示部の有無を示す点灯表示部と、進行方向の指示として右折の矢印信号部を有することを示す。点灯表示部の情報には、現在点灯している点灯色に関する色の限定情報は含まれていないものとする。

ＥＣＵ２８（制御部）は、比較処理に基づいて、中間段階の信号機の表示９２０を取得する。統合信号表示５３０と地図情報９１０との比較処理において、点灯色の限定はできないため、ＥＣＵ２８（制御部）は、統合信号表示５３０における点灯色の表示（赤）を中間段階の信号機の表示９２０に設定する。

また、矢印信号に関して、進行方向決定部は、認識部（ＥＣＵ２２、２３）により認識された信号機の進行方向の指示（例えば、直進、右折）のうち、走行位置に対して最も近い位置の交差点に関して、地図情報９１０に保持された表示情報（右折）と一致する信号機の進行方向の指示を表示部に表示する進行方向の指示として決定（設定）する。

すなわち、進行方向決定部は、地図情報９１０に保持された表示情報と一致しない信号機の進行方向の指示（直進）を除外し、残された信号機の進行方向の指示（右折）を表示部に表示する進行方向の指示として決定（設定）する。本ステップでの決定は中間段階のもので、最終的な信号機の表示は、以下のＳ３１０、Ｓ３０７の処理に基づいて行うものとする。

Ｓ３１０において、ＥＣＵ２８（制御部）は、中間段階の信号機の表示９２０（Ｓ３０９）と、表示情報（Ｓ３０５）との比較を行う。

そして、Ｓ３０７において、ＥＣＵ２８（制御部）は、Ｓ３０６の比較の結果に基づいて、信号機の表示を決定する。ＥＣＵ２８（制御部）は、位置情報取得部（ＥＣＵ２４、ジャイロセンサ５、ＧＰＳセンサ２４ｂ）が取得した移動体の位置情報に基づいて、移動体の走行位置を特定し、ＥＣＵ２８（制御部）は、中間段階の信号機の表示９２０（Ｓ３０９）と、表示情報（Ｓ３０５）との比較に基づいて、走行位置に対して最も近い位置の交差点に関する信号機の表示を決定する。

ここで、図１０は、中間段階の信号機の表示９２０と通信により受信した表示情報１０１０、１０２０との比較処理（Ｓ３１０）および信号機の表示の決定処理（Ｓ３０７）を模式的に示す図である。図１０のＳＴ１０１は、表示情報１０１０に基づいた比較処理および信号機の表示の決定処理を模式的に示す図である。ここで、表示情報１０１０は、点灯色が赤であり、進行方向の指示が右折の表示状態を示す。

また、図１０のＳＴ１０２は、表示情報１０２０に基づいた比較処理および信号機の表示の決定処理を模式的に示す図であり、表示情報１０２０は点灯色が赤であり、進行方向の指示が直進の表示状態を示す。

信号機の点灯色に関して、図１０の決定処理の例（ＳＴ１０１、ＳＴ１０２）では、中間段階の信号機の表示９２０と表示情報１０１０の点灯色（赤）は一致しており、点灯色決定部は、比較の結果に基づいた所定の優先順位（図７の７５０）に従い一致する点灯色（赤）を表示部に表示する信号機の点灯色として決定する。

矢印信号に関して、図１０の決定処理の例（ＳＴ１０１）では、中間段階の信号機の表示９２０の矢印信号（右折）と通信部（通信装置２４ｃ、２５ａ）が受信した表示情報１０１０（右折）との比較により、進行方向決定部は、比較の結果が一致する進行方向の指示（右折）を表示部に表示する進行方向の指示として決定する。

また、図１０の決定処理の例（ＳＴ１０２）では、中間段階の信号機の表示９２０の矢印信号（右折）と通信部（通信装置２４ｃ、２５ａ）が受信した表示情報１０２０（直進）との比較により、矢印信号の指示方向は一致せず、進行方向決定部は、進行方向の指示は無いものと決定する。

（変形例）
通信部（通信装置２４ｃ、２５ａ）が、無線通信による表示情報および地図情報を取得できない場合に、認識部（ＥＣＵ２２、２３）は、カメラ４１で撮像された画像に含まれる複数の信号機の表示を取得した場合でも、複数の信号機の表示の統合を行わず、画像に対する画像処理により認識した複数の信号機の表示のうち、信号機の表示の認識精度の高い一方の信号機の表示を決定する。認識部は、画像から抽出した信号機の画像の解像度、画素値など画像処理の結果の比較に基づいて認識精度の高い一方の信号機の表示を決定することができる。このとき、制御部（ＥＣＵ２８）の点灯色決定部は、認識部により決定された信号機の表示に基づいて信号機の点灯色を決定し、進行方向決定部は、認識部により決定された信号機の表示に基づいて表示部に表示する進行方向の指示を決定する。

また、カメラ４１で撮像された画像に基づいて、認識部（ＥＣＵ２２、２３）が信号機を認識することができず、無線通信でのみ表示情報を取得できた場合、点灯色決定部及び進行方向決定部は、無線通信で取得した表示情報に基づいて、信号機の表示を決定し、制御部（ＥＣＵ２８）は決定した信号機の表示を表示部に表示してもよい。

（実施形態および変形例のまとめ）
上記実施形態は、少なくとも以下の制御装置、制御装置を有する移動体（車両）、制御方法、及びプログラムを開示する。

構成１．上記実施形態の制御装置は、移動体（１）に搭載され、前記移動体の外界を撮像する撮像部（４１）により撮像された画像に含まれる信号機の表示を表示部（９２）に表示する制御装置（２）であって、
前記画像から信号機の表示を認識する認識部（２２、２３）と、
前記信号機の表示情報を無線通信により受信する通信部（２４ｃ、２５ａ）と、
前記認識部により認識された前記信号機の表示と前記通信部により受信された前記表示情報とに基づいて前記信号機の表示を決定し、当該決定した前記信号機の表示を前記表示部に表示する制御部（２８）と、を備え、
前記制御部（２８）は、
前記認識部により認識された前記信号機の点灯色と、前記無線通信による前記表示情報から取得した前記信号機の点灯色とを比較して、前記比較の結果に基づいた所定の優先順位に従い前記表示部に表示する前記信号機の点灯色を決定する点灯色決定部と、
前記認識部により認識された前記信号機の進行方向の指示と、前記無線通信による前記表示情報から取得した前記信号機の進行方向の指示とを比較して、前記比較の結果が一致する進行方向の指示を前記表示部に表示する進行方向の指示として決定する進行方向決定部と、を備える。

構成１の制御装置によれば、撮像部の認識結果及び通信部が通信で受信した表示情報の比較に基づいて信号機の表示を決定することができる。

構成２．上記実施形態の制御装置では、前記制御部（２８）は、位置情報取得部が取得した前記移動体の位置情報に基づいて、前記移動体の走行位置を特定し、
前記制御装置は前記信号機の表示情報として、少なくとも矢印信号の方向を示す信号機の進行方向の表示情報を保持する地図情報を備え、
前記進行方向決定部は、更に、
前記認識部により認識された前記信号機の進行方向の指示のうち、前記走行位置に対して最も近い位置の交差点に関して、前記地図情報に保持された前記表示情報と一致する前記信号機の進行方向の指示を前記表示部に表示する進行方向の指示として決定する。

構成３．上記実施形態の制御装置では、前記進行方向決定部は、
前記認識部により認識された前記信号機の進行方向の指示のうち、前記無線通信による前記表示情報から取得した前記信号機の進行方向の指示と一致しない進行方向の指示を除外し、更に、
前記地図情報に保持された前記表示情報と一致しない前記信号機の進行方向の指示を除外し、
残された前記信号機の進行方向の指示を前記表示部に表示する進行方向の指示として決定する。

構成４．上記実施形態の制御装置では、前記進行方向決定部は、
前記認識部により認識された前記信号機の進行方向の指示のうち、前記無線通信による前記表示情報から取得した前記信号機の進行方向の指示と一致し、かつ、前記地図情報に保持された前記表示情報と一致する前記信号機の進行方向の指示を前記表示部に表示する進行方向の指示として決定する。

構成２～４の制御装置によれば、撮像部の認識結果及び通信部が通信で受信した表示情報及び地図情報の比較に基づいて信号機の表示を決定することができる。

構成５．上記実施形態の制御装置では、前記認識部（２２、２３）は、前記画像に含まれる複数の信号機の表示を取得した場合に、前記複数の信号機の表示を統合した統合信号表示を前記信号機の表示として認識し、
前記進行方向決定部は、前記統合信号表示と前記無線通信による前記表示情報との比較の結果が一致する進行方向の指示を前記表示部に表示する進行方向の指示として決定する。

構成５の制御装置によれば、撮像された画像に含まれる複数の信号機の表示が取得された場合に、複数の信号機の表示を統合した表示（統合信号表示）を比較の対象として取得することができ、統合信号表示を用いた比較処理の結果比較に基づいて信号機の表示を決定することができる。

構成６．上記実施形態の制御装置では、前記通信部（２４ｃ、２５ａ）は、前記走行位置に対して最も近い位置の交差点に配置された信号機に関して、前記移動体の走行する車線の上方に配置された外部通信装置（４１４、４２４）との無線通信により前記信号機の表示情報を受信し、
前記外部通信装置は、前記信号機の表示を制御する信号制御システムと通信し、前記信号制御システムから受信した前記信号機の表示情報を配信する。

構成６の制御装置によれば、移動体の通信部は外部通信装置との通信により信号機の表示情報を受信することができ、受信した表示情報を用いることにより、撮像部の認識結果及び通信部が通信で受信した表示情報の比較に基づいて信号機の表示を決定することができる。

構成７．上記実施形態の制御装置では、前記通信部（２４ｃ、２５ａ）が前記外部通信装置（４１４、４２４）から前記信号機の表示情報を受信した場合に、
前記点灯色決定部は、前記表示情報を受信してから基準時間内では前記比較の結果に基づいた所定の優先順位によらず、前記表示情報から取得した前記信号機の点灯色に基づいて、前記表示部に表示する前記信号機の点灯色を決定し、
前記進行方向決定部は、前記表示情報を受信してから基準時間内では前記比較の結果によらず、前記表示情報から取得した前記信号機の進行方向の指示に基づいて、前記表示部に表示する進行方向の指示を決定する。

構成８．上記実施形態の制御装置では、前記点灯色決定部は、前記基準時間の経過後では、前記比較の結果に基づいた所定の優先順位に従い前記表示部に表示する前記信号機の点灯色を決定し、
前記進行方向決定部は、前記基準時間の経過後では、前記比較の結果が一致する進行方向の指示を前記表示部に表示する進行方向の指示として決定する。

構成７及び構成８の制御装置によれば、信号制御システムが、交差点の混雑状況に合わせて、信号機の表示の制御タイミングを変更した場合であっても、表示情報について正確な情報を維持できる基準時間の経過前後で比較処理を切り替えることにより、制御タイミングの変更による影響を低減して、信号機の表示を高精度に決定することができる。

構成９．上記実施形態の制御装置では、前記通信部（２４ｃ、２５ａ）が、前記無線通信による前記表示情報および前記地図情報を取得できない場合に、
前記認識部（２２、２３）は、
前記画像に含まれる複数の信号機の表示を取得した場合でも、前記複数の信号機の表示の統合を行わず、
前記画像に対する画像処理により認識した当該複数の信号機の表示のうち、前記信号機の表示の認識精度の高い一方の信号機の表示を決定し、
前記点灯色決定部は、前記認識部により決定された前記信号機の表示に基づいて前記信号機の点灯色を決定し、
前記進行方向決定部は、前記認識部により決定された前記信号機の表示に基づいて前記表示部に表示する進行方向の指示を決定する。

構成９の制御装置によれば、比較処理において使用する表示情報および地図情報を取得できない場合には、認識部により決定された認識精度の高い一方の信号機の表示に基づいて、信号機の表示を決定することができる。

構成１０．上記実施形態の移動体は、構成１乃至構成９のいずれか１の構成に記載の制御装置（２）を有する。

構成１０の移動体によれば、構成１乃至構成９のいずれか１の構成に記載の制御装置を有する移動体を提供することが可能になる。

構成１１．上記実施形態の制御方法は、移動体（１）に搭載され、前記移動体の外界を撮像する撮像部（４１）により撮像された画像に含まれる信号機の表示を表示部に表示する制御装置（２）の制御方法であって、
認識部（２２、２３）が前記画像から信号機の表示を認識する認識工程（Ｓ３０２）と、
通信部（２４ｃ、２５ａ）が前記信号機の表示情報を無線通信により受信する通信工程（Ｓ３０５）と、
制御部が前記認識工程で認識された前記信号機の表示と前記通信工程で受信された前記表示情報とに基づいて前記信号機の表示を決定し、当該決定した前記信号機の表示を前記表示部に表示する制御工程（Ｓ３０６、Ｓ３０７）と、を有し、
前記制御工程では、
前記認識工程で認識された前記信号機の点灯色と、前記無線通信による前記表示情報から取得した前記信号機の点灯色とを比較して、前記比較の結果に基づいた所定の優先順位に従い前記表示部に表示する前記信号機の点灯色を決定する点灯色決定工程と、
前記認識工程で認識された前記信号機の進行方向の指示と、前記無線通信による前記表示情報から取得した前記信号機の進行方向の指示とを比較して、前記比較の結果が一致する進行方向の指示を前記表示部に表示する進行方向の指示として決定する進行方向決定工程と、を有する。

構成１１の制御方法によれば、撮像部の認識結果及び通信部が通信で受信した表示情報の比較に基づいて信号機の表示を決定することができる。

構成１２．上記の実施形態のプログラムでは、コンピュータに構成１１に記載の制御方法の各工程を実行させる。

この構成によれば、コンピュータに上述の制御方法の各工程を実行させるプログラムを提供できる。

（その他の実施形態）
本発明は、上述の実施形態の機能を実現するプログラムを、ネットワーク又は記憶媒体を介して移動体を制御するシステム又は制御装置に供給し、そのシステム又は制御装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出して、制御装置の処理を実行することも可能である。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

２２、２３：ＥＣＵ（認識部）、２４ｃ、２５ａ：通信装置（通信部）
２８：ＥＣＵ（制御部）

Claims (12)

1. 移動体に搭載され、前記移動体の外界を撮像する撮像部により撮像された画像に含まれる信号機の表示を表示部に表示する制御装置であって、
   前記画像から信号機の表示を認識する認識部と、
   前記信号機の表示情報を無線通信により受信する通信部と、
   前記認識部により認識された前記信号機の表示と前記通信部により受信された前記表示情報とに基づいて前記信号機の表示を決定し、当該決定した前記信号機の表示を前記表示部に表示する制御部と、を備え、
   前記制御部は、
   前記認識部により認識された前記信号機の点灯色と、前記無線通信による前記表示情報から取得した前記信号機の点灯色とを比較して、前記比較の結果に基づいた所定の優先順位に従い前記表示部に表示する前記信号機の点灯色を決定する点灯色決定部と、
   前記認識部により認識された前記信号機の進行方向の指示と、前記無線通信による前記表示情報から取得した前記信号機の進行方向の指示とを比較して、前記比較の結果が一致する進行方向の指示を前記表示部に表示する進行方向の指示として決定する進行方向決定部と、
   を備えることを特徴とする制御装置。
2. 前記制御部は、位置情報取得部が取得した前記移動体の位置情報に基づいて、前記移動体の走行位置を特定し、
   前記制御装置は前記信号機の表示情報として、少なくとも矢印信号の方向を示す信号機の進行方向の表示情報を保持する地図情報を備え、
   前記進行方向決定部は、更に、
   前記認識部により認識された前記信号機の進行方向の指示のうち、前記走行位置に対して最も近い位置の交差点に関して、前記地図情報に保持された前記表示情報と一致する前記信号機の進行方向の指示を前記表示部に表示する進行方向の指示として決定する
   ことを特徴とする請求項１に記載の制御装置。
3. 前記進行方向決定部は、
   前記認識部により認識された前記信号機の進行方向の指示のうち、前記無線通信による前記表示情報から取得した前記信号機の進行方向の指示と一致しない進行方向の指示を除外し、更に、
   前記地図情報に保持された前記表示情報と一致しない前記信号機の進行方向の指示を除外し、
   残された前記信号機の進行方向の指示を前記表示部に表示する進行方向の指示として決定する
   ことを特徴とする請求項２に記載の制御装置。
4. 前記進行方向決定部は、
   前記認識部により認識された前記信号機の進行方向の指示のうち、前記無線通信による前記表示情報から取得した前記信号機の進行方向の指示と一致し、かつ、前記地図情報に保持された前記表示情報と一致する前記信号機の進行方向の指示を前記表示部に表示する進行方向の指示として決定する
   ことを特徴とする請求項２または３に記載の制御装置。
5. 前記認識部は、前記画像に含まれる複数の信号機の表示を取得した場合に、前記複数の信号機の表示を統合した統合信号表示を前記信号機の表示として認識し、
   前記進行方向決定部は、前記統合信号表示と前記無線通信による前記表示情報との比較の結果が一致する進行方向の指示を前記表示部に表示する進行方向の指示として決定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
6. 前記通信部は、前記走行位置に対して最も近い位置の交差点に配置された信号機に関して、前記移動体の走行する車線の上方に配置された外部通信装置との無線通信により前記信号機の表示情報を受信し、
   前記外部通信装置は、前記信号機の表示を制御する信号制御システムと通信し、前記信号制御システムから受信した前記信号機の表示情報を配信する
   ことを特徴とする請求項２に記載の制御装置。
7. 前記通信部が前記外部通信装置から前記信号機の表示情報を受信した場合に、
   前記点灯色決定部は、前記表示情報を受信してから基準時間内では前記比較の結果に基づいた所定の優先順位によらず、前記表示情報から取得した前記信号機の点灯色に基づいて、前記表示部に表示する前記信号機の点灯色を決定し、
   前記進行方向決定部は、前記表示情報を受信してから基準時間内では前記比較の結果によらず、前記表示情報から取得した前記信号機の進行方向の指示に基づいて、前記表示部に表示する進行方向の指示を決定する
   ことを特徴とする請求項６に記載の制御装置。
8. 前記点灯色決定部は、前記基準時間の経過後では、前記比較の結果に基づいた所定の優先順位に従い前記表示部に表示する前記信号機の点灯色を決定し、
   前記進行方向決定部は、前記基準時間の経過後では、前記比較の結果が一致する進行方向の指示を前記表示部に表示する進行方向の指示として決定する
   ことを特徴とする請求項７に記載の制御装置。
9. 前記通信部が、前記無線通信による前記表示情報および前記地図情報を取得できない場合に、
   前記認識部は、
   前記画像に含まれる複数の信号機の表示を取得した場合でも、前記複数の信号機の表示の統合を行わず、
   前記画像に対する画像処理により認識した当該複数の信号機の表示のうち、前記信号機の表示の認識精度の高い一方の信号機の表示を決定し、
   前記点灯色決定部は、前記認識部により決定された前記信号機の表示に基づいて前記信号機の点灯色を決定し、
   前記進行方向決定部は、前記認識部により決定された前記信号機の表示に基づいて前記表示部に表示する進行方向の指示を決定する
   ことを特徴とする請求項２乃至４のいずれか１項に記載の制御装置。
10. 請求項１乃至９の何れか１項に記載の制御装置を備えることを特徴とする移動体。
11. 移動体に搭載され、前記移動体の外界を撮像する撮像部により撮像された画像に含まれる信号機の表示を表示部に表示する制御装置の制御方法であって、
    認識部が前記画像から信号機の表示を認識する認識工程と、
    通信部が前記信号機の表示情報を無線通信により受信する通信工程と、
    制御部が前記認識工程で認識された前記信号機の表示と前記通信工程で受信された前記表示情報とに基づいて前記信号機の表示を決定し、当該決定した前記信号機の表示を前記表示部に表示する制御工程と、を有し、
    前記制御工程では、
    前記認識工程で認識された前記信号機の点灯色と、前記無線通信による前記表示情報から取得した前記信号機の点灯色とを比較して、前記比較の結果に基づいた所定の優先順位に従い前記表示部に表示する前記信号機の点灯色を決定する点灯色決定工程と、
    前記認識工程で認識された前記信号機の進行方向の指示と、前記無線通信による前記表示情報から取得した前記信号機の進行方向の指示とを比較して、前記比較の結果が一致する進行方向の指示を前記表示部に表示する進行方向の指示として決定する進行方向決定工程と、
    を有することを特徴とする制御方法。
12. コンピュータに請求項１１に記載の制御方法の各工程を実行させるプログラム。

Images