JP2018114894A - 自動車自動運転システム - Google Patents

Abstract

【課題】歩行者に優しい安全な自動車の自度運転を行うのに好適な自動車自動運転システムを提供する。
【解決手段】画像処理手段は、画像処理により、交差点物体情報として、カメラによる撮影画像の中から人影の有無、信号機の有無および信号機の色を検出する機能、および、交差点特徴情報として、現在地周辺マップ画像の中から交差点の形状を検出する機能を備え、制御手段は、交差点物体情報とこれを検出した時点における自動車の行動パターンとに基づいて自動運転パターンを学習する学習モードと、その学習によって得られた自動運転パターンと交差点特徴情報とに基づいて自動車の自動運転に必要な制御信号を出力する自動運転モードと、を備える。
【選択図】図１

Description

本発明は、自動車の運転をコンピュータによって代行するシステム（以下「自動車自動運転システム」という）に関し、特に、歩行者に優しい安全な自動車の自度運転を行うことができるようにしたものである。

近年、自動車の運転をコンピュータによって代行するシステム（自動車自動運転システム）の技術開発が盛んに進められている。この技術開発のうち、例えば特許文献１においては、自動車に搭載したカメラで走行方向前方を撮影するとともに、そのカメラによる撮影画像の中から道路の走行レーン（具体的には白線）を認識して、自動車の運転支援や自動運転を行うことを開示している（特許文献１の要約を参照）。

しかしながら、例えば、道路の交差点には、道路を横断しようとする歩行者がいる場合もある。このため、特許文献１で開示している技術のように、道路の走行レーンを認識するだけでは、安全な自動車の自動運転を行うことは困難であるという問題点がある。

特開２０００−２０７５６３号公報

本発明は、前記問題点を解決するためになされたものであり、その目的は、歩行者に優しい安全な自動車の自度運転を行うのに好適な自動車自動運転システムを提供することである。

前記目的を達成するために、本発明は、自動車の周囲を撮影するカメラと、前記自動車の現在地周辺マップ画像を取得するマップ取得手段と、前記カメラによる撮影画像や前記現在地周辺マップ画像を処理する画像処理手段と、前記画像処理手段での処理結果に基づいて前記自動車を制御する制御手段と、を有し、前記画像処理手段は、画像処理により、交差点物体情報として、前記カメラによる撮影画像の中から、人影の有無、信号機の有無および信号機の色を検出する機能、および、交差点特徴情報として、前記現在地周辺マップ画像の中から交差点の形状を検出する機能を備え、前記制御手段は、前記交差点物体情報とこれを検出した時点における前記自動車の行動パターンとに基づいて自動運転パターンを学習する学習モードと、その学習によって得られた自動運転パターンと交差点特徴情報とに基づいて自動運転に必要な制御情報Ｓ１を制御系装置類４１に対して出力する自動運転モードと、を備えていることを特徴とする。

前記本発明において、前記自動運転パターンの学習は、前記交差点物体情報と前記自動車の行動パターンを一組の学習基礎データとしてデータ記憶部に複数組格納する処理と、前記データ記憶部に格納されている複数組の学習基礎データの中から同じ内容の学習基礎データを抽出し、その抽出数が最大の学習基礎データに基づいて自動運転パターンを得る処理と、を含むことを特徴としてもよい。

前記本発明において、前記カメラは、その取付け位置を中心として３６０°の回転が可能に設けられることにより、当該自動車の前方、左右両側方、後方を撮影可能であることを特徴としてもよい。

前記本発明において、前記カメラは、前記自動車の前後左右４方向を撮影する手段として、それぞれの方向に対応して複数設けられていることを特徴としてもよい。

前記本発明において、前記カメラによる撮影画像の中には、前記自動車のドアミラーの画像が含まれていることを特徴としてもよい。

前記本発明において、前記学習によって得られた前記自動運転パターンは、インターネット通信網を経由して自動運転監視サーバへ送信され、前記自動運転監視サーバは、前記自動運転パターンを蓄積するデータベースと、前記データベース内に蓄積された自動運転パターンを情報として処理する情報処理機能と、を有し、前記情報処理機能は、前記データベースに蓄積されている自動運転パターンの中から同じ交差点特徴情報を持っている自動運転パターンを抽出し、抽出した自動運転パターンを一つの交差点共通グループとしてグループ分けをする処理と、前記グループ分けの処理によって得られた一つの交差点共通グループを参照し、参照した交差点共通グループ内から同じ内容の自動運転パターンを抽出し、その抽出数が最大の自動運転パターンを当該一つの交差点共通グループにおける代表自動運転パターンとして採用する処理と、を含むことを特徴としてもよい。

本発明にあっては、自動車自動運転システムの具体的な構成として、前記のように、人影の有無、信号機の有無および信号機の色などのような交差点物体情報とこれを検出した時点における自動車の行動パターンとに基づいて自動運転パターンを学習し、学習によって得られた自動運転パターンと交差点特徴情報（具体的には交差点の形状）とに基づいて自動車の自動運転に必要な制御信号を出力するという構成を採用した。このため、例えば自動運転パターンを学習する学習モードの実行時において、交差点に歩行者が現れた場合は、この状況に対応した自動運転パターンを学習するので、歩行者に優しい安全な自動車の自度運転を行うのに好適な自動車自動運転システムを提供できる。

図１は本発明を適用した自動車自動運転システムのブロック図。 図２は図１の自動車自動運転システムにおけるカメラの取付け構成図。 図３（ａ）は自動車自動運転システムで利用する現在地周辺マップ画像（十字路交差点の例）、図３（ｂ）は同システムで利用するカメラによる撮影画像（十字路交差点の例）、図３（ｃ）は現在地周辺マップ画像（三叉路交差点の例）、図３（ｄ）は現在地周辺マップ画像（多差路交差点の例）の説明図。 図４は図１の自動車自動運転システムにおけるデータ記憶部の説明図。 図５は図１の自動車自動運転システムにおける学習モードをプログラムによるソフトウエア処理として構成したときの、当該プログラムで利用するデータの取得の流れの説明図。 図６は学習モードを実現するメイン処理プログラムのフローチャート図。 図７はメイン処理プログラムで使用するサブ処理プログラム（データ収集処理プログラム）のフローチャート図。 図８は図１の自動車自動運転システムにおける情報ネットワークの説明図。

以下、本発明を実施するための最良の形態について、添付した図面を参照しながら詳細に説明する。

図１は本発明を適用した自動車自動運転システムのブロック図、図２は図１の自動車自動運転システムにおけるカメラの取付け構成図であり、図３（ａ）は自動車自動運転システムで利用する現在地周辺マップ画像（十字路交差点の例）、図３（ｂ）は同システムで利用するカメラによる撮影画像（十字路交差点の例）、図３（ｃ）は現在地周辺マップ画像（三叉路交差点の例）、図３（ｄ）は現在地周辺マップ画像（多差路交差点の例）の説明図である。

《自動車自動運転システムの概要》
図１の自動車自動運転システムＳは、自動車の周囲を撮影する図２のカメラ１と、自動車の現在地周辺マップ画像Ｄ１を取得するマップ取得手段２と、自動車に搭載する車載コンピュータ３と、公知の各種車載機器４を含んで構成される。

車載コンピュータ３は、ＣＰＵ３１、入出力インターフェース３２、ＳＳＤやＰＯＭ若しくはＲＡＭ等からなるデータ記憶部３３、および、通信モジュール３４等のハードウエアで構成されるとともに、カメラ１による撮影画像Ｄ２やマップ取得手段２で取得した現在地周辺マップ画像Ｄ１を処理する画像処理手段５、および、各種車載機器４と連携して自動車を制御する制御手段６として機能する。

《各種車載機器の概要》
各種車載機器４は、自動車を制御するための制御系装置類４１と自動車の状態を計測するための計測機器類４２とに大別でき、制御系装置類４１は、公知のエンジン制御装置４１１、ブレーキ制御装置４１２、ステアリング制御装置４１３などを備えた構成になっており、また、計測機器４２類は、公知の走行速度計測器４２１や舵角計測器４２２などを備えた構成になっている。

エンジン制御装置４１１は車載コンピュータ３から制御情報Ｓ１を受信し、受信した制御情報Ｓ１に基づいて自動車エンジンを制御する。ブレーキ制御装置４１２もステアリング制御装置４１３も同様に制御情報Ｓ１を受信し、受信した制御情報Ｓ１に基づいて自動車ブレーキ装置や自動車ステアリング装置を制御する。

計測機器類４２で計測したデータ、すなわち、走行速度計測器４２１で計測した自動車の走行速度や舵角計測器４２２で計測したステアリングの舵角などは、計測情報Ｄ３として、時系列的に車載コンピュータ３へ出力される。

《カメラの構成》
カメラ１の具体的な構成として、図１の自動車自動運転システムＳでは、図２に示したように当該カメラ１を自動車の屋根に取付け、取付けたカメラ１で自動車の走行方向前方を撮影するように構成しているが、このようなカメラ構成に限定されることはない。なお他のカメラ構成については後述する。

《マップ取得手段の構成説明》
マップ取得手段２の具体的な構成として、図１の自動車自動運転システムＳでは、公知のカーナビゲーション装置から自動車の現在地周辺マップ画像Ｄ１を取得するように構成しているが、このような構成に限定されることはなく、他の公知の方式で現在地位周辺マップ画像Ｄ１を取得してもよい。

《画像処理手段および制御手段の構成》
車載コンピュータ３を画像処理手段５として具体的に機能させるために、車載コンピュータ３には、入出力インターフェース３２を介して、カメラ１から出力される撮影画像Ｄ１やマップ取得手段２（カーナビゲーション装置）から出力される現在地周辺マップ画像Ｄ２が入力されるように構成してある。

また、車載コンピュータ３を制御手段６として具体的に機能させるために、車載コンピュータ１は、各種車載機器４の制御系装置類４１に対し、入出力インターフェース３２を介して制御情報Ｓ１（例えばエンジン制御信号、ブレーキ制御信号、ステアリング制御信号など）を出力できるように構成してある。

画像処理手段５は、画像処理により、交差点物体情報として、カメラ１による撮影画像Ｄ１の中から人影の有無、信号機の有無および信号機の色を検出する機能、および、交差点特徴情報として、現在地周辺マップ画像Ｄ２の中から交差点の形状（図３（ａ）（ｃ）または（ｄ）を参照）を検出する機能を備える。

画像処理手段５において、カメラ１による撮影画像Ｄ１の中から人影の有無を検出するための画像処理は、例えば人（ヒト）形の参照画像を予めデータ記憶部３３の所定エリアに登録しておき、登録した参照画像にマッチングする画像が撮影画像Ｄ１の中に含まれているかどうかを調べる方式を採用してもよい。撮影画像Ｄ１の中から信号機の有無や信号機の色を検出するための画像処理も同様である。

また、画像処理手段５において、現在地周辺マップ画像Ｄ２の中から交差点の形状を検出するための画像処理としては、例えば、現在地周辺マップ画像Ｄ２全体に対して公知の輪郭抽出処理または輪郭強調処理を施すことにより、現在地周辺マップ画像Ｄ２に含まれている交差点の輪郭形状が浮き上がるように処理することで、交差点の形状を検出してもよい。

以上説明した画像処理は、プログラムによるソフトウエア処理として実現することができ、この場合、そのプログラムは、車載コンピュータ３のデータ記憶部３３の所定エリアに格納し、同車載コンピュータ３のＣＰＵ３１によって実行されるように構成することができる。

図４は図１の自動車自動運転システムにおけるデータ記憶部の説明図である。

図４を参照すると、車載コンピュータ３のデータ記憶部３３は、人（ヒト）形の参照画像やプログラムを記憶する所定エリアのほか、更に複数のデータ記憶エリアＡ１、Ａ２を有している。このデータ記憶エリアＡ１、Ａ２には、第１のデータＰＭ１として画像処理手段５で検出した人影の有無（交差点物体情報）、第２のデータＰＭ２として画像処理手段５で検出した信号機の有無（交差点物体情報）、第３のデータＰＭ３として画像処理手段５で検出した信号機の色（交差点物体情報）が格納されるとともに、これに加えて更に、第４のデータＰＭ４として後述のメイン処理プログラムでの判定の処理により特定される自動車の行動パターン、そして、第５のデータＰＭ５として画像処理手段５で検出した交差点の形状（交差点特徴情報）がそれぞれ格納される。なお、第４のデータＰＭ４として格納される自動車の行動パターンや、第５のデータＰＭ５として格納される交差点の形状（交差点特徴情報）は、画像処理手段５で人影の有無などの交差点物体情報を検出した時点に対応するものである。

図５は、図１の自動車自動運転システムにおける学習モードをプログラムによるソフトウエア処理として構成したときの、当該プログラムで利用するデータの取得の流れの説明図である。

図５を参照すると、例えば交差点の直前で、画像処理手段５がその交差点の形状や信号機を検出するとともに、信号機の色として赤色を検出し、更に人影も検出した場合において、自動車が停止したという事例では、第１のデータＰＭ１は“信号機あり”、第２のデータＰＭ２は“赤”、第３のデータＰＭ３は“人影あり”、
第４のデータＰＭ４は“停止”という情報（値）になり、また、第５のデータＰＭ５はその交差点の形状を特定する情報になる。

自動車の行動パターンは、“停止”のほか、“速度維持”、“減速・徐行”、“発車”を採用することができるが、これらの行動パターンに限定されることはない。

自動車の行動パターンを特定する方式としては各種考えられる。例えば、前記の通り計測機器類４２から車載コンピュータ３に対して出力される計測情報Ｄ３（走行速度や舵角などの情報）のうち、走行速度の計測情報から交差点の直前で自動車がどのような行動を採ったのか、その自動車の行動パターンを特定してもよい。

制御手段５は、交差点物体情報（具体的には、先に説明した第１〜第３のデータＰＭ１〜ＰＭ３）とこれを検出した時点における自動車の行動パターン（具体的には、先に説明した第４のデータＰＭ４）とに基づいて自動運転パターンを学習する学習モードと、その学習によって得られた自動運転パターンと交差点特徴情報（具体的には、先に説明した第５のデータＰＭ５）とに基づいて自動運転に必要な制御情報Ｓ１を制御系装置類４１に対して出力する自動運転モードと、を備えている。

学習モードにおける自動運転パターンの学習は、前記のように第１から第５のデータＰＭ１〜ＰＭ５をデータ記憶部３３のデータ記憶エリアに格納する処理、すなわち（１）交差点物体情報と自動車の行動パターンと交差点特徴情報とを一組の学習基礎データとしてデータ記憶部３３に複数組格納する処理と、（２）そのようにデータ記録部３３に格納されている複数組の学習基礎データの中から同じ内容の学習基礎データを抽出し、その抽出数が最大の学習基礎データに基づいて自動運転パターンを得る処理と、を含む構成になっている。

《学習モードの詳細説明》
学習モードは、車載コンピュータのＣＰＵで実行されるプログラムによるソフトウエア処理として構成することができる。

図６は、学習モードを実現するメイン処理プログラムのフローチャート図、図７は、メイン処理プログラムで使用するサブ処理プログラム（データ収集処理プログラム）のフローチャート図である。

図６のメイン処理プログラムは、図１の車載コンピュータ３のデータ記憶部３３に格納され、図示しない学習モードの選択ボタンを押下することによってスタートし、車載コンピュータ１のＣＰＵ３１で実行される。なお、学習モードの時は、実際に運転者がハンドルを持って自動車を運転操作する。

図６のメイン処理プログラムでは、スタート直後の初期処理として、第１から第５のデータＰＭ１〜ＰＭ５を記憶するためのデータ記憶部３３のデータ記憶エリア、並びに、データ収集カウンタをクリアし（ＳＴ１）、交差点の直前かどうかを判定する（ＳＴ２）。

交差点の直前かどうかの判定の処理は、例えば、マップ取得手段２（カーナビゲーション装置）から車載コンピュータ３に対して交差点接近情報を出力させるように構成するとともに、その出力をトリガとして交差点の直前であると判定してもよい。

前記ＳＴ２において、交差点の直前ではないと判定した場合は、ＳＴ１に戻って交差点の直前かどうかの判定を行う（ＳＴ２のＮｏ）。この一方、前記ＳＴ２において、交差点の直前であると判定した場合は、図７のサブ処理プログラムに移行し、データ収集処理を行なう（ＳＴ３）。

図７を参照すると、データ収集処理では、初めに、第１〜第５のデータＰＭ１〜ＰＭ５を取得する（ＳＴ３１）。取得したデータＰＭ１〜ＰＭ５は、データ記憶部３３の第１のデータ記憶エリアＡ１に格納する（例えば、図４に示したデータＮｏ．１の例を参照）。

ここで、例えば、信号機のない交差点を歩行者が横断しているときに、その交差点の直前で自動車が停止した場合は、画像処理手段５が“信号機なし”および“人影あり”を検出するため、第１のデータＰＭ１として“信号機なし”、第２のデータＰＭ２として何も値のない“ｎｕｌｌ値”、第３のデータＰＭ３として“人影あり”、第４のデータＰＭ４として“停止”、そして、第５のデータＰＭ５として当該交差点の形状を特定する情報を取得し格納することになる（ＳＴ３１）。

次に、前記のように取得し格納した第４のデータＰＭ４、すなわち自動車の行動パターンが“停止”であるかどうかを判定する（ＳＴ３２）。

ここで、停止ではないと判定した場合は、メイン処理プログラムのＳＴ４へ移行する（ＳＴ３２のＮｏ、ＳＴ３３）。この一方、停止であると判定した場合は、停止した自動車がその後どのような行動を採ったのか、当該自動車の行動パターンを特定するために、ＳＴ３１の処理に戻り（ＳＴ３２のＹｅｓ）、ＳＴ３１とＳＴ３２の処理を繰り返す。

なお、前記のようにＳＴ３１とＳＴ３２の処理を繰り返し実行した結果、最終的に停止ではないという判定が得られた場合には、その最終的な判定直前のＳＴ３１の処理で取得した第１から第４のデータＰＭ４を追加データとしてデータ記憶部３３の第２のデータ記憶エリアＡ２に格納してから、メイン処理プログラムのＳＴ４の処理へ移行する（ＳＴ３２のＮｏ、ＳＴ３３）。

その後、メイン処理プログラムでは、データ収集カウンタのカウント値をカウントアップし（ＳＴ４）、そのカウント値が所定値ｎ（例えば、ｎ＝１０００）に達したか否かを判定する（ＳＴ５）。

ここで、前記カウント値が所定値ｎでない場合は、第１〜第５のデータＰＭ１〜ＰＭ５を追加取得するため、ＳＴ２の処理に戻り、ＳＴ２からＳＴ５までの処理を繰り返し実行する。この一方、前記カウント値が所定値ｎになったら、後述するＳＴ６の学習まとめ処理を行なってから、ＳＴ２の処理に戻る。

前記ＳＴ２からＳＴ５までの処理の繰り返しによって、データ記憶部３３のデータ記憶エリアＡ１、Ａ２には、交差点物体情報（第１から第３のデータＰＭ１〜ＰＭ３）とその交差点物体情報を検出した時点における自動車の行動パターン（第４のデータＰＭ４）とからなる一組の学習基礎データが図８のように複数組格納されることになる。

図８の例では、前述のデータ収集カウンタの所定値ｎを“ｎ＝４”に設定したので、データＮＯ．１から４までの４組の学習基礎データが存在する状態になっている。

ＳＴ６の学習まとめ処理は、前記のようにデータ記憶部３３のデータ記憶エリアＡ１、Ａ２に格納した複数組の学習基礎データ（図８の例ではデータＮＯ．１から４までの４組の学習基礎データ）の中から同じ内容の学習基礎データを抽出し、その抽出数が最大の学習基礎データに基づいて最終的に自動運転パターンを学習する処理である。

図８の例では、データ記憶部３３の第１のデータ記憶エリアＡ１に格納されているデータＮＯ．１から４のうちデータＮＯ．１と２と４の学習基礎データが同じ内容である、つまり、同じ内容の学習基礎データが３つ存在するので、データＮＯ．１と２と４の学習基礎データが同じ内容の学習基礎データとして抽出される。これに関連付けてデータ記憶部３３の第２のデータ記憶エリアＡ２に格納されているデータＮＯ．１と２と４の学習基礎データも一緒に抽出される。この際、同じ内容の学習基礎データの抽出数は３であり、最大であるから、図８の例では、データＮＯ．１と２と４の学習基礎データに基づいて所定の自動運転パターンを学習する。

図８の例で学習により得られる自動運転パターンは、データＮＯ．１と２と４の学習基礎データに基づくので、信号なしの交差点で人影が有ったら自動車を停止し、人影が無くなったら自動車を発車するという一連の動作になる。

また、先に説明した学習により得られる自動運転パターンには、付加情報として交差点特徴情報（具体的には、データＮＯ．１と２と４に含まれている第５のデータＰＭ５）が付加される。例えば、図８の例で学習により得られる自動運転パターンが図３に示した交差点の直前で得た学習基礎データに基づくものであるなら、その図３の交差点の形状を特定する情報（第５のデータＰＭ５）が交差点特徴情報として付加されることになる。

以上説明した学習により得られる自動運転パターンは、車載コンピュータ３のデータ記憶部３３の所定エリアに格納され、自動運転モードで参照される。

《自動運転モードの詳細説明》
自動運転モードもまた、車載コンピュータ３のＣＰＵ３１で実行されるプログラムによるソフトウエア処理として構成することができる。

先に説明した画像処理手段５は、現在地周辺マップ画像の中から交差点の形状に加えて更に、その交差点に繋がっている道路の形状も画像処理によって検出することができ、自動運転モードでは、その画像処理手段５で検出した道路の形状に沿って自動運転を行うために必要な制御情報Ｓ１を、車載コンピュータ３から入出力インターフェース３２を介して自動車の制御系装置類４１へ出力する。

また、自動運転モードでは、先に説明した学習モードと同じように、交差点の直前かどうかを判定し、交差点の直前であると判定した場合は、前記のように学習した自動運転パターンを参照し、参照した自動運転パターン通りの自動運転を行うために必要な制御情報Ｓ１を、車載コンピュータ１から入出力インターフェース３２を介して自動車の制御系装置類４１へ出力する。

さらに、自動運転モードでは、前記交差点で自動車が右折または左折の動作に入る場合は、その交差点の直前で画像処理手段５が検出した交差点特徴情報、すなわち交差点の形状に沿って自動運転を行うために必要な制御情報Ｓ１も、車載コンピュータ３から入出力インターフェース３２を介して自動車の制御系装置類４１へ出力する。

ところで、画像処理手段５は、カメラ１による撮影画像の中から交差点での対向車を画像処理によって検出するように構成してもよい。このような構成を採用した場合の自動運転モードでは、例えば交差点で右折をしようとする場合、画像処理手段５によって人影を検出できず、かつ、対向車も検出できなくなった場合に初めて、交差点の形状に沿って自動運転を行うために必要な制御信号Ｓ１を出力してもよい。

《情報ネットワークの説明》
図８は、図１の自動車自動運転システムにおける情報ネットワークの説明図である。

図９を参照すると、前記学習によって得られた自動運転パターンは、インターネット通信網１００を経由して自動運転監視サーバ１０１へ送信される。この際、その自動運転パターンには前述の通り交差点特徴情報（交差点の形状）が付加されているので、その交差点特徴情報も自動運転パターンの付加情報として自動運転監視サーバ１００へ送信されることになる。

インターネット通信網への接続方法としては、車載コンピュータ３に設けられている通信モジュール３４を使ってインターネット通信網１００に直接接続してもよいし、また通信モジュール３４からスマートフォンを介してインターネット通信網１００に接続してもよい。

自動運転監視サーバ１００は、自動運転パターン（交差点特徴情報を含む）を蓄積するデータベースと、データベース内に蓄積された自動運転パターンを情報として処理する情報処理機能と、を有している。

自動運転監視サーバ１００の情報処理機能は、データベースに蓄積されている自動運転パターンの中から同じ交差点特徴情報を持っている自動運転パターンを抽出し、抽出した自動運転パターンを一つの交差点共通グループとしてグループ分けをする処理と、このグループ分けの処理によって得られた一つの交差点共通グループを参照し、参照した交差点共通グループ内から同じ内容の自動運転パターンを抽出し、その抽出数が最大の自動運転パターンを当該一つの交差点共通グループにおける代表自動運転パターンとして採用する処理と、を含む。この代表自動運転パターンを採用する処理は、定期的に行うなど、所定のタイミングで行うことができる。

前記代表自動運転パターンは、例えば、自動運転監視サーバ１０１からインターネット通信網１００を介して各自動車の車載コンピュータ３に対してフィードバックすることにより、それぞれの自動車が個別に自ら学習した自動運転パターンを修正するデータとして活用してもよい。

《他の実施形態について》
前記カメラ１の具体的な構成として、図１の自動車自動運転システムＳでは、前述の通り当該カメラ１を自動車の屋根に取付け、取付けた当該カメラ１で自動車の走行方向前方を撮影するという構成を採用したが、これに加えて更に、前方以外の方向（例えば、自動車の左右両側方や後方）を撮影できるように構成してもよい。

この場合、カメラ１は、図示しない回転駆動機構を介して図１のように自動車の屋根に取付け、その取付け位置を中心として３６０°回転できるように設けることで、自動車の前方、左右両側方、後方を撮影できるように構成してもよい。

また、カメラ１は、自動車の前後左右４方向を撮影する手段として、それぞれの方向に対応して複数（例えば４台）設けられる構成を採用することもできる。この場合、カメラの台数は撮影する方向に応じて適宜増減することができる。

また、カメラ１は、その撮影方向や取付け位置の設定によって、撮影画像の中に自動車のドアミラーの画像が含まれるように構成してもよい。

Ｓ 自動車自動運転システム
１ カメラ
２ マップ取得手段
３ 車載コンピュータ
３１ ＣＰＵ
３２ ＣＰＵ
３３ データ記憶部
３４ 通信モジュール
４ 各種車載機器
４１ 制御系装置類
４１１ エンジン制御装置
４１２ ブレーキ制御装置
４１３ ステアリング制御装置
４２ 計測機器類
４２１ 走行速度計測器
４２２ 舵角計測器
５ 画像処理手段
６ 制御手段
１００ インターネット通信網
１０１ 自動運転監視サーバ
Ａ１、Ａ２ データ記憶エリア
Ｄ１ 現在地周辺マップ画像
Ｄ２ 撮影画像
Ｄ３ 計測情報
Ｓ１ 制御情報

Claims (6)

1. 自動車の周囲を撮影するカメラと、
   前記自動車の現在地周辺マップ画像を取得するマップ取得手段と、
   前記カメラによる撮影画像や前記現在地周辺マップ画像を処理する画像処理手段と、
   前記画像処理手段での処理結果に基づいて前記自動車を制御する制御手段と、を有し、
   前記画像処理手段は、画像処理により、交差点物体情報として、前記カメラによる撮影画像の中から人影の有無、信号機の有無および信号機の色を検出する機能、および、交差点特徴情報として、前記現在地周辺マップ画像の中から交差点の形状を検出する機能を備え、
   前記制御手段は、前記交差点物体情報とこれを検出した時点における前記自動車の行動パターンとに基づいて自動運転パターンを学習する学習モードと、その学習によって得られた自動運転パターンと前記交差点特徴情報とに基づいて自動車の自動運転に必要な制御情報を出力する自動運転モードと、を備えること
   を特徴とする自動車自動運転システム。
2. 前記自動運転パターンの学習は、
   前記交差点物体情報と前記自動車の行動パターンを一組の学習基礎データとしてデータ記憶部に複数組格納する処理と、
   前記データ記憶部に格納されている複数組の学習基礎データの中から同じ内容の学習基礎データを抽出し、その抽出数が最大の学習基礎データに基づいて自動運転パターンを得る処理と、を含むこと
   を特徴とする請求項１に記載の自動車自動運転システム。
3. 前記カメラは、その取付け位置を中心として３６０°の回転が可能に設けられることにより、当該自動車の前方、左右両側方、後方を撮影可能であること
   を特徴とする請求項１または２のいずれか１項に記載の自動車自動運転システム。
4. 前記カメラは、前記自動車の前後左右４方向を撮影する手段として、それぞれの方向に対応して複数設けられていること
   を特徴とする請求項１または２のいずれか１項に記載の自動車自動運転システム。
5. 前記カメラによる撮影画像の中には、前記自動車のドアミラーの画像が含まれていること
   を特徴とする請求項１または２のいずれか１項に記載の自動車自動運転システム。
6. 前記学習によって得られた前記自動運転パターンは、インターネット通信網を経由して自動運転監視サーバへ送信され、
   前記自動運転監視サーバは、
   前記自動運転パターンを蓄積するデータベースと、
   前記データベース内に蓄積された自動運転パターンを情報として処理する情報処理機能と、を有し、
   前記情報処理機能は、
   前記データベースに蓄積されている自動運転パターンの中から同じ交差点特徴情報を持っている自動運転パターンを抽出し、抽出した自動運転パターンを一つの交差点共通グループとしてグループ分けをする処理と、
   前記グループ分けの処理によって得られた一つの交差点共通グループを参照し、参照した交差点共通グループ内から同じ内容の自動運転パターンを抽出し、その抽出数が最大の自動運転パターンを当該一つの交差点共通グループの代表自動運転パターンとして採用する処理と、を含むこと
   を特徴とする請求項１から５のいずれか１項に記載の自動車自動運転システム。

Images