JP2007156753A - 車車間通信システム - Google Patents

車車間通信システム Download PDF

Info

Publication number
JP2007156753A
JP2007156753A JP2005349959A JP2005349959A JP2007156753A JP 2007156753 A JP2007156753 A JP 2007156753A JP 2005349959 A JP2005349959 A JP 2005349959A JP 2005349959 A JP2005349959 A JP 2005349959A JP 2007156753 A JP2007156753 A JP 2007156753A
Authority
JP
Japan
Prior art keywords
vehicle
traffic information
information
value
communication system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005349959A
Other languages
English (en)
Other versions
JP4715479B2 (ja
Inventor
Kunihiro Yamada
邦博 山田
Takeshi Yanagikubo
柳久保  武志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2005349959A priority Critical patent/JP4715479B2/ja
Publication of JP2007156753A publication Critical patent/JP2007156753A/ja
Application granted granted Critical
Publication of JP4715479B2 publication Critical patent/JP4715479B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Instructional Devices (AREA)

Abstract

【課題】送信対象となる車両の状態に基づいて設定された情報価値を交通情報に付加して送信し、交通情報を受信した車両が情報価値に基づいて受信した交通情報を出力することにより、運転者に対して必要となる交通情報のみを優先又は選別して送信することを可能とした車車間通信システムを提供する。
【解決手段】前方カメラ5によって撮像した車両の前方環境の画像に基づいて抽出された交通情報を他車両より受信した車両2は、受信した交通情報の情報価値が所定価値以上であると判定された場合(S123:YES)に、受信した交通情報を液晶ディスプレイ6に表示する(S124)ように構成する。
【選択図】図17

Description

本発明は、道路上を走行する複数の車両間において情報の通信を行う車車間通信システムに関し、特に、送信対象となる車両の状態に基づいて設定された情報価値を交通情報に付加して送信し、交通情報を受信した車両が情報価値に基づいて受信した交通情報を出力することにより、運転者に対して必要となる交通情報のみを優先又は選別して送信することを可能とした車車間通信システムに関するものである。
一般に車両を運転する運転者が、自己の五感等により得られる情報はかなり限られている。特に道路が渋滞して自車の前後に近接して他の車両が走行又は停車している場合や、見通しの悪い道路を走行する場合には、前方や後方の視界が遮られることとなる。そして、このような限られた情報の中で運転を行わなければならない状況下において運転者が適切な運転を行うことは非常に困難な作業となっていた。
そこで、従来より車両間で無線通信により情報を交換する車車間通信システムについて提案されている。例えば、特開2001−283381号公報には、自車両の周辺の画像を撮影する運転支援用カメラを設け、運転支援用カメラで撮像した画像を他車両に無線で送信することにより、道路・交差点上に生じた異常事象の発生を他車両に対して事前に送信することが可能な車車間通信システムについて記載されている。
上記システムによれば、複数の車両間で情報の共有を行うことができるので、自車両からでは認識できない情報を他車両から提供された情報に基づいて運転者が把握することが可能となり、より適切に走行を行うことが可能となる。
特開2001−283381号公報(第4頁〜第7頁、図1〜図4)
ここで、前記した特許文献1に記載された車車間通信システムにように、カメラで撮像したカメラ画像を用いて車両間で情報の提供を行うことは、現在の車両周辺におけるより具体的な情報を他車両に対して提供できるという利点があるが、画像データは文字情報等と比べて情報量が非常に多くなっていた。その結果、車両間における通信処理にかかる時間が長くなり、制御装置の処理負担も大きくなっていた。
一方で、単に文字情報のみを送信することにより、複数の車両間で情報の共有を行う場合では、運転者は車両周辺に関する情報を十分に得ることができず、適切な走行を行うことが依然として困難となっていた。
また、各車両で取得した交通情報の中には他車両の走行に対して影響がほとんど生じない交通情報も含まれている。そして、そのような交通情報についても一律に送信することとすると、車両間の通信回数が非常に多くなり、制御装置の処理負担が大きくなっていた。しかしながら、各車両で取得した交通情報が他車両にとって必要な交通情報であるか否かを判定することは難しく、必要な交通情報のみを選別して送信することが可能な新たな車車間通信システムが望まれていた。
本発明は前記従来における問題点を解消するためになされたものであり、撮像した画像に基づいて抽出され、他車両から送信された交通情報の内、必要のある交通情報のみを選別して出力することにより、限られた情報の中で運転を行う必要がある状況下でも運転者が適切な走行を行うことが可能となるとともに、情報通信に係る通信時間の短縮や処理負荷の軽減を可能にした車車間通信システムを提供することを目的とする。
前記目的を達成するため本願の請求項1に係る車車間通信システム(1)は、道路上を走行する複数の車両間において情報の通信を行う車車間通信システムにおいて、前記車両は、車両の周辺を撮像する撮像手段(5)と、前記撮像手段により撮像した画像(41)から車両の周辺に係る交通情報を抽出する交通情報抽出手段(7)と、他車両の状態を取得する状態取得手段(7)と、前記状態取得手段により取得された他車両の状態に基づいて前記交通情報抽出手段により抽出された交通情報に情報価値を設定する価値設定手段(7)と、前記価値設定手段によって設定された情報価値を付加した前記交通情報を前記他車両に対して送信する交通情報送信手段(3)と、他車両から送信された交通情報を受信する交通情報受信手段(3)と、前記交通情報受信手段によって受信した交通情報と前記交通情報に付加された情報価値に基づいて車両の周辺に係る交通情報を出力する交通情報出力手段(6)と、を有することを特徴とする。
ここで、「交通情報」とは車両が道路を走行する際において走行に影響を与える情報であり、具体的には車両の周囲に位置する走行車両、駐車車両、右折車両、歩行者、自転車、路上障害物、工事中の看板等の対象物の位置や種類に関する情報である。
また、「情報価値」とは交通情報が他車両に送信及び提供すべき情報としての価値を有しているか否かの判定基準とするパラメータやフラグを意味する。
また、請求項2に係る車車間通信システム(1)は、請求項1に記載の車車間通信システムにおいて、前記車両(2)は前記価値設定手段(7)によって設定された情報価値が所定価値以上であるか否かを判定する出力価値判定手段(7)を有し、前記交通情報出力手段(6)は前記出力価値判定手段によって所定価値以上の情報価値であると判定された場合に前記情報価値が設定された交通情報を出力することを特徴とする。
また、請求項3に係る車車間通信システム(1)は、請求項1又は請求項2に記載の車車間通信システムにおいて、前記交通情報出力手段(6)は高い情報価値が付加された交通情報を優先して出力することを特徴とする。
更に、請求項4に係る車車間通信システム(1)は、請求項1乃至請求項3のいずれかに記載の車車間通信システムにおいて、前記車両(2)は前記撮像手段(5)により撮像した画像(41)から車両の周辺に位置する対象物の状態を検出する対象物状態検出手段(7)を備え、前記価値設定手段(7)は前記他車両の状態とともに前記対象物状態検出手段により検出された対象物の状態に基づいて前記交通情報抽出手段(7)により抽出された交通情報に情報価値を設定することを特徴とする。
前記構成を有する請求項1の車車間通信システムでは、車両の周辺を撮像手段で撮像し、撮像した画像から車両の周辺に係る交通情報を抽出するとともに、送信対象となる他車両の状態に基づいて設定した情報価値を付加して抽出した交通情報を送信し、他車両から送信された交通情報の情報価値に基づいて交通情報の出力を行うので、各車両で撮像した画像に基づいて抽出された交通情報の内、運転者は特に必要と思われる交通情報のみを選別して得ることが可能となる。従って、道路が渋滞して自車の前後に近接して他の車両が走行又は停車している場合や、見通しの悪い道路を走行する場合等の限られた情報の中で運転を行う必要がある状況下でも、運転者は取得した交通情報を参照して適切な走行を行うことが可能となる。
また、請求項2の車車間通信システムでは、設定された情報価値が所定価値以上であると判定された交通情報を出力するので、撮像した画像に基づいて抽出された交通情報の内、運転者は特に必要と思われる交通情報のみを選別して得ることが可能となる。従って、道路が渋滞して自車の前後に近接して他の車両が走行又は停車している場合や、見通しの悪い道路を走行する場合等の限られた情報の中で運転を行う必要がある状況下でも、運転者は取得した交通情報を参照して適切な走行を行うことが可能となる。
また、請求項3の車車間通信システムでは、高い情報価値が付加された交通情報を優先して出力するので、多数の交通情報が出力された場合であっても、必要な交通情報を容易に把握することが可能となる。従って、運転者は取得した交通情報を参照して適切な走行を行うことが可能となる。
更に、請求項4の車車間通信システムでは、車両の周辺を撮像手段で撮像し、撮像した画像から車両の周辺に係る交通情報を抽出するとともに、送信対象となる他車両の状態と抽出した交通情報を構成する対象物の種類とによって設定された情報価値に基づいて交通情報の出力を行うので、各車両で撮像した画像に基づいて抽出された交通情報の内、運転者は特に必要と思われる交通情報のみを選別して得ることが可能となる。従って、道路が渋滞して自車の前後に近接して他の車両が走行又は停車している場合や、見通しの悪い道路を走行する場合等の限られた情報の中で運転を行う必要がある状況下でも、運転者は取得した交通情報を参照して適切な走行を行うことが可能となる。
以下、本発明に係る車車間通信システムについて具体化した第1乃至第3実施形態に基づき図面を参照しつつ詳細に説明する。
(第1実施形態)
先ず、第1実施形態に係る車車間通信システム1の概略構成について図1及び図2を用いて説明する。図1は第1実施形態に係る車車間通信システム1の概略構成図である。図2は第1実施形態に係る車車間通信システム1の特に車両2を示す概略構成図である。
図1に示すように、第1実施形態に係る車車間通信システム1は、道路上を走行する複数の車両2によって構成され、各車両2に設けられた通信装置(交通情報送信手段、交通情報受信手段)3によって車両2の間で相互に情報通信が可能となっている。
ここで、通信装置3は、例えばミリ波帯の電波による無線方式で情報を通信する通信装置である。そして、自車両位置に対して予め定められた無線通信可能範囲(例えば、自車両位置を中心とした半径1kmまでの範囲)に位置する他車両(後続車両、前方車両、対向車両等)との間で、無線による情報の通信を行うことが可能となっている。
また、通信装置3によって車両間で送受信される情報としては、後述するように車両2に備え付けられた前方カメラ5で撮像した車両2の前方環境の画像から抽出された交通情報や車両の現在位置に関する情報等がある。
尚、車車間通信システム1における車両2の間の通信では、直接に車両2の間で情報を送受信することの他に、図1に示すように通信センタ4などの通信施設を介して情報を送受信することも可能である。
次に、車車間通信システム1を構成する一の車両2の構成について特に図2を用いて説明する。図2に示すように、車両2には前記した通信装置3に加え、前方カメラ(撮像手段)5と、液晶ディスプレイ(交通情報出力手段)6と、通信処理ECU(交通情報抽出手段、状態取得手段、価値設定手段、出力価値判定手段、対象物状態検出手段)7と、現在地検出部8と、情報DB9と、車両ECU10等が設けられている。
前方カメラ5は、例えばCCD等の固体撮像素子を用いたものであり、車両2の前方に装着されたナンバープレートの***付近に取り付けられ、視線方向を水平よりやや下方に向けて設置される。そして、車両2の走行時に車両2の進行方向となる車両前方を撮像する(図6参照)。尚、撮像された画像は通信処理ECU7によって所定の処理が施されることにより、後述のように車両2の周囲の交通情報が抽出され、抽出された交通情報は他車両に対して送信される。ここで、第1実施形態における交通情報とは、特に車両2が走行するに際して注意すべき対象物(例えば、走行車両、駐車車両、右折車両、歩行者、自転車、路上障害物、工事中の看板)に関する情報であり、具体的には前方カメラ5で撮像された対象物の種類に関する情報と、対象物の位置に関する情報とから構成される。
液晶ディスプレイ6は、車両2の室内のセンターコンソール又はパネル面に備え付けられ、他車両から送信された交通情報に基づいて特定された対象物の種類と位置とを地図上に示した地図画像等を表示する(図7参照)。尚、液晶ディスプレイ6は、ナビゲーション装置に使用するものと兼用してもよい。
通信処理ECU(エレクトロニック・コントロール・ユニット)7は、前方カメラ5で撮像した画像に対して所定の処理を施すことにより、画像中に撮像された車両2の周囲に位置する対象物に関する情報(即ち、交通情報)を抽出するとともに、交通情報を送信する際の送信対象である他車両の状態と対象物の状態とに基づいて情報価値を交通情報に設定する電子制御ユニットである。尚、通信処理ECU7の詳細な構成については後述する。
また、現在地検出部8は、人工衛星によって発生させられた電波を受信することにより、地球上における車両2の現在地と現在時刻を検出するGPS11と、地磁気を測定することによって車両2の絶対方位を検出する地磁気センサ12と、地図データが格納された地図DB13を備えたものであり(図3参照)、車両2の現在地と進行方向を地図上で特定することが可能となる。尚、現在地検出部8としてはナビゲーション装置を用いることも可能である。
また、情報DB9は、前方カメラ5により撮像した画像データと、他車両から送信された交通情報に基づいて自車周辺の地図上に対象物の種類と位置を特定するマークを重ねた地図画像を表示させる為の表示用データとが格納された記憶手段である。尚、第1実施形態においては、情報DB9の記憶媒体としてハードディスクが使用されるが、磁気ディスク、メモリカード、磁気テープ、磁気ドラム、CD、MD、DVD、光ディスク、MO、ICカード、光カード等を外部記憶装置として使用することもできる。
そして、車両ECU10は、エンジン、変速機、ブレーキ等の作動を制御する車両2の電子制御ユニットであり、また、車速センサ15、操舵角センサ16、ジャイロセンサ17の各種センサが接続されている。
ここで、車速センサ15は、車両2の車輪に取り付けられたアクティブ車輪速センサからなり、車輪の回転速度を検出して車両ECU10に速度信号を出力する。
また、操舵角センサ16は、ステアリング装置の内部に取り付けられており、ステアリングコラムシャフトの回転量を光学センサ等で検出する。そして、ステアリングホイールを転舵した場合の舵角を検出して操舵角信号を車両ECU10に出力する。
更に、ジャイロセンサ17は車両2の旋回角を検出して、車両ECU10に旋回角信号を出力する。尚、ジャイロセンサ17としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。
その結果、車両ECU10は車速センサ15の出力信号に基づいて車両2の現在の車速を検出し、操舵角センサ16の出力信号に基づいて車両2の舵角を検出する。また、ジャイロセンサ17によって検出された旋回角を積分することにより、自車方位を検出することができる。
次に、第1実施形態に係る車車間通信システム1を構成する車両2の制御系に係る構成について図3に基づき説明する。図3は第1実施形態に係る車車間通信システム1を構成する車両2の制御系を模式的に示すブロック図である。
図3において、車両2の制御系は、通信処理ECU7と、車両ECU10の各制御手段を基本にして構成され、各制御手段に対して前記した各周辺機器が接続されている。
ここで、通信処理ECU7は、CPU21を核として構成されており、CPU21には記憶手段であるROM22及びRAM23が接続されている。そして、ROM22には前方カメラ5で撮像した画像から抽出された交通情報を情報価値に基づいて他車両に送信する車車間通信処理プログラム(図9参照)、他車両から送信された交通情報に基づいて自車の周囲の交通情報を液晶ディスプレイ6に表示する交通情報表示処理プログラム(図11参照)、対象物の状態と送信対象となる他車両の状態とに基づいて対象物に関する交通情報の情報価値を設定する第1価値設定テーブル22A(図4)及び第2価値設定テーブル22B(図5)、その他、液晶ディスプレイ6等の制御上必要な各種のプログラム等が格納されている。また、RAM23はCPU21で演算された各種データを一時的に記憶しておくメモリであり、特に第1実施形態では前方カメラ5により撮像した画像から抽出された交通情報を累積記憶した交通情報テーブル23A(図7)や、交通情報に対して情報価値を設定する際に使用する車両2の車種(例えば、軽自動車、セダン、ワゴン、トラック等)に関する情報や運転者の個人情報(年齢など)が格納される。
次に、ROM22に格納される第1価値設定テーブル22Aについて図4を用いて説明する。図4は第1実施形態に係る第1価値設定テーブル22Aについて示した図である。
ここで、第1価値設定テーブル22Aは、前方カメラ5で撮像した画像で検出された対象物の状態(具体的には対象物の種類と位置)と、送信する送信対象となる他車両の状態(具体的には他車両の自車両に対する相対的な走行位置)とに基づいて交通情報の情報価値(送信すべき情報としての価値を有しているか否か)を設定するテーブルである。
図4に示すように、第1価値設定テーブル22Aは対象物の状態と、受信側車両状態と、前記状態を有する対象物に関する交通情報を前記状態を有する受信側車両に対して送信する際の情報価値に対して加点する値とから構成されている。
例えば、撮像した画像から検出された対象物が「自車両の進行方向に対して左側の路肩に駐車された駐車車両」であって、送信対象となる他車両が「自車両と反対車線を走行する車両」であった場合には、検出された対象物に関する交通情報は他車両にとって有効な交通情報でない(他車両の走行に影響を与える対象物でない)ので、情報価値に対して加点は行われない。
また、撮像した画像から検出された対象物が「自車両の進行方向に対して左側の路肩に駐車された駐車車両」であって、送信対象となる他車両が「自車両と同一車線の後方を走行する車両」であった場合には、検出された対象物に関する交通情報は他車両にとって有効な交通情報であるので、情報価値に対して3点を加点する。
また、撮像した画像から検出された対象物が「自車両の進行方向に対して右側の路肩に駐車された駐車車両」であって、送信対象となる他車両が「自車両と反対車線を走行する車両」であった場合には、検出された対象物に関する交通情報は他車両にとって有効な交通情報であるので、情報価値に対して3点を加点する。
また、撮像した画像から検出された対象物が「自車両の進行方向に対して右側の路肩に駐車された駐車車両」であって、送信対象となる他車両が「自車両と同一車線の後方を走行する車両」であった場合には、検出された対象物に関する交通情報は他車両にとって有効な交通情報でないので、情報価値に対して加点は行われない。
また、撮像した画像から検出された対象物が「自車両の進行方向に対して左側の路肩を歩行する歩行者」であって、送信対象となる他車両が「自車両と反対車線を走行する車両」であった場合には、検出された対象物に関する交通情報は他車両にとって有効な交通情報でないので、情報価値に対して加点されない。
また、撮像した画像から検出された対象物が「自車両の進行方向に対して左側の路肩を歩行する歩行者」であって、送信対象となる他車両が「自車両と同一車線の後方を走行する車両」であった場合には、検出された対象物に関する交通情報は他車両にとって有効な交通情報であるので、情報価値に対して5点を加点する。
また、撮像した画像から検出された対象物が「自車両の進行方向に対して右側の路肩を歩行する歩行者」であって、送信対象となる他車両が「自車両と反対車線を走行する車両」であった場合には、検出された対象物に関する交通情報は他車両にとって有効な交通情報であるので、情報価値に対して5点を加点する。
また、撮像した画像から検出された対象物が「自車両の進行方向に対して右側の路肩を歩行する歩行者」であって、送信対象となる他車両が「自車両と同一車線の後方を走行する車両」であった場合には、検出された対象物に関する交通情報は他車両にとって有効な交通情報でないので、情報価値に対して加点は行われない。
尚、図4に示す条件以外にも、対象物が自転車である場合や右折車両である場合にも同様に情報価値に加点する値を設定しても良い。そして、後述するように第1価値設定テーブル22A及び第2価値設定テーブル22Bによって交通情報に対する情報価値が5点以上となった場合に、当該交通情報が他車両に対して送信される。
続いて、ROM22に格納される第2価値設定テーブル22Bについて図5を用いて説明する。図5は第1実施形態に係る第2価値設定テーブル22Bについて示した図である。
ここで、第2価値設定テーブル22Bは、前方カメラ5で撮像した画像で検出された対象物に関する交通情報を送信する送信対象となる他車両の状態(具体的には他車両の走行速度や車種や運転者の情報等)に基づいて交通情報の情報価値(送信及び提供すべき情報としての価値を有しているか否か)を設定するテーブルである。
図5に示すように、第2価値設定テーブル22Bは受信側車両の状態を規定する項目と、受信側車両状態と、前記状態を有する受信側車両に対して送信する交通情報の情報価値に対して加点する値とから構成されている。
例えば、撮像した画像から検出された対象物に関する交通情報を送信する送信対象となる他車両が「0km/h以上で20km/h未満の走行速度で走行する車両」であった場合には、当該他車両に送信する交通情報の情報価値に対して1点を加点する。
また、撮像した画像から検出された対象物に関する交通情報を送信する送信対象となる他車両が「20km/h以上で40km/h未満の走行速度で走行する車両」であった場合には、当該他車両に送信する交通情報の情報価値に対して2点を加点する。
また、撮像した画像から検出された対象物に関する交通情報を送信する送信対象となる他車両が「40km/h以上の走行速度で走行する車両」であった場合には、当該他車両に送信する交通情報の情報価値に対して3点を加点する。
また、撮像した画像から検出された対象物に関する交通情報を送信する送信対象となる他車両が「乗用車(軽自動車、セダン、ワゴンを含む)の車両」であった場合には、当該他車両に送信する交通情報の情報価値に対して1点を加点する。
また、撮像した画像から検出された対象物に関する交通情報を送信する送信対象となる他車両が「標準積載量4t未満のトラックの車両」であった場合には、当該他車両に送信する交通情報の情報価値に対して2点を加点する。
また、撮像した画像から検出された対象物に関する交通情報を送信する送信対象となる他車両が「標準積載量4t以上のトラックの車両」であった場合には、当該他車両に送信する交通情報の情報価値に対して3点を加点する。
また、撮像した画像から検出された対象物に関する交通情報を送信する送信対象となる他車両が「運転者の年齢が21歳以下の車両」であった場合には、当該他車両に送信する交通情報の情報価値に対して2点を加点する。
また、撮像した画像から検出された対象物に関する交通情報を送信する送信対象となる他車両が「運転者の年齢が65歳以上の車両」であった場合には、当該他車両に送信する交通情報の情報価値に対して3点を加点する。
また、撮像した画像から検出された対象物に関する交通情報を送信する送信対象となる他車両が「車両と同一の県内であって同一の市町村外に位置する車両」であった場合には、当該他車両に送信する交通情報の情報価値に対して1点を加点する。
また、撮像した画像から検出された対象物に関する交通情報を送信する送信対象となる他車両が「車両と同一の県外に位置する車両」であった場合には、当該他車両に送信する交通情報の情報価値に対して2点を加点する。
そして、後述するように第1価値設定テーブル22A及び第2価値設定テーブル22Bによって交通情報に対する情報価値が5点以上となった場合に、当該交通情報が他車両に対して送信される。従って、例えば高速で走行する車両や高齢の運転手が運転する車両に対してはより多くの交通情報を送信することが可能となる。
次に、RAM23に格納される交通情報テーブル23Aの具体例について、前方カメラ5で撮像した画像からの交通情報の抽出方法とともに図6乃至図8を用いて説明する。ここで、図6は道路上を走行する車両2を所定のタイミングで示した上面図、図7は図6のタイミングで前方カメラ5によって撮像された車両2の前方環境の撮像画像41を示した模式図、図8は図7の撮像画像41に基づいて抽出された交通情報を記憶した交通情報テーブル23Aを示した図である。
図6及び図7に示す所定のタイミングでは、自車両2の前方に、路肩に駐車している駐車車両31と、駐車車両31の後方を歩行する歩行者32と、対向車線を走行する走行車両33が存在する。その結果、前方カメラ5で撮像した撮像画像41には、駐車車両31、歩行者32及び走行車両33がそれぞれ映し出されることとなる。
そして、CPU21は撮像画像41から交通情報を抽出する際には、先ず撮像画像中の路面と対象物(図7では駐車車両31、歩行者32、走行車両33)を輝度差に基づいて輝度補正を行う。その後、対象物を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と対象物との境界線を検出することが可能となる。
また、前方カメラ5は、車両2の前バンパー42の直上から前方を撮像できるように光軸を水平から所定角度(例えば15度)下方向に向けるように取り付けられており、撮像範囲が固定されている。従って、前方カメラ5によって撮像された図7に示す撮像画像41中で検出された対象物の位置(具体的には下縁からの画素数)に基づいて、車両2から被写体までの距離を計算することができる。更に、GPS11で検出された自車の現在位置との相対的な位置関係から対象物の位置座標を間接的に検出することも可能となる。
その後CPU21は、撮像画像41から検出された対象物の画像サイズを対象物の距離に応じて定まる拡大率または縮小率で、拡大又は縮小を行う。そして、サイズを調整した対象物の画像を、ROM22に記憶された各テンプレート画像とのパターンマッチングを施すことにより、撮像画像41中に検出された対象物の種類を算定する。更に、その後の対象物の撮像画像41における移動方向と移動速度から、対象物が車両である場合の車両の走行状態(駐車車両、走行車両、右折車両)を判定することも可能である。
その結果、図8に示すように交通情報テーブル23Aには、撮像画像41から検出された対象物である駐車車両31、歩行者32及び走行車両33が、位置座標とともに記録されている。
ここで、位置座標は前記したように前方カメラ5で撮像した撮像画像41における対象物の画像と、自車両2の現在位置から特定される。
一方、対象物の種類は前記したようにパターンマッチング処理により予め定められたいずれかの種類(例えば、走行車両、駐車車両、右折車両、歩行者、自転車、路上障害物、工事中の看板)に特定され、記憶される。また、特に車両に関しては車種(軽自動車、セダン、ワゴン、トラック等)についても特定される。尚、具体的に対象物の種類(車両の車種を含む)については、対象物の種類を特定するコード(数字)によって交通情報テーブル23Aに記憶されており、例えば「1」が歩行者、「2」がセダンの駐車車両、「3」がトラックの駐車車両、「4」が・・・のように特定される。また、車車間で交通情報を通信する際において特に対象物の種類の送受信に関しては、これらのコードを送受信することにより行う。従って、コードと対象物の種類を対応付けた対応テーブルを送信側車両と受信側車両のそれぞれに記憶させる必要がある。
尚、交通情報テーブル23Aには、対象物の種別や車両の車種を特定するコード(数字)の代わりに、対象物の種別や車両の車種を特定するシンボルやパターン(例えば、歩行者は○、セダンの駐車車両は□)を記憶し、それらのシンボルやパターンを送受信することによって交通情報を送受信することとしても良い。また、対象物の色や大きさについても撮像画像41から認識させ、記憶することとしても良い。
続いて、前記構成を有する第1実施形態に係る車車間通信システム1の通信処理ECU7が実行する車車間通信処理プログラムについて図9に基づき説明する。図9は第1実施形態に係る車車間通信システム1における車車間通信処理プログラムのフローチャートである。ここで、車車間通信処理プログラムは、車両2が道路を走行する際において前方カメラ5により撮像した撮像画像から対象物を検出し、対象物に係る情報を交通情報として抽出するとともに、抽出した交通情報を他車両に送信する制御を行うものである。尚、図9にフローチャートで示されるプログラムは通信処理ECU7が備えているROM22やRAM23に記憶されており、CPU21により所定間隔毎(例えば4ms毎)に実行される。
車車間通信処理プログラムでは、先ずステップ(以下、Sと略記する)1において、CPU21は前方カメラ5によって車両2の前方環境を撮像する。続いて、S2では前記S1において前方カメラ5で撮像した画像を取り込んで解析処理を行い、車両2の周辺に位置する歩行者、自転車、他車両、その他障害物等の対象物を検出する画像認識処理を行う。
具体的には、先ず、NTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて前方カメラ5で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。次に、CPU21は、撮像画像中の路面と対象物を輝度差に基づいて輝度補正を行う。その後、対象物を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と対象物との境界線を検出する。それによって、車両2の周辺に位置する対象物を検出することが可能となる。
次に、S3では前記S2の画像認識処理の結果、撮像した画像から何らかの対象物が検出されたか否かを判定する。そして、何らかの対象物が検出されたと判定した場合(S3:YES)にはS4へと移行し、一方、何らの対象物も検出されなかった判定した場合(S3:NO)には他車両に送信すべき交通情報が存在しないので、当該車車間通信処理プログラムを終了する。
次に、S4ではGPS11を用いて自車両2の現在位置を検出する。その後、S5では前記S2の画像認識処理によって検出された対象物の位置(具体的には下縁からの画素数)から、被写体までの距離を算出し、更に、前記S4で検出された自車の現在位置との相対的な位置関係から対象物の位置座標を間接的に検出する。
また、対象物の位置座標を検出する方法としては、上記した撮像画像に基づいて検出する方法以外にも、例えば、車両2にミリ波を発信するミリ波レーダを設け、対象物によって反射されたミリ波を測定することにより車両2から対象物までの距離を検出し、更に車両2の現在位置から対象物の位置座標を検出することとしても良い。
続いて、S6では前記S2の画像認識処理で検出された対象物の状態を検出する。ここで、対象物の状態とは“対象物の種類(駐車車両、歩行者等)”と“対象物を検出した送信側車両に対する対象物の相対位置(左側路肩、右側路肩等)”によって特定される。
具体的には、検出された対象物の画像サイズを、前記S5で算出された自車両から対象物の距離に応じて定まる拡大率または縮小率で、拡大又は縮小を行う。そして、サイズを調整した対象物の画像を、ROM22に記憶された各テンプレート画像とのパターンマッチングを施すことにより、画像中に検出された対象物の種類を算定する。更に、その後の対象物の撮像画像41における移動方向と移動速度から、対象物が車両である場合の車両の走行状態(駐車車両、走行車両、右折車両)と送信側車両に対する対象物の相対位置(左側路肩、右側路肩等)についても検出する。尚、ROM22に記憶されたいずれのテンプレート画像ともマッチングしなかった場合には、検出された対象物は交通情報として他車両に送信する必要はないと判定され、当該車車間通信処理プログラムを終了する。
そして、S7においてCPU21は、前記S5で検出された対象物の位置座標と、前記S6で特定された対象物の種類とを交通情報として抽出し、RAM23の交通情報テーブル23Aに記憶する(S8)。
次に、S9では自車両の周囲(例えば自車位置を中心とした半径1kmの範囲)に位置する各他車両と通信装置3を介して通信を行うことにより、各他車両の状態を取得する。ここで、対象物の状態とは“対象物を検出した送信側車両に対する他車両の相対位置(対向車線走行、同一車線後方走行)”、“走行速度”、“車種(乗用車、基本積載量4t未満トラック、4t以上トラック)”、“運転者の年齢”及び“他車両の現在位置の住所”によって特定される。
具体的に、“送信側車両に対する他車両の相対位置”と“他車両の現在位置の住所”は他車両に備え付けられたGPS11の検出結果を受信し、更に前記S4で検出した自車位置と地図DB13に記憶された地図情報とを参照して取得する。
また、“走行速度”は他車両に備え付けられた車速センサ15の検出結果を受信することによって取得する。
また、“車種”と“運転者の年齢”は予め他車両のRAM23に記憶された記憶情報を受信することによって取得する。
ここで、図9は道路を走行中の所定のタイミングにおける自車両51と、自車両51の周囲(例えば自車位置を中心とした半径1kmの範囲)を走行する他車両52〜58との位置関係を示した模式図である。前記S9の処理では、自車両51は他車両52〜58のそれぞれと通信を行うことにより、他車両52〜58の状態を取得する。その際、特に他車両53、55は対向車線を走行する車両であることが取得され、他車両56、57は同一車線後方を走行する車両であることが取得される。
その後、S10では前記S6で検出された対象物の状態と、前記S9で取得された交通情報を送信する送信対象となる他車両の状態とに基づいて前記S7で抽出された交通情報の情報価値を送信対象となる他車両毎に第1価値設定テーブル22A(図4参照)及び第2価値設定テーブル22B(図5参照)を用いて設定する。例えば、前記S6で交通情報を構成する対象物が左側路肩に駐車された駐車車両であることが検出され、且つ、送信対象となる他車両が同一車線の後方を45km/hで走行する乗用車であって、年齢35歳の運転者が運転し、また他車両の現在位置の住所が送信側の車両の県外である場合には、9点が当該他車両に対して送信する交通情報の情報価値として設定される。
次に、S11では前記S7で抽出した交通情報を送信する対象となる他車両が自車の周囲に位置するか否かが判定される。
そして、送信対象となる他車両があると判定された場合(S11:YES)には、S12へと移行する。一方、送信対象となる他車両が無いと判定された場合(S11:NO)には、現時点で交通情報を送信する必要のある他車両は無いと判定され、他車両に対して当該対象物に係る情報を送信することなく、当該車車間通信処理プログラムを終了する。
S12では、前記S10で設定された情報価値で所定価値以上(第1実施形態では5点以上)の交通情報があるか否か判定される。そして、所定価値以上の情報価値があると判定された場合(S12:YES)には、送信対象となる他車両に対して通信装置3を介して通信を行うことにより、交通情報テーブル23Aに記憶された交通情報を送信する(S13)。その後、送信された交通情報は交通情報テーブル23Aから削除される。また、送信されなくとも交通情報テーブル23Aに交通情報が記憶されてから所定時間(例えば、30秒)経過した場合には、不要な過去の情報として同様に削除される。
一方、所定価値以上の情報価値がないと判定された場合(S12:NO)には、他車両に対して送信する価値のある交通情報は無いと判定され、他車両に対して当該対象物に係る情報を送信することなく、当該車車間通信処理プログラムを終了する。
次に、第1実施形態に係る車車間通信システム1の通信処理ECU7が実行する交通情報表示処理プログラムについて図11に基づき説明する。図11は第1実施形態に係る車車間通信システム1における交通情報表示処理プログラムのフローチャートである。ここで、交通情報表示処理プログラムは、他車両から送信された交通情報に基づいて自車の周囲の交通情報を液晶ディスプレイ6に表示する制御を行うものである。尚、図11にフローチャートで示されるプログラムは通信処理ECU7が備えているROM22やRAM23に記憶されており、CPU21により所定間隔毎(例えば4ms毎)に実行される。
交通情報表示処理プログラムでは、先ずS21において、CPU21は前記車車間通信処理プログラムのS13において他車両から送信された交通情報を受信したか否かを判定する。そして、交通情報を受信したと判定された場合(S21:YES)にはS22へと移行する一方、交通情報を受信していないと判定された場合(S21:NO)には当該交通情報表示処理プログラムを終了する。
S22では他車両から送信された交通情報の解析処理を行う。具体的には、交通情報として記憶された対象物の種類と位置座標をそれぞれ特定する。また、第1実施形態に係る車車間通信システム1では他車両から送信された交通情報に関し、所定距離内(例えば20m以内)に同一種類の対象物(例えば駐車車両や歩行者)に係る位置情報が3以上ある場合には、その連続して位置する対象物の始点と終点の位置座標をそれぞれ特定する。尚、始点と終点の位置座標の特定は送信する車両側で行う(例えば、図8のS7やS8の処理で行う)こととしても良い。
次に、S23では前記S22で解析処理された交通情報の解析結果に基づいて、液晶ディスプレイ6に対して交通情報を表示する。そして、前記S22の処理で液晶ディスプレイ6に対して表示された交通情報は、所定時間(例えば30秒間)経過するまで、又は次に交通情報が他車両から送信されるまでの間、継続して表示される。
ただし、異なる複数の他車両から所定間隔(例えば30秒)以内で、それぞれ交通情報が送信された場合には、送信されたそれぞれの交通情報を同時に液晶ディスプレイ6に表示するように構成することが望ましい。
ここで、図12乃至図14は他車両から送信された交通情報を液晶ディスプレイ6に表示した交通情報表示画面の例を計3パターン挙げて示した図である。図12乃至図14に示すように、交通情報表示画面61〜63には自車両の現在位置周辺領域の地図が地図DB13に基づいて表示される。そして、表示された地図上には自車両の現在位置を示す自車マーク64と、対象物の位置と種類を示す対象物マーク65〜69、対象物区間70、対象物移動エリア71〜73等がそれぞれ重ねて表示される。
例えば、図12に示す対象物マーク65は、トラック型の走行車両が自車両の右前方を走行していることを示している。また、対象物マーク66は、ワゴン型の駐車車両が自車両の前方の路肩に駐車していることを示している。また、対象物マーク67は、セダン型の右折車両が自車両の前方の交差点で右折を行う為に停車していることを示している。また、対象物マーク68、69は、それぞれ歩行者が自車両の前方の所定地点を歩行していることを示している。
また、図13は対象物マークの変わりに対象物区間70を用いて交通情報を示した例である。ここで、第1実施形態に係る車車間通信システム1では他車両から送信された交通情報に関し、所定距離内(例えば20m以内)に同一種類の対象物(例えば駐車車両や歩行者)に係る位置情報が3以上ある場合には、前記S22の交通情報解析処理において対象物の始点と終点の位置座標を特定し、その位置座標の間をセグメントにより表示する。
図13に示す対象物区間70では、複数の駐車車両が自車両の前方に位置する路肩の所定区間に連続して駐車されていることを示している。このように対象物が連続して位置する場合に、その対象物をセグメントで表示することによって、対象物マークを連続して重畳して表示するよりも、運転者に分かり易く表示することが可能となる。
一方、図14は対象物マークの変わりに対象物移動エリア71〜73を用いて交通情報を示した例である。ここで、対象物移動エリア71〜73とは、対象物の位置とともに対象物の移動予測範囲を示したものである。これは、自車両が他車両によって認識された対象物の地点へと走行するまでに、当該対象物が移動する可能性のある範囲を考慮したものであり、その範囲は移動速度がより速いと考えられる対象物ほど広くなるように設定される(例えば、駐車車両→歩行者→自転車→右折車両→走行車両の順に広くなる)。
そして、図14に示す対象物移動エリア71は、歩行者が自車両の前方の所定エリア内を歩行していることを示している。また、対象物移動エリア72は、自転車が自車両の前方の所定エリア内を走行していることを示している。また、対象物移動エリア73は、走行車両が自車両の前方の所定エリア内を走行していることを示している。
尚、図12乃至図14に示す交通情報表示画面61〜63において、情報価値の異なる交通情報を同時に表示する場合において、特にそれぞれの交通情報の示す対象物のマーク、セグメント及びエリアが重複する場合には、より高い情報価値が設定された交通情報が優先又は強調して表示される。
ここで、図15(A)及び(B)は、特に対象物マーク81、82が重なった場合の表示例について示した図である。例えば、図15(A)では、対象物マーク81の示す対象物に関する交通情報が対象物マーク82の示す対象物に関する交通情報より情報価値が高い場合に、情報価値の高い交通情報である対象物マーク81を対象物マーク82より上側に重ねて表示する。それによって、運転者に対してより重要な情報を分かり易く報知することが可能となる。
また、図15(B)では、対象物マーク81の示す対象物に関する交通情報が対象物マーク82の示す対象物に関する交通情報より情報価値が高い場合に、情報価値の低い交通情報である対象物マーク82を表示しないようにする。それによって、運転者に対してより重要な情報を分かり易く報知することが可能となる。
尚、上記表示パターン以外にも、情報価値の高い交通情報の示す対象物のマークの色を他のマークと変更したり、マークの周囲に枠を追加することによって、情報価値の高い交通情報を他の交通情報より強調して表示させるようにしても良い。
そして、運転者は液晶ディスプレイ6に表示された交通情報表示画面61〜63を視認することによって、自車両からは確認できないエリアの交通情報について容易に把握することが可能となる。尚、交通情報は液晶ディスプレイ6による表示以外にもスピーカを用いた音声案内によって利用者に出力することとしても良い。そして、音声案内により出力する場合においても、情報価値の高い交通情報を情報価値の低い交通情報より優先して出力するようにすることが望ましい。例えば、「100m前方に駐車車両があります。」との交通情報と、「150m前方に右折待ち車両があります。」との交通情報を同時のタイミングで出力する際であって、「100m前方に駐車車両があります。」との交通情報の情報価値の方が高い場合には、「100m前方左側に駐車車両が3台あります。その先に右折待ち車両があります。」のように、情報価値の高い交通情報を詳細な内容で先に出力する。また、「150m前方に右折待ち車両があります。」との交通情報は出力しないようにしても良い。
以上詳細に説明した通り、第1実施形態に係る車車間通信システム1では、前方カメラ5によって撮像した車両の前方環境の画像に基づいて自車の周辺に位置する対象物の状態と位置座標とを検出し(S2〜S6)、交通情報として抽出する(S7)とともに、他車両の状態を取得し(S9)、対象物の状態と他車両の状態とに基づいて設定された情報価値が所定価値以上であると判定された場合(S12:YES)に、抽出した交通情報を他車に送信する(S13)ので、複数の車両間で撮像した画像に基づいた交通情報(具体的には対象物の種類と位置に関する情報)の内、特に他車両にとって必要と思われる交通情報のみを選別して共有を行うことが可能となる。従って、運転者にとって必要となる交通情報の情報量を減少させることなく、情報通信に係る通信時間の短縮や処理負荷の軽減が可能となる。
また、他車両から交通情報が送信されると、液晶ディスプレイ6に自車両周辺の地図を表示するとともに、表示された地図上に自車両の周辺に係る交通情報(具体的には対象物の種類と位置に関する情報)を表示する(S23)ので、運転者は他車両で撮像した画像に基づいた自車周辺の交通情報を得ることができる。従って、道路が渋滞して自車の前後に近接して他の車両が走行又は停車している場合や、見通しの悪い道路を走行する場合等の限られた情報の中で運転を行う必要がある状況下でも、表示された交通情報を参照することにより運転者は適切な走行を行うことが可能となる。
また、受信した交通情報は高い情報価値が付加された交通情報を優先して表示する(図15(A)及び(B)参照)ので、多数の交通情報が出力された場合であっても、運転者は必要な交通情報を容易に把握することが可能となる。
更に、送信する交通情報の選別は交通情報を構成する対象物の状態と送信対象となる他車両の状態に基づいて行われるので、対象物の状態と他車両の状態とに応じた適確な情報の選別が可能となる。
(第2実施形態)
次に、第2実施形態に係る車車間通信システムについて図16及び図17に基づいて説明する。尚、以下の説明において上記図1乃至図15の第1実施形態に係る車車間通信システム1等の構成と同一符号は、前記第1実施形態に係る車車間通信システム1等の構成と同一あるいは相当部分を示すものである。
この第2実施形態に係る車車間通信システムの概略構成は、第1実施形態に係る車車間通信システム1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る車車間通信システム1とほぼ同じ制御処理である。
ただし、第1実施形態に係る車車間通信システム1が、前方カメラ5で撮像した画像から抽出した交通情報を送信側車両から受信側車両へと送信する際に、RAM23に記憶された交通情報の情報価値が所定価値以上であるか否かを判定し(S12)、所定価値以上であると判定された交通情報のみを受信側車両と通信を行うことにより交通情報を送信する(S13)のに対して、第2実施形態に係る車車間通信システムでは、送信側車両は交通情報を情報価値とともに通信装置3で通信可能な通信可能エリアに対して一律に送信する一方、交通情報を受信した通信可能エリア内の受信側車両が情報価値が所定価値以上であるか否かを判定し、所定価値以上であると判定された交通情報のみを出力する点で前記第1実施形態に係る車車間通信システム1と異なっている。
以下に、第2実施形態に係る車車間通信システムの通信処理ECU7が実行する車車間通信処理プログラムについて図16に基づき説明する。図16は第2実施形態に係る車車間通信システムにおける車車間通信処理プログラムのフローチャートである。尚、以下の図16及び図17にフローチャートで示されるプログラムは通信処理ECU7が備えているROM22やRAM23に記憶されており、CPU21により所定間隔毎(例えば4ms毎)に実行される。
ここで、S101〜S110において実行される処理は、前記第1実施形態に係る車車間通信システム1が実行する車車間通信処理プログラム(図9)のS1〜S10の処理と同一の処理であるので、その説明は省略する。尚、S102〜S107が交通情報抽出手段の処理に相当し、S106が対象物状態検出手段の処理に相当し、S109が状態取得手段の処理に相当し、S110が価値設定手段の処理に相当する。
また、S111では前記S110で設定された情報価値を交通情報に対応させて付加し、RAM23に記憶する。
その後、S112においては、通信装置3によって通信可能なエリア(例えば車両2から半径1km以内のエリア)に対して、前記S108において交通情報テーブル23Aに記憶された交通情報の内容に関わらず全ての交通情報及び付加された情報価値を送信する。その後、送信された交通情報及び情報価値は交通情報テーブル23Aから削除される。
次に、第2実施形態に係る車車間通信システムの通信処理ECU7が実行する交通情報表示処理プログラムについて図17に基づき説明する。図17は第2実施形態に係る車車間通信システムにおける交通情報表示処理プログラムのフローチャートである。
交通情報表示処理プログラムでは、先ずS121において、CPU21は前記車車間通信処理プログラムのS111において他車両から送信された交通情報を受信したか否かを判定する。そして、交通情報を受信したと判定された場合(S121:YES)にはS122へと移行する一方、交通情報を受信していないと判定された場合(S121:NO)には当該交通情報表示処理プログラムを終了する。
S122では他車両から送信された交通情報の解析処理を行う。具体的には、交通情報として記憶された対象物の種類と位置座標をそれぞれ特定する。また、交通情報の情報価値についても特定する。
更に、第2実施形態に係る車車間通信システムでは他車両から送信された交通情報に関し、所定距離内(例えば20m以内)に同一種類の対象物(例えば駐車車両や歩行者)に係る位置情報が3以上ある場合には、その連続して位置する対象物の始点と終点の位置座標をそれぞれ特定する。尚、始点と終点の位置座標の特定は送信する車両側で行う(例えば、図16のS107やS108の処理で行う)こととしても良い。
次に、S123では前記S122で特定された交通情報の情報価値に基づいて、送信された交通情報の内、所定価値以上(第2実施形態では5点以上)の交通情報があるか否か判定される。そして、所定価値以上の情報価値があると判定された場合(S123:YES)には、前記S122で解析処理された交通情報の解析結果に基づいて、液晶ディスプレイ6に対して交通情報を表示する(S124)。尚、液晶ディスプレイ6に対する交通情報の表示方法は第1実施形態に係る車車間通信システム1と同様であるので(図12〜図14参照)、ここではその説明は省略する。
そして、前記S122の処理で液晶ディスプレイ6に対して表示された交通情報は、所定時間(例えば30秒間)経過するまで、又は次に交通情報が他車両から送信されるまでの間、継続して表示される。
ただし、異なる複数の他車両から所定間隔(例えば30秒)以内で、それぞれ交通情報が送信された場合には、送信されたそれぞれの交通情報を同時に液晶ディスプレイ6に表示するように構成することが望ましい。尚、上記S123が出力価値判定手段の処理に相当する。
一方、前記S123で所定価値以上の交通情報がないと判定された場合(S123:NO)には、送信された交通情報は現時点で交通情報を出力する必要のある交通情報ではないと判定され、交通情報を液晶ディスプレイ6に表示することなく、当該交通情報表示処理プログラムを終了する。
以上詳細に説明した通り、第2実施形態に係る車車間通信システムでは、前方カメラ5によって撮像した車両の前方環境の画像に基づいて自車の周辺に位置する対象物の状態と位置座標とを検出し(S102〜S106)、交通情報として抽出する(S107)とともに、他車両の状態を取得し(S109)、対象物の状態と他車両の状態とに基づいて設定された情報価値を交通情報と併せて送信する(S112)。一方で、交通情報を受信した車両2は受信した交通情報の情報価値が所定価値以上であると判定された場合(S123:YES)に、受信した交通情報を液晶ディスプレイ6に表示する(S124)ので、各車両で撮像した画像に基づいて抽出された交通情報の内、運転者は特に必要と思われる交通情報のみを選別して得ることが可能となる。従って、道路が渋滞して自車の前後に近接して他の車両が走行又は停車している場合や、見通しの悪い道路を走行する場合等の限られた情報の中で運転を行う必要がある状況下でも、運転者は取得した交通情報を参照して適切な走行を行うことが可能となる。
また、交通情報の表示では、液晶ディスプレイ6に自車両周辺の地図を表示するとともに、表示された地図上に自車両の周辺に係る交通情報(具体的には対象物の種類と位置に関する情報)を表示することにより行うので、運転者は他車両で撮像した画像に基づいた自車周辺の交通情報を得ることができる。
更に、受信した交通情報は高い情報価値が付加された交通情報を優先して表示する(図15(A)及び(B)参照)ので、多数の交通情報が出力された場合であっても、運転者は必要な交通情報を容易に把握することが可能となる。
(第3実施形態)
次に、第3実施形態に係る車車間通信システムについて図18乃至図20に基づいて説明する。尚、以下の説明において上記図1乃至図15の第1実施形態に係る車車間通信システム1等の構成と同一符号は、前記第1実施形態に係る車車間通信システム1等の構成と同一あるいは相当部分を示すものである。
この第3実施形態に係る車車間通信システムの概略構成は、第1実施形態に係る車車間通信システム1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る車車間通信システム1とほぼ同じ制御処理である。
ただし、第1実施形態に係る車車間通信システム1が、前方カメラ5で撮像した画像中に対象物を検出した場合(S3:YES)に、続けて画像から抽出した交通情報を送信側車両から受信側車両へと送信する(S13)のに対して、第3実施形態に係る車車間通信システムでは、前方カメラ5で撮像した画像中に対象物を検出した場合に画像から抽出した交通情報をRAMに対して累積記憶し、送信可能範囲に他車両が位置した場合に、他車両に対して、その時点までに累積記憶された交通情報を送信する点で前記第1実施形態に係る車車間通信システム1と異なっている。
続いて、前記構成を有する第3実施形態に係る車車間通信システムの通信処理ECU7が実行する交通情報記憶処理プログラムについて図18に基づき説明する。図18は第3実施形態に係る車車間通信システム1における交通情報記憶処理プログラムのフローチャートである。ここで、交通情報記憶処理プログラムは、車両2が道路を走行する際において前方カメラ5により撮像した撮像画像から抽出された交通情報をRAM23に累積記憶する制御を行うものである。尚、以下の図18乃至図20にフローチャートで示されるプログラムは通信処理ECU7が備えているROM22やRAM23に記憶されており、CPU21により所定間隔毎(例えば4ms毎)に実行される。
交通情報記憶処理プログラムでは、先ずS301において、CPU21は前方カメラ5によって車両2の前方環境を撮像する。続いて、S302では前記S301において前方カメラ5で撮像した画像を取り込んで解析処理を行い、車両2の周辺に位置する歩行者、自転車、他車両、その他障害物等の対象物を検出する画像認識処理を行う。
具体的には、先ず、NTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて前方カメラ5で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。次に、CPU21は、撮像画像中の路面と対象物を輝度差に基づいて輝度補正を行う。その後、対象物を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と対象物との境界線を検出する。それによって、車両2の周辺に位置する対象物を検出することが可能となる。
次に、S303では前記S302の画像認識処理の結果、撮像した画像から何らかの対象物が検出されたか否かを判定する。そして、何らかの対象物が検出されたと判定した場合(S303:YES)にはS304へと移行し、一方、何らの対象物も検出されなかった判定した場合(S303:NO)にはRAM23に記憶すべき交通情報が存在しないので、当該交通情報記憶処理プログラムを終了する。
次に、S304ではGPS11を用いて自車両2の現在位置を検出する。その後、S305では前記S302の画像認識処理によって検出された対象物の位置(具体的には下縁からの画素数)から、被写体までの距離を算出し、更に、前記S304で検出された自車の現在位置との相対的な位置関係から対象物の位置座標を間接的に検出する。
尚、対象物の位置座標を検出する方法としては、上記した撮像画像に基づいて検出する方法以外にも、例えば、車両2にミリ波を発信するミリ波レーダを設け、対象物によって反射されたミリ波を測定することにより車両2から対象物までの距離を検出し、更に車両2の現在位置から対象物の位置座標を検出することとしても良い。
続いて、S306では前記S302の画像認識処理で検出された対象物の状態を検出する。ここで、対象物の状態とは“対象物の種類(駐車車両、歩行者等)”と“対象物を検出した送信側車両に対する対象物の相対位置(左側路肩、右側路肩等)”によって特定される。
具体的には、検出された対象物の画像サイズを、前記S305で算出された自車両から対象物の距離に応じて定まる拡大率または縮小率で、拡大又は縮小を行う。そして、サイズを調整した対象物の画像を、ROM22に記憶された各テンプレート画像とのパターンマッチングを施すことにより、画像中に検出された対象物の種類を算定する。更に、その後の対象物の撮像画像41における移動方向と移動速度から、対象物が車両である場合の車両の走行状態(駐車車両、走行車両、右折車両)と送信側車両に対する対象物の相対位置(左側路肩、右側路肩等)についても検出する。尚、ROM22に記憶されたいずれのテンプレート画像ともマッチングしなかった場合には、検出された対象物は交通情報として他車両に送信する必要はないと判定され、当該車車間通信処理プログラムを終了する。
そして、S307においてCPU21は、前記S305で検出された対象物の位置座標と、前記S306で特定された対象物の種類とを交通情報として抽出し、RAM23の交通情報テーブル23Aに累積的に記憶する(S308)。
次に、前記構成を有する第3実施形態に係る車車間通信システム1の通信処理ECU7が実行する車車間通信処理プログラムについて図19に基づき説明する。図19は第3実施形態に係る車車間通信システム1における車車間通信処理プログラムのフローチャートである。ここで、車車間通信処理プログラムは、前記交通情報記憶処理プログラムで累積記憶された交通情報を、送信範囲に位置する他車両に対して送信する制御を行うものである。
車車間通信処理プログラムでは、先ずS311において、CPU21は通信装置3を介して他車両と通信が行われたか否か、即ち、他車両が通信装置3による通信可能エリア内に位置するか否かを判定する。
その結果、他車両と通信が行われたと判定した場合(S311:YES)には、S312へと移行する一方、他車両と通信が行われていないと判定した場合(S311:NO)には、交通情報の送信対象となる他車両が存在しないので、当該車車間通信処理プログラムを終了する。
S312では自車両の周囲に位置する各他車両と通信装置3を介して通信を行うことにより、各他車両の状態を取得する。ここで、対象物の状態とは“対象物を検出した送信側車両に対する他車両の相対位置(対向車線走行、同一車線後方走行)”、“走行速度”、“車種(乗用車、基本積載量4t未満トラック、4t以上トラック)”、“運転者の年齢”及び“他車両の現在位置の住所”によって特定される。
具体的に、“送信側車両に対する他車両の相対位置”と“他車両の現在位置の住所”は他車両に備え付けられたGPS11の検出結果を受信し、更に自車両に備え付けられたGPS11で検出した自車位置と地図DB13に記憶された地図情報とを参照して取得する。
また、“走行速度”は他車両に備え付けられた車速センサ15の検出結果を受信することによって取得する。
また、“車種”と“運転者の年齢”は予め他車両のRAM23に記憶された記憶情報を受信することによって取得する。
続いて、S313では、他車両に送信する為の交通情報として、RAM23に格納された交通情報テーブル23Aにおいて累積記憶されている交通情報を読み出す。
その後、S314では前記S306で検出された対象物の状態と、前記S312で取得された交通情報を送信する送信対象となる他車両の状態とに基づいて前記S313で読み出した交通情報の情報価値を送信対象となる他車両毎に第1価値設定テーブル22A(図4参照)及び第2価値設定テーブル22B(図5参照)を用いて設定する。例えば、前記S6で交通情報を構成する対象物が左側路肩に駐車された駐車車両であることが検出され、且つ、送信対象となる他車両が同一車線の後方を45km/hで走行する乗用車であって、年齢35歳の運転者が運転し、また他車両の現在位置の住所が送信側の車両の県外である場合には、9点が当該他車両に対して送信する交通情報の情報価値として設定される。
次にS315では、前記S314で設定された情報価値で所定価値以上(第3実施形態では5点以上)の交通情報があるか否か判定される。そして、所定価値以上の情報価値があると判定された場合(S315:YES)には、送信対象となる他車両に対して通信装置3を介して通信を行うことにより、交通情報テーブル23Aに記憶された交通情報を送信する(S316)。その後、送信された交通情報は交通情報テーブル23Aから削除される。また、送信されなくとも交通情報テーブル23Aに交通情報が記憶されてから所定時間(例えば、30秒)経過した場合には、不要な過去の情報として同様に削除される。
一方、所定価値以上の情報価値がないと判定された場合(S315:NO)には、他車両に対して送信する価値のある交通情報は無いと判定され、他車両に対して当該対象物に係る情報を送信することなく、当該車車間通信処理プログラムを終了する。
次に、第3実施形態に係る車車間通信システム1の通信処理ECU7が実行する交通情報表示処理プログラムについて図20に基づき説明する。図20は第3実施形態に係る車車間通信システム1における交通情報表示処理プログラムのフローチャートである。ここで、交通情報表示処理プログラムは、他車両から送信された交通情報に基づいて自車の周囲の交通情報を液晶ディスプレイ6に表示する制御を行うものである。
交通情報表示処理プログラムでは、先ずS321において、CPU21は前記車車間通信処理プログラムのS316において他車両から送信された交通情報を受信したか否かを判定する。そして、交通情報を受信したと判定された場合(S321:YES)にはS322へと移行する一方、交通情報を受信していないと判定された場合(S321:NO)には当該交通情報表示処理プログラムを終了する。
S322では他車両から送信された交通情報の解析処理を行う。具体的には、交通情報として記憶された対象物の種類と位置座標をそれぞれ特定する。また、第3実施形態に係る車車間通信システム1では他車両から送信された交通情報に関し、所定距離内(例えば20m以内)に同一種類の対象物(例えば駐車車両や歩行者)に係る位置情報が3以上ある場合には、その連続して位置する対象物の始点と終点の位置座標をそれぞれ特定する。尚、始点と終点の位置座標の特定は送信する車両側で行う(例えば、図16のS307やS308の処理で行う)こととしても良い。
次に、S323では前記S322で解析処理された交通情報の解析結果に基づいて、液晶ディスプレイ6に対して交通情報を表示する。そして、前記S322の処理で液晶ディスプレイ6に対して表示された交通情報は、所定時間(例えば30秒間)経過するまで、又は次に交通情報が他車両から送信されるまでの間、継続して表示される。
ただし、異なる複数の他車両から所定間隔(例えば30秒)以内で、それぞれ交通情報が送信された場合には、送信されたそれぞれの交通情報を同時に液晶ディスプレイ6に表示するように構成することが望ましい。
尚、液晶ディスプレイ6に交通情報を表示する表示画面については、第1実施形態に係る車車間通信システム1の液晶ディスプレイ6に交通情報を表示する表示画面と同様である。そして、第1実施形態に係る車車間通信システム1の液晶ディスプレイ6に表示される交通情報表示画面61〜63に関しては、既に図12乃至図15を用いて説明したので、ここではその説明は省略する。尚、交通情報は液晶ディスプレイ6による表示以外にもスピーカを用いた音声案内によって利用者に出力することとしても良い。
以上詳細に説明した通り、第3実施形態に係る車車間通信システムでは、前方カメラ5によって撮像した車両の前方環境の画像に基づいて自車の周辺に位置する対象物の状態と位置座標とを検出し(S302〜S306)、交通情報として抽出してRAM23に累積的に記憶する(S308)とともに、他車両との通信が行われた際に他車両の状態を取得し(S312)、取得した対象物の状態と他車両の状態とに基づいて設定された情報価値が所定価値以上であると判定された場合(S315:YES)に、累積記憶された交通情報を他車に送信する(S316)ので、複数の車両間で撮像した画像に基づいた交通情報(具体的には対象物の種類と位置に関する情報)の内、特に他車両にとって必要と思われる交通情報のみを選別して共有を行うことが可能となる。従って、運転者にとって必要となる交通情報の情報量を減少させることなく、情報通信に係る通信時間の短縮や処理負荷の軽減が可能となる。
また、他車両から交通情報が送信されると、液晶ディスプレイ6に自車両周辺の地図を表示するとともに、表示された地図上に自車両の周辺に係る交通情報(具体的には対象物の種類と位置に関する情報)を表示する(S323)ので、運転者は他車両で撮像した画像に基づいた自車周辺の交通情報を得ることができる。従って、道路が渋滞して自車の前後に近接して他の車両が走行又は停車している場合や、見通しの悪い道路を走行する場合等の限られた情報の中で運転を行う必要がある状況下でも、表示された交通情報を参照することにより運転者は適切な走行を行うことが可能となる。
また、受信した交通情報は高い情報価値が付加された交通情報を優先して表示する(図15(A)及び(B)参照)ので、多数の交通情報が出力された場合であっても、運転者は必要な交通情報を容易に把握することが可能となる。
更に、送信する交通情報の選別は交通情報を構成する対象物の状態と送信対象となる他車両の状態に基づいて行われるので、対象物の状態と他車両の状態とに応じた適確な情報の選別が可能となる。
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第1乃至第3実施形態では、他車両から送信された交通情報を受信した際に、受信した交通情報を液晶ディスプレイ6に表示するように構成されているが、受信した時点では交通情報を表示せず、交通情報を構成する対象物の位置に所定距離(例えば50m)まで接近した際に表示するようにしても良い。
また、第1実施形態乃至第3実施形態では所定価値以上の情報価値が設定された交通情報のみを送信又は表示することとしているが、設定された情報価値に関わらず交通情報を送信又は表示するようにしても良い。尚、その際には情報価値の高い交通情報を他の交通情報より優先又は強調して表示するようにするのが望ましい。また、交通情報を送信又は表示する閾値となる情報価値は、第1乃至第3実施形態では5点としているが、利用者によって自由に点数を変更可能なように構成しても良い。
第1実施形態に係る車車間通信システムの概略構成図である。 第1実施形態に係る車車間通信システムの特に車両を示す概略構成図である。 第1実施形態に係る車車間通信システムを構成する車両の制御系を模式的に示すブロック図である。 第1実施形態に係る第1価値設定テーブルについて示した図である。 第1実施形態に係る第2価値設定テーブルについて示した図である。 道路上を走行する車両を所定のタイミングで示した上面図である。 図6のタイミングで前方カメラによって撮像された車両の前方環境の撮像画像を示した模式図である。 図7の撮像画像に基づいて抽出された交通情報を記憶した交通情報テーブルを示した図である。 第1実施形態に係る車車間通信システムにおける車車間通信処理プログラムのフローチャートである。 道路を走行中の所定のタイミングにおける自車両と、自車両の周囲を走行する他車両との位置関係を示した模式図である。 第1実施形態に係る車車間通信システムにおける交通情報表示処理プログラムのフローチャートである。 他車両から送信された交通情報を液晶ディスプレイに表示した交通情報表示画面の例を示した図である。 他車両から送信された交通情報を液晶ディスプレイに表示した交通情報表示画面の例を示した図である。 他車両から送信された交通情報を液晶ディスプレイに表示した交通情報表示画面の例を示した図である。 (A)は、特に対象物マークが重なった場合に情報価値の高い交通情報の示す対象物マークを上に表示する表示例について示した図、(B)は、特に対象物マークが重なった場合に情報価値の高い交通情報の示す対象物マークのみを表示する表示例について示した図である。 第2実施形態に係る車車間通信システムにおける車車間通信処理プログラムのフローチャートである。 第2実施形態に係る車車間通信システムにおける交通情報表示処理プログラムのフローチャートである。 第3実施形態に係る車車間通信システムにおける交通情報記憶処理プログラムのフローチャートである。 第3実施形態に係る車車間通信システムにおける車車間通信処理プログラムのフローチャートである。 第3実施形態に係る車車間通信システムにおける交通情報表示処理プログラムのフローチャートである。
符号の説明
1 車車間通信システム
2 車両
3 通信装置
5 前方カメラ
6 液晶ディスプレイ
7 通信処理ECU
8 現在地検出部
11 GPS
21 CPU
22 ROM
23 RAM
41 撮像画像
65〜69 対象物マーク
70 対象物区間
71〜73 対象物移動エリア

Claims (4)

  1. 道路上を走行する複数の車両間において情報の通信を行う車車間通信システムにおいて、
    前記車両は、
    車両の周辺を撮像する撮像手段と、
    前記撮像手段により撮像した画像から車両の周辺に係る交通情報を抽出する交通情報抽出手段と、
    他車両の状態を取得する状態取得手段と、
    前記状態取得手段により取得された他車両の状態に基づいて前記交通情報抽出手段により抽出された交通情報に情報価値を設定する価値設定手段と、
    前記価値設定手段によって設定された情報価値を付加した前記交通情報を前記他車両に対して送信する交通情報送信手段と、
    他車両から送信された交通情報を受信する交通情報受信手段と、
    前記交通情報受信手段によって受信した交通情報と前記交通情報に付加された情報価値に基づいて車両の周辺に係る交通情報を出力する交通情報出力手段と、
    を有することを特徴とする車車間通信システム。
  2. 前記車両は前記価値設定手段によって設定された情報価値が所定価値以上であるか否かを判定する出力価値判定手段を有し、
    前記交通情報出力手段は前記出力価値判定手段によって所定価値以上の情報価値であると判定された場合に前記情報価値が設定された交通情報を出力することを特徴とする請求項1に記載の車車間通信システム。
  3. 前記交通情報出力手段は高い情報価値が付加された交通情報を優先して出力することを特徴とする請求項1又は請求項2に記載の車車間通信システム。
  4. 前記車両は前記撮像手段により撮像した画像から車両の周辺に位置する対象物の状態を検出する対象物状態検出手段を備え、
    前記価値設定手段は前記他車両の状態とともに前記対象物状態検出手段により検出された対象物の状態に基づいて前記交通情報抽出手段により抽出された交通情報に情報価値を設定することを特徴とする請求項1乃至請求項3のいずれかに記載の車車間通信システム。
JP2005349959A 2005-12-02 2005-12-02 車車間通信システム Active JP4715479B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005349959A JP4715479B2 (ja) 2005-12-02 2005-12-02 車車間通信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005349959A JP4715479B2 (ja) 2005-12-02 2005-12-02 車車間通信システム

Publications (2)

Publication Number Publication Date
JP2007156753A true JP2007156753A (ja) 2007-06-21
JP4715479B2 JP4715479B2 (ja) 2011-07-06

Family

ID=38241047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005349959A Active JP4715479B2 (ja) 2005-12-02 2005-12-02 車車間通信システム

Country Status (1)

Country Link
JP (1) JP4715479B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016105318A (ja) * 2016-02-23 2016-06-09 三菱自動車工業株式会社 運転支援装置
EP3094087A1 (en) * 2015-05-11 2016-11-16 Samsung Electronics Co., Ltd. Extended view method, apparatus, and system
WO2022102274A1 (ja) * 2020-11-12 2022-05-19 住友電気工業株式会社 端末装置、送信方法、及びコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283381A (ja) * 2000-03-30 2001-10-12 Toshiba Corp 車車間通信システム
JP2005049914A (ja) * 2003-06-06 2005-02-24 Fujitsu Ten Ltd 車両状況判定装置、車載情報取得装置、車両動作制御装置および車両状況判定方法
JP2005149402A (ja) * 2003-11-19 2005-06-09 Fujitsu Ten Ltd 運転支援装置
JP2005326956A (ja) * 2004-05-12 2005-11-24 Alpine Electronics Inc 駐車場空きスペース案内装置及び駐車場空きスペース案内方法
JP2005326963A (ja) * 2004-05-12 2005-11-24 Fujitsu Ten Ltd 運転支援装置
JP2005327177A (ja) * 2004-05-17 2005-11-24 Fujitsu Ten Ltd 車両間衝突防止支援システムおよび車両間衝突防止支援装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283381A (ja) * 2000-03-30 2001-10-12 Toshiba Corp 車車間通信システム
JP2005049914A (ja) * 2003-06-06 2005-02-24 Fujitsu Ten Ltd 車両状況判定装置、車載情報取得装置、車両動作制御装置および車両状況判定方法
JP2005149402A (ja) * 2003-11-19 2005-06-09 Fujitsu Ten Ltd 運転支援装置
JP2005326956A (ja) * 2004-05-12 2005-11-24 Alpine Electronics Inc 駐車場空きスペース案内装置及び駐車場空きスペース案内方法
JP2005326963A (ja) * 2004-05-12 2005-11-24 Fujitsu Ten Ltd 運転支援装置
JP2005327177A (ja) * 2004-05-17 2005-11-24 Fujitsu Ten Ltd 車両間衝突防止支援システムおよび車両間衝突防止支援装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3094087A1 (en) * 2015-05-11 2016-11-16 Samsung Electronics Co., Ltd. Extended view method, apparatus, and system
US9884590B2 (en) 2015-05-11 2018-02-06 Samsung Electronics Co., Ltd. Extended view method, apparatus, and system
US10501015B2 (en) 2015-05-11 2019-12-10 Samsung Electronics Co., Ltd. Extended view method, apparatus, and system
JP2016105318A (ja) * 2016-02-23 2016-06-09 三菱自動車工業株式会社 運転支援装置
WO2022102274A1 (ja) * 2020-11-12 2022-05-19 住友電気工業株式会社 端末装置、送信方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
JP4715479B2 (ja) 2011-07-06

Similar Documents

Publication Publication Date Title
JP4792948B2 (ja) 車車間通信システム
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
CN108140319B (zh) 停车辅助方法及停车辅助装置
JP4613881B2 (ja) 駐車案内装置
JP4802686B2 (ja) 車車間通信システム
JP2008250503A (ja) 運転支援装置
JPWO2009072366A1 (ja) 車両情報表示装置
JP5426900B2 (ja) 車載システム
CN107054218A (zh) 标识信息显示装置和方法
CN111243332A (zh) 信息提供***和方法、服务器、车载装置以及存储介质
JP2008070955A (ja) 移動体を表示するための表示システム、車載装置、画像送信装置及び表示方法
JP2009199532A (ja) 交差点運転支援システム、車載器、及び、路側機
JP2008222153A (ja) 合流支援装置
JP2006268081A (ja) 前方車両ドア開き報知制御装置および前方車両ドア開き報知制御プログラム
JP4797849B2 (ja) 運転支援画像表示システム及び車載装置
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
JP5274984B2 (ja) 運転支援システム
WO2018180756A1 (ja) 運転支援システム
JP2013080286A (ja) 移動体識別装置及び移動体情報発信装置
JP4637302B2 (ja) 路面標示認識システム
JP2005202787A (ja) 車両用表示装置
JP4715479B2 (ja) 車車間通信システム
JP4725310B2 (ja) 車車間通信システム
JP4710575B2 (ja) 車車間通信システム
JPH0773400A (ja) 道路状況認識システム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110314

R150 Certificate of patent or registration of utility model

Ref document number: 4715479

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150408

Year of fee payment: 4