JP2009199532A - 交差点運転支援システム、車載器、及び、路側機 - Google Patents

交差点運転支援システム、車載器、及び、路側機 Download PDF

Info

Publication number
JP2009199532A
JP2009199532A JP2008043032A JP2008043032A JP2009199532A JP 2009199532 A JP2009199532 A JP 2009199532A JP 2008043032 A JP2008043032 A JP 2008043032A JP 2008043032 A JP2008043032 A JP 2008043032A JP 2009199532 A JP2009199532 A JP 2009199532A
Authority
JP
Japan
Prior art keywords
vehicle
blind spot
intersection
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008043032A
Other languages
English (en)
Other versions
JP4992755B2 (ja
Inventor
Hiromi Ito
博美 伊藤
Ichiro Yoshida
一郎 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2008043032A priority Critical patent/JP4992755B2/ja
Publication of JP2009199532A publication Critical patent/JP2009199532A/ja
Application granted granted Critical
Publication of JP4992755B2 publication Critical patent/JP4992755B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

【課題】交差点での右折可否を車両の運転者に直観的かつ確実に判断させることが可能な交差点運転支援システムを提供する。
【解決手段】路側機は、交差点エリアに進入した車両(対象車両)から応答信号を受信すると、その対象車両から交差点を挟んで対向する側の道路(対象道路)の現在状況を上方から俯瞰した交差点画像データを取得(S110)する。また、路側機は、受信した応答信号に対象車両データが含まれており(S120;YES)、且つ、交差点画像データから死角車両を抽出(S140;YES)した場合、交差点画像データを対象車両側から見た視点に変換(S150)した画像データ(前方画像データ)と、死角車両の現在位置および交差点からの距離を表す死角車両データとからなる支援情報を、対象車両に送信(S180)する。なお、車載器は、路側機から受信した支援情報に基づく画像表示を行う。
【選択図】図4

Description

本発明は、交差点で車両を安全に右折させるための運転支援を行う交差点運転支援システム、車載器、及び、路側機に関する。
従来より、車載カメラを備え、自車両が交差点において右折しようとする際に、車載カメラが自車両の前方を撮像することで得られる画像データに基づいて、その交差点に向かって対向車線を走行する他車両(以下、対向直進車という)との衝突を防止するための安全運転支援制御(以下、DSS制御という)を行う交差点運転支援装置(以下、交差点DSS装置という)が知られている。
この交差点DSS装置の一例として、ナビゲーション装置による各種情報に基づいて自車両が交差点エリアに進入したことを検出し、車載カメラによる画像データから対向直進車を抽出した場合に、その抽出された対向直進車の交差点到達時間と、自車両の右折完了時間とを推定し、その両者の時間を比較することで、自車両の右折可否を運転者に報知する制御をDSS制御として行うものが提案されている(例えば、特許文献1参照)。
なお、交差点到達時間は、車載カメラによる画像データに基づいて得られる自車両と対向直進車との相対距離および相対速度から、自車両の交差点到達距離および速度をそれぞれ減じた対向直進車の交差点到達距離および速度によって算出される。一方、右折完了時間は、ナビゲーション装置の道路データに基づいて得られる片側道路幅を半径とする円弧の1/4の距離、及び、交差点位置から交差点エリアを通過する際に要するものとして予め推定された加速度または速度によって算出される。
特開2005−189983号公報
しかし、従来の交差点DSS装置では、車載カメラによる画像データから抽出された対向直進車に対してDSS制御を行うように構成されているため、その対向直進車の後続車や、その隣側車線の後方で対向直進車と同方向に走行する車両などのように、対向直進車によって死角となり画像データに映し出されない死角車両に対しては、適切なDSS制御を行うことができない可能性があるという問題があった。
本発明は、上記問題点を解決するために、車両が交差点で右折する際に、その右折可否を運転者に直観的かつ確実に判断させることが可能な交差点運転支援システム、車載器、及び、路側機を提供することを目的とする。
上記目的を達成するためになされた請求項1に記載の交差点運転支援システムは、交差点を中心とした限られた通信エリアを有する路側機と、この路側機の通信エリアに進入した車両に設けられる車載器との間で無線通信(いわゆる路車間通信)を行う。なお、以下では、説明の便宜上、上記の車載器が搭載された車両を対象車両という。
このうち、路側機は、交差点に進入しようとする対象車両から交差点を挟んで対向する側の道路(以下、対象道路という)の現在状況を上方から俯瞰した画像データ(以下、俯瞰画像データという)を取得すると共に、その取得した俯瞰画像データに基づいて得られる情報(以下、支援情報という)を送信する。一方、車載器は、路側機から支援情報を受信すると、その受信した支援情報に基づく情報報知を行う。
このように構成された交差点運転支援システムでは、車載器が取得する支援情報が、対象道路の現在状況を上方から俯瞰した俯瞰画像データに基づくものであるため、対象道路上を交差点に向かって走行してくる他車両(対向直進車)によって遮蔽されて、対象車両側から対象道路の現在状況を把握することが困難な場合であっても、車載器が確実に対象道路の現在状況を運転者に報知することができる。
したがって、本発明の交差点運転支援システムによれば、対象車両が交差点で右折する際に、対象車両の運転者に対象道路の現在状況を確実に把握させることができ、ひいては、交差点での右折可否を運転者に確実に判断させることができる。
また、支援情報は、請求項2に記載のように、俯瞰画像データそのものであってもよい。つまり、路側機は、俯瞰画像データを支援情報として送信し、一方、車載器は、俯瞰画像データの画像表示を情報報知として行うとよい。
この場合、路側機と車載器とが共に複雑な制御を必要としないため、当該交差点運転支援システムに係るシステム設計を容易に行うことができる。
さらに、交差点運転支援システムは、請求項3に記載のように、路側機または車載器が備える第1の色彩付加手段によって、対象道路における交差点からの距離(以下、対象距離という)に従って設定される区分領域に応じた色彩を、俯瞰画像データ上の対象道路に付加することが望ましい。
この場合、例えば、区分領域のうち他車両が映し出されていなければ安全に右折してもよい領域(対象道路のうち交差点に比較的近い領域)を特定領域として、その特定領域を赤などの目立つ色で色付けしておけば、交差点での右折可否をより直観的に運転者に判断させることができる。
そして、交差点運転支援システムは、請求項4に記載のように、区分領域の境界を運転者によって変更する境界変更手段を備えることが望ましい。
この場合、例えば、上記の特定領域を対象車両の運転者毎に変更可能となるため、より運転者の走行感覚に適った右折時の判断材料を提供することができる。なお、境界変更手段は、路側機または車載器のいずれかに備えられていればよい。
ところで、支援情報は、請求項5に記載のように、対象道路上において対象車両側から見て死角となる領域に存在する死角車両の現在位置(以下、死角車両位置という)を示す位置データであってもよい。つまり、路側機は、俯瞰画像データから死角車両を抽出した場合、上記の位置データを支援情報として送信し、一方、車載器は、死角車両の位置報知を情報報知として行う。
このように構成された交差点運転支援システムでは、死角車両の位置を対象車両の運転者に認識させることによって、交差点での右折時に、対象車両にとって死角車両が危険な位置に存在するか否かを運転者に直観的に判断させることができる。
また、請求項6に記載のように、路側機または車載器が備える画像取得手段によって、対象車両の前方を示す画像データ(以下、前方画像データという)を取得することで、車載器が、画像取得手段により取得された前方画像データの画像上で、死角車両位置を表す車両表示を位置報知として行うことが望ましい。
このように構成された交差点運転支援システムでは、対象車両の運転者からの視点に近い前方画像上で死角車両の位置を表示することによって、死角車両の存在をより直観的に運転者に認識させることができる。
さらに、交差点運転支援システムは、請求項7に記載のように、第2の色彩付加手段によって、死角車両位置から交差点までの距離(以下、死角車両距離という)に従って設定される区分領域に応じた色彩を車両表示に付加することが望ましい。なお、第2の色彩付加手段は、路側機または車載器のいずれかに備えられていればよい。
この場合、例えば、上記の特定領域内の死角車両位置を赤などの目立つ色で色付けしておけば、赤色の死角車両が表示されていなければ右折してもよいという判断を運転者に行わせることができ、ひいては交差点での右折可否をさらに直観的に運転者に判断させることができる。
次に、本発明の第二の発明である路側機は、請求項8に記載のように、路側通信手段が、交差点を中心とした限られた通信エリア内で外部との通信を行い、路側撮像手段が、交差点に進入しようとする車両から交差点を挟んで対向する側の道路(対象道路)の現在状況を上方から俯瞰する角度で撮像する。また、路側撮像手段により撮像される画像データを俯瞰画像データ、対象道路における交差点からの距離を対象距離として、道路データ記憶手段が、俯瞰画像データにおける対象道路上の位置および対象距離を示す道路データを記憶する。
そして、死角車両データ生成手段が、俯瞰画像データに基づいて、対象道路上において車両側から見て死角となる領域に存在する死角車両を抽出した場合、道路データ記憶手段が記憶する道路データに基づいて、その死角車両の現在位置および交差点からの距離を表す死角車両データを生成する。
最後に、支援情報送信手段が、死角車両データ生成手段により生成された死角車両データに基づく支援情報を、路側通信手段を介して送信する。
このように構成された路側機によれば、請求項5に記載の交差点運転支援システムにおいて好適に用いることができる。
さらに、路側機は、請求項9に記載のように、画像変換手段が、路側通信手段を介して車両の現在位置および進行方向を示す車両データを受信した場合、その受信した車両データに基づいて、俯瞰画像データを車両側の視点から車両の前方を示す画像データ(前方画像データ)に変換する。
そして、路側色彩付加手段が、画像変換手段により変換された前方画像データと、死角車両データ生成手段により生成された死角車両データとに基づいて、前方画像データ上の死角車両位置に、死角車両距離に従って設定される区分領域に応じた色彩を付加する。
最後に、支援情報送信手段が、路側色彩付加手段により死角車両位置に色彩が付加された前方画像データを支援情報として送信することが望ましい。
このように構成された路側機によれば、請求項7に記載の交差点運転支援システムにおいて好適に用いることができる。
次に、本発明の第三の発明である車載器は、請求項10に記載のように、車両に搭載されるものであって、車側通信手段が、交差点を中心とした限られた通信エリアを有する路側機との通信を行い、車側撮像手段が、車両の前方を撮像する。また、情報受信手段が、車両から見て死角となる位置に存在する死角車両の現在位置(死角車両位置)、及び、その死角車両位置から交差点までの距離(死角車両距離)を表す死角車両データを、車側通信手段を介して路側機から受信する。
そして、画像表示手段が、車側撮像手段により撮像された画像データ(以下、前方画像データという)と、情報受信手段により受信した死角車両データとに基づいて、その前方画像データの画像上で、死角車両位置を表す画像表示を行う。
このように構成された車載器によれば、請求項6に記載の交差点運転支援システムにおいて好適に用いることができる。
さらに、車載器は、請求項10に記載のように、車側色彩付加手段が、車側撮像手段により撮像された前方画像データと、情報受信手段により受信した死角車両データとに基づいて、その前方画像データ上の死角車両位置に、死角車両距離に従って設定される区分領域に応じた色彩を付加する。
そして、画像表示手段が、車側色彩付加手段により死角車両位置に色彩が付加された前方画像データの表示を、画像表示として行うことが望ましい。
このように構成された路側機によれば、請求項7に記載の交差点運転支援システムにおいて好適に用いることができる。
以下に、本発明の実施形態を図面と共に説明する。
<全体構成>
図1は、本発明が適用された交差点運転支援システムの構成を示すブロック図である。
図1に示すように、交差点運転支援システム1は、路車間通信により、交差点に進入した車両を安全に右折させるための運転支援を行うものであり、路側に設置される路側機2と、車両に搭載される車載器3とから構成されている。なお、以下では、説明の便宜上、車載器3が搭載された車両を対象車両という。
<路側機の構成>
このうち、路側機2は、交差点に至る各車線道路の現在状況を上方から俯瞰する角度で常時撮像する複数の交差点カメラ群21と、外部との無線通信を行う路側通信部22と、各種情報を記憶するメモリ(例えば、EEPROM)23と、交差点カメラ群21,路側通信部22から入力される情報に基づいて、各種処理を実行すると共に、対象車両を安全に右折させるための情報(以下、支援情報という)を生成する制御部20とを備えている。
交差点カメラ群21は、図2に示すように、交差点に至る車線道路を全て撮像可能となるように交差点入り口付近(本実施形態では四箇所)にそれぞれ設置されている。また、交差点カメラ群21は、交差点に至る車線道路を充分な距離(例えば、100m)まで撮像された画像(図3(a)参照)を得るために比較的高い位置に設置された高位置カメラ21aと、交差点に至る車線道路を走行する車両の高さ及び車幅が識別可能な画像(図3(b)参照)を得るために比較的低い位置に設置された低位置カメラ21bとを備えている。なお、以下では、説明の便宜上、交差点に進入しようとする対象車両から交差点を挟んで対向する側の道路を対象道路という。
路側通信部22は、交差点中央における上方位置に設けられ、交差点を中心とした限られた通信エリア(以下、交差点エリアという)内で常時信号を送信し、その送信した信号(要求信号)に対する応答信号を車載器3から受信可能に構成されている。なお、応答信号には、対象車両毎に固有に振り当てられた識別コードが少なくとも含まれている。
メモリ23は、カメラ21a,21bにより過去に撮像されて車両や人などの物体が映し出されずに建物や道路などの背景のみが映し出された画像データ(以下、背景画像データという)が記憶される領域を有している。また、メモリ23には、交差点カメラ群21の各カメラ21a,21bが撮像することで得られる画像データ(以下、交差点画像データという)に映し出される対象道路上の位置および交差点までの距離(以下、対象距離という)を示す道路データを含む地図データが記憶されている。
制御部20は、CPU,ROM,RAM,I/O及びこれらの構成要素を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、このうち、ROMには、交差点カメラ群21の各カメラ21a,21bの内部特性(即ち、レンズの焦点距離,画角,画素数など)や外部特性(即ち、カメラの取付位置および向き等)を表すカメラパラメータ(以下、路側CPという)が格納されている領域がある。また、制御部20は、ROMに記憶されたプログラムに基づいて、以下の路側制御処理を実行する。
<路側制御処理>
ここで、制御部20のCPUが実行する路側制御処理を、図4に示すフローチャートに沿って詳しく説明する。なお、本処理は、路側通信部22を介して車載器3から応答信号を受信すると起動される。
まず、本処理が起動されると、S110では、交差点カメラ群21の各カメラ21a,21bから交差点画像データを取得する。なお、交差点画像データは、高位置カメラ21aによる画像データ(以下、俯瞰画像データという)と、低位置カメラ21bによる画像データ(以下、計測画像データという)とからなる。
続くS120では、路側通信部22を介して受信した応答信号に、対象車両の現在位置および進行方向を示す対象車両データが含まれているか否かを判断し、肯定判断した場合にはS130に進み、否定判断した場合にはS190に進む。
S130では、S110で取得した交差点画像データと、メモリ23に記憶されている背景画像データとの差分をとることによって表される画像データ(以下、差分画像データという)を取得し、この差分画像データに基づいて、対象道路上に車両が存在するか否かを判断し、肯定判断した場合にはS140に進み、否定判断した場合にはS190に進む。なお、差分画像データは、俯瞰画像データとの差分である俯瞰差分データと、計測画像データとの差分である計測差分データとからなる。
S140では、S130で取得した差分画像データに基づいて、対象車両から見て死角となる位置に車両(以下、死角車両という)が存在するか否かを判断し、肯定判断した場合にはS150に進み、否定判断した場合にはS190に進む。なお、本実施形態では、差分画像データのうち、計測差分データに基づいて、対象道路上の各車両の高さを比較することで、交差点側の車両の高さよりも低い後続側車両を抽出した場合に、その抽出した車両を死角車両とみなす。
S150では、路側通信部22を介して受信した対象車両データに基づいて、S110で取得した交差点画像データを対象車両側から見た視点によって表される画像データ(以下、前方画像データという)に変換する。なお、本実施形態では、俯瞰画像データ及び計測画像データを、ROMに記憶されている路側CP(カメラパラメータ)を用いた周知の方法によって、対象車両データに基づく対象車両の現在位置および進行方向に応じた視点に変換する。
続くS160では、先のS140で抽出された計測差分データ上の死角車両と、ROMに記憶されている路側CPとに基づいて、死角車両の高さ及び車幅(以下、車両サイズという)を算出する。
続くS170では、先のS140で抽出された俯瞰差分データ上の死角車両と、メモリ23に記憶されている道路データとに基づいて、死角車両の現在位置(以下、死角車両位置という)と、その死角車両位置から交差点までの距離(以下、死角車両距離という)とを算出する。
続くS180では、先のS160及びS170で算出した車両サイズ、死角車両位置、及び、死角車両距離を表す死角車両データと、先のS150における変換後の画像データである前方画像データとからなる支援情報を、対象車両から受信した応答信号に含まれている識別コードと共に路側通信部22を介して送信し、本処理を終了する。
S190では、S110で取得した交差点画像データのうちの俯瞰画像データと、メモリ23に記憶されている道路データとからなる支援情報を、対象車両から受信した応答信号に含まれている識別コードと共に路側通信部22を介して送信し、本処理を終了する。
<車載器の構成>
図1に戻り、車載器3は、外部との無線通信を行う車側通信部31と、対象車両の現在位置を検出する位置検出部32と、地図データや各種の情報を記録した地図記憶媒体から地図データ等を入力する地図データ入力部33と、方向指示器の動作状態を示す信号を出力する方向指示部34と、運転者からの各種指示を入力するための操作入力部35と、各種情報を記憶するメモリ(例えば、EEPROM)36と、各種画像を表示するための表示部37と、各部31〜36からの入力に応じて各種処理を実行し、車側通信部31および表示部37を制御する制御部30とを備えている。
このうち、位置検出部32は、GPS(Global Positioning System)用の人工衛星からの電波を図示しないGPSアンテナを介して受信してその受信信号を出力するGPS受信機32aと、車両に加えられる回転運動の大きさを検出するジャイロスコープ32bと、車両の前後方向の加速度等から走行した距離を検出するための距離センサ32cと、地磁気から進行方位を検出するための地磁気センサ32dとを備えている。そして、これら各センサ32a〜32dは、車両の位置,方位,移動距離等を算出するための各検出信号を出力する。
地図データ入力部33は、図示しない地図記憶媒体に記憶された各種データを入力するための装置である。そして、地図記憶媒体には、道路幅や道路毎の法定速度を表す計測データを含む地図データや、案内用の音声データ等が記憶されている。
表示部37は、カラー表示装置であり、周知の半透過型の液晶ディスプレイ,一般的な液晶ディスプレイ,有機ELディスプレイ,CRT,ヘッドアップディスプレイなどがあるが、そのいずれを用いてもよい。また、表示部37は、ドライバの視認しやすい位置に配置され、例えば、半透過型の液晶ディスプレイを用いる場合には、フロントガラスに配置されてもよい。さらに言えば、表示部37は、当該装置に専用のものを設けてもよいし、ナビゲーション装置など、他の車載装置のために既に設置されているものを使用してもよい。
また、メモリ36には、車両の形を模式的に表した複数の画像データ(以下、車両画像データという)や、対象車両の運転者によって予めなされた各種設定を示す設定データ、対象車両毎に固有に振り当てられた識別コード等が記憶されている。なお、設定データが示す各種設定には、後述のように、支援情報に基づく画像を表示するための画像モードおよび領域モードに関する設定が含まれている。
制御部30は、CPU,ROM,RAM,I/O及びこれらの構成要素を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、ROMに記憶されたプログラムに基づいて、以下の車側制御処理を実行する。
<車側制御処理>
ここで、制御部30のCPUが実行する車側制御処理を、図5に示すフローチャートに沿って詳しく説明する。なお、本処理は、車側通信部31を介して路側機2から要求信号を受信すると起動される。
まず、本処理が起動されると、S210では、方向指示部34からの出力信号に基づいて、方向指示器が右折側に操作されているか否かを判断し、肯定判断した場合にはS220に進み、否定判断した場合には本処理を終了する。
続くS220では、メモリ36に記憶されている画像モードに関する設定(以下、画像モード設定という)が、対象車両の運転者からの視点による画像を優先的に表示するための前方モードに設定されているか否かを判断し、肯定判断した場合にはS230に進み、否定判断した場合にはS240に進む。なお、画像モードとしては、前方モードの他に、交差点付近の上方から対象道路を俯瞰した画像を優先的に表示するための俯瞰モードが設定可能であり、これら両者のいずれかが、対象車両の運転者によって操作入力部35を介して予め設定される。
続くS230では、位置検出部32からの検出信号に基づいて、対象車両の現在位置および進行方向を表す対象車両データを生成し、この生成した対象車両データを応答信号に付加して、S240に進む。
S240では、路側機2から受信した要求信号に対する応答信号を、車側通信部31を介して送信する。なお、応答信号には、メモリ36に記憶されている識別コードが少なくとも含まれる。
続くS250では、位置検出部32からの検出信号に基づいて、対象車両の現在位置が交差点エリア内であるか否かを判断し、肯定判断した場合にはS260に進み、否定判断した場合には本処理を終了する。
S260では、車側通信部31を介して路側機2から支援情報を受信したか否かを判断し、肯定判断した場合にはS270に進み、否定判断した場合にはS250に戻る。なお、ここで受信する支援情報には識別コードが含まれているため、先のS240で送信した応答信号に応じた(即ち、対象車両に応じた)支援情報を得ることになる。
S270では、地図データ入力部33により入力される計測データによって得られる法定速度および道路幅と、メモリ36に記憶されている領域モードに関する設定(以下、領域モード設定という)とに基づいて規定される区分領域の境界を表す境界距離を算出する。但し、区分領域には、その領域に車両が存在していれば対象車両の右折が危険であることを示す危険領域,その領域に車両が存在していれば対象車両の右折に注意を要することを示す注意領域,その領域に車両が存在していても対象車両が安全に右折可能であることを示す安全領域がある。
また、境界距離は、危険領域と注意領域との境界を交差点からの距離で表す第1境界距離、及び、注意領域と安全領域との境界を交差点からの距離で表す第2境界距離とからなる。さらに、領域モードとしては、エコモード,ノーマルモード,スポーツモードがあり、ノーマルモードを基準として、エコモードでは、ノーマルモードの1.2倍の境界距離によって区分領域が規定され、スポーツモードでは、ノーマルモードの0.8倍の境界距離によって区分領域が規定される。
続くS280では、車側通信部31を介して路側機2から受信した支援情報に基づく画像データを表示部37に表示する画像表示処理を実行する。
<画像表示処理>
次に、車側制御処理のS280で実行される画像表示処理を、図6に示すフローチャートに沿って詳しく説明する。
まず、本処理が開始されると、S310では、車側制御処理のS260で受信した支援情報に、前方画像データが含まれているか否かを判断し、肯定判断した場合にはS320に進み、否定判断した場合にはS340に進む。なお、支援情報には、前方画像データ又は俯瞰画像データのいずれかの画像データが含まれており、ここで否定判断された場合には、支援情報に俯瞰画像データが含まれているものとみなす。
S320では、車側制御処理のS260で受信した死角車両データのうち、死角車両位置および車両サイズを表すデータに基づいて、メモリ36に記憶されている車両画像データを選択し、その選択した車両画像データを、車側制御処理のS260で受信した前方画像データ上の死角車両位置に重畳させる。なお、死角車両の位置に応じたレンダリングが車両画像データに施される。
続くS330では、車側制御処理のS260で受信した死角車両データのうち、死角車両位置および死角車両距離を表すデータに基づいて、死角車両距離に応じて死角車両位置(車両画像データ)に付加する色彩を設定して、この設定に応じて死角車両が各種領域に応じて色付けされた合成画像データを生成し、S350に進む。なお、死角車両位置(車両画像データ)に付加される色彩としては、危険領域内では赤色、注意領域内では黄色、安全領域内では緑色がそれぞれ付加される。
一方、S340では、車側制御処理のS260で受信した道路データに基づいて、対象距離に応じて対象道路上の区分領域に付加する色彩を設定し、この設定に応じて対象道路の区分領域が色付けされた合成画像データを生成し、S350に進む。なお、対象道路上の各種領域のうち、危険領域内は赤色、注意領域内は黄色、安全領域内は緑色にそれぞれ付加される。
S350では、先のS330又はS340で生成された合成画像データを、表示部37に表示し、本処理を終了する。
<動作>
次に、このように構成された本実施形態における交差点運転支援システム1の動作を、図7に示すシーケンス図に沿って詳しく説明する。
まず、車載器3(対象車両)は、交差点の右折時に、路側機2からの送信信号(要求信号)を受信すると、自装置の画像モード設定が俯瞰モードであれば、要求信号に対する応答信号としての識別コードを路側機2に送信する。
この応答信号を受信した路側機2は、対象車両から交差点を挟んで対向する側の道路(対象道路)の現在状況を表す画像データ(俯瞰画像データ)と、対象道路における交差点からの距離(対象距離)を表す道路データとを、車載器3(対象車両)に対して送信する。
これらのデータを受信した車載器3(対象車両)は、俯瞰画像データ上の対象道路が区分領域(危険,注意,安全)毎に色付けされて、対向直進車(死角車両を含む)が存在する領域を運転者に直観的に認識させることが可能な俯瞰画像(図8(a)参照)を車内に表示する。
一方、路側機2からの送信信号(要求信号)を受信した際に、車載器3(対象車両)は、自装置の画像モード設定が前方モードであれば、識別コードに加えて、自車の現在位置および進行方向を表すデータ(対象車両データ)を応答信号として路側機2に送信する。
この応答信号を受信した路側機2は、対象道路上に対象車両の運転者から見て死角となる領域に存在する死角車両を抽出した場合には、対象車両側から見た視点に変換されて対象道路の現在状況を表す画像データ(前方画像データ)と、死角車両の位置および交差点からの距離を表すデータ(死角車両データ)とを、車載器3(対象車両)に対して送信する。
これらのデータを受信した車載器3(対象車両)は、前方画像データ上に合成された死角車両のレンダリング画像が、交差点からの距離に応じて死角車両毎に色付けされて、死角車両の位置を運転者に直観的に認識させることが可能な前方画像(図8(b)参照)を車内に表示する。
ところで、路側機2は、死角車両を抽出しなかった場合には、俯瞰画像データと道路データとを対象車両に対して送信し、これらのデータを受信した車載器3(対象車両)は、死角車両が対象道路上に存在しないことを運転者に直観的に認識させることが可能な俯瞰画像を車内に表示する。
なお、上記実施形態において、路側通信部22が路側通信手段、交差点カメラ群21が路側撮像手段、メモリ23が道路データ記憶手段、S150が画像変換手段、S160及びS170が死角車両データ生成手段、S180及びS190が支援情報送信手段、車側通信部31が車側通信手段、S260が情報受信手段、S340が第1の色彩付加手段、S330が第2の色彩付加手段、操作入力部35が境界変更手段に相当する。
<本実施形態の効果>
以上説明したように、本実施形態の交差点運転支援システム1は、路車間通信によって、路側機2が、俯瞰画像データに基づいて対象車両を安全に右折させるための支援情報を生成し、この生成した支援情報を交差点エリアに進入した対象車両に対して送信し、一方、車載器3が、受信した支援情報に基づく画像表示を行うように構成されている。
したがって、本実施形態の交差点運転支援システム1によれば、対象道路上の対向直進車によって遮蔽されて、対象車両側から対象道路の現在状況を把握することが困難な場合であっても、交差点での右折可否を対象車両の運転者に直観的かつ確実に判断させることができる。
また、交差点運転支援システム1は、路車間通信によって、路側機2が、対象車両データ(現在位置,進行方向)を受信した場合、俯瞰画像データを対象車両側から見た視点に変換することによって表される前方画像データを生成し、この前方画像データと死角車両データ(死角車両位置,死角車両距離)とからなる支援情報を、車載器3に対して送信するように構成されている。
したがって、交差点運転支援システム1によれば、前方画像データの画像に死角車両データに基づく車両画像を重畳させて車載器3に表示させるだけで済むため、車側の制御負担を軽減させると共に、例えば車載器3にカメラを搭載させる必要がないため、車側の装置構成を簡略化させることができる。
なお、車載器3は、受信した死角車両データに基づいて、死角車両の位置および大きさに応じてレンダリングした車両画像を、前方画像に重畳表示するため、表示画像の視認性を向上させ、ひいては、死角車両をより直観的に運転者に認識させることができる。
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
例えば、上記実施形態の交差点カメラ群21は、交差点入り口付近の四箇所に2台ずつ設置されているが、これらの数や位置は限定されるものではなく、対象道路の現在状況を上方から俯瞰しながら撮像可能な位置に少なくとも一台が設置されていればよい。
また、上記実施形態の路側制御処理では、俯瞰画像データを対象車両側から見た視点によって表される画像データに変換することによって、前方画像データを生成しているが、これに限らず、対象車両の車載カメラ(車側撮像手段に相当)から撮像した画像を車載器3から取得しても構わない。或いは、路側機2が路側制御処理によって生成した死角車両データを支援情報として車載器3に対して送信し、車載器3は、受信した死角車両データに基づいて、車載カメラから取得した前方画像上の死角車両位置に、車両画像を重畳させて表示(画像表示手段に相当)する制御を行うようにしてもよい。
なお、上記実施形態の路側制御処理では、車載器3から受信した応答信号に基づいて、車載器3に送信する支援情報の内容を変更しているが、これに限らず、どのような応答信号を受信した場合であっても、俯瞰画像データ又は前方画像データのいずれかを主とした支援情報を送信(或いは、俯瞰画像データのみを送信)するようにしてもよいし、両方の画像データを主とした支援情報を送信するようにしてもよい。後者の場合、車載器3に表示部37を複数設けておくことによって対応すればよい。
とことで、上記実施形態の車側制御処理では、メモリ36に記憶されている設定データに基づいて境界距離を算出する処理ステップを行っているが、この処理ステップを必ずしも車載器3側で行う必要がなく、設定データを応答信号に付加して路側機2に送信しておけば、この処理ステップを路側機2側で行わせてもよい。
さらに言えば、上記実施形態の画像表示処理では、対象距離や死角車両距離に応じた色彩を対象道路や死角車両位置に付加する処理(色彩付加処理)を行っているが、この色彩付加処理も必ずしも車載器2側で行う必要がなく、設定データを応答信号に付加して路側機2に送信しておけば、この処理ステップを路側機2側で行わせてもよい。
なお、上記実施形態の画像表示処理の代わりに、支援情報を音声などによって運転者に報知するようにしても構わない。
本発明が適用された交差点運転支援システムの構成を示すブロック図。 交差点カメラ群21の設置状態の一例を示す説明図。 交差点カメラ群21の撮像画像の一例を示すイメージ図。 制御部20のCPUが実行する路側制御処理の詳細を示すフローチャート。 制御部30のCPUが実行する車側制御処理の詳細を示すフローチャート。 車側制御処理で実行される画像表示処理の詳細を示すフローチャート。 交差点運転支援システム1の動作を示すシーケンス図。 表示部37の表示画像の一例を示すイメージ図。
符号の説明
1…交差点運転支援システム、2…路側機、3…車載器、20…制御部、21…交差点カメラ群、22…路側通信部、23…メモリ、30…制御部、31…車側通信部、32…位置検出部、33…地図データ入力部、34…方向指示部、35…操作入力部、36…メモリ、37…表示部。

Claims (11)

  1. 交差点を中心とした限られた通信エリアを有する路側機と、該路側機の通信エリアに進入した車両に設けられる車載器との間で無線通信を行う交差点運転支援システムであって、
    前記路側機は、前記交差点に進入しようとする前記車両から前記交差点を挟んで対向する側の道路を対象道路として、該対象道路の現在状況を上方から俯瞰した俯瞰画像データを取得すると共に、その取得した俯瞰画像データに基づいて得られる情報である支援情報を送信し、
    前記車載器は、前記路側機から前記支援情報を受信すると、その受信した前記支援情報に基づく情報報知を行うことを特徴とする交差点運転支援システム。
  2. 前記路側機は、前記俯瞰画像データを前記支援情報として送信し、
    前記車載器は、前記俯瞰画像データの画像表示を前記情報報知として行うことを特徴とする請求項1に記載の交差点運転支援システム。
  3. 前記対象道路における前記交差点からの距離を対象距離として、前記俯瞰画像データ上の前記対象道路に、該対象距離に従って設定される区分領域に応じた色彩を付加する第1の色彩付加手段を備えることを特徴とする請求項2に記載の交差点運転支援システム。
  4. 前記区分領域の境界を前記車両の運転者によって変更する境界変更手段を備えることを特徴とする請求項3に記載の交差点運転支援システム。
  5. 前記路側機は、前記俯瞰画像データに基づいて、対象道路上において前記車両側から見て死角となる領域に存在する死角車両を抽出した場合、該死角車両の現在位置を死角車両位置として該死角車両位置を示す位置データを前記支援情報として送信し、
    前記車載器は、前記死角車両の位置報知を前記情報報知として行うことを特徴とする請求項1に記載の交差点運転支援システム。
  6. 前記車両の前方を示す画像データである前方画像データを取得する画像取得手段を備え、
    前記車載器は、前記画像取得手段により取得された前記前方画像データの画像上で、前記死角車両位置を表す車両表示を前記位置報知として行うことを特徴とする請求項5に記載の交差点運転支援システム。
  7. 前記死角車両位置から前記交差点までの距離を死角車両距離として、該死角車両距離に従って設定される区分領域に応じた色彩を前記車両表示に付加する第2の色彩付加手段を備えることを特徴とする請求項6に記載の交差点運転支援システム。
  8. 交差点を中心とした限られた通信エリア内で外部との通信を行う路側通信手段と、
    前記交差点に進入しようとする車両から前記交差点を挟んで対向する側の道路を対象道路として、該対象道路の現在状況を上方から俯瞰する角度で撮像する路側撮像手段と、
    前記路側撮像手段により撮像される画像データを俯瞰画像データ、前記対象道路における前記交差点からの距離を対象距離として、該俯瞰画像データにおける前記対象道路上の位置および該対象距離を示す道路データを記憶する道路データ記憶手段と、
    前記俯瞰画像データに基づいて、前記対象道路上において前記車両側から見て死角となる領域に存在する死角車両を抽出した場合、前記道路データ記憶手段が記憶する前記道路データに基づいて、該死角車両の現在位置および前記交差点からの距離を表す死角車両データを生成する死角車両データ生成手段と、
    前記死角車両データ生成手段により生成された前記死角車両データに基づく支援情報を、前記路側通信手段を介して送信する支援情報送信手段と、
    を備えることを特徴とする路側機。
  9. 前記路側通信手段を介して前記車両の現在位置および進行方向を示す車両データを受信した場合、その受信した前記車両データに基づいて、前記俯瞰画像データを前記車両側の視点から前記車両の前方を示す画像データである前方画像データに変換する画像変換手段と、
    前記画像変換手段により変換された前記前方画像データと、前記死角車両データ生成手段により生成された前記死角車両データとに基づいて、該前方画像データ上の前記死角車両位置に、前記死角車両距離に従って設定される区分領域に応じた色彩を付加する路側色彩付加手段と、
    を備え、
    前記支援情報送信手段は、前記路側色彩付加手段により前記死角車両位置に色彩が付加された前記前方画像データを前記支援情報として送信することを特徴とする請求項8に記載の路側機。
  10. 車両に搭載される車載器であって、
    交差点を中心とした限られた通信エリアを有する路側機との通信を行う車側通信手段と、
    前記車両の前方を撮像する車側撮像手段と、
    前記車両側から見て死角となる領域に存在する死角車両の現在位置を死角車両位置、該死角車両位置から前記交差点までの距離を死角車両距離として、該死角車両位置および該死角車両距離を表す死角車両データを、前記車側通信手段を介して前記路側機から受信する情報受信手段と、
    前記車側撮像手段により撮像された画像データである前方画像データと、前記情報受信手段により受信した前記死角車両データとに基づいて、該前方画像データの画像上で死角車両位置を表す画像表示を行う画像表示手段と、
    を備えることを特徴とする車載器。
  11. 前記車側撮像手段により撮像された前記前方画像データと、前記情報受信手段により受信した前記死角車両データとに基づいて、該前方画像データ上の前記死角車両位置に、前記死角車両距離に従って設定される区分領域に応じた色彩を付加する車側色彩付加手段を備え、
    前記画像表示手段は、前記車側色彩付加手段により前記死角車両位置に色彩が付加された前記前方画像データの表示を、前記画像表示として行うことを特徴とする請求項10に記載の車載器。
JP2008043032A 2008-02-25 2008-02-25 交差点運転支援システム、車載器、及び、路側機 Expired - Fee Related JP4992755B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008043032A JP4992755B2 (ja) 2008-02-25 2008-02-25 交差点運転支援システム、車載器、及び、路側機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008043032A JP4992755B2 (ja) 2008-02-25 2008-02-25 交差点運転支援システム、車載器、及び、路側機

Publications (2)

Publication Number Publication Date
JP2009199532A true JP2009199532A (ja) 2009-09-03
JP4992755B2 JP4992755B2 (ja) 2012-08-08

Family

ID=41142929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008043032A Expired - Fee Related JP4992755B2 (ja) 2008-02-25 2008-02-25 交差点運転支援システム、車載器、及び、路側機

Country Status (1)

Country Link
JP (1) JP4992755B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198428A (ja) * 2009-02-26 2010-09-09 Alpine Electronics Inc 車載システム
JP2015215905A (ja) * 2015-06-03 2015-12-03 株式会社ニコン 情報管理装置、データ解析装置、サーバ、情報管理システム、およびプログラム
JP2018084860A (ja) * 2016-11-21 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 交差点情報配信装置及び交差点情報配信方法
JP2018129094A (ja) * 2018-04-25 2018-08-16 京セラ株式会社 電子機器、電子機器制御方法、電子機器制御プログラム、路側機及び車両
US10192122B2 (en) 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
US10410072B2 (en) 2015-11-20 2019-09-10 Mitsubishi Electric Corporation Driving support apparatus, driving support system, driving support method, and computer readable recording medium
JP2020038652A (ja) * 2018-08-31 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド インテリジェント路側ユニット
CN111391863A (zh) * 2019-01-02 2020-07-10 长沙智能驾驶研究院有限公司 盲区探测方法、车载单元、路侧单元、车辆及存储介质
JP2020123361A (ja) * 2015-01-29 2020-08-13 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 視界遮断環境における自律移動体の操作方法
JP2020154914A (ja) * 2019-03-22 2020-09-24 住友電気工業株式会社 センサ設備装置及びその制御方法、車載装置及びその制御方法、並びに交通支援システム
US10977938B2 (en) 2010-08-06 2021-04-13 Nikon Corporation Signal control apparatus and signal having the same
WO2021166425A1 (ja) * 2020-02-21 2021-08-26 株式会社デンソー 走行支援装置、走行支援方法、および走行支援プログラム
CN114509068A (zh) * 2022-01-04 2022-05-17 海信集团控股股份有限公司 一种多层道路上的车辆的位置判断方法及装置
CN114905503A (zh) * 2021-02-09 2022-08-16 丰田自动车株式会社 机器人控制***、机器人控制方法和存储介质
WO2023178661A1 (zh) * 2022-03-25 2023-09-28 京东方科技集团股份有限公司 数据共享方法、车载设备、云服务器、***、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007099135A (ja) * 2005-10-05 2007-04-19 Yamaha Motor Co Ltd 自動二輪車用の情報表示方法、および、自動二輪車
JP2007209364A (ja) * 2005-10-20 2007-08-23 Daio Kensetsu Kk アスベストの分解処理方法及びその装置
JP2007334426A (ja) * 2006-06-12 2007-12-27 Fujitsu Ltd 画像処理プログラム、画像処理装置、画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007099135A (ja) * 2005-10-05 2007-04-19 Yamaha Motor Co Ltd 自動二輪車用の情報表示方法、および、自動二輪車
JP2007209364A (ja) * 2005-10-20 2007-08-23 Daio Kensetsu Kk アスベストの分解処理方法及びその装置
JP2007334426A (ja) * 2006-06-12 2007-12-27 Fujitsu Ltd 画像処理プログラム、画像処理装置、画像処理方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198428A (ja) * 2009-02-26 2010-09-09 Alpine Electronics Inc 車載システム
US10977938B2 (en) 2010-08-06 2021-04-13 Nikon Corporation Signal control apparatus and signal having the same
US10192122B2 (en) 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
JP2020123361A (ja) * 2015-01-29 2020-08-13 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 視界遮断環境における自律移動体の操作方法
JP7125443B2 (ja) 2015-01-29 2022-08-24 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 視界遮断環境における自律移動体の操作方法
JP2015215905A (ja) * 2015-06-03 2015-12-03 株式会社ニコン 情報管理装置、データ解析装置、サーバ、情報管理システム、およびプログラム
US10410072B2 (en) 2015-11-20 2019-09-10 Mitsubishi Electric Corporation Driving support apparatus, driving support system, driving support method, and computer readable recording medium
JP2018084860A (ja) * 2016-11-21 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 交差点情報配信装置及び交差点情報配信方法
JP2018129094A (ja) * 2018-04-25 2018-08-16 京セラ株式会社 電子機器、電子機器制御方法、電子機器制御プログラム、路側機及び車両
JP7000639B2 (ja) 2018-08-31 2022-01-19 アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド インテリジェント路側ユニット
JP2020038652A (ja) * 2018-08-31 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド インテリジェント路側ユニット
US11579285B2 (en) 2018-08-31 2023-02-14 Baidu Online Network Technology (Beijing) Co., Ltd. Intelligent roadside unit
CN111391863B (zh) * 2019-01-02 2022-12-16 长沙智能驾驶研究院有限公司 盲区探测方法、车载单元、路侧单元、车辆及存储介质
CN111391863A (zh) * 2019-01-02 2020-07-10 长沙智能驾驶研究院有限公司 盲区探测方法、车载单元、路侧单元、车辆及存储介质
JP2020154914A (ja) * 2019-03-22 2020-09-24 住友電気工業株式会社 センサ設備装置及びその制御方法、車載装置及びその制御方法、並びに交通支援システム
JP7331399B2 (ja) 2019-03-22 2023-08-23 住友電気工業株式会社 センサ設備装置及びその制御方法、車載装置及びその制御方法、並びに交通支援システム
JP2021135509A (ja) * 2020-02-21 2021-09-13 株式会社デンソー 走行支援装置、走行支援方法、および走行支援プログラム
WO2021166425A1 (ja) * 2020-02-21 2021-08-26 株式会社デンソー 走行支援装置、走行支援方法、および走行支援プログラム
CN115176296A (zh) * 2020-02-21 2022-10-11 株式会社电装 行驶辅助装置、行驶辅助方法以及行驶辅助程序
JP7404925B2 (ja) 2020-02-21 2023-12-26 株式会社デンソー 走行支援装置、走行支援方法、および走行支援プログラム
CN115176296B (zh) * 2020-02-21 2024-02-27 株式会社电装 行驶辅助装置、行驶辅助方法以及行驶辅助程序
CN114905503A (zh) * 2021-02-09 2022-08-16 丰田自动车株式会社 机器人控制***、机器人控制方法和存储介质
CN114509068A (zh) * 2022-01-04 2022-05-17 海信集团控股股份有限公司 一种多层道路上的车辆的位置判断方法及装置
WO2023178661A1 (zh) * 2022-03-25 2023-09-28 京东方科技集团股份有限公司 数据共享方法、车载设备、云服务器、***、设备和介质

Also Published As

Publication number Publication date
JP4992755B2 (ja) 2012-08-08

Similar Documents

Publication Publication Date Title
JP4992755B2 (ja) 交差点運転支援システム、車載器、及び、路側機
US11008016B2 (en) Display system, display method, and storage medium
CN109760676B (zh) 显示***、显示方法及存储介质
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
JP6635428B2 (ja) 自動車周辺情報表示システム
US9747800B2 (en) Vehicle recognition notification apparatus and vehicle recognition notification system
JP5160564B2 (ja) 車両情報表示装置
JP6402684B2 (ja) 表示装置
WO2014167810A1 (ja) 危険車両通知装置、危険車両通知プログラム製品、危険車両通知方法
JP4980852B2 (ja) 車両周囲画像提供装置
CN107054218A (zh) 标识信息显示装置和方法
KR20200016958A (ko) 주차 지원 방법 및 주차 지원 장치
JP2006284458A (ja) 運転支援情報表示システム
JP2008222153A (ja) 合流支援装置
JP2007249364A (ja) 安全運転支援システム及び安全運転支援装置
JP2008250503A (ja) 運転支援装置
JP5898539B2 (ja) 車両走行支援システム
JP2008059082A (ja) 交差点情報提供システム及び運転支援システム
JP2018101957A (ja) 車両周辺監視装置
JP2009061871A (ja) 画像表示システム及び画像表示装置
JP4952429B2 (ja) 運転支援システム
JP2008097279A (ja) 車両外部情報表示装置
JP5274984B2 (ja) 運転支援システム
JP2008046766A (ja) 車両外部情報表示装置
JP2005202787A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120410

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120423

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4992755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees