JP2008197720A - 歩行者警報装置 - Google Patents

歩行者警報装置 Download PDF

Info

Publication number
JP2008197720A
JP2008197720A JP2007029298A JP2007029298A JP2008197720A JP 2008197720 A JP2008197720 A JP 2008197720A JP 2007029298 A JP2007029298 A JP 2007029298A JP 2007029298 A JP2007029298 A JP 2007029298A JP 2008197720 A JP2008197720 A JP 2008197720A
Authority
JP
Japan
Prior art keywords
pedestrian
movement vector
alarm
vehicle
absolute movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007029298A
Other languages
English (en)
Inventor
Hideki Sugita
英樹 杉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007029298A priority Critical patent/JP2008197720A/ja
Publication of JP2008197720A publication Critical patent/JP2008197720A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

【課題】運転者あるいは歩行者が気付いている場合においては警報を発生せず、衝突の可能性があり、真に危険と判断される場合に限定して警報を発生する歩行者警報装置の実現を目的とする。
【解決手段】対象を検知するレーダ1、及び対象の画像を取得する赤外線カメラ2を備え、更に、レーダ1からの対象検知データ、及び赤外線カメラ2からの画像データに基づき検知した対象を歩行者と認識し、その座標を認識する歩行者認識手段3と、歩行者認識手段3により認識した歩行者の相対移動方向を算出する歩行者相対移動方向認識手段4と、歩行者の相対移動方向に基づき警報発生を判定する警報判定手段5と、警報判定手段5の出力に基づき警報を発生する警報手段6とを備えた歩行者警報装置で、歩行者の当該自車両の進行方向に対する直角方向の移動成分があると判断された場合に限定して警報する。
【選択図】図1

Description

この発明は、自車両前方の歩行者を検知した場合に、自車両と歩行者との衝突を防ぐことを目的として警報を発生する歩行者警報装置に関するものである。
従来から、自車両の前方に存在する歩行者を検出し、衝突の可能性がある場合に警報を実施する歩行者警報装置が提案されており、その歩行者警報装置において、運転者にとって煩わしくないように警報条件を調整する手法の提案もいくつか開示されている。
その手法の一つとして、警報判定ゾーンを自車両左右幅以内に限定することで、自車両左右幅外の歩行者の存在に対しては警報を発生しない装置が開示されている(例えば、特許文献1参照)。
特開2001−6096号公報(段落0009,図18)
しかしながら、従来から提案されている歩行者警報装置では、運転者にとっての煩わしさを十分排除しきれていない問題点が存在する。歩行者事故は、対横断者のケースが支配的であり、それに次いで背面接近の場合、対向接近の場合の順で発生率が高いという分析結果がある。
この事故分析結果では、横断者は気付きにくく見落としやすいことから事故発生率は高く、他方で対横断者以外の後者2ケースについては、運転者あるいは歩行者が相手の存在に気付いている可能性が高く、あらかじめ回避行動をとることが可能であることから、結果、事故発生率も低くなっていると言える。
この分析結果を踏まえると、歩行者警報装置としては必ずしも全ての歩行者に警報を発生することが良策とは限らず、前述のような運転者あるいは歩行者が気付いているケースにおいて警報を発生する場合が、運転者にとっての煩わしさの要因と言える。
前述の特許文献1では、自車両左右幅外の歩行者の存在に対しては警報しない手法を用いることで、この煩わしさの排除を提案しているが、警報判定ゾーン内に歩行者が存在する場合は、運転者あるいは歩行者が相手の存在に気付いている場合においても警報を発生することとなるため、運転者の煩わしさを排除しきれていない、という問題点があった。
この発明は係る問題点を解決し、運転者あるいは歩行者が気付いている場合においては警報を発生せず、衝突の可能性があり、真に危険と判断される場合に限定して警報を発生する歩行者警報装置の実現を目的とするものである。
この発明に係る歩行者警報装置は、歩行者の存在を検知してその座標を特定し、前記歩行者の相対移動方向を検知し、前記歩行者の前記相対移動方向に基づき警報の発生を判定し、警報発生の判定時に警報を発生する警報発生手段を備えた歩行者警報装置であって、前記歩行者警報装置は、前記歩行者の当該自車両の進行方向に対する直角方向の移動成分があると判断された場合に警報を発生するものである。
この発明に係る歩行者警報装置によれば、衝突事故発生の危険性が高い横断中の歩行者等、真に危険と判断される場合に限定して警報を発生することが可能となる。これにより、路側を道路に沿って移動している歩行者等、衝突事故の危険性が低い歩行者に対しては警報が発生されず、運転者にとって煩わしい警報を抑制することができる。
以下に添付図面を参照して、この発明に係る歩行者警報装置について好適な実施の形態を説明するが、この発明はこの実施の形態に限定されず、諸種の設計的変更をも包含するものである。
実施の形態1.
図1は、実施の形態1に係る歩行者警報装置を示すブロック構成図である。図1において、歩行者警報装置100は、対象を検知するレーダ1、及び対象の画像を取得する赤外線カメラ2を備え、更に、レーダ1からの対象検知データ、及び赤外線カメラ2からの画像データに基づき検知した対象を歩行者と認識し、その座標を認識する歩行者認識手段3と、歩行者認識手段3により認識した歩行者の相対移動方向を算出する歩行者相対移動方向認識手段4と、歩行者の相対移動方向に基づき警報発生を判定する警報判定手段5と、警報判定手段5の出力に基づき警報を発生する警報手段6とを備えている。
実施の形態1に係る歩行者警報装置100は前記のように構成されており、次に動作について説明する。図2は、実施の形態1に係る歩行者警報装置100の動作処理手順の概略を示すフローチャートである。この図において、歩行者認識手段3の入力部3aで、レーダ1からの対象検知データ、及び赤外線カメラ2からの画像データを取得し(ステップS1)、その後、歩行者認識手段3における歩行者認識処理へと進む(ステップS2)。
図3は、歩行者認識手段3における歩行者認識処理手順の概略を示すフローチャートである。この図において、レーダ1で対象を検知し、検知対象があれば(ステップS300)、検知対象数分ループして(ステップS301)、検知対象座標を取得することにより検知対象を特定する(ステップS302)。
その後、赤外線カメラ2で取得した画像によりその座標近辺の画像処理を行い(ステップS303)、検知対象が歩行者かどうかを認識する(ステップS304)。
検知対象が歩行者である場合、歩行者検知フラグがクリアされていれば(ステップS305)、歩行者検知フラグをセットし(ステップS306)、歩行者番号からその歩行者をn番とナンバリングし(ステップS307,ステップS308)、その座標を現在値として記憶する(ステップS309)。
検知対象が歩行者でない場合、あるいは検知対象の歩行者がすでに検知されていたものである場合は、このナンバリング処理は行わない。そして、前述の処理をレーダ1で検知した対象の数だけ実行する(ステップS310)。
なお、レーダ1で対象を検知しなかった場合は、歩行者検知無しとして状態を初期化する(ステップS311、ステップS312)。
図2に戻り、検知対象を歩行者と認識しその座標を特定した後に、歩行者相対移動方向認識手段4における歩行者相対移動方向認識処理へと進む(ステップS3)。
図4は、歩行者相対移動方向認識手段4における歩行者相対移動方向認識処理手順の概略を示すフローチャートである。この図において、歩行者検知フラグがセットされている場合(ステップS400)、歩行者番号1〜nでループして歩行者を検知し(ステップS401)、歩行者番号nの座標現在値を取得する(ステップS402)。次に、その検知歩行者の自車両の進行方向と平行方向における座標現在値と座標過去値の差分を求めると共に(ステップS403)、自車両の進行方向と直角方向における座標現在値と座標過去値の差分を求め(ステップS404)、検知歩行者の座標現在値を記憶する(ステップS405)。この処理を、検知している歩行者数分実行する(ステップS406)。
なお、ステップS403とステップS404は、検知歩行者の座標現在値と座標過去値の差分を求めるための処理手順であり、順序は逆であってもよい。また、ステップS400において、歩行者検知フラグがセットされていない場合は、歩行者相対移動方向認識処理を繰り返し実行する。
再び図2に戻り、検知している歩行者の相対移動方向を認識した後に、警報判定手段5における警報判定処理へと進む(ステップS4)。
図5は警報判定手段5における警報判定処理手順の概略を示すフローチャートである。この図において、歩行者検知フラグがセットされている場合(ステップS500)、歩行者番号1〜nでループして歩行者を検知し(ステップS501)、その検知歩行者の直角方向の相対移動成分があるならば(ステップS502)、警報を発生するため警報出力を行う(ステップS503)。この処理を、検知している歩行者数分実行する(ステップS503)。
なお、ステップS502において、検知歩行者の直角方向の相対移動成分がない場合は、警報出力を行わず、また、ステップS500において、歩行者検知フラグがセットされていない場合は、警報判定処理を繰り返し実行する。
以上のように、実施の形態1に係る歩行者警報装置100によれば、衝突事故発生の危険性が高い横断中の歩行者等、真に危険と判断される場合に限定して警報を発生することが可能となる。これにより、路側を道路に沿って移動している歩行者等、衝突事故の危険性が低い歩行者に対しては警報が発生されず、運転者にとって煩わしい警報を抑制することができる。
実施の形態2.
次に実施の形態2に係る歩行者警報装置について説明する。
図6は実施の形態2に係る歩行者警報装置を示すブロック構成図である。図6において、歩行者警報装置600は、歩行者認識手段3により認識した歩行者の相対移動ベクトルを算出する歩行者相対移動ベクトル認識手段60を備え、更に、自車両の車速を検知する車速検知装置61、自車両の操舵方向を検知する操舵角検知装置62、車速検知装置61と操舵角検知装置62からの出力信号により、自車両の絶対移動ベクトルを算出する自車両絶対移動ベクトル検知手段63、及び歩行者の絶対移動ベクトルを算出する歩行者絶対移動ベクトル認識手段64を備えている。なお、その他の構成については図1に示す実施の形態1と同様であり、同一符号を付すことにより説明を省略する。
実施の形態2に係る歩行者警報装置は前記のように構成されており、次に動作について説明する。
図7は、実施の形態2に係る歩行者警報装置600の動作処理手順の概略を示すフローチャートである。この図において、歩行者認識手段3の入力部3aでは、レーダ1からの対象検知データ、及び赤外線カメラ2からの画像データを取得し、また、自車両絶対移動ベクトル検知手段63の入力部63aでは、車速検知装置61からの車速、操舵角検知装置62からの自車両の操舵方向を取得し(ステップS700)、その後、歩行者認識手段3における歩行者認識処理へと進む(ステップS701)。このステップS701の歩行者認識処理は、前述の図3のフローチャートに従って行う。
検知対象を歩行者と認識しその座標を特定した後に、歩行者相対移動ベクトル認識処理へと進む(ステップS702)。
図8は歩行者相対移動ベクトル認識手段60における歩行者相対移動ベクトル認識処理手順の概略を示すフローチャートである。この歩行者相対移動ベクトル認識処理は、前述の図4のフローチャートと同様に、歩行者を検知している状態の場合、その検知歩行者の座標の現在値と過去値の差分を求めることで、検知歩行者の相対移動ベクトルとする(ステップS800〜ステップS804)。更に検知歩行者の座標現在値を記憶する(ステップS805)。この処理を、検知している歩行者数分実行する(ステップS806)。
なお、ステップS800において、歩行者検知フラグがセットされていない場合は、歩行者相対移動ベクトル認識処理を繰り返し実行する。
図7に戻り、検知歩行者の相対移動ベクトルを算出するとともに、自車両の絶対移動ベクトルを求める(ステップS703)。
図9は自車両絶対移動ベクトル認識処理手順の概略を示すフローチャートである。この自車両絶対移動ベクトル認識処理手順は、自車両絶対移動ベクトル検知手段63の入力部63aが出力する自車両の車速及び操舵角に基づき、自車両平行方向絶対移動ベクトルを算出する(ステップS900)。これと共に、自車両直角方向絶対移動ベクトルを算出し(ステップS901)、自車両の絶対移動ベクトルを算出する。
再び図7に戻り、検知歩行者の相対移動ベクトルと自車両の絶対移動ベクトルを算出した後に、歩行者絶対移動ベクトル認識処理へと進む(ステップS704)。
図10は歩行者絶対移動ベクトル認識処理手順の概略を示すフローチャートである。この図において、歩行者検知フラグがセットされている場合(ステップS1000)、歩行者番号1〜nでループして歩行者を検知し(ステップS1001)、検知歩行者の相対移動ベクトルと自車両の絶対移動ベクトルの差分を求めることで(ステップS1002,ステップS1003)、検知歩行者の絶対移動ベクトルとする。この処理を、検知している歩行者数分実行する(ステップS1004)。なお、ステップS1002,ステップS1003の検知歩行者の相対移動ベクトルと自車両の絶対移動ベクトルの差分を求めるのは、それぞれ検知歩行者の自車両の進行方向と平行方向成分の処理と直角方向成分の処理から求める。
また、ステップS1000において、歩行者検知フラグがセットされていない場合は、歩行者絶対移動ベクトル認識処理を繰り返し実行する。
図7に戻り、検知している歩行者の絶対移動ベクトルを認識した後、警報判定手段5における警報判定処理へと進む(ステップS705)。
図11は警報判定処理手順の概略を示すフローチャートである。この図において、歩行者検知フラグがセットされている場合(ステップS1100)、歩行者番号1〜nでループして歩行者を検知し(ステップS1101)、その検知歩行者の絶対移動ベクトルの直角方向大きさ絶対値が所定閾値TH1以上ならば(ステップS1102)、警報を発生するため警報出力を行う(ステップS1103)。この処理を、検知している歩行者数分実行する(ステップS1104)。
なお、ステップS1100において、歩行者検知フラグがセットされていない場合は、警報判定処理を繰り返し実行する。
以上のように、実施の形態2に係る歩行者警報装置600によれば、歩行者の絶対移動ベクトルを算出し、衝突事故発生の危険性が高い横断中の歩行者等、真に危険と判断される場合に限定してより正確に検知することで、警報を発生することが可能となる。これによって、路側を道路に沿って移動している歩行者等、衝突事故の危険性が低い歩行者に対しては警報が発生されず、運転者にとって煩わしい警報を抑制することができる。
実施の形態3.
次に実施の形態3に係る歩行者警報装置について説明する。
図12は実施の形態3に係る歩行者警報装置を示すブロック構成図である。実施の形態3に係る歩行者警報装置1200は、実施の形態2における警報判定手段5に代えて、歩行者の絶対移動ベクトルと座標に基づき衝突判定及び警報判定を行う警報発生判定ゾーン内判定手段120を設けたものである。なお、その他の構成については実施の形態2と同様であるので、同一符号を付すことにより説明を省略する。
実施の形態3に係る歩行者警報装置は前記のように構成されており、次に動作について説明する。
図13は、実施の形態3に係る歩行者警報装置1200の動作処理手順の概略を示すフローチャートである。この図において、歩行者認識手段3の入力部3aでは、レーダ1からの対象検知データ及び赤外線カメラ2からの画像データを取得し、また、自車両絶対移動ベクトル検知手段63の入力部63aでは、車速検知装置61からの車速、操舵角検知装置62からの自車両の操舵方向を取得し(ステップS1300)、その後、歩行者認識手段3における歩行者認識処理へと進む(ステップS1301)。このステップS1301の歩行者認識処理は、前述の図3のフローチャートに従って行う。
検知対象を歩行者と認識しその座標を特定した後に、歩行者相対移動ベクトル認識手段60における歩行者相対移動ベクトル認識処理へと進む(ステップS1302)。このステップS1302の歩行者相対移動ベクトル認識処理は、前述の図8のフローチャートに従って行う。
検知歩行者の相対移動ベクトルを算出すると共に、自車両絶対移動ベクトル検知手段63において自車両の絶対移動ベクトルを求める(ステップS1303)。このステップS1303の自車両絶対移動ベクトル認識処理は、前述の図9のフローチャートに従って行う。
検知歩行者の相対移動ベクトルと自車両の絶対移動ベクトルを算出した後に、歩行者絶対移動ベクトル認識処理へと進む(ステップS1304)。このステップS1304の歩行者絶対移動ベクトル認識処理は、前述の図10のフローチャートに従って行う。
検知している歩行者の絶対移動ベクトルを認識した後、警報発生判定ゾーン内判定手段120における警報発生判定ゾーン内判定処理へと進む(ステップS1305)。
図14は、警報発生判定ゾーン内判定処理手順の概略を示すフローチャートである。この図において、歩行者検知フラグがセットされている場合(ステップS1400)、歩行者番号1〜nでループして歩行者を検知し(ステップS1401)、その検知歩行者の絶対移動ベクトルの直角方向大きさ絶対値が所定閾値TH2未満であり(ステップS1402)、かつ検知歩行者の絶対移動ベクトルの平行方向大きさが正ならば(ステップS1403)、自車両の進行方向と平行に同方向に移動している歩行者に対して、自車両が背面接近している、と判断する。
更に、検知歩行者の直角方向座標絶対値が所定閾値WTH以内ならば(ステップS1404)、検知歩行者が警報発生判定ゾーン内に存在するとの認識となり、警報を発生するため警報出力を行う(ステップS1405)。この処理を、検知している歩行者数分実行する(ステップS1406)。
なお、ステップS1400において、歩行者検知フラグがセットされていない場合は、警報発生判定ゾーン内判定処理を繰り返し実行する。
以上のように、実施の形態3に係る歩行者警報装置1200によれば、自車両の存在に気付かず、急に飛び出す可能性のある背面通行の歩行者に限定して警報を発生することが可能となる。更に、背面通行の歩行者に対する警報を発生するためのゾーンを設けることで、例えば対向車線の路側の歩行者に対しての警報を抑制でき、運転者にとっての警報の煩わしさを排除することが可能となる。
実施の形態4.
次に実施の形態4に係る歩行者警報装置について説明する。
図15は実施の形態4に係る歩行者警報装置を示すブロック構成図である。実施の形態4に係る歩行者警報装置1500は、実施の形態3における警報発生判定ゾーン内判定手段120に変えて、歩行者の絶対移動ベクトルに基づき警報発生を判定する警報判定手段150を設けたものである。この警報判定手段150は、後述するように、実施の形態1あるいは実施の形態2における警報判定手段とは異なる動作を行うものである。なお、その他の構成については実施の形態3と同様であるので、同一符号を付すことにより説明を省略する。
実施の形態4に係る歩行者警報装置は前記のように構成されており、次に動作について説明する。
図16は、実施の形態4に係る歩行者警報装置1500の動作処理手順の概略を示すフローチャートである。この図において、歩行者認識手段3の入力部3aでは、レーダ1からの対象検知データ及び赤外線カメラ2からの画像データを取得し、また、自車両絶対移動ベクトル検知手段63の入力部63aでは、車速検知装置61からの車速、操舵角検知装置62からの自車両の操舵方向を取得し(ステップS1600)、その後、歩行者認識手段3における歩行者認識処理へと進む(ステップS1601)。このステップS1601の歩行者認識処理は、前述の図3のフローチャートに従って行う。
検知対象を歩行者と認識しその座標を特定した後に、歩行者相対移動ベクトル認識手段60における歩行者相対移動ベクトル認識処理へと進む(ステップS1602)。このステップS1602の歩行者相対移動ベクトル認識処理は、前述の図8のフローチャートに従って行う。
検知歩行者の相対移動ベクトルを算出すると共に、自車両の絶対移動ベクトルを求める(ステップS1603)。このステップS1603の自車両絶対移動ベクトル認識処理は、前述の図9のフローチャートに従って行う。
検知歩行者の相対移動ベクトルと自車両の絶対移動ベクトルを算出した後に、歩行者絶対移動ベクトル認識手段64における歩行者絶対移動ベクトル認識処理へと進む(ステップS1604)。このステップS1604の歩行者絶対移動ベクトル認識処理は、前述の図10のフローチャートに従って行う。
検知している歩行者の絶対移動ベクトルを認識した後、警報判定手段150における警報判定処理へと進む(ステップS1605)。
図17は警報判定処理手順の概略を示すフローチャートである。この図において、歩行者検知フラグがセットされている場合(ステップS1700)、歩行者番号1〜nでループして歩行者を検知し(ステップS1701)、その検知歩行者の絶対移動ベクトルの直角方向大きさ絶対値が所定閾値TH2未満であり(ステップS1702)、かつ検知歩行者の絶対移動ベクトルの平行方向大きさが負ならば(ステップS1703)、自車両の進行方向と平行に逆方向に移動している歩行者に対して、自車両が対向接近していると判断し、警報出力は行わない。
ステップS1702において、検知歩行者の絶対移動ベクトルの直角方向大きさ絶対値が所定閾値TH2未満でない場合、及びステップS1703において、検知歩行者の絶対移動ベクトルの平行方向大きさが負でない場合は、警報出力を行う(ステップS1704)。この処理を、検知している歩行者数分実行する(ステップS1705)。
なお、ステップS1700において、歩行者検知フラグがセットされていない場合は、警報判定処理を繰り返し実行する。
以上のように、実施の形態4に係る歩行者警報装置1500によれば、対向通行する歩行者を検知した場合は警報を発生しないこととなるため、例えば路側を対向通行している歩行者等、衝突の危険性が無く回避行動をとる必要のないような場合における、運転者にとって煩わしい警報を抑制することが可能となる。
実施の形態5.
次に実施の形態5に係る歩行者警報装置について説明する。実施の形態4では、自車両の進行方向と平行に逆方向へ移動している歩行者に対して、自車両が対向接近している場合では警報出力を行わないこととしているが、歩行者が蛇行歩行していると認識した場合に限定して警報を発生してもよい。これを実施の形態5として図18を用いて説明する。
図18は実施の形態5に係る歩行者警報装置の警報判定処理手順の概略を示すフローチャートである。この図において、歩行者検知フラグがセットされている場合(ステップS1800)、歩行者番号1〜nでループして歩行者を検知し(ステップS1801)、その検知歩行者の絶対移動ベクトルの直角方向大きさ絶対値が所定閾値TH2未満であり(ステップS1802)、かつ検知歩行者の絶対移動ベクトルの平行方向大きさが負ならば(ステップS1803)、自車両の進行方向と平行に逆方向に移動している歩行者に対して、自車両が対向接近していると判断する。このとき、検知歩行者の絶対移動ベクトルの直角方向大きさに正負変動がある場合は(ステップS1804)、自車両が対向接近している検知歩行者が蛇行歩行していると判断し、警報出力を行う(ステップS1805)。
ステップS1802において、検知歩行者の絶対移動ベクトルの直角方向大きさ絶対値が所定閾値TH2未満でない場合、ステップS1803において、検知歩行者の絶対移動ベクトルの平行方向大きさが負でない場合、及びステップS1804において、検知歩行者の絶対移動ベクトルの直角方向大きさに正負変動がない場合は、警報出力をしない。この処理を、検知している歩行者数分実行する(ステップS1806)。
なお、ステップS1800において、歩行者検知フラグがセットされていない場合は、警報判定処理を繰り返し実行する。
以上のようにすることで、対向通行の場合でも、自車両の存在に気付いていない、あるいは酩酊している等、正常な状態になく急に飛び出す可能性のある蛇行移動の歩行者に限定して警報を発生することが可能となる。
実施の形態6.
次に実施の形態6に係る歩行者警報装置について説明する。
図19は実施の形態6に係る歩行者警報装置を示すブロック構成図である。図19において、歩行者警報装置1900は、自車両絶対移動ベクトル検知手段63により検知される自車両絶対移動ベクトルに基づき自車両前方に設ける衝突判定ゾーンを決定する衝突判定ゾーン設定手段190と、歩行者相対移動ベクトル認識手段60で算出される歩行者相対移動ベクトルの大きさ及び角度に基づき、決定された衝突判定ゾーンで歩行者と自車両との衝突判定、及び警報判定を行う衝突判定手段191を備えている。なお、その他の構成については実施の形態5と同様であるので、同一符号を付すことにより説明を省略する。
実施の形態6に係る歩行者警報装置は前記のように構成されており、次に動作について説明する。
図20は、実施の形態6に係る歩行者警報装置1900の動作処理手順の概略を示すフローチャートである。この図において、歩行者認識手段3の入力部3aでは、レーダ1からの対象検知データ及び赤外線カメラ2からの画像データを取得し、また、自車両絶対移動ベクトル検知手段63の入力部63aでは、車速検知装置61からの車速、操舵角検知装置62からの自車両の操舵方向を取得し(ステップS2000)、その後、歩行者認識手段3における歩行者認識処理へと進む(ステップS2001)。このステップS2001の歩行者認識処理は、前述の図3のフローチャートに従って行う。
検知対象を歩行者と認識しその座標を特定した後に、歩行者相対移動ベクトル認識手段60における歩行者相対移動ベクトル認識処理へと進む(ステップS2002)。このステップS2002の歩行者相対移動ベクトル認識処理は、前述の図8のフローチャートに従って行う。
検知歩行者の相対移動ベクトルを算出するとともに、自車両絶対移動ベクトル検知手段63において、自車両の絶対移動ベクトルを求める(ステップS2003)。このステップS2003の自車両絶対移動ベクトル認識処理は、前述の図9のフローチャートに従い行う。
自車両の絶対移動ベクトルを算出した後に、衝突判定ゾーン設定手段190における衝突判定ゾーン設定処理へと進む(ステップS2004)。
図21は、衝突判定ゾーン設定処理の概略を示すフローチャートである。自車両絶対移動ベクトル検知手段63の入力部63aで取得した自車両の車速に応じた、例えば車間時間2s分の距離を算出する(ステップS2100)。その後、衝突判定ゾーンの車両進行方向と平行方向の設定距離を前述の距離とし、また車両進行方向と直角方向の設定距離を自車両左右端幅と規定する。この衝突判定ゾーンを規定する4つの頂点座標を算出する(ステップS2101)。
図20に戻り、衝突判定ゾーンを設定した後、衝突判定手段191における衝突判定処理へと進む(ステップS2005)。
図22は衝突判定処理の概略を示すフローチャートである。この図において、歩行者検知フラグがセットされている場合(ステップS2200)、歩行者番号1〜nでループして歩行者を検知し(ステップS2201)、自車両の絶対移動ベクトルと検知歩行者の移動ベクトルから、その交点座標を算出する(ステップS2202)。この交点座標が、衝突判定ゾーンを規定する4つの頂点座標を結んだ線分で囲まれた範囲内であると判断した場合(ステップS2203)、検知歩行者が自車両と衝突する可能性があると判断し、警報出力を行う(ステップS2204)。なお、ステップS2203において、交点座標が、衝突判定ゾーンを規定する4つの頂点座標を結んだ線分で囲まれた範囲外であると判断した場合は警報出力をしない。この処理を、検知している歩行者数分実行する(ステップS2205)。
なお、ステップS2200において、歩行者検知フラグがセットされていない場合は、衝突判定処理を繰り返し実行する。
この実施の形態では、衝突判定ゾーンの車両進行方向と平行方向の設定距離を車間時間2s分の距離としたが、この設定距離は任意に可変としても構わず、この実施の形態で示した設定距離に特定せずともよい。
以上のように、実施の形態6に係る歩行者警報装置1900によれば、自車両前方に衝突判定ゾーンを設けることで、衝突の危険性が高い横断歩行者に対して警報を発生すると共に、衝突するおそれもなく横断しきるが、突如視界に入ってくるために発見時に運転者が慌ててしまうような横断歩行者に対しても警報を発生することが可能となる。
なお、前記各実施の形態において、対象を検知する手段をレーダ、対象の画像を取得する手段を赤外線カメラとして説明したが、使用する手段はこれらに限定せず、あるいはいずれか単体で実現しても構わない。また、車速検知装置としては車速センサ、操舵角検知装置としてはヨーレートセンサやステアリング操舵角センサでの実現が望ましいが、この限りではない。
以上のように、この発明に係る歩行者警報装置は、運転者にとって煩わしくなく,好適なタイミングで警報を発生できる歩行者警報装置として利用えきる。
実施の形態1に係る歩行者警報装置を示すブロック構成図である。 実施の形態1に係る歩行者警報装置の動作処理手順の概略を示すフローチャートである。 実施の形態1に係る歩行者認識処理手順の概略を示すフローチャートである。 実施の形態1に係る歩行者相対移動方向認識処理手順の概略を示すフローチャートである。 実施の形態1に係る警報判定処理手順の概略を示すフローチャートである。 実施の形態2に係る歩行者警報装置を示すブロック構成図である。 実施の形態2に係る歩行者警報装置の動作処理手順の概略を示すフローチャートである。 実施の形態2に係る歩行者相対移動ベクトル認識処理手順の概略を示すフローチャートである。 実施の形態2に係る自車両絶対移動ベクトル認識処理手順の概略を示すフローチャートである。 実施の形態2に係る歩行者絶対移動ベクトル認識処理手順の概略を示すフローチャートである。 実施の形態2に係る警報判定処理手順の概略を示すフローチャートである。 実施の形態3に係る歩行者警報装置を示すブロック構成図である。 実施の形態3に係る歩行者警報装置の動作処理手順の概略を示すフローチャートである。 実施の形態3に係る警報発生判定ゾーン内判定処理手順の概略を示すフローチャートである。 実施の形態4に係る歩行者警報装置を示すブロック構成図である。 実施の形態4に係る歩行者警報装置の動作処理手順の概略を示すフローチャートである。 実施の形態4に係る警報判定処理手順の概略を示すフローチャートである。 実施の形態5に係る歩行者警報装置の警報判定処理手順の概略を示すフローチャートである。 実施の形態6に係る歩行者警報装置を示すブロック構成図である。 実施の形態6に係る歩行者警報装置の動作処理手順の概略を示すフローチャートである。 実施の形態6に係る衝突判定ゾーン設定処理の概略を示すフローチャートである。 実施の形態6に係る衝突判定処理の概略を示すフローチャートである。
符号の説明
1 レーダ
2 赤外線カメラ
3 歩行者認識手段
3a,63a 入力部
4 歩行者相対移動方向認識手段
5,150 警報判定手段
6 警報手段
60 歩行者相対移動ベクトル認識手段
61 車速検知装置
62 操舵角検知装置
63 自車両絶対移動ベクトル検知手段
64 歩行者絶対移動ベクトル認識手段
120 警報発生判定ゾーン内判定手段
190 衝突判定ゾーン設定手段
191 衝突判定手段
100,600,1200,1500,1900 歩行者警報装置

Claims (6)

  1. 対象を検知すると共に前記対象を歩行者と判定し、前記歩行者の座標を特定する歩行者検知手段と、
    前記歩行者検知手段が特定した前記歩行者の座標の現在値及び過去値に基づき、前記歩行者の相対移動方向を求める歩行者相対移動方向算出手段と、
    前記歩行者相対移動方向算出手段で求められた前記歩行者の相対移動方向に基づき警報を発生するかどうかを判定する警報判定手段と、
    前記警報判定手段で警報を発生すると判定された場合に警報を発生する警報発生手段と、
    を備え、
    前記歩行者相対移動方向算出手段で前記歩行者の当該自車両の進行方向に対する直角方向への移動成分があると判断された場合に、前記警報発生手段で警報を発生することを特徴とする歩行者警報装置。
  2. 対象を検知すると共に前記対象を歩行者と判定し、前記歩行者の座標を特定する歩行者検知手段と、
    前記歩行者検知手段が特定した前記歩行者の座標の現在値及び過去値に基づき、前記歩行者の相対移動ベクトルを求める歩行者相対移動ベクトル算出手段と、
    当該自車両の絶対移動ベクトルを求める自車両絶対移動ベクトル算出手段と、
    前記自車両絶対移動ベクトル算出手段で求められた当該自車両の絶対移動ベクトルと、前記歩行者相対移動ベクトル算出手段で求められた前記歩行者の相対移動ベクトルとに基づき、前記歩行者の絶対移動ベクトルを求める歩行者絶対移動ベクトル算出手段と、
    前記歩行者絶対移動ベクトル算出手段で求められた前記歩行者の絶対移動ベクトルに基づき警報を発生するかどうかを判定する警報判定手段と、
    前記警報判定手段で警報を発生するとなった場合に警報を発生する警報発生手段と、
    を備え、
    前記歩行者絶対移動ベクトル算出手段で求められた前記歩行者の当該自車両の進行方向に対する直角方向への絶対移動ベクトルの大きさが所定閾値以上である場合に、前記警報発生手段で警報を発生することを特徴とする歩行者警報装置。
  3. 対象を検知すると共に前記対象を歩行者と判定し、前記歩行者の座標を特定する歩行者検知手段と、
    前記歩行者検知手段が特定した前記歩行者の座標の現在値及び過去値に基づき、前記歩行者の相対移動ベクトルを求める歩行者相対移動ベクトル算出手段と、
    当該自車両の絶対移動ベクトルを求める自車両絶対移動ベクトル算出手段と、
    前記自車両絶対移動ベクトル算出手段で求められた当該自車両の絶対移動ベクトルと、 前記歩行者相対移動ベクトル算出手段で求められた前記歩行者の相対移動ベクトルとに基づき、前記歩行者の絶対移動ベクトルを求める歩行者絶対移動ベクトル算出手段と、
    前記歩行者絶対移動ベクトル算出手段で求められた前記歩行者の絶対移動ベクトルに基づき警報を発生するかどうかを判定する警報判定手段と、
    前記警報判定手段で警報を発生するとなった場合に警報を発生する警報発生手段と、
    を備え、
    当該自車両前方に当該自車両幅よりも広域な幅とした警報実施判定ゾーンを設け、
    前記歩行者絶対移動ベクトル算出手段で、前記歩行者の当該自車両の進行方向に対する直角方向の絶対移動ベクトルの大きさが所定閾値未満であって、前記歩行者の当該自車両の進行方向に対する平行方向の絶対移動ベクトルの大きさが正となり、当該自車両が前記歩行者に対して背面接近と判断された場合で、かつ、前記歩行者検知手段が出力する前記歩行者の座標が前記警報実施判定ゾーン内と判断した場合に、前記警報発生手段で警報を発生することを特徴とする歩行者警報装置。
  4. 対象を検知すると共に前記対象を歩行者と判定し、前記歩行者の座標を特定する歩行者検知手段と、
    前記歩行者検知手段が特定する前記歩行者の座標の現在値及び過去値に基づき、前記歩行者の相対移動ベクトルを求める歩行者相対移動ベクトル算出手段と、
    当該自車両の絶対移動ベクトルを求める自車両絶対移動ベクトル算出手段と、
    前記自車両絶対移動ベクトル算出手段で求められた当該自車両の絶対移動ベクトルと、 前記歩行者相対移動ベクトル算出手段で求められた前記歩行者の相対移動ベクトルとに基づき、前記歩行者の絶対移動ベクトルを求める歩行者絶対移動ベクトル算出手段と、
    前記歩行者絶対移動ベクトル算出手段で求められた前記歩行者の絶対移動ベクトルに基づき警報を発生するかどうかを判定する警報判定手段と、
    前記警報判定手段で警報を発生するとなった場合に警報を発生する警報発生手段と、
    を備え、
    前記歩行者絶対移動ベクトル算出手段で、前記歩行者の当該自車両の進行方向に対する直角方向の絶対移動ベクトルの大きさが所定閾値未満であって、前記歩行者の当該自車両の進行方向に対する平行方向の絶対移動ベクトルの大きさが負となり、当該自車両が前記歩行者に対して対向接近と判断された場合に、前記警報発生手段で警報を発生しないことを特徴とする歩行者警報装置。
  5. 対象を検知すると共に前記対象を歩行者と判定し、前記歩行者の座標を特定する歩行者検知手段と、
    前記歩行者検知手段が特定する前記歩行者の座標の現在値及び過去値に基づき、前記歩行者の相対移動ベクトルを求める歩行者相対移動ベクトル算出手段と、
    当該自車両の絶対移動ベクトルを求める自車両絶対移動ベクトル算出手段と、
    前記自車両絶対移動ベクトル算出手段で求められた当該自車両の絶対移動ベクトルと、 前記歩行者相対移動ベクトル算出手段で求められた前記歩行者の相対移動ベクトルに基づき、前記歩行者の絶対移動ベクトルを求める歩行者絶対移動ベクトル算出手段と、
    前記歩行者絶対移動ベクトル算出手段で求められた前記歩行者の絶対移動ベクトルとに基づき警報を発生するかどうかを判定する警報判定手段と、
    前記警報判定手段で警報を発生するとなった場合に警報を発生する警報発生手段と、
    を備え、
    前記歩行者絶対移動ベクトル算出手段で、前記歩行者の当該自車両の進行方向に対する直角方向の絶対移動ベクトルの大きさが所定閾値未満であって、前記歩行者の当該自車両の進行方向に対する平行方向の絶対移動ベクトルの大きさが負となり、当該自車両が前記歩行者に対して対向接近と判断された場合で、かつ、前記歩行者の当該自車両の進行方向に対する直角方向の絶対移動ベクトルの大きさが所定閾値以上の変動を繰り返している場合に、前記警報発生手段で警報を発生することを特徴とする歩行者警報装置。
  6. 対象を検知すると共に前記対象を歩行者と判定し、前記歩行者の座標を特定する歩行者検知手段と、
    前記歩行者検知手段が特定した前記歩行者の座標の現在値及び過去値に基づき、前記歩行者の相対移動ベクトルを求める歩行者相対移動ベクトル算出手段と、
    当該自車両の絶対移動ベクトルを求める自車両絶対移動ベクトル算出手段と、
    前記自車両絶対移動ベクトル算出手段で求められた当該自車両の絶対移動ベクトルに基づき、前記歩行者と当該自車両との衝突判定ゾーンを設定する衝突判定ゾーン生成手段と、
    前記衝突判定ゾーン内で前記歩行者と当該自車両が衝突するかどうかを判定する衝突判定手段と、
    前記衝突判定手段で衝突すると判定された場合に警報を発生する警報発生手段と、
    を備え、
    前記衝突判定ゾーン生成手段で、前記自車両絶対移動ベクトル算出手段で当該自車両の車速に応じて設定される距離に基づく当該自車両前方の距離と、当該自車両の左右端幅に基づく幅で囲まれる衝突判定ゾーンを設け、
    前記歩行者相対移動ベクトル算出手段で求められた前記歩行者の相対移動ベクトルの大きさ及び角度から、前記衝突判定手段で前記衝突判定ゾーンへの前記歩行者の進入が予測された場合に、前記警報発生手段で警報を発生することを特徴とする歩行者警報装置。
JP2007029298A 2007-02-08 2007-02-08 歩行者警報装置 Pending JP2008197720A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007029298A JP2008197720A (ja) 2007-02-08 2007-02-08 歩行者警報装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007029298A JP2008197720A (ja) 2007-02-08 2007-02-08 歩行者警報装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009214337A Division JP2009295184A (ja) 2009-09-16 2009-09-16 歩行者警報装置

Publications (1)

Publication Number Publication Date
JP2008197720A true JP2008197720A (ja) 2008-08-28

Family

ID=39756634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007029298A Pending JP2008197720A (ja) 2007-02-08 2007-02-08 歩行者警報装置

Country Status (1)

Country Link
JP (1) JP2008197720A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011086661A1 (ja) 2010-01-12 2011-07-21 トヨタ自動車株式会社 衝突位置予測装置
US20110238309A1 (en) * 2008-12-09 2011-09-29 Toyota Jidosha Kabushiki Kaisha Object detection apparatus and object detection method
JP2012037980A (ja) * 2010-08-04 2012-02-23 Toyota Central R&D Labs Inc 移動物予測装置及びプログラム
US8154437B2 (en) 2008-12-05 2012-04-10 Toyota Jidosha Kabushiki Kaisha Traveling direction vector reliability determination method and traveling direction vector reliability determination device
JP2013016142A (ja) * 2011-06-10 2013-01-24 Sanyo Electric Co Ltd 無線装置
JP2013047024A (ja) * 2011-08-28 2013-03-07 Denso Corp 車両用警告装置
US8514100B2 (en) 2010-03-23 2013-08-20 Denso Corporation Vehicle approach warning system
DE102014103695A1 (de) 2013-03-29 2014-10-02 Denso Corporation Fahrzeuggestützte Kreuzungsbeurteilungsvorrichtung und -programm
US8862383B2 (en) 2012-12-11 2014-10-14 Denso Corporation Apparatus for judging probability of collision between vehicle and object surrounding the vehicle
CN105160941A (zh) * 2015-09-30 2015-12-16 宇龙计算机通信科技(深圳)有限公司 信息提醒方法、信息提醒装置和移动终端
CN108263279A (zh) * 2016-12-30 2018-07-10 现代自动车株式会社 基于传感器整合的行人检测和行人碰撞避免装置及方法
CN108973859A (zh) * 2018-06-14 2018-12-11 合肥工业大学 一种鬼探头交通事故预警***及方法
KR20220071560A (ko) * 2020-11-24 2022-05-31 상신브레이크주식회사 긴급제동 상황에서의 보행자 경고 장치 및 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146364A (ja) * 1993-11-25 1995-06-06 Honda Motor Co Ltd 車両の衝突判断装置
JP2001006096A (ja) * 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2003104148A (ja) * 2001-09-27 2003-04-09 Mazda Motor Corp 車両の制御装置
JP2003104146A (ja) * 2001-09-27 2003-04-09 Mazda Motor Corp 車両の制御装置
JP2006054681A (ja) * 2004-08-11 2006-02-23 Tokyo Institute Of Technology 移動体周辺監視装置
JP2006163637A (ja) * 2004-12-03 2006-06-22 Fujitsu Ten Ltd 運転支援装置
JP2006172063A (ja) * 2004-12-15 2006-06-29 Nissan Motor Co Ltd 画像処理装置、および方法
JP2006252264A (ja) * 2005-03-11 2006-09-21 Omron Corp 障害物報知装置
JP2007001405A (ja) * 2005-06-23 2007-01-11 Mazda Motor Corp 車両の制御装置
JP2007293487A (ja) * 2006-04-24 2007-11-08 Honda Motor Co Ltd 車両の周辺監視装置、車両、車両の周辺監視方法、並びに車両の周辺監視用プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146364A (ja) * 1993-11-25 1995-06-06 Honda Motor Co Ltd 車両の衝突判断装置
JP2001006096A (ja) * 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2003104148A (ja) * 2001-09-27 2003-04-09 Mazda Motor Corp 車両の制御装置
JP2003104146A (ja) * 2001-09-27 2003-04-09 Mazda Motor Corp 車両の制御装置
JP2006054681A (ja) * 2004-08-11 2006-02-23 Tokyo Institute Of Technology 移動体周辺監視装置
JP2006163637A (ja) * 2004-12-03 2006-06-22 Fujitsu Ten Ltd 運転支援装置
JP2006172063A (ja) * 2004-12-15 2006-06-29 Nissan Motor Co Ltd 画像処理装置、および方法
JP2006252264A (ja) * 2005-03-11 2006-09-21 Omron Corp 障害物報知装置
JP2007001405A (ja) * 2005-06-23 2007-01-11 Mazda Motor Corp 車両の制御装置
JP2007293487A (ja) * 2006-04-24 2007-11-08 Honda Motor Co Ltd 車両の周辺監視装置、車両、車両の周辺監視方法、並びに車両の周辺監視用プログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8154437B2 (en) 2008-12-05 2012-04-10 Toyota Jidosha Kabushiki Kaisha Traveling direction vector reliability determination method and traveling direction vector reliability determination device
US20110238309A1 (en) * 2008-12-09 2011-09-29 Toyota Jidosha Kabushiki Kaisha Object detection apparatus and object detection method
US9283910B2 (en) * 2008-12-09 2016-03-15 Toyota Jidosha Kabushiki Kaisha Object detection apparatus and object detection method
WO2011086661A1 (ja) 2010-01-12 2011-07-21 トヨタ自動車株式会社 衝突位置予測装置
JP5505427B2 (ja) * 2010-01-12 2014-05-28 トヨタ自動車株式会社 衝突位置予測装置
US8849558B2 (en) 2010-01-12 2014-09-30 Toyota Jidosha Kabushiki Kaisha Collision position predicting device
US8514100B2 (en) 2010-03-23 2013-08-20 Denso Corporation Vehicle approach warning system
JP2012037980A (ja) * 2010-08-04 2012-02-23 Toyota Central R&D Labs Inc 移動物予測装置及びプログラム
JP2013016142A (ja) * 2011-06-10 2013-01-24 Sanyo Electric Co Ltd 無線装置
JP2013047024A (ja) * 2011-08-28 2013-03-07 Denso Corp 車両用警告装置
US8862383B2 (en) 2012-12-11 2014-10-14 Denso Corporation Apparatus for judging probability of collision between vehicle and object surrounding the vehicle
DE102014103695A1 (de) 2013-03-29 2014-10-02 Denso Corporation Fahrzeuggestützte Kreuzungsbeurteilungsvorrichtung und -programm
US9390624B2 (en) 2013-03-29 2016-07-12 Denso Corporation Vehicle-installation intersection judgment apparatus and program
DE102014103695B4 (de) 2013-03-29 2023-03-09 Denso Corporation Fahrzeuggestützte Kreuzungsbeurteilungsvorrichtung und -programm
CN105160941A (zh) * 2015-09-30 2015-12-16 宇龙计算机通信科技(深圳)有限公司 信息提醒方法、信息提醒装置和移动终端
CN108263279A (zh) * 2016-12-30 2018-07-10 现代自动车株式会社 基于传感器整合的行人检测和行人碰撞避免装置及方法
CN108263279B (zh) * 2016-12-30 2022-11-01 现代自动车株式会社 基于传感器整合的行人检测和行人碰撞避免装置及方法
CN108973859A (zh) * 2018-06-14 2018-12-11 合肥工业大学 一种鬼探头交通事故预警***及方法
KR20220071560A (ko) * 2020-11-24 2022-05-31 상신브레이크주식회사 긴급제동 상황에서의 보행자 경고 장치 및 방법
KR102593554B1 (ko) 2020-11-24 2023-10-24 상신브레이크주식회사 긴급제동 상황에서의 보행자 경고 장치 및 방법

Similar Documents

Publication Publication Date Title
JP2008197720A (ja) 歩行者警報装置
US10055652B2 (en) Pedestrian detection and motion prediction with rear-facing camera
US9195894B2 (en) Vehicle and mobile device traffic hazard warning techniques
JP6188471B2 (ja) 車両後側方警報装置、車両後側方警報方法および立体物検出装置
JP5938569B2 (ja) 方位情報を考慮する高度運転者支援システム、及びその動作方法
JP5573617B2 (ja) 危険度算出装置
JP5587170B2 (ja) 運転支援装置及びプログラム
WO2013125404A1 (ja) 立体物検出装置
JP5172366B2 (ja) 車両運転支援装置
JPWO2014024336A1 (ja) 物体検出装置及び運転支援装置
JP2008219063A (ja) 車両周辺監視装置及び方法
JP2010030513A (ja) 車両の運転支援装置
JP5146482B2 (ja) 交錯点マップ作成装置および交錯点マップ作成装置用のプログラム
JP2009295184A (ja) 歩行者警報装置
JP2014052883A (ja) 歩行者警告装置
JP7321277B2 (ja) 運転支援装置、車両制御装置、運転支援システム、及び運転支援方法
JP2011118570A (ja) 車両の衝突を回避するための装置
JP6129268B2 (ja) 車両用運転支援システムおよび運転支援方法
JP4410118B2 (ja) 車両運転支援装置
JP2010044461A (ja) 衝突推定装置及び衝突推定プログラム
US20220092981A1 (en) Systems and methods for controlling vehicle traffic
JP2012234373A (ja) 運転支援装置
JP6185327B2 (ja) 車両後側方警報装置、車両後側方警報方法および他車両距離検出装置
JP2005125953A (ja) 車載用物体認識システムおよびこれを用いた運転支援システム
JP2014044458A (ja) 車載機器、及び、危険報知方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090916

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100601