JP2022172511A - 歩行支援システム - Google Patents
歩行支援システム Download PDFInfo
- Publication number
- JP2022172511A JP2022172511A JP2021078305A JP2021078305A JP2022172511A JP 2022172511 A JP2022172511 A JP 2022172511A JP 2021078305 A JP2021078305 A JP 2021078305A JP 2021078305 A JP2021078305 A JP 2021078305A JP 2022172511 A JP2022172511 A JP 2022172511A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- pedestrian crossing
- image
- crossing
- walking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/068—Sticks for blind persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
- A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/01—Constructive details
- A61H2201/0161—Size reducing arrangements when not in use, for stowing or transport
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/01—Constructive details
- A61H2201/0192—Specific means for adjusting dimensions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5007—Control means thereof computer controlled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5023—Interfaces to the user
- A61H2201/5048—Audio interfaces, e.g. voice or music controlled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
- A61H2201/5092—Optical sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5097—Control means thereof wireless
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Rehabilitation Tools (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】横断歩道上に障害物が存在する場合であっても、歩行者に対する歩行の停止通知を適切に行うことができる歩行支援システムを提供する。
【解決手段】横断歩道上に存在する障害物に起因して、横断歩道において最も手前側にある白線が検出できない場合には、カメラ20が取得した画像での障害物における歩行者寄りの端縁位置を、横断歩道において最も手前側にある白線として設定する。これにより、振動発生機50は、歩行者が、障害物における歩行者寄りの端縁位置の手前に達した時点で歩行者の停止を促すパターンでの振動を行うことになり、横断歩道上に障害物が存在する場合であっても、歩行者に対する歩行の停止通知を適切に行うことができる。
【選択図】図3
【解決手段】横断歩道上に存在する障害物に起因して、横断歩道において最も手前側にある白線が検出できない場合には、カメラ20が取得した画像での障害物における歩行者寄りの端縁位置を、横断歩道において最も手前側にある白線として設定する。これにより、振動発生機50は、歩行者が、障害物における歩行者寄りの端縁位置の手前に達した時点で歩行者の停止を促すパターンでの振動を行うことになり、横断歩道上に障害物が存在する場合であっても、歩行者に対する歩行の停止通知を適切に行うことができる。
【選択図】図3
Description
本発明は歩行支援システムに係る。特に、本発明は、視覚障碍者等の歩行者に対し、横断歩道の手前で歩行の停止通知を行うシステムの改良に関する。
視覚障碍者等の歩行者が安全に横断歩道を横断できるように、当該歩行者に対して各種の通知(例えば横断歩道の手前での停止通知等)を行うシステム(歩行支援システム)として、特許文献1に開示されているものが知られている。この特許文献1には、視覚を用いずに行動する者(視覚障碍者)が歩く方向を決定する方向決定部と、決定した方向へ視覚障碍者が歩くためのガイド情報を生成するガイド情報生成部とを備え、視覚障碍者が携帯するカメラからの画像と、予め記憶されている参照画像とのマッチングによって視覚障碍者の歩行方向を決定し、音声等によって視覚障碍者に対して歩行方向を案内することが開示されている。
ところで、実際に歩行者(視覚障碍者等)が横断歩道に接近する状況において、信号機(例えば歩行者用信号機)が赤信号となっている際に歩行者が停止すべき位置は横断歩道の手前(例えば横断歩道から数m手前)である。このため、歩行者に対して横断歩道の手前で歩行の停止通知を行う場合、横断歩道において最も手前側にある白線(最も歩行者寄りにある白線)の位置をカメラ等の画像取得手段からの情報によって正確に認識しておくことが必要である。特許文献1に開示されている歩行支援システムでは、カメラからの画像に基づき、視覚障碍者が横断歩道に近づいた際、横断歩道手前である旨の音声メッセージを出力するようになっている
ところで、横断歩道上に障害物(例えば路上駐車した車両等)が存在する場合であって、当該障害物が、横断歩道において最も手前側にある白線を覆い隠している状況(例えば、横断歩道の存在は認識されているものの、最も手前側にある白線が覆い隠されていることにより、当該白線の位置を正確に認識することができない状況)が発生することがある。このような状況が発生した場合、安全のために、例えば、障害物が認識された時点で歩行者に対して歩行の停止通知を行うようにすることが考えられる。しかし、この場合、必要以上に横断歩道の手前の位置で歩行者を停止させてしまう可能性があり、歩行者と横断歩道との間に別の障害物が入り込むなどして歩行再開時に歩行し難くなってしまうことが懸念される。このため、歩行支援システムの実用化を図る上で改良の余地があった。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、横断歩道上に障害物が存在する場合であっても、歩行者に対する歩行の停止通知を適切に行うことができる歩行支援システムを提供することにある。
前記の目的を達成するための本発明の解決手段は、歩行者が横断歩道に接近する状況において、当該歩行者に対して、横断歩道の手前での停止通知が可能な歩行支援システムを前提とする。そして、この歩行支援システムは、画像取得手段、横断歩道検出部、通知手段、端縁位置設定部を備えている。画像取得手段は、前記歩行者の歩行の前方の画像を取得する。横断歩道検出部は、前記画像取得手段が取得した画像に基づいて前記横断歩道の認識が可能であると共に、当該横断歩道における前記歩行者寄りの端縁位置を検出可能である。通知手段は、前記横断歩道検出部によって検出された前記横断歩道における前記歩行者寄りの端縁位置の手前に前記歩行者が達した場合に当該歩行者に対して停止を促す前記停止通知を行う。端縁位置設定部は、前記横断歩道上に存在する障害物に起因して、前記横断歩道検出部による当該横断歩道における前記歩行者寄りの端縁位置が検出できない場合に、前記画像取得手段が取得した画像での前記障害物における前記歩行者寄りの端縁位置を、前記横断歩道における前記歩行者寄りの端縁位置として設定する。
この特定事項により、横断歩道上に障害物が存在せず、画像取得手段が取得した画像に基づいて横断歩道における歩行者寄りの端縁位置が横断歩道検出部によって検出される状況(横断歩道上に障害物が存在していても、画像取得手段が取得した画像から横断歩道における歩行者寄りの端縁位置が検出できている状況を含む)では、横断歩道における歩行者寄りの端縁位置の手前に歩行者が達した時点で、通知手段が歩行者に対して停止を促す通知(停止通知)を行う。これに対し、横断歩道上に障害物が存在しており、この障害物に起因して、画像取得手段が取得した画像から横断歩道における歩行者寄りの端縁位置が検出できない状況では、端縁位置設定部が、前記画像での障害物における歩行者寄りの端縁位置を、横断歩道における歩行者寄りの端縁位置として設定する(障害物における歩行者寄りの端縁位置を、横断歩道における歩行者寄りの端縁位置とみなす処理を行う)。これにより、障害物における歩行者寄りの端縁位置の手前に歩行者が達した時点で、通知手段が歩行者に対して停止通知を行うことになる。このため、横断歩道上に障害物が存在する場合であっても、歩行者に対する停止通知を適切に行うことができる。
また、前記端縁位置設定部は、前記画像取得手段が取得した前記画像の下端位置と当該画像によって認識されている前記横断歩道の当該画像上での下端位置との間の距離である横断歩道乖離距離から、前記画像の下端位置と当該画像によって認識されている前記障害物の当該画像上での下端位置との間の距離である障害物乖離距離を減算した値が、予め設定された値よりも大きい場合に、前記画像での前記障害物における前記歩行者寄りの端縁位置を、前記横断歩道における前記歩行者寄りの端縁位置として設定する。
一般に横断歩道は、横断方向に対して直交する方向に延在する白線が横断方向に亘って所定間隔を存して複数配置されている。そして、横断歩道上に障害物が存在する状況としては、最も歩行者寄りの白線の全てが障害物によって覆い隠されている状況と、最も歩行者寄りの白線の一部が障害物によって覆い隠されている状況とがある。
最も歩行者寄りの白線の全てが障害物によって覆い隠されている状況にあっては、最も歩行者寄りの白線よりも奥側(歩行者から遠い側)に位置する白線については検出できている場合があるため、横断歩道乖離距離(画像の下端位置と当該画像によって認識されている横断歩道の当該画像上での下端位置との間の距離;この場合には画像の下端位置と奥側に位置する白線の下端位置との間の距離)から、障害物乖離距離(画像の下端位置と当該画像によって認識されている障害物の当該画像上での下端位置との間の距離)を減算した値は比較的大きな値として得られることになる。この場合、画像取得手段が取得した画像での障害物における歩行者寄りの端縁位置を、横断歩道における歩行者寄りの端縁位置として設定し、障害物における歩行者寄りの端縁位置(横断歩道における歩行者寄りの端縁位置と見なされた位置)の手前に歩行者が達した時点で、通知手段が歩行者に対して停止通知を行うことになる。
一方、最も歩行者寄りの白線の一部が障害物によって覆い隠されている状況にあっては、この白線の一部が歩行者寄りの端縁位置として横断歩道検出部によって検出することができ、横断歩道乖離距離から障害物乖離距離を減算した値は比較的小さな値(負の値の場合も含む)として得られることになる。この場合、画像取得手段が取得した画像での障害物における歩行者寄りの端縁位置を利用することなく、横断歩道検出部によって検出された、実際の横断歩道における歩行者寄りの端縁位置(最も歩行者寄りの白線の端縁位置)を利用し、この歩行者寄りの端縁位置の手前に歩行者が達した時点で、通知手段が歩行者に対して停止通知を行うことになる。
このように横断歩道乖離距離から障害物乖離距離を減算した値に応じて、停止通知を行うに当たって採用すべき端縁位置(横断歩道における歩行者寄りの端縁位置または障害物における歩行者寄りの端縁位置)を選択することにより、歩行者に対する停止通知を適切に行うことができる。
また、前記横断歩道検出部による前記横断歩道の認識がされない状態が所定時間継続した場合に、システムを停止すると共にその旨の情報を通知手段に向けて送信するシステム停止部を備えている。
横断歩道上に障害物が存在する状況としては、前述した各状況以外に、画像取得手段が取得した画像上において横断歩道の全体が障害物によって覆い隠されている(横断歩道の殆どの白線または全ての白線が障害物によって覆い隠されている)状況もある。このような状況にあっては、画像取得手段が取得した画像から横断歩道の存在を認識することができない(横断歩道の存在の有無を判断することができない)。つまり、横断歩道が存在しないにも拘わらず停止通知(障害物が存在していることに起因して停止通知)を行ってしまう可能性があり、歩行支援システムの作動の信頼性(停止通知の信頼性)を十分に得ることができない状態である。このため、このような状況では、横断歩道の認識がされない状態が所定時間継続することになるので、それを条件として、システムを停止し、誤った停止通知が行われてしまうことを回避すると共に、システムが停止した旨の情報を通知手段に向けて送信し、該通知手段から歩行者に対してシステムが停止したことを知らせる。これにより、横断歩道の全体が障害物によって覆い隠されている状況でのシステムの誤作動を抑制することができると共にシステムが停止したことを歩行者に知らせることができる。
また、前記画像取得手段、前記横断歩道検出部、前記通知手段、および、前記端縁位置設定部それぞれを、視覚障碍者が使用する白杖に内蔵させた場合には、白杖のみで歩行支援システムを実現することができ、実用性の高い歩行支援システムを提供することができる。
また、前記通知手段は、振動または音声によって、前記視覚障碍者に向けて通知を行う構成となっている。
これにより、白杖を持ちながら歩行する視覚障碍者(前記歩行者)に対して停止通知を適切に行うことができる。
本発明では、横断歩道上に存在する障害物に起因して、当該横断歩道における歩行者寄りの端縁位置が検出できない場合には、画像取得手段が取得した画像での障害物における歩行者寄りの端縁位置を、横断歩道における歩行者寄りの端縁位置として設定するようにしている。これにより、障害物における歩行者寄りの端縁位置の手前に歩行者が達した時点で、通知手段が歩行者に対して停止通知を行うことになり、横断歩道上に障害物が存在する場合であっても、歩行者に対する停止通知を適切に行うことができる。
以下、本発明の実施の形態を図面に基づいて説明する。本実施形態では、本発明に係る歩行支援システムを、視覚障碍者が使用する白杖に内蔵した場合について説明する。尚、本発明における歩行者としては視覚障碍者に限定されるものではない。
-白杖の概略構成-
図1は、本実施形態に係る歩行支援システム10を内蔵した白杖1を示す図である。この図1に示すように、白杖1は、シャフト部2、グリップ部3、チップ部(石突き)4を備えている。
図1は、本実施形態に係る歩行支援システム10を内蔵した白杖1を示す図である。この図1に示すように、白杖1は、シャフト部2、グリップ部3、チップ部(石突き)4を備えている。
シャフト部2は、中空の略円形断面を有するロッド状であって、アルミニウム合金やガラス繊維強化樹脂、炭素繊維強化樹脂等で形成されている。
グリップ部3は、シャフト部2の基端部(上端部)にゴム等の弾性体で成るカバー31が装着されて構成されている。また、本実施形態における白杖1のグリップ部3は、視覚障碍者(歩行者)が把持する際の持ち易さと滑り難さを考慮し、先端側(図1における上側)が僅かに湾曲した形状となっている。
チップ部4は、硬質の合成樹脂などで形成された略有底筒状の部材であって、シャフト部2の先端部に外挿されて接着やねじ止めなどの手段で固定されている。尚、チップ部4は、安全のために、先端側の端面が半球状となっている。
本実施形態に係る白杖1は、折り畳み不能な直杖であるが、シャフト部2の中間の一箇所または複数箇所で折り畳み可能或いは伸縮可能とされたものであってもよい。
-歩行支援システムの構成-
本実施形態の特徴は、前記白杖1に内蔵された歩行支援システム10にある。以下、この歩行支援システム10について説明する。
本実施形態の特徴は、前記白杖1に内蔵された歩行支援システム10にある。以下、この歩行支援システム10について説明する。
図2は、白杖1のグリップ部3の内部を示す概略図である。この図2に示すように、本実施形態に係る歩行支援システム10は、白杖1に内蔵されている。また、図3は、歩行支援システム10の制御系の概略構成を示すブロック図である。
これらの図に示すように、歩行支援システム10は、カメラ(画像取得手段)20、近距離無線通信機40、振動発生機(通知手段)50、バッテリ60、充電ソケット70、制御装置80等を備えている。
カメラ20は、グリップ部3の根元部における当該グリップ部3の前面(視覚障碍者の進行方向に向く面)に埋め込まれ、視覚障碍者の進行方向前側を撮影する。このカメラ20は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で成る。また、カメラ20の構成や配設位置は前述したものには限定されず、例えば、シャフト部2の前面(視覚障碍者の進行方向に向く面)に埋め込まれたものであってもよい。
このカメラ20の特徴としては、歩行する視覚障碍者の進行方向の前方の画像であって、当該視覚障碍者が横断歩道に達した際における、当該横断歩道の白線のうち視覚障碍者に最も近い位置にある白線、および、視覚障碍者の前方に位置する信号機(例えば歩行者用信号機)の両方を含む画像を取得可能な広角のカメラとして構成されている。つまり、視覚障碍者が横断歩道の手前まで達した時点で、視覚障碍者の足元付近(足元から少し前方の位置)に存在する横断歩道における最も手前側にある白線と、横断先の地点に設置された信号機との両方を撮影可能な構成となっている。このカメラ20において必要とされる視野角度は、前述したように視覚障碍者に最も近い位置にある白線(横断歩道の白線)および信号機の両方を含む画像を取得可能なものとして適宜設定される。
近距離無線通信機40は、前記カメラ20と制御装置80との間で近距離無線通信を行うための無線通信装置である。例えば、周知のBluetooth(登録商標)等の通信手段によって、カメラ20と制御装置80との間で近距離無線通信を行い、カメラ20が撮影した画像の情報を制御装置80に向けて無線送信する構成となっている。
振動発生機50は、グリップ部3の根元部における前記カメラ20の上側に配設されている。この振動発生機50は、内蔵されたモータの作動に伴って振動し、その振動をグリップ部3に伝達することによって、当該グリップ部3を把持している視覚障碍者に向けて種々の通知が行えるようになっている。この振動発生機50の振動による視覚障碍者に向けての通知の具体例については後述する。
バッテリ60は、前記カメラ20、近距離無線通信機40、振動発生機50、制御装置80のための電力を蓄電する二次電池で構成されている。
充電ソケット70は、バッテリ60に電力を蓄える際に充電ケーブルが接続される部分である。例えば、視覚障碍者が在宅中に家庭用電源からバッテリ60を充電する際に充電ケーブルが接続される。
制御装置80は、例えば、CPU(Central Processing Unit)等のプロセッサ、制御プログラムを記憶するROM(Read-Only Memory)、データを一時的に記憶するRAM(Random-Access Memory)、および、入出力ポート等を備えている。
そして、この制御装置80は、前記制御プログラムによって実現される機能部として、情報受信部81、横断歩道検出部82、端縁位置設定部83、信号機判断部84、切り替わり認識部85、情報送信部86、システム停止部87を備えている。以下、これら各部の機能の概略について説明する。
情報受信部81は、前記カメラ20が撮影した画像の情報を、当該カメラ20から近距離無線通信機40を介して所定時間間隔をもって受信する。
横断歩道検出部82は、情報受信部81が受信した画像の情報(カメラ20によって撮影された画像の情報)における当該画像中における、横断歩道を認識したり、横断歩道における各白線の位置を検出する。特に、横断歩道における各白線のうち、最も歩行者寄りの端縁位置(手前の位置)を検出する。
具体的には、図4(カメラ20で撮影された画像の一例を示す図)に示すように、横断歩道CWを構成する複数の白線WL1~WL7に対してBoundary Box(図4の一点鎖線を参照)を設定する。例えば周知のマッチング処理によって横断歩道CWの白線WL1~WL7を確定し、これら確定された白線WL1~WL7に対してBoundary Boxを設定する。また、予めアノテーションされた白線のデータ(ラベルが付けられた白線のデータ)を利用して白線WL1~WL7を確定し、これら確定された白線WL1~WL7に対してBoundary Boxを設定するようにしてもよい。
そして、横断歩道検出部82は、これらBoundary Boxのうち最も歩行者寄りのBoundary Boxの下端位置(図4におけるLNを参照)を検出する。この下端位置が本発明でいう「横断歩道における歩行者寄りの端縁位置」に相当する。本実施形態では、各白線WL1~WL7に対してBoundary Boxを設定し、画像上において最も下側に位置するBoundary Boxの下端位置LNを「横断歩道における歩行者寄りの端縁位置」としているが、Boundary Boxを設定することなく、画像上において確定された複数の白線WL1~WL7のうち最も下側に位置する白線WL1の下端位置を「横断歩道における歩行者寄りの端縁位置」とするものであってもよい。
尚、前記Boundary Boxは、後述するように、視覚障碍者の停止位置の特定、信号機TLの位置の特定、視覚障碍者が横断歩道CWを横断する際の進行方向の特定、横断歩道CWの横断完了の判断等に利用される。これらの詳細については後述する。
端縁位置設定部83は、本実施形態において特徴とする機能部であって、横断歩道CW上に路上駐車した車両等の障害物が存在する場合に(図14および図15を参照)、振動発生機50の振動によって視覚障碍者に向けて停止通知を行うに際し、その停止通知を行うための位置(横断歩道CWにおける歩行者寄りの端縁位置とみなす位置)を求めるための処理を行う機能部である。つまり、横断歩道CW上に存在する障害物Vに起因して、横断歩道検出部82による横断歩道CWにおける歩行者寄りの端縁位置(前記下端位置LN)が検出できない場合に、カメラ20によって撮影された画像での障害物Vにおける歩行者寄りの端縁位置を、横断歩道CWにおける歩行者寄りの端縁位置として設定するものである。言い換えると、端縁位置設定部83は、障害物Vにおける歩行者寄りの端縁位置を、横断歩道CWにおける歩行者寄りの端縁位置とみなす処理が可能な機能部である。横断歩道CW上に障害物Vが存在する場合において、歩行者寄りの端縁位置を設定する処理の詳細については後述する。
信号機判断部84は、情報受信部81が受信した画像の情報から信号機TLの状態が、赤信号(停止指示状態)および青信号(横断許可状態)の何れであるかを判断する。情報受信部81が受信した画像上における信号機TLの存在領域を推定するに当たっては、前述の如く認識された白線WL1~WL7に設定されたBoundary Boxのうち、最も遠い位置にあるBoundary Boxの画像内座標を特定すると共に、図4に示すように、前記Boundary Box(認識された白線WL1~WL7のうち最も遠い位置にある白線WL7に設定されたBoundary Box)の上辺に接する四角形(幅寸法がws、高さ寸法がhsの四角形)を規定し、これを信号機TLの領域(信号機TLの存在領域)AとしてのCrop範囲を出力する。この際、Crop範囲は正方形であってもよいし長方形であってもよい。尚、この信号機判断部84によって行われる信号機の状態の判断(色の検出)は、一般的な物体検出アルゴリズムまたはルールベースアルゴリズムが用いられる。
切り替わり認識部85は、前記信号機判断部84によって判断された信号機TLの状態が、赤信号から青信号に切り替わったことを認識する。この信号の切り替わりを認識した際、この切り替わり認識部85は、切り替わり信号を情報送信部86に送信する。この切り替わり信号は、情報送信部86から振動発生機50に送信される。振動発生機50は、この切り替わり信号を受けたことに連動して、所定のパターンで振動し、視覚障碍者に、信号機TLが赤信号から青信号に切り替わったことに起因して横断歩道の横断を許可する通知(横断開始通知)を行うことになる。
システム停止部87は、前記横断歩道検出部82による横断歩道CWの認識がされない状態が所定時間継続した場合に、歩行支援システム10を停止すると共にその旨の情報を情報送信部86を介して振動発生機50に送信する。ここでいう「歩行支援システム10を停止する」とは、少なくとも振動発生機50の振動による各種の通知を停止した状態である。この歩行支援システム10を停止させる際の処理の詳細については後述する。
-歩行支援動作-
次に、前述の如く構成された歩行支援システム10による歩行支援動作について説明する。先ず、本実施形態の概要について説明する。
次に、前述の如く構成された歩行支援システム10による歩行支援動作について説明する。先ず、本実施形態の概要について説明する。
(本実施形態の概要)
ここでは、視覚障碍者の歩行中における時間をt∈[0,T]と表し、当該視覚障碍者の状態を表す変数(状態変数)をs∈RTとする。また、時刻tのときの状態変数はst∈{-1,0,1,2}の整数で表現され、それぞれ、システム停止状態(st=-1)、歩行状態(st=0)、停止状態(st=1)、横断状態(st=2)を表すものとする。ここでいうシステム停止状態とは、システムの停止条件が成立したことにより歩行支援システム10が停止した状態である。具体的には、前述したように、本実施形態に係る歩行支援システム10では、横断歩道検出部82による横断歩道CWの認識がされない状態が所定時間継続(システムの停止条件が成立)した場合に歩行支援システム10を停止するようになっており、システム停止状態とは、このシステムの停止条件が成立したことで歩行支援システム10が停止した状態である。歩行状態とは、例えば歩行者が交差点(信号機TLおよび横断歩道CWのある交差点)に向かって歩行している状態が想定される。また、停止状態とは、視覚障碍者が横断歩道CWの手前に達し、信号待ちによって(赤信号から青信号に切り替わるのを待って)停止している状態(歩行していない状態)が想定される。また、横断状態とは、視覚障碍者が横断歩道CWを横断している状態が想定される。
ここでは、視覚障碍者の歩行中における時間をt∈[0,T]と表し、当該視覚障碍者の状態を表す変数(状態変数)をs∈RTとする。また、時刻tのときの状態変数はst∈{-1,0,1,2}の整数で表現され、それぞれ、システム停止状態(st=-1)、歩行状態(st=0)、停止状態(st=1)、横断状態(st=2)を表すものとする。ここでいうシステム停止状態とは、システムの停止条件が成立したことにより歩行支援システム10が停止した状態である。具体的には、前述したように、本実施形態に係る歩行支援システム10では、横断歩道検出部82による横断歩道CWの認識がされない状態が所定時間継続(システムの停止条件が成立)した場合に歩行支援システム10を停止するようになっており、システム停止状態とは、このシステムの停止条件が成立したことで歩行支援システム10が停止した状態である。歩行状態とは、例えば歩行者が交差点(信号機TLおよび横断歩道CWのある交差点)に向かって歩行している状態が想定される。また、停止状態とは、視覚障碍者が横断歩道CWの手前に達し、信号待ちによって(赤信号から青信号に切り替わるのを待って)停止している状態(歩行していない状態)が想定される。また、横断状態とは、視覚障碍者が横断歩道CWを横断している状態が想定される。
本実施形態は、時刻tでカメラ20によって撮影された画像Xt∈Rw0×h0(w0,h0はそれぞれ画像の縦と横の画像サイズを表す)が入力された際に、視覚障碍者の歩行を支援することを目的とした出力y∈RTを求めるアルゴリズムを提案するものとなっている。ここで、視覚障碍者の歩行を支援する出力としては、yt∈{1,2,3,4,5}の整数で表現され、それぞれ、停止指示(yt=1)、歩行指示(yt=2)、右逸脱警告(yt=3)、左逸脱警告(yt=4)、システム停止通知(yt=5)を表すものとする。以下の説明では停止指示を停止通知という場合もある。また、歩行指示を歩行通知または横断通知という場合もある。これらの指示(通知)および警告は、振動発生機50の振動のパターンによって視覚障碍者に対して行われる。視覚障碍者は、予め、指示(通知)および警告と、振動発生機50の振動のパターンとの関係を把握しており、振動発生機50の振動のパターンをグリップ部3から感じ取ることで指示および警告の種類を把握することになる。
また、後述するように、視覚障碍者の状態を表す変数sの遷移を判定する関数(以下、状態遷移関数という)f0,f1,f2と、横断歩道からの逸脱(左右方向への逸脱)を判断する状態遷移関数f3が存在しており、これら状態遷移関数f0~f3が前記ROMに記憶されている。これら状態遷移関数f0~f3の具体例については後述する。
(出力変数yおよび状態遷移関数fiの概要)
前述した視覚障碍者の歩行を支援する出力yt∈{1,2,3,4,5}について説明する。
前述した視覚障碍者の歩行を支援する出力yt∈{1,2,3,4,5}について説明する。
前述したように出力ytとしては、視覚障碍者の歩行支援を目的として、停止指示(yt=1)、歩行指示(yt=2)、右逸脱警告(yt=3)、左逸脱警告(yt=4)、システム停止通知(yt=5)の5種類の出力が存在する。
停止指示(yt=1)は、歩行する視覚障碍者が横断歩道の手前まで達した時点で当該視覚障碍者に歩行を停止する旨の通知を行うものである。例えば、カメラ20で撮影された画像が、図5(視覚障碍者が横断歩道CWに向かう歩行状態にある際に、カメラ20で撮影された画像の一例を示す図)に示す状態であれば、横断歩道CWまでの距離が比較的長いため、停止指示(yt=1)は行わず、視覚障碍者は歩行状態(st=0)が継続され、カメラ20で撮影された画像が、図6(視覚障碍者が横断歩道CWに達したタイミングにおいてカメラ20で撮影された画像の一例を示す図)に示す状態となった場合には、視覚障碍者が横断歩道CWの手前に達したタイミングであることから、停止指示(yt=1)を出力して、当該視覚障碍者に歩行を停止する旨の通知を行うことになる。この停止指示(yt=1)を行う条件が成立しているか否かの判定(状態遷移関数の算出結果に基づく判定)については後述する。
歩行指示(yt=2)は、信号機TLが赤信号から青信号に切り替わったことで、視覚障碍者に歩行(横断歩道CWの横断)を指示する旨の通知を行うものである。例えば、横断歩道CWの手前で視覚障碍者が停止状態(st=1)にある状況で、カメラ20で撮影された画像に基づいて信号機TLが赤信号から青信号に切り替わった場合に、歩行指示(yt=2)を出力して、当該視覚障碍者に横断歩道CWの横断を開始する旨の通知を行う。この歩行指示(yt=2)を行う条件が成立しているか否かの判定(状態遷移関数の算出結果に基づく判定)についても後述する。
そして、本実施形態では、この歩行指示(yt=2)を行うタイミングとして、信号機TLの状態が赤信号から青信号に切り替わったタイミングとしている。つまり、仮に、視覚障碍者が横断歩道CWに達した時点で既に信号機TLが青信号となっていたとしても歩行指示(yt=2)は行わず、信号機TLが一旦赤信号となり、その後に青信号に切り替わったタイミングで歩行指示(yt=2)を行うようにしている。これによって、視覚障碍者が横断歩道CWを横断するに当たって、信号機TLが青信号となっている時間を十分に確保することができるようにし、視覚障碍者が横断歩道CWを横断している途中で信号機TLが青信号から赤信号に切り替わってしまうといった状況を招き難くしている。
右逸脱警告(yt=3)は、横断歩道CWを横断している視覚障碍者が横断歩道CWから右側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道CWから右側に逸脱する虞があることの警告を行うものである。例えば、カメラ20で撮影された画像が図7(視覚障碍者が横断歩道CWの横断状態にある際に、カメラ20で撮影された画像の一例を示す図)に示す状態にあって、視覚障碍者が横断歩道CWの横断状態(st=2)にある状況で、カメラ20で撮影された画像が、図8(横断歩道CWの横断状態にある視覚障碍者が横断歩道CWの右側に逸脱する方向に向かって歩行している際に、カメラ20で撮影された画像の一例を示す図)に示す状態となった場合には、視覚障碍者が横断歩道CWから右側に逸脱する方向に向かって歩行していることから、右逸脱警告(yt=3)を出力して、当該視覚障碍者に警告を行うことになる。
左逸脱警告(yt=4)は、横断歩道CWを横断している視覚障碍者が横断歩道CWから左側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道CWから左側に逸脱する虞があることの警告を行うものである。例えば、カメラ20で撮影された画像が図7に示す状態にあって、視覚障碍者が横断歩道CWの横断状態(st=2)にある状況で、カメラ20で撮影された画像が、図9(横断歩道CWの横断状態にある視覚障碍者が横断歩道CWの左側に逸脱する方向に向かって歩行している際に、カメラ20で撮影された画像の一例を示す図)に示す状態となった場合には、視覚障碍者が横断歩道CWから左側に逸脱する方向に向かって歩行していることから、左逸脱警告(yt=4)を出力して、当該視覚障碍者に警告を行うことになる。
これら右逸脱警告(yt=3)および左逸脱警告(yt=4)を行う条件が成立しているか否かの判定(状態遷移関数の算出結果に基づく判定)についても後述する。
システム停止通知(yt=5)は、システムの停止条件が成立した際に、視覚障碍者に歩行支援システム10が停止したことの通知を行うものである。具体的には、横断歩道CW上に障害物Vが存在する状況で、カメラ20が取得した画像上において横断歩道CWの全体が障害物Vによって覆い隠されている(横断歩道CWの殆どの白線または全ての白線WL1~WL7が障害物Vによって覆い隠されている)状況にあっては、カメラ20が取得した画像から横断歩道CWの存在を認識することができない(横断歩道CWの存在の有無を判断することができない)。つまり、横断歩道CWが存在しないにも拘わらず停止通知(障害物Vが存在していることに起因して停止通知)を行ってしまう可能性があり、歩行支援システム10の作動の信頼性(停止通知の信頼性)を十分に得ることができない。このため、このような状況では、横断歩道CWの認識がされない状態が所定時間継続することになるので、それを条件として、歩行支援システム10を停止し、誤った停止通知が行われてしまうことを回避すると共に、歩行支援システム10が停止した旨の情報を振動発生機50に送信し、該振動発生機50から歩行者に対して歩行支援システム10が停止したことを知らせるようにしている。
(歩行支援で用いる特徴量)
次に、視覚障碍者に対する歩行支援で用いる特徴量について説明する。視覚障碍者に対して、横断歩道CWの手前での歩行の停止通知、および、その後の横断開始通知等の各種通知を適切に行うためには、横断歩道CWの位置(横断歩道CWにおいて最も手前側にある白線WL1の位置)、および、信号機TLの状態(青信号であるか赤信号であるか)をカメラ20からの情報によって正確に認識しておくことが必須である。つまり、白線WL1の位置および信号機TLの状態を反映させたモデル式を構築しておき、このモデル式に従って、現在、視覚障碍者が置かれている状況を把握できるようにしておく必要がある。
次に、視覚障碍者に対する歩行支援で用いる特徴量について説明する。視覚障碍者に対して、横断歩道CWの手前での歩行の停止通知、および、その後の横断開始通知等の各種通知を適切に行うためには、横断歩道CWの位置(横断歩道CWにおいて最も手前側にある白線WL1の位置)、および、信号機TLの状態(青信号であるか赤信号であるか)をカメラ20からの情報によって正確に認識しておくことが必須である。つまり、白線WL1の位置および信号機TLの状態を反映させたモデル式を構築しておき、このモデル式に従って、現在、視覚障碍者が置かれている状況を把握できるようにしておく必要がある。
尚、以下における特徴量および状態遷移関数の説明は、歩行支援システム10の基本的な動作として、横断歩道CW上に障害物Vが存在しておらず、カメラ20が取得した画像上において横断歩道CWが認識されている(少なくとも最も手前に位置する白線WL1が認識されている)状態である場合について説明する。
図10および図11は、視覚障碍者に対する歩行支援で用いる特徴量{w3,w4,w5,h3,r,b}T∈R6の概要を示している。r,bは、それぞれ信号機TLの状態(赤信号および青信号)の検出結果(0:未検出、1:検出)を表している。この信号機TLの状態の検出に際し、前述したように図4において破線で囲まれた領域Aが抽出されることで信号機TLの状態の認識が行われることになる。また、w3,w4,w5,h3は、前記横断歩道検出部82によって認識された横断歩道CWの白線WL1~WL7のうち、最も手前に位置する白線WL1に対するBoundary Boxを用いて図11に示すように定義される。つまり、w3は画像の左端からBoundary Boxの左端(白線WL1の左端に相当)までの距離であり、w4はBoundary Boxの幅寸法(白線WL1の幅寸法に相当)であり、w5は画像の右端からBoundary Boxの右端(白線WL1の右端に相当)までの距離であり、h3は画像の下端からBoundary Boxの下端(白線WL1の手前側の端縁に相当)までの距離である。
深層学習を用いて横断歩道CWおよび信号機TLを検出する関数をgとした場合、時刻tでカメラ20によって撮影された画像Xt∈Rw0×h0を用いて予測された横断歩道CWおよび信号機TLのBoundary Boxをg(Xt)と表現すると、視覚障碍者の歩行を支援するために必要な特徴量としては、以下の式(1)として表現できる。
ここで、
は前記特徴量j(t)を抽出する演算子であり、前記g(Xt)に対する後処理を行うためのものであり、p1は1フレーム当たりのBoundary Boxの最大数である。
(状態遷移関数)
次に、状態遷移関数について説明する。この状態遷移関数は、前述したように、停止指示(yt=1)、歩行指示(yt=2)、右逸脱警告(yt=3)、左逸脱警告(yt=4)それぞれの通知を行う条件が成立しているか否かを判定するために用いられるものである。
次に、状態遷移関数について説明する。この状態遷移関数は、前述したように、停止指示(yt=1)、歩行指示(yt=2)、右逸脱警告(yt=3)、左逸脱警告(yt=4)それぞれの通知を行う条件が成立しているか否かを判定するために用いられるものである。
時刻t+1での状態量(状態変数)st+1は、横断歩道CWの特徴量に対する時刻履歴情報J={j(0),j(1),…j(t)}と、現在の状態量(状態変数)st、および、時刻t+1で撮影された画像Xt+1を用いて以下の式(3)のように表すことができる。
この式(3)における状態遷移関数fは、現在時刻の状態量に応じて以下の式(4)のように定義することができる。
つまり、視覚障碍者の歩行の推移としては、歩行(例えば横断歩道CWに向かう歩行)→停止(例えば横断歩道CWの手前での停止)→横断(例えば横断歩道CWの横断)→歩行(例えば横断歩道CWの横断完了後の歩行)を繰り返すことになるが、歩行状態(st=0)にある視覚障碍者に対して停止指示(yt=1)を行う条件の成立の有無を判定するための状態遷移関数がf0(J,Xt+1)であり、停止状態(st=1)にある視覚障碍者に対して横断(歩行)指示(yt=2)を行う条件の成立の有無を判定するための状態遷移関数がf1(J,Xt+1)であり、横断状態(st=2)にある視覚障碍者に対して歩行(横断の完了)の通知を行う条件の成立の有無を判定するための状態遷移関数がf2(J,Xt+1)である。また、横断状態(st=2)にある視覚障碍者に対して横断歩道CWからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数がf3(J,Xt+1)である。
以下、各状態量(状態変数)それぞれに応じた状態遷移関数について具体的に説明する。
(歩行状態で適用される状態遷移関数)
現在時刻の状態量が歩行状態(st=0)である場合に使用される状態遷移関数f0(j,Xt+1)は、前記式(1)の特徴量を用いて以下の式(5)~(7)とすることができる。
現在時刻の状態量が歩行状態(st=0)である場合に使用される状態遷移関数f0(j,Xt+1)は、前記式(1)の特徴量を用いて以下の式(5)~(7)とすることができる。
ここで、HはHeaviside関数であり、δはDelta関数である。また、α1,α2は判定基準に用いられるパラメータであり、t0は利用する過去の状態を指定するパラメータである。また、I2={0,1,0,0,0,0}T、I4={0,0,0,1,0,0}Tである。
この式(5)を用いれば、α1>h3、且つ、w4>α2の条件が過去t0時間では成立しておらず、時刻t+1で初めて成立した場合にのみ「1」が得られ、それ以外の場合には「0」が得られることになる。つまり、α1>h3が成立したことで、視覚障碍者の足元に、横断歩道CWにおける最も手前に位置する白線WL1(白線のBoundary Boxの下端)が位置し、w4>α2が成立したことで、その白線WL1は視覚障碍者の進行方向に直交する方向に延在する(白線のBoundary Boxの幅寸法が所定寸法を超えている)ものであることが判定された場合に「1」が得られるものとなっている。
このようにして式(5)において「1」が得られた場合には、停止指示(yt=1)を行う条件が成立したとして、歩行状態にある視覚障碍者に停止指示(例えば横断歩道CWの手前での歩行の停止指示;停止通知)を行うことになる。
また、本実施形態では、横断歩道CWが視覚障碍者の足元にある条件を(α1>h3)だけでなく、検出された横断歩道CWの幅の制約(w4>α2)を加えていることで、視覚障碍者の進行方向にある横断歩道CW以外の横断歩道(交差点において、視覚障碍者の進行方向に直交する方向の横断歩道等)が、画像Xt+1に含まれる場合の誤検知を防止している。つまり、道路の交差点等において横断方向が互いに異なる複数の横断歩道が存在している場合であっても、視覚障碍者が横断すべき横断歩道CW(白線WL1が、視覚障碍者が横断すべき方向に対して交差する方向に延びていることで、当該白線WL1の幅寸法が比較的広く認識されている横断歩道CW)とその他の横断歩道(白線の幅寸法が比較的狭く認識されている横断歩道)とを明確に判別することができ、視覚障碍者に向けての横断の開始通知を高い精度で正確に行うことが可能になっている。
(停止状態で適用される状態遷移関数)
前時刻の状態量が停止状態(st=1)である場合に使用される状態遷移関数f1(j,Xt+1)は、以下の式(8)~(10)とすることができる。
前時刻の状態量が停止状態(st=1)である場合に使用される状態遷移関数f1(j,Xt+1)は、以下の式(8)~(10)とすることができる。
ここでX’t+1は、Xt+1から画像のトリミングと拡大処理とを行って得られたものである。つまり、信号機TLの認識精度が十分に高められた画像X’t+1となっている。また、I5={0,0,0,0,1,0}T、I6={0,0,0,0,0,1}Tである。
式(8)では、過去t0時間に赤信号を検知した後で、時刻t+1で初めて青信号を検知した場合にのみ「1」が得られ、それ以外の場合には「0」が得られることになる。
このようにして式(8)において「1」が得られた場合には、歩行(横断)指示(yt=2)を行う条件が成立したとして、停止状態にある視覚障碍者に横断指示(例えば横断歩道の横断指示;横断通知)を行うことになる。
また、信号機がない交差点の横断歩道では前述のロジックでの状態遷移ができない場合がある。この課題を解決するために、新たなパラメータt1>t0を導入し、時間t1の間、停止状態からの状態遷移がないと判断された場合に、歩行状態に遷移するようにしてもよい。
(横断状態で適用される状態遷移関数)
前時刻の状態量が横断状態(st=2)である場合に使用される状態遷移関数f2(j,Xt+1)は、以下の式(11)とすることができる。
前時刻の状態量が横断状態(st=2)である場合に使用される状態遷移関数f2(j,Xt+1)は、以下の式(11)とすることができる。
この式(11)では、過去t-t0から、現在時刻t+1の間に一度も信号機および足元の横断歩道CWが検出できなかった場合にのみ「1」が得られ、それ以外の場合には「0」が得られることになる。つまり、横断歩道CWを渡りきったことで信号機TLおよび足元の横断歩道CWが検出できなかった場合にのみ「1」が得られることになる。
このようにして式(11)において「1」が得られた場合には、横断完了の通知を行う条件が成立したとして、歩行状態にある視覚障碍者に横断完了(横断歩道の横断の完了)の通知を行うことになる。
(横断歩道からの逸脱を判定する状態遷移関数)
視覚障碍者の横断歩道CWの横断中に、横断歩道CWからの逸脱を判定する状態遷移関数f3(j,Xt+1)は、以下の式(12)~(14)とすることができる。
視覚障碍者の横断歩道CWの横断中に、横断歩道CWからの逸脱を判定する状態遷移関数f3(j,Xt+1)は、以下の式(12)~(14)とすることができる。
ここで、α3は判定基準に用いられるパラメータである。また、I1={1,0,0,0,0,0}T、I3={0,0,1,0,0,0}Tである。
この式(12)では、検出された横断歩道CWの位置におけるフレームの中心からのズレ量が許容量以上であれば「1」が得られ、それ以外では「0」が得られることになる。つまり、w3の値が所定値よりも大きくなった場合(右逸脱の場合)や、w5の値が所定値よりも大きくなった場合(左逸脱の場合)に「1」が得られることになる。
このようにして式(12)において「1」が得られた場合には、右逸脱警告(yt=3)または左逸脱警告(yt=4)を行うことになる。
(障害物が存在する場合の停止通知動作)
横断歩道CW上に障害物(例えば路上駐車した車両)Vが存在する場合であって、当該障害物Vが、横断歩道CWにおいて最も手前側にある白線WL1を覆い隠している状況(例えば、横断歩道CWの存在は認識されているものの、最も手前側にある白線WL1が覆い隠されていることにより、当該白線WL1の位置を正確に認識することができない状況)が発生することがある。このような状況が発生した場合、従来では、安全のために、例えば、障害物Vが認識された時点で歩行者に対して歩行の停止通知を行うようにすることが考えられる。しかし、この場合、必要以上に横断歩道CWの手前の位置で歩行者を停止させてしまう可能性があり、歩行者と横断歩道CWとの間に別の障害物が入り込むなどして歩行再開時に歩行し難くなってしまうことが懸念される。
横断歩道CW上に障害物(例えば路上駐車した車両)Vが存在する場合であって、当該障害物Vが、横断歩道CWにおいて最も手前側にある白線WL1を覆い隠している状況(例えば、横断歩道CWの存在は認識されているものの、最も手前側にある白線WL1が覆い隠されていることにより、当該白線WL1の位置を正確に認識することができない状況)が発生することがある。このような状況が発生した場合、従来では、安全のために、例えば、障害物Vが認識された時点で歩行者に対して歩行の停止通知を行うようにすることが考えられる。しかし、この場合、必要以上に横断歩道CWの手前の位置で歩行者を停止させてしまう可能性があり、歩行者と横断歩道CWとの間に別の障害物が入り込むなどして歩行再開時に歩行し難くなってしまうことが懸念される。
本実施形態は、この点に鑑み、横断歩道CW上に障害物Vが存在する場合であっても、歩行者に対する歩行の停止通知を適切に行うことができるようにしている。以下、具体的に説明する。
図12~図15は、視覚障碍者が横断歩道CWの手前に達した時点において、車両(障害物)Vによって横断歩道CWの一部または大部分が覆い隠されている状態の画像(カメラ20によって撮影された画像)である。図12は、最も歩行者寄りの白線(歩行者に最も近い白線)WL1が車両Vによって覆い隠されていない状態である(第1のパターン)。図13は、最も歩行者寄りの白線WL1の一部(右半分)が車両Vによって覆い隠された状態である(第2のパターン)。図14は、横断歩道CWの殆どの白線が車両Vによって覆い隠された状態である(第3のパターン)。図15は、最も歩行者寄りの白線WL1の全体、その奥側の白線WL2の全体、および、その奥側の白線WL3,WL4の一部(右側部分)それぞれが車両Vによって覆い隠された状態である(第4のパターン)。図13~図15における二点鎖線は画像上で認識された車両Vに対して設定されたBoundary Boxである。
第1のパターン(図12)や第2のパターン(図13)にあっては、最も歩行者寄りの白線WL1を認識することができ、当該白線WL1の最も手前の位置(画像上における下端位置:より具体的には当該白線WL1のBoundary Boxの下端位置LN)が検出できる状態となっている。このため、式(5)の状態遷移関数f0(j,Xt+1)によって、歩行状態(st=0)にある視覚障碍者に対して停止指示(yt=1)を行う条件の成立の有無を判定することが可能である。つまり、この式(5)において「1」が得られた場合には、停止指示(yt=1)を行う条件が成立したとして、歩行状態にある視覚障碍者に停止指示を行うことができる。
一方、第3のパターン(図14)にあっては、殆どの白線を認識することができないため、式(5)においては継続的に「0」が得られる状態となる。つまり、前方に横断歩道CWが存在しており視覚障碍者が横断歩道CWの手前に達しているにも拘わらず、白線WL1の最も手前の位置を認識することができないため、式(5)においては継続的に「0」が得られる状態である。
また、第4のパターン(図15)にあっては、最も歩行者寄りの白線WL1を認識することができないため、式(7)におけるh3は、最も歩行者寄りの白線WL1よりも奥側の白線WL3の下端と画像の下端位置との間の距離として求められることになり(図16を参照)、このh3が大きな値として算出されることになる。この場合、式(7)で算出される値が所定範囲から逸脱した状態となる。
また、第3のパターン(図14)や第4のパターン(図15)の画像が取得されたことで、白線WL1の最も手前の位置が検出できない状態であっても、その後に車両Vが移動して、白線WL1の最も手前の位置が検出できる状態となった場合には、式(7)で算出されるh3の値が所定範囲内の値となると共に、式(5)によって、歩行状態(st=0)にある視覚障碍者に対して停止指示(yt=1)を行う条件の成立の有無を判定することが可能となる。
これに対し、車両Vが駐車している場合や低車速で走行している場合にあっては、白線WL1の最も手前の位置が検出できない状態が継続されるため、従来技術にあっては、式(7)で算出されるh3の値が所定範囲を逸脱した状態や式(5)が「0」となる状態が継続されることになる。
そこで、本実施形態にあっては、前述した端縁位置設定部83が、カメラ20によって撮影された画像での車両(障害物)Vにおける歩行者寄りの端縁位置を、横断歩道CWにおける歩行者寄りの端縁位置として設定する。つまり、端縁位置設定部83は、車両Vにおける歩行者寄りの端縁位置を、横断歩道CWにおける歩行者寄りの端縁位置とみなす処理を行う。
この場合の具体的な処理としては、横断歩道乖離距離の算出動作、障害物乖離距離の算出動作、および、端縁位置設置動作が順に行われる。
横断歩道乖離距離の算出動作は、前記h3の値を算出する動作であり、図16に示すように、カメラ20が取得した画像の下端位置から当該画像によって認識されている横断歩道CWの当該画像上での下端位置(図16に示す場合にあっては、白線WL3に設定されたBoundary Boxの下端位置)までの距離h3を算出する。
障害物乖離距離の算出動作は、図16における距離hvの値を算出する動作であり、カメラ20が取得した画像の下端位置から当該画像によって認識されている車両Vの下端位置(より具体的には、車両Vに設定されたBoundary Boxの下端位置)までの距離hvを算出する。より具体的には、画像の下端位置から車両Vに設定されたBoundary Boxの下端位置までの距離をhiとし(iは障害物候補である)、以下の式(15)によって障害物乖離距離hvを算出する。つまり、車両Vの下端位置の複数箇所(例えば複数の障害物が存在する場合等)に対し、画像の下端位置からの距離が最も短い下端位置(障害物の下端位置)と画像の下端位置との間の距離を障害物乖離距離hvとして算出する。
尚、本実施形態では、障害物(車両)Vに対してBoundary Boxを設定し、このBoundary Boxの下端位置を「障害物における歩行者寄りの端縁位置」としているが、Boundary Boxを設定することなく、画像上において形状が確定された障害物(車両)Vにおける最も下側の位置を「障害物における歩行者寄りの端縁位置」とするものであってもよい。
端縁位置設置動作では、前記横断歩道乖離距離h3および障害物乖離距離hvを使用し、以下の式(16)によって判断指標kを算出する。
この式(16)によって算出される判断指標kは、第4のパターン(図15および図16を参照)である場合に、横断歩道乖離距離h3が障害物乖離距離hvに比べて大幅に大きくなることによって「1」が得られることになる。これに対し、例えば、最も歩行者寄りの白線WL1の一部が車両Vによって覆い隠された状態(第2のパターン)である場合に、横断歩道乖離距離h3から障害物乖離距離hvを減算した値が小さくなっている(負の値の場合も含む)ことによって判断指標kとしては「0」が得られることになる。
従って、式(16)によって「1」が得られた場合には、カメラ20が取得した画像での車両Vにおける歩行者寄りの端縁位置を、横断歩道CWにおける歩行者寄りの端縁位置として設定する。この場合、式(5)のh3にhvが代入され、この式(5)の結果に応じて歩行者に対する停止通知の必要性の有無が判断されることになる。つまり、式(5)において「0」が得られている場合には、停止指示(yt=1)を行う条件は成立していないとして、歩行状態にある視覚障碍者への停止指示は行わず、式(5)において「1」が得られた場合には、停止指示(yt=1)を行う条件が成立した(視覚障碍者が障害物である車両Vの手前に達した)として、歩行状態にある視覚障碍者に停止指示を行うことになる。
また、第3のパターン(図14)のように、横断歩道CWの殆どの白線WL1~WL7が車両Vによって覆い隠された状態である場合には、カメラ20が取得した画像から横断歩道CWの存在を認識することができない(横断歩道CWの存在の有無を判断することができない)。このような状況では、横断歩道CWの認識がされない状態が所定時間継続することになるので、それを条件として歩行支援システム10を停止する。
具体的には、以下の式(17)によって、横断歩道CWの認識がされない状態が所定時間継続する状況であるか否かを判断する。
横断歩道CWの認識がされない状態が所定時間継続する状況であった場合には、この式(17)が正の値となる。この場合、システム停止通知(yt=5)を行う条件が成立したとして、歩行支援システム10を停止すると共に、視覚障碍者に歩行支援システム10が停止した旨の情報を通知することになる。つまり、振動発生機50が、この歩行支援システム10が停止した旨の情報を通知するパターンで振動する。
(歩行支援動作)
次に、歩行支援システム10による歩行支援動作の流れについて説明する。
次に、歩行支援システム10による歩行支援動作の流れについて説明する。
図17および図18は、前述した歩行支援動作の一連の流れを示すフローチャートである。このフローチャートは、視覚障碍者が路上(歩道上)を歩行している状況において、所定時刻tから所定時刻t+1までの間で1回のルーチンが実施されるように所定時間間隔を存して繰り返して実施される。以下の説明では各状態遷移関数における変数(J,Xt+1)の記載を省略する。
先ず、ステップST1において視覚障碍者が歩行状態にある状況で、ステップST2において、カメラ20が取得した画像から横断歩道CWの存在が検出されたか(横断歩道検出部82によって検出されたか)否かを判定する。
横断歩道CWの存在が検出されており、ステップST2でYES判定された場合にはステップST3に移り、式(16)によって算出される判断指標kが「1」である(横断歩道乖離距離h3が障害物乖離距離hvに比べて大幅に大きくなっている)か否かを判定する。つまり、前述した第4のパターン(図15および図16を参照)のように、最も歩行者寄りの白線WL1の全体、および、その奥側の白線の一部それぞれが車両Vによって覆い隠された状態であるか否かを判定する。
判断指標kが「0」であり、ステップST3でNO判定された場合には、ステップST5に移る一方、判断指標kが「1」であり、ステップST3でYES判定された場合には、ステップST4に移る。ステップST4では、式(5)のh3にhvが代入される。つまり、ステップST3でNO判定された場合には、最も歩行者寄りの白線WL1の全体が車両Vによって覆い隠された状態ではないとして、最も歩行者寄りの白線WL1の最も手前の位置(より具体的には当該白線WL1のBoundary Boxの下端位置LN)を利用して状態遷移関数f0(前記式5)を算出する一方、ステップST3でYES判定された場合には、最も歩行者寄りの白線WL1の全体、および、その奥側の白線の一部それぞれが車両Vによって覆い隠された状態であるとして、車両Vの最も手前の位置(より具体的には当該車両VのBoundary Boxの下端位置)を最も歩行者寄りの白線WL1の最も手前の位置と見なして状態遷移関数f0(前記式5)を算出する。
その後、ステップST5に移り、前述の如く設定された最も歩行者寄りの白線の最も手前の位置に基づき、前述した停止指示(yt=1)を行う条件の成立の有無を判定するための状態遷移関数f0(前記式5)において「1」が得られたか否かを判定する。
この状態遷移関数f0において「0」が得られている場合には、停止指示(yt=1)を行う条件が成立していないとしてNO判定され、ステップST1に戻る。
一方、状態遷移関数f0において「1」が得られた場合には、ステップST5でYES判定され、ステップST6に移る。このステップST6では、視覚障碍者に対して停止指示(yt=1)を行う。具体的には、視覚障碍者が持っている白杖1の振動発生機50が、停止指示(停止通知)を示すパターンで振動する。これにより、白杖1のグリップ部3を把持している視覚障碍者は、振動発生機50の振動のパターンを感じ取ることで停止指示されたことを認識し、歩行を停止することになる。
ステップST7において視覚障碍者が停止状態にある状況で、ステップST8において、前述した歩行指示(yt=2)を行う条件の成立の有無を判定するための状態遷移関数f1(前記式8)において「1」が得られたか否かを判定する。
この状態遷移関数f1において「0」が得られている場合には、歩行指示(yt=2)を行う条件が成立していない、つまり、信号機TLは未だ青信号に切り替わっていないとしてNO判定され、ステップST7に戻る。信号機TLが青信号に切り替わるまで、ステップST8ではNO判定されるため、ステップST7,ST8の動作を繰り返すことになる。
信号機TLが青信号に切り替わり、状態遷移関数f1において「1」が得られた場合には、ステップST8でYES判定され、ステップST9に移る。この動作が、信号機判断部(信号機を含む画像領域の情報から信号機の状態が、停止指示状態および横断許可状態の何れであるかを判断する信号機判断部)84の動作、および、切り替わり認識部(信号機の状態が、停止指示状態から横断許可状態に切り替わったことを認識する切り替わり認識部)85の動作に相当する。
ステップST9では、視覚障碍者に対して歩行(横断)指示(yt=2)を行う。具体的には、視覚障碍者が持っている白杖1の振動発生機50が、歩行指示(横断開始通知)を示すパターンで振動する。これにより、白杖1のグリップ部3を把持している視覚障碍者は歩行指示されたことを認識し、横断歩道CWの横断を開始することになる。
ステップST10(図18)において視覚障碍者が横断歩道CWの横断状態にある状況で、ステップST11において、横断歩道CWからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数f3(前記式12)において「1」が得られたか否かを判定する。
状態遷移関数f3において「1」が得られ、ステップST11でYES判定された場合、ステップST12において、その横断歩道CWからの逸脱の方向が右方向(右逸脱)であるか否かを判定する。そして、横断歩道CWからの逸脱の方向が右方向であり、ステップST12でYES判定された場合にはステップST13に移り、視覚障碍者に対して右逸脱警告(yt=3)を行う。具体的には、視覚障碍者が持っている白杖1の振動発生機50が、右逸脱警告を示すパターンで振動する。これにより、白杖1のグリップ部3を把持している視覚障碍者は右逸脱警告されたことを認識し、歩行方向を左方向に向けて変更することになる。
一方、横断歩道CWからの逸脱の方向が左方向であり、ステップST12でNO判定された場合にはステップST14に移り、視覚障碍者に対して左逸脱警告(yt=4)を行う。具体的には、視覚障碍者が持っている白杖1の振動発生機50が、左逸脱警告を示すパターンで振動する。これにより、白杖1のグリップ部3を把持している視覚障碍者は左逸脱警告されたことを認識し、歩行方向を右方向に向けて変更することになる。このようにして逸脱警告を行った後、ステップST17に移る。
横断歩道CWからの逸脱がなく、状態遷移関数f3において「0」が得られている場合には、ステップST11でNO判定され、ステップST15に移る。このステップST15では、現在、ステップST13またはステップST14における逸脱警告の発生中であるか否かを判定する。逸脱警告の発生中でなく、ステップST15でNO判定された場合には、ステップST17に移る。一方、逸脱警告の発生中であり、ステップST15でYES判定された場合には、ステップST16に移り、逸脱警告を解除してステップST17に移る。
ステップST17では、横断完了の通知を行う条件の成立の有無を判定するための状態遷移関数f2(前記式11)において「1」が得られたか否かを判定する。
この状態遷移関数f2において「0」が得られている場合には、横断完了の通知を行う条件が成立していない、つまり、視覚障碍者は横断歩道CWの横断中であるとしてNO判定され、ステップST10に戻る。横断歩道CWの横断が完了するまで、ステップST17ではNO判定されるため、ステップST10~ST17の動作を繰り返すことになる。
つまり、視覚障碍者の横断中に横断歩道CWからの逸脱が発生する場合には前述した逸脱警告が行われ、この逸脱が解消された場合には、逸脱警告が解除されるといった動作を、横断歩道CWの横断が完了するまで行われる。
視覚障碍者が横断歩道CWの横断を完了し、状態遷移関数f2において「1」が得られた場合には、ステップST17でYES判定され、ステップST18に移り、視覚障碍者に対して横断完了の通知を行う。具体的には、視覚障碍者が持っている白杖1の振動発生機50が、横断完了を示すパターンで振動する。これにより、白杖1のグリップ部3を把持している視覚障碍者は横断完了の通知が行われたことを認識し、通常の歩行状態に戻ることになる。
このようにして、視覚障碍者が横断歩道CWを横断する度に前述した動作が繰り返されることになる。
一方、ステップST2の判定において横断歩道CWの存在が検出されておらずNO判定された場合にはステップST19に移る。このステップST19では、横断歩道CWの存在が検出されない状態が所定時間継続したか否かが判定される。前述した第3のパターン(図14)のように、横断歩道CWの殆どの白線が車両Vによって覆い隠された状態である場合には、カメラ20が取得した画像から横断歩道CWの存在を認識することができず、横断歩道CWの存在が検出されない状態が所定時間継続することになる。
横断歩道CWの存在が検出されない状態が未だ所定時間継続していない場合にはステップST19でNO判定され、ステップST1に戻る。例えば、車両Vの存在によって横断歩道CWの存在が検出されない状態であったとしても、その後、車両Vが移動して横断歩道CWの存在が検出される状態となった場合には、ステップST2でYES判定され、前述したステップST2以降の動作が行われる。一方、横断歩道CWの存在が検出されない状態が所定時間継続しており、ステップST19でYES判定された場合には、ステップST20に移り、歩行支援システム10を停止すると共に、視覚障碍者に対し歩行支援システム10が停止したことの通知を行う。具体的には、視覚障碍者が持っている白杖1の振動発生機50が、歩行支援システム10が停止したことを示すパターンで振動する。これにより、白杖1のグリップ部3を把持している視覚障碍者は、振動発生機50の振動のパターンを感じ取ることで歩行支援システム10が停止したことを認識する。
このようにして歩行支援システム10が停止した後、ステップST21では、白杖1に備えられている図示しないスタートスイッチがONされたか否かを判定する。スタートスイッチがONされるまでステップST21ではNO判定が継続される。スタートスイッチがONされ、ステップST21でYES判定された場合には、歩行支援システム10が再起動し、前述したステップST1からの動作を繰り返すことになる。
-実施形態の効果-
以上説明したように、本実施形態では、横断歩道CW上に存在する障害物(車両)Vに起因して、当該横断歩道CWにおける歩行者寄りの端縁位置が検出できない場合には、カメラ20が取得した画像での障害物Vにおける歩行者寄りの端縁位置を、横断歩道CWにおける歩行者寄りの端縁位置として設定するようにしている。これにより、障害物Vにおける歩行者寄りの端縁位置の手前に歩行者が達した時点で、振動発生機50が歩行者に対して停止通知を行うことになり、横断歩道CW上に障害物が存在する場合であっても、歩行者に対する停止通知を適切に行うことができる。
以上説明したように、本実施形態では、横断歩道CW上に存在する障害物(車両)Vに起因して、当該横断歩道CWにおける歩行者寄りの端縁位置が検出できない場合には、カメラ20が取得した画像での障害物Vにおける歩行者寄りの端縁位置を、横断歩道CWにおける歩行者寄りの端縁位置として設定するようにしている。これにより、障害物Vにおける歩行者寄りの端縁位置の手前に歩行者が達した時点で、振動発生機50が歩行者に対して停止通知を行うことになり、横断歩道CW上に障害物が存在する場合であっても、歩行者に対する停止通知を適切に行うことができる。
特に、横断歩道乖離距離h3から障害物乖離距離hvを減算した値が、予め設定された値よりも大きい場合に、カメラ20が取得した画像での障害物Vにおける歩行者寄りの端縁位置を、横断歩道CWにおける歩行者寄りの端縁位置として設定するようにしている。このように横断歩道乖離距離h3から障害物乖離距離hvを減算した値に応じて、停止通知を行うに当たって採用すべき端縁位置(横断歩道CWにおける歩行者寄りの端縁位置または障害物Vにおける歩行者寄りの端縁位置)を選択することにより、歩行者に対する停止通知を適切に行うことができる。
また、本実施形態では、横断歩道検出部82による横断歩道CWの認識がされない状態が所定時間継続した場合に、歩行支援システム10を停止すると共にその旨の情報を情報送信部86を介して振動発生機50に送信するようにしている。これにより、横断歩道CWの全体が障害物Vによって覆い隠されている状況での歩行支援システム10の誤作動を抑制することができると共にシステムが停止したことを歩行者に知らせることができる。
また、本実施形態では、歩行支援システム10の構成要素を白杖1に内蔵させることにより、白杖1のみで歩行支援システム10を実現しているため、実用性の高い歩行支援システム10を提供することができる。
-他の実施形態-
尚、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。
尚、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。
例えば、前記実施形態では、歩行支援システム10を、視覚障碍者が使用する白杖1に内蔵した場合について説明した。本発明はこれに限らず、歩行者が高齢者である場合の杖や手押し車等であってもよい。
また、前記実施形態では、白杖1に充電ソケット70を備えさせ、家庭用電源からバッテリ(二次電池)60を充電するようにしていた。本発明はこれに限らず、白杖1の表面に太陽光発電シートを貼り付けておき、当該太陽光発電シートで発電した電力によってバッテリ60を充電するようにしてもよい。また、二次電池に代えて一次電池を使用するようになっていてもよい。また、白杖1に振り子式発電機を内蔵し、該振り子式発電機を利用してバッテリ60を充電するようにしてもよい。
また、前記実施形態では、振動発生機50の振動パターンによって通知の種類を分けるようにしていた。本発明はこれに限らず、音声によって通知を行うようにしてもよい。
本発明は、歩行する視覚障碍者に対して横断歩道の手前での停止通知を行う歩行支援システムに適用可能である。
1 白杖
10 歩行支援システム
20 カメラ(画像取得手段)
50 振動発生機(通知手段)
80 制御装置
82 横断歩道検出部
83 端縁位置設定部
87 システム停止部
V 車両(障害物)
CW 横断歩道
LN 最も歩行者寄りのBoundary Boxの下端位置(横断歩道における歩行者寄りの端縁位置)
h3 横断歩道乖離距離
hv 障害物乖離距離
10 歩行支援システム
20 カメラ(画像取得手段)
50 振動発生機(通知手段)
80 制御装置
82 横断歩道検出部
83 端縁位置設定部
87 システム停止部
V 車両(障害物)
CW 横断歩道
LN 最も歩行者寄りのBoundary Boxの下端位置(横断歩道における歩行者寄りの端縁位置)
h3 横断歩道乖離距離
hv 障害物乖離距離
Claims (5)
- 歩行者が横断歩道に接近する状況において、当該歩行者に対して、横断歩道の手前での停止通知が可能な歩行支援システムであって、
前記歩行者の歩行の前方の画像を取得する画像取得手段と、
前記画像取得手段が取得した画像に基づいて前記横断歩道の認識が可能であると共に、当該横断歩道における前記歩行者寄りの端縁位置を検出可能な横断歩道検出部と、
前記横断歩道検出部によって検出された前記横断歩道における前記歩行者寄りの端縁位置の手前に前記歩行者が達した場合に当該歩行者に対して停止を促す前記停止通知を行う通知手段と、
前記横断歩道上に存在する障害物に起因して、前記横断歩道検出部による当該横断歩道における前記歩行者寄りの端縁位置が検出できない場合に、前記画像取得手段が取得した画像での前記障害物における前記歩行者寄りの端縁位置を、前記横断歩道における前記歩行者寄りの端縁位置として設定する端縁位置設定部と、
を備えていることを特徴とする歩行支援システム。 - 請求項1記載の歩行支援システムにおいて、
前記端縁位置設定部は、前記画像取得手段が取得した前記画像の下端位置と当該画像によって認識されている前記横断歩道の当該画像上での下端位置との間の距離である横断歩道乖離距離から、前記画像の下端位置と当該画像によって認識されている前記障害物の当該画像上での下端位置との間の距離である障害物乖離距離を減算した値が、予め設定された値よりも大きい場合に、前記画像での前記障害物における前記歩行者寄りの端縁位置を、前記横断歩道における前記歩行者寄りの端縁位置として設定することを特徴とする歩行支援システム。 - 請求項1または2記載の歩行支援システムにおいて、
前記横断歩道検出部による前記横断歩道の認識がされない状態が所定時間継続した場合に、システムを停止すると共にその旨の情報を通知手段に向けて送信するシステム停止部を備えていることを特徴とする歩行支援システム。 - 請求項1、2または3記載の歩行支援システムにおいて、
前記画像取得手段、前記横断歩道検出部、前記通知手段、および、前記端縁位置設定部それぞれは、視覚障碍者が使用する白杖に内蔵されていることを特徴とする歩行支援システム。 - 請求項4記載の歩行支援システムにおいて、
前記通知手段は、振動または音声によって、前記視覚障碍者に向けて通知を行う構成となっていることを特徴とする歩行支援システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021078305A JP2022172511A (ja) | 2021-05-06 | 2021-05-06 | 歩行支援システム |
US17/686,423 US11903897B2 (en) | 2021-05-06 | 2022-03-04 | Walking support system |
CN202210394427.9A CN115300340A (zh) | 2021-05-06 | 2022-04-14 | 步行支持*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021078305A JP2022172511A (ja) | 2021-05-06 | 2021-05-06 | 歩行支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022172511A true JP2022172511A (ja) | 2022-11-17 |
Family
ID=83855610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021078305A Pending JP2022172511A (ja) | 2021-05-06 | 2021-05-06 | 歩行支援システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11903897B2 (ja) |
JP (1) | JP2022172511A (ja) |
CN (1) | CN115300340A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7477694B1 (ja) | 2023-07-27 | 2024-05-01 | Kddi株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5973618A (en) * | 1996-09-25 | 1999-10-26 | Ellis; Christ G. | Intelligent walking stick |
LU91115B1 (en) * | 2004-10-26 | 2006-04-27 | European Community | Navigation system for disabled persons, in particular visually impaired persons |
US7267281B2 (en) * | 2004-11-23 | 2007-09-11 | Hopkins Billy D | Location, orientation, product and color identification system for the blind or visually impaired |
KR100786965B1 (ko) * | 2006-05-16 | 2007-12-17 | 동국대학교 산학협력단 | 밀리미터파 수동 영상 시스템과 위성항법장치를 통합한시각 장애인용 물체 인식 장치 |
KR100819047B1 (ko) * | 2006-11-27 | 2008-04-02 | 한국전자통신연구원 | 교차로 중심선 예측 장치 및 방법 |
US20090032590A1 (en) * | 2007-08-02 | 2009-02-05 | Hopkins Billy D | Location, orientation, product and color identification apparatus, system and method for the blind or visually impaired |
WO2012068280A1 (en) * | 2010-11-16 | 2012-05-24 | Echo-Sense Inc. | Remote guidance system |
KR101049515B1 (ko) * | 2011-01-26 | 2011-07-15 | 김지훈 | 시각장애인용 도로 안내 시스템 |
CN105213157A (zh) * | 2014-06-13 | 2016-01-06 | 阿里巴巴集团控股有限公司 | 一种导盲方法及*** |
JP6948325B2 (ja) | 2016-08-05 | 2021-10-13 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10639228B1 (en) * | 2019-02-26 | 2020-05-05 | Stria Labs, Inc. | Wearable computing system for assisting a visually impaired user |
JP7415909B2 (ja) * | 2020-12-15 | 2024-01-17 | トヨタ自動車株式会社 | 歩行支援システム |
JP2022107967A (ja) * | 2021-01-12 | 2022-07-25 | トヨタ自動車株式会社 | 歩行支援システム |
JP2022112897A (ja) * | 2021-01-22 | 2022-08-03 | トヨタ自動車株式会社 | 情報処理装置及び情報処理方法 |
-
2021
- 2021-05-06 JP JP2021078305A patent/JP2022172511A/ja active Pending
-
2022
- 2022-03-04 US US17/686,423 patent/US11903897B2/en active Active
- 2022-04-14 CN CN202210394427.9A patent/CN115300340A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7477694B1 (ja) | 2023-07-27 | 2024-05-01 | Kddi株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN115300340A (zh) | 2022-11-08 |
US11903897B2 (en) | 2024-02-20 |
US20220370282A1 (en) | 2022-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11705018B2 (en) | Personal navigation system | |
US20170007459A1 (en) | Vision aiding method and apparatus integrated with a camera module and a light sensor | |
US10402664B2 (en) | Processing apparatus, processing system, processing program, and processing method | |
WO2014156222A1 (ja) | 障害物検出装置、及びそれを備えた電動車両 | |
CN111035542A (zh) | 一种基于图像识别的智能导盲*** | |
KR101810576B1 (ko) | 시각 장애인 보조용 드론 장치 및 그의 제어 방법 | |
JP2022172511A (ja) | 歩行支援システム | |
JP2004010303A (ja) | エレベータの利用客検出装置 | |
JP7415909B2 (ja) | 歩行支援システム | |
CN114764972B (zh) | 步行支持*** | |
JP2020164081A (ja) | 車両制御システム | |
JP2009251761A (ja) | 運転支援システム | |
US11908316B2 (en) | Walking information provision system | |
JP2022175230A (ja) | 歩行支援システム | |
JP2023048408A (ja) | 信号機認識システム | |
JP2023122833A (ja) | 移動支援装置および移動支援システム | |
KR102279982B1 (ko) | 시각 장애인용 지팡이 | |
JP2023073100A (ja) | 歩行支援システム | |
JP2023027471A (ja) | 歩行支援システム | |
JP2022183703A (ja) | 歩行支援装置 | |
KR102688145B1 (ko) | 인공지능을 활용한 보행 보조기구 자율주행 시스템 | |
KR20230153885A (ko) | 인공지능을 활용한 보행 보조기구 자율주행 시스템 |