JP2022175230A - 歩行支援システム - Google Patents
歩行支援システム Download PDFInfo
- Publication number
- JP2022175230A JP2022175230A JP2021081466A JP2021081466A JP2022175230A JP 2022175230 A JP2022175230 A JP 2022175230A JP 2021081466 A JP2021081466 A JP 2021081466A JP 2021081466 A JP2021081466 A JP 2021081466A JP 2022175230 A JP2022175230 A JP 2022175230A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- traffic light
- traffic signal
- support system
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001771 impaired effect Effects 0.000 claims description 116
- 238000012545 processing Methods 0.000 claims description 26
- 238000013135 deep learning Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 46
- 230000007704 transition Effects 0.000 description 45
- 238000000034 method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/068—Sticks for blind persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
- G06V20/39—Urban scenes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
- A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/01—Constructive details
- A61H2201/0161—Size reducing arrangements when not in use, for stowing or transport
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/01—Constructive details
- A61H2201/0192—Specific means for adjusting dimensions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5007—Control means thereof computer controlled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5023—Interfaces to the user
- A61H2201/5048—Audio interfaces, e.g. voice or music controlled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
- A61H2201/5092—Optical sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5097—Control means thereof wireless
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physical Education & Sports Medicine (AREA)
- Pain & Pain Management (AREA)
- Epidemiology (AREA)
- Rehabilitation Therapy (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】信号機の認識精度を十分に得ることを可能にし、歩行者に対する通知を適切に行うことができる歩行支援システムを提供する。
【解決手段】信号機第1認識部83aによる認識動作(カメラ20によって取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機の認識動作)の結果、および、信号機第2認識部83bによる認識動作(カメラ20によって取得された画像に対し、信号機の特徴量に基づいた当該信号機の認識動作)の結果それぞれに基づいて、画像中に信号機が認識されたか否かを判定する。これにより、信号機の認識精度を十分に得ることが可能になり、信号機の状態に応じた歩行者への指示を適切に行うことができる。
【選択図】図3
【解決手段】信号機第1認識部83aによる認識動作(カメラ20によって取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機の認識動作)の結果、および、信号機第2認識部83bによる認識動作(カメラ20によって取得された画像に対し、信号機の特徴量に基づいた当該信号機の認識動作)の結果それぞれに基づいて、画像中に信号機が認識されたか否かを判定する。これにより、信号機の認識精度を十分に得ることが可能になり、信号機の状態に応じた歩行者への指示を適切に行うことができる。
【選択図】図3
Description
本発明は歩行支援システムに係る。特に、本発明は、視覚障碍者等の歩行者の歩行の支援のための通知を行うに当たり、信号機の認識精度を高めるための対策に関する。
視覚障碍者等の歩行者の歩行の支援のための通知を行うシステム(歩行支援システム)として、特許文献1に開示されているものが知られている。この特許文献1には、視覚を用いずに行動する者(視覚障碍者)が歩く方向を決定する方向決定部と、決定した方向へ視覚障碍者が歩くためのガイド情報を生成するガイド情報生成部とを備え、視覚障碍者が携帯するカメラからの画像と、予め記憶されている参照画像とのマッチングによって視覚障碍者の歩行方向を決定し、音声等によって視覚障碍者に対して歩行方向を案内することが開示されている。
ところで、この種の歩行支援システムにあっては、歩行者(視覚障碍者等)が横断歩道に接近する状況において、信号機(例えば歩行者用信号機)が赤信号となっている状況では、歩行者に対して停止を指示する通知を行う必要があり、歩行者が横断歩道の手前で停止している状態で、信号機が青信号となった場合には、歩行者に対して歩行(横断)を指示する通知を行う必要がある。このため、歩行者に対して各種通知(横断歩道の手前での歩行の停止通知、および、その後の横断開始通知)を適切に行うためには、信号機の存在および当該信号機の状態(青信号であるか赤信号であるか)をカメラ等の画像取得手段からの情報によって正確に認識しておくことが必須である。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、信号機の認識精度を十分に得ることを可能にし、歩行者に対する通知を適切に行うことができる歩行支援システムを提供することにある。
前記の目的を達成するための本発明の解決手段は、歩行者の歩行方向前方に位置する信号機を認識し当該信号機の状態に応じて、前記歩行者に対し、横断歩道の手前での停止指示および当該横断歩道の横断の開始指示のうち少なくとも一方を行う歩行支援システムを前提とする。そして、この歩行支援システムは、画像取得手段、信号機第1認識部、信号機第2認識部、判定部を備えている。画像取得手段は、前記歩行者の歩行方向前方の画像を取得可能である。信号機第1認識部は、前記画像取得手段によって取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いて信号機の認識動作を行う。信号機第2認識部は、前記画像取得手段によって取得された画像に対し、信号機の特徴量に基づいて当該信号機の認識動作を行う。判定部は、前記信号機第1認識部による認識動作の結果および前記信号機第2認識部による認識動作の結果それぞれに基づいて、前記画像中に前記信号機が認識されたか否かを判定する。
ここでいう信号機の認識とは、画像取得手段によって取得された画像中における信号機の位置の認識および信号機が青信号であるか赤信号であるかの認識の両方を含む概念である。
この特定事項により、画像取得手段によって取得された歩行者の歩行方向前方の画像に対し、信号機第1認識部および信号機第2認識部それぞれにおける信号機の認識動作が行われる。つまり、信号機第1認識部では、予めアノテーションされたデータに基づく学習済みモデルを用いて信号機の認識動作を行う。また、信号機第2認識部では、信号機の特徴量に基づいて当該信号機の認識動作を行う。そして、これら認識動作の結果に基づいて、判定部が、前記画像中に信号機が認識されたか否かを判定する。これにより、信号機の認識精度を十分に得ることが可能になり、信号機の状態に応じた歩行者への指示(停止指示および横断の開始指示のうち少なくとも一方)を適切に行うことができる。
また、前記判定部は、前記信号機第1認識部による認識動作および前記信号機第2認識部による認識動作において共に信号機が認識されたとの結果が得られた場合には、歩行方向前方に信号機が認識されたと判定し、前記信号機第1認識部による認識動作および前記信号機第2認識部による認識動作において共に信号機が認識されないとの結果が得られた場合には、歩行方向前方に信号機が存在していないと判定する構成となっている。
これにより、信号機の認識動作に高い信頼性を得ることができる。
また、前記信号機第1認識部による認識動作および前記信号機第2認識部による認識動作のうち一方の認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、当該一方の認識部による認識動作の結果を用いた補助処理を行って他方の認識部による認識動作を再度行わせる再認識処理部を備えている。
これにより、片方の認識部による認識動作において信号機が認識されなかった場合(信号機が存在しているにも拘わらず認識されなかった場合)に、再度の認識動作にあっては信号機が認識される可能性を高めることができ、これによっても信号機の認識動作に高い信頼性を得ることができる。
この場合、前記再認識処理部は、前記信号機第1認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、深層学習によって得られた信号機が存在する領域に対し、当該領域の切り出し処理および拡大処理を行って、前記信号機第2認識部による認識動作を再度行わせる。
これにより、信号機第2認識部による再度の認識動作において信号機が認識される可能性を高めることができ、これによっても信号機の認識動作に高い信頼性を得ることができる。
また、前記再認識処理部は、前記信号機第2認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、信号機の特徴量である当該信号機の形状および点灯色が所定の要件を満たすか否かを考慮し、前記画像に対してこれら要件の前処理を施して不要な情報のフィルタリング処理を行って、前記信号機第1認識部による認識動作を再度行わせる。
これにより、信号機第1認識部による再度の認識動作において信号機が認識される可能性を高めることができ、これによっても信号機の認識動作に高い信頼性を得ることができる。
前記信号機の特徴量として具体的には、信号機において予め規定されたアスペクト比、および、点灯色の色相、彩度、明度である。
信号機におけるアスペクト比や点灯色は道路交通法施行規則や警視庁交通仕様規格によって予め規定されているため、画像取得手段によって取得された画像中に、これらの特徴量に合致する特徴部分が存在するか否かを判断することで信号機であるか否かを高い精度で認識することが可能になる。
また、前記信号機第2認識部は、前記画像取得手段によって取得された画像中における前記点灯色の色相に該当する領域での複数の画素領域の彩度の平均値および明度の平均値を用いて前記認識動作を行う。
画像取得手段によって取得された画像中において点灯色の色相に該当する領域が信号機の点灯部であった場合、その画像の前記領域中の一部に反射された光(太陽光等)が存在していると、それが外乱となって信号機であるか否かの認識の精度が低下してしまう可能性がある。本解決手段では、画像中における点灯色の色相に該当する領域での複数の画素領域の彩度の平均値および明度の平均値を用いて信号機第2認識部による認識動作を行うようにしているため、一部の画素領域に前記外乱が存在していたとしても他の画素領域(外乱が存在していない画素領域)との彩度の平均値および明度の平均値としては信号機の点灯部における彩度および明度に略合致したものとして得られる可能性が高くなる。このため、外乱の影響を小さくすることで信号機第2認識部による信号機の認識精度を高めることができる。
また、前記信号機第2認識部は、前記画像取得手段によって取得された画像中における前記点灯色の色相に該当する領域、および、該領域に隣接する所定領域それぞれの彩度の平均値の乖離量および明度の平均値の乖離量が共に所定量を超えている場合に信号機であることを認識する。
信号機にあっては、赤色の点灯部が点灯している場合には、それに隣接する所定領域(具体的に、歩行者用信号機の場合には赤色の点灯部に隣接する下側の領域)である青色の点灯部は消灯している。また、青色の点灯部が点灯している場合には、それに隣接する所定領域(歩行者用信号機の場合には青色の点灯部に隣接する上側の領域)である赤色の点灯部は消灯している。つまり、画像取得手段によって取得された画像において、一方の点灯部に該当する領域は赤色または青色となっており、他方の点灯部に該当する領域は黒色となっている。つまり、この状態では、各点灯部における彩度の平均値の乖離量および明度の平均値の乖離量が共に大きくなっている。このことを利用し、本解決手段では、点灯色の色相に該当する領域、および、該領域に隣接する所定領域それぞれの彩度の平均値の乖離量および明度の平均値の乖離量が共に所定量を超えている場合に信号機であることを認識するようにしたことで、信号機第2認識部による信号機の認識精度を高めることができる。
また、前記画像取得手段、前記信号機第1認識部、前記信号機第2認識部、および、前記判定部それぞれを、視覚障碍者が使用する白杖に内蔵させた場合には、白杖のみで歩行支援システムを実現することができ、実用性の高い歩行支援システムを提供することができる。
また、歩行者の歩行方向前方に位置する前記信号機の状態に応じて、前記歩行者に対し、横断歩道の手前での停止を促す通知または当該横断歩道の横断の開始を促す通知を行う通知手段を備えており、該通知手段は、振動または音声によって、前記視覚障碍者に向けて前記通知を行う構成となっている。
これにより、白杖を持ちながら歩行する視覚障碍者(前記歩行者)に対する通知を適切に行うことができる。
本発明では、信号機第1認識部による認識動作(画像取得手段によって取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機の認識動作)の結果、および、信号機第2認識部による認識動作(画像取得手段によって取得された画像に対し、信号機の特徴量に基づいた当該信号機の認識動作)の結果それぞれに基づいて、画像中に信号機が認識されたか否かを判定するようにしている。これにより、信号機の認識精度を十分に得ることが可能になり、信号機の状態に応じた歩行者への指示を適切に行うことができる。
以下、本発明の実施の形態を図面に基づいて説明する。本実施形態では、本発明に係る歩行支援システムを、視覚障碍者が使用する白杖に内蔵した場合について説明する。尚、本発明における歩行者としては視覚障碍者に限定されるものではない。
-白杖の概略構成-
図1は、本実施形態に係る歩行支援システム10を内蔵した白杖1を示す図である。この図1に示すように、白杖1は、シャフト部2、グリップ部3、チップ部(石突き)4を備えている。
図1は、本実施形態に係る歩行支援システム10を内蔵した白杖1を示す図である。この図1に示すように、白杖1は、シャフト部2、グリップ部3、チップ部(石突き)4を備えている。
シャフト部2は、中空の略円形断面を有するロッド状であって、アルミニウム合金やガラス繊維強化樹脂、炭素繊維強化樹脂等で形成されている。
グリップ部3は、シャフト部2の基端部(上端部)にゴム等の弾性体で成るカバー31が装着されて構成されている。また、本実施形態における白杖1のグリップ部3は、視覚障碍者(歩行者)が把持する際の持ち易さと滑り難さを考慮し、先端側(図1における上側)が僅かに湾曲した形状となっている。
チップ部4は、硬質の合成樹脂などで形成された略有底筒状の部材であって、シャフト部2の先端部に外挿されて接着やねじ止めなどの手段で固定されている。尚、チップ部4は、安全のために、先端側の端面が半球状となっている。
本実施形態に係る白杖1は、折り畳み不能な直杖であるが、シャフト部2の中間の一箇所または複数箇所で折り畳み可能或いは伸縮可能とされたものであってもよい。
-歩行支援システムの構成-
本実施形態の特徴は、前記白杖1に内蔵された歩行支援システム10にある。以下、この歩行支援システム10について説明する。
本実施形態の特徴は、前記白杖1に内蔵された歩行支援システム10にある。以下、この歩行支援システム10について説明する。
図2は、白杖1のグリップ部3の内部を示す概略図である。この図2に示すように、本実施形態に係る歩行支援システム10は、白杖1に内蔵されている。また、図3は、歩行支援システム10の制御系の概略構成を示すブロック図である。
これらの図に示すように、歩行支援システム10は、カメラ(画像取得手段)20、近距離無線通信機40、振動発生機(通知手段)50、バッテリ60、充電ソケット70、制御装置80等を備えている。
カメラ20は、グリップ部3の根元部における当該グリップ部3の前面(視覚障碍者の進行方向に向く面)に埋め込まれ、視覚障碍者の進行方向前側(歩行方向前方)を撮影する。このカメラ20は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で成る。また、カメラ20の構成や配設位置は前述したものには限定されず、例えば、シャフト部2の前面(視覚障碍者の進行方向に向く面)に埋め込まれたものであってもよい。
このカメラ20の特徴としては、歩行する視覚障碍者の進行方向の前方の画像であって、当該視覚障碍者が横断歩道に達した際における、当該横断歩道の白線のうち視覚障碍者に最も近い位置にある白線、および、視覚障碍者の前方に位置する信号機(例えば歩行者用信号機)の両方を含む画像を取得可能な広角のカメラとして構成されている。つまり、視覚障碍者が横断歩道の手前まで達した時点で、視覚障碍者の足元付近(足元から少し前方の位置)に存在する横断歩道における最も手前側にある白線と、横断先の地点に設置された信号機との両方を撮影可能な構成となっている。このカメラ20において必要とされる視野角度は、前述したように視覚障碍者に最も近い位置にある白線(横断歩道の白線)および信号機の両方を含む画像を取得(撮影)可能なものとして適宜設定される。
近距離無線通信機40は、前記カメラ20と制御装置80との間で近距離無線通信を行うための無線通信装置である。例えば、周知のBluetooth(登録商標)等の通信手段によって、カメラ20と制御装置80との間で近距離無線通信を行い、カメラ20が撮影した画像の情報を制御装置80に向けて無線送信する構成となっている。
振動発生機50は、グリップ部3の根元部における前記カメラ20の上側に配設されている。この振動発生機50は、内蔵されたモータの作動に伴って振動し、その振動をグリップ部3に伝達することによって、当該グリップ部3を把持している視覚障碍者に向けて種々の通知が行えるようになっている。この振動発生機50の振動による視覚障碍者に向けての通知の具体例については後述する。
バッテリ60は、前記カメラ20、近距離無線通信機40、振動発生機50、制御装置80のための電力を蓄電する二次電池で構成されている。
充電ソケット70は、バッテリ60に電力を蓄える際に充電ケーブルが接続される部分である。例えば、視覚障碍者が在宅中に家庭用電源からバッテリ60を充電する際に充電ケーブルが接続される。
制御装置80は、例えば、CPU(Central Processing Unit)等のプロセッサ、制御プログラムを記憶するROM(Read-Only Memory)、データを一時的に記憶するRAM(Random-Access Memory)、および、入出力ポート等を備えている。
そして、この制御装置80は、前記制御プログラムによって実現される機能部として、情報受信部81、横断歩道検出部82、信号機認識部83、切り替わり認識部84、情報送信部85を備えている。以下、これら各部の機能の概略について説明する。
情報受信部81は、前記カメラ20が撮影した画像の情報を、当該カメラ20から近距離無線通信機40を介して所定時間間隔をもって受信する。
横断歩道検出部82は、情報受信部81が受信した画像の情報(カメラ20によって撮影された画像の情報)における当該画像中における、横断歩道を認識したり、横断歩道における各白線の位置を検出する。
具体的には、図4(カメラ20で撮影された画像の一例を示す図)に示すように、横断歩道CWを構成する複数の白線WL1~WL7に対してBoundary Box(図4の一点鎖線を参照)を設定する。例えば周知のマッチング処理によって横断歩道CWの白線WL1~WL7を確定し、これら確定された白線WL1~WL7に対してBoundary Boxを設定する。また、予めアノテーションされた白線のデータ(ラベルが付けられた白線のデータ;深層学習によって白線を認識するための教師データ)を利用して白線WL1~WL7を確定し、これら確定された白線WL1~WL7に対してBoundary Boxを設定するようにしてもよい。
そして、横断歩道検出部82は、これらBoundary Boxのうち最も歩行者寄りのBoundary Boxの下端位置(図4におけるLNを参照)を検出する。本実施形態では、各白線WL1~WL7に対してBoundary Boxを設定し、画像上において最も下側に位置するBoundary Boxの下端位置LNを検出するようにしているが、Boundary Boxを設定することなく、画像上において確定された複数の白線WL1~WL7のうち最も下側に位置する白線WL1の下端位置を検出するものであってもよい。
尚、前記Boundary Boxは、後述するように、視覚障碍者の停止位置の特定、信号機TLの位置の特定、視覚障碍者が横断歩道CWを横断する際の進行方向の特定、横断歩道CWの横断完了の判断等に利用される。これらの詳細については後述する。
信号機認識部83は、情報受信部81が受信した画像の情報から信号機TLの位置の認識および信号機TLの状態の認識(赤信号および青信号の何れであるかの認識)を行う。具体的には、情報受信部81が受信した画像上における信号機TLの存在領域を推定し、この推定された領域の内部における信号機TLの位置および当該信号機TLの状態それぞれの認識を行う。情報受信部81が受信した画像上における信号機TLの存在領域を推定するに当たっては、前述の如く認識された白線WL1~WL7に設定されたBoundary Boxのうち、最も遠い位置にあるBoundary Boxの画像内座標を特定すると共に、図4に示すように、前記Boundary Box(認識された白線WL1~WL7のうち最も遠い位置にある白線WL7に設定されたBoundary Box)の上辺に接する四角形(幅寸法がws、高さ寸法がhsの四角形)を規定し、これを信号機TLの領域(信号機TLの存在領域)AとしてのCrop範囲を出力する。この際、Crop範囲は正方形であってもよいし長方形であってもよい。そして、このCrop範囲内における信号機TLの位置および当該信号機TLの状態それぞれの認識を行うことになる。この信号機TLの位置および当該信号機TLの状態それぞれの認識を行う動作の詳細については後述する。
切り替わり認識部84は、前記信号機認識部83によって認識された信号機TLの状態が、赤信号から青信号に切り替わったことを認識する。この信号の切り替わりを認識した際、この切り替わり認識部84は、切り替わり信号を情報送信部85に送信する。この切り替わり信号は、情報送信部85から振動発生機50に送信される。振動発生機50は、この切り替わり信号を受けたことに連動して、所定のパターンで振動し、視覚障碍者に、信号機TLが赤信号から青信号に切り替わったことに起因して横断歩道の横断を許可する通知(横断開始通知)を行うことになる。
-歩行支援動作-
次に、前述の如く構成された歩行支援システム10による歩行支援動作について説明する。先ず、本実施形態の概要について説明する。
次に、前述の如く構成された歩行支援システム10による歩行支援動作について説明する。先ず、本実施形態の概要について説明する。
(本実施形態の概要)
ここでは、視覚障碍者の歩行中における時間をt∈[0,T]と表し、当該視覚障碍者の状態を表す変数(状態変数)をs∈RTとする。また、時刻tのときの状態変数はst∈{0,1,2}の整数で表現され、それぞれ、歩行状態(st=0)、停止状態(st=1)、横断状態(st=2)を表すものとする。ここでいう歩行状態とは、例えば歩行者が交差点(信号機TLおよび横断歩道CWのある交差点)に向かって歩行している状態が想定される。また、停止状態とは、視覚障碍者が横断歩道CWの手前に達し、信号待ちによって(赤信号から青信号に切り替わるのを待って)停止している状態(歩行していない状態)が想定される。また、横断状態とは、視覚障碍者が横断歩道CWを横断している状態が想定される。
ここでは、視覚障碍者の歩行中における時間をt∈[0,T]と表し、当該視覚障碍者の状態を表す変数(状態変数)をs∈RTとする。また、時刻tのときの状態変数はst∈{0,1,2}の整数で表現され、それぞれ、歩行状態(st=0)、停止状態(st=1)、横断状態(st=2)を表すものとする。ここでいう歩行状態とは、例えば歩行者が交差点(信号機TLおよび横断歩道CWのある交差点)に向かって歩行している状態が想定される。また、停止状態とは、視覚障碍者が横断歩道CWの手前に達し、信号待ちによって(赤信号から青信号に切り替わるのを待って)停止している状態(歩行していない状態)が想定される。また、横断状態とは、視覚障碍者が横断歩道CWを横断している状態が想定される。
本実施形態は、時刻tでカメラ20によって撮影された画像Xt∈Rw0×h0(w0,h0はそれぞれ画像の縦と横の画像サイズを表す)が入力された際に、視覚障碍者の歩行を支援することを目的とした出力y∈RTを求めるアルゴリズムを提案するものとなっている。ここで、視覚障碍者の歩行を支援する出力としては、yt∈{1,2,3,4}の整数で表現され、それぞれ、停止指示(yt=1)、歩行指示(yt=2)、右逸脱警告(yt=3)、左逸脱警告(yt=4)を表すものとする。以下の説明では停止指示を停止通知という場合もある。また、歩行指示を歩行通知または横断通知という場合もある。これらの指示(通知)および警告は、振動発生機50の振動のパターンによって視覚障碍者に対して行われる。視覚障碍者は、予め、指示(通知)および警告と、振動発生機50の振動のパターンとの関係を把握しており、振動発生機50の振動のパターンをグリップ部3から感じ取ることで指示および警告の種類を把握することになる。
また、後述するように、視覚障碍者の状態を表す変数sの遷移を判定する関数(以下、状態遷移関数という)f0,f1,f2と、横断歩道からの逸脱(左右方向への逸脱)を判断する状態遷移関数f3が存在しており、これら状態遷移関数f0~f3が前記ROMに記憶されている。これら状態遷移関数f0~f3の具体例については後述する。
(出力変数yおよび状態遷移関数fiの概要)
前述した視覚障碍者の歩行を支援する出力yt∈{1,2,3,4}について説明する。
前述した視覚障碍者の歩行を支援する出力yt∈{1,2,3,4}について説明する。
前述したように出力ytとしては、視覚障碍者の歩行支援を目的として、停止指示(yt=1)、歩行指示(yt=2)、右逸脱警告(yt=3)、左逸脱警告(yt=4)の4種類の出力が存在する。
停止指示(yt=1)は、歩行する視覚障碍者が横断歩道の手前まで達した時点で当該視覚障碍者に歩行を停止する旨の通知を行うものである。例えば、カメラ20で撮影された画像が、図5(視覚障碍者が横断歩道CWに向かう歩行状態にある際に、カメラ20で撮影された画像の一例を示す図)に示す状態であれば、横断歩道CWまでの距離が比較的長いため、停止指示(yt=1)は行わず、視覚障碍者は歩行状態(st=0)が継続され、カメラ20で撮影された画像が、図6(視覚障碍者が横断歩道CWに達したタイミングにおいてカメラ20で撮影された画像の一例を示す図)に示す状態となった場合には、視覚障碍者が横断歩道CWの手前に達したタイミングであることから、停止指示(yt=1)を出力して、当該視覚障碍者に歩行を停止する旨の通知を行うことになる。この停止指示(yt=1)を行う条件が成立しているか否かの判定(状態遷移関数の算出結果に基づく判定)については後述する。
歩行指示(yt=2)は、信号機TLが赤信号から青信号に切り替わったことで、視覚障碍者に歩行(横断歩道CWの横断)を指示する旨の通知を行うものである。例えば、横断歩道CWの手前で視覚障碍者が停止状態(st=1)にある状況で、カメラ20で撮影された画像に基づいて信号機TLが赤信号から青信号に切り替わった場合に、歩行指示(yt=2)を出力して、当該視覚障碍者に横断歩道CWの横断を開始する旨の通知を行う。この歩行指示(yt=2)を行う条件が成立しているか否かの判定(状態遷移関数の算出結果に基づく判定)についても後述する。
そして、本実施形態では、この歩行指示(yt=2)を行うタイミングとして、信号機TLの状態が赤信号から青信号に切り替わったタイミングとしている。つまり、仮に、視覚障碍者が横断歩道CWに達した時点で既に信号機TLが青信号となっていたとしても歩行指示(yt=2)は行わず、信号機TLが一旦赤信号となり、その後に青信号に切り替わったタイミングで歩行指示(yt=2)を行うようにしている。これによって、視覚障碍者が横断歩道CWを横断するに当たって、信号機TLが青信号となっている時間を十分に確保することができるようにし、視覚障碍者が横断歩道CWを横断している途中で信号機TLが青信号から赤信号に切り替わってしまうといった状況を招き難くしている。
右逸脱警告(yt=3)は、横断歩道CWを横断している視覚障碍者が横断歩道CWから右側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道CWから右側に逸脱する虞があることの警告を行うものである。例えば、カメラ20で撮影された画像が図7(視覚障碍者が横断歩道CWの横断状態にある際に、カメラ20で撮影された画像の一例を示す図)に示す状態にあって、視覚障碍者が横断歩道CWの横断状態(st=2)にある状況で、カメラ20で撮影された画像が、図8(横断歩道CWの横断状態にある視覚障碍者が横断歩道CWの右側に逸脱する方向に向かって歩行している際に、カメラ20で撮影された画像の一例を示す図)に示す状態となった場合には、視覚障碍者が横断歩道CWから右側に逸脱する方向に向かって歩行していることから、右逸脱警告(yt=3)を出力して、当該視覚障碍者に警告を行うことになる。
左逸脱警告(yt=4)は、横断歩道CWを横断している視覚障碍者が横断歩道CWから左側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道CWから左側に逸脱する虞があることの警告を行うものである。例えば、カメラ20で撮影された画像が図7に示す状態にあって、視覚障碍者が横断歩道CWの横断状態(st=2)にある状況で、カメラ20で撮影された画像が、図9(横断歩道CWの横断状態にある視覚障碍者が横断歩道CWの左側に逸脱する方向に向かって歩行している際に、カメラ20で撮影された画像の一例を示す図)に示す状態となった場合には、視覚障碍者が横断歩道CWから左側に逸脱する方向に向かって歩行していることから、左逸脱警告(yt=4)を出力して、当該視覚障碍者に警告を行うことになる。
これら右逸脱警告(yt=3)および左逸脱警告(yt=4)を行う条件が成立しているか否かの判定(状態遷移関数の算出結果に基づく判定)についても後述する。
(歩行支援で用いる特徴量)
次に、視覚障碍者に対する歩行支援で用いる特徴量について説明する。視覚障碍者に対して、横断歩道CWの手前での歩行の停止通知、および、その後の横断開始通知等の各種通知を適切に行うためには、横断歩道CWの位置(横断歩道CWにおいて最も手前側にある白線WL1の位置)、および、信号機TLの状態(青信号であるか赤信号であるか)をカメラ20からの情報によって正確に認識しておくことが必須である。つまり、白線WL1の位置および信号機TLの状態を反映させたモデル式を構築しておき、このモデル式に従って、現在、視覚障碍者が置かれている状況を把握できるようにしておく必要がある。
次に、視覚障碍者に対する歩行支援で用いる特徴量について説明する。視覚障碍者に対して、横断歩道CWの手前での歩行の停止通知、および、その後の横断開始通知等の各種通知を適切に行うためには、横断歩道CWの位置(横断歩道CWにおいて最も手前側にある白線WL1の位置)、および、信号機TLの状態(青信号であるか赤信号であるか)をカメラ20からの情報によって正確に認識しておくことが必須である。つまり、白線WL1の位置および信号機TLの状態を反映させたモデル式を構築しておき、このモデル式に従って、現在、視覚障碍者が置かれている状況を把握できるようにしておく必要がある。
図10および図11は、視覚障碍者に対する歩行支援で用いる特徴量(w3,w4,w5,h3,r,b)T∈R6の概要を示している。r,bは、それぞれ信号機TLの状態(赤信号および青信号)の検出結果(0:未検出、1:検出)を表している。この信号機TLの状態の検出に際し、前述したように図4において破線で囲まれた領域Aが抽出されることで信号機TLの状態の認識が行われることになる。また、w3,w4,w5,h3は、前記横断歩道検出部82によって認識された横断歩道CWの白線WL1~WL7のうち、最も手前に位置する白線WL1に対するBoundary Boxを用いて図11に示すように定義される。つまり、w3は画像の左端からBoundary Boxの左端(白線WL1の左端に相当)までの距離であり、w4はBoundary Boxの幅寸法(白線WL1の幅寸法に相当)であり、w5は画像の右端からBoundary Boxの右端(白線WL1の右端に相当)までの距離であり、h3は画像の下端からBoundary Boxの下端(白線WL1の手前側の端縁に相当)までの距離である。
深層学習を用いて横断歩道CWおよび信号機TLを検出する関数をgとした場合、時刻tでカメラ20によって撮影された画像Xt∈Rw0×h0を用いて予測された横断歩道CWおよび信号機TLのBoundary Boxをg(Xt)と表現すると、視覚障碍者の歩行を支援するために必要な特徴量としては、以下の式(1)として表現できる。
ここで、
は前記特徴量j(t)を抽出する演算子であり、前記g(Xt)に対する後処理を行うためのものであり、p1は1フレーム当たりのBoundary Boxの最大数である。
(状態遷移関数)
次に、状態遷移関数について説明する。この状態遷移関数は、前述したように、停止指示(yt=1)、歩行指示(yt=2)、右逸脱警告(yt=3)、左逸脱警告(yt=4)それぞれの通知を行う条件が成立しているか否かを判定するために用いられるものである。
次に、状態遷移関数について説明する。この状態遷移関数は、前述したように、停止指示(yt=1)、歩行指示(yt=2)、右逸脱警告(yt=3)、左逸脱警告(yt=4)それぞれの通知を行う条件が成立しているか否かを判定するために用いられるものである。
時刻t+1での状態量(状態変数)st+1は、横断歩道CWの特徴量に対する時刻履歴情報J={j(0),j(1),…j(t)}と、現在の状態量(状態変数)st、および、時刻t+1で撮影された画像Xt+1を用いて以下の式(3)のように表すことができる。
この式(3)における状態遷移関数fは、現在時刻の状態量に応じて以下の式(4)のように定義することができる。
つまり、視覚障碍者の歩行の推移としては、歩行(例えば横断歩道CWに向かう歩行)→停止(例えば横断歩道CWの手前での停止)→横断(例えば横断歩道CWの横断)→歩行(例えば横断歩道CWの横断完了後の歩行)を繰り返すことになるが、歩行状態(st=0)にある視覚障碍者に対して停止指示(yt=1)を行う条件の成立の有無を判定するための状態遷移関数がf0(J,Xt+1)であり、停止状態(st=1)にある視覚障碍者に対して横断(歩行)指示(yt=2)を行う条件の成立の有無を判定するための状態遷移関数がf1(J,Xt+1)であり、横断状態(st=2)にある視覚障碍者に対して歩行(横断の完了)の通知を行う条件の成立の有無を判定するための状態遷移関数がf2(J,Xt+1)である。また、横断状態(st=2)にある視覚障碍者に対して横断歩道CWからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数がf3(J,Xt+1)である。
以下、各状態量(状態変数)それぞれに応じた状態遷移関数について具体的に説明する。
(歩行状態で適用される状態遷移関数)
現在時刻の状態量が歩行状態(st=0)である場合に使用される状態遷移関数f0(j,Xt+1)は、前記式(1)の特徴量を用いて以下の式(5)~(7)とすることができる。
現在時刻の状態量が歩行状態(st=0)である場合に使用される状態遷移関数f0(j,Xt+1)は、前記式(1)の特徴量を用いて以下の式(5)~(7)とすることができる。
ここで、HはHeaviside関数であり、δはDelta関数である。また、α1,α2は判定基準に用いられるパラメータであり、t0は利用する過去の状態を指定するパラメータである。また、I2={0,1,0,0,0,0}T、I4={0,0,0,1,0,0}Tである。
この式(5)を用いれば、α1>h3、且つ、w4>α2の条件が過去t0時間では成立しておらず、時刻t+1で初めて成立した場合にのみ「1」が得られ、それ以外の場合には「0」が得られることになる。つまり、α1>h3が成立したことで、視覚障碍者の足元に、横断歩道CWにおける最も手前に位置する白線WL1(白線のBoundary Boxの下端)が位置し、w4>α2が成立したことで、その白線WL1は視覚障碍者の進行方向に直交する方向に延在する(白線のBoundary Boxの幅寸法が所定寸法を超えている)ものであることが判定された場合に「1」が得られるものとなっている。
このようにして式(5)において「1」が得られた場合には、停止指示(yt=1)を行う条件が成立したとして、歩行状態にある視覚障碍者に停止指示(例えば横断歩道CWの手前での歩行の停止指示;停止通知)を行うことになる。
また、本実施形態では、横断歩道CWが視覚障碍者の足元にある条件を(α1>h3)だけでなく、検出された横断歩道CWの幅の制約(w4>α2)を加えていることで、視覚障碍者の進行方向にある横断歩道CW以外の横断歩道(交差点において、視覚障碍者の進行方向に直交する方向の横断歩道等)が、画像Xt+1に含まれる場合の誤検知を防止している。つまり、道路の交差点等において横断方向が互いに異なる複数の横断歩道が存在している場合であっても、視覚障碍者が横断すべき横断歩道CW(白線WL1が、視覚障碍者が横断すべき方向に対して交差する方向に延びていることで、当該白線WL1の幅寸法が比較的広く認識されている横断歩道CW)とその他の横断歩道(白線の幅寸法が比較的狭く認識されている横断歩道)とを明確に判別することができ、視覚障碍者に向けての横断の開始通知を高い精度で正確に行うことが可能になっている。
(停止状態で適用される状態遷移関数)
前時刻の状態量が停止状態(st=1)である場合に使用される状態遷移関数f1(j,Xt+1)は、以下の式(8)~(10)とすることができる。
前時刻の状態量が停止状態(st=1)である場合に使用される状態遷移関数f1(j,Xt+1)は、以下の式(8)~(10)とすることができる。
ここでX’t+1は、Xt+1から画像のトリミングと拡大処理とを行って得られたものである。つまり、信号機TLの認識精度が十分に高められた画像X’t+1となっている。また、I5={0,0,0,0,1,0}T、I6={0,0,0,0,0,1}Tである。
式(8)では、過去t0時間に赤信号を検知した後で、時刻t+1で初めて青信号を検知した場合にのみ「1」が得られ、それ以外の場合には「0」が得られることになる。信号機TLの認識動作(信号機認識部83による信号機TLの認識動作)の詳細については後述する。
このようにして式(8)において「1」が得られた場合には、歩行(横断)指示(yt=2)を行う条件が成立したとして、停止状態にある視覚障碍者に横断指示(例えば横断歩道の横断指示;横断通知)を行うことになる。
また、信号機がない交差点の横断歩道では前述のロジックでの状態遷移ができない場合がある。この課題を解決するために、新たなパラメータt1>t0を導入し、時間t1の間、停止状態からの状態遷移がないと判断された場合に、歩行状態に遷移するようにしてもよい。
(横断状態で適用される状態遷移関数)
前時刻の状態量が横断状態(st=2)である場合に使用される状態遷移関数f2(j,Xt+1)は、以下の式(11)とすることができる。
前時刻の状態量が横断状態(st=2)である場合に使用される状態遷移関数f2(j,Xt+1)は、以下の式(11)とすることができる。
この式(11)では、過去t-t0から、現在時刻t+1の間に一度も信号機および足元の横断歩道CWが検出できなかった場合にのみ「1」が得られ、それ以外の場合には「0」が得られることになる。つまり、横断歩道CWを渡りきったことで信号機TLおよび足元の横断歩道CWが検出できなかった場合にのみ「1」が得られることになる。
このようにして式(11)において「1」が得られた場合には、横断完了の通知を行う条件が成立したとして、歩行状態にある視覚障碍者に横断完了(横断歩道の横断の完了)の通知を行うことになる。
(横断歩道からの逸脱を判定する状態遷移関数)
視覚障碍者の横断歩道CWの横断中に、横断歩道CWからの逸脱を判定する状態遷移関数f3(j,Xt+1)は、以下の式(12)~(14)とすることができる。
視覚障碍者の横断歩道CWの横断中に、横断歩道CWからの逸脱を判定する状態遷移関数f3(j,Xt+1)は、以下の式(12)~(14)とすることができる。
ここで、α3は判定基準に用いられるパラメータである。また、I1={1,0,0,0,0,0}T、I3={0,0,1,0,0,0}Tである。
この式(12)では、検出された横断歩道CWの位置におけるフレームの中心からのズレ量が許容量以上であれば「1」が得られ、それ以外では「0」が得られることになる。つまり、w3の値が所定値よりも大きくなった場合(右逸脱の場合)や、w5の値が所定値よりも大きくなった場合(左逸脱の場合)に「1」が得られることになる。
このようにして式(12)において「1」が得られた場合には、右逸脱警告(yt=3)または左逸脱警告(yt=4)を行うことになる。
(信号機の認識動作)
次に、本実施形態において特徴とする動作である信号機TLの認識動作について説明する。この信号機TLの認識動作は、前述したように信号機認識部83によって行われる。
次に、本実施形態において特徴とする動作である信号機TLの認識動作について説明する。この信号機TLの認識動作は、前述したように信号機認識部83によって行われる。
図3に示すように、信号機認識部83は、信号機第1認識部83a、信号機第2認識部83b、判定部83c、再認識処理部83dを備えている。これら信号機第1認識部83a、信号機第2認識部83b、判定部83c、再認識処理部83dも、前記制御プログラムによって実現される機能部である。以下、それぞれについて説明する。
信号機第1認識部83aは、カメラ20によって取得(撮影)された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いて信号機TLの認識動作を行う機能部である。具体的に、信号機第1認識部83aは、深層学習を用いて信号機TLの認識動作を行う。つまり、事前にアノテーションされた信号機TLのデータ(ラベルが付けられた信号機TLのデータ;深層学習によって信号機TLを認識するための教師データ)を利用して、カメラ20によって取得された画像中に信号機TLが存在するか否かの判断(信号機TLの存在の有無の認識)、および、信号機TLの状態(青信号であるか赤信号であるか)の認識を行う。ここで、予めアノテーションされたデータとしては、信号機TLの赤色の点灯部が点灯した状態でのデータおよび信号機TLの青色の点灯部が点灯した状態でのデータの2つのデータを使用するようにしてもよいし、信号機TLのデータとして1つのデータのみを使用するようにしてもよい。
信号機第2認識部83bは、カメラ20によって取得された画像に対し、信号機TLの特徴量に基づいて当該信号機TLの認識動作を行う機能部である。本実施形態において使用する信号機TLの特徴量としては、形状特徴量として信号機TLのアスペクト比(縦横比)、および、色特徴量として点灯色の色相、彩度、明度である。以下、これら特徴量を使用した信号機TLの認識動作について説明する。この信号機TLの認識動作は、形状特徴量を使用した認識動作および色特徴量を使用した認識動作が順に行われる。
先ず、形状特徴量を使用した認識動作について説明する。信号機TLにおけるアスペクト比は予め規定されている。このため、カメラ20によって取得された画像中に、このアスペクト比に略合致する形状の物体(当該物体を表す画像)が存在しておれば、その形状の物体(その形状の物体の画像領域)が信号機TLである可能性が高いとして抽出される。以下、この形状の物体の画像領域を認識対象エリアと呼ぶこととする。具体的には、図12(信号機TLを示す図)に示すように、予め規定されている信号機TLの高さ寸法をh、幅寸法をwとした場合に、アスペクト比w/hが以下の式(15)を満たす物体を信号機TLの可能性が高い物体(認識対象エリアに存在する物体)であるとして抽出する。
式(15)におけるαminおよびαmaxは、画像上に信号機TLが存在する場合における画像上での寸法の誤差等を考慮して予め設定された値である。
このように抽出された認識対象エリアに対し、色特徴量を使用した認識動作を行うことで、信号機TLであるか否かの確定動作を行う。以下、この色特徴量を使用した認識動作について説明する。
色特徴量を使用した認識動作としては、色相スクリーニング動作および彩度・明度認識動作が順に行われる。
色相スクリーニング動作は、前述した形状特徴量を使用した認識動作によって抽出した認識対象エリアの色相が信号機TLにおける何れかの点灯部の点灯色に合致しているか否かを判断する動作である。具体的には、カメラ20によって取得された画像中の前記認識対象エリアの色情報としてRGB色空間をHSV色空間に変換する。この変換は周知のHSV変換処理が利用される。ここで、Hは色相(Hue)、Sは彩度(Saturation Chroma)、Vは明度(Value Brightness)である。色相スクリーニング動作では、認識対象エリアの色相Hが以下の式(16)を満たすか否かを判断する。
認識対象エリアの色相Hが赤色であった場合には、その色が、信号機TLの赤色の点灯色を対象とした式(16)を満たすか否かが判断され、認識対象エリアの色相Hが青色であった場合には、その色が、信号機TLの青色の点灯色を対象とした式(16)を満たすか否かが判断されることになる。この式(16)における所定範囲(Hmin~Hmaxの範囲)は、信号機TLの点灯部が点灯している場合の色相に対してある程度の外乱を考慮した範囲として予め設定されたものである。つまり、これら値は、認識対象エリアに存在する物体が信号機TLであると仮定した場合に赤信号となっている場合と青信号となっている場合とを想定した異なる値が選択されて式(16)に当て嵌められることになる。
認識対象エリアの色相Hが式(16)を満たしている場合には、更に、信号機TLであることの信頼性を高めるために以下の彩度・明度認識動作を行う。図12に示すように歩行者用信号機(信号機)TLにあっては、赤色の点灯部RLが点灯している場合には、その下側に隣接する青色の点灯部BLは消灯し黒色となっている。また、青色の点灯部BLが点灯している場合には、その上側に隣接する赤色の点灯部RLは消灯し黒色となっている。彩度・明度認識動作では、このことを利用して、前記抽出された認識対象エリアが信号機TLであるか否かの確定動作を行う。
この彩度・明度認識動作では、歩行者用信号機TLの赤色の点灯部RLにおける彩度の平均値および明度の平均値と、青色の点灯部BLにおける彩度の平均値および明度の平均値とを使用する。具体的には、現在の信号機TLの状態が赤信号となっている場合について説明すると、図13に示すように、画像上において赤色が検出された領域の中心点Predを求め、この中心点Predの中心点から半径β2・wの円Aredを設定する(但し、0<β2<1)。次に、前記中心点Predから鉛直下方にβ1・hだけ移動した点Pblackを設定し(但し、0<β1<1)、この点Pblackを中心とした半径β2・wの円Ablackを設定する。そして、円Aredの内側に存在する複数の画素の彩度の平均値をSredとし明度の平均値をVredとする。同様に、円Ablackの内側に存在する複数の画素の彩度の平均値をSblackとし明度の平均値をVblackとする。このようにして各平均値を設定し、以下の式(17)が満たされるか否かを判断する。
式(17)における演算g2は、環状のHSV色空間における各平均値の乖離量を算出するための演算式として規定されたものである。図14は、環状のHSV色空間を示す図である。式(17)では、このHSV色空間における各平均値の乖離量を算出する。つまり、認識対象エリアに存在する物体が信号機TLであった場合、赤色の点灯部(赤色に点灯している部分)RLにおける前記円Aredの内側の領域での彩度の平均値Sredおよび明度の平均値Vredとしては、図中のPR位置となるのに対し、青色の点灯部(点灯していないため黒色となっている部分)BLにおける前記円Ablackの内側の領域での彩度の平均値Sblackおよび明度の平均値Vblackとしては、図中のPB位置となっており、これらPR位置とPB位置との間の距離が大きく得られ(式(17)における距離Lよりも大きな値として得られ)、式(17)を満たすことになり、認識対象エリアに存在する物体が信号機TLであることが確定される。尚、認識対象エリアが信号機TLであった場合に青色の点灯部BLが点灯している場合においても同様に式(17)を満たすか否かによって認識対象エリアに存在する物体が信号機TLであるが否かが確定される。
判定部83cは、前述した信号機第1認識部83aによる認識動作の結果および信号機第2認識部83bによる認識動作の結果それぞれに基づいて、前記画像中に信号機TLが認識できたか否かを判定する機能部である。
この判定部83cにおける判定動作について説明する。時刻tでカメラ20から取得された画像Xt∈Rw0×h0が入力され、信号機TLの認識動作の結果z(t)∈{0,1}を返す関数として以下の式(18)を考える。
ここで、
である。
また、認識動作の結果z(t)=0は信号機の未検出、認識動作の結果z(t)=1は信号機の検出を表す。
本実施形態では、信号機第1認識部83aによる認識動作において、深層学習を用いて横断歩道CWおよび信号機TLを検出するモデルをk1とする。また、信号機第2認識部83bによる認識動作において、信号機TLの幾何特徴量(形状特徴量および色特徴量)から検出するモデルをk2とする。これらモデルを用いた信号機TLの認識結果は以下の式(20)で求めることができる。
つまり、各モデルの出力が共に1の場合(信号機第1認識部83aによる認識動作および信号機第2認識部83bによる認識動作の何れにおいても信号機TLが認識された場合)にのみ、式(20)がz(t)=1となり、少なくとも一方のモデルの出力が0の場合(信号機第1認識部83aによる認識動作および信号機第2認識部83bによる認識動作のうち少なくとも一方において信号機TLが認識されなかった場合)には、式(20)がz(t)=0となる。
図15は、各認識部83a,83bによる認識動作の結果と判定部83cによる判定結果との関係を示す図である。この図15に示すように、判定部83cは、信号機第1認識部83aによる認識動作(手法1)および信号機第2認識部83bによる認識動作(手法2)において共に信号機TLが認識されたとの結果が得られた場合(ケース1の場合)には、歩行方向前方に信号機TLが認識されたと判定する。また、信号機第1認識部83aによる認識動作および信号機第2認識部83bによる認識動作において共に信号機が認識されないとの結果が得られた場合(ケース4の場合)には、歩行方向前方に信号機が存在していないと判定する。
一方、信号機第1認識部83aによる認識動作および信号機第2認識部83bによる認識動作のうち一方の認識部による認識動作のみにおいて信号機TLが認識されたとの結果が得られた場合(ケース2またはケース3の場合)には、信号機の認識の有無を確定することなく、その情報を再認識処理部83dに送信し、後述する再認識処理部83dにおけるデータの修正後の再度の認識動作(再推論)を行わせることになる。
再認識処理部83dは、信号機第1認識部83aによる認識動作および信号機第2認識部83bによる認識動作のうち一方の認識部による認識動作のみにおいて信号機TLが認識されたとの結果が得られた場合に、当該一方の認識部による認識動作の結果を用いた補助処理を行って他方の認識部による認識動作を再度行わせる機能部である。
具体的には、信号機第1認識部83aによる認識動作のみにおいて信号機TLが認識されたとの結果が得られた場合(ケース3の場合)には、深層学習によって信号機TLが存在する領域(画像上の位置)が分かっているので、この深層学習によって得られた信号機TLが存在する領域に対し、当該領域の切り出し処理および拡大処理を行って、信号機第2認識部83bによる認識動作を再度行わせる。つまり、信号機TLが存在する可能性が高い領域を限定した上で、この領域での信号機TLの幾何特徴量に基づいた認識動作を再度行わせる。一方、信号機第2認識部83bによる認識動作のみにおいて信号機TLが認識されたとの結果が得られた場合(ケース2の場合)には、信号機TLの特徴量である当該信号機TLの形状および点灯色が所定の要件を満たすか否かを考慮し、前記画像に対してこれら要件の前処理を施して不要な情報のフィルタリング処理(前記形状や色に合致しない領域の情報を削除する処理)を行って、信号機第1認識部83aによる認識動作を再度行わせる。
(歩行支援動作)
次に、歩行支援システム10による歩行支援動作の流れについて説明する。
次に、歩行支援システム10による歩行支援動作の流れについて説明する。
図16は、前述した歩行支援動作の一連の流れを示すフローチャートである。このフローチャートは、視覚障碍者が路上(歩道上)を歩行している状況において、所定時刻tから所定時刻t+1までの間で1回のルーチンが実施されるように所定時間間隔を存して繰り返して実施される。以下の説明では各状態遷移関数における変数(J,Xt+1)の記載を省略する。
先ず、ステップST1において視覚障碍者が歩行状態にある状況で、ステップST2において、前記横断歩道検出部82によって認識された、横断歩道CWを含む画像領域における当該横断歩道CWの白線WL1の位置(より具体的には、最も手前に位置する白線WL1のBoundary Boxの位置)に基づき、前述した停止指示(yt=1)を行う条件の成立の有無を判定するための状態遷移関数f0(前記式5)において「1」が得られたか否かを判定する。
この状態遷移関数f0において「0」が得られている場合には、停止指示(yt=1)を行う条件が成立していない、つまり、視覚障碍者は未だ横断歩道CWの手前に達していないとしてNO判定され、ステップST1に戻る。視覚障碍者が横断歩道CWの手前に達するまで、ステップST2ではNO判定されるため、ステップST1,ST2の動作を繰り返すことになる。
視覚障碍者が横断歩道CWの手前に達し、状態遷移関数f0において「1」が得られた場合には、ステップST2でYES判定され、ステップST3に移る。このステップST3では、視覚障碍者に対して停止指示(yt=1)を行う。具体的には、視覚障碍者が持っている白杖1の振動発生機50が、停止指示(停止通知)を示すパターンで振動する。これにより、白杖1のグリップ部3を把持している視覚障碍者は、振動発生機50の振動のパターンを感じ取ることで停止指示されたことを認識し、歩行を停止することになる。
ステップST4において視覚障碍者が停止状態にある状況で、ステップST5において、前述した歩行指示(yt=2)を行う条件の成立の有無を判定するための状態遷移関数f1(前記式8)において「1」が得られたか否かを判定する。この状態遷移関数f1による判定動作に際しては、前述した図4で示したように、破線で囲まれた領域Aが抽出され、前述した信号機第1認識部83aによる信号機TLの認識動作および信号機第2認識部83bによる信号機TLの認識動作が行われる。また、必要に応じて再認識処理部83dによる再度の認識動作(再推論)が行われる。以下、これら認識動作について図17のフローチャート(図16のフローチャートにおいて信号機認識動作であるサブルーチン)に沿って説明する。
この図17のサブルーチンにおけるステップST21では、信号機認識動作のリトライ回数を規定する変数Mが所定値Mmaxに達していないか否かを判定する。信号機認識動作の開始時点では変数Mは零となっているのでステップST21ではYES判定され、ステップST22に移る。
ステップST22では、信号機第1認識部83aによる信号機TLの認識動作および信号機第2認識部83bによる信号機TLの認識動作が実行される。つまり、取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機TLの認識動作、および、取得された画像に対し、信号機TLの特徴量に基づいた信号機TLの認識動作が行われる。
ステップST23では、信号機第1認識部83aによる認識動作の結果(z1)が、信号機TLが認識されたとの結果(z1=1)であり、且つ信号機第2認識部83bによる認識動作の結果(z2)も、信号機TLが認識されたとの結果(z2=1)であるか否かが判定される。各認識動作の結果が共に信号機TLが認識されたとの結果であり、ステップST23でYES判定された場合には、ステップST24に移り、信号機TLが認識されたことを確定する(判定部83cによる認識確定)。
ステップST23でNO判定された場合には、ステップST25に移り、信号機第1認識部83aによる認識動作の結果(z1)が、信号機TLが認識されないとの結果(z1=0)であり、且つ信号機第2認識部83bによる認識動作の結果(z2)も、信号機TLが認識されないとの結果(z2=0)であるか否かが判定される。各認識動作の結果が共に信号機TLが認識されないとの結果であり、ステップST25でYES判定された場合には、ステップST26に移り、信号機TLが認識されない、つまり、視覚障碍者の前方には信号機TLが存在しないことを確定する(判定部83cによる信号機が存在しないことの確定)。
ステップST25でNO判定された場合には、ステップST27に移り、信号機第1認識部83aによる認識動作の結果(z1)が、信号機TLが認識されたとの結果(z1=1)であり、且つ信号機第2認識部83bによる認識動作の結果(z2)が、信号機TLが認識されないとの結果(z2=0)であるか否かが判定される。つまり、信号機第1認識部83aによる認識動作のみにおいて信号機TLが認識されたか否かが判定される。この判定がYESであった場合には、ステップST28に移り、画像修正(深層学習によって得られた信号機TLが存在する領域に対し、当該領域の切り出し処理および拡大処理)を行い、ステップST31において前記変数Mに1を加算(M+1)してリターンする。つまり、この領域の切り出し処理および拡大処理を行って信号機第2認識部83bによる認識動作を再度行わせることになる。
ステップST27でNO判定された場合には、ステップST29に移り、信号機第1認識部83aによる認識動作の結果(z1)が、信号機TLが認識されないとの結果(z1=0)であり、且つ信号機第2認識部83bによる認識動作の結果(z2)が、信号機TLが認識されたとの結果(z2=1)であるか否かが判定される。つまり、信号機第2認識部83bによる認識動作のみにおいて信号機TLが認識されたか否かが判定される。この判定がYESであった場合には、ステップST30に移り、画像修正(信号機TLの特徴量である当該信号機TLの形状および点灯色が所定の要件を満たすか否かを考慮し、前記画像に対してこれら要件の前処理を施して不要な情報のフィルタリング処理を行う処理)を行い、ステップST31において前記変数Mに1を加算(M+1)してリターンする。つまり、この不要な情報のフィルタリング処理を行って信号機第1認識部83aによる認識動作を再度行わせることになる。
このようにして認識動作が複数回行われたことで変数Mが所定値Mmaxに達し、ステップST21でNO判定された場合には、ステップST32に移り、視覚障碍者の前方には信号機TLが存在しないことを確定する(判定部83cによる信号機が存在しないことの確定)。尚、ステップST29でNO判定された場合には、認識動作の結果の送受信が良好に行えていない可能性があるとして、前記画像修正を行うことなくステップST31に移り、信号機第1認識部83aによる認識動作および信号機第2認識部83bによる認識動作を再度行わせることになる。
以上のサブルーチン(図17)において信号機TLの存在の有無が確定された後、図16のフローチャートにおけるステップST5において、歩行指示(yt=2)を行う条件の成立の有無を判定するための状態遷移関数f1(前記式8)において「1」が得られたか否かを判定することになる。
この状態遷移関数f1において「0」が得られている場合には、歩行指示(yt=2)を行う条件が成立していない、つまり、信号機TLは未だ青信号に切り替わっていないとしてNO判定され、ステップST4に戻る。信号機TLが青信号に切り替わるまで、ステップST5ではNO判定されるため、ステップST4,ST5の動作を繰り返すことになる。
信号機TLが青信号に切り替わり、状態遷移関数f1において「1」が得られた場合には、ステップST5でYES判定され、ステップST6に移る。この動作が、切り替わり認識部(信号機の状態が、停止指示状態から横断許可状態に切り替わったことを認識する切り替わり認識部)84の動作に相当する。
ステップST6では、視覚障碍者に対して歩行(横断)指示(yt=2)を行う。具体的には、視覚障碍者が持っている白杖1の振動発生機50が、歩行指示(横断開始通知)を示すパターンで振動する。これにより、白杖1のグリップ部3を把持している視覚障碍者は歩行指示されたことを認識し、横断歩道CWの横断を開始することになる。
ステップST7において視覚障碍者が横断歩道CWの横断状態にある状況で、ステップST8において、横断歩道CWからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数f3(前記式12)において「1」が得られたか否かを判定する。
状態遷移関数f3において「1」が得られ、ステップST8でYES判定された場合、ステップST9において、その横断歩道CWからの逸脱の方向が右方向(右逸脱)であるか否かを判定する。そして、横断歩道CWからの逸脱の方向が右方向であり、ステップST9でYES判定された場合にはステップST10に移り、視覚障碍者に対して右逸脱警告(yt=3)を行う。具体的には、視覚障碍者が持っている白杖1の振動発生機50が、右逸脱警告を示すパターンで振動する。これにより、白杖1のグリップ部3を把持している視覚障碍者は右逸脱警告されたことを認識し、歩行方向を左方向に向けて変更することになる。
一方、横断歩道CWからの逸脱の方向が左方向であり、ステップST9でNO判定された場合にはステップST11に移り、視覚障碍者に対して左逸脱警告(yt=4)を行う。具体的には、視覚障碍者が持っている白杖1の振動発生機50が、左逸脱警告を示すパターンで振動する。これにより、白杖1のグリップ部3を把持している視覚障碍者は左逸脱警告されたことを認識し、歩行方向を右方向に向けて変更することになる。このようにして逸脱警告を行った後、ステップST14に移る。
横断歩道CWからの逸脱がなく、状態遷移関数f3において「0」が得られている場合には、ステップST8でNO判定され、ステップST12に移る。このステップST12では、現在、ステップST10またはステップST11における逸脱警告の発生中であるか否かを判定する。逸脱警告の発生中でなく、ステップST12でNO判定された場合には、ステップST14に移る。一方、逸脱警告の発生中であり、ステップST12でYES判定された場合には、ステップST13に移り、逸脱警告を解除してステップST14に移る。
ステップST14では、横断完了の通知を行う条件の成立の有無を判定するための状態遷移関数f2(前記式11)において「1」が得られたか否かを判定する。
この状態遷移関数f2において「0」が得られている場合には、横断完了の通知を行う条件が成立していない、つまり、視覚障碍者は横断歩道CWの横断中であるとしてNO判定され、ステップST7に戻る。横断歩道CWの横断が完了するまで、ステップST14ではNO判定されるため、ステップST7~ST14の動作を繰り返すことになる。
つまり、視覚障碍者の横断中に横断歩道CWからの逸脱が発生する場合には前述した逸脱警告が行われ、この逸脱が解消された場合には、逸脱警告が解除されるといった動作を、横断歩道CWの横断が完了するまで行われる。
視覚障碍者が横断歩道CWの横断を完了し、状態遷移関数f2において「1」が得られた場合には、ステップST14でYES判定され、ステップST15に移り、視覚障碍者に対して横断完了の通知を行う。具体的には、視覚障碍者が持っている白杖1の振動発生機50が、横断完了を示すパターンで振動する。これにより、白杖1のグリップ部3を把持している視覚障碍者は横断完了の通知が行われたことを認識し、通常の歩行状態に戻ることになる。
このようにして、視覚障碍者が横断歩道CWを横断する度に前述した動作が繰り返されることになる。
-実施形態の効果-
以上説明したように、本実施形態では、カメラ20によって撮影された画像に対して、信号機第1認識部83aによる認識動作(カメラ20によって撮影された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機TLの認識動作)の結果、および、信号機第2認識部83bによる認識動作(カメラ20によって撮影された画像に対し、信号機TLの特徴量に基づいた当該信号機TLの認識動作)の結果それぞれに基づいて、画像中に信号機TLが認識されたか否かを判定するようにしている。これにより、信号機TLの認識精度を十分に得ることが可能になり、信号機TLの状態に応じた歩行者(視覚障碍者)への指示を適切に行うことができる。
以上説明したように、本実施形態では、カメラ20によって撮影された画像に対して、信号機第1認識部83aによる認識動作(カメラ20によって撮影された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機TLの認識動作)の結果、および、信号機第2認識部83bによる認識動作(カメラ20によって撮影された画像に対し、信号機TLの特徴量に基づいた当該信号機TLの認識動作)の結果それぞれに基づいて、画像中に信号機TLが認識されたか否かを判定するようにしている。これにより、信号機TLの認識精度を十分に得ることが可能になり、信号機TLの状態に応じた歩行者(視覚障碍者)への指示を適切に行うことができる。
また、本実施形態では、信号機第1認識部83aによる認識動作および信号機第2認識部83bによる認識動作のうち一方の認識部による認識動作のみにおいて信号機TLが認識されたとの結果が得られた場合には、当該一方の認識部による認識動作の結果を用いた補助処理を行って他方の認識部による認識動作を再度行わせるようにしている。このため、片方の認識部による認識動作において信号機TLが認識されなかった場合(信号機TLが存在しているにも拘わらず認識されなかった場合)に、再度の認識動作にあっては信号機TLが認識される可能性を高めることができ、信号機TLの認識動作に高い信頼性を得ることができる。
また、本実施形態では、信号機TLの状態が赤信号から青信号に切り替わったことを条件として視覚障碍者に向けて横断の開始通知を行うようにしている。このため、視覚障碍者が横断歩道CWを横断するに当たって、信号機TLの状態が青信号となっている時間を十分に確保することができる。
また、本実施形態では、歩行支援システム10の構成要素を白杖1に内蔵させることにより、白杖1のみで歩行支援システム10を実現しているため、実用性の高い歩行支援システム10を提供することができる。
-他の実施形態-
尚、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。
尚、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。
例えば、前記実施形態では、歩行支援システム10を、視覚障碍者が使用する白杖1に内蔵した場合について説明した。本発明はこれに限らず、歩行者が高齢者である場合の杖や手押し車等であってもよい。
また、前記実施形態では、視覚障碍者が横断歩道CWに達した際に停止指示(yt=1)を行い(信号機TLが青信号であっても停止指示を行い)、信号機TLが赤信号から青信号に切り替わったタイミングで歩行指示(yt=2)を行うようにしていた。つまり、本発明に係る信号機TLの認識動作は、主に歩行指示(yt=2)を行うためのものとして利用されるものとしていた。本発明はこれに限らず、視覚障碍者が横断歩道CWに達した際に信号機TLの認識動作を行い、停止指示(yt=1)を行うためのものとしても利用するようにしてもよい。
また、前記実施形態では、白杖1に充電ソケット70を備えさせ、家庭用電源からバッテリ(二次電池)60を充電するようにしていた。本発明はこれに限らず、白杖1の表面に太陽光発電シートを貼り付けておき、当該太陽光発電シートで発電した電力によってバッテリ60を充電するようにしてもよい。また、二次電池に代えて一次電池を使用するようになっていてもよい。また、白杖1に振り子式発電機を内蔵し、該振り子式発電機を利用してバッテリ60を充電するようにしてもよい。
また、前記実施形態では、振動発生機50の振動パターンによって通知の種類を分けるようにしていた。本発明はこれに限らず、音声によって通知を行うようにしてもよい。
本発明は、歩行する視覚障碍者に対して横断歩道の横断開始通知を行う歩行支援システムに適用可能である。
1 白杖
10 歩行支援システム
20 カメラ(画像取得手段)
50 振動発生機(通知手段)
80 制御装置
83a 信号機第1認識部
83b 信号機第2認識部
83c 判定部
83d 再認識処理部
TL 信号機
CW 横断歩道
10 歩行支援システム
20 カメラ(画像取得手段)
50 振動発生機(通知手段)
80 制御装置
83a 信号機第1認識部
83b 信号機第2認識部
83c 判定部
83d 再認識処理部
TL 信号機
CW 横断歩道
Claims (10)
- 歩行者の歩行方向前方に位置する信号機を認識し当該信号機の状態に応じて、前記歩行者に対し、横断歩道の手前での停止指示および当該横断歩道の横断の開始指示のうち少なくとも一方を行う歩行支援システムであって、
前記歩行者の歩行方向前方の画像を取得可能な画像取得手段と、
前記画像取得手段によって取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いて信号機の認識動作を行う信号機第1認識部と、
前記画像取得手段によって取得された画像に対し、信号機の特徴量に基づいて当該信号機の認識動作を行う信号機第2認識部と、
前記信号機第1認識部による認識動作の結果および前記信号機第2認識部による認識動作の結果それぞれに基づいて、前記画像中に前記信号機が認識されたか否かを判定する判定部と、
を備えていることを特徴とする歩行支援システム。 - 請求項1記載の歩行支援システムにおいて、
前記判定部は、前記信号機第1認識部による認識動作および前記信号機第2認識部による認識動作において共に信号機が認識されたとの結果が得られた場合には、歩行方向前方に信号機が認識されたと判定し、前記信号機第1認識部による認識動作および前記信号機第2認識部による認識動作において共に信号機が認識されないとの結果が得られた場合には、歩行方向前方に信号機が存在していないと判定することを特徴とする歩行支援システム。 - 請求項1または2記載の歩行支援システムにおいて、
前記信号機第1認識部による認識動作および前記信号機第2認識部による認識動作のうち一方の認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、当該一方の認識部による認識動作の結果を用いた補助処理を行って他方の認識部による認識動作を再度行わせる再認識処理部を備えていることを特徴とする歩行支援システム。 - 請求項3記載の歩行支援システムにおいて、
前記再認識処理部は、前記信号機第1認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、深層学習によって得られた信号機が存在する領域に対し、当該領域の切り出し処理および拡大処理を行って、前記信号機第2認識部による認識動作を再度行わせることを特徴とする歩行支援システム。 - 請求項3記載の歩行支援システムにおいて、
前記再認識処理部は、前記信号機第2認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、信号機の特徴量である当該信号機の形状および点灯色が所定の要件を満たすか否かを考慮し、前記画像に対してこれら要件の前処理を施して不要な情報のフィルタリング処理を行って、前記信号機第1認識部による認識動作を再度行わせることを特徴とする歩行支援システム。 - 請求項1~5のうち何れか一つに記載の歩行支援システムにおいて、
前記信号機の特徴量は、信号機において予め規定されたアスペクト比、および、点灯色の色相、彩度、明度であることを特徴とする歩行支援システム。 - 請求項6記載の歩行支援システムにおいて、
前記信号機第2認識部は、前記画像取得手段によって取得された画像中における前記点灯色の色相に該当する領域での複数の画素領域の彩度の平均値および明度の平均値を用いて前記認識動作を行うことを特徴とする歩行支援システム。 - 請求項7記載の歩行支援システムにおいて、
前記信号機第2認識部は、前記画像取得手段によって取得された画像中における前記点灯色の色相に該当する領域、および、該領域に隣接する所定領域それぞれの彩度の平均値の乖離量および明度の平均値の乖離量が共に所定量を超えている場合に信号機であることを認識することを特徴とする歩行支援システム。 - 請求項1~8のうち何れか一つに記載の歩行支援システムにおいて、
前記画像取得手段、前記信号機第1認識部、前記信号機第2認識部、および、前記判定部それぞれは、視覚障碍者が使用する白杖に内蔵されていることを特徴とする歩行支援システム。 - 請求項9記載の歩行支援システムにおいて、
歩行者の歩行方向前方に位置する前記信号機の状態に応じて、前記歩行者に対し、横断歩道の手前での停止を促す通知または当該横断歩道の横断の開始を促す通知を行う通知手段を備えており、該通知手段は、振動または音声によって、前記視覚障碍者に向けて前記通知を行う構成となっていることを特徴とする歩行支援システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021081466A JP2022175230A (ja) | 2021-05-13 | 2021-05-13 | 歩行支援システム |
CN202210207364.1A CN115346189A (zh) | 2021-05-13 | 2022-03-03 | 步行辅助*** |
US17/688,006 US11938083B2 (en) | 2021-05-13 | 2022-03-07 | Walking support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021081466A JP2022175230A (ja) | 2021-05-13 | 2021-05-13 | 歩行支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022175230A true JP2022175230A (ja) | 2022-11-25 |
Family
ID=83947608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021081466A Pending JP2022175230A (ja) | 2021-05-13 | 2021-05-13 | 歩行支援システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11938083B2 (ja) |
JP (1) | JP2022175230A (ja) |
CN (1) | CN115346189A (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130250078A1 (en) * | 2012-03-26 | 2013-09-26 | Technology Dynamics Inc. | Visual aid |
JP6948325B2 (ja) | 2016-08-05 | 2021-10-13 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11969391B2 (en) * | 2018-02-12 | 2024-04-30 | Smart Guider, Inc. | Robotic sighted guiding system |
-
2021
- 2021-05-13 JP JP2021081466A patent/JP2022175230A/ja active Pending
-
2022
- 2022-03-03 CN CN202210207364.1A patent/CN115346189A/zh active Pending
- 2022-03-07 US US17/688,006 patent/US11938083B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11938083B2 (en) | 2024-03-26 |
US20220370283A1 (en) | 2022-11-24 |
CN115346189A (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170007459A1 (en) | Vision aiding method and apparatus integrated with a camera module and a light sensor | |
JP5401344B2 (ja) | 車両用外界認識装置 | |
JP4708124B2 (ja) | 画像処理装置 | |
JP7165093B2 (ja) | 車両制御システム | |
CN106372610B (zh) | 一种基于智能眼镜的前景信息提示方法及智能眼镜 | |
JP7415909B2 (ja) | 歩行支援システム | |
JP2022172511A (ja) | 歩行支援システム | |
JP2022175230A (ja) | 歩行支援システム | |
JP2008250756A (ja) | 信号制御システム | |
CN114764972B (zh) | 步行支持*** | |
JP2009251761A (ja) | 運転支援システム | |
KR100951474B1 (ko) | 횡단보도 신호대기 보행자를 자동 감지하여교통신호제어기를 운영하는 방법 및 그 시스템 | |
JP2023048408A (ja) | 信号機認識システム | |
KR102430569B1 (ko) | 횡단보도자의 성향에 따라 교통신호를 제어하는 시스템 | |
JP4857926B2 (ja) | 自律移動装置 | |
JP2023027471A (ja) | 歩行支援システム | |
CN113080550A (zh) | 用于识别障碍物的头巾及其识别障碍物的方法 | |
JP3837572B2 (ja) | 視覚障害者用画像認識装置、その方法及びプログラム | |
JP2013171390A (ja) | 運転支援装置 | |
CN113299091A (zh) | 智慧交通路面照明警示方法及*** | |
KR20210106210A (ko) | 인공지능 학습을 기반으로 한 시각 장애인 보행 보조 시스템 및 방법 | |
JP2023122833A (ja) | 移動支援装置および移動支援システム | |
KR102516897B1 (ko) | 횡단보도 신호등 제어 시스템 및 그 방법 | |
KR102295766B1 (ko) | 스마트형 횡단 보도 돌발 감지 시스템 및 이의 실행 방법 | |
JP2023073100A (ja) | 歩行支援システム |