JP2022175230A - 歩行支援システム - Google Patents

Abstract

【課題】信号機の認識精度を十分に得ることを可能にし、歩行者に対する通知を適切に行うことができる歩行支援システムを提供する。
【解決手段】信号機第１認識部８３ａによる認識動作（カメラ２０によって取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機の認識動作）の結果、および、信号機第２認識部８３ｂによる認識動作（カメラ２０によって取得された画像に対し、信号機の特徴量に基づいた当該信号機の認識動作）の結果それぞれに基づいて、画像中に信号機が認識されたか否かを判定する。これにより、信号機の認識精度を十分に得ることが可能になり、信号機の状態に応じた歩行者への指示を適切に行うことができる。
【選択図】図３

Description

本発明は歩行支援システムに係る。特に、本発明は、視覚障碍者等の歩行者の歩行の支援のための通知を行うに当たり、信号機の認識精度を高めるための対策に関する。

視覚障碍者等の歩行者の歩行の支援のための通知を行うシステム（歩行支援システム）として、特許文献１に開示されているものが知られている。この特許文献１には、視覚を用いずに行動する者（視覚障碍者）が歩く方向を決定する方向決定部と、決定した方向へ視覚障碍者が歩くためのガイド情報を生成するガイド情報生成部とを備え、視覚障碍者が携帯するカメラからの画像と、予め記憶されている参照画像とのマッチングによって視覚障碍者の歩行方向を決定し、音声等によって視覚障碍者に対して歩行方向を案内することが開示されている。

再公表特許ＷＯ２０１８／０２５５３１号公報

ところで、この種の歩行支援システムにあっては、歩行者（視覚障碍者等）が横断歩道に接近する状況において、信号機（例えば歩行者用信号機）が赤信号となっている状況では、歩行者に対して停止を指示する通知を行う必要があり、歩行者が横断歩道の手前で停止している状態で、信号機が青信号となった場合には、歩行者に対して歩行（横断）を指示する通知を行う必要がある。このため、歩行者に対して各種通知（横断歩道の手前での歩行の停止通知、および、その後の横断開始通知）を適切に行うためには、信号機の存在および当該信号機の状態（青信号であるか赤信号であるか）をカメラ等の画像取得手段からの情報によって正確に認識しておくことが必須である。

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、信号機の認識精度を十分に得ることを可能にし、歩行者に対する通知を適切に行うことができる歩行支援システムを提供することにある。

前記の目的を達成するための本発明の解決手段は、歩行者の歩行方向前方に位置する信号機を認識し当該信号機の状態に応じて、前記歩行者に対し、横断歩道の手前での停止指示および当該横断歩道の横断の開始指示のうち少なくとも一方を行う歩行支援システムを前提とする。そして、この歩行支援システムは、画像取得手段、信号機第１認識部、信号機第２認識部、判定部を備えている。画像取得手段は、前記歩行者の歩行方向前方の画像を取得可能である。信号機第１認識部は、前記画像取得手段によって取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いて信号機の認識動作を行う。信号機第２認識部は、前記画像取得手段によって取得された画像に対し、信号機の特徴量に基づいて当該信号機の認識動作を行う。判定部は、前記信号機第１認識部による認識動作の結果および前記信号機第２認識部による認識動作の結果それぞれに基づいて、前記画像中に前記信号機が認識されたか否かを判定する。

ここでいう信号機の認識とは、画像取得手段によって取得された画像中における信号機の位置の認識および信号機が青信号であるか赤信号であるかの認識の両方を含む概念である。

この特定事項により、画像取得手段によって取得された歩行者の歩行方向前方の画像に対し、信号機第１認識部および信号機第２認識部それぞれにおける信号機の認識動作が行われる。つまり、信号機第１認識部では、予めアノテーションされたデータに基づく学習済みモデルを用いて信号機の認識動作を行う。また、信号機第２認識部では、信号機の特徴量に基づいて当該信号機の認識動作を行う。そして、これら認識動作の結果に基づいて、判定部が、前記画像中に信号機が認識されたか否かを判定する。これにより、信号機の認識精度を十分に得ることが可能になり、信号機の状態に応じた歩行者への指示（停止指示および横断の開始指示のうち少なくとも一方）を適切に行うことができる。

また、前記判定部は、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作において共に信号機が認識されたとの結果が得られた場合には、歩行方向前方に信号機が認識されたと判定し、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作において共に信号機が認識されないとの結果が得られた場合には、歩行方向前方に信号機が存在していないと判定する構成となっている。

これにより、信号機の認識動作に高い信頼性を得ることができる。

また、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作のうち一方の認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、当該一方の認識部による認識動作の結果を用いた補助処理を行って他方の認識部による認識動作を再度行わせる再認識処理部を備えている。

これにより、片方の認識部による認識動作において信号機が認識されなかった場合（信号機が存在しているにも拘わらず認識されなかった場合）に、再度の認識動作にあっては信号機が認識される可能性を高めることができ、これによっても信号機の認識動作に高い信頼性を得ることができる。

この場合、前記再認識処理部は、前記信号機第１認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、深層学習によって得られた信号機が存在する領域に対し、当該領域の切り出し処理および拡大処理を行って、前記信号機第２認識部による認識動作を再度行わせる。

これにより、信号機第２認識部による再度の認識動作において信号機が認識される可能性を高めることができ、これによっても信号機の認識動作に高い信頼性を得ることができる。

また、前記再認識処理部は、前記信号機第２認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、信号機の特徴量である当該信号機の形状および点灯色が所定の要件を満たすか否かを考慮し、前記画像に対してこれら要件の前処理を施して不要な情報のフィルタリング処理を行って、前記信号機第１認識部による認識動作を再度行わせる。

これにより、信号機第１認識部による再度の認識動作において信号機が認識される可能性を高めることができ、これによっても信号機の認識動作に高い信頼性を得ることができる。

前記信号機の特徴量として具体的には、信号機において予め規定されたアスペクト比、および、点灯色の色相、彩度、明度である。

信号機におけるアスペクト比や点灯色は道路交通法施行規則や警視庁交通仕様規格によって予め規定されているため、画像取得手段によって取得された画像中に、これらの特徴量に合致する特徴部分が存在するか否かを判断することで信号機であるか否かを高い精度で認識することが可能になる。

また、前記信号機第２認識部は、前記画像取得手段によって取得された画像中における前記点灯色の色相に該当する領域での複数の画素領域の彩度の平均値および明度の平均値を用いて前記認識動作を行う。

画像取得手段によって取得された画像中において点灯色の色相に該当する領域が信号機の点灯部であった場合、その画像の前記領域中の一部に反射された光（太陽光等）が存在していると、それが外乱となって信号機であるか否かの認識の精度が低下してしまう可能性がある。本解決手段では、画像中における点灯色の色相に該当する領域での複数の画素領域の彩度の平均値および明度の平均値を用いて信号機第２認識部による認識動作を行うようにしているため、一部の画素領域に前記外乱が存在していたとしても他の画素領域（外乱が存在していない画素領域）との彩度の平均値および明度の平均値としては信号機の点灯部における彩度および明度に略合致したものとして得られる可能性が高くなる。このため、外乱の影響を小さくすることで信号機第２認識部による信号機の認識精度を高めることができる。

また、前記信号機第２認識部は、前記画像取得手段によって取得された画像中における前記点灯色の色相に該当する領域、および、該領域に隣接する所定領域それぞれの彩度の平均値の乖離量および明度の平均値の乖離量が共に所定量を超えている場合に信号機であることを認識する。

信号機にあっては、赤色の点灯部が点灯している場合には、それに隣接する所定領域（具体的に、歩行者用信号機の場合には赤色の点灯部に隣接する下側の領域）である青色の点灯部は消灯している。また、青色の点灯部が点灯している場合には、それに隣接する所定領域（歩行者用信号機の場合には青色の点灯部に隣接する上側の領域）である赤色の点灯部は消灯している。つまり、画像取得手段によって取得された画像において、一方の点灯部に該当する領域は赤色または青色となっており、他方の点灯部に該当する領域は黒色となっている。つまり、この状態では、各点灯部における彩度の平均値の乖離量および明度の平均値の乖離量が共に大きくなっている。このことを利用し、本解決手段では、点灯色の色相に該当する領域、および、該領域に隣接する所定領域それぞれの彩度の平均値の乖離量および明度の平均値の乖離量が共に所定量を超えている場合に信号機であることを認識するようにしたことで、信号機第２認識部による信号機の認識精度を高めることができる。

また、前記画像取得手段、前記信号機第１認識部、前記信号機第２認識部、および、前記判定部それぞれを、視覚障碍者が使用する白杖に内蔵させた場合には、白杖のみで歩行支援システムを実現することができ、実用性の高い歩行支援システムを提供することができる。

また、歩行者の歩行方向前方に位置する前記信号機の状態に応じて、前記歩行者に対し、横断歩道の手前での停止を促す通知または当該横断歩道の横断の開始を促す通知を行う通知手段を備えており、該通知手段は、振動または音声によって、前記視覚障碍者に向けて前記通知を行う構成となっている。

これにより、白杖を持ちながら歩行する視覚障碍者（前記歩行者）に対する通知を適切に行うことができる。

本発明では、信号機第１認識部による認識動作（画像取得手段によって取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機の認識動作）の結果、および、信号機第２認識部による認識動作（画像取得手段によって取得された画像に対し、信号機の特徴量に基づいた当該信号機の認識動作）の結果それぞれに基づいて、画像中に信号機が認識されたか否かを判定するようにしている。これにより、信号機の認識精度を十分に得ることが可能になり、信号機の状態に応じた歩行者への指示を適切に行うことができる。

実施形態に係る歩行支援システムを内蔵した白杖を示す図である。 白杖のグリップ部の内部を示す概略図である。 歩行支援システムの制御系の概略構成を示すブロック図である。 カメラで撮影された画像の一例を示す図である。 視覚障碍者が横断歩道に向かう歩行状態にある際に、カメラで撮影された画像の一例を示す図である。 視覚障碍者が横断歩道に達したタイミングにおいてカメラで撮影された画像の一例を示す図である。 視覚障碍者が横断歩道の横断状態にある際に、カメラで撮影された画像の一例を示す図である。 横断歩道の横断状態にある視覚障碍者が横断歩道の右側に逸脱する方向に向かって歩行している際に、カメラで撮影された画像の一例を示す図である。 横断歩道の横断状態にある視覚障碍者が横断歩道の左側に逸脱する方向に向かって歩行している際に、カメラで撮影された画像の一例を示す図である。 認識された横断歩道および信号機の画像を示す図である。 認識された横断歩道の白線のBoundary Boxにおける各部の寸法を説明するための図である。 信号機を示す図である。 第２の信号機認識動作を説明するための図である。 ＨＳＶ色空間を示す図である。 各認識部による認識動作の結果と判定結果との関係を示す図である。 歩行支援システムによる歩行支援動作の手順を示すフローチャート図である。 図１６のフローチャートにおいて信号機認識動作であるサブルーチンを示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。本実施形態では、本発明に係る歩行支援システムを、視覚障碍者が使用する白杖に内蔵した場合について説明する。尚、本発明における歩行者としては視覚障碍者に限定されるものではない。

－白杖の概略構成－
図１は、本実施形態に係る歩行支援システム１０を内蔵した白杖１を示す図である。この図１に示すように、白杖１は、シャフト部２、グリップ部３、チップ部（石突き）４を備えている。

シャフト部２は、中空の略円形断面を有するロッド状であって、アルミニウム合金やガラス繊維強化樹脂、炭素繊維強化樹脂等で形成されている。

グリップ部３は、シャフト部２の基端部（上端部）にゴム等の弾性体で成るカバー３１が装着されて構成されている。また、本実施形態における白杖１のグリップ部３は、視覚障碍者（歩行者）が把持する際の持ち易さと滑り難さを考慮し、先端側（図１における上側）が僅かに湾曲した形状となっている。

チップ部４は、硬質の合成樹脂などで形成された略有底筒状の部材であって、シャフト部２の先端部に外挿されて接着やねじ止めなどの手段で固定されている。尚、チップ部４は、安全のために、先端側の端面が半球状となっている。

本実施形態に係る白杖１は、折り畳み不能な直杖であるが、シャフト部２の中間の一箇所または複数箇所で折り畳み可能或いは伸縮可能とされたものであってもよい。

－歩行支援システムの構成－
本実施形態の特徴は、前記白杖１に内蔵された歩行支援システム１０にある。以下、この歩行支援システム１０について説明する。

図２は、白杖１のグリップ部３の内部を示す概略図である。この図２に示すように、本実施形態に係る歩行支援システム１０は、白杖１に内蔵されている。また、図３は、歩行支援システム１０の制御系の概略構成を示すブロック図である。

これらの図に示すように、歩行支援システム１０は、カメラ（画像取得手段）２０、近距離無線通信機４０、振動発生機（通知手段）５０、バッテリ６０、充電ソケット７０、制御装置８０等を備えている。

カメラ２０は、グリップ部３の根元部における当該グリップ部３の前面（視覚障碍者の進行方向に向く面）に埋め込まれ、視覚障碍者の進行方向前側（歩行方向前方）を撮影する。このカメラ２０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で成る。また、カメラ２０の構成や配設位置は前述したものには限定されず、例えば、シャフト部２の前面（視覚障碍者の進行方向に向く面）に埋め込まれたものであってもよい。

このカメラ２０の特徴としては、歩行する視覚障碍者の進行方向の前方の画像であって、当該視覚障碍者が横断歩道に達した際における、当該横断歩道の白線のうち視覚障碍者に最も近い位置にある白線、および、視覚障碍者の前方に位置する信号機（例えば歩行者用信号機）の両方を含む画像を取得可能な広角のカメラとして構成されている。つまり、視覚障碍者が横断歩道の手前まで達した時点で、視覚障碍者の足元付近（足元から少し前方の位置）に存在する横断歩道における最も手前側にある白線と、横断先の地点に設置された信号機との両方を撮影可能な構成となっている。このカメラ２０において必要とされる視野角度は、前述したように視覚障碍者に最も近い位置にある白線（横断歩道の白線）および信号機の両方を含む画像を取得（撮影）可能なものとして適宜設定される。

近距離無線通信機４０は、前記カメラ２０と制御装置８０との間で近距離無線通信を行うための無線通信装置である。例えば、周知のBluetooth（登録商標）等の通信手段によって、カメラ２０と制御装置８０との間で近距離無線通信を行い、カメラ２０が撮影した画像の情報を制御装置８０に向けて無線送信する構成となっている。

振動発生機５０は、グリップ部３の根元部における前記カメラ２０の上側に配設されている。この振動発生機５０は、内蔵されたモータの作動に伴って振動し、その振動をグリップ部３に伝達することによって、当該グリップ部３を把持している視覚障碍者に向けて種々の通知が行えるようになっている。この振動発生機５０の振動による視覚障碍者に向けての通知の具体例については後述する。

バッテリ６０は、前記カメラ２０、近距離無線通信機４０、振動発生機５０、制御装置８０のための電力を蓄電する二次電池で構成されている。

充電ソケット７０は、バッテリ６０に電力を蓄える際に充電ケーブルが接続される部分である。例えば、視覚障碍者が在宅中に家庭用電源からバッテリ６０を充電する際に充電ケーブルが接続される。

制御装置８０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ、制御プログラムを記憶するＲＯＭ（Read-Only Memory）、データを一時的に記憶するＲＡＭ（Random-Access Memory）、および、入出力ポート等を備えている。

そして、この制御装置８０は、前記制御プログラムによって実現される機能部として、情報受信部８１、横断歩道検出部８２、信号機認識部８３、切り替わり認識部８４、情報送信部８５を備えている。以下、これら各部の機能の概略について説明する。

情報受信部８１は、前記カメラ２０が撮影した画像の情報を、当該カメラ２０から近距離無線通信機４０を介して所定時間間隔をもって受信する。

横断歩道検出部８２は、情報受信部８１が受信した画像の情報（カメラ２０によって撮影された画像の情報）における当該画像中における、横断歩道を認識したり、横断歩道における各白線の位置を検出する。

具体的には、図４（カメラ２０で撮影された画像の一例を示す図）に示すように、横断歩道ＣＷを構成する複数の白線ＷＬ１～ＷＬ７に対してBoundary Box（図４の一点鎖線を参照）を設定する。例えば周知のマッチング処理によって横断歩道ＣＷの白線ＷＬ１～ＷＬ７を確定し、これら確定された白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定する。また、予めアノテーションされた白線のデータ（ラベルが付けられた白線のデータ；深層学習によって白線を認識するための教師データ）を利用して白線ＷＬ１～ＷＬ７を確定し、これら確定された白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定するようにしてもよい。

そして、横断歩道検出部８２は、これらBoundary Boxのうち最も歩行者寄りのBoundary Boxの下端位置（図４におけるＬＮを参照）を検出する。本実施形態では、各白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定し、画像上において最も下側に位置するBoundary Boxの下端位置ＬＮを検出するようにしているが、Boundary Boxを設定することなく、画像上において確定された複数の白線ＷＬ１～ＷＬ７のうち最も下側に位置する白線ＷＬ１の下端位置を検出するものであってもよい。

尚、前記Boundary Boxは、後述するように、視覚障碍者の停止位置の特定、信号機ＴＬの位置の特定、視覚障碍者が横断歩道ＣＷを横断する際の進行方向の特定、横断歩道ＣＷの横断完了の判断等に利用される。これらの詳細については後述する。

信号機認識部８３は、情報受信部８１が受信した画像の情報から信号機ＴＬの位置の認識および信号機ＴＬの状態の認識（赤信号および青信号の何れであるかの認識）を行う。具体的には、情報受信部８１が受信した画像上における信号機ＴＬの存在領域を推定し、この推定された領域の内部における信号機ＴＬの位置および当該信号機ＴＬの状態それぞれの認識を行う。情報受信部８１が受信した画像上における信号機ＴＬの存在領域を推定するに当たっては、前述の如く認識された白線ＷＬ１～ＷＬ７に設定されたBoundary Boxのうち、最も遠い位置にあるBoundary Boxの画像内座標を特定すると共に、図４に示すように、前記Boundary Box（認識された白線ＷＬ１～ＷＬ７のうち最も遠い位置にある白線ＷＬ７に設定されたBoundary Box）の上辺に接する四角形（幅寸法がｗ_ｓ、高さ寸法がｈ_ｓの四角形）を規定し、これを信号機ＴＬの領域（信号機ＴＬの存在領域）ＡとしてのＣｒｏｐ範囲を出力する。この際、Ｃｒｏｐ範囲は正方形であってもよいし長方形であってもよい。そして、このＣｒｏｐ範囲内における信号機ＴＬの位置および当該信号機ＴＬの状態それぞれの認識を行うことになる。この信号機ＴＬの位置および当該信号機ＴＬの状態それぞれの認識を行う動作の詳細については後述する。

切り替わり認識部８４は、前記信号機認識部８３によって認識された信号機ＴＬの状態が、赤信号から青信号に切り替わったことを認識する。この信号の切り替わりを認識した際、この切り替わり認識部８４は、切り替わり信号を情報送信部８５に送信する。この切り替わり信号は、情報送信部８５から振動発生機５０に送信される。振動発生機５０は、この切り替わり信号を受けたことに連動して、所定のパターンで振動し、視覚障碍者に、信号機ＴＬが赤信号から青信号に切り替わったことに起因して横断歩道の横断を許可する通知（横断開始通知）を行うことになる。

－歩行支援動作－
次に、前述の如く構成された歩行支援システム１０による歩行支援動作について説明する。先ず、本実施形態の概要について説明する。

（本実施形態の概要）
ここでは、視覚障碍者の歩行中における時間をｔ∈[０，Ｔ]と表し、当該視覚障碍者の状態を表す変数（状態変数）をｓ∈Ｒ^Ｔとする。また、時刻ｔのときの状態変数はｓ_ｔ∈｛０，１，２｝の整数で表現され、それぞれ、歩行状態（ｓ_ｔ＝０）、停止状態（ｓ_ｔ＝１）、横断状態（ｓ_ｔ＝２）を表すものとする。ここでいう歩行状態とは、例えば歩行者が交差点（信号機ＴＬおよび横断歩道ＣＷのある交差点）に向かって歩行している状態が想定される。また、停止状態とは、視覚障碍者が横断歩道ＣＷの手前に達し、信号待ちによって（赤信号から青信号に切り替わるのを待って）停止している状態（歩行していない状態）が想定される。また、横断状態とは、視覚障碍者が横断歩道ＣＷを横断している状態が想定される。

本実施形態は、時刻ｔでカメラ２０によって撮影された画像Ｘ_ｔ∈Ｒ^{ｗ０×ｈ０}（ｗ_０，ｈ_０はそれぞれ画像の縦と横の画像サイズを表す）が入力された際に、視覚障碍者の歩行を支援することを目的とした出力ｙ∈Ｒ^Ｔを求めるアルゴリズムを提案するものとなっている。ここで、視覚障碍者の歩行を支援する出力としては、ｙ_ｔ∈｛１，２，３，４｝の整数で表現され、それぞれ、停止指示（ｙ_ｔ＝１）、歩行指示（ｙ_ｔ＝２）、右逸脱警告（ｙ_ｔ＝３）、左逸脱警告（ｙ_ｔ＝４）を表すものとする。以下の説明では停止指示を停止通知という場合もある。また、歩行指示を歩行通知または横断通知という場合もある。これらの指示（通知）および警告は、振動発生機５０の振動のパターンによって視覚障碍者に対して行われる。視覚障碍者は、予め、指示（通知）および警告と、振動発生機５０の振動のパターンとの関係を把握しており、振動発生機５０の振動のパターンをグリップ部３から感じ取ることで指示および警告の種類を把握することになる。

また、後述するように、視覚障碍者の状態を表す変数ｓの遷移を判定する関数（以下、状態遷移関数という）ｆ_０，ｆ_１，ｆ_２と、横断歩道からの逸脱（左右方向への逸脱）を判断する状態遷移関数ｆ_３が存在しており、これら状態遷移関数ｆ_０～ｆ_３が前記ＲＯＭに記憶されている。これら状態遷移関数ｆ_０～ｆ_３の具体例については後述する。

（出力変数ｙおよび状態遷移関数ｆ_ｉの概要）
前述した視覚障碍者の歩行を支援する出力ｙ_ｔ∈｛１，２，３，４｝について説明する。

前述したように出力ｙ_ｔとしては、視覚障碍者の歩行支援を目的として、停止指示（ｙ_ｔ＝１）、歩行指示（ｙ_ｔ＝２）、右逸脱警告（ｙ_ｔ＝３）、左逸脱警告（ｙ_ｔ＝４）の４種類の出力が存在する。

停止指示（ｙ_ｔ＝１）は、歩行する視覚障碍者が横断歩道の手前まで達した時点で当該視覚障碍者に歩行を停止する旨の通知を行うものである。例えば、カメラ２０で撮影された画像が、図５（視覚障碍者が横断歩道ＣＷに向かう歩行状態にある際に、カメラ２０で撮影された画像の一例を示す図）に示す状態であれば、横断歩道ＣＷまでの距離が比較的長いため、停止指示（ｙ_ｔ＝１）は行わず、視覚障碍者は歩行状態（ｓ_ｔ＝０）が継続され、カメラ２０で撮影された画像が、図６（視覚障碍者が横断歩道ＣＷに達したタイミングにおいてカメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷの手前に達したタイミングであることから、停止指示（ｙ_ｔ＝１）を出力して、当該視覚障碍者に歩行を停止する旨の通知を行うことになる。この停止指示（ｙ_ｔ＝１）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）については後述する。

歩行指示（ｙ_ｔ＝２）は、信号機ＴＬが赤信号から青信号に切り替わったことで、視覚障碍者に歩行（横断歩道ＣＷの横断）を指示する旨の通知を行うものである。例えば、横断歩道ＣＷの手前で視覚障碍者が停止状態（ｓ_ｔ＝１）にある状況で、カメラ２０で撮影された画像に基づいて信号機ＴＬが赤信号から青信号に切り替わった場合に、歩行指示（ｙ_ｔ＝２）を出力して、当該視覚障碍者に横断歩道ＣＷの横断を開始する旨の通知を行う。この歩行指示（ｙ_ｔ＝２）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）についても後述する。

そして、本実施形態では、この歩行指示（ｙ_ｔ＝２）を行うタイミングとして、信号機ＴＬの状態が赤信号から青信号に切り替わったタイミングとしている。つまり、仮に、視覚障碍者が横断歩道ＣＷに達した時点で既に信号機ＴＬが青信号となっていたとしても歩行指示（ｙ_ｔ＝２）は行わず、信号機ＴＬが一旦赤信号となり、その後に青信号に切り替わったタイミングで歩行指示（ｙ_ｔ＝２）を行うようにしている。これによって、視覚障碍者が横断歩道ＣＷを横断するに当たって、信号機ＴＬが青信号となっている時間を十分に確保することができるようにし、視覚障碍者が横断歩道ＣＷを横断している途中で信号機ＴＬが青信号から赤信号に切り替わってしまうといった状況を招き難くしている。

右逸脱警告（ｙ_ｔ＝３）は、横断歩道ＣＷを横断している視覚障碍者が横断歩道ＣＷから右側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道ＣＷから右側に逸脱する虞があることの警告を行うものである。例えば、カメラ２０で撮影された画像が図７（視覚障碍者が横断歩道ＣＷの横断状態にある際に、カメラ２０で撮影された画像の一例を示す図）に示す状態にあって、視覚障碍者が横断歩道ＣＷの横断状態（ｓ_ｔ＝２）にある状況で、カメラ２０で撮影された画像が、図８（横断歩道ＣＷの横断状態にある視覚障碍者が横断歩道ＣＷの右側に逸脱する方向に向かって歩行している際に、カメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷから右側に逸脱する方向に向かって歩行していることから、右逸脱警告（ｙ_ｔ＝３）を出力して、当該視覚障碍者に警告を行うことになる。

左逸脱警告（ｙ_ｔ＝４）は、横断歩道ＣＷを横断している視覚障碍者が横断歩道ＣＷから左側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道ＣＷから左側に逸脱する虞があることの警告を行うものである。例えば、カメラ２０で撮影された画像が図７に示す状態にあって、視覚障碍者が横断歩道ＣＷの横断状態（ｓ_ｔ＝２）にある状況で、カメラ２０で撮影された画像が、図９（横断歩道ＣＷの横断状態にある視覚障碍者が横断歩道ＣＷの左側に逸脱する方向に向かって歩行している際に、カメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷから左側に逸脱する方向に向かって歩行していることから、左逸脱警告（ｙ_ｔ＝４）を出力して、当該視覚障碍者に警告を行うことになる。

これら右逸脱警告（ｙ_ｔ＝３）および左逸脱警告（ｙ_ｔ＝４）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）についても後述する。

（歩行支援で用いる特徴量）
次に、視覚障碍者に対する歩行支援で用いる特徴量について説明する。視覚障碍者に対して、横断歩道ＣＷの手前での歩行の停止通知、および、その後の横断開始通知等の各種通知を適切に行うためには、横断歩道ＣＷの位置（横断歩道ＣＷにおいて最も手前側にある白線ＷＬ１の位置）、および、信号機ＴＬの状態（青信号であるか赤信号であるか）をカメラ２０からの情報によって正確に認識しておくことが必須である。つまり、白線ＷＬ１の位置および信号機ＴＬの状態を反映させたモデル式を構築しておき、このモデル式に従って、現在、視覚障碍者が置かれている状況を把握できるようにしておく必要がある。

図１０および図１１は、視覚障碍者に対する歩行支援で用いる特徴量（ｗ_３，ｗ_４，ｗ_５，ｈ_３，ｒ，ｂ）^Ｔ∈Ｒ^６の概要を示している。ｒ，ｂは、それぞれ信号機ＴＬの状態（赤信号および青信号）の検出結果（０：未検出、１：検出）を表している。この信号機ＴＬの状態の検出に際し、前述したように図４において破線で囲まれた領域Ａが抽出されることで信号機ＴＬの状態の認識が行われることになる。また、ｗ_３，ｗ_４，ｗ_５，ｈ_３は、前記横断歩道検出部８２によって認識された横断歩道ＣＷの白線ＷＬ１～ＷＬ７のうち、最も手前に位置する白線ＷＬ１に対するBoundary Boxを用いて図１１に示すように定義される。つまり、ｗ_３は画像の左端からBoundary Boxの左端（白線ＷＬ１の左端に相当）までの距離であり、ｗ_４はBoundary Boxの幅寸法（白線ＷＬ１の幅寸法に相当）であり、ｗ_５は画像の右端からBoundary Boxの右端（白線ＷＬ１の右端に相当）までの距離であり、ｈ_３は画像の下端からBoundary Boxの下端（白線ＷＬ１の手前側の端縁に相当）までの距離である。

深層学習を用いて横断歩道ＣＷおよび信号機ＴＬを検出する関数をｇとした場合、時刻ｔでカメラ２０によって撮影された画像Ｘ_ｔ∈Ｒ^{ｗ０×ｈ０}を用いて予測された横断歩道ＣＷおよび信号機ＴＬのBoundary Boxをｇ（Ｘｔ）と表現すると、視覚障碍者の歩行を支援するために必要な特徴量としては、以下の式（１）として表現できる。

ここで、

は前記特徴量ｊ（ｔ）を抽出する演算子であり、前記ｇ（Ｘｔ）に対する後処理を行うためのものであり、ｐ１は１フレーム当たりのBoundary Boxの最大数である。

（状態遷移関数）
次に、状態遷移関数について説明する。この状態遷移関数は、前述したように、停止指示（ｙ_ｔ＝１）、歩行指示（ｙ_ｔ＝２）、右逸脱警告（ｙ_ｔ＝３）、左逸脱警告（ｙ_ｔ＝４）それぞれの通知を行う条件が成立しているか否かを判定するために用いられるものである。

時刻ｔ＋１での状態量（状態変数）ｓ_ｔ＋１は、横断歩道ＣＷの特徴量に対する時刻履歴情報Ｊ＝｛ｊ（０），ｊ（１），…ｊ（ｔ）｝と、現在の状態量（状態変数）ｓ_ｔ、および、時刻ｔ＋１で撮影された画像Ｘ_ｔ＋１を用いて以下の式（３）のように表すことができる。

この式（３）における状態遷移関数ｆは、現在時刻の状態量に応じて以下の式（４）のように定義することができる。

つまり、視覚障碍者の歩行の推移としては、歩行（例えば横断歩道ＣＷに向かう歩行）→停止（例えば横断歩道ＣＷの手前での停止）→横断（例えば横断歩道ＣＷの横断）→歩行（例えば横断歩道ＣＷの横断完了後の歩行）を繰り返すことになるが、歩行状態（ｓ_ｔ＝０）にある視覚障碍者に対して停止指示（ｙ_ｔ＝１）を行う条件の成立の有無を判定するための状態遷移関数がｆ_０（Ｊ，Ｘ_ｔ＋１）であり、停止状態（ｓ_ｔ＝１）にある視覚障碍者に対して横断（歩行）指示（ｙ_ｔ＝２）を行う条件の成立の有無を判定するための状態遷移関数がｆ_１（Ｊ，Ｘ_ｔ＋１）であり、横断状態（ｓ_ｔ＝２）にある視覚障碍者に対して歩行（横断の完了）の通知を行う条件の成立の有無を判定するための状態遷移関数がｆ_２（Ｊ，Ｘ_ｔ＋１）である。また、横断状態（ｓ_ｔ＝２）にある視覚障碍者に対して横断歩道ＣＷからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数がｆ_３（Ｊ，Ｘ_ｔ＋１）である。

以下、各状態量（状態変数）それぞれに応じた状態遷移関数について具体的に説明する。

（歩行状態で適用される状態遷移関数）
現在時刻の状態量が歩行状態（ｓ_ｔ＝０）である場合に使用される状態遷移関数ｆ_０（ｊ，Ｘ_ｔ＋１）は、前記式（１）の特徴量を用いて以下の式（５）～（７）とすることができる。

ここで、ＨはHeaviside関数であり、δはDelta関数である。また、α_１，α_２は判定基準に用いられるパラメータであり、ｔ０は利用する過去の状態を指定するパラメータである。また、Ｉ_２＝｛０，１，０，０，０，０｝^Ｔ、Ｉ_４＝｛０，０，０，１，０，０｝^Ｔである。

この式（５）を用いれば、α_１＞ｈ_３、且つ、ｗ_４＞α_２の条件が過去ｔ０時間では成立しておらず、時刻ｔ＋１で初めて成立した場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。つまり、α_１＞ｈ_３が成立したことで、視覚障碍者の足元に、横断歩道ＣＷにおける最も手前に位置する白線ＷＬ１（白線のBoundary Boxの下端）が位置し、ｗ_４＞α_２が成立したことで、その白線ＷＬ１は視覚障碍者の進行方向に直交する方向に延在する（白線のBoundary Boxの幅寸法が所定寸法を超えている）ものであることが判定された場合に「１」が得られるものとなっている。

このようにして式（５）において「１」が得られた場合には、停止指示（ｙ_ｔ＝１）を行う条件が成立したとして、歩行状態にある視覚障碍者に停止指示（例えば横断歩道ＣＷの手前での歩行の停止指示；停止通知）を行うことになる。

また、本実施形態では、横断歩道ＣＷが視覚障碍者の足元にある条件を（α_１＞ｈ_３）だけでなく、検出された横断歩道ＣＷの幅の制約（ｗ_４＞α_２）を加えていることで、視覚障碍者の進行方向にある横断歩道ＣＷ以外の横断歩道（交差点において、視覚障碍者の進行方向に直交する方向の横断歩道等）が、画像Ｘ_ｔ＋１に含まれる場合の誤検知を防止している。つまり、道路の交差点等において横断方向が互いに異なる複数の横断歩道が存在している場合であっても、視覚障碍者が横断すべき横断歩道ＣＷ（白線ＷＬ１が、視覚障碍者が横断すべき方向に対して交差する方向に延びていることで、当該白線ＷＬ１の幅寸法が比較的広く認識されている横断歩道ＣＷ）とその他の横断歩道（白線の幅寸法が比較的狭く認識されている横断歩道）とを明確に判別することができ、視覚障碍者に向けての横断の開始通知を高い精度で正確に行うことが可能になっている。

（停止状態で適用される状態遷移関数）
前時刻の状態量が停止状態（ｓ_ｔ＝１）である場合に使用される状態遷移関数ｆ_１（ｊ，Ｘ_ｔ＋１）は、以下の式（８）～（１０）とすることができる。

ここでＸ’_ｔ＋１は、Ｘ_ｔ＋１から画像のトリミングと拡大処理とを行って得られたものである。つまり、信号機ＴＬの認識精度が十分に高められた画像Ｘ’_ｔ＋１となっている。また、Ｉ_５＝｛０，０，０，０，１，０｝^Ｔ、Ｉ_６＝｛０，０，０，０，０，１｝^Ｔである。

式（８）では、過去ｔ０時間に赤信号を検知した後で、時刻ｔ＋１で初めて青信号を検知した場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。信号機ＴＬの認識動作（信号機認識部８３による信号機ＴＬの認識動作）の詳細については後述する。

このようにして式（８）において「１」が得られた場合には、歩行（横断）指示（ｙ_ｔ＝２）を行う条件が成立したとして、停止状態にある視覚障碍者に横断指示（例えば横断歩道の横断指示；横断通知）を行うことになる。

また、信号機がない交差点の横断歩道では前述のロジックでの状態遷移ができない場合がある。この課題を解決するために、新たなパラメータｔ１＞ｔ０を導入し、時間ｔ１の間、停止状態からの状態遷移がないと判断された場合に、歩行状態に遷移するようにしてもよい。

（横断状態で適用される状態遷移関数）
前時刻の状態量が横断状態（ｓ_ｔ＝２）である場合に使用される状態遷移関数ｆ_２（ｊ，Ｘ_ｔ＋１）は、以下の式（１１）とすることができる。

この式（１１）では、過去ｔ－ｔ０から、現在時刻ｔ＋１の間に一度も信号機および足元の横断歩道ＣＷが検出できなかった場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。つまり、横断歩道ＣＷを渡りきったことで信号機ＴＬおよび足元の横断歩道ＣＷが検出できなかった場合にのみ「１」が得られることになる。

このようにして式（１１）において「１」が得られた場合には、横断完了の通知を行う条件が成立したとして、歩行状態にある視覚障碍者に横断完了（横断歩道の横断の完了）の通知を行うことになる。

（横断歩道からの逸脱を判定する状態遷移関数）
視覚障碍者の横断歩道ＣＷの横断中に、横断歩道ＣＷからの逸脱を判定する状態遷移関数ｆ_３（ｊ，Ｘ_ｔ＋１）は、以下の式（１２）～（１４）とすることができる。

ここで、α_３は判定基準に用いられるパラメータである。また、Ｉ_１＝｛１，０，０，０，０，０｝^Ｔ、Ｉ_３＝｛０，０，１，０，０，０｝^Ｔである。

この式（１２）では、検出された横断歩道ＣＷの位置におけるフレームの中心からのズレ量が許容量以上であれば「１」が得られ、それ以外では「０」が得られることになる。つまり、ｗ_３の値が所定値よりも大きくなった場合（右逸脱の場合）や、ｗ_５の値が所定値よりも大きくなった場合（左逸脱の場合）に「１」が得られることになる。

このようにして式（１２）において「１」が得られた場合には、右逸脱警告（ｙ_ｔ＝３）または左逸脱警告（ｙ_ｔ＝４）を行うことになる。

（信号機の認識動作）
次に、本実施形態において特徴とする動作である信号機ＴＬの認識動作について説明する。この信号機ＴＬの認識動作は、前述したように信号機認識部８３によって行われる。

図３に示すように、信号機認識部８３は、信号機第１認識部８３ａ、信号機第２認識部８３ｂ、判定部８３ｃ、再認識処理部８３ｄを備えている。これら信号機第１認識部８３ａ、信号機第２認識部８３ｂ、判定部８３ｃ、再認識処理部８３ｄも、前記制御プログラムによって実現される機能部である。以下、それぞれについて説明する。

信号機第１認識部８３ａは、カメラ２０によって取得（撮影）された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いて信号機ＴＬの認識動作を行う機能部である。具体的に、信号機第１認識部８３ａは、深層学習を用いて信号機ＴＬの認識動作を行う。つまり、事前にアノテーションされた信号機ＴＬのデータ（ラベルが付けられた信号機ＴＬのデータ；深層学習によって信号機ＴＬを認識するための教師データ）を利用して、カメラ２０によって取得された画像中に信号機ＴＬが存在するか否かの判断（信号機ＴＬの存在の有無の認識）、および、信号機ＴＬの状態（青信号であるか赤信号であるか）の認識を行う。ここで、予めアノテーションされたデータとしては、信号機ＴＬの赤色の点灯部が点灯した状態でのデータおよび信号機ＴＬの青色の点灯部が点灯した状態でのデータの２つのデータを使用するようにしてもよいし、信号機ＴＬのデータとして１つのデータのみを使用するようにしてもよい。

信号機第２認識部８３ｂは、カメラ２０によって取得された画像に対し、信号機ＴＬの特徴量に基づいて当該信号機ＴＬの認識動作を行う機能部である。本実施形態において使用する信号機ＴＬの特徴量としては、形状特徴量として信号機ＴＬのアスペクト比（縦横比）、および、色特徴量として点灯色の色相、彩度、明度である。以下、これら特徴量を使用した信号機ＴＬの認識動作について説明する。この信号機ＴＬの認識動作は、形状特徴量を使用した認識動作および色特徴量を使用した認識動作が順に行われる。

先ず、形状特徴量を使用した認識動作について説明する。信号機ＴＬにおけるアスペクト比は予め規定されている。このため、カメラ２０によって取得された画像中に、このアスペクト比に略合致する形状の物体（当該物体を表す画像）が存在しておれば、その形状の物体（その形状の物体の画像領域）が信号機ＴＬである可能性が高いとして抽出される。以下、この形状の物体の画像領域を認識対象エリアと呼ぶこととする。具体的には、図１２（信号機ＴＬを示す図）に示すように、予め規定されている信号機ＴＬの高さ寸法をｈ、幅寸法をｗとした場合に、アスペクト比ｗ／ｈが以下の式（１５）を満たす物体を信号機ＴＬの可能性が高い物体（認識対象エリアに存在する物体）であるとして抽出する。

式（１５）におけるα_ｍｉｎおよびα_ｍａｘは、画像上に信号機ＴＬが存在する場合における画像上での寸法の誤差等を考慮して予め設定された値である。

このように抽出された認識対象エリアに対し、色特徴量を使用した認識動作を行うことで、信号機ＴＬであるか否かの確定動作を行う。以下、この色特徴量を使用した認識動作について説明する。

色特徴量を使用した認識動作としては、色相スクリーニング動作および彩度・明度認識動作が順に行われる。

色相スクリーニング動作は、前述した形状特徴量を使用した認識動作によって抽出した認識対象エリアの色相が信号機ＴＬにおける何れかの点灯部の点灯色に合致しているか否かを判断する動作である。具体的には、カメラ２０によって取得された画像中の前記認識対象エリアの色情報としてＲＧＢ色空間をＨＳＶ色空間に変換する。この変換は周知のＨＳＶ変換処理が利用される。ここで、Ｈは色相（Hue）、Ｓは彩度（Saturation Chroma）、Ｖは明度（Value Brightness）である。色相スクリーニング動作では、認識対象エリアの色相Ｈが以下の式（１６）を満たすか否かを判断する。

認識対象エリアの色相Ｈが赤色であった場合には、その色が、信号機ＴＬの赤色の点灯色を対象とした式（１６）を満たすか否かが判断され、認識対象エリアの色相Ｈが青色であった場合には、その色が、信号機ＴＬの青色の点灯色を対象とした式（１６）を満たすか否かが判断されることになる。この式（１６）における所定範囲（Ｈ_ｍｉｎ～Ｈ_ｍａｘの範囲）は、信号機ＴＬの点灯部が点灯している場合の色相に対してある程度の外乱を考慮した範囲として予め設定されたものである。つまり、これら値は、認識対象エリアに存在する物体が信号機ＴＬであると仮定した場合に赤信号となっている場合と青信号となっている場合とを想定した異なる値が選択されて式（１６）に当て嵌められることになる。

認識対象エリアの色相Ｈが式（１６）を満たしている場合には、更に、信号機ＴＬであることの信頼性を高めるために以下の彩度・明度認識動作を行う。図１２に示すように歩行者用信号機（信号機）ＴＬにあっては、赤色の点灯部ＲＬが点灯している場合には、その下側に隣接する青色の点灯部ＢＬは消灯し黒色となっている。また、青色の点灯部ＢＬが点灯している場合には、その上側に隣接する赤色の点灯部ＲＬは消灯し黒色となっている。彩度・明度認識動作では、このことを利用して、前記抽出された認識対象エリアが信号機ＴＬであるか否かの確定動作を行う。

この彩度・明度認識動作では、歩行者用信号機ＴＬの赤色の点灯部ＲＬにおける彩度の平均値および明度の平均値と、青色の点灯部ＢＬにおける彩度の平均値および明度の平均値とを使用する。具体的には、現在の信号機ＴＬの状態が赤信号となっている場合について説明すると、図１３に示すように、画像上において赤色が検出された領域の中心点Ｐ_ｒｅｄを求め、この中心点Ｐ_ｒｅｄの中心点から半径β２・ｗの円Ａ_ｒｅｄを設定する（但し、０＜β２＜１）。次に、前記中心点Ｐ_ｒｅｄから鉛直下方にβ１・ｈだけ移動した点Ｐ_{ｂｌａｃｋ}を設定し（但し、０＜β１＜１）、この点Ｐ_{ｂｌａｃｋ}を中心とした半径β２・ｗの円Ａ_{ｂｌａｃｋ}を設定する。そして、円Ａ_ｒｅｄの内側に存在する複数の画素の彩度の平均値をＳ_ｒｅｄとし明度の平均値をＶ_ｒｅｄとする。同様に、円Ａ_{ｂｌａｃｋ}の内側に存在する複数の画素の彩度の平均値をＳ_{ｂｌａｃｋ}とし明度の平均値をＶ_{ｂｌａｃｋ}とする。このようにして各平均値を設定し、以下の式（１７）が満たされるか否かを判断する。

式（１７）における演算ｇ_２は、環状のＨＳＶ色空間における各平均値の乖離量を算出するための演算式として規定されたものである。図１４は、環状のＨＳＶ色空間を示す図である。式（１７）では、このＨＳＶ色空間における各平均値の乖離量を算出する。つまり、認識対象エリアに存在する物体が信号機ＴＬであった場合、赤色の点灯部（赤色に点灯している部分）ＲＬにおける前記円Ａ_ｒｅｄの内側の領域での彩度の平均値Ｓ_ｒｅｄおよび明度の平均値Ｖ_ｒｅｄとしては、図中のＰＲ位置となるのに対し、青色の点灯部（点灯していないため黒色となっている部分）ＢＬにおける前記円Ａ_{ｂｌａｃｋ}の内側の領域での彩度の平均値Ｓ_{ｂｌａｃｋ}および明度の平均値Ｖ_{ｂｌａｃｋ}としては、図中のＰＢ位置となっており、これらＰＲ位置とＰＢ位置との間の距離が大きく得られ（式（１７）における距離Ｌよりも大きな値として得られ）、式（１７）を満たすことになり、認識対象エリアに存在する物体が信号機ＴＬであることが確定される。尚、認識対象エリアが信号機ＴＬであった場合に青色の点灯部ＢＬが点灯している場合においても同様に式（１７）を満たすか否かによって認識対象エリアに存在する物体が信号機ＴＬであるが否かが確定される。

判定部８３ｃは、前述した信号機第１認識部８３ａによる認識動作の結果および信号機第２認識部８３ｂによる認識動作の結果それぞれに基づいて、前記画像中に信号機ＴＬが認識できたか否かを判定する機能部である。

この判定部８３ｃにおける判定動作について説明する。時刻ｔでカメラ２０から取得された画像Ｘ_ｔ∈Ｒ^{ｗ０×ｈ０}が入力され、信号機ＴＬの認識動作の結果ｚ（ｔ）∈｛０，１｝を返す関数として以下の式（１８）を考える。

ここで、

である。

また、認識動作の結果ｚ（ｔ）＝０は信号機の未検出、認識動作の結果ｚ（ｔ）＝１は信号機の検出を表す。

本実施形態では、信号機第１認識部８３ａによる認識動作において、深層学習を用いて横断歩道ＣＷおよび信号機ＴＬを検出するモデルをｋ１とする。また、信号機第２認識部８３ｂによる認識動作において、信号機ＴＬの幾何特徴量（形状特徴量および色特徴量）から検出するモデルをｋ２とする。これらモデルを用いた信号機ＴＬの認識結果は以下の式（２０）で求めることができる。

つまり、各モデルの出力が共に１の場合（信号機第１認識部８３ａによる認識動作および信号機第２認識部８３ｂによる認識動作の何れにおいても信号機ＴＬが認識された場合）にのみ、式（２０）がｚ（ｔ）＝１となり、少なくとも一方のモデルの出力が０の場合（信号機第１認識部８３ａによる認識動作および信号機第２認識部８３ｂによる認識動作のうち少なくとも一方において信号機ＴＬが認識されなかった場合）には、式（２０）がｚ（ｔ）＝０となる。

図１５は、各認識部８３ａ，８３ｂによる認識動作の結果と判定部８３ｃによる判定結果との関係を示す図である。この図１５に示すように、判定部８３ｃは、信号機第１認識部８３ａによる認識動作（手法１）および信号機第２認識部８３ｂによる認識動作（手法２）において共に信号機ＴＬが認識されたとの結果が得られた場合（ケース１の場合）には、歩行方向前方に信号機ＴＬが認識されたと判定する。また、信号機第１認識部８３ａによる認識動作および信号機第２認識部８３ｂによる認識動作において共に信号機が認識されないとの結果が得られた場合（ケース４の場合）には、歩行方向前方に信号機が存在していないと判定する。

一方、信号機第１認識部８３ａによる認識動作および信号機第２認識部８３ｂによる認識動作のうち一方の認識部による認識動作のみにおいて信号機ＴＬが認識されたとの結果が得られた場合（ケース２またはケース３の場合）には、信号機の認識の有無を確定することなく、その情報を再認識処理部８３ｄに送信し、後述する再認識処理部８３ｄにおけるデータの修正後の再度の認識動作（再推論）を行わせることになる。

再認識処理部８３ｄは、信号機第１認識部８３ａによる認識動作および信号機第２認識部８３ｂによる認識動作のうち一方の認識部による認識動作のみにおいて信号機ＴＬが認識されたとの結果が得られた場合に、当該一方の認識部による認識動作の結果を用いた補助処理を行って他方の認識部による認識動作を再度行わせる機能部である。

具体的には、信号機第１認識部８３ａによる認識動作のみにおいて信号機ＴＬが認識されたとの結果が得られた場合（ケース３の場合）には、深層学習によって信号機ＴＬが存在する領域（画像上の位置）が分かっているので、この深層学習によって得られた信号機ＴＬが存在する領域に対し、当該領域の切り出し処理および拡大処理を行って、信号機第２認識部８３ｂによる認識動作を再度行わせる。つまり、信号機ＴＬが存在する可能性が高い領域を限定した上で、この領域での信号機ＴＬの幾何特徴量に基づいた認識動作を再度行わせる。一方、信号機第２認識部８３ｂによる認識動作のみにおいて信号機ＴＬが認識されたとの結果が得られた場合（ケース２の場合）には、信号機ＴＬの特徴量である当該信号機ＴＬの形状および点灯色が所定の要件を満たすか否かを考慮し、前記画像に対してこれら要件の前処理を施して不要な情報のフィルタリング処理（前記形状や色に合致しない領域の情報を削除する処理）を行って、信号機第１認識部８３ａによる認識動作を再度行わせる。

（歩行支援動作）
次に、歩行支援システム１０による歩行支援動作の流れについて説明する。

図１６は、前述した歩行支援動作の一連の流れを示すフローチャートである。このフローチャートは、視覚障碍者が路上（歩道上）を歩行している状況において、所定時刻ｔから所定時刻ｔ＋１までの間で１回のルーチンが実施されるように所定時間間隔を存して繰り返して実施される。以下の説明では各状態遷移関数における変数（Ｊ，Ｘ_ｔ＋１）の記載を省略する。

先ず、ステップＳＴ１において視覚障碍者が歩行状態にある状況で、ステップＳＴ２において、前記横断歩道検出部８２によって認識された、横断歩道ＣＷを含む画像領域における当該横断歩道ＣＷの白線ＷＬ１の位置（より具体的には、最も手前に位置する白線ＷＬ１のBoundary Boxの位置）に基づき、前述した停止指示（ｙ_ｔ＝１）を行う条件の成立の有無を判定するための状態遷移関数ｆ_０（前記式５）において「１」が得られたか否かを判定する。

この状態遷移関数ｆ_０において「０」が得られている場合には、停止指示（ｙ_ｔ＝１）を行う条件が成立していない、つまり、視覚障碍者は未だ横断歩道ＣＷの手前に達していないとしてＮＯ判定され、ステップＳＴ１に戻る。視覚障碍者が横断歩道ＣＷの手前に達するまで、ステップＳＴ２ではＮＯ判定されるため、ステップＳＴ１，ＳＴ２の動作を繰り返すことになる。

視覚障碍者が横断歩道ＣＷの手前に達し、状態遷移関数ｆ_０において「１」が得られた場合には、ステップＳＴ２でＹＥＳ判定され、ステップＳＴ３に移る。このステップＳＴ３では、視覚障碍者に対して停止指示（ｙ_ｔ＝１）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、停止指示（停止通知）を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は、振動発生機５０の振動のパターンを感じ取ることで停止指示されたことを認識し、歩行を停止することになる。

ステップＳＴ４において視覚障碍者が停止状態にある状況で、ステップＳＴ５において、前述した歩行指示（ｙ_ｔ＝２）を行う条件の成立の有無を判定するための状態遷移関数ｆ_１（前記式８）において「１」が得られたか否かを判定する。この状態遷移関数ｆ_１による判定動作に際しては、前述した図４で示したように、破線で囲まれた領域Ａが抽出され、前述した信号機第１認識部８３ａによる信号機ＴＬの認識動作および信号機第２認識部８３ｂによる信号機ＴＬの認識動作が行われる。また、必要に応じて再認識処理部８３ｄによる再度の認識動作（再推論）が行われる。以下、これら認識動作について図１７のフローチャート（図１６のフローチャートにおいて信号機認識動作であるサブルーチン）に沿って説明する。

この図１７のサブルーチンにおけるステップＳＴ２１では、信号機認識動作のリトライ回数を規定する変数Ｍが所定値Ｍｍａｘに達していないか否かを判定する。信号機認識動作の開始時点では変数Ｍは零となっているのでステップＳＴ２１ではＹＥＳ判定され、ステップＳＴ２２に移る。

ステップＳＴ２２では、信号機第１認識部８３ａによる信号機ＴＬの認識動作および信号機第２認識部８３ｂによる信号機ＴＬの認識動作が実行される。つまり、取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機ＴＬの認識動作、および、取得された画像に対し、信号機ＴＬの特徴量に基づいた信号機ＴＬの認識動作が行われる。

ステップＳＴ２３では、信号機第１認識部８３ａによる認識動作の結果（ｚ１）が、信号機ＴＬが認識されたとの結果（ｚ１＝１）であり、且つ信号機第２認識部８３ｂによる認識動作の結果（ｚ２）も、信号機ＴＬが認識されたとの結果（ｚ２＝１）であるか否かが判定される。各認識動作の結果が共に信号機ＴＬが認識されたとの結果であり、ステップＳＴ２３でＹＥＳ判定された場合には、ステップＳＴ２４に移り、信号機ＴＬが認識されたことを確定する（判定部８３ｃによる認識確定）。

ステップＳＴ２３でＮＯ判定された場合には、ステップＳＴ２５に移り、信号機第１認識部８３ａによる認識動作の結果（ｚ１）が、信号機ＴＬが認識されないとの結果（ｚ１＝０）であり、且つ信号機第２認識部８３ｂによる認識動作の結果（ｚ２）も、信号機ＴＬが認識されないとの結果（ｚ２＝０）であるか否かが判定される。各認識動作の結果が共に信号機ＴＬが認識されないとの結果であり、ステップＳＴ２５でＹＥＳ判定された場合には、ステップＳＴ２６に移り、信号機ＴＬが認識されない、つまり、視覚障碍者の前方には信号機ＴＬが存在しないことを確定する（判定部８３ｃによる信号機が存在しないことの確定）。

ステップＳＴ２５でＮＯ判定された場合には、ステップＳＴ２７に移り、信号機第１認識部８３ａによる認識動作の結果（ｚ１）が、信号機ＴＬが認識されたとの結果（ｚ１＝１）であり、且つ信号機第２認識部８３ｂによる認識動作の結果（ｚ２）が、信号機ＴＬが認識されないとの結果（ｚ２＝０）であるか否かが判定される。つまり、信号機第１認識部８３ａによる認識動作のみにおいて信号機ＴＬが認識されたか否かが判定される。この判定がＹＥＳであった場合には、ステップＳＴ２８に移り、画像修正（深層学習によって得られた信号機ＴＬが存在する領域に対し、当該領域の切り出し処理および拡大処理）を行い、ステップＳＴ３１において前記変数Ｍに１を加算（Ｍ＋１）してリターンする。つまり、この領域の切り出し処理および拡大処理を行って信号機第２認識部８３ｂによる認識動作を再度行わせることになる。

ステップＳＴ２７でＮＯ判定された場合には、ステップＳＴ２９に移り、信号機第１認識部８３ａによる認識動作の結果（ｚ１）が、信号機ＴＬが認識されないとの結果（ｚ１＝０）であり、且つ信号機第２認識部８３ｂによる認識動作の結果（ｚ２）が、信号機ＴＬが認識されたとの結果（ｚ２＝１）であるか否かが判定される。つまり、信号機第２認識部８３ｂによる認識動作のみにおいて信号機ＴＬが認識されたか否かが判定される。この判定がＹＥＳであった場合には、ステップＳＴ３０に移り、画像修正（信号機ＴＬの特徴量である当該信号機ＴＬの形状および点灯色が所定の要件を満たすか否かを考慮し、前記画像に対してこれら要件の前処理を施して不要な情報のフィルタリング処理を行う処理）を行い、ステップＳＴ３１において前記変数Ｍに１を加算（Ｍ＋１）してリターンする。つまり、この不要な情報のフィルタリング処理を行って信号機第１認識部８３ａによる認識動作を再度行わせることになる。

このようにして認識動作が複数回行われたことで変数Ｍが所定値Ｍｍａｘに達し、ステップＳＴ２１でＮＯ判定された場合には、ステップＳＴ３２に移り、視覚障碍者の前方には信号機ＴＬが存在しないことを確定する（判定部８３ｃによる信号機が存在しないことの確定）。尚、ステップＳＴ２９でＮＯ判定された場合には、認識動作の結果の送受信が良好に行えていない可能性があるとして、前記画像修正を行うことなくステップＳＴ３１に移り、信号機第１認識部８３ａによる認識動作および信号機第２認識部８３ｂによる認識動作を再度行わせることになる。

以上のサブルーチン（図１７）において信号機ＴＬの存在の有無が確定された後、図１６のフローチャートにおけるステップＳＴ５において、歩行指示（ｙ_ｔ＝２）を行う条件の成立の有無を判定するための状態遷移関数ｆ_１（前記式８）において「１」が得られたか否かを判定することになる。

この状態遷移関数ｆ_１において「０」が得られている場合には、歩行指示（ｙ_ｔ＝２）を行う条件が成立していない、つまり、信号機ＴＬは未だ青信号に切り替わっていないとしてＮＯ判定され、ステップＳＴ４に戻る。信号機ＴＬが青信号に切り替わるまで、ステップＳＴ５ではＮＯ判定されるため、ステップＳＴ４，ＳＴ５の動作を繰り返すことになる。

信号機ＴＬが青信号に切り替わり、状態遷移関数ｆ_１において「１」が得られた場合には、ステップＳＴ５でＹＥＳ判定され、ステップＳＴ６に移る。この動作が、切り替わり認識部（信号機の状態が、停止指示状態から横断許可状態に切り替わったことを認識する切り替わり認識部）８４の動作に相当する。

ステップＳＴ６では、視覚障碍者に対して歩行（横断）指示（ｙ_ｔ＝２）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、歩行指示（横断開始通知）を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は歩行指示されたことを認識し、横断歩道ＣＷの横断を開始することになる。

ステップＳＴ７において視覚障碍者が横断歩道ＣＷの横断状態にある状況で、ステップＳＴ８において、横断歩道ＣＷからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数ｆ_３（前記式１２）において「１」が得られたか否かを判定する。

状態遷移関数ｆ_３において「１」が得られ、ステップＳＴ８でＹＥＳ判定された場合、ステップＳＴ９において、その横断歩道ＣＷからの逸脱の方向が右方向（右逸脱）であるか否かを判定する。そして、横断歩道ＣＷからの逸脱の方向が右方向であり、ステップＳＴ９でＹＥＳ判定された場合にはステップＳＴ１０に移り、視覚障碍者に対して右逸脱警告（ｙ_ｔ＝３）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、右逸脱警告を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は右逸脱警告されたことを認識し、歩行方向を左方向に向けて変更することになる。

一方、横断歩道ＣＷからの逸脱の方向が左方向であり、ステップＳＴ９でＮＯ判定された場合にはステップＳＴ１１に移り、視覚障碍者に対して左逸脱警告（ｙ_ｔ＝４）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、左逸脱警告を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は左逸脱警告されたことを認識し、歩行方向を右方向に向けて変更することになる。このようにして逸脱警告を行った後、ステップＳＴ１４に移る。

横断歩道ＣＷからの逸脱がなく、状態遷移関数ｆ_３において「０」が得られている場合には、ステップＳＴ８でＮＯ判定され、ステップＳＴ１２に移る。このステップＳＴ１２では、現在、ステップＳＴ１０またはステップＳＴ１１における逸脱警告の発生中であるか否かを判定する。逸脱警告の発生中でなく、ステップＳＴ１２でＮＯ判定された場合には、ステップＳＴ１４に移る。一方、逸脱警告の発生中であり、ステップＳＴ１２でＹＥＳ判定された場合には、ステップＳＴ１３に移り、逸脱警告を解除してステップＳＴ１４に移る。

ステップＳＴ１４では、横断完了の通知を行う条件の成立の有無を判定するための状態遷移関数ｆ_２（前記式１１）において「１」が得られたか否かを判定する。

この状態遷移関数ｆ_２において「０」が得られている場合には、横断完了の通知を行う条件が成立していない、つまり、視覚障碍者は横断歩道ＣＷの横断中であるとしてＮＯ判定され、ステップＳＴ７に戻る。横断歩道ＣＷの横断が完了するまで、ステップＳＴ１４ではＮＯ判定されるため、ステップＳＴ７～ＳＴ１４の動作を繰り返すことになる。

つまり、視覚障碍者の横断中に横断歩道ＣＷからの逸脱が発生する場合には前述した逸脱警告が行われ、この逸脱が解消された場合には、逸脱警告が解除されるといった動作を、横断歩道ＣＷの横断が完了するまで行われる。

視覚障碍者が横断歩道ＣＷの横断を完了し、状態遷移関数ｆ_２において「１」が得られた場合には、ステップＳＴ１４でＹＥＳ判定され、ステップＳＴ１５に移り、視覚障碍者に対して横断完了の通知を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、横断完了を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は横断完了の通知が行われたことを認識し、通常の歩行状態に戻ることになる。

このようにして、視覚障碍者が横断歩道ＣＷを横断する度に前述した動作が繰り返されることになる。

－実施形態の効果－
以上説明したように、本実施形態では、カメラ２０によって撮影された画像に対して、信号機第１認識部８３ａによる認識動作（カメラ２０によって撮影された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機ＴＬの認識動作）の結果、および、信号機第２認識部８３ｂによる認識動作（カメラ２０によって撮影された画像に対し、信号機ＴＬの特徴量に基づいた当該信号機ＴＬの認識動作）の結果それぞれに基づいて、画像中に信号機ＴＬが認識されたか否かを判定するようにしている。これにより、信号機ＴＬの認識精度を十分に得ることが可能になり、信号機ＴＬの状態に応じた歩行者（視覚障碍者）への指示を適切に行うことができる。

また、本実施形態では、信号機第１認識部８３ａによる認識動作および信号機第２認識部８３ｂによる認識動作のうち一方の認識部による認識動作のみにおいて信号機ＴＬが認識されたとの結果が得られた場合には、当該一方の認識部による認識動作の結果を用いた補助処理を行って他方の認識部による認識動作を再度行わせるようにしている。このため、片方の認識部による認識動作において信号機ＴＬが認識されなかった場合（信号機ＴＬが存在しているにも拘わらず認識されなかった場合）に、再度の認識動作にあっては信号機ＴＬが認識される可能性を高めることができ、信号機ＴＬの認識動作に高い信頼性を得ることができる。

また、本実施形態では、信号機ＴＬの状態が赤信号から青信号に切り替わったことを条件として視覚障碍者に向けて横断の開始通知を行うようにしている。このため、視覚障碍者が横断歩道ＣＷを横断するに当たって、信号機ＴＬの状態が青信号となっている時間を十分に確保することができる。

また、本実施形態では、歩行支援システム１０の構成要素を白杖１に内蔵させることにより、白杖１のみで歩行支援システム１０を実現しているため、実用性の高い歩行支援システム１０を提供することができる。

－他の実施形態－
尚、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。

例えば、前記実施形態では、歩行支援システム１０を、視覚障碍者が使用する白杖１に内蔵した場合について説明した。本発明はこれに限らず、歩行者が高齢者である場合の杖や手押し車等であってもよい。

また、前記実施形態では、視覚障碍者が横断歩道ＣＷに達した際に停止指示（ｙ_ｔ＝１）を行い（信号機ＴＬが青信号であっても停止指示を行い）、信号機ＴＬが赤信号から青信号に切り替わったタイミングで歩行指示（ｙ_ｔ＝２）を行うようにしていた。つまり、本発明に係る信号機ＴＬの認識動作は、主に歩行指示（ｙ_ｔ＝２）を行うためのものとして利用されるものとしていた。本発明はこれに限らず、視覚障碍者が横断歩道ＣＷに達した際に信号機ＴＬの認識動作を行い、停止指示（ｙ_ｔ＝１）を行うためのものとしても利用するようにしてもよい。

また、前記実施形態では、白杖１に充電ソケット７０を備えさせ、家庭用電源からバッテリ（二次電池）６０を充電するようにしていた。本発明はこれに限らず、白杖１の表面に太陽光発電シートを貼り付けておき、当該太陽光発電シートで発電した電力によってバッテリ６０を充電するようにしてもよい。また、二次電池に代えて一次電池を使用するようになっていてもよい。また、白杖１に振り子式発電機を内蔵し、該振り子式発電機を利用してバッテリ６０を充電するようにしてもよい。

また、前記実施形態では、振動発生機５０の振動パターンによって通知の種類を分けるようにしていた。本発明はこれに限らず、音声によって通知を行うようにしてもよい。

本発明は、歩行する視覚障碍者に対して横断歩道の横断開始通知を行う歩行支援システムに適用可能である。

１ 白杖
１０ 歩行支援システム
２０ カメラ（画像取得手段）
５０ 振動発生機（通知手段）
８０ 制御装置
８３ａ 信号機第１認識部
８３ｂ 信号機第２認識部
８３ｃ 判定部
８３ｄ 再認識処理部
ＴＬ 信号機
ＣＷ 横断歩道

Claims (10)

1. 歩行者の歩行方向前方に位置する信号機を認識し当該信号機の状態に応じて、前記歩行者に対し、横断歩道の手前での停止指示および当該横断歩道の横断の開始指示のうち少なくとも一方を行う歩行支援システムであって、
   前記歩行者の歩行方向前方の画像を取得可能な画像取得手段と、
   前記画像取得手段によって取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いて信号機の認識動作を行う信号機第１認識部と、
   前記画像取得手段によって取得された画像に対し、信号機の特徴量に基づいて当該信号機の認識動作を行う信号機第２認識部と、
   前記信号機第１認識部による認識動作の結果および前記信号機第２認識部による認識動作の結果それぞれに基づいて、前記画像中に前記信号機が認識されたか否かを判定する判定部と、
   を備えていることを特徴とする歩行支援システム。
2. 請求項１記載の歩行支援システムにおいて、
   前記判定部は、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作において共に信号機が認識されたとの結果が得られた場合には、歩行方向前方に信号機が認識されたと判定し、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作において共に信号機が認識されないとの結果が得られた場合には、歩行方向前方に信号機が存在していないと判定することを特徴とする歩行支援システム。
3. 請求項１または２記載の歩行支援システムにおいて、
   前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作のうち一方の認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、当該一方の認識部による認識動作の結果を用いた補助処理を行って他方の認識部による認識動作を再度行わせる再認識処理部を備えていることを特徴とする歩行支援システム。
4. 請求項３記載の歩行支援システムにおいて、
   前記再認識処理部は、前記信号機第１認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、深層学習によって得られた信号機が存在する領域に対し、当該領域の切り出し処理および拡大処理を行って、前記信号機第２認識部による認識動作を再度行わせることを特徴とする歩行支援システム。
5. 請求項３記載の歩行支援システムにおいて、
   前記再認識処理部は、前記信号機第２認識部による認識動作のみにおいて信号機が認識されたとの結果が得られた場合には、信号機の特徴量である当該信号機の形状および点灯色が所定の要件を満たすか否かを考慮し、前記画像に対してこれら要件の前処理を施して不要な情報のフィルタリング処理を行って、前記信号機第１認識部による認識動作を再度行わせることを特徴とする歩行支援システム。
6. 請求項１～５のうち何れか一つに記載の歩行支援システムにおいて、
   前記信号機の特徴量は、信号機において予め規定されたアスペクト比、および、点灯色の色相、彩度、明度であることを特徴とする歩行支援システム。
7. 請求項６記載の歩行支援システムにおいて、
   前記信号機第２認識部は、前記画像取得手段によって取得された画像中における前記点灯色の色相に該当する領域での複数の画素領域の彩度の平均値および明度の平均値を用いて前記認識動作を行うことを特徴とする歩行支援システム。
8. 請求項７記載の歩行支援システムにおいて、
   前記信号機第２認識部は、前記画像取得手段によって取得された画像中における前記点灯色の色相に該当する領域、および、該領域に隣接する所定領域それぞれの彩度の平均値の乖離量および明度の平均値の乖離量が共に所定量を超えている場合に信号機であることを認識することを特徴とする歩行支援システム。
9. 請求項１～８のうち何れか一つに記載の歩行支援システムにおいて、
   前記画像取得手段、前記信号機第１認識部、前記信号機第２認識部、および、前記判定部それぞれは、視覚障碍者が使用する白杖に内蔵されていることを特徴とする歩行支援システム。
10. 請求項９記載の歩行支援システムにおいて、
    歩行者の歩行方向前方に位置する前記信号機の状態に応じて、前記歩行者に対し、横断歩道の手前での停止を促す通知または当該横断歩道の横断の開始を促す通知を行う通知手段を備えており、該通知手段は、振動または音声によって、前記視覚障碍者に向けて前記通知を行う構成となっていることを特徴とする歩行支援システム。

Images