JP2002065721A

JP2002065721A - 視覚障害者用環境認識支援装置及びその方法

Info

Publication number: JP2002065721A
Application number: JP2000259795A
Authority: JP
Inventors: Hiroyoshi Yamaguchi; 博義山口; Hiroshi Miwa; 浩史三輪; Hideyuki Wakai; 秀之若井
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2000-08-29
Filing date: 2000-08-29
Publication date: 2002-03-05

Abstract

(57)【要約】【課題】３次元的広がりをもった空間領域の随所に存
在する様々な物体の距離や動きなどを視覚障害者に的確
に知らせる。【解決手段】ユーザの前頭部などに装着した多眼ステ
レオカメラ２０で、ユーザ前方の空間を撮影する。デー
タ処理装置３０が、その撮影画像を受けて、ステレオ視
法により、ユーザ前方の空間内の物体の３次元位置（距
離画像）を計算し、その距離画像に基づいて空間内の物
体を地面や各種の障害物）などとして識別し、その識別
結果を用いて、ユーザが手で触れる触覚表示装置４０
や、ユーザの両耳に装着したステレオヘッドホン５０を
駆動する。触覚表示装置４０は、表示面に配列された多
数の進退自在なピン４１により、地面や障害物の位置や
高さを表した凹凸画像を形成する。ステレオヘッドホン
５０は、地面や障害物がユーザに対してどの方向のどの
距離にあるかをユーザに知らせるステレオ音響を発生す
る。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、視覚障害者が周囲
の環境（例えば、障害物の存在や地面の凹凸など）を認
識することを助けるための装置に関わる。本発明の装置
の用途は、主に視覚障害者の支援であるが、それだけに
限られるわけではない。

【０００２】

【従来の技術】従来のこの種の装置として、特開平１−
９７４５７号及び特開平７−１１６２０８号に記載のも
のがある。特開平１−９７４５７号に記載された装置
は、ＣＣＤカメラと触覚表示装置とを組み合わせたもの
である。ＣＣＤカメラは、ユーザの前方を撮影して、画
素単位の光強度を表した電気信号を触覚表示装置に出力
する。触覚表示装置は、各画素に対応して２次元配置さ
れた多数の進退自在なピンを表示面に備えたものであ
り、ＣＣＤカメラからの各画素の電気信号で各ピンの突
出量を調節することにより、ＣＣＤカメラが撮影した画
像の明暗を表した凹凸模様を表示面に形成する。この凹
凸模様をユーザが触ることで、ユーザは自分の前方の様
子を触覚的に認識することができる。

【０００３】特開平７−１１６２０８号に記載された装
置は、測距・測温装置と刺激装置とを組み合わせたもの
である。測距装置は、ユーザの位置から一つの指向方向
へ赤外光を発射し、その指向方向に存在する物体からの
反射光を受光して、その受光位置よりその物体までの距
離を測定し、また、物体からの受光した光の波長成分よ
りその物体の温度を測定する。そして、測定された物体
の距離と温度から、物体の危険度が算出される。刺激装
置は、２本かその程度の本数の進退自在なピンを有し、
物体の危険度に応じてピンを突出させることで、物体の
危険度に応じた刺激をユーザに与える。色々な方向の物
体を検出する場合には、測距・測温装置の指向方向は手
動又は自動で変化させられる。例えば、歩行中に足元か
ら遠く前方へと指向方向を変化させていくことで、歩行
方向の近くから遠くまでの物体を検出することができ
る。

【０００４】

【発明が解決しようとする課題】特開平１−９７４５７
号の装置によれば、ユーザは自分の前方をカメラで撮影
した２次元画像を、触覚表示装置の凹凸模様を通じて認
識することができる。しかし、この２次元画像は、カメ
ラの視界に入った様々な物体の明暗を表したものであっ
て、物体までの距離を表したものではない。そのため、
この２次元画像は、ユーザにとって、歩行の安全性など
を判断するのには余り役立たない。

【０００５】一方、特開平７−１１６２０８号の装置
は、ある指向方向に存在する物体の距離を測定して、そ
の距離に応じた刺激をユーザに与える。それにより、ユ
ーザは、指向方向の安全性を判断することができる。し
かし、この装置が一時に検出できるものは、一つの指向
方向に存在する物体までの距離である。つまり、この装
置は、一つの指向方向に存在する物体の「一点」までの
距離を検出してユーザに教えるだけであり、ユーザ前方
に広がる３次元の空間領域の随所に存在する様々な障害
物（例えば、足元の石ころ、前方の階段、左側の壁、右
方を行く人など）の位置を一時に検出してユーザに教え
るということができない。そのため、ユーザは、歩行の
安全性の判断に必要な領域全体の状況の把握に苦労す
る。また、このこと故に、物体が移動している場合に、
その移動の状況（例えば、右手から正面を横切ろうとし
ているなど）を的確に把握することもユーザにとって難
しい。

【０００６】従って、本発明の目的は、３次元的広がり
をもった空間領域の随所に存在する様々な物体の距離や
動きなどをユーザに的確に知らせることができる装置を
提供することにある。

【０００７】

【課題を解決するための手段】本発明に従う視覚障害者
用環境認識支援装置は、ユーザの前方に広がる３次元空
間を監視する空間監視手段と、空間監視手段の出力信号
を用いて、上記３次元空間内で物体が占めている物体領
域の３次元座標を計算する計算手段と、計算手段によっ
て計算された前記物体領域の３次元座標に応じた触覚刺
激又は音響を発生するための駆動信号を出力する駆動手
段と、駆動手段から駆動信号を受けて触覚刺激又は音響
を発生する通知手段とを備える。

【０００８】この視覚障害者用環境認識支援装置は、ユ
ーザの前方に広がる３次元空間を監視して、その３次元
空間内で物体が占めている物体領域の３次元座標を計算
し、その物体領域の３次元座標に応じた触覚刺激又は音
響をユーザに提供する。従来のようにユーザから見て一
つの指向方向に存在する「一点」としての物体を検出す
るのではなく、ユーザから見て「面」として広がった３
次元空間を実質的同時に監視して、その３次元空間の随
所に存在する様々な物体の領域の３次元座標に一挙に把
握して、それに応じた刺激をユーザに与えるので、ユー
ザは周囲に存在する様々な物体の方向や距離を従来より
ずっと容易に把握でき、歩行などの安全性をより容易に
確認できる。

【０００９】好適な実施形態では、通知手段として、ユ
ーザが触れて感知できる凹凸画像を生成する触覚表示装
置が用いられる。この触覚表示装置は、凹凸画像のどの
位置にどの程度の突起又は凹みがあるかによって、３次
元空間内のどの３次元位置に物体が存在するのかを表現
する。

【００１０】好適な実施形態では、通知手段として、ま
た、ユーザが左右の耳で音源の距離と方向を感知できる
ステレオ音響を生成するステレオ音響発生装置が用いら
れる。このステレオ音響発生装置は、物体がユーザから
どの方向にどの程度の距離に存在するかを表現したステ
レオ音響をユーザに提供する。

【００１１】好適な実施形態では、空間監視手段とし
て、複数の異なる位置から上記３次元空間を撮影する複
数眼のカメラが用いられる。その複数眼のカメラで撮影
された複数枚の画像を用いて、ステレオ視法により、３
次元空間内の物体領域の３次元座標が計算され、それに
応じて上記の凹凸画像やステレオ音響が制御される。複
数眼のカメラを用いることで、自然照明の下で精度良く
物体の３次元座標が計算でき、また、カメラとしてビデ
オカメラを用いれば、移動する物体の３次元位置も実時
間で把握してユーザに感知させることができる。

【００１２】好適な実施形態では、３次元空間内の物体
領域の３次元座標を計算した後、その３次元座標に基づ
いて環境認識という処理が行われて、３次元空間に存在
する個々の物体の種類と３次元座標が識別される。そし
て、識別された物体の種類と３次元座標に応じて上記の
凹凸画像やステレオ音響が制御される。例えば、環境認
識によって、個々の物体が障害物（例えば、人、自動
車、路上の設置物、穴、段差、建物、壁など）であるか
否か（例えば、平らな地面）が識別され、そして、少な
くとも障害物と判断された物体について、その３次元座
標に応じて、その障害物の方向や距離や高さなどをユー
ザに感知させるように凹凸画像やステレオ音響が制御さ
れる。

【００１３】

【発明の実施の形態】図１は、本発明に従う視覚障害者
環境認識支援装置の一実施形態の全体構成を示す。

【００１４】この視覚障害者環境認識支援装置は、ステ
レオカメラ２０、データ処理装置３０及び環境通知装置
４０又は５０を備える。

【００１５】ステレオカメラ２０は、ステレオ視法を用
いた距離画像を作成するために撮影に用いられるもので
あり、異なる位置にほぼ同一方向を向いて配置された複
数個のビデオカメラ（例えばＣＣＤカメラ）２１を有す
る。ステレオ視法を用いる観点から、ステレオカメラ２
０は２個以上であれば何個のビデオカメラを持ってもよ
いが、この実施形態では、精度の高い距離画像が得られ
るようにするために、３×３マトリックスに配置された
９個もの多くのビデオカメラを持った多眼ステレオカメ
ラを採用する。ステレオカメラ２０は、特にユーザの前
方を撮影するのに都合の良い位置、例えば帽子１０の正
面部（つまりユーザの前頭部）に装着されている。ステ
レオカメラ２０（つまり、その９個のビデオカメラ２
１）は、ユーザが歩行の安全を確認するのに必要な広い
視野角を有している。このステレオカメラ２０により、
その視野角をもってユーザ前方に３次元的に広がる空間
領域を一時に撮影することができる。

【００１６】データ処理装置３０は、ステレオカメラ２
０の９個のビデオカメラ２１から出力される９本の動画
像データの最新のフレーム画像を入力して、これら９枚
のフレーム画像をステレオ視法により処理することで、
ステレオカメラ２０の視野についての最新での距離画像
（つまり、ステレオカメラ２０の位置から、視野内３次
元空間の物体で占められた領域までの距離を画素単位で
表した画像）を形成する。こうして、データ処理装置３
０は、最新の距離画像を次々と連続的に作り出し（つま
り、距離動画像を作り出し）、これに基づいて環境通知
装置４０又は５０を制御及び駆動する。そのために、デ
ータ処理装置３０は、距離画像を計算する距離画像計算
部３１と、距離画像に基づいて環境通知装置４０又は５
０を制御及び駆動する制御・駆動部３２とを有する。制
御・駆動部３２は、距離画像を解析して、その中から地
面を識別し、さらに、地面よりも高い高さをもつ物体
（プラス高さの障害物）や地面よりも下に落ち込んでい
る凹部（マイナス高さの障害物）などを識別する。この
ように、カメラ視野内に存在する各種の物体を識別する
処理を、この明細書では「環境認識」と呼ぶ。制御・駆
動部３２は、この環境認識によって識別した地面や障害
物などの各種物体の種類（つまり、地面か、障害物かな
ど）と３次元位置に応じた駆動信号を環境通知装置４０
又は５０に出力する。

【００１７】環境通知装置４０又は５０は、触覚表示装
置４０とステレオヘッドフォン５０のいずれか一方、又
は双方の組み合わせである。触覚表示装置４０は、特開
平１−９７４５７号に記載された触覚表示装置と同様
に、ベース板の一方の表面（表示面）に、多数の進退自
在なピン４１を立てて二次元配列したものであり、各ピ
ン４１の突出量を独立して調節することができ、それら
多数の２次元配列されたピン４１が凹凸画像を形成す
る。ユーザは、この触覚表示装置４０のピン４１が作る
凹凸画像を、手などで触れて感じることで、その凹凸画
像が表している各種物体の種類や位置を把握する。例え
ば、ピン４１が高く突出している箇所はそこに障害物が
存在することを意味し、ピン４１が低くなっている箇所
はそこは歩くことのできる地面であることを意味する。
触覚表示装置４０は、その表示面にユーザが手など触れ
るのに適した場所、例えばユーザの腰の位置や、歩行補
助用杖（図２、参照番号１４０）の握りの位置などに取
りつけることができる。

【００１８】ステレオヘッドフォン５０は、ユーザの左
右の耳に独立して音を与える２つのイヤホン（又はスピ
ーカ）５０Ｌ、５０Ｒをもつ通常のステレオヘッドホン
であるが、後述する制御・駆動部３２が行う制御及び駆
動方法により、障害物の位置や距離をユーザに聴覚的に
通知することができる。その一つの方法は、ステレオ音
響効果（つまり、左右の耳に与える音響の特性に様々な
相違をつけることで、その音源の位置や距離をユーザに
聴覚的に把握させる効果）を用いた方法である。すなわ
ち、制御・駆動部３２が、距離画像に基づいて何処にど
のような障害物が存在するかを識別し、その識別された
各障害物から音が発されたと仮定したときにユーザの左
右の耳に聞こえる音響を計算し、その計算した音響を左
右のイヤホン５０Ｌ、５０Ｒに出力する方法である。こ
の時、障害物の各種類に対して特有の音を事前に決めて
おけば、障害物の種類を容易に知ることができる。ま
た、別の方法は、障害物の位置や距離を表す音声メッセ
ージ（例えば、「ピー、２ｍ先に障害物あり」など）を
ステレオヘッドフォン５０に出力する方法である。

【００１９】触覚表示装置４０とステレオヘッドフォン
５０のいずれか一方だけを用いてもよいが、その双方を
組み合わせて用いれば、ユーザはより容易に周囲の環境
を把握することができる。

【００２０】この視覚障害者環境認識支援装置は、上記
構成に加えて望ましくは、ステレオカメラ２０の動き
（特に、回転角度）を検出するための角度センサ（又は
水平センサ）６０を、帽子１０などの適当箇所に設置が
できる。これは、ユーザの頭部の動きによってステレオ
カメラ２０の指向方向が変わっても、データ処理装置３
０がそれを正確に把握し水平方向を割り出せるようにす
るためである。角度センサ（又は水平センサ）６０とし
ては、例えば、ジャイロを利用して回転加速度を計測し
て傾き角度を計算するような角度センサや、その姿勢が
どのように変化しても常に水平方向を示す信号を出力す
る水平センサなどが採用できる。角度センサを用いる場
合、頭部の回転動作きはピッチ（上を向いたり下を向い
たりする動き）と、ロール（左右に首を傾ける動き）
と、ヨー（左右に水平回転させる動き）に大別できる。
角度センサを用いる場合、これら３種類の回転動作のう
ち、ユーザが最も頻繁に行なうピッチの角度を検出する
ことが第一に重要であり、加えてロールの角度も検出す
れば一層望ましい。こうして頭部のピッチやロールの角
度を検出することで、ユーザが頭部を動かしても、デー
タ処理装置３０は常に水平方向を正確に認識することが
でき、その結果、データ処理装置３０の制御・駆動部３
２が行う環境認識の精度が高まり、ユーザに一層正確な
環境情報を伝えることができる。

【００２１】以下、データ処理装置３０が行う距離画像
の生成と、環境認識と、環境通知装置４０又は５０の駆
動の処理について、より詳細に説明する。

【００２２】まず、ステレオカメラ２０からの動画像に
基づくステレオ視法による距離画像の生成について説明
する。データ処理装置３０の距離画像計算部３１は、ス
テレオカメラ２０から、その９個のビデオカメラ２１が
出力する９本の動画像の最新のフレーム（グレースケー
ルの静止輝度画像）を取り込む。距離画像計算部３１
は、３×３マトリックスに並んだビデオカメラ２１のう
ちの中央に位置する１個のカメラ（以下、基準カメラと
いう）２１からの１枚の輝度画像を基準画像とし、他の
８個のカメラ２１からの８枚の輝度画像を参照画像とし
て、８枚の参照画像の各々と基準画像とでペアを作り
（８ペアができる）、各ペアについて、両輝度画像間の
画素毎の視差を所定の方法で求める。

【００２３】ここで、視差を求める方法としては、例え
ば特開平１１−１７５７２５号に開示された方法を用い
ることができる。特開平１１−１７５７２５号に開示さ
れた方法は、簡単に言えば、次のようなものである。ま
ず、基準画像上で１つ画素を選択し、その選択画素を中
心にした所定サイズ（例えば３×３画素）のウィンドウ
領域を基準画像から取り出す。次に、参照画像上で上記
選択画素から所定の視差分だけずれた位置にある画素
（対応候補点という）を選び、その対応候補点を中心に
した同サイズのウィンドウ領域を参照画像から取り出
す。そして、参照画像から取り出した対応候補点のウィ
ンドウ領域と、基準画像から取り出した選択画素のウィ
ンドウ領域との間で、輝度パターンの類似度（例えば両
ウィンドウ領域内の位置的に対応する画素間の輝度値の
差の二乗加算値の逆数）を計算する。視差を最小値から
最大値まで順次に変えて対応候補点を移動させながら、
個々の対応候補点について、その対応候補点のウィンド
ウ領域と、基準画像からの選択画素のウィンドウ領域と
の間の類似度の計算を繰り返す。その結果から、最も高
い類似度が得られた対応候補点を選び、その対応候補点
に対応する視差を、上記選択画素における視差と決定す
る。このような視差の決定を、基準画像の全ての画素に
ついて行う。基準画像の各画素についての視差から、物
体の各画素に対応する部分と基準カメラとの間の距離が
一対一で決まる。従って、基準画像の全ての画素につい
て視差を計算することで、結果として、基準カメラから
物体までの距離を基準画像の画素毎に表した距離画像が
得られる。

【００２４】距離画像計算部３１は、８ペアの各々につ
いて上記の方法で距離画像を計算し、それら８枚の距離
画像を統計的手法で統合して（例えば平均を計算し
て）、その結果を最終的な距離画像として出力する。

【００２５】次に、データ処理装置３０の制御・駆動部
３２が行う環境認識について説明する。

【００２６】環境認識は、基本的に、例えば特開平１０
−１４３６５９号に記載された方法を用いて行うことが
できる。この方法は、簡単に言えば、距離画像内の各画
素の２次元座標と距離とから各画素の所定座標系での３
次元座標を計算し、その３次元座標が示す高さを用い
て、地面に相応しい所定の閾値よりも低い高さをもった
（又は、地面に相応しい所定の上閾値と下閾値の間の高
さをもった）画素群を抽出して、これを地面として識別
する。次に、その地面よりも所定値以上高い高さをもっ
た画素群を抽出し、その画素群を相互間の距離が近い画
素同士の集合に分類し、各画素集合を個々の障害物とし
て識別する。

【００２７】このような環境認識を行う場合、制御・駆
動部３２は、距離画像から各画素の３次元座標を計算す
るに当たり、ステレオカメラ２０の指向方向が水平では
ないことを考慮に入れて、距離画像が表すステレオカメ
ラ２０の向きを基準とした座標系を、水平方向を基準に
した座標系に変換する処理を行う。この座標変換の処理
について、図２を参照して説明する。

【００２８】図２は、ステレオカメラ２０の向きと地面
との関係を示す。

【００２９】図２において、点線１３０は水平方向を示
し、一点鎖線１２０はステレオカメラ２０の指向方向を
示し、矢印１１０はステレオカメラ２０の指向方向１２
０を中心に上下方向に均等に開いた視野角を示してい
る。なお、図示しないが、ユーザ１００を真上から眺め
た場合には、ステレオカメラ２０の指向方向１２０はユ
ーザ１００の頭部の真正面前方に向っており、その視野
は指向方向１２０を中心に図２の視野角１１０と同様な
角度で左右に開いている。

【００３０】歩行の安全性を確認する上でユーザ１００
にとり最も重要な情報は、ユーザ１００の進行方向にお
ける地面２００の形状と、地面２００よりある程度低い
高さからユーザ頭部より若干高い高さまでの高さ範囲に
おける穴や物体などの障害物の有無である。そこで、図
２に示すように、ユーザ１００が普通の姿勢で前を向い
ている歩いている状態で、ステレオカメラ２０の指向方
向１２０は水平より角度θだけ下方に傾いて設定されて
おり、それにより、ステレオカメラ２０の視野角１１０
内に、ユーザ１００の進行方向における、特に、歩行に
重要な足元近くから５メートル又は１０メートル程度先
までの距離範囲の、地面２００より或る程度低い高さか
らユーザ頭部より若干高い高さまでの高さ範囲が入るよ
うになっている。

【００３１】よって、図２に示すように、ユーザ１００
が通常に前を向いている状態で、ステレオカメラ２０の
指向方向１２０を基準とした座標系（以下、カメラ座標
系という）Ｘ’−Ｙ’−Ｚ’は、水平方向を基準とした
座標系（以下、全体座標系という）Ｘ−Ｙ−Ｚに対し
て、所定の角度θだけ前方下方へ傾いている。距離画像
計算部３１がステレオカメラ２０からのデータを基に作
成した距離画像のデータは、カメラ座標系Ｘ’−Ｙ’−
Ｚ’で表されたものである。制御・駆動部３２は、環境
認識を行う際、距離画像から直接的に得られる各画素の
カメラ座標系Ｘ’−Ｙ’−Ｚ’での３次元座標値を、上
記角度θを用いて、全体座標系Ｘ−Ｙ−Ｚで表された３
次元座標値に変換する。また、図１に示した角度センサ
６０が設けられている場合には、制御・駆動部３２は、
この座標変換の際に、上記角度θに加えて、角度センサ
６０で検出されたユーザ頭部のピッチ角（Ｘ’軸回りの
回転角）やロール角（Ｙ’軸回りの回転角）も考慮に入
れる。こうして、制御・駆動部３２は、水平方向を基準
にした全体座標系Ｘ−Ｙ−Ｚで表された各画素の３次元
座標値を計算し、それに基づいて、上述した特開平１１
−１７５７２５号の環境認識方法で地面２００を識別
し、地面２００上の障害物を識別する。

【００３２】特開平１１−１７５７２５号の環境認識方
法を行う際、制御・駆動部３２は、予め分っているユー
ザ１００の身長を利用して、ステレオカメラ２０の高さ
よりユーザ身長分だけ低い高さを中心に、それより所定
量だけ高い上側閾値と所定量だけ低い下側閾値を設定
し、この上側閾値と下側閾値の間の高さをもつ画素群を
抽出して、これを地面２００として識別することができ
る。通常、地面２００は水平であるから、この方法で精
度良く地面２００が識別できる。一方、地面２００が坂
道や階段になっている場合には、この方法で抽出された
画素は、地面２００の全体の中でユーザ１００の足元近
くに存在する等高の細長いストライプ形の部分だけを表
す少数の画素となる。その場合、地面２００全体は、そ
の抽出されたストライプ形の部分を回転軸にして、水平
な面を若干角度だけ回転させたような傾斜平面に沿った
坂道又は階段になっていると想定される。そこで、その
ような傾斜した地面２００を識別するために、そのスト
ライプ状の部分に対して直角に水平に伸びる座標軸を想
定し、その座標軸上の各位置ごとに最も低い高さをもっ
た画素を選び出す。それら選び出した画素が、傾斜した
地面２００の候補である。続いて、それら選び出した画
素の中から、上記ストライプ状の部分とほぼ同一の傾斜
平面を形成することができる画素を抽出する。こうして
抽出した画素群によって形成される傾斜平面を、地面２
００として識別することができる。この場合、最終的に
抽出した画素群によって実質連続な傾斜平面が形成され
るならば、その地面２００はその傾斜平面に沿った坂道
であると判断できる。一方、最終的に抽出した画素によ
って形成されるものが、実質連続な傾斜平面ではなく、
間隔をおいてほぼ平行に並んだ複数のストライプ状の部
分に分断された傾斜平面である場合には、その地面２０
０は階段であると判断できる。さらに、その坂道又は階
段と判断した地面２００の遠方に、その坂道又は階段に
接続する水平面が検出されたなら、それも地面２００と
して識別できる。このような方法で、地面２００を、水
平な地面、登り坂、下り坂、登り階段、下り階段などに
区別して認識することができる。

【００３３】こうして地面２００を識別した後、制御・
駆動部３２は、その地面２００よりも所定の高さ（歩行
障害になる可能性のある最低高さであり、例えば５セン
チメートル）以上に高い高さをもつ画素を抽出し、それ
らの画素を距離的に近い画素同士でグループ化すること
で幾つかの画素群に分類し、各画素群をそれぞれプラス
高さの障害物（例えば、壁、柱、人、車両、設置物、看
板、段差の立ち上がりなど）として識別する。さらに、
制御・駆動部３２は、地面２００よりも所定の深さ（歩
行障害になると判断される可能性のある最低深さであ
り、例えば５センチメートル）以上に深く落ち込んだ高
さをもつ画素を抽出し、それらの画素を距離的に近い画
素同士でグループ化することで幾つかの画素群に分類
し、各画素群をそれぞれマイナス高さの障害物（例え
ば、穴、窪み、溝、段差の落ち込みなど）として識別す
る。

【００３４】このようにしてプラス高さ及びマイナス高
さの障害物を識別した後、制御・駆動部３２は、さら
に、各障害物のもつ高さ、平面サイズ又は地面との位置
関係などを割りだし、それらに基づいて各障害物を更に
細かく識別することもできる。例えば、高さについて、
最大及び最低の高さをユーザの身長、ユーザの腰、ユー
ザの膝、地面、地面下深さ１０ｃｍなどで区切って分類
し、また、平面サイズについては、その最大寸法を１
ｍ、５０ｃｍなどで区切って分類し、また、地面との位
置関係については、地面から離れている、地面に接して
いるなどを識別して分類する。それらの分類結果を用い
て、プラス高さ障害物を、例えば、最大高さが身長以上
で平面サイズが１ｍ以上のもの（壁や建物や大型の設置
物など）、最大高さが身長以下で平面サイズが１ｍ以上
のもの（自動車、ガードレールなど）、最大高さが腰以
上で平面サイズが１ｍ以内のもの（人や小型の設置物な
ど）、最大高さが膝以下で平面サイズが１ｍ以上のもの
（階段上り口、段差の立ちあがり、低く大きい設置物な
ど）、最大高さが膝以下で平面サイズが５０ｍ以下のも
の（路上の岩石や、小さい物品など）、最低高さが身長
以下で地面から離れているもの（吊り下った障害物、建
物から横に出っ張った障害物など）などの何れに該当す
るかを判断する。また、マイナス高さの障害物を、例え
ば、最低高さが地面下１０ｃｍより低く地面に接してい
るもの（階段の下り口、段差の立下り、道路の側溝、駅
のプラットホームの端、地面の深い穴など）、最低高さ
が地面下１０ｃｍより高く地面に接しているもの（地面
の浅い穴や窪み、小さい段差など）などの何れに該当す
るかを判断する。

【００３５】また、制御・駆動部３２は、地面２００の
表面に、小さい突起が規則的に並んだストライプ状の領
域を検出し、それを視覚障害者誘導用の点字ストライプ
であると識別することもできる。

【００３６】以上のような方法で環境認識を行うこと
で、例えば次のようなものを認識することができる。

【００３７】地面（床面を含む）、テーブル面、そ
れらの面の傾きや凸凹度階段（登り下り）、壁プラス高さの障害物（車、人、壁、看板、つまずく
物など）、マイナス高さの障害物（穴、駅プラットホー
ムの端などの段差の落ち込み、側溝など）路上の点字ストライプ、車道と歩道の分離石物体（人、物、食器、食べ物）スペース（電車の中、作業場）次に、上記環境認識の結果を用いて制御・駆動部３２が
行う、環境通知装置４０又は５０を制御及び駆動する処
理について説明する。

【００３８】まず、触覚表示装置４０を制御及び駆動す
る処理について説明する。触覚表示装置４０を制御及び
駆動する方法としては、(1) 環境認識で識別した物体
の位置と高さを触覚表示装置４０に表示する方法、(2)
カメラの視野角内の３次元空間に任意の平面を設け、
その平面内での物体の有無を触覚表示装置４０に表示す
る方法の２通りがある。

【００３９】図３は、上記(1)の識別した物体の位置と
高さを触覚表示装置４０に表示する方法の一例を示して
いる。

【００４０】図３（Ａ）は、ユーザ１００が立っている
場所の平面図であり、ユーザ１００は水平な地面２００
上に立っており、左斜め前方と右側には壁３００、３１
０があり、正面の前方に登り階段３２０がある例を示し
ている。ユーザ頭部のステレオカメラ２０の視野角１１
０内には、ユーザ１００の前方の地面２００、壁３０
０、３１０及び登り階段３２０が入っている。点線４０
０で囲んだ領域は、触覚表示装置４０に表示されるＸ−
Ｙ座標領域を示している。

【００４１】制御・駆動部３２は、環境認識で識別した
物体（地面や障害物）であって表示対象のＸ−Ｙ座標領
域４００内に位置する物体を選び出し、その物体を触覚
表示装置４０に表示する。このとき、図３（Ｂ）に示す
ように、各物体を表す画素群のＸ、Ｙ座標（つまり、各
物体の水平位置）を触覚表示装置４０の表示面内での各
ピン４１の位置に対応させ、各物体を表す画素群がもつ
最大のＺ座標（つまり、各物体の最大高さ）を各ピン４
１の突出量（高さ）に対応させる。その際、各画素の
Ｘ、Ｙ、Ｚ座標値と触覚表示装置４０の各ピン４１の各
突出量とを１対１で対応させることができれば、各画素
のＸ、Ｙ、Ｚ座標値をそのまま用いることができるが、
実際には、触覚表示装置４０がもつピン４１の配列数及
び制御できる突出量の段階数はそれ程多くはないから、
各画素のＸ、Ｙ、Ｚ座標値と１対１で対応させることは
できない。そこで、表示対象のＸ−Ｙ座標領域４００を
ピン４１の縦横の配列数で区分して各ピン４１に対応し
た領域ブロックに分け、各領域ブロック内に位置する各
物体の部分の最大Ｚ座標値を求めて、それを各領域ブロ
ックにおける各物体の最大高さとし、そして、その各ブ
ロックの最大高さをピン４１の突出量の段階数で離散化
して、その離散化した最大高さを用いて各ピン４１の突
出量を制御する。

【００４２】その結果、図３（Ｂ）に示すように、触覚
表示装置４０の表示面には、真上から表示対象領域４０
０を眺めて、その領域４００内の各場所の最大高さを各
ピン４１の高さで表現した凹凸模様が表示される。図３
（Ｂ）の例の場合、各ピン４１の高さは３段階に制御で
き、白抜き円で示したピン４１は最も低くて地面２００
を表しており、ハッチングの円で示したピン４１は中間
の高さで上り階段３２０の前半部分（プラス高さの障害
物の一種）を表しており、黒塗りの円で示したピン４１
は最も高くて壁３００、３１０と登り階段３２０の後半
部分（いずれも、プラス高さの障害物の一種）を表して
いる。なお、×印を付けたピン４１は、視野角１１０の
外側の場所に対応するものであり、これは例えばハッチ
ングのピン４１と同様に中程度の高さにするなどして、
視野角１１０の外側であることの注意をユーザに与える
ようにすることができる。ピン４１の高さの段階数がよ
り多くなれば、環境認識の説明で述べたような様々な種
類の障害物をピンの高さで区別して表現できるし、ま
た、地面が階段や坂である場合にはその高さの変化もピ
ンの高さを違えて表現することができる。

【００４３】この表示方法によれば、ユーザは、触覚表
示装置４０の表示面に触れて各場所の高さを感じ取るこ
とで、何処が地面であり、何処に障害物が存在し、その
障害物のサイズや高さや平面形状がどのようであるかを
推測することができ、進行方向の環境の様子を把握する
ことができる。

【００４４】また、前述したように、ステレオカメラ２
０の撮影結果から得られる距離画像は、実時間で変化し
ていく動画像であるから、それを表現した触覚表示装置
４０の表示面にも、実時間で対象物の動きが現われる。
例えば、ユーザの歩行に伴ってユーザに対する壁や階段
などの位置が変化したり、人や自動車などの物体が自ら
移動した場合、触覚表示装置４０では、それらの物体に
対応する突出したピン４１が別のピン４１に移っていく
ので、ユーザはそれらの物体の移動を実時間で認識する
ことができる。

【００４５】図４〜図７は、環境認識で識別した障害物
を触覚表示装置４０に表示する方法の幾つかの別の例を
示している。

【００４６】図４の例では、図４（Ａ）に示すように、
表示対象の領域内に両側を壁３３０、３４０で囲まれた
地面（道路）２００があり、この地面２００内に穴（マ
イナス高さの障害物）３５０があったとする。この場
合、図４（Ｂ）に示すように、触覚表示装置４０では、
壁３３０、３４０と地面（道路）２００については、図
３の例と同様にその最大高さをピン４１の高さで表現す
る（白抜きと黒塗りの円で図示するピン）と共に、穴
（マイナス高さの障害物）３５０については、ユーザに
特に注意を促すために、ピン４１の高さを地面より高く
したりピン４１を振動させたりする（ハッチングの円で
図示するピン）。

【００４７】図５の例では、図５（Ａ）に示すように、
表示対象の領域内に両側を壁３３０、３４０で囲まれた
地面（道路）２００があり、この地面２００内に躓き原
因となり得る所定範囲の高さとサイズをもった障害物
（プラス高さの障害物）３６０があったとする。この場
合、図５（Ｂ）に示すように、触覚表示装置４０では、
壁３３０、３４０と地面（道路）２００については、図
３の例と同様にその最大高さをピン４１の高さで表現す
る（白抜きと黒塗りの円で図示するピン）と共に、躓き
の原因となり得る障害物３６０については、ユーザに特
に注意を促すために、ピン４１の高さを地面より高くし
たりピン４１を振動させたりする（ハッチングの円で図
示するピン）。

【００４８】図６の例では、図６（Ａ）に示すように、
表示対象の領域内に両側を壁３３０、３４０で囲まれた
地面（道路）２００があり、この地面２００内に視覚障
害者誘導用の点字ストライプ３７０があったとする。こ
の場合、図６（Ｂ）に示すように、触覚表示装置４０で
は、壁３３０、３４０と地面（道路）２００について
は、図３の例と同様にその最大高さをピン４１の高さで
表現する（白抜きと黒塗りの円で図示するピン）と共
に、点字ストライプ３７０については、ユーザに特に気
付かせる促すために、ピン４１の高さを地面より高くし
たりピン４１を振動させたりする（ハッチングの円で図
示するピン）。

【００４９】図４〜図６に示した表示方法によれば、歩
行の際にユーザが特に認識すべき対象物の位置を効果的
にユーザに知らせることができる。

【００５０】図７の例では、図７（Ａ）の平面図に示す
ように、ユーザ１００が既に通過してきた領域に点字ス
トライプ３８０などの環境認識で識別された物体があ
る。制御・駆動部３２は、既に通過してきた領域におけ
る点字ストライプ３８０などの物体の位置と共に、ユー
ザ１００が歩いてきた軌跡３９０も記憶しておく。そし
て、ユーザ１００が特別の表示モードを選ぶと、図７
（Ｂ）に示すように、触覚表示装置４０に、その記憶し
ておいた通過領域における点字ストライプ３８０などの
物体（ハッチングの円で示すピン）とユーザ１００の軌
跡３９０（黒塗りの円で示すピン）とを表示する。この
表示モードを利用すると、ユーザは、ちょうど後ろを振
り返って自分の今歩いてきた軌跡を確認するのと同様な
ことができ、正しい経路を歩いているか否かを判断する
のに役立つ。

【００５１】図８と図９は、上述した(２)の表示方法、
つまり、表示対象の空間内に任意の平面を設け、その平
面内での物体の有無を触覚表示装置４０に表示する方法
の一例を示している。

【００５２】図８は、この方法を行うときの空間内での
平面の設定の仕方の様々な例を示している。

【００５３】図８（Ａ）は、ステレオカメラの視野角内
の３次元空間内に、全体座標系のＺ軸に沿った任意の位
置で水平面６００Ａ〜６００Ｈを設定する例と、全体座
標系のＹ軸に沿った任意の位置でＸ軸に平行な鉛直面６
０１Ａ〜６０１Ｊを設定する例とを示している。また、
図８（Ｂ）は、同じ３次元空間内に、全体座標系のＸ軸
に沿った任意の位置においてＹ軸に平行な鉛直面６０２
Ａ〜６０２Ｉを設定する例を示している。

【００５４】制御・駆動部３２は、図８に示したような
平面の一つを空間内に設定すると、環境認識で識別した
物体の中から、その設定した平面と交差する物体を選
び、その選んだ物体の設定平面内での位置を、触覚表示
装置４０に表示する。この場合、触覚表示装置４０の表
示面をその設定平面とみなして、物体の存在する位置の
ピン４１だけを突出させ、物体の存在しない位置のピン
４１は突出させないというような方法で物体を表示す
る。この表示方法で使用する触覚表示装置４０において
は、ピン４１の突出量の段階数は突出するかしないかの
２段階で十分である。

【００５５】望ましくは、制御・駆動部３２は、設定平
面の位置を自動的に移動させる。例えば、水平面を設定
する場合、その水平面の高さ位置を図８（Ａ）に示した
最も低い位置６００Ｈから最も高い位置６００Ａへ向っ
て段階的に上昇させていき、最も高い位置６００Ａに達
すると再び最も低い位置６００Ｈに戻って同様の動作を
繰り返すというように、表示対象空間の全範囲を設定平
面でスイ−プすることを、例えば数秒程度の周期で繰り
返す。そして、このスイ−ピングにおける設定平面の各
位置で、上記のようにその設定平面内に存在する物体を
触覚表示装置４０に表示する。

【００５６】図９は、この設定平面のスイーピングの方
法を用いて、図３（Ａ）に例示した表示対象領域４００
の様子を触覚表示装置４０に表示した結果を示してい
る。図９（Ａ）は、地面２００すれすれの最も低い位置
に水平面を設定したときの表示例であり、壁３００、３
１０や登り階段３２０などのプラス高さの障害物が存在
する全領域のピン４１（黒塗り円で示したピン）が突出
しており、障害物の存在しない地面２００の領域のピン
４１（白抜き円で示したピン）だけが下がっている。図
９（Ｂ）は、その水平面を中程度の高さ（例えば地上１
ｍ）まで上昇させたときの表示例であり、壁３００、３
１０と上り階段３２０の奥の高い部分が存在する領域の
ピン４１（黒塗り円で示したピン）だけは依然として突
出しているが、上り階段３２０のうち上り口付近の低い
部分の領域７００のピンは下がっている。図９（Ｃ）
は、その水平面を最も高い位置（例えば地上２ｍ）まで
上昇させたときの表示例であり、壁３００、３１０が存
在する領域のピン４１（黒塗り円で示したピン）のみが
突出しているだけで、それ以外の領域のピンは全て下が
っている。

【００５７】図９（Ａ）、（Ｂ）、（Ｃ）の順で触覚表
示装置４０の表示が変遷し、それが例えば数秒周期で繰
り返される。ユーザは、この表示の変遷を手などで触っ
て感じ取ることにより、地面すれすれの低い位置から自
分の身長より若干高い位置までの空間にどのような高さ
の物体が何処に存在しているかを把握することができ
る。

【００５８】なお、このように設定平面をスイープさせ
る方法は、水平面だけでなく、例えば図８（Ａ）に例示
したＸ軸に平行な鉛直面６０１Ａ〜６０１Ｊについて
も、図８（Ｂ）に例示したＹ軸に平行な鉛直面６０２Ａ
〜６０２Ｉについても同様に行うことができる。また、
平面の設定の仕方としては、図８に示したような全体座
標系の座標軸に沿って設定する方法だけでなく、ユーザ
の所望する任意の方向に設定する方法も可能である。

【００５９】次に、環境認識の結果を用いてステレオヘ
ッドホン５０を制御及び駆動する処理について説明す
る。

【００６０】図１０は、ステレオヘッドホン５０の制御
及び駆動方法の一例を示している。

【００６１】図１０に示すように、表示対象の空間内
に、例えば地面（道路）２００があり、その両側には壁
３３０、３４０があり、その地面２００内に穴３５０や
岩３６０などがあったとする。制御・駆動部３２は、ユ
ーザ１００の歩行の障害となる障害物、つまり壁３３
０、３４０や穴３５０や岩３６をそれぞれ独立した音源
であるとみなす。このとき、壁３３０、３４０や穴３５
０や岩３６０などの各障害物は、環境認識で分類した各
障害物の種類に固有の音色や発音周期をもった音響を発
する音源であるとみなし、ユーザがその固有の音響から
各障害物の種類が識別できるようにする。また、壁３３
０、３４０のようにサイズの大きい障害物については、
それをユーザからの距離に応じて複数の部分（例えば、
ユーザに近い部分、やや遠い部分、遠い部分など）に区
分して、その各部分が独立した音源であるとみなしても
よい。そして、制御・駆動部３２は、各音源がそれぞれ
の固有の音響を発したとみなして、その音響がユーザ１
００の左右の耳１０１、１０２に受信されたときの波
形、強度、時刻などを計算して、その左右の耳に受信さ
れる音響信号を生成し、これをステレオヘッドホン５０
の左右のイヤホン５０Ｌ、５０Ｒに出力する。ユーザ
は、左右の耳１０１、１０２に聞こえるステレオ音響効
果により、どのような種類の障害物がどの方向にどの程
度の距離の位置に存在するかを感じ取ることができる。
すなわち、ステレオ音響効果を利用して、表示対象空間
の音響的３次元画像をユーザに提供するのである。

【００６２】また、別の方法として、ステレオ音響効果
に加えて、イルカやコウモリが超音波で周囲の環境を認
識する原理を利用することもできる。すなわち、各障害
物３３０、３４０、３５０、３６０を音源とみなすので
はなく、ユーザ１００を或る音響を或る周期（例えば２
〜３秒間隔）で発する音源とみなし、そのユーザ１００
が発した音響が各障害物３３０、３４０、３５０、３６
０で反射してユーザ１００の左右の耳１０１、１０２に
受信されたときにどのように聞こえるかをシミュレート
する。図１１は、この方法を行うときの制御・駆動部３
２の処理の流れを示している。

【００６３】図１１に示すように、対象空間の距離画像
に基づいて環境認識を行って各障害物を識別した（ステ
ップＳ１）後、ユーザから仮想的な音波を対象空間に発
射したと仮定して（Ｓ２）、その音波が各障害物に当た
って反射してきてユーザの左右の耳に受信されたときの
左右の耳における受音響の強度や音波発射から受音まで
の遅れ時間等を計算する（Ｓ３）。このとき、各障害物
の種類毎に、反射音響の周波数や音色を異ならせれば、
ユーザはその反射音響から各障害物の種類が識別するこ
とができる。また、音波発射から受音までの遅れ時間の
計算では、音速を真の音速よりも遅く設定して計算する
ことで、小さな距離の違いであってもユーザの耳には明
確な受音時刻の違いとして感じ取れるようにする。こう
して、左右の耳の受音響を計算したならば、その音響を
左右の耳のイヤホンに出力する（Ｓ４）。

【００６４】この方法により、障害物の距離が、聞こえ
る音の強度だけでなく、聞こえる時刻の違いとしても現
われるので、ユーザはより一層明確に障害物の距離を把
握することができる。

【００６５】図１２は、触覚表示装置４０の表示面の形
状の変形例を示している。

【００６６】触覚表示装置４０の表示面は、単純な四角
形でもよいが、図１２に示すように、手８００の形に応
じた扇型に近い形状でも良い。また、このような扇型に
近い形状は、ステレオカメラの視野の平面形状にも近い
ので、視野内の空間の様子を無駄なく表現することがで
きる。

【００６７】図１３は、ステレオカメラの変形例を示し
ている。

【００６８】図１３（Ａ）のステレオカメラでは、ヘア
バンド９００の額に当たる前部に複数個のビデオカメラ
９１０が取りつけられている。図１３（Ｂ）のステレオ
カメラでは、眼鏡９２０の前部フレームに複数個のビデ
オカメラ９１０が取りつけられている。図１３（Ｃ）の
ステレオカメラでは、手で持つ懐中電灯型のスティック
９３０の先端部に複数個のビデオカメラ９１０が取りつ
けられている。このように、ステレオカメラの構成とし
ては様々なものが採用できる。

【００６９】以上、本発明の代表的な一実施形態を説明
したが、上記の実施形態はあくまで本発明の説明のため
の例示であり、本発明を上記実施形態にのみ限定する趣
旨ではない。従って、本発明は、上記実施形態以外の様
々な形態でも実施することができる。

【００７０】例えば、各ピンが出ているか否かの２値し
か表現できない触覚制御装置を用いて、制御・駆動部で
は地面か障害物かだけを識別する最も簡単な環境認識を
行い、そして、障害物の存在する箇所だけ触覚制御装置
のピンを出すことで、単純に障害物だけをユーザに通知
するようにしてもよい。

【００７１】また、ＧＰＳなどのユーザの位置を割り出
すシステムと、建物の内部や地上の地形を極めて詳細且
つ正確に示した地図システムとを追加して、ユーザが地
図上の何処をどの方向に歩いているかを高精度に検出
し、この検出結果と、上述の実施形態で行っている距離
画像に基づく環境認識の結果とを組み合わせて、より詳
細且つ高精度な環境情報提供をユーザに行うようにして
もよい。

【００７２】また、空間の３次元計測の方法として、上
述した実施形態ではステレオカメラで撮影した画像から
ステレオ視法で距離画像を得る方法（一般に「パッシブ
ステレオ法」と呼ばれる）を採用したが、それだけでな
く例えば次のような様々な方法を用いることもできる。

【００７３】(1) 能動型（パターン投光を必要とする
方法）アクティブステレオ法光切断法、ランダムドット投影法、空間コード化法など照度差ステレオ法モアレ法 (2) 受動型（通常照明下で行うことができ、投光を必
要としない方法）パッシブステレオ法２眼ステレオ法、３眼ステレオ法、多眼ステレオ法（上
記実施形態の方法）レンズ焦点法単眼視法（テクチャや影などを利用する）環境通知装置としては、上述した触覚表示装置及びステ
レオヘッドホンの他にも、様々な感覚刺激を発生する装
置を採用することができる。例えば、機械的振動を発す
るバイブレータや、警告音を発するスピーカ又はイヤホ
ンなども利用できる。特に、バイブレータは、視覚障害
だけでなく聴覚障害も持つユーザにとって便利である。
バイブレータの利用形態としては、例えば、腕輪形のバ
イブレータを片腕又は望ましくは両腕に装着し、更に望
ましくは腕以外の身体箇所にも各箇所に適した形態のバ
イブレータを装着し、そして、それらのバイブレ−タの
振動の強度や、振動波形や、振動間隔や、振動させるバ
イブレータの位置選択や、複数箇所のバイブレータの振
動の組み合わせなどを制御することで、どの方向のどの
距離にどのような障害物があるかをユーザに知らせる方
法などがある。

【図面の簡単な説明】

【図１】本発明に従う視覚障害者環境認識支援装置の一
実施形態の全体構成を示す斜視図。

【図２】ステレオカメラ２０の向きと地面との関係を示
す説明図。

【図３】環境認識で識別した物体の位置と高さを触覚表
示装置４０に表示する方法の一例を示した図。

【図４】環境認識で識別した物体を触覚表示装置４０に
表示する方法の別の例を示した図。

【図５】環境認識で識別した物体を触覚表示装置４０に
表示する方法の更に別の例を示した図。

【図６】環境認識で識別した物体を触覚表示装置４０に
表示する方法の更にまた別の例を示した図。

【図７】環境認識で識別した物体を触覚表示装置４０に
表示する方法のまた別の例を示した図。

【図８】表示対象空間内に任意の平面を設け、その平面
内での物体の有無を触覚表示装置４０に表示する方法を
行うときの、平面の設定の仕方の様々な例を示した図。

【図９】表示対象空間内に任意の平面を設け、その平面
内での物体の有無を触覚表示装置４０に表示する方法を
行うときの、触覚表示装置４０の表示例を示した図。

【図１０】ステレオヘッドホン５０の制御及び駆動方法
の一例を示した図。

【図１１】ステレオ音響効果に加えて、イルカやコウモ
リが超音波で周囲の環境を認識する原理を利用して音響
３次元画像をユーザに提供するときの、制御・駆動部３
２の処理の流れを示すフローチャート。

【図１２】触覚表示装置４０の表示面の形状の変形例を
示した平面図。

【図１３】ステレオカメラの変形例を示してた斜視図。

【符号の説明】

２０ステレオカメラ２１ビデオカメラ（例えばＣＣＤカメラ）３０データ処理装置３１距離画像計算部３２制御・駆動部４０触覚表示装置４１ピン５０ステレオヘッドホン１００ユーザ１１０ステレオカメラの視野角２００地面

───────────────────────────────────────────────────── フロントページの続き (72)発明者若井秀之神奈川県平塚市万田1200 株式会社小松製作所研究所内Ｆターム(参考） 5B057 AA19 BA02 CA13 CA16 DA06 DA15 DB03 DC01

Claims

【特許請求の範囲】

【請求項１】ユーザの前方に広がる３次元空間を監視
する空間監視手段と、前記空間監視手段の出力信号を用いて、前記３次元空間
内で物体が占めている物体領域の３次元座標を計算する
計算手段と、前記計算手段によって計算された前記物体領域の３次元
座標に応じた触覚刺激又は音響を発生するための駆動信
号を出力する駆動手段と、前記駆動手段から前記駆動信号を受けて前記触覚刺激又
は音響を発生する通知手段とを備えた視覚障害者用環境
認識支援装置。
【請求項２】前記通知手段が、ユーザが触れて感知で
きる凹凸画像を生成する触覚表示装置を有し、前記駆動手段が、前記物体領域の３次元位置を凹凸画像
で表現するように前記触覚表示装置を駆動する請求項１
記載の視覚障害者用環境認識支援装置。
【請求項３】前記通知手段が、ユーザが左右の耳で音
源の距離と方向を感知できるステレオ音響を生成するス
テレオ音響発生装置を有し、前記駆動手段が、前記物体領域のユーザからの距離と方
向を前記ステレオ音響で表現するように前記ステレオ音
響発生装置を駆動する請求項１記載の視覚障害者用環境
認識支援装置。
【請求項４】空間監視手段が、複数の異なる位置から
前記３次元空間を撮影する複数眼のカメラを有し、前記計算手段が、前記複数眼のカメラで撮影された複数
枚の画像を用いて、ステレオ視法により前記物体領域の
３次元座標を計算する請求項１記載の視覚障害者用環境
認識支援装置。
【請求項５】前記計算手段によって計算された前記物
体領域の３次元座標に基づいて、前記３次元空間に存在
する個々の物体の種類と３次元座標を識別する環境認識
手段を更に備え、前記駆動手段は、前記環境認識手段によって識別された
物体の種類と３次元座標に応じて前記触覚刺激又は音響
を制御する請求項１記載の視覚障害者用環境認識支援装
置。
【請求項６】環境認識手段は、前記３次元空間に存在
する個々の物体を障害物か否か識別し、前記駆動手段は、前記環境認識手段によって識別された
障害物の３次元座標に応じて前記触覚刺激又は音響を制
御する請求項５記載の視覚障害者用環境認識支援装置。
【請求項７】ユーザの前方に広がる３次元空間を監視
するステップと、前記空間監視の結果に基づいて、前記３次元空間内で物
体が占めている物体領域の３次元座標を計算するステッ
プと、前記計算手段によって計算された前記物体領域の３次元
座標に応じた触覚刺激又は音響を前記ユーザに与えるス
テップとを備えた視覚障害者用環境認識支援方法。