JP2017146726A - 移動支援装置、及び、移動支援方法 - Google Patents
移動支援装置、及び、移動支援方法 Download PDFInfo
- Publication number
- JP2017146726A JP2017146726A JP2016027133A JP2016027133A JP2017146726A JP 2017146726 A JP2017146726 A JP 2017146726A JP 2016027133 A JP2016027133 A JP 2016027133A JP 2016027133 A JP2016027133 A JP 2016027133A JP 2017146726 A JP2017146726 A JP 2017146726A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- user
- control unit
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
【課題】簡易な構成で、使用者の移動を支援することができる移動支援装置、及び、移動支援方法を提供する。【解決手段】路面を撮像するカメラ61と、カメラ61の撮像画像データをもとに、使用者Mの移動可能方向の指標となる指標情報を検出する画像処理部153と、画像処理部153が検出した指標情報に基づき、使用者Mの移動を誘導する誘導情報を出力する誘導制御部154とを備えるHMD100。【選択図】図6
Description
本発明は、移動支援装置、及び、移動支援方法に関する。
従来、歩行者の移動を支援する装置が知られている(例えば、特許文献1及び2参照)。
特許文献1及び2は、歩行補助具に設けたアンテナにより、路面の視覚障害者誘導用ブロックに設けた無線タグから情報を取得し、歩行補助具を持つ使用者に取得した情報を提供する装置を開示する。
特許文献1及び2は、歩行補助具に設けたアンテナにより、路面の視覚障害者誘導用ブロックに設けた無線タグから情報を取得し、歩行補助具を持つ使用者に取得した情報を提供する装置を開示する。
しかしながら、特許文献1及び2に開示の装置は、視覚障害者誘導用ブロックに無線タグを設置する作業が必要となるため、実現までに時間がかかる。
本発明は、上記事情に鑑みてなされたものであり、簡易な構成で、使用者の移動を支援することができる移動支援装置、及び、移動支援方法を提供することを目的とする。
本発明は、上記事情に鑑みてなされたものであり、簡易な構成で、使用者の移動を支援することができる移動支援装置、及び、移動支援方法を提供することを目的とする。
上記目的を達成するために、本発明の移動支援装置は、路面を撮像する撮像部と、前記撮像部の撮像画像をもとに、使用者の移動可能方向の指標となる指標情報を検出する検出部と、前記検出部が検出した指標情報に基づき、使用者の移動を誘導する誘導情報を出力する制御部とを備えることを特徴とする。
本発明によれば、路面を撮像した撮像画像をもとに使用者の移動可能方向の指標となる指標情報を検出して、検出した指標情報に基づき使用者の移動を誘導する誘導情報が出力される。従って、簡易な構成で、使用者の移動を支援することができる。
本発明によれば、路面を撮像した撮像画像をもとに使用者の移動可能方向の指標となる指標情報を検出して、検出した指標情報に基づき使用者の移動を誘導する誘導情報が出力される。従って、簡易な構成で、使用者の移動を支援することができる。
また、本発明の移動支援装置は、上記移動支援装置において、前記検出部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像を抽出し、指標情報を検出することを特徴とする。
本発明によれば、指標情報が、撮像画像をもとに抽出される視覚障害者誘導ブロックの画像に基づいて検出される。従って、視覚障害者誘導ブロックの画像に基づき使用者を誘導することができる。
本発明によれば、指標情報が、撮像画像をもとに抽出される視覚障害者誘導ブロックの画像に基づいて検出される。従って、視覚障害者誘導ブロックの画像に基づき使用者を誘導することができる。
また、本発明の移動支援装置は、上記移動支援装置において、前記撮像部は、使用者の頭部に装着されることを特徴とする。
本発明によれば、使用者の頭部に装着された撮像部により撮像画像が撮像される。従って、使用者の目線から外景方向を撮像するように調整することができる。
本発明によれば、使用者の頭部に装着された撮像部により撮像画像が撮像される。従って、使用者の目線から外景方向を撮像するように調整することができる。
また、本発明の移動支援装置は、上記移動支援装置において、使用者の頭部に装着され、前記使用者の左目に対応する第1の発光部と、前記使用者の右目に対応する第2の発光部とを有する発光部を備え、前記制御部は、前記検出部が検出した指標情報に基づき、前記第1の発光部と、前記第2の発光部との少なくとも一方の表示を制御する誘導情報を出力することを特徴とする。
本発明によれば、指標情報に基づき、第1の発光部と第2の発光部の少なくとも一方の表示が制御される。従って、第1の発光部と第2の発光部の少なくとも一方の表示を、撮像画像から検出される指標情報に対応した表示として、使用者を誘導することができる。
本発明によれば、指標情報に基づき、第1の発光部と第2の発光部の少なくとも一方の表示が制御される。従って、第1の発光部と第2の発光部の少なくとも一方の表示を、撮像画像から検出される指標情報に対応した表示として、使用者を誘導することができる。
また、本発明の移動支援装置は、上記移動支援装置において、前記制御部は、左折可を示す指標情報が検出された場合に、前記第1の発光部を点滅又は点灯させ、右折可を示す指標情報が検出された場合に、前記第2の発光部を点滅又は点灯させ、直進可を示す指標情報が検出された場合に、前記第1の発光部及び前記第2の発光部を点滅又は点灯させることを特徴とする。
本発明によれば、指標情報として左折可が検出された場合に、第1の発光部が点滅又は点灯され、右折可が検出された場合に、第2の発光部が点滅又は点灯され、直進可が検出された場合に、第1の発光部及び第2の発光部が点滅又は点灯される。従って、発光部の点灯又は点滅によって移動可能方向を使用者に示すことができる。
本発明によれば、指標情報として左折可が検出された場合に、第1の発光部が点滅又は点灯され、右折可が検出された場合に、第2の発光部が点滅又は点灯され、直進可が検出された場合に、第1の発光部及び第2の発光部が点滅又は点灯される。従って、発光部の点灯又は点滅によって移動可能方向を使用者に示すことができる。
また、本発明の移動支援装置は、上記移動支援装置において、前記発光部は、画像光を発して使用者に画像を視認させる表示部であることを特徴とする。
本発明によれば、表示部を用いて、移動可能な方向を使用者に示すことができる。
本発明によれば、表示部を用いて、移動可能な方向を使用者に示すことができる。
また、本発明の移動支援装置は、上記移動支援装置において、前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像が検出された場合に、前記撮像部の撮像画像をもとに警告対象の画像を検出し、検出結果を出力することを特徴とする。
本発明によれば、視覚障害者誘導用ブロックの画像が検出された場合に、警告対象の画像が検出される。従って、視覚障害者誘導用ブロックの画像が示す警告対象を使用者に通知することができる。
本発明によれば、視覚障害者誘導用ブロックの画像が検出された場合に、警告対象の画像が検出される。従って、視覚障害者誘導用ブロックの画像が示す警告対象を使用者に通知することができる。
また、本発明の移動支援装置は、上記移動支援装置において、前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像が検出された場合に、前記撮像画像をもとに視覚障害者誘導用ブロックまでの距離を算出し、算出した距離に対応した出力を行うことを特徴とする。
本発明によれば、撮像画像をもとに視覚障害者誘導用ブロックまでの距離が算出され、算出した距離に対応した出力が行われる。従って、使用者は、視覚障害者誘導用ブロックまでの距離を認識することができる。
本発明によれば、撮像画像をもとに視覚障害者誘導用ブロックまでの距離が算出され、算出した距離に対応した出力が行われる。従って、使用者は、視覚障害者誘導用ブロックまでの距離を認識することができる。
また、本発明の移動支援装置は、上記移動支援装置において、音声を出力する音声出力部を備え、前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックに重なる障害物が検出された場合に、障害物が存在する旨を前記音声出力部により出力することを特徴とする。
本発明によれば、視覚障害者誘導用ブロックに重なる障害物が検出された場合に、障害物が存在する旨を音声出力することができる。
本発明によれば、視覚障害者誘導用ブロックに重なる障害物が検出された場合に、障害物が存在する旨を音声出力することができる。
本発明の移動支援方法は、路面を撮像するステップと、撮像された撮像画像をもとに、使用者の移動可能方向の指標となる指標情報を検出するステップと、検出された指標情報に基づき、使用者の移動を誘導する誘導情報を出力するステップと、を有することを特徴とする。
本発明によれば、路面を撮像した撮像画像をもとに使用者の移動可能方向の指標となる指標情報を検出して、検出した指標情報に基づき使用者の移動を誘導する誘導情報が出力される。従って、簡易な構成で、使用者の移動を支援することができる。
本発明によれば、路面を撮像した撮像画像をもとに使用者の移動可能方向の指標となる指標情報を検出して、検出した指標情報に基づき使用者の移動を誘導する誘導情報が出力される。従って、簡易な構成で、使用者の移動を支援することができる。
以下、本発明の移動支援装置及び移動支援方法をHMD(Head Mounted Display:頭部装着型表示装置)に適用した実施形態について説明する。図1は、HMD100の適用例を示す図である。
本実施形態では、HMD100は盲人や弱視者等の視覚障害者や老人(以下、これらの者を総称して使用者Mと表記する)により使用される。また、使用者Mの移動には、自身が歩行して移動する場合と、車椅子等により移動する場合とが含まれる。HMD100は、使用者の頭部に装着された状態で使用者Mに虚像を視認させる画像表示部20と、画像表示部20を制御する制御装置10とを備える。画像表示部20は、本発明の「表示部」に相当する。
HMD100は、路面等を撮像するカメラ61(図2参照)を備える。カメラ61は、本発明の「撮像部」に相当する。制御装置10は、カメラ61の撮像画像をもとに、使用者Mが移動可能な方向の指標となる指標情報を検出し、検出した指標情報に基づき、使用者Mの移動を誘導する誘導情報を含む制御信号を画像表示部20に出力する。画像表示部20は、制御装置10から入力される制御信号に基づき、右表示ユニット22及び左表示ユニット24の表示を制御する。右表示ユニット22及び左表示ユニット24については後述する。右表示ユニット22は、本発明の「第2の発光部」に相当する。また、左表示ユニット24は、本発明の「第1の発光部」に相当する。
HMD100は、路面等を撮像するカメラ61(図2参照)を備える。カメラ61は、本発明の「撮像部」に相当する。制御装置10は、カメラ61の撮像画像をもとに、使用者Mが移動可能な方向の指標となる指標情報を検出し、検出した指標情報に基づき、使用者Mの移動を誘導する誘導情報を含む制御信号を画像表示部20に出力する。画像表示部20は、制御装置10から入力される制御信号に基づき、右表示ユニット22及び左表示ユニット24の表示を制御する。右表示ユニット22及び左表示ユニット24については後述する。右表示ユニット22は、本発明の「第2の発光部」に相当する。また、左表示ユニット24は、本発明の「第1の発光部」に相当する。
HMD100は、地面や建物の床面(以下、これらを総称して路面という)に敷設された視覚障害者誘導用ブロック(以下、誘導用ブロックという)50を撮像し、撮像された誘導用ブロックの撮像画像データをもとに指標情報を検出する。誘導用ブロック50には、線状ブロック51と点状ブロック52とが含まれる。
線状ブロック51は、ブロックの表面に線状の突起部55が複数設けられ、線状の突起部55により移動可能方向が示されるブロックである。HMD100は、カメラ61の撮像画像をもとに線状ブロック51の画像を検出した場合、線状ブロック51の画像から線状の突起部55の方向を判定して、線状ブロック51が示す移動可能方向を指標情報として検出する。ここで検出される移動可能方向は、線状ブロック51が示す方向であり、使用者Mが進行歩行として選択できる方向である。HMD100により複数の移動可能方向が検出された場合、使用者Mは、HMD100により通知される複数の移動可能方向の中から実際に進む移動方向を選択する。
点状ブロック52は、ブロックの表面に点状の突起部56が複数設けられ、歩行者に対し注意喚起・警告を促すブロックである。HMD100は、カメラ61の撮像画像をもとに点状ブロック52の画像を検出した場合、HMD100を装着した使用者Mの近くに、警告対象物が存在すると判定する。HMD100は、カメラ61により使用者Mの周囲を撮像し、撮像された撮像画像から点状ブロック52が警告する警告対象物を判定する。警告対象物には、階段や路面の段差、横断歩道、線状ブロック51が交差する分岐点、案内板等が含まれる。
線状ブロック51は、ブロックの表面に線状の突起部55が複数設けられ、線状の突起部55により移動可能方向が示されるブロックである。HMD100は、カメラ61の撮像画像をもとに線状ブロック51の画像を検出した場合、線状ブロック51の画像から線状の突起部55の方向を判定して、線状ブロック51が示す移動可能方向を指標情報として検出する。ここで検出される移動可能方向は、線状ブロック51が示す方向であり、使用者Mが進行歩行として選択できる方向である。HMD100により複数の移動可能方向が検出された場合、使用者Mは、HMD100により通知される複数の移動可能方向の中から実際に進む移動方向を選択する。
点状ブロック52は、ブロックの表面に点状の突起部56が複数設けられ、歩行者に対し注意喚起・警告を促すブロックである。HMD100は、カメラ61の撮像画像をもとに点状ブロック52の画像を検出した場合、HMD100を装着した使用者Mの近くに、警告対象物が存在すると判定する。HMD100は、カメラ61により使用者Mの周囲を撮像し、撮像された撮像画像から点状ブロック52が警告する警告対象物を判定する。警告対象物には、階段や路面の段差、横断歩道、線状ブロック51が交差する分岐点、案内板等が含まれる。
図2は、HMD100の外観構成を示す説明図である。
制御装置10は、図2に示すように、平たい箱形のケース10Aを備える。ケース10Aの表面には、使用者の操作を受け付ける各種のボタン11、スイッチ、トラックパッド14等が設けられる。これらを使用者が操作することによって、制御装置10は、HMD100のコントローラーとして機能する。
制御装置10は、図2に示すように、平たい箱形のケース10Aを備える。ケース10Aの表面には、使用者の操作を受け付ける各種のボタン11、スイッチ、トラックパッド14等が設けられる。これらを使用者が操作することによって、制御装置10は、HMD100のコントローラーとして機能する。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体を備える。画像表示部20の本体には、右表示ユニット22、左表示ユニット24、右導光板26及び左導光板28等がさらに設けられる。
右保持部21及び左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部23は、端部ELから、画像表示部20の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
右導光板26及び左導光板28は、前部フレーム27に設けられる。右導光板26は、画像表示部20の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部20を装着する装着状態で、使用者の眉間に対応する。前部フレーム27は、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部21及び左保持部23とにより画像表示部20を使用者の頭部に保持できる。右保持部21及び左保持部23に、画像表示部20の装着状態において使用者の後頭部に接するベルト(図示略)を連結してもよく、この場合、ベルトによって画像表示部20を使用者の頭部に保持できる。
右表示ユニット22は、右導光板26による画像を表示するユニットであり、右保持部21に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像を表示するユニットであり、左保持部23に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット22及び左表示ユニット24を合わせて単に「表示駆動部」とも呼ぶ。
本実施形態の右導光板26及び左導光板28は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット22及び左表示ユニット24が出力する画像光を、使用者の眼に導く。右導光板26及び左導光板28の表面に、調光板(図示略)を設けてもよい。この調光板により、右導光板26及び左導光板28を透過して使用者の眼に入射する外光を減衰させたり、特定の波長成分のみを透過又は反射させたり、右導光板26及び左導光板28を保護したりすることができる。
カメラ61は、画像表示部20の前部フレーム27に設置される。カメラ61の位置及び方向は、例えば、使用者が画像表示部20を装着した状態で視認する外景方向を撮像するように調整されることが好ましい。例えば、カメラ61は、前部フレーム27の前面において、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。図2の例では、カメラ61が前部フレーム27の端部ER側に配置される。カメラ61の位置は、端部EL側であってもよく、右導光板26と左導光板28との連結部であってもよい。
カメラ61は、CCD(Charge Coupled Device)イメージセンサー、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサー等の撮像素子を備えるデジタルカメラである。カメラ61は単眼カメラであってもよいし、ステレオカメラで構成してもよい。カメラ61は、HMD100の表側方向、換言すれば、HMD100を装着した状態における使用者の視界方向の少なくとも一部の外景(実空間)を撮像する。別の表現では、カメラ61は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ61の撮像範囲の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板26及び左導光板28を通して視認する外界を含む。より好ましくは、右導光板26及び左導光板28を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ61の撮像範囲が設定される。
カメラ61は、制御部150(図7参照)が備える撮像制御部152の制御に従って撮像を実行し、撮像画像データを撮像制御部152に出力する。
カメラ61は、制御部150(図7参照)が備える撮像制御部152の制御に従って撮像を実行し、撮像画像データを撮像制御部152に出力する。
HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー(図示略)を備えてもよい。距離センサーは、例えば、前部フレーム27において右導光板26と左導光板28との連結部分に配置できる。この場合、画像表示部20の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム27の表側方向とすることができ、言い換えればカメラ61の撮像方向と重複する方向である。距離センサーは、例えば、LEDやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部150の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部150の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。
図3は、画像表示部20が備える光学系の構成を示す要部平面図である。図3には説明のため使用者の左眼LE及び右眼REを図示する。
図3に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成される。使用者の右眼REに画像を視認させる構成として、右表示ユニット22は、画像光を発するOLED(Organic Light Emitting Diode)ユニット221と、OLEDユニット221が発する画像光Lを導く光学部材を備えた右光学系251とを備える。画像光Lは、右光学系251により右導光板26に導かれる。
図3に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成される。使用者の右眼REに画像を視認させる構成として、右表示ユニット22は、画像光を発するOLED(Organic Light Emitting Diode)ユニット221と、OLEDユニット221が発する画像光Lを導く光学部材を備えた右光学系251とを備える。画像光Lは、右光学系251により右導光板26に導かれる。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光してR(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。OLED駆動回路225は、制御部150(図7参照)の制御に従って、OLEDパネル223が備える発光素子の選択、及び発光素子への通電を実行して、OLEDパネル223の発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板(図示略)に実装されてもよい。この基板には温度センサー217(図6参照)が実装される。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射して右眼REに向けて右導光板26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
使用者の左眼LEに画像を視認させる構成として、左表示ユニット24は、画像光を発するOLEDユニット241と、OLEDユニット241が発する画像光Lを導く光学部品を備えた左光学系252とを備える。画像光Lは、左光学系252により左導光板28に導かれる。
OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245とを有する。OLEDパネル243は、OLEDパネル223と同様に構成される自発光型の表示パネルである。OLED駆動回路245は、制御部150の制御に従って、OLEDパネル243が備える発光素子の選択、及び発光素子への通電を実行して、OLEDパネル243の発光素子を発光させる。OLED駆動回路245は、OLEDパネル243の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路245は、例えばOLEDパネル243を駆動する半導体デバイスで構成され、OLEDパネル243の裏面に固定される基板(図示略)に実装されてもよい。この基板には、温度センサー239が実装される。
左光学系252は、OLEDパネル243から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板28に入射する。左導光板28は、画像光Lを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Lは、左導光板28の内部で複数回の反射を経て左眼LE側に導かれる。左導光板28には、左眼LEの眼前に位置するハーフミラー281(反射面)が形成される。画像光Lは、ハーフミラー281で反射して左眼LEに向けて左導光板28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
HMD100は、シースルー型の表示装置として機能する。すなわち、使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。左眼LEには、ハーフミラー281で反射した画像光Lと、ハーフミラー281を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板26及び左導光板28を透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。
ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
なお、左光学系252と左導光板28とを合わせて「左導光部」とも呼び、右光学系251と右導光板26とを合わせて「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
図2に示す構成についてさらに説明する。制御装置10と画像表示部20とは、接続ケーブル40により接続される。接続ケーブル40は、ケース10Aの下部に設けられるコネクター(図示略)に着脱可能に接続され、左保持部23の先端から、画像表示部20の内部に設けられる各種回路に接続する。接続ケーブル40は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル40の途中には、コネクター46が設けられる。コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46と制御装置10とは、例えばアナログ音声信号を伝送するラインで接続される。図4に示す構成例では、ステレオヘッドホンを構成する右イヤホン32及び左イヤホン34と、マイク63を有するヘッドセット30とが、コネクター46に接続される。右イヤホン32及び左イヤホン34は、本発明の「音声出力部」に相当する。
マイク63は、例えば図2に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声I/F182(図6参照)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
制御装置10は、使用者により操作される***作部として、ボタン11、LEDインジケーター12、トラックパッド14、上下キー15、切替スイッチ16及び電源スイッチ18を備える。これらの***作部はケース10Aの表面に配置される。
ボタン11は、制御装置10を操作するためのキーやスイッチを備え、これらのキーやスイッチは押圧操作により変位する。例えば、ボタン11は、制御装置10が実行するオペレーティングシステム151(図7参照)等に関する操作を行うためのメニューキー、ホームキー、「戻る」キーを含む。
LEDインジケーター12は、HMD100の動作状態に対応して点灯し、或いは点滅する。上下キー15は、右イヤホン32及び左イヤホン34から出力する音量の増減の指示入力や、画像表示部20の表示の明るさの増減の指示入力に利用される。切替スイッチ16は、上下キー15の操作に対応する入力を切り替えるスイッチである。電源スイッチ18は、HMD100の電源のオン/オフを切り替えるスイッチであり、例えばスライドスイッチである。
LEDインジケーター12は、HMD100の動作状態に対応して点灯し、或いは点滅する。上下キー15は、右イヤホン32及び左イヤホン34から出力する音量の増減の指示入力や、画像表示部20の表示の明るさの増減の指示入力に利用される。切替スイッチ16は、上下キー15の操作に対応する入力を切り替えるスイッチである。電源スイッチ18は、HMD100の電源のオン/オフを切り替えるスイッチであり、例えばスライドスイッチである。
トラックパッド14は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式或いは他の方式を採用できる。トラックパッド14への接触(タッチ操作)は、後述するタッチセンサー13(図6参照)により検出される。トラックパッド14にはLED表示部17が設置される。LED表示部17は複数のLEDを備え、それぞれのLEDの光はトラックパッド14を透過して、操作用のアイコン等を表示する。このアイコン等はソフトウェアボタンとして機能する。制御装置10の***作部を、点字及びこれに対応したボタンにより構成してもよい。
図4は、画像表示部20の表示領域を示す説明図であり、画像表示部20を使用者の頭部側から見た要部斜視図である。なお、図4では接続ケーブル40の図示を省略する。
図4は、画像表示部20の使用者の頭部に接する側、すなわち使用者の右眼RE及び左眼LEに見える側を示す。別の言い方をすれば、右導光板26及び左導光板28の裏側が見えている。
図4では、使用者の右眼REに画像光を照射するハーフミラー261、及び左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。HMD100では、右導光板26及び左導光板28が使用者に画像を視認させる領域を表示領域と呼ぶことができる。本実施形態では、HMD100の構造上、ハーフミラー261、281が表示領域を構成する。
図4では、使用者の右眼REに画像光を照射するハーフミラー261、及び左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。HMD100では、右導光板26及び左導光板28が使用者に画像を視認させる領域を表示領域と呼ぶことができる。本実施形態では、HMD100の構造上、ハーフミラー261、281が表示領域を構成する。
図5は、画像表示部20のカメラ61の撮像範囲(画角)の説明図である。図5には、カメラ61の位置を、使用者の右眼RE及び左眼LEとともに平面視で模式的に示す。図中、カメラ61の撮像範囲をCで示す。なお、図5には水平方向の撮像範囲C(画角Cとも表記する)を示すが、カメラ61の実際の撮像範囲は一般的なデジタルカメラと同様に上下方向にも拡がる。
カメラ61は、上記のように画像表示部20において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。カメラ61の光軸は、右眼RE及び左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば図5に示すように、使用者が両眼で判定対象(図5に示すOB)を注視すると、使用者の視線は、図中符号RD、LDに示すように判定対象OBに向けられる。この場合、使用者から判定対象OBまでの距離は、30cm〜10m程度であることが多く、1m〜4m程度であることがより多い。そこで、HMD100について、通常使用時における使用者から判定対象OBまでの距離の上限及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ61の光軸及び撮像範囲は、通常使用時における判定対象OBまでの距離が、設定された上限の目安に相当する場合及び下限の目安に相当する場合に、この判定対象OBが撮像範囲に含まれるように設定されることが好ましい。
一般に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされ、そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45度〜70度程度とされている。この場合、注視点が、図5の判定対象OBであるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。水平方向に60〜90度、垂直方向に45度〜70度程度が安定注視野であり、水平方向に約200度、垂直方向に約125度が視野角となる。さらに、使用者が画像表示部20を透過して右導光板26及び左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶことができる。図2〜図5に示す本実施形態の構成で、実視野は、右導光板26及び左導光板28を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
カメラ61の撮像範囲Cは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、撮像範囲Cが、少なくとも使用者の有効視野よりも広いことが好ましい。撮像範囲Cが、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、撮像範囲Cが、使用者の安定注視野よりも広く、最も好ましくは、撮像範囲Cが使用者の両眼の視野角よりも広い。
カメラ61が、撮像レンズとして、いわゆる広角レンズを備え、広い撮像範囲を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ61が備える構成であってもよい。
カメラ61は画像表示部20に対し固定的に設けられるため、使用者が画像表示部20により視認する視野と、カメラ61の画角Cとはほぼ固定される。より具体的には、画像表示部20が右表示ユニット22及び左表示ユニット24により画像を表示する表示領域と、カメラ61の画角Cとは、固定されているといえる。従って、画像表示部20の表示領域における位置と、カメラ61の撮像画像における位置とを対応付けることが可能である。画像表示部20の表示領域における位置は、より具体的には、OLEDパネル223、243の画素の座標と、カメラ61の撮像画像における座標とを対応付けることができる。HMD100は、これらの対応付けに関するデータを、例えば設定データ123として記憶する。
図6は、HMD100を構成する各部の構成を示すブロック図である。
制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140を備える。メインプロセッサー140には、メモリー118及び不揮発性記憶部121が接続される。メインプロセッサー140には、入力装置としてトラックパッド14及び操作部110が接続される。メインプロセッサー140には、センサー類として、6軸センサー111、磁気センサー113及びGPS115が接続される。メインプロセッサー140には、通信部117、音声コーデック180、外部I/F184、外部メモリーI/F186、USBコネクター188、センサーハブ192及びFPGA194が接続される。これらは外部とのインターフェースとして機能する。
制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140を備える。メインプロセッサー140には、メモリー118及び不揮発性記憶部121が接続される。メインプロセッサー140には、入力装置としてトラックパッド14及び操作部110が接続される。メインプロセッサー140には、センサー類として、6軸センサー111、磁気センサー113及びGPS115が接続される。メインプロセッサー140には、通信部117、音声コーデック180、外部I/F184、外部メモリーI/F186、USBコネクター188、センサーハブ192及びFPGA194が接続される。これらは外部とのインターフェースとして機能する。
メインプロセッサー140は、制御装置10が内蔵するコントローラー基板120に実装される。コントローラー基板120には、メインプロセッサー140に加えて、メモリー118、不揮発性記憶部121等が実装されてもよい。本実施形態では、6軸センサー111、磁気センサー113、GPS115、通信部117、メモリー118、不揮発性記憶部121、音声コーデック180等がコントローラー基板120に実装される。外部I/F184、外部メモリーI/F186、USBコネクター188、センサーハブ192、FPGA194及びI/F196をコントローラー基板120に実装した構成であってもよい。
メモリー118は、メインプロセッサー140がプログラムを実行する場合に、実行されるプログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)等の半導体記憶デバイス、或いはその他の不揮発性記憶デバイスで構成される。不揮発性記憶部121は、メインプロセッサー140が実行するプログラムや、メインプロセッサー140がプログラムを実行して処理する各種データを記憶する。
メインプロセッサー140は、トラックパッド14から入力される操作信号に基づいて、トラックパッド14の操作面に対する接触操作を検出し、操作位置を取得する。
操作部110は、ボタン11、タッチセンサー13及びLED表示部17を含む。タッチセンサー13は、トラックパッド14へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。ボタン11の操作が行われた場合、及びタッチセンサー13がタッチ操作を検出した場合、操作部110は、メインプロセッサー140に対して操作信号を出力する。
LED表示部17は、LED(図示略)、及びこのLEDを点灯させる駆動回路を含む。LED表示部17は、メインプロセッサー140の制御に従って、LEDを点灯、点滅、消灯させる。
操作部110は、ボタン11、タッチセンサー13及びLED表示部17を含む。タッチセンサー13は、トラックパッド14へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。ボタン11の操作が行われた場合、及びタッチセンサー13がタッチ操作を検出した場合、操作部110は、メインプロセッサー140に対して操作信号を出力する。
LED表示部17は、LED(図示略)、及びこのLEDを点灯させる駆動回路を含む。LED表示部17は、メインプロセッサー140の制御に従って、LEDを点灯、点滅、消灯させる。
6軸センサー111は、3軸加速度センサー及び3軸ジャイロ(角速度)センサーを備えるモーションセンサーである。6軸センサー111は、上記のセンサーをモジュール化したIMU(Inertial Measurement Unit:慣性計測装置)であってもよい。
磁気センサー113は、例えば、3軸の地磁気センサーである。
GPS(Global Positioning System)115は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信して、制御装置10の現在位置の座標を検出する。
6軸センサー111、磁気センサー113及びGPS115は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー140に出力する。或いは、6軸センサー111、磁気センサー113及びGPS115は、メインプロセッサー140の要求に応じて、メインプロセッサー140により指定されたタイミングで、検出値をメインプロセッサー140に出力する。
磁気センサー113は、例えば、3軸の地磁気センサーである。
GPS(Global Positioning System)115は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信して、制御装置10の現在位置の座標を検出する。
6軸センサー111、磁気センサー113及びGPS115は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー140に出力する。或いは、6軸センサー111、磁気センサー113及びGPS115は、メインプロセッサー140の要求に応じて、メインプロセッサー140により指定されたタイミングで、検出値をメインプロセッサー140に出力する。
通信部117は、外部の機器との間で無線通信を実行する。通信部117は、例えば、Bluetooth(登録商標)、無線LAN(Wi−Fi(登録商標)を含む)等の規格で無線通信を行う構成を具備してもよい。例えば、HMD100が、通信部117により、スマートフォンを含む携帯型電話機、パーソナルコンピューター、タブレット型コンピューター等とデータ通信を実行してもよい。
音声I/F182は、音声信号を入出力するインターフェースである。本実施形態では、音声I/F182は、接続ケーブル40に設けられたコネクター46(図2参照)を含む。音声コーデック180は、音声I/F182に接続され、音声I/F182を介して入出力される音声信号のエンコード/デコードを行う。音声コーデック180はアナログ音声信号からデジタル音声データへの変換を行うA/Dコンバーター、及びその逆の変換を行うD/Aコンバーターを備えてもよい。例えば、本実施形態のHMD100は、音声を右イヤホン32及び左イヤホン34により出力し、マイク63で集音する。音声コーデック180は、メインプロセッサー140が出力するデジタル音声データをアナログ音声信号に変換して、音声I/F182を介して出力する。音声コーデック180は、音声I/F182に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー140に出力する。
外部I/F184は、メインプロセッサー140と通信する外部の装置とのインターフェースである。例えば、外部I/F184には、メインプロセッサー140が実行するプログラムのデバッグや、HMD100の動作のログの収集を行う装置を接続してもよい。
外部メモリーI/F186は、可搬型のメモリーデバイスを接続可能なインターフェースであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェース回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
USB(Universal Serial Bus)コネクター188は、USB規格に準拠したコネクターとインターフェース回路とを備え、USBメモリーデバイス、スマートフォン、コンピューター等を接続できる。USBコネクター188のサイズや形状、適合するUSB規格のバージョンは適宜に選択、変更可能である。
外部メモリーI/F186は、可搬型のメモリーデバイスを接続可能なインターフェースであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェース回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
USB(Universal Serial Bus)コネクター188は、USB規格に準拠したコネクターとインターフェース回路とを備え、USBメモリーデバイス、スマートフォン、コンピューター等を接続できる。USBコネクター188のサイズや形状、適合するUSB規格のバージョンは適宜に選択、変更可能である。
HMD100は、バイブレーター19を備える。バイブレーター19は、モーター、偏心した回転子(いずれも図示略)を備え、その他の必要な構成を備えてもよい。バイブレーター19は、メインプロセッサー140の制御に従って上記モーターを回転させることにより、振動を発生する。HMD100は、例えば、操作部110に対する操作を検出した場合、HMD100の電源がオン/オフされる場合、或いはその他の場合に、所定の振動パターンでバイブレーター19により振動を発生する。
センサーハブ192及びFPGA194は、I/F196を介して、画像表示部20を接続される。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得してメインプロセッサー140に出力する。FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信するデータの処理、及びI/F196を介した伝送を実行する。
画像表示部20の右表示ユニット22及び左表示ユニット24は、それぞれ制御装置10に接続される。図2に示すように、HMD100では左保持部23に接続ケーブル40が接続され、この接続ケーブル40につながる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24のそれぞれが制御装置10に接続される。
右表示ユニット22は、表示ユニット基板210を有する。表示ユニット基板210には、I/F196に接続されるI/F211、I/F211を介して制御装置10から入力されるデータを受信する受信部(Rx)213、及びEEPROM215が実装される。
I/F211は、受信部213、EEPROM215、温度センサー217、カメラ61、照度センサー65及びLEDインジケーター67を、制御装置10に接続する。
I/F211は、受信部213、EEPROM215、温度センサー217、カメラ61、照度センサー65及びLEDインジケーター67を、制御装置10に接続する。
EEPROM(Electrically Erasable Programmable Read-Only Memory)215は、各種のデータをメインプロセッサー140が読み取り可能に記憶する。EEPROM215は、例えば、画像表示部20が備えるOLEDユニット221、241の発光特性や表示特性に関するデータを記憶する。EEPROM215は、右表示ユニット22又は左表示ユニット24が備えるセンサーの特性に関するデータ等を記憶する。これらのデータは、メインプロセッサー140がHMD100を制御する場合に参照される。これらのデータの具体例として、OLEDユニット221、241のガンマ補正に用いられるパラメーター、温度センサー217、239の検出値を補償するデータ等が挙げられる。これらのデータは、例えば、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれる。
カメラ61は、I/F211を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置10に出力する。
照度センサー65は、図2に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するよう配置される。照度センサー65は、受光量(受光強度)に対応する検出値を出力する。
LEDインジケーター67は、図2に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
照度センサー65は、図2に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するよう配置される。照度センサー65は、受光量(受光強度)に対応する検出値を出力する。
LEDインジケーター67は、図2に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
温度センサー217は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー217は、OLEDパネル223(図3参照)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は、主としてOLEDパネル223の温度を検出する。
受信部213は、I/F211を介してメインプロセッサー140が送信するデータを受信する。受信部213は、OLEDユニット221で表示する画像の画像データを受信した場合に、受信した画像データを、OLED駆動回路225に出力する。
左表示ユニット24は、表示ユニット基板210を有する。表示ユニット基板210には、I/F196に接続されるI/F231、I/F231を介して制御装置10から入力されるデータを受信する受信部(Rx)233が実装される。表示ユニット基板210には、6軸センサー235及び磁気センサー237が実装される。
I/F231は、受信部233、6軸センサー235、磁気センサー237及び温度センサー239を、制御装置10に接続する。
I/F231は、受信部233、6軸センサー235、磁気センサー237及び温度センサー239を、制御装置10に接続する。
6軸センサー235は、3軸加速度センサー、及び、3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。
磁気センサー237は、例えば、3軸の地磁気センサーである。
磁気センサー237は、例えば、3軸の地磁気センサーである。
温度センサー239は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー239は、OLEDパネル243の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は、主としてOLEDパネル243の温度を検出する。
温度センサー239が、OLEDパネル243或いはOLED駆動回路245に内蔵されてもよい。上記基板は半導体基板であってもよい。具体的には、OLEDパネル243が、Si−OLEDとして、OLED駆動回路245等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー239を実装してもよい。
温度センサー239が、OLEDパネル243或いはOLED駆動回路245に内蔵されてもよい。上記基板は半導体基板であってもよい。具体的には、OLEDパネル243が、Si−OLEDとして、OLED駆動回路245等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー239を実装してもよい。
右表示ユニット22が備えるカメラ61、照度センサー65、温度センサー217、及び左表示ユニット24が備える6軸センサー235、磁気センサー237、温度センサー239は、センサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ192は、予め設定されたタイミングで、右表示ユニット22及び左表示ユニット24が備える各センサーの検出値を、メインプロセッサー140に出力する。センサーハブ192は、各センサーの検出値を、メインプロセッサー140に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。センサーハブ192は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー140に出力する機能を備えてもよい。
センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始及び停止させ、カメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯又は点滅させる。
センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始及び停止させ、カメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯又は点滅させる。
制御装置10は、電源部130を備え、電源部130から供給される電力により動作する。電源部130は、充電可能なバッテリー132と、バッテリー132の残容量の検出及びバッテリー132への充電の制御を行う電源制御回路134を備える。電源制御回路134はメインプロセッサー140に接続され、バッテリー132の残容量の検出値、或いは電圧の検出値をメインプロセッサー140に出力する。電源部130が供給する電力に基づき、制御装置10から画像表示部20に電力を供給してもよい。電源部130から制御装置10の各部及び画像表示部20への電力の供給状態を、メインプロセッサー140が制御可能な構成としてもよい。
図7は、制御装置10の制御系を構成する記憶部122及び制御部150の機能ブロック図である。図7に示す記憶部122は、不揮発性記憶部121(図6参照)により構成される論理的な記憶部であり、EEPROM215を含んでもよい。また、制御部150は、例えば、メインプロセッサー140、メモリー118及び不揮発性記憶部121により構成される。
制御部150が有する各種の機能部は、メインプロセッサー140がメモリー118にプログラムを展開して実行することにより、ソフトウェアとハードウェアとが協働することで形成される。
制御部150が有する各種の機能部は、メインプロセッサー140がメモリー118にプログラムを展開して実行することにより、ソフトウェアとハードウェアとが協働することで形成される。
制御部150は、記憶部122が記憶するデータを利用して各種処理を実行し、HMD100を制御する。
記憶部122は、制御部150が処理する各種のデータを記憶する。記憶部122は、設定データ123、パターンマッチングデータ124及び撮像画像データベース125を記憶する。
記憶部122は、制御部150が処理する各種のデータを記憶する。記憶部122は、設定データ123、パターンマッチングデータ124及び撮像画像データベース125を記憶する。
設定データ123は、HMD100の動作に関わる各種の設定値を含む。例えば、設定データ123には、制御部150がHMD100を制御する際にパラメーター、行列式、演算式、LUT(LookUp Table)等が含まれる。また、画像表示部20における表示態様を指定する情報を、設定データ123に含めてもよい。表示態様を指定する情報には、例えば、表示制御部156の制御によって画像等を表示する表示領域における配置やサイズを定める情報等が含まれる。
パターンマッチングデータ124には、後述するパターンマッチング処理に用いられるパターン画像が含まれる。パターンマッチングデータ124は、パターン画像として、線状ブロック51及び点状ブロック52の画像を記憶する。また、パターンマッチングデータ124は、パターン画像として点状ブロック52が警告する警告対象物の画像(以下、警告対象画像という)を記憶する。警告対象画像には、階段や路面の段差、横断歩道、線状ブロック51が交差する分岐点、案内板等が含まれる。
さらに、パターンマッチングデータ124には、障害物の画像が含まれる。障害物は、線状ブロック51や点状ブロック52上に存在する場合に、使用者Mの障害となる物体であり、例えば、自転車やオートバイ、車、セーフティーコーン等が含まれる。
さらに、パターンマッチングデータ124には、障害物の画像が含まれる。障害物は、線状ブロック51や点状ブロック52上に存在する場合に、使用者Mの障害となる物体であり、例えば、自転車やオートバイ、車、セーフティーコーン等が含まれる。
撮像画像データベース125は、カメラ61の撮像画像データを記憶する。
後述する撮像制御部152は、カメラ61を制御して撮像画像データを生成し、生成した撮像画像データを撮像画像データベース125に記憶させる。撮像制御部152は、撮像画像データに、撮像画像データの撮像日時を示す情報や、撮像画像データの撮像順を示す情報を付加して、撮像画像データベース125に記憶させてもよい。
後述する撮像制御部152は、カメラ61を制御して撮像画像データを生成し、生成した撮像画像データを撮像画像データベース125に記憶させる。撮像制御部152は、撮像画像データに、撮像画像データの撮像日時を示す情報や、撮像画像データの撮像順を示す情報を付加して、撮像画像データベース125に記憶させてもよい。
制御部150は、機能ブロックとして、オペレーティングシステム(以下、OSと表記する)151、撮像制御部152、画像処理部153、誘導制御部154、表示制御部155及び音声データ生成部156を備える。画像処理部153は、本発明の「検出部」に相当する。誘導制御部154及び表示制御部155は、本発明の「制御部」に相当する。
OS151の機能は、記憶部122が記憶する制御プログラムの機能であり、その他の各部は、OS151上で実行されるアプリケーションプログラムの機能である。
OS151の機能は、記憶部122が記憶する制御プログラムの機能であり、その他の各部は、OS151上で実行されるアプリケーションプログラムの機能である。
撮像制御部152は、カメラ61を制御して撮像を実行させ、撮像画像データを生成し、撮像画像データベース125に記憶させる。カメラ61が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部152は撮像画像データをカメラ61から取得して、撮像画像データベース125に記憶させる。
画像処理部153は、画像表示部20により表示する画像又は映像の画像データに基づいて、右表示ユニット22及び左表示ユニット24に送信する信号を生成する。例えば、画像処理部153が生成する信号には、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等が含まれる。
また、画像処理部153は、必要に応じて、画像データの解像度を右表示ユニット22及び左表示ユニット24に適した解像度に変換する解像度変換処理を行ってもよい。さらに、画像処理部153は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。画像処理部153は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル40を介して画像表示部20に送信する。
また、画像処理部153は、必要に応じて、画像データの解像度を右表示ユニット22及び左表示ユニット24に適した解像度に変換する解像度変換処理を行ってもよい。さらに、画像処理部153は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。画像処理部153は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル40を介して画像表示部20に送信する。
また、画像処理部153は、撮像画像データベース125に記憶された撮像画像データを取得し、取得した撮像画像データに対しパターンマッチングデータ124を用いてパターンマッチング処理を行う。画像処理部153は、パターンマッチング処理により、撮像画像データに、線状ブロック51の画像、又は点状ブロック52の画像が含まれるか否かを判定する。
画像処理部153は、撮像画像データに線状ブロック51の画像が含まれると判定した場合、線状の突起部55の方向を判定して、線状ブロック51が示す移動可能方向を指標情報として検出する。移動可能方向とは、使用者Mが進行歩行として選択できる方向である。画像処理部153は、判定した移動可能方向を誘導制御部154に通知する。
また、画像処理部153は、撮像画像データに点状ブロック52の画像が含まれると判定した場合、点状ブロック52を検出した旨を誘導制御部154に通知する。
画像処理部153は、撮像画像データに線状ブロック51の画像が含まれると判定した場合、線状の突起部55の方向を判定して、線状ブロック51が示す移動可能方向を指標情報として検出する。移動可能方向とは、使用者Mが進行歩行として選択できる方向である。画像処理部153は、判定した移動可能方向を誘導制御部154に通知する。
また、画像処理部153は、撮像画像データに点状ブロック52の画像が含まれると判定した場合、点状ブロック52を検出した旨を誘導制御部154に通知する。
また、画像処理部153は、誘導制御部154から警告対象画像の検出を要求された場合に、記憶部122から警告対象画像を取得し、パターンマッチング処理により、入力される撮像画像データから警告対象物の画像を検出する。画像処理部153は、検出した警告対象物を誘導制御部154に通知する。
また、画像処理部153は、撮像画像データから、線状ブロック51や点状ブロック52の上、又はその近くに障害物等が置かれ、使用者Mが移動した場合の障害となる障害物が存在するか否かを判定する。障害物が存在すると判定した場合、画像処理部153は、パターンマッチング処理により障害物を特定する。画像処理部153は、特定した障害物の名称を誘導制御部154に出力する。
また、画像処理部153は、パターンマッチング処理により点状ブロック52の画像を検出した場合、検出した点状ブロック52の画像に含まれる点状の突起部56の大きさに基づきに基づき、点状ブロック52までの距離を推定する。画像処理部153は、推定した距離を示す距離情報を誘導制御部154に出力する。
誘導制御部154は、制御部150の統括制御を行う。
誘導制御部154は、撮像制御部152を制御して、撮像画像データを生成させる。
また、誘導制御部154は、画像処理部153を制御して、撮像画像データをパターンマッチング処理させる。誘導制御部154は、画像処理部153によるパターンマッチング処理の処理結果を入力する。誘導制御部154は、画像処理部153から処理結果として、移動可能方向を示す情報が入力された場合に、音声データ生成部156に移動可能方向を表す音声データの生成を指示する。また、誘導制御部154は、画像処理部153から入力される移動可能方向を示す情報に対応した表示の指示を表示制御部155に指示する。
誘導制御部154は、撮像制御部152を制御して、撮像画像データを生成させる。
また、誘導制御部154は、画像処理部153を制御して、撮像画像データをパターンマッチング処理させる。誘導制御部154は、画像処理部153によるパターンマッチング処理の処理結果を入力する。誘導制御部154は、画像処理部153から処理結果として、移動可能方向を示す情報が入力された場合に、音声データ生成部156に移動可能方向を表す音声データの生成を指示する。また、誘導制御部154は、画像処理部153から入力される移動可能方向を示す情報に対応した表示の指示を表示制御部155に指示する。
図8は、左表示ユニット24を点灯又は点滅させた状態を示す図であり、図9は、右表示ユニット22を点灯又は点滅させた状態を示す図である。
移動可能方向を示す情報として左折可が検出された場合、誘導制御部154は、表示制御部155に、左折可の表示を指示する。表示制御部155は、OLED駆動回路245を制御する制御信号を生成して、OLED駆動回路245に出力する。OLED駆動回路245は、表示制御部155から入力される制御信号に従って、OLEDパネル243を点灯又は点滅させる。
また、移動可能方向を示す情報として右折可が検出された場合、誘導制御部154は、表示制御部155に、右折可の表示を指示する。表示制御部155は、OLED駆動回路225を制御する制御信号を生成して、OLED駆動回路225に出力する。OLED駆動回路225は、表示制御部155から入力される制御信号に従って、OLEDパネル223を点灯又は点滅させる。
また、移動可能方向を示す情報として直進可が検出された場合、誘導制御部154は、表示制御部155に、直進可能の表示を指示する。表示制御部155は、OLED駆動回路225、245を制御する制御信号を生成して、OLED駆動回路225、245に出力する。OLED駆動回路225、245は、表示制御部155から入力される制御信号に従って、OLEDパネル223、243を点灯又は点滅させる。
移動可能方向を示す情報として左折可が検出された場合、誘導制御部154は、表示制御部155に、左折可の表示を指示する。表示制御部155は、OLED駆動回路245を制御する制御信号を生成して、OLED駆動回路245に出力する。OLED駆動回路245は、表示制御部155から入力される制御信号に従って、OLEDパネル243を点灯又は点滅させる。
また、移動可能方向を示す情報として右折可が検出された場合、誘導制御部154は、表示制御部155に、右折可の表示を指示する。表示制御部155は、OLED駆動回路225を制御する制御信号を生成して、OLED駆動回路225に出力する。OLED駆動回路225は、表示制御部155から入力される制御信号に従って、OLEDパネル223を点灯又は点滅させる。
また、移動可能方向を示す情報として直進可が検出された場合、誘導制御部154は、表示制御部155に、直進可能の表示を指示する。表示制御部155は、OLED駆動回路225、245を制御する制御信号を生成して、OLED駆動回路225、245に出力する。OLED駆動回路225、245は、表示制御部155から入力される制御信号に従って、OLEDパネル223、243を点灯又は点滅させる。
また、誘導制御部154は、画像処理部153から点状ブロック52の画像を検出した旨の通知を入力した場合に、この点状ブロック52が警告する警告対象物をカメラ61で撮像するため、使用者Mに頭部を上下左右に移動させるように指示する音声データの生成を音声データ生成部156に指示する。
表示制御部155は、右表示ユニット22及び左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22及び左表示ユニット24のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部155は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部155は、画像処理部153が出力する信号に基づきOLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御やその他の処理を行う。
また、表示制御部155は、誘導制御部154の指示に従って、右表示ユニット22及び左表示ユニット24を制御する誘導情報を生成する。表示制御部155は、生成した誘導情報を含む制御信号を画像表示部20に出力する。OLED駆動回路225、245は、表示制御部154から入力される制御信号に従って、OLEDパネル223、243を点灯又は消灯させる。
音声データ生成部156は、デジタル音声データを生成し、音声コーデック180に出力する。デジタル音声データは、音声コーデック180によりアナログ音声データに変換され、音声I/F182を介して右イヤホン32及び左イヤホン34により出力される。
音声データ生成部156が生成するデジタル音声データには、画像処理部153が検出する警告対象物の名称を表す音声データや、点状ブロック52が検出された際に、警告対象物を検出するため、使用者Mに頭部を上や下に動かすように指示する音声データが含まれる。
音声データ生成部156が生成するデジタル音声データには、画像処理部153が検出する警告対象物の名称を表す音声データや、点状ブロック52が検出された際に、警告対象物を検出するため、使用者Mに頭部を上や下に動かすように指示する音声データが含まれる。
図10は、HMD100の動作を示すフローチャートである。
誘導制御部154は、操作部110から処理開始を指示する操作信号が入力されたか否かを判定する(ステップS1)。否定判定の場合(ステップS1/NO)、誘導制御部154は、処理の開始を指示する操作信号が入力されるまで待機する。また、肯定判定の場合(ステップS1/YES)、誘導制御部154は、撮像制御部152に撮像画像データを生成させる。撮像制御部152は、カメラ61を制御して撮像を実行させ、撮像画像データを生成する。撮像制御部152は、生成した撮像画像データを撮像画像データベース125に記憶させる。
誘導制御部154は、操作部110から処理開始を指示する操作信号が入力されたか否かを判定する(ステップS1)。否定判定の場合(ステップS1/NO)、誘導制御部154は、処理の開始を指示する操作信号が入力されるまで待機する。また、肯定判定の場合(ステップS1/YES)、誘導制御部154は、撮像制御部152に撮像画像データを生成させる。撮像制御部152は、カメラ61を制御して撮像を実行させ、撮像画像データを生成する。撮像制御部152は、生成した撮像画像データを撮像画像データベース125に記憶させる。
次に、誘導制御部154は、撮像制御部152により生成される撮像画像データを、撮像画像データベース125から取得して(ステップS2)画像処理部153に出力し、画像処理部153にパターンマッチング処理を実行させる。画像処理部153は、記憶部122からパターン画像を読み出し、撮像画像データに対するパターンマッチング処理を行う(ステップS3)。画像処理部153は、撮像画像データから線状ブロック51の画像を検出した場合(ステップS4/YES)、線状の突起部55の方向を判定して、線状ブロック51が示す移動可能方向を検出する(ステップS5)。画像処理部153は、判定した移動可能方向を示す情報を誘導制御部154に出力する。誘導制御部154は、画像処理部153から移動可能方向を示す情報が入力されると、入力された移動可能方向に対応した表示の指示を表示制御部155に出力する。表示制御部155は、誘導制御部154の指示に従って、右表示ユニット22及び左表示ユニット24の少なくとも一方を制御する誘導情報を生成する。表示制御部155は、生成した誘導情報を含む制御信号を画像表示部20に出力し、画像表示部20に移動可能方向を表示させる(ステップS6)
画像表示部20は、表示制御部155から右折可を示す制御信号が入力された場合、OLED駆動回路225が制御信号に従って、OLEDパネル223を点灯又は点滅させる。また、画像表示部20は、表示制御部155から左折可を示す制御信号が入力された場合、OLED駆動回路245が制御信号に従って、OLEDパネル243を点灯又は点滅させる。また、画像表示部20は、表示制御部155から直進可を示す制御信号が入力された場合、OLED駆動回路245が制御信号に従って、OLEDパネル223、243を所定間隔で点灯又は点滅させる。
画像表示部20は、表示制御部155から右折可を示す制御信号が入力された場合、OLED駆動回路225が制御信号に従って、OLEDパネル223を点灯又は点滅させる。また、画像表示部20は、表示制御部155から左折可を示す制御信号が入力された場合、OLED駆動回路245が制御信号に従って、OLEDパネル243を点灯又は点滅させる。また、画像表示部20は、表示制御部155から直進可を示す制御信号が入力された場合、OLED駆動回路245が制御信号に従って、OLEDパネル223、243を所定間隔で点灯又は点滅させる。
また、画像処理部153は、線状ブロック51の画像を検出できなかった場合(ステップS4/NO)、パターンマッチング処理により、撮像画像データに点状ブロック52の画像が含まれるか否かを判定する(ステップS7)。否定判定の場合(ステップS7/NO)、画像処理部153は、いずれの誘導用ブロック50の画像も検出されない旨を誘導制御部154に通知する。誘導制御部154は、いずれの誘導用ブロック50の画像も検出されなかった場合(ステップS7/NO)、ステップS2の処理に戻り、撮像制御部152により新たに生成される撮像画像データを取得する。
また、画像処理部153は、使用者Mが移動する誘導用ブロック50の上、又は誘導用ブロック50の近くに障害物が存在するか否かを判定してもよい。画像処理部153は、障害物が検出された場合には、検出された障害物の名称を示す情報を誘導制御部154に出力する。誘導制御部154は、障害物の名称を示す音声データを音声データ生成部156に生成させ、右イヤホン32及び左イヤホン34から出力させる。
また、画像処理部153は、使用者Mが移動する誘導用ブロック50の上、又は誘導用ブロック50の近くに障害物が存在するか否かを判定してもよい。画像処理部153は、障害物が検出された場合には、検出された障害物の名称を示す情報を誘導制御部154に出力する。誘導制御部154は、障害物の名称を示す音声データを音声データ生成部156に生成させ、右イヤホン32及び左イヤホン34から出力させる。
画像処理部153は、撮像画像データから点状ブロック52の画像を検出した場合(ステップS7/YES)、検出した点状ブロック52の画像に含まれる点状の突起部56の大きさに基づきに基づき、点状ブロック52までの距離を推定する(ステップS8)。画像処理部153は、推定した距離情報を誘導制御部154に出力する。
誘導制御部154は、画像処理部153から入力される距離情報に基づき、使用者Mが点状ブロック52に到着したか否かを判定する(ステップS9)。使用者Mが点状ブロック52に到着していないと判定すると(ステップS9/NO)、誘導制御部154は、入力される距離情報を表示制御部155に出力する。表示制御部155は、誘導制御部154から入力される距離情報に基づき、距離に対応した表示を行う(ステップS10)。表示制御部155は、例えば、使用者Mと点状ブロック52との距離が近くなるほど、OLEDパネル223、243の点滅間隔が短くなるように画像表示部20を制御する制御する制御信号を生成し、画像表示部20に出力する。
例えば、表示制御部155は、使用者Mと点状ブロック52との距離が5メートルである場合、5秒間隔でOLEDパネル223及びOLEDパネル243を点滅させる。また、表示制御部155は、使用者Mと点状ブロック52との距離が3メートルである場合、3秒間隔でOLEDパネル223及びOLEDパネル243を点滅させる。使用者Mは、OLEDパネル223、243の点滅間隔の変化に基づいて、点状ブロック52までの距離を認識することができる。
例えば、表示制御部155は、使用者Mと点状ブロック52との距離が5メートルである場合、5秒間隔でOLEDパネル223及びOLEDパネル243を点滅させる。また、表示制御部155は、使用者Mと点状ブロック52との距離が3メートルである場合、3秒間隔でOLEDパネル223及びOLEDパネル243を点滅させる。使用者Mは、OLEDパネル223、243の点滅間隔の変化に基づいて、点状ブロック52までの距離を認識することができる。
また、誘導制御部154は、画像処理部153から入力される距離情報に基づき、使用者Mが点状ブロック52に到着したと判定すると(ステップS9/YES)、表示制御部155に、画像表示部20の表示を消灯させるように指示する(ステップS11)。表示制御部155は、画像表示部20への制御信号の出力を停止して、OLEDパネル223、243を消灯させる。
次に、誘導制御部154は、音声データ生成部156に、デジタル音声データの生成を指示する。音声データ生成部156が生成するデジタル音声データは、点状ブロック52が検出された旨、警告対象物を検出するため、使用者Mに頭部を上下左右に動かすように指示する旨を示すデータが含まれる。音声データ生成部156は、生成したデジタル音声データを音声コーデック180に出力する。音声コーデック180は、入力されるデジタル音声データをアナログ音声データに変換し、音声I/F182を介して右イヤホン32及び左イヤホン34から出力する(ステップS12)。
次に、誘導制御部154は、撮像制御部152により生成される撮像画像データを、撮像画像データベース125から取得して(ステップS13)画像処理部153に出力し、画像処理部153にパターンマッチング処理を実行させる。画像処理部153は、記憶部122から警告対象画像を取得し、パターンマッチング処理により、入力される撮像画像データから警告対象物を特定する(ステップS14)。画像処理部153は、特定した警告対象物の名称を誘導制御部154に出力する。
誘導制御部154は、画像処理部153より入力される警告対象物の名称を音声データ生成部156に出力する。音声データ生成部156は、警告対象物の名称を示すデジタル音声データを生成し、音声コーデック180、音声I/F182を介して右イヤホン32及び左イヤホン34から出力する(ステップS15)。従って、使用者Mが移動可能な方向に存在する警告対象物の名称が右イヤホン32及び左イヤホン34から音声で通知される。このため、使用者Mは、階段、横断歩道等の警告対象物が進行方向に存在することを認識することができ、使用者Mの移動の安全性を高めることができる。次に、誘導制御部154は、操作部110が操作され、処理終了を指示する操作信号が入力されたか否かを判定する(ステップS16)。否定判定の場合(ステップS16/NO)、誘導制御部154は、ステップS2の処理に移行し、撮像制御部152に撮像画像データを生成させる。また、肯定判定の場合(ステップS16/YES)、誘導制御部154は、この処理フローを終了させる。
以上説明したように本発明の移動支援装置及び移動支援方法を適用した実施形態は、カメラ61と、画像処理部153と、誘導制御部154とを備える。
カメラ61は、路面を撮像する。画像処理部153は、カメラ61の撮像画像データをもとに、使用者Mの移動可能方向の指標となる指標情報を検出する。誘導制御部154は、画像処理部153が検出した指標情報に基づき、使用者Mの移動を誘導する誘導情報を出力する。従って、簡易な構成で、使用者Mの移動を支援することができる。
カメラ61は、路面を撮像する。画像処理部153は、カメラ61の撮像画像データをもとに、使用者Mの移動可能方向の指標となる指標情報を検出する。誘導制御部154は、画像処理部153が検出した指標情報に基づき、使用者Mの移動を誘導する誘導情報を出力する。従って、簡易な構成で、使用者Mの移動を支援することができる。
また、画像処理部153は、カメラ61の撮像画像データをもとに誘導用ブロック50の画像を抽出し、指標情報を検出する。従って、視覚障害者誘導ブロックの画像から検出した指標情報に基づき、使用者Mを誘導することができる。
また、カメラ61は、使用者Mの頭部に装着される画像表示部20に設けられる。従って、使用者Mの頭部に装着された画像表示部20のカメラ61により撮像画像が撮像される。従って、使用者Mの目線から外景方向を撮像するように調整することができる。
また、HMD100は、使用者Mの頭部に装着され、使用者Mの左目に対応する左表示ユニット24と、使用者Mの右目に対応する右表示ユニット22とを備える。誘導制御部154は、画像処理部153が検出した指標情報に基づき、左表示ユニット24と、右表示ユニット22との少なくとも一方の表示を制御する。従って、左表示ユニット24と右表示ユニット22との少なくとも一方の表示を、撮像画像データから検出される指標情報に対応した表示として、使用者を誘導することができる。
また、表示制御部155は、左折可を示す指標情報が検出された場合に、左表示ユニット24を点滅又は点灯させ、右折可を示す指標情報が検出された場合に、右表示ユニット22を点滅又は点灯させる。さらに、表示制御部155は、直進可を示す指標情報が検出された場合に、左表示ユニット24と右表示ユニット22とを点滅又は点灯させる。従って、左表示ユニット24及び右表示ユニット22の点灯又は点滅によって移動可能方向を使用者Mに示すことができる。
また、左表示ユニット24及び右表示ユニット22が、画像光を発して使用者Mに画像を視認させる表示部であることにより、表示部の表示により移動可能方向を使用者Mに示すことができる。
また、誘導制御部154は、カメラ61の撮像画像をもとに誘導用ブロック50の画像が検出された場合に、カメラ61の撮像画像データをもとに警告対象物の画像を検出し、検出結果を出力する。従って、誘導用ブロック50の画像が示す警告対象物を使用者Mに認識させることができる。
また、誘導制御部154は、カメラ61の撮像画像データをもとに誘導用ブロックの画像が検出された場合に、撮像画像データをもとに誘導用ブロック50までの距離を算出し、算出した距離に対応した出力を行う。従って、使用者Mに、誘導用ブロック50までの距離を認識させることができる。
また、HMD100は、音声を出力する右イヤホン32及び左イヤホン34を備える。誘導制御部154は、カメラ61の撮像画像データをもとに誘導用ブロック50に重なる障害物が検出された場合に、障害物が存在する旨を右イヤホン32及び左イヤホン34から音声出力する。従って、使用者Mに、移動可能な方向に存在する障害物を認識させることができる。
上記実施形態は、本発明の好適な実施の形態である。ただし、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態では、右表示ユニット22及び左表示ユニット24を点灯又は点滅させ、使用者Mに、移動可能方向を通知する例を示したが、前部フレーム27の右導光板26及び左導光板28上に、それぞれ、LED等を備える発光部を設けてもよい。表示制御部155は、誘導用ブロック50の画像から右折可が検出された場合、右導光板26上に設けた発光部を点灯又は点滅させる。また、表示制御部155は、誘導用ブロック50の画像から左折可が検出された場合、左導光板28上に設けた発光部を点灯又は点滅させる。また、表示制御部155は、誘導用ブロック50の画像から直進可が検出された場合、右導光板26及び左導光板28上に設けた発光部を点灯又は点滅させる。
前部フレーム27上に設けた発光部を点灯又は点滅させることで、HMD100の使用者Mだけでなく、使用者Mの周囲の者にも使用者Mの移動可能方向を通知することができる。従って、使用者Mの周囲の者に、使用者Mの移動可能方向を認識させることができ、場合によっては、使用者Mの移動を支援させることもできる。
例えば、上述した実施形態では、右表示ユニット22及び左表示ユニット24を点灯又は点滅させ、使用者Mに、移動可能方向を通知する例を示したが、前部フレーム27の右導光板26及び左導光板28上に、それぞれ、LED等を備える発光部を設けてもよい。表示制御部155は、誘導用ブロック50の画像から右折可が検出された場合、右導光板26上に設けた発光部を点灯又は点滅させる。また、表示制御部155は、誘導用ブロック50の画像から左折可が検出された場合、左導光板28上に設けた発光部を点灯又は点滅させる。また、表示制御部155は、誘導用ブロック50の画像から直進可が検出された場合、右導光板26及び左導光板28上に設けた発光部を点灯又は点滅させる。
前部フレーム27上に設けた発光部を点灯又は点滅させることで、HMD100の使用者Mだけでなく、使用者Mの周囲の者にも使用者Mの移動可能方向を通知することができる。従って、使用者Mの周囲の者に、使用者Mの移動可能方向を認識させることができ、場合によっては、使用者Mの移動を支援させることもできる。
また、移動可能方向に対応した色を右表示ユニット22及び左表示ユニット24に表示させて、使用者Mに、移動可能方向を通知してもよい。例えば、移動可能方向として右折可を通知する場合には、右表示ユニット22及び左表示ユニット24を赤色で点灯又は点滅させ、左折可を通知する場合は、右表示ユニット22及び左表示ユニット24を青色で点灯又は点滅させる。また、移動可能方向として直進可を通知する場合には、右表示ユニット22及び左表示ユニット24を黄色で点灯又は点滅させる。
また、移動可能な方向を使用者Mに通知する方法として、右折可、左折可、直進可の各場合に対応したバイブレーター19の振動パターンを用意し、バイブレーター19の振動パターンにより移動可能方向を使用者Mに通知してもよい。
また、上記実施形態において、HMD100は、画像表示部20の前部フレーム27に固定されるカメラ61を備える構成とした。本発明はこれに限定されず、例えば、画像表示部20に立設されたカメラ61を用いてもよいし、カメラ61を画像表示部20とは別体で構成してもよい。この場合、画像表示部20の表示領域Vとカメラ61の画角Cとを対応付けることが可能であればよい。
また、例えば、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板26及び左導光板28が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ61の撮像画像、この撮像画像に基づき生成される画像やCG、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するAR表示や、撮像した実空間の画像と仮想画像とを組み合わせるMR(Mixed Reality)表示、或いは仮想画像を表示するVR(Virtual Reality)表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データ又はアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。
また、制御装置10として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置10として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置10が画像表示部20と分離して構成され、制御装置10と画像表示部20との間で無線通信により各種信号を送受信する構成としてもよい。
また、画像光を使用者の眼に導く光学系として、右導光板26及び左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板26及び左導光板28の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
さらに、本発明の光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、図6等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部150が実行するプログラムは、不揮発性記憶部121又は制御装置10内の他の記憶装置(図示略)に記憶されてもよい。また、外部の装置や記録媒体に記憶されたプログラムを通信部117、外部I/F184、外部メモリーI/F186等により取得して実行する構成としてもよい。また、制御装置10に形成された構成のうち、操作部110が使用者I/F(UI)として形成されてもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、メインプロセッサー140と同様のプロセッサーが画像表示部20に配置されてもよいし、制御装置10が備えるメインプロセッサー140と画像表示部20のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
10…制御装置、14…トラックパッド、20…画像表示部(表示部)、22…右表示ユニット(第2の発光部)、24…左表示ユニット(第1の発光部)、26…右導光板、28…左導光板、32…右イヤホン(音声出力部)、34…左イヤホン(音声出力部)、50…視覚障害者誘導用ブロック、51…線状ブロック、52…点状ブロック、55…突起部、56…突起部、61…カメラ(撮像部)、63…マイク、100…HMD、110…操作部、117…通信部、118…メモリー、120…コントローラー基板、121…不揮発性記憶部、122…記憶部、123…設定データ、124…パターンマッチングデータ、125…撮像画像データベース、140…メインプロセッサー、150…制御部、151…OS、152…撮像制御部、153…画像処理部(検出部)、154…誘導制御部(制御部)、155…表示制御部(制御部)、156…音声データ生成部、184…外部I/F、186…外部メモリーI/F、188…USBコネクター。
Claims (10)
- 路面を撮像する撮像部と、
前記撮像部の撮像画像をもとに、使用者の移動可能方向の指標となる指標情報を検出する検出部と、
前記検出部が検出した指標情報に基づき、使用者の移動を誘導する誘導情報を出力する制御部と、
を備えることを特徴とする移動支援装置。 - 前記検出部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像を検出し、指標情報を検出する、ことを特徴とする請求項1記載の移動支援装置。
- 前記撮像部は、使用者の頭部に装着される、ことを特徴とする請求項1又は2記載の移動支援装置。
- 使用者の頭部に装着され、前記使用者の左目に対応する第1の発光部と、前記使用者の右目に対応する第2の発光部とを有する発光部を備え、
前記制御部は、前記検出部が検出した指標情報に基づき、前記第1の発光部と、前記第2の発光部との少なくとも一方の表示を制御する誘導情報を出力する、ことを特徴とする請求項1から3のいずれかに記載の移動支援装置。 - 前記制御部は、左折可を示す指標情報が検出された場合に、前記第1の発光部を点滅又は点灯させ、右折可を示す指標情報が検出された場合に、前記第2の発光部を点滅又は点灯させ、直進可を示す指標情報が検出された場合に、前記第1の発光部及び前記第2の発光部を点滅又は点灯させる、ことを特徴とする請求項4記載の移動支援装置。
- 前記発光部は、画像光を発して使用者に画像を視認させる表示部である、ことを特徴とする請求項4又は5記載の移動支援装置。
- 前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像が検出された場合に、前記撮像部の撮像画像をもとに警告対象の画像を検出し、検出結果を出力する、ことを特徴とする請求項1から6のいずれかに記載の移動支援装置。
- 前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像が検出された場合に、前記撮像画像をもとに視覚障害者誘導用ブロックまでの距離を算出し、算出した距離に対応した出力を行う、ことを特徴とする請求項1から7のいずれかに記載の移動支援装置。
- 音声を出力する音声出力部を備え、
前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックに重なる障害物が検出された場合に、障害物が存在する旨を前記音声出力部により出力する、ことを特徴とする請求項1から8のいずれかに記載の移動支援装置。 - 路面を撮像するステップと、
撮像された撮像画像をもとに、使用者の移動可能方向の指標となる指標情報を検出するステップと、
検出された指標情報に基づき、使用者の移動を誘導する誘導情報を出力するステップと、
を有することを特徴とする移動支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016027133A JP2017146726A (ja) | 2016-02-16 | 2016-02-16 | 移動支援装置、及び、移動支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016027133A JP2017146726A (ja) | 2016-02-16 | 2016-02-16 | 移動支援装置、及び、移動支援方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017146726A true JP2017146726A (ja) | 2017-08-24 |
Family
ID=59682950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016027133A Pending JP2017146726A (ja) | 2016-02-16 | 2016-02-16 | 移動支援装置、及び、移動支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017146726A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019083423A (ja) * | 2017-10-31 | 2019-05-30 | 保則 濱本 | 監視用レコーダ及び監視システム |
JP2019086565A (ja) * | 2017-11-02 | 2019-06-06 | 穂積 正男 | 歩行支援装置 |
JP2019159064A (ja) * | 2018-03-12 | 2019-09-19 | Necソリューションイノベータ株式会社 | 点字ブロックの判定支援装置、判定支援方法、およびプログラム |
WO2024089870A1 (ja) * | 2022-10-28 | 2024-05-02 | マクセル株式会社 | 携帯情報端末、仮想空間システム、および携帯情報端末の制御方法 |
-
2016
- 2016-02-16 JP JP2016027133A patent/JP2017146726A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019083423A (ja) * | 2017-10-31 | 2019-05-30 | 保則 濱本 | 監視用レコーダ及び監視システム |
JP2019086565A (ja) * | 2017-11-02 | 2019-06-06 | 穂積 正男 | 歩行支援装置 |
JP2019159064A (ja) * | 2018-03-12 | 2019-09-19 | Necソリューションイノベータ株式会社 | 点字ブロックの判定支援装置、判定支援方法、およびプログラム |
JP7031928B2 (ja) | 2018-03-12 | 2022-03-08 | Necソリューションイノベータ株式会社 | 点字ブロックの判定支援装置、判定支援方法、およびプログラム |
WO2024089870A1 (ja) * | 2022-10-28 | 2024-05-02 | マクセル株式会社 | 携帯情報端末、仮想空間システム、および携帯情報端末の制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10643390B2 (en) | Head mounted display, method for controlling head mounted display, and computer program | |
US10838205B2 (en) | Head mounted display, control method thereof, and computer program | |
JP7087481B2 (ja) | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム | |
JP2018101019A (ja) | 表示装置及び表示装置の制御方法 | |
US10782528B2 (en) | Head mounted display and control method thereof | |
US10474226B2 (en) | Head-mounted display device, computer program, and control method for head-mounted display device | |
JP7003633B2 (ja) | 透過型表示装置、表示制御方法、およびコンピュータープログラム | |
US10782531B2 (en) | Head-mounted type display device and method of controlling head-mounted type display device | |
US10718948B2 (en) | Head-mounted display apparatus, display control method, and computer program | |
JP2018142857A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
US20170289533A1 (en) | Head mounted display, control method thereof, and computer program | |
JP2018160735A (ja) | 透過型表示装置、表示制御方法、およびコンピュータープログラム | |
JP2018142168A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2019164420A (ja) | 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム | |
JP2019113693A (ja) | 表示システム、表示システムの制御方法、表示装置、及び、表示装置の制御方法 | |
JP2018124721A (ja) | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 | |
JP2017146726A (ja) | 移動支援装置、及び、移動支援方法 | |
JP6776578B2 (ja) | 入力装置、入力方法、コンピュータープログラム | |
JP2017116562A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2018055416A (ja) | 表示装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム | |
JP2018042004A (ja) | 表示装置、頭部装着型表示装置、及び、表示装置の制御方法 | |
JP6932917B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP6996115B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP6766403B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム | |
JP2019053644A (ja) | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 |