JP6833575B2 - 歩行支援装置、歩行支援方法、及びプログラム - Google Patents

歩行支援装置、歩行支援方法、及びプログラム Download PDF

Info

Publication number
JP6833575B2
JP6833575B2 JP2017050149A JP2017050149A JP6833575B2 JP 6833575 B2 JP6833575 B2 JP 6833575B2 JP 2017050149 A JP2017050149 A JP 2017050149A JP 2017050149 A JP2017050149 A JP 2017050149A JP 6833575 B2 JP6833575 B2 JP 6833575B2
Authority
JP
Japan
Prior art keywords
road surface
support device
walking support
auxiliary image
walking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017050149A
Other languages
English (en)
Other versions
JP2018153235A (ja
Inventor
竹中 透
透 竹中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017050149A priority Critical patent/JP6833575B2/ja
Priority to DE112018001394.4T priority patent/DE112018001394T5/de
Priority to US16/492,350 priority patent/US11080543B2/en
Priority to PCT/JP2018/009389 priority patent/WO2018168730A1/ja
Priority to CN201880017420.7A priority patent/CN110419068B/zh
Publication of JP2018153235A publication Critical patent/JP2018153235A/ja
Application granted granted Critical
Publication of JP6833575B2 publication Critical patent/JP6833575B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01Constructive details
    • A61H2201/0188Illumination related features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1604Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165Wearable interfaces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • A61H2201/5043Displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Rehabilitation Therapy (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Rehabilitation Tools (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、歩行支援装置、歩行支援方法、及びプログラムに関する。
従来から、コンピュータが生成した3次元仮想空間を写実的な画像として生成するレンダリング技術が知られている。例えば、特許文献1では、レンダリング結果を利用した複数の処理を高速に実行可能とすることを目的とする画像処理装置が開示されている。
特開2008−234473号公報
しかしながら、特許文献1では、処理の高速化を目的としており、レンダリング技術の具体的な活用方法については開示されていない。一方、夜道を歩行する際や、視力の弱い歩行者が歩行する際に、路面の凹凸がわかりづらく、歩行者が躓いてしまう場合がある。このような問題に対処するため、AR(Augmented Reality)技術やVR(Virtual Reality)技術を活用した解決策が求められている。
本発明は上記の点に鑑みてなされたものであり、ユーザが路面の凹凸を把握して移動することを支援する歩行支援装置、歩行支援方法、及びプログラムを提供することを目的とする。
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、ユーザが移動する路面の形状を検出する形状検出部と、前記形状検出部による検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供する表示制御部と、を備える歩行支援装置である。
(2)また、本発明の一態様に係る歩行支援装置は、画像を投影する投影部を備え、前記表示制御部は、前記補助画像を、前記投影部に指示して前記路面に投影させることで提供してもよい。
(3)また、本発明の一態様に係る歩行支援装置において、前記補助画像は、仮想的な光源から前記路面に所定のパターンを照射した場合に、前記ユーザによって視認されることが想定される画像であってもよい。
(4)また、本発明の一態様に係る歩行支援装置において、前記表示制御部は、仮想的な光源から前記路面に対して光を照射した場合に影となる領域である影領域を算出し、算出した前記影領域の位置を認識可能な情報を、前記補助画像として提供してもよい。
(5)また、本発明の一態様に係る歩行支援装置において、前記表示制御部は、前記影領域以外の領域が前記影領域に比して明るくなるような前記補助画像を提供してもよい。
(6)また、本発明の一態様に係る歩行支援装置において、前記表示制御部は、仮想的な光源から前記路面に対して光を照射した場合の、前記ユーザから見た前記路面の明るさの分布を算出し、算出した前記分布を認識可能な情報を、前記補助画像として提供してもよい。
(7)また、本発明の一態様は、歩行支援装置の制御コンピュータが、ユーザが移動する路面の形状を検出し、検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供する、歩行支援方法である。
(8)また、本発明の一態様は、歩行支援装置の制御コンピュータに、ユーザが移動する路面の形状を検出させる処理と、検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供させる処理と、を実行させるためのプログラムである。
本発明によれば、ユーザが路面の凹凸を把握して移動することを支援することができる。
実施形態の概略を示す図である。 歩行支援装置による表示の一例を示す図である。 第1の実施形態に係る歩行支援装置の構成例を示すブロック図である。 第1の実施形態に係る歩行支援システムの処理の一例を示すフローチャートである。 第1の実施形態に係る歩行支援装置における補助画像表示処理の一例を示す第1のフローチャートである。 第1の実施形態に係る歩行支援装置における補助画像の表示例を示す第1の図である。 第1の実施形態に係る歩行支援装置における補助画像表示処理の一例を示す第2のフローチャートである。 第1の実施形態に係る歩行支援装置における補助画像の表示例を示す第2の図である。 第1の実施形態に係る歩行支援装置における補助画像表示処理の一例を示す第3のフローチャートである。
まず、本発明に係る実施形態の概要について説明する。図1は、実施形態の概略を示す図である。図1の例では、歩行支援装置100を装着するユーザが歩行面rd01上を歩いている。歩行面とは、歩行者が歩行する面を表し、床面、地面、路面、コンクリート面等を含む。歩行面rd01の前方に、歩行面が盛り上がった凸部tb01が存在する。凸部tb01は、歩行面自体が盛り上がったものでもよいし、歩行面上に存在する物体(例えば、岩など)であってもよい。ここで、ユーザの視力が弱い場合や、視力が良くても周囲が暗い場合等においては、ユーザが凸部tb01の存在に気付かずに歩行し、凸部tb01に躓いてしまう場合がある。
本実施形態に係る歩行支援装置100は、ユーザが歩行する歩行面の形状を検出し、検出した結果に基づいて、歩行面の凹凸状態を強調する補助画像を、歩行面の形状に重畳して提供する。これにより、ユーザが歩行面の凹凸を把握して歩行することを支援し、上記の問題を解決する。
本実施形態に係る歩行支援装置100による表示の例について説明する。図2は、本実施形態に係る歩行支援装置100による表示の一例を示す図である。図2中のsc01は、ユーザが歩行支援装置100を介して見る視野を表している。sc01内に、歩行面rd01および凸部tb01が存在する。ここで、歩行支援装置100により、歩行面の形状に基づいて、歩行面の凹凸状態を強調する補助画像が、歩行面の形状に重畳して表示される。図2の例では、補助画像として、格子状のグリッド線g01〜g04およびg10〜g40が歩行面rd01および凸部tb01に重畳して表示される。このようにグリッド線が歩行面rd01に重畳して表示されることにより、歩行面rd01の凹凸(凸部tb01)が強調され、ユーザは、視界が悪い状況でも凸部tb01の存在を認識し、安全に歩行することができる。なお、補助画像は、グリッド以外にも縞模様であってもよい。また、等高線として表示しても良いし、地図のように高さに応じて色を変えて表示してもよい。
<第1の実施形態>
次に、第1の実施形態の構成について説明する。図3は、本発明の第1の実施形態に係る歩行支援装置100の構成例を示すブロック図である。
歩行支援装置100は、ユーザが視認する現実空間に付加情報を表示させるAR(Augmented Reality)装置である。また、歩行支援装置100は、仮想現実を表示させるVR(Virtual Reality)装置であってもよい。歩行支援装置100は、例えば、ユーザの頭部に装着される眼鏡型ディスプレイまたはヘッドマウントディスプレイである。また、歩行支援装置100は、懐中電灯のような形状であってユーザが手に持って用いるものであってもよいし、自動車に前照灯等の灯火器として備えられていてもよい。歩行支援装置100は、距離測定部101と、投影部102と、表示部103と、記憶部104と、制御部110とを備える。
距離測定部101は、歩行支援装置100と測定対象物との距離を測定する。距離測定部101は、例えば、測定対象物にレーザー光を照射して、その反射光により距離を測定する。距離測定部101は、三角測量を応用した三角測距方式や、照射した光が測定対象で反射して受光するまでの時間を計測して距離を測定する方式(位相差距離方式、パルス伝播方式等)により対象物との距離を測定する。距離測定部101は、レーザー光を所定の範囲に照射(スイープ)して、所定の範囲における対象物との距離を測定する。なお、距離測定部101は、レーザー光に限らず、その他の手段によって対象物との距離を測定してもよい。距離測定部101は、測定した歩行面との距離を形状検出部111に出力する。
投影部102は、表示制御部113から入力された画像を歩行面に投影する。投影部102は、例えば、ライトバルブ方式のプロジェクタであり、光源からの光を、ライトバルブで変調して投影する。より具体的には、透過型液晶方式、反射型液晶方式等が用いられるが、その他の方式により、投影してもよい。
表示部103は、表示制御部113の制御に基づいて、ディスプレイに各種画像を表示する。表示部103は、透過型のディスプレイ上に2次元的に画像を表示してもよいし、偏光眼鏡方式や液晶シャッター眼鏡方式等の3Dディスプレイを用いて、3次元的に画像を表示してもよい。また、表示部103は、ホログラフィー等の光学技術を用いて立体像を表示させてもよい。なお、表示部103は必須の構成ではなく、投影部102が投影した画像をユーザが直接目視することとしてもよい。この場合、歩行支援装置100は、眼鏡型ディスプレイまたはヘッドマウントディスプレイである必要はない。なお、表示部103があれば、投影部102は必須の構成ではない。
記憶部104は、例えば、HDD(Hard Disc Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)などを備え、ファームウェアやアプリケーションプログラムなど、歩行支援装置100が備えるCPUなどのプロセッサが実行するための各種プログラムやプロセッサが実行した処理の結果などを記憶する。記憶部104は、画像生成部112から入力された画像を保持し、表示制御部113の要求に応じて、画像を表示制御部113に出力する。なお、記憶部104は、予め外部から登録された画像を表示制御部113に出力してもよい。
制御部110は、歩行支援装置100の各種機能を制御する。制御部110は、例えば、CPU(Central Processing Unit)などのプロセッサがプログラムを実行することにより実現される。また、これらのうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。制御部110は、形状検出部111と、画像生成部112と、表示制御部113とを備える。
形状検出部111は、距離測定部101から入力された歩行面との距離に基づいて、歩行面の凹凸形状を検出する。形状検出部111は、平面と推定される形状を抽出し、その平面部分における複数の箇所との距離に基づいて、歩行支援装置100の高さを推定する。そして、歩行支援装置100の高さと歩行支援装置100からの距離に基づいて、歩行面の3次元形状を検出する。また、形状検出部111は、例えば、テンプレートマッチング、コーナー検出、エッジ検出等の既知の形状検出技術を用いて、形状検出の精度および効率を向上させてもよい。
画像生成部112は、歩行面に重畳して表示させる補助画像(およびその素材)を生成する。補助画像は、ユーザが視認する現実空間上に付加的に表示されるものである。また、補助画像は、歩行支援装置100が表示する仮想空間内に付加的に表示されるものであってもよい。また、補助画像は、1フレームの静止画であってもよいし、複数フレームを含む動画(映像)であってもよい。補助画像は、例えば、上述した格子状のグリッド線である。その他の例については後述する。画像生成部112は、生成した補助画像を記憶部104に出力する。
表示制御部113は、歩行支援装置100の画像表示に関する機能を制御する。具体的には、表示制御部113は、投影部102または表示部103を制御して、補助画像を含む各種画像を表示させる。表示制御部113の動作の詳細については後述する。
次に、本実施形態に係る歩行支援装置100の動作について説明する。図4は、本実施形態に係る歩行支援装置100の処理の一例を示すフローチャートである。
まず、距離測定部101が、歩行面との距離を測定する(ステップS101)。具体的には、上述の通り、歩行面にレーザー光を照射して、その反射光により歩行面との距離を測定する。距離測定部101は、レーザー光を歩行面の所定の範囲に照射(スイープ)して測定した、所定の範囲における歩行面との距離情報を形状検出部111に出力する。
次に、形状検出部111は、距離測定部101から入力された歩行面との距離情報に基づいて、歩行面の凹凸形状を検出する(ステップS102)。具体的には、上述の通り、歩行面をX−Y平面上とした場合の各地点におけるZ座標を算出し、Z座標の集合として、歩行面の3次元形状を検出する。
次に、歩行支援装置100は、形状検出部111が検出した歩行面の凹凸形状に基づいて、歩行面の凹凸状態を強調する補助画像を生成(取得)し、歩行面の形状に重畳して表示する(ステップS103)。本処理の詳細については、以降に説明する。歩行支援装置100は、以上で、図4の処理を終了する。
続いて、図4のステップS103の処理の例について図5および図6を参照して説明する。図5は、本実施形態に係る歩行支援装置100における補助画像表示処理の一例を示す第1のフローチャートである。図6は、本実施形態に係る歩行支援装置100における補助画像の表示例を示す第1の図である。
まず、表示制御部113は、補助画像の表示位置を決定するために、仮想光源の位置を設定する(ステップS201)。仮想光源とは、歩行支援装置100により、仮想空間内に設置される仮想的な光源である。図6の例では、L01が仮想光源を表している。仮想光源L01は、歩行面rd01上の凸部tb01に対して、特定のパターンを仮想的に照射する。なお、仮想光源L01および仮想光源L01の照射光は、ユーザには視認されない仮想的なものである。表示制御部113は、凸部tb01の形状に基づいて、適切な仮想光源L01の位置を設定する。例えば、表示制御部113は、凸部tb01の中心位置の真上に、仮想光源L01の位置を設定する。また、例えば、表示制御部113は、凸部tb01のユーザ側の斜面に相対する位置に仮想光源L01を設定する。
次に、表示制御部113は、仮想光源に照射させる補助画像のパターンを設定する(ステップS202)。補助画像のパターンには、上述した格子状のグリッド線の他、ドット状、ストライプ状等のパターン表示やその他の文字表示、幾何模様等が含まれる。また、グリッド線の太さ、間隔や画像の色、輝度等については適宜変更が可能である。また、表示制御部113は、外部から周囲の環境情報(明るさ等)やユーザの動作情報(歩行速度、着地タイミング等)を取得して、補助画像のパターンや上述した仮想光源L01の位置を設定する際のパラメータとして用いてもよい。
次に、表示制御部113は、仮想光源から歩行面に照射された補助画像のパターンが、ユーザから視認される位置を特定する(ステップS203)。具体的には、表示制御部113は、仮想光源から歩行面rd01および凸部tb01に対してステップS202で設定した補助画像のパターンを仮想的に照射させる(図6の一点鎖線矢印)。表示制御部113は、歩行面rd01および凸部tb01と照射した補助画像の交点の座標(図6のdt01、dt02、dt03)を求める。なお、補助画像の照射範囲は、凸部tb01を含む所定範囲の歩行面rd01でもよいし、凸部tb01のみであってもよい。
次に、表示制御部113は、ステップ203で求めた、歩行面rd01および凸部tb01上の補助画像の座標を、ユーザから見た表示位置として設定し、歩行面rd01および凸部tb01上に重畳して表示部103または投影部102に表示させる(ステップS204)。表示部103に表示させる場合、表示制御部113は、ユーザが透過型のディスプレイを介して視認する歩行面rd01および凸部tb01上に設定した補助画像(図6のdt01−dt03の集合)が付加画像(拡張画像)として重畳して表示されるように制御する。投影部102に表示させる場合、表示制御部113の制御に基づき、投影部102から歩行面rd01および凸部tb01の設定された点(図6のdt01−dt03の集合)を投影する。その結果、歩行面rd01および凸部tb01に補助画像のパターンが表示され、ユーザは表示された補助画像を視認することができる。以上で、図5および図6の説明を終了する。
続いて、図4のステップS103の処理の他の例について図7および図8を参照して説明する。図7は、本実施形態に係る歩行支援装置100における補助画像表示処理の一例を示す第2のフローチャートである。図8は、本実施形態に係る歩行支援装置100における補助画像の表示例を示す第2の図である。
まず、表示制御部113は、補助画像の表示位置を決定するために、仮想光源の位置を設定する(ステップS301)。本処理は、図5のステップS201の処理と同様である。ただし、本処理では、仮想光源から歩行面に照射した場合に影となる領域を求めるため、表示制御部113は、仮想光源L02の位置を、図8に示すように、凸部tb01を挟んでユーザの奥側からユーザの方向に向かって仮想光を照射するように設定する。
次に、表示制御部113は、仮想光源に照射させる補助画像のパターンを設定する(ステップS302)。本処理では、仮想光源から歩行面に照射した場合に影となる領域を求めるため、表示制御部113は、照射時のパターンはなし(均一な仮想光の照射のみ)と設定する。
次に、表示制御部113は、仮想光源から歩行面に照射した場合に影となる領域を計算する(ステップS303)。図8に示す通り、表示制御部113は、仮想光源L02から仮想光を照射させ、その際に凸部tb01により、歩行面rd01および凸部tb01で影となる領域を算出する。図8の例では、歩行面rd01上のaaおよび凸部tb01上のbbの領域が影となる領域である。表示制御部113は、仮想光源L02の位置、仮想光の照射方向、歩行面rd01および凸部tb01の3次元形状に基づいて、当該影領域を算出する。
次に、表示制御部113は、算出した影領域を歩行面に重畳して表示部103または投影部102に表示させる(ステップS304)。表示部103に表示させる場合、表示制御部113は、ユーザが透過型のディスプレイを介して視認する歩行面rd01および凸部tb01上に算出した影領域aaおよびbbが付加画像(拡張画像)として重畳して表示されるように制御する。投影部102に表示させる場合、表示制御部113の制御に基づき、投影部102から歩行面rd01および凸部tb01上の影領域aaおよびbbを投影する。その結果、歩行面rd01および凸部tb01に影領域が表示され、ユーザは表示された影領域を視認することができる。また、表示制御部113は、影領域が歩行面における影領域以外の領域よりも明るくなるように、影領域の輝度を設定してもよい。これにより、周囲が暗い場合も、影領域を明瞭に視認することができる。逆に、表示制御部113は、影領域が歩行面における影領域以外の領域よりも暗くなるように、影領域の輝度を設定してもよい。これによっても、影領域のコントラストが強調され、影領域を明瞭に視認することができる。また、表示制御部113は、影領域を他の領域と異なる色で表示または投光させてもよい。
続いて、図4のステップS103の処理の他の例について図9を参照して説明する。図9は、本実施形態に係る歩行支援装置100における補助画像表示処理の一例を示す第3のフローチャートである。
まず、表示制御部113は、補助画像の表示位置を決定するために、仮想光源の位置を設定する(ステップS401)。本処理は、図5のステップS201または図7のステップS301の処理と同様である。
次に、表示制御部113は、仮想光源に照射させる補助画像のパターンを設定する(ステップS402)。本処理は図5のステップS202または図7のステップS302の処理と同様である。
次に、表示制御部113は、仮想光源から歩行面に照射した場合のユーザから見た歩行面の明るさの分布を計算する(ステップS403)。具体的には、表示制御部113は、仮想光源から歩行面の各点への光の入射角を求め、次いで所定の拡散特性を用いて歩行面の各点からユーザの眼に向かう光の強さ(見た目の明るさ)を求める。
次に、表示制御部113は、算出した見た目の明るさの分布を歩行面に重畳して表示部103または投影部102に表示させる(ステップS404)。表示制御部113は、見た目の明るさの分布に応じて、表示あるいは投影(投光)させる色を分布させてもよい。
以上、説明したように、本実施形態に係る歩行支援装置100は、ユーザが移動する路面の形状を検出する形状検出部111と、形状検出部111による検出結果に基づいて、路面の凹凸状態を強調する補助画像を、路面の形状に重畳して提供する表示制御部113と、を備える。これにより、ユーザが路面の凹凸を把握して安全に歩行することを支援することができる。
また、本実施形態に係る歩行支援装置100は、画像を投影する投影部102を備え、表示制御部113は、補助画像を、投影部102に指示して路面に投影させることで提供してもよい。これにより、眼鏡型ディスプレイ等を介さずに、ユーザが視覚情報を視認することができ、ユーザが路面の凹凸を把握して歩行することを支援することができる。
また、本実施形態に係る補助画像は、仮想的な光源から路面に所定のパターンを照射した場合に、ユーザによって視認されることが想定される画像であってもよい。これにより、仮想的な光源の位置を調整することで、ユーザがより容易に路面の凹凸を把握することができる。
また、本実施形態に係る歩行支援装置100において、表示制御部113は、仮想的な光源から路面に対して光を照射した場合に影となる領域である影領域を算出し、算出した影領域の位置を認識可能な情報を、補助画像として提供してもよい。これにより、ユーザは、影領域を視認し、より容易に路面の凹凸を把握することができる。
また、本実施形態に係る歩行支援装置100において、表示制御部113は、影領域以外の領域が影領域に比して明るくなるような補助画像を提供してもよい。これにより、ユーザは、周囲が暗い場合等でも、容易に路面の凹凸を把握することができる。
また、本実施形態に係る歩行支援装置100において、表示制御部113は、仮想的な光源から路面に対して光を照射した場合の、ユーザから見た路面の明るさの分布を算出し、算出した分布を認識可能な情報を、補助画像として提供してもよい。これにより、ユーザは、路面の明るさの分布を視認し、より容易に路面の凹凸を把握することができる。
また、本発明の一態様は、歩行支援装置の制御コンピュータが、ユーザが移動する路面の形状を検出し、検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供する、歩行支援方法としても表現される。
また、本発明の一態様は、歩行支援装置の制御コンピュータに、ユーザが移動する路面の形状を検出させる処理と、検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供させる処理と、を実行させるためのプログラムとしても表現される。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、各実施形態における処理手順、シーケンス、フローチャート等は矛盾のない限り、順序を入れ替えてもよい。
例えば、歩行支援装置100は、歩行に限らず、ユーザが自動車、自転車等に乗って移動する場合にも適用することができる。
また、本発明の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。
なお、上記実施形態は、歩行アシスト装置と併用されてもよい。歩行アシスト装置とは、「倒立振子モデル」に基づく効率的な歩行をサポートする歩行訓練機器である。歩行アシスト装置では、歩行時の股関節の動きを左右のモーターに内蔵された角度センサで検知し、制御コンピュータがモーターを駆動する。これにより、股関節の屈曲による下肢の振り出しの誘導と伸展による下肢の蹴り出しの誘導を行う。本実施形態を歩行アシスト装置と併用することで、歩行アシスト装置ではカバーし切れない歩行面の形状把握および凹凸形状強調表示により、より効果的な歩行支援を行うことができる。
100・・・歩行支援装置、101・・・距離測定部、102・・・投影部、103・・・表示部、104・・・記憶部、110・・・制御部、111・・・形状検出部、112・・・画像生成部、113・・・表示制御部

Claims (8)

  1. ユーザが移動する路面の形状を検出する形状検出部と、
    前記形状検出部による検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供する表示制御部と、を備え
    前記表示制御部は、仮想的な光源から前記路面に対して光を照射した場合に、前記路面の凹凸状態によって影となる領域である影領域を算出し、算出した前記影領域の位置を認識可能な情報を、前記補助画像として提供する、
    歩行支援装置。
  2. 前記表示制御部は、仮想的な光源の位置を、前記路面の凸部を挟んで前記ユーザの奥側から前記ユーザの方向に向かって前記光源の光が照射される位置に設定する、
    請求項1に記載の歩行支援装置。
  3. 画像を投影する投影部を備え、
    前記表示制御部は、前記補助画像を、前記投影部に指示して前記路面に投影させることで提供する、
    請求項1または2に記載の歩行支援装置。
  4. 前記補助画像は、仮想的な光源から前記路面に所定のパターンを照射した場合に、前記ユーザによって視認されることが想定される画像である、
    請求項1から請求項3のいずれか1項に記載の歩行支援装置。
  5. 前記表示制御部は、前記影領域以外の領域が前記影領域に比して明るくなるような前記補助画像を提供する、
    請求項1から請求項4のいずれか1項に記載の歩行支援装置。
  6. 前記表示制御部は、仮想的な光源から前記路面に対して光を照射した場合の、前記ユーザから見た前記路面の明るさの分布を算出し、算出した前記分布を認識可能な情報を、前記補助画像として提供する、
    請求項1から請求項のいずれか1項に記載の歩行支援装置。
  7. 歩行支援装置の制御コンピュータが、
    ユーザが移動する路面の形状を検出し、
    検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供し、
    仮想的な光源から前記路面に対して光を照射した場合に、前記路面の凹凸状態によって影となる領域である影領域を算出し、算出した前記影領域の位置を認識可能な情報を、前記補助画像として提供する、
    歩行支援方法。
  8. 歩行支援装置の制御コンピュータに、
    ユーザが移動する路面の形状を検出させる処理と、
    検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供させる処理と、を実行させ
    前記提供させる処理は、仮想的な光源から前記路面に対して光を照射した場合に、前記路面の凹凸状態によって影となる領域である影領域を算出し、算出した前記影領域の位置を認識可能な情報を、前記補助画像として提供させる、
    プログラム。
JP2017050149A 2017-03-15 2017-03-15 歩行支援装置、歩行支援方法、及びプログラム Active JP6833575B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017050149A JP6833575B2 (ja) 2017-03-15 2017-03-15 歩行支援装置、歩行支援方法、及びプログラム
DE112018001394.4T DE112018001394T5 (de) 2017-03-15 2018-03-12 Lauf-Unterstützungsvorrichtung, Lauf-Unterstützungsverfahren und Programm
US16/492,350 US11080543B2 (en) 2017-03-15 2018-03-12 Walking support device, walking support method and program
PCT/JP2018/009389 WO2018168730A1 (ja) 2017-03-15 2018-03-12 歩行支援装置、歩行支援方法、及びプログラム
CN201880017420.7A CN110419068B (zh) 2017-03-15 2018-03-12 步行支援装置、步行支援方法、以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017050149A JP6833575B2 (ja) 2017-03-15 2017-03-15 歩行支援装置、歩行支援方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018153235A JP2018153235A (ja) 2018-10-04
JP6833575B2 true JP6833575B2 (ja) 2021-02-24

Family

ID=63523448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017050149A Active JP6833575B2 (ja) 2017-03-15 2017-03-15 歩行支援装置、歩行支援方法、及びプログラム

Country Status (5)

Country Link
US (1) US11080543B2 (ja)
JP (1) JP6833575B2 (ja)
CN (1) CN110419068B (ja)
DE (1) DE112018001394T5 (ja)
WO (1) WO2018168730A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7409014B2 (ja) * 2019-10-31 2024-01-09 富士フイルムビジネスイノベーション株式会社 表示装置
KR102317196B1 (ko) * 2019-11-19 2021-10-25 대한민국 가상현실 기반 지면 보행 훈련 시스템 및 방법
JP7374740B2 (ja) * 2019-12-02 2023-11-07 株式会社Zozo フィッティング支援装置、フィッティング支援方法、フィッティング支援プログラム
US11029160B1 (en) * 2020-02-07 2021-06-08 Hamilton Sunstrand Corporation Projectors, projector systems, and methods of navigating terrain using projected images

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4037866B2 (ja) * 2002-07-25 2008-01-23 富士通株式会社 移動体の位置推定装置、位置推定方法および位置推定プログラム
JP2005148973A (ja) * 2003-11-13 2005-06-09 Nissan Motor Co Ltd 情報提示装置
JP4948218B2 (ja) 2007-03-22 2012-06-06 キヤノン株式会社 画像処理装置及びその制御方法
JP5025496B2 (ja) * 2008-01-09 2012-09-12 キヤノン株式会社 画像処理装置及び画像処理方法
JP2011192037A (ja) * 2010-03-15 2011-09-29 Toshiba Corp 情報配信システム、情報配信方法、およびこれらを利用した防災システム
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
WO2012101887A1 (ja) * 2011-01-28 2012-08-02 楽天株式会社 経路情報提供装置、経路情報提供方法、プログラム及び情報記録媒体
WO2013077096A1 (ja) * 2011-11-25 2013-05-30 本田技研工業株式会社 車両周辺監視装置
US9852632B2 (en) * 2012-02-10 2017-12-26 Mitsubishi Electric Corporation Driving assistance device and driving assistance method
WO2013129095A1 (ja) * 2012-03-02 2013-09-06 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP6117634B2 (ja) * 2012-07-03 2017-04-19 クラリオン株式会社 レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP6395393B2 (ja) * 2014-02-13 2018-09-26 株式会社小糸製作所 車両の運転支援装置
JP2016067855A (ja) 2014-09-22 2016-05-09 達鋭 橋本 視覚障害者用歩行案内装置
CN104574365B (zh) * 2014-12-18 2018-09-07 中国科学院计算技术研究所 障碍物检测装置及方法
US10115024B2 (en) * 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6612538B2 (ja) 2015-06-30 2019-11-27 新明工業株式会社 装着型ナビゲーションシステム
TWM532865U (en) * 2016-05-25 2016-12-01 Yonglin Yonglin Biotech Corp Walking aid apparatus
CN106361548A (zh) * 2016-09-21 2017-02-01 京东方科技集团股份有限公司 一种行走辅助杆
CN109792507A (zh) * 2016-09-30 2019-05-21 爱信精机株式会社 周边监视装置

Also Published As

Publication number Publication date
WO2018168730A1 (ja) 2018-09-20
JP2018153235A (ja) 2018-10-04
US20200279123A1 (en) 2020-09-03
CN110419068A (zh) 2019-11-05
CN110419068B (zh) 2021-12-17
DE112018001394T5 (de) 2019-11-28
US11080543B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
JP6833575B2 (ja) 歩行支援装置、歩行支援方法、及びプログラム
US10896497B2 (en) Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method
KR102487918B1 (ko) 수정된 셰이프 프롬 셰이딩(sfs) 방식을 이용한 삼각형 3 차원 메쉬의 형상-세분화
CN108369089A (zh) 3维图像测量装置及方法
KR100919166B1 (ko) 스테레오 모아레를 이용한 3차원 형상 측정장치 및 그 방법
US20180184071A1 (en) Photographing device and method for obtaining depth information
KR20160147495A (ko) 인터랙티브 콘텐츠 제어 장치 및 방법
EP2863365A2 (en) Image processing apparatus and method
JP2014511512A5 (ja)
JP2008034966A (ja) 画像表示装置
JP5959264B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
KR20160090464A (ko) 티오에프 카메라에서 깊이 지도 생성 방법
JP2017075887A (ja) 振動検出装置、検査装置、振動検出方法、及び振動検出プログラム
JP6838626B2 (ja) 表示制御装置、及び表示制御プログラム
KR102652943B1 (ko) 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치
KR20200042781A (ko) 입체 모델 생성 방법 및 장치
WO2018180596A1 (ja) 車両用表示装置
US11725939B2 (en) System and method for controlling a light projector in a construction site
KR102437606B1 (ko) 실감형 hud의 향상된 ui/ux 제공을 위한 증강정보 시뮬레이터
JP2020017265A5 (ja)
US20210160437A1 (en) Image processing apparatus and image transformation method
JP2017013671A (ja) ヘッドアップディスプレイ装置
JP2015206749A (ja) 三次元データの連結方法、形状測定方法、三次元データの連結装置、形状測定装置、構造物製造方法、構造物製造システム、及び形状測定プログラム
JP6929037B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2017111081A (ja) 運送点検用ヘッドマウントディスプレイおよび運送点検用ヘッドマウントディスプレイのプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R150 Certificate of patent or registration of utility model

Ref document number: 6833575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150