WO2018168730A1 - 歩行支援装置、歩行支援方法、及びプログラム - Google Patents

歩行支援装置、歩行支援方法、及びプログラム Download PDF

Info

Publication number
WO2018168730A1
WO2018168730A1 PCT/JP2018/009389 JP2018009389W WO2018168730A1 WO 2018168730 A1 WO2018168730 A1 WO 2018168730A1 JP 2018009389 W JP2018009389 W JP 2018009389W WO 2018168730 A1 WO2018168730 A1 WO 2018168730A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
walking
support device
shape
walking support
Prior art date
Application number
PCT/JP2018/009389
Other languages
English (en)
French (fr)
Inventor
竹中　透
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to DE112018001394.4T priority Critical patent/DE112018001394T5/de
Priority to CN201880017420.7A priority patent/CN110419068B/zh
Priority to US16/492,350 priority patent/US11080543B2/en
Publication of WO2018168730A1 publication Critical patent/WO2018168730A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0188—Illumination related features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1604—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5043—Displays

Definitions

  • the present invention relates to a walking support device, a walking support method, and a program.
  • This application claims priority based on Japanese Patent Application No. 2017-050149 filed on Mar. 15, 2017, the contents of which are incorporated herein by reference.
  • Patent Document 1 discloses an image processing apparatus that aims to execute a plurality of processes using a rendering result at high speed.
  • Patent Document 1 aims at speeding up the processing and does not disclose a specific method of utilizing the rendering technique.
  • AR Augmented Reality
  • VR Virtual Reality
  • the aspect which concerns on this invention is made
  • a shape detection unit that detects a shape of a road surface on which a user moves, and an auxiliary image that emphasizes the uneven state of the road surface based on a detection result by the shape detection unit, And a display control unit provided to be superimposed on the shape of the road surface.
  • the image processing apparatus may further include a projection unit that projects an image, and the display control unit provides the auxiliary image by instructing the projection unit to project the image onto the road surface. Good.
  • the auxiliary image is an image that is assumed to be visually recognized by the user when a predetermined pattern is irradiated from a virtual light source to the road surface. There may be.
  • the display control unit generates a shadow area that is a shadow area when light is emitted from a virtual light source to the road surface.
  • Information that can be calculated and the calculated position of the shadow region can be recognized may be provided as the auxiliary image.
  • the display control unit may provide the auxiliary image such that an area other than the shadow area becomes brighter than the shadow area.
  • the display control unit is configured to display the road surface viewed from the user when the road surface is irradiated with light from a virtual light source.
  • a brightness distribution may be calculated, and information capable of recognizing the calculated distribution may be provided as the auxiliary image.
  • the control computer of the walking assistance device detects the shape of the road surface on which the user moves, and based on the detection result, displays an auxiliary image that emphasizes the uneven state of the road surface.
  • This is a walking support method that is provided by superimposing on the shape.
  • a process for causing the control computer of the walking assistance device to detect the shape of the road surface on which the user moves, and an auxiliary image that emphasizes the uneven state of the road surface based on the detection result And a process for providing the information superimposed on the shape of the road surface.
  • FIG. 1 shows the outline of embodiment. It is a figure which shows an example of the display by a walking assistance apparatus. It is a block diagram which shows the structural example of the walk assistance apparatus which concerns on 1st Embodiment. It is a flowchart which shows an example of a process of the walk assistance system which concerns on 1st Embodiment. It is a 1st flowchart which shows an example of the auxiliary
  • FIG. 1 is a diagram showing an outline of the embodiment.
  • the user wearing the walking support device 100 is walking on the walking surface rd01.
  • the walking surface represents a surface on which a pedestrian walks, and includes a floor surface, a ground surface, a road surface, a concrete surface, and the like.
  • In front of the walking surface rd01 there is a convex portion tb01 where the walking surface is raised.
  • the convex part tb01 may be a raised one on the walking surface itself, or may be an object (for example, a rock) existing on the walking surface.
  • the user's visual acuity is weak or when the surroundings are dark even though the visual acuity is good, the user may walk without noticing the presence of the convex portion tb01 and may hit the convex portion tb01.
  • the walking support device 100 detects the shape of the walking surface on which the user walks, and superimposes an auxiliary image that emphasizes the uneven state of the walking surface on the shape of the walking surface based on the detected result. provide. This assists the user in grasping the unevenness of the walking surface and walking, and solves the above problem.
  • FIG. 2 is a diagram illustrating an example of display by the walking support device 100 according to the present embodiment.
  • Sc01 in FIG. 2 represents the visual field that the user sees through the walking support device 100.
  • a walking surface rd01 and a convex portion tb01 exist.
  • the walking support apparatus 100 displays an auxiliary image that emphasizes the uneven state of the walking surface, superimposed on the shape of the walking surface, based on the shape of the walking surface.
  • grid-like grid lines g01 to g04 and g10 to g40 are displayed as auxiliary images superimposed on the walking surface rd01 and the convex part tb01.
  • the auxiliary image may have a striped pattern other than the grid. Moreover, you may display as a contour line, and you may change and display a color according to height like a map.
  • FIG. 3 is a block diagram illustrating a configuration example of the walking support device 100 according to the first embodiment of the present invention.
  • the walking support device 100 is an AR (Augmented Reality) device that displays additional information in a real space visually recognized by the user.
  • the walking support device 100 may be a VR (Virtual Reality) device that displays virtual reality.
  • the walking support device 100 is, for example, a glasses-type display or a head-mounted display that is worn on the user's head.
  • the walking support device 100 may have a shape like a flashlight and be used by a user in his / her hand, or may be provided as a lighting device such as a headlight in an automobile.
  • the walking support device 100 includes a distance measurement unit 101, a projection unit 102, a display unit 103, a storage unit 104, and a control unit 110.
  • the distance measuring unit 101 measures the distance between the walking support device 100 and the measurement object. For example, the distance measuring unit 101 irradiates a measurement target with laser light and measures the distance using the reflected light.
  • the distance measuring unit 101 is a triangulation method that applies triangulation, or a method that measures the distance by measuring the time until the irradiated light is reflected and received by the measurement object (phase difference distance method, pulse propagation method). Etc.) to measure the distance to the object.
  • the distance measuring unit 101 irradiates (sweeps) a laser beam in a predetermined range, and measures the distance from the object in the predetermined range.
  • the distance measuring unit 101 is not limited to laser light, and may measure the distance to the object by other means.
  • the distance measuring unit 101 outputs the measured distance to the walking surface to the shape detecting unit 111.
  • Projection unit 102 projects the image input from display control unit 113 onto the walking surface.
  • the projection unit 102 is, for example, a light valve type projector, and projects the light from the light source modulated by the light valve. More specifically, a transmissive liquid crystal method, a reflective liquid crystal method, or the like is used, but projection may be performed by other methods.
  • the display unit 103 displays various images on the display based on the control of the display control unit 113.
  • the display unit 103 may display an image two-dimensionally on a transmissive display, or may display an image three-dimensionally using a 3D display such as a polarized glasses method or a liquid crystal shutter glasses method. Good.
  • the display unit 103 may display a stereoscopic image using an optical technique such as holography.
  • the display unit 103 is not an essential configuration, and the user may directly view the image projected by the projection unit 102. In this case, the walking support device 100 does not have to be a glasses-type display or a head-mounted display. If the display unit 103 is provided, the projection unit 102 is not an essential component.
  • the storage unit 104 includes, for example, an HDD (Hard Disc Drive), a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), a ROM (Read Only Memory), a RAM (Random Access Memory), and firmware, application programs, and the like.
  • various programs to be executed by a processor such as a CPU provided in the walking support device 100, results of processing executed by the processor, and the like are stored.
  • the storage unit 104 holds the image input from the image generation unit 112 and outputs the image to the display control unit 113 in response to a request from the display control unit 113. Note that the storage unit 104 may output an image registered in advance from the outside to the display control unit 113.
  • the control unit 110 controls various functions of the walking support device 100.
  • the control unit 110 is realized, for example, when a processor such as a CPU (Central Processing Unit) executes a program. Some or all of these may be realized by hardware such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), or software and hardware. It may be realized by cooperation.
  • the control unit 110 includes a shape detection unit 111, an image generation unit 112, and a display control unit 113.
  • the shape detection unit 111 detects the uneven shape of the walking surface based on the distance from the walking surface input from the distance measurement unit 101.
  • the shape detection unit 111 extracts a shape that is estimated to be a plane, and estimates the height of the walking assistance device 100 based on distances from a plurality of locations in the plane portion. Then, the three-dimensional shape of the walking surface is detected based on the height of the walking support device 100 and the distance from the walking support device 100.
  • the shape detection unit 111 may improve the accuracy and efficiency of shape detection using known shape detection techniques such as template matching, corner detection, and edge detection.
  • the image generation unit 112 generates an auxiliary image (and its material) to be displayed superimposed on the walking surface.
  • the auxiliary image is additionally displayed on the real space visually recognized by the user. Further, the auxiliary image may be additionally displayed in a virtual space displayed by the walking support device 100. Further, the auxiliary image may be a one-frame still image or a moving image (video) including a plurality of frames.
  • the auxiliary image is, for example, the lattice-like grid lines described above. Other examples will be described later.
  • the image generation unit 112 outputs the generated auxiliary image to the storage unit 104.
  • the display control unit 113 controls functions related to image display of the walking support device 100. Specifically, the display control unit 113 controls the projection unit 102 or the display unit 103 to display various images including auxiliary images. Details of the operation of the display control unit 113 will be described later.
  • FIG. 4 is a flowchart illustrating an example of processing of the walking support device 100 according to the present embodiment.
  • the distance measuring unit 101 measures the distance from the walking surface (step S101). Specifically, as described above, the walking surface is irradiated with laser light, and the distance from the walking surface is measured by the reflected light.
  • the distance measuring unit 101 outputs, to the shape detecting unit 111, distance information with respect to the walking surface in a predetermined range, which is measured by irradiating (sweeping) a predetermined range of the walking surface with laser light.
  • the shape detection unit 111 detects the uneven shape of the walking surface based on the distance information with the walking surface input from the distance measurement unit 101 (step S102). Specifically, as described above, the Z coordinate at each point when the walking surface is on the XY plane is calculated, and the three-dimensional shape of the walking surface is detected as a set of Z coordinates.
  • the walking support device 100 generates (acquires) an auxiliary image that emphasizes the uneven state of the walking surface based on the uneven shape of the walking surface detected by the shape detection unit 111, and superimposes it on the shape of the walking surface. It is displayed (step S103). Details of this processing will be described later.
  • the walking support apparatus 100 ends the process of FIG.
  • FIG. 5 is a first flowchart illustrating an example of auxiliary image display processing in the walking support device 100 according to the present embodiment.
  • FIG. 6 is a first diagram illustrating a display example of an auxiliary image in the walking support device 100 according to the present embodiment.
  • the display control unit 113 sets the position of the virtual light source in order to determine the display position of the auxiliary image (step S201).
  • the virtual light source is a virtual light source installed in the virtual space by the walking support device 100.
  • L01 represents a virtual light source.
  • the virtual light source L01 virtually irradiates a specific pattern to the convex portion tb01 on the walking surface rd01.
  • the virtual light source L01 and the irradiation light of the virtual light source L01 are virtual light that is not visually recognized by the user.
  • the display control unit 113 sets an appropriate position of the virtual light source L01 based on the shape of the convex portion tb01.
  • the display control unit 113 sets the position of the virtual light source L01 directly above the center position of the convex part tb01. Further, for example, the display control unit 113 sets the virtual light source L01 at a position facing the slope on the user side of the convex portion tb01.
  • the display control unit 113 sets an auxiliary image pattern to be irradiated to the virtual light source (step S202).
  • the pattern of the auxiliary image includes a pattern display such as a dot shape and a stripe shape, other character display, a geometric pattern, and the like, in addition to the lattice grid lines described above. In addition, the grid line thickness, interval, image color, brightness, and the like can be changed as appropriate.
  • the display control unit 113 acquires ambient environment information (brightness, etc.) and user operation information (walking speed, landing timing, etc.) from the outside, and determines the pattern of the auxiliary image and the position of the virtual light source L01 described above. It may be used as a parameter for setting.
  • the display control unit 113 specifies the position where the pattern of the auxiliary image irradiated on the walking surface from the virtual light source is visually recognized by the user (step S203). Specifically, the display control unit 113 virtually irradiates the walking surface rd01 and the convex part tb01 from the virtual light source with the pattern of the auxiliary image set in step S202 (a dashed line arrow in FIG. 6). The display control unit 113 obtains the coordinates (dt01, dt02, dt03 in FIG. 6) of the intersection of the walking surface rd01 and the convex portion tb01 and the irradiated auxiliary image.
  • the irradiation range of the auxiliary image may be a predetermined range of walking surface rd01 including the convex portion tb01 or only the convex portion tb01.
  • the display control unit 113 sets the coordinates of the auxiliary image on the walking surface rd01 and the convex portion tb01 obtained in step S203 as the display position viewed from the user, and is superimposed on the walking surface rd01 and the convex portion tb01. Then, it is displayed on the display unit 103 or the projection unit 102 (step S204).
  • the display control unit 113 adds a walking surface rd01 that the user visually recognizes via a transmissive display and an auxiliary image (set of dt01-dt03 in FIG. 6) set on the convex portion tb01. Control to superimpose and display as an image (extended image).
  • FIG. 7 is a second flowchart illustrating an example of auxiliary image display processing in the walking support device 100 according to the present embodiment.
  • FIG. 8 is a second diagram illustrating a display example of an auxiliary image in the walking support device 100 according to the present embodiment.
  • the display control unit 113 sets the position of the virtual light source in order to determine the display position of the auxiliary image (step S301). This process is the same as the process of step S201 in FIG. However, in this process, in order to obtain a shadow area when the walking surface is irradiated from the virtual light source, the display control unit 113 determines the position of the virtual light source L02 with the convex portion tb01 interposed therebetween as shown in FIG. It sets so that virtual light may be irradiated toward a user's direction from a user's back side.
  • the display control unit 113 sets an auxiliary image pattern to be irradiated to the virtual light source (step S302). In this process, in order to obtain a shadow area when the walking surface is irradiated from the virtual light source, the display control unit 113 sets that there is no pattern during irradiation (only uniform virtual light irradiation).
  • the display control unit 113 calculates a shadow area when the walking surface is irradiated from the virtual light source (step S303). As shown in FIG. 8, the display control unit 113 irradiates virtual light from the virtual light source L02, and calculates a shadow area on the walking surface rd01 and the convex portion tb01 by the convex portion tb01 at that time. In the example of FIG. 8, the area aa on the walking surface rd01 and the area bb on the convex part tb01 are shadow areas. The display control unit 113 calculates the shadow region based on the position of the virtual light source L02, the irradiation direction of the virtual light, and the three-dimensional shape of the walking surface rd01 and the convex portion tb01.
  • the display control unit 113 causes the display unit 103 or the projection unit 102 to display the calculated shadow region superimposed on the walking surface (step S304).
  • the display control unit 113 superimposes the shadow areas aa and bb calculated on the walking surface rd01 and the convex part tb01 that the user visually recognizes through the transmissive display as additional images (extended images). Control to be displayed.
  • the shadow area aa and bb on the walking surface rd01 and convex part tb01 are projected from the projection part 102.
  • the display control unit 113 may set the brightness of the shadow area so that the shadow area is brighter than the area other than the shadow area on the walking surface. Thereby, even when the surrounding is dark, the shadow area can be clearly recognized. Conversely, the display control unit 113 may set the brightness of the shadow region so that the shadow region is darker than the region other than the shadow region on the walking surface. This also enhances the contrast of the shadow area, so that the shadow area can be clearly recognized.
  • the display control unit 113 may display or project the shadow area in a color different from that of the other areas.
  • FIG. 9 is a third flowchart illustrating an example of auxiliary image display processing in the walking support device 100 according to the present embodiment.
  • the display control unit 113 sets the position of the virtual light source in order to determine the display position of the auxiliary image (step S401). This process is the same as the process of step S201 in FIG. 5 or step S301 in FIG.
  • step S402 the display control unit 113 sets an auxiliary image pattern to be irradiated to the virtual light source. This process is the same as the process of step S202 of FIG. 5 or step S302 of FIG.
  • the display control unit 113 calculates the brightness distribution of the walking surface viewed from the user when the walking surface is irradiated from the virtual light source (step S403). Specifically, the display control unit 113 obtains the incident angle of light from the virtual light source to each point on the walking surface, and then uses the predetermined diffusion characteristic to increase the intensity of light from each point on the walking surface toward the user's eyes. Find the (brightness of appearance).
  • the display control unit 113 causes the display unit 103 or the projection unit 102 to display the calculated apparent brightness distribution superimposed on the walking surface (step S404).
  • the display control unit 113 may distribute colors to be displayed or projected (projected) according to the apparent brightness distribution.
  • the walking support device 100 detects the road surface unevenness state based on the shape detection unit 111 that detects the shape of the road surface on which the user moves and the detection result by the shape detection unit 111. And a display control unit 113 that provides an auxiliary image to be emphasized on a road surface. Thereby, it can assist that a user grasps the unevenness
  • the walking support device 100 includes a projection unit 102 that projects an image, and the display control unit 113 provides an auxiliary image by instructing the projection unit 102 to project the image onto a road surface.
  • the user can visually recognize the visual information without using a glasses-type display or the like, and can assist the user to walk while grasping the unevenness of the road surface.
  • the auxiliary image according to the present embodiment may be an image assumed to be visually recognized by the user when a predetermined pattern is irradiated from a virtual light source to the road surface. Thereby, the user can grasp
  • the display control unit 113 calculates a shadow region that is a shadow region when light is irradiated onto the road surface from a virtual light source, and the calculated shadow region Information capable of recognizing the position may be provided as an auxiliary image. Thereby, the user can visually recognize the shadow area and can more easily grasp the unevenness of the road surface.
  • the display control unit 113 may provide an auxiliary image such that an area other than the shadow area becomes brighter than the shadow area. Thereby, the user can grasp
  • the display control unit 113 calculates the distribution of the brightness of the road surface viewed from the user when light is emitted from the virtual light source to the road surface.
  • Information capable of recognizing the distribution may be provided as an auxiliary image. Thereby, the user can visually recognize the distribution of the brightness of the road surface and can more easily grasp the unevenness of the road surface.
  • control computer of the walking assistance device detects the shape of the road surface on which the user moves, and based on the detection result, the auxiliary image that emphasizes the uneven state of the road surface is displayed as the shape of the road surface. It is also expressed as a walking support method that is provided in a superimposed manner.
  • a process for causing the control computer of the walking assistance device to detect the shape of the road surface on which the user moves, and an auxiliary image that emphasizes the uneven state of the road surface based on the detection result are displayed on the road surface. It is also expressed as a program for executing the processing to be provided by being superimposed on the shape.
  • the embodiment of the present invention has been described in detail with reference to the drawings.
  • the specific configuration is not limited to this embodiment, and includes design changes and the like without departing from the gist of the present invention.
  • the order of processing procedures, sequences, flowcharts, and the like in each embodiment may be changed as long as there is no contradiction.
  • the walking support apparatus 100 can be applied not only to walking but also to a case where the user moves on a car, a bicycle, or the like.
  • one aspect of the present invention can be modified in various ways within the scope of the claims, and the technical aspects of the present invention also relate to embodiments obtained by appropriately combining technical means disclosed in different embodiments. Included in the range. Moreover, it is the element described in said each embodiment and modification, and the structure which substituted the element which has the same effect is also contained.
  • the walking assist device is a walking training device that supports efficient walking based on an “inverted pendulum model”.
  • the movement of the hip joint during walking is detected by angle sensors built in the left and right motors, and the control computer drives the motor.
  • the guidance of the lower limbs swinging by the flexion of the hip joint and the kicking of the lower limbs by the extension are performed.
  • more effective walking support can be performed by grasping the shape of the walking surface that cannot be covered by the walking assist device and highlighting the uneven shape.
  • DESCRIPTION OF SYMBOLS 100 ... Walking assistance apparatus, 101 ... Distance measurement part, 102 ... Projection part, 103 ... Display part, 104 ... Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Rehabilitation Therapy (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Rehabilitation Tools (AREA)
  • Processing Or Creating Images (AREA)

Abstract

歩行支援装置は、ユーザが移動する路面の形状を検出する形状検出部と、前記形状検出部による検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供する表示制御部と、を備える。

Description

歩行支援装置、歩行支援方法、及びプログラム
　本発明は、歩行支援装置、歩行支援方法、及びプログラムに関する。
　本願は、２０１７年３月１５日に出願された日本国特願２０１７－０５０１４９号に基づき優先権を主張し、その内容をここに援用する。
　従来から、コンピュータが生成した３次元仮想空間を写実的な画像として生成するレンダリング技術が知られている。例えば、特許文献１では、レンダリング結果を利用した複数の処理を高速に実行可能とすることを目的とする画像処理装置が開示されている。
特開２００８－２３４４７３号公報
　しかしながら、特許文献１では、処理の高速化を目的としており、レンダリング技術の具体的な活用方法については開示されていない。一方、夜道を歩行する際や、視力の弱い歩行者が歩行する際に、路面の凹凸がわかりづらく、歩行者が躓いてしまう場合がある。
　このような問題に対処するため、ＡＲ（Augmented Reality）技術やＶＲ（Virtual Reality）技術を活用した解決策が求められている。
　本発明に係る態様は上記の点に鑑みてなされたものであり、ユーザが路面の凹凸を把握して移動することを支援する歩行支援装置、歩行支援方法、及びプログラムを提供することを目的とする。
　上記技術課題を解決して係る目的を達成するために、本発明は以下の態様を採用した。
　（１）本発明に係る一態様は、ユーザが移動する路面の形状を検出する形状検出部と、前記形状検出部による検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供する表示制御部と、を備える歩行支援装置である。
　（２）上記（１）の態様において、画像を投影する投影部をさらに備え、前記表示制御部は、前記補助画像を、前記投影部に指示して前記路面に投影させることで提供してもよい。
　（３）上記（１）または（２）の態様において、前記補助画像は、仮想的な光源から前記路面に所定のパターンを照射した場合に、前記ユーザによって視認されることが想定される画像であってもよい。
　（４）上記（１）から（３）のいずれか１つの態様において、前記表示制御部は、仮想的な光源から前記路面に対して光を照射した場合に影となる領域である影領域を算出し、算出した前記影領域の位置を認識可能な情報を、前記補助画像として提供してもよい。
　（５）上記（４）の態様において、前記表示制御部は、前記影領域以外の領域が前記影領域に比して明るくなるような前記補助画像を提供してもよい。
　（６）上記（１）から（５）のいずれか１つの態様において、前記表示制御部は、仮想的な光源から前記路面に対して光を照射した場合の、前記ユーザから見た前記路面の明るさの分布を算出し、算出した前記分布を認識可能な情報を、前記補助画像として提供してもよい。
　（７）本発明に係る一態様は、歩行支援装置の制御コンピュータが、ユーザが移動する路面の形状を検出し、検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供する、歩行支援方法である。
　（８）本発明に係る一態様は、歩行支援装置の制御コンピュータに、ユーザが移動する路面の形状を検出させる処理と、検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供させる処理と、を実行させるためのプログラムである。
　本発明係る態様によれば、ユーザが路面の凹凸を把握して移動することを支援することができる。
実施形態の概略を示す図である。 歩行支援装置による表示の一例を示す図である。 第１の実施形態に係る歩行支援装置の構成例を示すブロック図である。 第１の実施形態に係る歩行支援システムの処理の一例を示すフローチャートである。 第１の実施形態に係る歩行支援装置における補助画像表示処理の一例を示す第１のフローチャートである。 第１の実施形態に係る歩行支援装置における補助画像の表示例を示す第１の図である。 第１の実施形態に係る歩行支援装置における補助画像表示処理の一例を示す第２のフローチャートである。 第１の実施形態に係る歩行支援装置における補助画像の表示例を示す第２の図である。 第１の実施形態に係る歩行支援装置における補助画像表示処理の一例を示す第３のフローチャートである。
　まず、本発明に係る実施形態の概要について説明する。図１は、実施形態の概略を示す図である。図１の例では、歩行支援装置１００を装着するユーザが歩行面ｒｄ０１上を歩いている。歩行面とは、歩行者が歩行する面を表し、床面、地面、路面、コンクリート面等を含む。歩行面ｒｄ０１の前方に、歩行面が盛り上がった凸部ｔｂ０１が存在する。凸部ｔｂ０１は、歩行面自体が盛り上がったものでもよいし、歩行面上に存在する物体（例えば、岩など）であってもよい。ここで、ユーザの視力が弱い場合や、視力が良くても周囲が暗い場合等においては、ユーザが凸部ｔｂ０１の存在に気付かずに歩行し、凸部ｔｂ０１に躓いてしまう場合がある。
　本実施形態に係る歩行支援装置１００は、ユーザが歩行する歩行面の形状を検出し、検出した結果に基づいて、歩行面の凹凸状態を強調する補助画像を、歩行面の形状に重畳して提供する。これにより、ユーザが歩行面の凹凸を把握して歩行することを支援し、上記の問題を解決する。
　本実施形態に係る歩行支援装置１００による表示の例について説明する。図２は、本実施形態に係る歩行支援装置１００による表示の一例を示す図である。図２中のｓｃ０１は、ユーザが歩行支援装置１００を介して見る視野を表している。ｓｃ０１内に、歩行面ｒｄ０１および凸部ｔｂ０１が存在する。ここで、歩行支援装置１００により、歩行面の形状に基づいて、歩行面の凹凸状態を強調する補助画像が、歩行面の形状に重畳して表示される。図２の例では、補助画像として、格子状のグリッド線ｇ０１～ｇ０４およびｇ１０～ｇ４０が歩行面ｒｄ０１および凸部ｔｂ０１に重畳して表示される。このようにグリッド線が歩行面ｒｄ０１に重畳して表示されることにより、歩行面ｒｄ０１の凹凸（凸部ｔｂ０１）が強調され、ユーザは、視界が悪い状況でも凸部ｔｂ０１の存在を認識し、安全に歩行することができる。なお、補助画像は、グリッド以外にも縞模様であってもよい。
　また、等高線として表示しても良いし、地図のように高さに応じて色を変えて表示してもよい。
＜第１の実施形態＞
　次に、第１の実施形態の構成について説明する。図３は、本発明の第１の実施形態に係る歩行支援装置１００の構成例を示すブロック図である。
　歩行支援装置１００は、ユーザが視認する現実空間に付加情報を表示させるＡＲ（Augmented Reality）装置である。また、歩行支援装置１００は、仮想現実を表示させるＶＲ（Virtual Reality）装置であってもよい。歩行支援装置１００は、例えば、ユーザの頭部に装着される眼鏡型ディスプレイまたはヘッドマウントディスプレイである。また、歩行支援装置１００は、懐中電灯のような形状であってユーザが手に持って用いるものであってもよいし、自動車に前照灯等の灯火器として備えられていてもよい。歩行支援装置１００は、距離測定部１０１と、投影部１０２と、表示部１０３と、記憶部１０４と、制御部１１０とを備える。
　距離測定部１０１は、歩行支援装置１００と測定対象物との距離を測定する。距離測定部１０１は、例えば、測定対象物にレーザー光を照射して、その反射光により距離を測定する。距離測定部１０１は、三角測量を応用した三角測距方式や、照射した光が測定対象で反射して受光するまでの時間を計測して距離を測定する方式（位相差距離方式、パルス伝播方式等）により対象物との距離を測定する。距離測定部１０１は、レーザー光を所定の範囲に照射（スイープ）して、所定の範囲における対象物との距離を測定する。なお、距離測定部１０１は、レーザー光に限らず、その他の手段によって対象物との距離を測定してもよい。距離測定部１０１は、測定した歩行面との距離を形状検出部１１１に出力する。
　投影部１０２は、表示制御部１１３から入力された画像を歩行面に投影する。投影部１０２は、例えば、ライトバルブ方式のプロジェクタであり、光源からの光を、ライトバルブで変調して投影する。より具体的には、透過型液晶方式、反射型液晶方式等が用いられるが、その他の方式により、投影してもよい。
　表示部１０３は、表示制御部１１３の制御に基づいて、ディスプレイに各種画像を表示する。表示部１０３は、透過型のディスプレイ上に２次元的に画像を表示してもよいし、偏光眼鏡方式や液晶シャッター眼鏡方式等の３Ｄディスプレイを用いて、３次元的に画像を表示してもよい。また、表示部１０３は、ホログラフィー等の光学技術を用いて立体像を表示させてもよい。なお、表示部１０３は必須の構成ではなく、投影部１０２が投影した画像をユーザが直接目視することとしてもよい。この場合、歩行支援装置１００は、眼鏡型ディスプレイまたはヘッドマウントディスプレイである必要はない。なお、表示部１０３があれば、投影部１０２は必須の構成ではない。
　記憶部１０４は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）などを備え、ファームウェアやアプリケーションプログラムなど、歩行支援装置１００が備えるＣＰＵなどのプロセッサが実行するための各種プログラムやプロセッサが実行した処理の結果などを記憶する。記憶部１０４は、画像生成部１１２から入力された画像を保持し、表示制御部１１３の要求に応じて、画像を表示制御部１１３に出力する。なお、記憶部１０４は、予め外部から登録された画像を表示制御部１１３に出力してもよい。
　制御部１１０は、歩行支援装置１００の各種機能を制御する。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラムを実行することにより実現される。また、これらのうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。制御部１１０は、形状検出部１１１と、画像生成部１１２と、表示制御部１１３とを備える。
　形状検出部１１１は、距離測定部１０１から入力された歩行面との距離に基づいて、歩行面の凹凸形状を検出する。形状検出部１１１は、平面と推定される形状を抽出し、その平面部分における複数の箇所との距離に基づいて、歩行支援装置１００の高さを推定する。そして、歩行支援装置１００の高さと歩行支援装置１００からの距離に基づいて、歩行面の３次元形状を検出する。また、形状検出部１１１は、例えば、テンプレートマッチング、コーナー検出、エッジ検出等の既知の形状検出技術を用いて、形状検出の精度および効率を向上させてもよい。
　画像生成部１１２は、歩行面に重畳して表示させる補助画像（およびその素材）を生成する。補助画像は、ユーザが視認する現実空間上に付加的に表示されるものである。また、補助画像は、歩行支援装置１００が表示する仮想空間内に付加的に表示されるものであってもよい。また、補助画像は、１フレームの静止画であってもよいし、複数フレームを含む動画（映像）であってもよい。補助画像は、例えば、上述した格子状のグリッド線である。その他の例については後述する。画像生成部１１２は、生成した補助画像を記憶部１０４に出力する。
　表示制御部１１３は、歩行支援装置１００の画像表示に関する機能を制御する。具体的には、表示制御部１１３は、投影部１０２または表示部１０３を制御して、補助画像を含む各種画像を表示させる。表示制御部１１３の動作の詳細については後述する。
　次に、本実施形態に係る歩行支援装置１００の動作について説明する。図４は、本実施形態に係る歩行支援装置１００の処理の一例を示すフローチャートである。
　まず、距離測定部１０１が、歩行面との距離を測定する（ステップＳ１０１）。具体的には、上述の通り、歩行面にレーザー光を照射して、その反射光により歩行面との距離を測定する。距離測定部１０１は、レーザー光を歩行面の所定の範囲に照射（スイープ）して測定した、所定の範囲における歩行面との距離情報を形状検出部１１１に出力する。
　次に、形状検出部１１１は、距離測定部１０１から入力された歩行面との距離情報に基づいて、歩行面の凹凸形状を検出する（ステップＳ１０２）。具体的には、上述の通り、歩行面をＸ－Ｙ平面上とした場合の各地点におけるＺ座標を算出し、Ｚ座標の集合として、歩行面の３次元形状を検出する。
　次に、歩行支援装置１００は、形状検出部１１１が検出した歩行面の凹凸形状に基づいて、歩行面の凹凸状態を強調する補助画像を生成（取得）し、歩行面の形状に重畳して表示する（ステップＳ１０３）。本処理の詳細については、以降に説明する。歩行支援装置１００は、以上で、図４の処理を終了する。
　続いて、図４のステップＳ１０３の処理の例について図５および図６を参照して説明する。図５は、本実施形態に係る歩行支援装置１００における補助画像表示処理の一例を示す第１のフローチャートである。図６は、本実施形態に係る歩行支援装置１００における補助画像の表示例を示す第１の図である。
　まず、表示制御部１１３は、補助画像の表示位置を決定するために、仮想光源の位置を設定する（ステップＳ２０１）。仮想光源とは、歩行支援装置１００により、仮想空間内に設置される仮想的な光源である。図６の例では、Ｌ０１が仮想光源を表している。仮想光源Ｌ０１は、歩行面ｒｄ０１上の凸部ｔｂ０１に対して、特定のパターンを仮想的に照射する。なお、仮想光源Ｌ０１および仮想光源Ｌ０１の照射光は、ユーザには視認されない仮想的なものである。表示制御部１１３は、凸部ｔｂ０１の形状に基づいて、適切な仮想光源Ｌ０１の位置を設定する。例えば、表示制御部１１３は、凸部ｔｂ０１の中心位置の真上に、仮想光源Ｌ０１の位置を設定する。また、例えば、表示制御部１１３は、凸部ｔｂ０１のユーザ側の斜面に相対する位置に仮想光源Ｌ０１を設定する。
　次に、表示制御部１１３は、仮想光源に照射させる補助画像のパターンを設定する（ステップＳ２０２）。補助画像のパターンには、上述した格子状のグリッド線の他、ドット状、ストライプ状等のパターン表示やその他の文字表示、幾何模様等が含まれる。また、グリッド線の太さ、間隔や画像の色、輝度等については適宜変更が可能である。また、表示制御部１１３は、外部から周囲の環境情報（明るさ等）やユーザの動作情報（歩行速度、着地タイミング等）を取得して、補助画像のパターンや上述した仮想光源Ｌ０１の位置を設定する際のパラメータとして用いてもよい。
　次に、表示制御部１１３は、仮想光源から歩行面に照射された補助画像のパターンが、ユーザから視認される位置を特定する（ステップＳ２０３）。具体的には、表示制御部１１３は、仮想光源から歩行面ｒｄ０１および凸部ｔｂ０１に対してステップＳ２０２で設定した補助画像のパターンを仮想的に照射させる（図６の一点鎖線矢印）。表示制御部１１３は、歩行面ｒｄ０１および凸部ｔｂ０１と照射した補助画像の交点の座標（図６のｄｔ０１、ｄｔ０２、ｄｔ０３）を求める。なお、補助画像の照射範囲は、凸部ｔｂ０１を含む所定範囲の歩行面ｒｄ０１でもよいし、凸部ｔｂ０１のみであってもよい。
　次に、表示制御部１１３は、ステップＳ２０３で求めた、歩行面ｒｄ０１および凸部ｔｂ０１上の補助画像の座標を、ユーザから見た表示位置として設定し、歩行面ｒｄ０１および凸部ｔｂ０１上に重畳して表示部１０３または投影部１０２に表示させる（ステップＳ２０４）。表示部１０３に表示させる場合、表示制御部１１３は、ユーザが透過型のディスプレイを介して視認する歩行面ｒｄ０１および凸部ｔｂ０１上に設定した補助画像（図６のｄｔ０１－ｄｔ０３の集合）が付加画像（拡張画像）として重畳して表示されるように制御する。投影部１０２に表示させる場合、表示制御部１１３の制御に基づき、投影部１０２から歩行面ｒｄ０１および凸部ｔｂ０１の設定された点（図６のｄｔ０１－ｄｔ０３の集合）を投影する。その結果、歩行面ｒｄ０１および凸部ｔｂ０１に補助画像のパターンが表示され、ユーザは表示された補助画像を視認することができる。以上で、図５および図６の説明を終了する。
　続いて、図４のステップＳ１０３の処理の他の例について図７および図８を参照して説明する。図７は、本実施形態に係る歩行支援装置１００における補助画像表示処理の一例を示す第２のフローチャートである。図８は、本実施形態に係る歩行支援装置１００における補助画像の表示例を示す第２の図である。
　まず、表示制御部１１３は、補助画像の表示位置を決定するために、仮想光源の位置を設定する（ステップＳ３０１）。本処理は、図５のステップＳ２０１の処理と同様である。ただし、本処理では、仮想光源から歩行面に照射した場合に影となる領域を求めるため、表示制御部１１３は、仮想光源Ｌ０２の位置を、図８に示すように、凸部ｔｂ０１を挟んでユーザの奥側からユーザの方向に向かって仮想光を照射するように設定する。
　次に、表示制御部１１３は、仮想光源に照射させる補助画像のパターンを設定する（ステップＳ３０２）。本処理では、仮想光源から歩行面に照射した場合に影となる領域を求めるため、表示制御部１１３は、照射時のパターンはなし（均一な仮想光の照射のみ）と設定する。
　次に、表示制御部１１３は、仮想光源から歩行面に照射した場合に影となる領域を計算する（ステップＳ３０３）。図８に示す通り、表示制御部１１３は、仮想光源Ｌ０２から仮想光を照射させ、その際に凸部ｔｂ０１により、歩行面ｒｄ０１および凸部ｔｂ０１で影となる領域を算出する。図８の例では、歩行面ｒｄ０１上のａａおよび凸部ｔｂ０１上のｂｂの領域が影となる領域である。表示制御部１１３は、仮想光源Ｌ０２の位置、仮想光の照射方向、歩行面ｒｄ０１および凸部ｔｂ０１の３次元形状に基づいて、当該影領域を算出する。
　次に、表示制御部１１３は、算出した影領域を歩行面に重畳して表示部１０３または投影部１０２に表示させる（ステップＳ３０４）。表示部１０３に表示させる場合、表示制御部１１３は、ユーザが透過型のディスプレイを介して視認する歩行面ｒｄ０１および凸部ｔｂ０１上に算出した影領域ａａおよびｂｂが付加画像（拡張画像）として重畳して表示されるように制御する。投影部１０２に表示させる場合、表示制御部１１３の制御に基づき、投影部１０２から歩行面ｒｄ０１および凸部ｔｂ０１上の影領域ａａおよびｂｂを投影する。その結果、歩行面ｒｄ０１および凸部ｔｂ０１に影領域が表示され、ユーザは表示された影領域を視認することができる。また、表示制御部１１３は、影領域が歩行面における影領域以外の領域よりも明るくなるように、影領域の輝度を設定してもよい。これにより、周囲が暗い場合も、影領域を明瞭に視認することができる。逆に、表示制御部１１３は、影領域が歩行面における影領域以外の領域よりも暗くなるように、影領域の輝度を設定してもよい。これによっても、影領域のコントラストが強調され、影領域を明瞭に視認することができる。また、表示制御部１１３は、影領域を他の領域と異なる色で表示または投光させてもよい。
　続いて、図４のステップＳ１０３の処理の他の例について図９を参照して説明する。図９は、本実施形態に係る歩行支援装置１００における補助画像表示処理の一例を示す第３のフローチャートである。
　まず、表示制御部１１３は、補助画像の表示位置を決定するために、仮想光源の位置を設定する（ステップＳ４０１）。本処理は、図５のステップＳ２０１または図７のステップＳ３０１の処理と同様である。
　次に、表示制御部１１３は、仮想光源に照射させる補助画像のパターンを設定する（ステップＳ４０２）。本処理は図５のステップＳ２０２または図７のステップＳ３０２の処理と同様である。
　次に、表示制御部１１３は、仮想光源から歩行面に照射した場合のユーザから見た歩行面の明るさの分布を計算する（ステップＳ４０３）。具体的には、表示制御部１１３は、仮想光源から歩行面の各点への光の入射角を求め、次いで所定の拡散特性を用いて歩行面の各点からユーザの眼に向かう光の強さ（見た目の明るさ）を求める。
　次に、表示制御部１１３は、算出した見た目の明るさの分布を歩行面に重畳して表示部１０３または投影部１０２に表示させる（ステップＳ４０４）。表示制御部１１３は、見た目の明るさの分布に応じて、表示あるいは投影（投光）させる色を分布させてもよい。
　以上、説明したように、本実施形態に係る歩行支援装置１００は、ユーザが移動する路面の形状を検出する形状検出部１１１と、形状検出部１１１による検出結果に基づいて、路面の凹凸状態を強調する補助画像を、路面の形状に重畳して提供する表示制御部１１３と、を備える。これにより、ユーザが路面の凹凸を把握して安全に歩行することを支援することができる。
　また、本実施形態に係る歩行支援装置１００は、画像を投影する投影部１０２を備え、表示制御部１１３は、補助画像を、投影部１０２に指示して路面に投影させることで提供してもよい。これにより、眼鏡型ディスプレイ等を介さずに、ユーザが視覚情報を視認することができ、ユーザが路面の凹凸を把握して歩行することを支援することができる。
　また、本実施形態に係る補助画像は、仮想的な光源から路面に所定のパターンを照射した場合に、ユーザによって視認されることが想定される画像であってもよい。これにより、仮想的な光源の位置を調整することで、ユーザがより容易に路面の凹凸を把握することができる。
　また、本実施形態に係る歩行支援装置１００において、表示制御部１１３は、仮想的な光源から路面に対して光を照射した場合に影となる領域である影領域を算出し、算出した影領域の位置を認識可能な情報を、補助画像として提供してもよい。これにより、ユーザは、影領域を視認し、より容易に路面の凹凸を把握することができる。
　また、本実施形態に係る歩行支援装置１００において、表示制御部１１３は、影領域以外の領域が影領域に比して明るくなるような補助画像を提供してもよい。これにより、ユーザは、周囲が暗い場合等でも、容易に路面の凹凸を把握することができる。
　また、本実施形態に係る歩行支援装置１００において、表示制御部１１３は、仮想的な光源から路面に対して光を照射した場合の、ユーザから見た路面の明るさの分布を算出し、算出した分布を認識可能な情報を、補助画像として提供してもよい。これにより、ユーザは、路面の明るさの分布を視認し、より容易に路面の凹凸を把握することができる。
　また、本発明の一態様は、歩行支援装置の制御コンピュータが、ユーザが移動する路面の形状を検出し、検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供する、歩行支援方法としても表現される。
　また、本発明の一態様は、歩行支援装置の制御コンピュータに、ユーザが移動する路面の形状を検出させる処理と、検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供させる処理と、を実行させるためのプログラムとしても表現される。
　以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、各実施形態における処理手順、シーケンス、フローチャート等は矛盾のない限り、順序を入れ替えてもよい。
　例えば、歩行支援装置１００は、歩行に限らず、ユーザが自動車、自転車等に乗って移動する場合にも適用することができる。
　また、本発明の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。
　なお、上記実施形態は、歩行アシスト装置と併用されてもよい。歩行アシスト装置とは、「倒立振子モデル」に基づく効率的な歩行をサポートする歩行訓練機器である。歩行アシスト装置では、歩行時の股関節の動きを左右のモーターに内蔵された角度センサで検知し、制御コンピュータがモーターを駆動する。これにより、股関節の屈曲による下肢の振り出しの誘導と伸展による下肢の蹴り出しの誘導を行う。本実施形態を歩行アシスト装置と併用することで、歩行アシスト装置ではカバーし切れない歩行面の形状把握および凹凸形状強調表示により、より効果的な歩行支援を行うことができる。
　１００・・・歩行支援装置、１０１・・・距離測定部、１０２・・・投影部、１０３・・・表示部、１０４・・・記憶部、１１０・・・制御部、１１１・・・形状検出部、１１２・・・画像生成部、１１３・・・表示制御部

Claims (8)

  1. 　ユーザが移動する路面の形状を検出する形状検出部と、
    　前記形状検出部による検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供する表示制御部と、
    　を備える歩行支援装置。
  2. 　画像を投影する投影部をさらに備え、
    　前記表示制御部は、前記補助画像を、前記投影部に指示して前記路面に投影させることで提供する、
    　請求項１に記載の歩行支援装置。
  3. 　前記補助画像は、仮想的な光源から前記路面に所定のパターンを照射した場合に、前記ユーザによって視認されることが想定される画像である、
    　請求項１または請求項２に記載の歩行支援装置。
  4. 　前記表示制御部は、仮想的な光源から前記路面に対して光を照射した場合に影となる領域である影領域を算出し、算出した前記影領域の位置を認識可能な情報を、前記補助画像として提供する、
    　請求項１から３のいずれか１項に記載の歩行支援装置。
  5. 　前記表示制御部は、前記影領域以外の領域が前記影領域に比して明るくなるような前記補助画像を提供する、
    　請求項４に記載の歩行支援装置。
  6. 　前記表示制御部は、仮想的な光源から前記路面に対して光を照射した場合の、前記ユーザから見た前記路面の明るさの分布を算出し、算出した前記分布を認識可能な情報を、前記補助画像として提供する、
    　請求項１から請求項５のいずれか１項に記載の歩行支援装置。
  7. 　歩行支援装置の制御コンピュータが、
    　ユーザが移動する路面の形状を検出し、
    　検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供する、
    　歩行支援方法。
  8. 　歩行支援装置の制御コンピュータに、
    　ユーザが移動する路面の形状を検出させる処理と、
    　検出結果に基づいて、前記路面の凹凸状態を強調する補助画像を、前記路面の形状に重畳して提供させる処理と、
    　を実行させるためのプログラム。
PCT/JP2018/009389 2017-03-15 2018-03-12 歩行支援装置、歩行支援方法、及びプログラム WO2018168730A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112018001394.4T DE112018001394T5 (de) 2017-03-15 2018-03-12 Lauf-Unterstützungsvorrichtung, Lauf-Unterstützungsverfahren und Programm
CN201880017420.7A CN110419068B (zh) 2017-03-15 2018-03-12 步行支援装置、步行支援方法、以及存储介质
US16/492,350 US11080543B2 (en) 2017-03-15 2018-03-12 Walking support device, walking support method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-050149 2017-03-15
JP2017050149A JP6833575B2 (ja) 2017-03-15 2017-03-15 歩行支援装置、歩行支援方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2018168730A1 true WO2018168730A1 (ja) 2018-09-20

Family

ID=63523448

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009389 WO2018168730A1 (ja) 2017-03-15 2018-03-12 歩行支援装置、歩行支援方法、及びプログラム

Country Status (5)

Country Link
US (1) US11080543B2 (ja)
JP (1) JP6833575B2 (ja)
CN (1) CN110419068B (ja)
DE (1) DE112018001394T5 (ja)
WO (1) WO2018168730A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7409014B2 (ja) * 2019-10-31 2024-01-09 富士フイルムビジネスイノベーション株式会社 表示装置
KR102317196B1 (ko) * 2019-11-19 2021-10-25 대한민국 가상현실 기반 지면 보행 훈련 시스템 및 방법
JP7374740B2 (ja) * 2019-12-02 2023-11-07 株式会社Zozo フィッティング支援装置、フィッティング支援方法、フィッティング支援プログラム
US11029160B1 (en) * 2020-02-07 2021-06-08 Hamilton Sunstrand Corporation Projectors, projector systems, and methods of navigating terrain using projected images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148973A (ja) * 2003-11-13 2005-06-09 Nissan Motor Co Ltd 情報提示装置
JP2011192037A (ja) * 2010-03-15 2011-09-29 Toshiba Corp 情報配信システム、情報配信方法、およびこれらを利用した防災システム
JP2015153057A (ja) * 2014-02-13 2015-08-24 株式会社小糸製作所 車両の運転支援装置
JP2016067855A (ja) * 2014-09-22 2016-05-09 達鋭 橋本 視覚障害者用歩行案内装置
JP2017015485A (ja) * 2015-06-30 2017-01-19 明伸興産株式会社 装着型ナビゲーションシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4037866B2 (ja) * 2002-07-25 2008-01-23 富士通株式会社 移動体の位置推定装置、位置推定方法および位置推定プログラム
JP4948218B2 (ja) 2007-03-22 2012-06-06 キヤノン株式会社 画像処理装置及びその制御方法
JP5025496B2 (ja) * 2008-01-09 2012-09-12 キヤノン株式会社 画像処理装置及び画像処理方法
US20110234631A1 (en) 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
JP4994521B1 (ja) * 2011-01-28 2012-08-08 楽天株式会社 経路情報提供装置、経路情報提供方法、プログラム及び情報記録媒体
EP2784763A4 (en) * 2011-11-25 2015-08-19 Honda Motor Co Ltd DEVICE FOR MONITORING THE SURROUNDINGS OF A VEHICLE
CN104115199A (zh) * 2012-02-10 2014-10-22 三菱电机株式会社 驾驶支援装置以及驾驶支援方法
WO2013129095A1 (ja) * 2012-03-02 2013-09-06 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP6117634B2 (ja) 2012-07-03 2017-04-19 クラリオン株式会社 レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
CN104574365B (zh) * 2014-12-18 2018-09-07 中国科学院计算技术研究所 障碍物检测装置及方法
US10115024B2 (en) * 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
TWM532865U (en) 2016-05-25 2016-12-01 Yonglin Yonglin Biotech Corp Walking aid apparatus
CN106361548A (zh) * 2016-09-21 2017-02-01 京东方科技集团股份有限公司 一种行走辅助杆
CN109792507A (zh) * 2016-09-30 2019-05-21 爱信精机株式会社 周边监视装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148973A (ja) * 2003-11-13 2005-06-09 Nissan Motor Co Ltd 情報提示装置
JP2011192037A (ja) * 2010-03-15 2011-09-29 Toshiba Corp 情報配信システム、情報配信方法、およびこれらを利用した防災システム
JP2015153057A (ja) * 2014-02-13 2015-08-24 株式会社小糸製作所 車両の運転支援装置
JP2016067855A (ja) * 2014-09-22 2016-05-09 達鋭 橋本 視覚障害者用歩行案内装置
JP2017015485A (ja) * 2015-06-30 2017-01-19 明伸興産株式会社 装着型ナビゲーションシステム

Also Published As

Publication number Publication date
JP2018153235A (ja) 2018-10-04
CN110419068A (zh) 2019-11-05
DE112018001394T5 (de) 2019-11-28
US20200279123A1 (en) 2020-09-03
JP6833575B2 (ja) 2021-02-24
CN110419068B (zh) 2021-12-17
US11080543B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
WO2018168730A1 (ja) 歩行支援装置、歩行支援方法、及びプログラム
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US11194154B2 (en) Onboard display control apparatus
US9633266B2 (en) Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings
JP6149676B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US11525694B2 (en) Superimposed-image display device and computer program
US20180184071A1 (en) Photographing device and method for obtaining depth information
JP6883759B2 (ja) 表示システム、表示システムの制御方法、プログラム、及び移動体
JP2018518863A (ja) 車両の車両周囲を表示するための方法
US11971536B2 (en) Dynamic matrix filter for vehicle image sensor
KR102441100B1 (ko) Las 데이터를 이용한 도로 지문 데이터 구축 시스템 및 그 방법
JP6838626B2 (ja) 表示制御装置、及び表示制御プログラム
CN114765972A (zh) 用于示出车辆的周围环境模型的显示方法、计算机程序、控制器和车辆
KR102652943B1 (ko) 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치
KR20200042781A (ko) 입체 모델 생성 방법 및 장치
WO2018180596A1 (ja) 車両用表示装置
US11725939B2 (en) System and method for controlling a light projector in a construction site
JP2020017265A5 (ja)
JP6929037B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2017111081A (ja) 運送点検用ヘッドマウントディスプレイおよび運送点検用ヘッドマウントディスプレイのプログラム
KR20140108368A (ko) 어안 렌즈를 이용한 3차원 왜곡 장치 및 방법
JP7465133B2 (ja) 情報処理装置、情報処理方法
WO2022190548A1 (ja) 物体検出システム、制御装置
WO2020039855A1 (ja) 表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体
KR101775925B1 (ko) 헤드업 디스플레이를 이용한 물체 표시장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18766860

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18766860

Country of ref document: EP

Kind code of ref document: A1