JP6526367B2 - 情報処理システム - Google Patents
情報処理システム Download PDFInfo
- Publication number
- JP6526367B2 JP6526367B2 JP2019502373A JP2019502373A JP6526367B2 JP 6526367 B2 JP6526367 B2 JP 6526367B2 JP 2019502373 A JP2019502373 A JP 2019502373A JP 2019502373 A JP2019502373 A JP 2019502373A JP 6526367 B2 JP6526367 B2 JP 6526367B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- pedestrian
- video
- processing system
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 78
- 238000013500 data storage Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 18
- 230000000638 stimulation Effects 0.000 claims description 10
- 230000004438 eyesight Effects 0.000 claims description 4
- 230000001953 sensory effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 31
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 16
- 238000005286 illumination Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 4
- 239000002537 cosmetic Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005021 gait Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000004936 stimulating effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 206010025482 malaise Diseases 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010017577 Gait disturbance Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010040007 Sense of oppression Diseases 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 235000020030 perry Nutrition 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
- A61H1/0237—Stretching or bending or torsioning apparatus for exercising for the lower limbs
- A61H1/0255—Both knee and hip of a patient, e.g. in supine or sitting position, the feet being moved together in a plane substantially parallel to the body-symmetrical plane
- A61H1/0262—Walking movement; Appliances for aiding disabled persons to walk
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
- A63G31/00—Amusement arrangements
- A63G31/02—Amusement arrangements with moving substructures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/12—Driving means
- A61H2201/1207—Driving means with electric or magnetic drive
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
- A61H2201/5071—Pressure sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5097—Control means thereof wireless
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2203/00—Additional characteristics concerning the patient
- A61H2203/04—Position of the patient
- A61H2203/0406—Standing on the feet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physical Education & Sports Medicine (AREA)
- Pain & Pain Management (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Rehabilitation Tools (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、実施の形態1に係る情報処理システム100の構成を概略的に示すブロック図である。
情報処理システム100は、情報処理装置110と、移動体群としての床ロボット群120と、HMD(Head Mounted Display)150と、モーダル出力装置160とを備える。
情報処理システム100は、床ロボット群120により歩行者の歩く動作を相殺し、歩行動作に同期した仮想空間の映像を歩行者に提供する。
情報処理装置110は、床ロボット群120、HMD150及びモーダル出力装置160を制御する。
3Dモデルデータ記憶部112は、仮想空間において歩行者の視点から見た3D映像(立体映像)の映像データを生成するために必要な3Dモデルデータ(立体モデルデータ)を記憶する立体モデルデータ記憶部である。
モーダル紐付け辞書記憶部113は、3Dモデルデータ記憶部112に記憶されている3Dモデルデータの仮想空間において、歩行者の視覚以外の感覚を刺激する領域と、刺激する内容とを示すモーダル紐付け辞書(辞書データ)を記憶する辞書データ記憶部である。例えば、モーダル紐付け辞書は、予め定められた領域毎に、イベント、明るさ、香りの種類及び室温の少なくとも何れか一つの内容を特定する。
例えば、床ロボット誘導部114は、歩行者の歩行データを取得して、取得された歩行データを歩行データ記憶部111に記憶する。そして、床ロボット誘導部114は、歩行データ記憶部111に記憶されている歩行データを参照して、床ロボット130A、130B、130Cの直線移動及び回転移動を制御する。
図2に示されているように、通常、右歩幅と左歩幅とは同じ長さで、左足と右足との横方向間隔である足隔も、歩行中は一定の長さである。
しかし、図3に示されているように、歩幅が左右で異なる人も存在する。
また、図4に示されているように、足隔も歩行中に変化し、体の重心が左右にずれる人もいる。
但し、図5(b)に示されているように、足全体で着床する人も存在し、図5(c)に示されているように、つま先から着床する人も存在する。
例えば、映像制御部115は、3Dモデルデータ記憶部112に記憶されている3Dモデルデータを参照して、仮想空間における歩行者の視点から見た3D映像の映像データを生成し、その映像データをHMD150に送信する。HMD150は、映像データに基づいて、仮想空間における3D映像を表示する。
例えば、モーダル制御部116は、モーダル紐付け辞書記憶部113に記憶されているモーダル紐付け辞書に基づいて、歩行者の視覚以外の感覚を刺激するための刺激出力データを生成し、その刺激出力データをモーダル出力装置160に送信する。
モーダル出力装置160は、刺激出力データに従って、歩行者の視覚以外の感覚を刺激する感覚刺激装置である。
なお、歩行データ記憶部111、3Dモデルデータ記憶部112及びモーダル紐付け辞書記憶部113は、図示してはいないHDD(Hard Disk Drive)等の不揮発性のメモリをプロセッサ11が利用することにより実現することができる。
また、通信部117は、図示してはいない、無線LAN等において通信を行うことのできる無線通信装置をプロセッサ11が利用することにより実現することができる。
3台の床ロボット130A、130B、130Cは、同様に構成されているため、各々を特に区別する必要がない場合には、床ロボット130という。
床ロボット130は、歩行者を載せて移動する移動体として機能する。
床ロボット130は、モータ駆動系131と、センサ部132と、通信部133と、床ロボット制御部134とを備える。
モータ駆動系131は、床ロボット制御部134からの指示に応じて、床ロボット130に駆動力を提供する駆動部である。
センサ部132は、床ロボット130で検出する各種センサである。
通信部133は、無線を用いて、情報処理装置110と通信を行う。
床ロボット制御部134は、情報処理装置110からの制御に応じて、床ロボット130の動作を制御する移動体制御部である。
床ロボット130は、本体135と、車輪136A、136B、136C、136D、136E、136Fと、制御基板137とを備える。
実施の形態1においては、本体135の下面135aは、正6角形に形成されている。
6個の車輪136A、136B、136C、136D、136E、136Fの各々を特に区別する必要がない場合には、車輪136という。
また、実施の形態1では、2個の車輪136A、136Dに駆動力が与えられているが、3個以上の車輪136に駆動力が与えられてもよい。
本体135は、上方から見た場合に6つの頂点を有する正6角形に形成されている。実施の形態1では、本体135は、上面135b及び下面135aが正六角形の同じ形状に形成されている。本体135の上面135bは、歩行者を載せることができるようにされている。本体135の上面135bは、上面135bに載った歩行者が1歩〜数歩歩くことができる程度の大きさを有するものとする。
また、床ロボット130の上面135bの中央には、カメラ139が設けられている。カメラ139で撮像された画像の画像データは、床ロボット制御部134に与えられる。
また、床ロボット制御部134は、圧力センサ138から歩行者の足位置を相対的に特定する。特定された足位置を示す足位置データは、通信部133を介して、情報処理装置110に送信される。そして、床ロボット誘導部114は、その足位置データ、及び、歩行データ記憶部111に記憶されている歩行データを活用することにより、センサノイズを低減し、位置データの精度を高めることができる。
床ロボットの6個の側面135c、135d、・・・、135g、135hの各々には、6個の近接センサ140A、140B、・・・、140E、140Fの各々が設けられている。
なお、6個の近接センサ140A、・・・、140Fの各々を特に区別する必要がない場合には、近接センサ140という。
近接センサ140は、床ロボット130を隙間なく隣接させるために使用される。また、近接センサ140は、歩行者173が、床ロボット130の隙間に足をはさむことを回避するためにも使用される。なお、近接センサ140での検出結果を示す近接データは、床ロボット制御部134に与えられる。
制御基板137は、組込みCPU(Central Processing Unit)141と、メモリ142と、駆動モータ増幅器143と、アンテナ144と、イーサネット処理部145と、LAN(Local Area Network)インタフェース146と、USB(Universal Serial Bus)インタフェース147とを備える。
メモリ142は、組込みCPU141のプログラムを動作させるための主記憶用の揮発性メモリ、及び、プログラムデータを保存するための不揮発性メモリからなる。
駆動モータ増幅器143は、プログラムが出力するデジタルデータをアナログデータへ変換しモータ駆動系131に与える。なお、モータ駆動系131には、駆動モータエンコーダ148が備えられており、組込みCPU141は、駆動モータエンコーダ148から得られる回転方向、回転位置及び回転速度等のデータに基づいて、モータ駆動系131を制御する。
USBインタフェース147は、更新されたプログラムのダウンロード及び床ロボット130の診断テストを行うためのインタフェースである。
そして、床ロボット誘導部114は、ステップS10で生成された歩行データ及びS11で取得されたデータに基づいて、床ロボット130の移動計画を立て、床ロボット130の誘導処理を行う(S12)。床ロボット130は、歩行者を載せた状態で、歩行者が歩く反対方向へ引き戻す直線移動を行うことにより、見かけ上歩行者が前進することなく、歩行者を同じ場所に留まらせることができる。実施の形態1に係る情報処理システム100は、3台の床ロボット130を備えており、歩行者を載せ終わった床ロボット130は、床ロボット誘導部114の指示に従い、歩行者の前方方向へ先回りするように回転移動する。床ロボット130が直線移動及び回転移動を繰り返すことにより、歩行者は、同じ位置で歩行を続けることができる。
まず、床ロボット誘導部114は、通信部117を介して、回転移動させる床ロボット130から位置データを取得する(S20)。
そして、床ロボット誘導部114は、取得された位置データに基づいて、床ロボット130同士の位置関係と、圧力データとから歩行者の頭部に相当する中心位置を算出する(S21)。
ステップS24では、床ロボット誘導部114は、歩行速度を修正する。そして、処理はステップS25に進む。
ステップS26では、床ロボット誘導部114は、進行方向を修正する。そして、処理はステップS27に進む。
そして、床ロボット誘導部114は、通信部117を介して、決定された床ロボット130に適切な先回り手順を示す指示データを送信する(S30)。
図15〜図27では、床ロボット130Aを符号A、床ロボット130Bを符号B、及び、床ロボット130Cを符号Cで表している。
実施の形態1では、図15(a)に示されているように、3台の床ロボット130A〜130Cのそれぞれが隣接し、3台の床ロボット130A〜130Cのそれぞれの2辺が、他の1辺ずつと接するように配置されている。このような配置では、3台の床ロボット130A〜130Cのそれぞれの頂点の1つが中心点P0となっている。言い換えると、3台の床ロボット130A〜130Cの各々は、3台の床ロボット130A〜130Cの各々から1つずつ選択された3つの頂点が対向している位置が中心点P0となるように、他の2台の床ロボット130と隣接している。
例えば、床ロボット誘導部114は、歩行者101が歩いた場合に、圧力センサ138で検出された圧力に基づいて、歩行者101の進行方向及び歩行速度を特定する。床ロボット誘導部114は、基本状態において対向している3つの頂点を除いて、特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定する。そして、床ロボット誘導部114は、対象頂点の位置が新たな中心点となるように、3台の床ロボット130A〜130Cの内の少なくとも何れか1台を回転移動させる。
図16に示されているように、歩行者101が点P1(対象頂点)の方向に歩行した場合には、点P1が新たな中心点となるように、床ロボット130B及び床ロボット130Cが回転移動する。具体的には、床ロボット130Bは、点P3における垂直線を軸として、時計回りに120°回転移動し、さらに、点P2における垂直線を軸として、時計回りに120°回転移動する。床ロボット130Cは、点P11における垂直線を軸として、反時計回りに120°回転移動し、さらに、点P12における垂直線を軸として、反時計回りに120°回転移動する。なお、床ロボット130B及び床ロボット130Cが回転移動している間も、床ロボット130A〜130Cは、歩行者101の進行方向とは反対方向に直線移動を行っている。
図17に示されているように、歩行者101が点P2の方向に歩行した場合には、点P2が新たな中心点となるように、床ロボット130B及び床ロボット130Cが回転移動する。具体的には、床ロボット130Bは、点P3における垂直線を軸として、時計回りに120°回転移動する。床ロボット130Cは、点P11における垂直線を軸として、反時計回りに120°回転移動し、点P12における垂直線を軸として、反時計回りに120°回転移動し、さらに、点P1における垂直線を軸として、反時計回りに120°回転移動する。
図28でも、床ロボット130Aを符号A、床ロボット130Bを符号B、及び、床ロボット130Cを符号Cで表している。
図28に示されているように、実施の形態1では、図15に示されているXY平面におけるX軸の正方向を0°とした場合における、歩行者101の進行方向の角度範囲と、回転移動させる対象となる床ロボット130である対象床ロボットと、対象床ロボットの回転数と、対象床ロボットの回転方向とが予め決められている。
この角度範囲の各々は、床ロボット130A〜130Cの外側の点P1〜点P12の各々を含むように設定されているものとする。
そして、床ロボット誘導部114は、新たな中心点に基づいて、図15に示されているようなXY平面を新たに設定し、歩行者の進行方向に基づいて、対象床ロボットを回転移動させる。このような処理を繰り返すことで、歩行者101は、一箇所に留まりながら、自然な歩行感覚を得ることができる。
HMD150は、静止状態における頭部姿勢データを取得するため、ヨー軸(Yaw)、ピッチ軸(Pitch)及びロール軸(Roll)における加速度を検出する加速度センサと、これらの3軸における角速度とを検出する角速度センサを内蔵する。
例えば、図30に示されているように、HMD150に対して、ヨー軸、ピッチ軸及びロール軸が設定されているものとする。
そして、HMD150は、ヨー軸、ピッチ軸及びロール軸における加速度及び角速度を示す頭部姿勢データを、情報処理装置110に送信するものとする。
次に、映像制御部115は、取得された頭部姿勢データに含まれているヨー軸の角速度から頭部の水平方向が変化したか否かを判断する(S41)。頭部の水平方向が変化していない場合(S41でNo)には、処理はステップS42に進み、頭部の水平方向が変化している場合(S41でYes)には、処理はステップS44に進む。
次に、映像制御部115は、ステップS42で推定された歩行者の進行方向を、予測遅延時間後の視線方向とする(S43)。そして、処理はステップS46に進む。
ここで、予測遅延時間は、描画を開始してから、言い換えると、映像データの生成を開始してから、実際にHMD150に3D映像が表示されるまでの遅延時間である。遅延時間は、CPUの処理性能、グラフィックス処理能力、3Dモデルのポリゴン数、テクスチャマップ画像の有無、メモリ容量、HMD150の表示解像度及び映像の通信状態等、様々な要因に依存する。そのため、予測遅延時間は、情報処理システム100毎に予測しておく必要がある。
そして、映像制御部115は、算出された視線方向及び視点位置から、仮想空間の3D映像を描画する(S47)。ここでは、映像制御部115は、HMD150のレンズ歪み等に起因する各種補正処理も同時に行う。
そして、映像制御部115は、通信部117を介して、生成した3D映像の映像データをHMD150に送信する(S48)。以上により、HMD150は、歩行動作と、頭部の動きとに同期した遅延のない仮想空間の3D映像を表示することができ、VR酔いが発生しにくい滑らかな表示を実現することができる。
図31は、実施の形態2に係る情報処理システム200の構成を概略的に示すブロック図である。
情報処理システム200は、情報処理装置210と、床ロボット群120と、HMD150と、モーダル出力装置160と、情報サーバ280と、リモートコントローラ(以下、リモコンという)290とを備える。
実施の形態2に係る情報処理システム200の床ロボット群120、HMD150及びモーダル出力装置160は、実施の形態1に係る情報処理システム100の床ロボット群120、HMD150及びモーダル出力装置160と同様である。
実施の形態2における情報処理装置210の通信部117は、実施の形態1における情報処理装置110の通信部117と同様である。
例えば、床ロボット誘導部214は、歩行者の歩行データを生成して、生成された歩行データを、通信部117を介して情報サーバ280に送信する。そして、床ロボット誘導部214は、通信部117を介して、情報サーバ280に記憶されている歩行データを参照して、床ロボット130の直線移動及び回転移動を制御する。
3Dモデルデータ記憶部282は、複数の3Dモデルデータを記憶する。
モーダル紐付け辞書記憶部283は、複数のモーダル紐付け辞書を記憶する。
具体的には、3Dモデル切替部284は、リモコン通信部285を介して、リモコン290に入力された3Dモデルの切り替え指示(選択指示)を取得して、その切り替え指示により表示することが選択された3Dモデルに対応する1つの3Dモデルデータ及び1つのモーダル紐付け辞書を、3Dモデルデータ記憶部282及びモーダル紐付け辞書記憶部283からそれぞれ読み出す。そして、3Dモデル切替部284は、読み出された3Dモデルデータ及びモーダル紐付け辞書を、通信部286を介して、情報処理装置210に送る。
なお、歩行データ記憶部281、3Dモデルデータ記憶部282及びモーダル紐付け辞書記憶部283は、図示してはいないHDD等の不揮発性のメモリをプロセッサ11が利用することにより実現することができる。
また、リモコン通信部285は、図示してはいない、赤外線通信等の無線通信を行うことのできる無線通信装置をプロセッサ11が利用することにより実現することができる。
さらに、通信部286は、図示してはいない、無線LAN等において通信を行うことのできる無線通信装置をプロセッサ11が利用することにより実現することができる。
一般にエレベータかご20の内装は、操作盤、階数の表示器、壁、扉、天井及び床から構成されている。バリアフリー用途には、手すり及び鏡等が装着される場合もある。
図34(a)〜(f)に示されているように、天井22a〜22fの照明も、フラット証明23、ダウンライト照明24a〜24d、傾斜型照明25a、25b、間接光照明26a、26b、中央アーチ照明27a、27b及びガラスクロス全面光照明28等が存在する。
そこで、図32に示されているように、実施の形態2に係る情報処理システム200を用いることにより、実際に、ビルのオーナが歩行しながら様々な方向及び角度から見ることができる。これにより、ビルのオーナは、現実に近い形でデザインを確認することができる。デザインの変更作業には、リモコン290が用いられ、指定した部品の3Dモデルを3Dモデルデータ記憶部282から、情報処理装置210に読み込むことにより、デザインを瞬時に切り替えて表示することができる。
図36は、モーダル紐付け辞書の一例を示す概略図である。
モーダル紐付け辞書281aには、場所281b毎に、範囲281c、イベント281d、照明及び明るさ281e、香り281f、温風又は冷風281g等が登録される。
なお、場所281b及び範囲281cにより、モーダル出力が行われる仮想空間における領域が示される。
また、かごAでは、暗めの間接照明で、空調により室温が低めに設定されており(冷風)、10:03に停電が発生し、緊急照明に切り替わる同時に緊急情報がアナウンスされた後に、かごAがフロアに到着して、チャイム音が鳴ると同時にドアが開閉する。
店舗40には、レジカウンター41と、商品陳列棚42、43とが設置されている。
商品陳列棚42には、化粧品コーナー44がある。そのため、歩行者が化粧品コーナー44を含む予め定められた領域45に入った場合に、モーダル制御部216は、モーダル出力装置160に化粧品の香りを放出させる。これにより床ロボット群120に載っている歩行者に実際に化粧品があるかのような演出効果を与えることができる。
Claims (10)
- 3台の移動体及び当該3台の移動体の各々を制御する情報処理装置を備える情報処理システムであって、
前記3台の移動体の各々は、
上方から見た場合に6つの頂点を有する正6角形に形成され、上面に歩行者を載せることのできる本体と、
前記上面に前記歩行者が載った場合に、前記上面にかかる圧力を検出する圧力センサと、
前記本体の下に取り付けられた複数の車輪と、
前記複数の車輪の内の少なくとも2個の車輪に駆動力を与える駆動部と、
前記情報処理装置からの制御に応じて、前記少なくとも2個の車輪及び前記駆動部を制御することで、前記本体を任意の方向に直線移動させるとともに、前記6つの頂点の各々における垂直線を軸にして、前記本体を回転移動させる移動体制御部と、を備え、
前記3台の移動体の各々は、前記3台の移動体の各々から一つずつ選択された3つの頂点が対向している位置が中心点となるように、他の2台の移動体と隣接し、
前記情報処理装置は、
前記歩行者が歩いた場合に、前記圧力に基づいて、前記歩行者の進行方向及び歩行速度を特定し、当該特定された進行方向とは逆方向に、当該特定された歩行速度で、前記3台の移動体を直線移動させるとともに、前記3つの頂点を除いて、当該特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定し、当該対象頂点の位置が新たな中心点となるように、前記3台の移動体の内の少なくとも何れか1台の移動体を回転移動させる移動体誘導部を備えること
を特徴とする情報処理システム。 - 前記移動体制御部は、前記軸において、前記本体を120°回転させること
を特徴とする請求項1に記載の情報処理システム。 - 前記移動体誘導部は、前記歩行者を頂点とする予め定められた複数の角度範囲から、前記進行方向を含む角度範囲を特定し、前記6つの頂点の内、当該特定された角度範囲に含まれる1つの頂点を、前記対象頂点として特定すること
を特徴とする請求項1又は2に記載の情報処理システム。 - 前記情報処理装置からの制御に応じて、仮想空間の立体映像を表示するディスプレイ装置をさらに備え、
前記情報処理装置は、
前記特定された進行方向及び前記特定された歩行速度に基づいて、前記仮想空間における前記歩行者の位置を特定し、当該特定された位置に対応する前記立体映像を前記ディスプレイ装置に表示させる映像制御部をさらに備えること
を特徴とする請求項1から3の何れか一項に記載の情報処理システム。 - 前記情報処理装置は、
前記仮想空間において前記歩行者の視点から見た前記立体映像の映像データを生成するための立体モデルデータを記憶する立体モデルデータ記憶部をさらに備え、
前記映像制御部は、前記立体モデルデータを参照して、前記映像データを生成し、
前記ディスプレイ装置は、前記映像データに従って、前記立体映像を表示すること
を特徴とする請求項4に記載の情報処理システム。 - 前記映像制御部には、前記映像データの生成を開始してから、前記立体映像が前記ディスプレイ装置に表示されるまでの遅延時間が予め設定されており、
前記映像制御部は、前記仮想空間において、前記特定された位置から、前記特定された進行方向に、前記特定された歩行速度で、前記遅延時間歩行した後の位置における前記映像データを生成すること
を特徴とする請求項5に記載の情報処理システム。 - 前記歩行者からの指示の入力を受け付けるリモートコントローラをさらに備え、
前記立体モデルデータ記憶部は、複数の前記立体モデルデータを記憶し、
前記情報処理装置は、前記リモートコントローラが入力を受け付けた指示に応じて、前記複数の立体モデルデータから、1つの立体モデルデータを選択する立体モデル選択部をさらに備え、
前記映像制御部は、前記選択された立体モデルデータを参照して、前記映像データを生成すること
を特徴とする請求項5又は6に記載の情報処理システム。 - 前記歩行者の視覚以外の感覚を刺激する感覚刺激装置をさらに備え、
前記情報処理装置は、前記特定された位置に応じて、前記感覚刺激装置に前記感覚を刺激させる刺激制御部をさらに備えること
を特徴とする請求項4から7の何れか一項に記載の情報処理システム。 - 前記情報処理装置は、
予め定められた領域毎に、イベント、明るさ、香りの種類及び室温の少なくとも何れか一つの内容を特定した辞書データを記憶する辞書データ記憶部をさらに備え、
前記刺激制御部は、前記特定された位置が前記予め定められた領域に含まれる場合には、前記辞書データで特定される内容に応じて前記感覚刺激装置に前記感覚を刺激させること
を特徴とする請求項8に記載の情報処理システム。 - 3台の移動体、当該3台の移動体の各々を制御する情報処理装置、当該情報処理装置に情報を提供する情報サーバ、当該情報処理装置からの制御に応じて映像を表示するディスプレイ装置及び歩行者からの指示の入力を受け付けるリモートコントローラを備える情報処理システムであって、
前記3台の移動体の各々は、
上方から見た場合に6つの頂点を有する正6角形に形成され、上面に前記歩行者を載せることのできる本体と、
前記上面に前記歩行者が載った場合に、前記上面にかかる圧力を検出する圧力センサと、
前記本体の下に取り付けられた複数の車輪と、
前記複数の車輪の内の少なくとも2個の車輪に駆動力を与える駆動部と、
前記情報処理装置からの制御に応じて、前記少なくとも2個の車輪及び前記駆動部を制御することで、前記本体を任意の方向に直線移動させるとともに、前記6つの頂点の各々における垂直線を軸にして、前記本体を回転移動させる移動体制御部と、を備え、
前記3台の移動体の各々は、前記3台の移動体の各々から一つずつ選択された3つの頂点が対向している位置が中心点となるように、他の2台の移動体と隣接し、
前記情報サーバは、
各々が仮想空間において前記歩行者の視点から見た立体映像の映像データを生成するために用いられる、複数の立体モデルデータを記憶する立体モデルデータ記憶部と、
前記リモートコントローラが入力を受け付けた指示に応じて、前記複数の立体モデルデータから、1つの立体モデルデータを選択する立体モデル選択部と、を備え、
前記情報処理装置は、
前記歩行者が歩いた場合に、前記圧力に基づいて、前記歩行者の進行方向及び歩行速度を特定し、当該特定された進行方向とは逆方向に、当該特定された歩行速度で、前記3台の移動体を直線移動させるとともに、前記3つの頂点を除いて、当該特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定し、当該対象頂点の位置が新たな中心点となるように、前記3台の移動体の内の少なくとも何れか1台の移動体を回転移動させる移動体誘導部と、
前記特定された進行方向及び前記特定された歩行速度に基づいて、前記仮想空間における前記歩行者の位置を特定し、前記選択された立体モデルデータを参照して、当該特定された位置に対応する前記立体映像の前記映像データを生成する映像制御部と、を備え、
前記ディスプレイ装置は、前記映像制御部により生成された前記映像データに従って、前記立体映像を表示すること
を特徴とする情報処理システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/008199 WO2018158896A1 (ja) | 2017-03-01 | 2017-03-01 | 情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6526367B2 true JP6526367B2 (ja) | 2019-06-05 |
JPWO2018158896A1 JPWO2018158896A1 (ja) | 2019-06-27 |
Family
ID=63369842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019502373A Expired - Fee Related JP6526367B2 (ja) | 2017-03-01 | 2017-03-01 | 情報処理システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11474534B2 (ja) |
JP (1) | JP6526367B2 (ja) |
CN (1) | CN110337681B (ja) |
DE (1) | DE112017006958B4 (ja) |
WO (1) | WO2018158896A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11244483B2 (en) * | 2018-10-31 | 2022-02-08 | Facebook Technologies, Llc | Systems and methods for modifying a safety boundary for virtual reality systems |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3493708B2 (ja) * | 1994-01-21 | 2004-02-03 | ヤマハ株式会社 | 歩行模擬装置およびその制御方法並びに予測制御方法 |
JP3170638B2 (ja) * | 1996-08-08 | 2001-05-28 | 谷 白糸 | 仮想現実体験装置 |
CA2263592A1 (en) * | 1996-08-27 | 1998-03-05 | David E.E. Carmein | Omni-directional treadmill |
US6152854A (en) * | 1996-08-27 | 2000-11-28 | Carmein; David E. E. | Omni-directional treadmill |
RU2120664C1 (ru) * | 1997-05-06 | 1998-10-20 | Нурахмед Нурисламович Латыпов | Система для погружения пользователя в виртуальную реальность |
IT1292629B1 (it) * | 1997-06-18 | 1999-02-08 | Technogym Srl | Macchina ginnica a tappeto scorrevole. |
JP2923493B1 (ja) | 1998-03-09 | 1999-07-26 | 株式会社エイ・ティ・アール知能映像通信研究所 | 歩行感覚生成装置 |
JP3200592B2 (ja) * | 1999-01-14 | 2001-08-20 | 株式会社エイ・ティ・アール知能映像通信研究所 | 歩行感覚生成装置 |
US6135928A (en) * | 1999-08-20 | 2000-10-24 | Butterfield; Anthony | Virtual reality equipment |
JP3732168B2 (ja) * | 2001-12-18 | 2006-01-05 | 株式会社ソニー・コンピュータエンタテインメント | 仮想世界におけるオブジェクトの表示装置、表示システム及び表示方法、ならびにそれらを利用可能な仮想世界における地価及び広告料の設定方法 |
JP4313633B2 (ja) * | 2003-09-09 | 2009-08-12 | 洋夫 岩田 | 全方向歩行感覚呈示装置 |
JP2008220580A (ja) | 2007-03-12 | 2008-09-25 | Univ Of Tsukuba | 没入歩行感覚呈示装置 |
CN201308742Y (zh) * | 2008-09-30 | 2009-09-16 | 郭偲 | 一种真人场景跑步机 |
JP4433424B1 (ja) * | 2009-04-04 | 2010-03-17 | 幸春 濱口 | 読書学習可能な室内歩行運動及びリハビリ装置。 |
MX2012010238A (es) * | 2010-03-05 | 2013-01-18 | Sony Comp Entertainment Us | Mantenimiento de vistas multiples en un espacio virtual estable compartido. |
CN102651179A (zh) * | 2011-02-24 | 2012-08-29 | 本田技研工业株式会社 | 骑行模拟器 |
CN102357284B (zh) * | 2011-10-18 | 2013-05-22 | 中国科学院合肥物质科学研究院 | 智能化跑步机 |
CN102542873B (zh) * | 2012-01-10 | 2014-04-16 | 中国人民解放军92995部队 | 一种全方位行走跟踪装置及基于该装置的虚拟交互*** |
JP5213086B1 (ja) * | 2012-02-24 | 2013-06-19 | フューコム株式会社 | 運動補助装置 |
CN103284662B (zh) * | 2012-03-02 | 2016-09-21 | 恩斯迈电子(深圳)有限公司 | 清扫***及其控制方法 |
TW201347809A (zh) * | 2012-05-24 | 2013-12-01 | Cycling & Health Tech Ind R&D | 自由步態訓練機 |
RU2769529C2 (ru) | 2012-10-24 | 2022-04-01 | Ян ГЁТГЕЛУК | Локомоционная система для виртуальной реальности и оболочка для ступни для использования с такой системой |
KR102093177B1 (ko) * | 2013-10-31 | 2020-03-25 | 엘지전자 주식회사 | 이동 로봇 및 그 동작방법 |
JP5824537B2 (ja) * | 2014-01-16 | 2015-11-25 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
CN106687182A (zh) * | 2014-11-21 | 2017-05-17 | Vr移动地面有限责任公司 | 用于与虚拟现实***进行交互的移动地板及其使用 |
CN204189337U (zh) * | 2014-11-25 | 2015-03-04 | 张恺 | 用于思想政治教学中基于路况模拟的行走姿态监测装置 |
KR102311571B1 (ko) * | 2015-02-23 | 2021-10-13 | 큐렉소 주식회사 | 햅틱 기능을 결합한 가상 현실을 제공하는 보행재활 장치 |
CN105151193B (zh) * | 2015-09-30 | 2018-08-21 | 东阳市新意工业产品设计有限公司 | 基于人体重力感应控制行车速度和方向的体感车及方法 |
CN105617605B (zh) * | 2016-04-18 | 2017-09-29 | 成润泽 | 一种智能全向跑步机 |
CN205832573U (zh) * | 2016-06-19 | 2016-12-28 | 上海盟云移软网络科技股份有限公司 | 一种虚拟现实的游戏操控装置 |
CN106178399A (zh) * | 2016-08-30 | 2016-12-07 | 喻明 | 一种万向跑步机 |
CN106422169B (zh) * | 2016-09-19 | 2019-02-01 | 上海大学 | 一种随动式减重下肢康复训练移动平台 |
-
2017
- 2017-03-01 WO PCT/JP2017/008199 patent/WO2018158896A1/ja active Application Filing
- 2017-03-01 JP JP2019502373A patent/JP6526367B2/ja not_active Expired - Fee Related
- 2017-03-01 DE DE112017006958.0T patent/DE112017006958B4/de not_active Expired - Fee Related
- 2017-03-01 CN CN201780087406.XA patent/CN110337681B/zh not_active Expired - Fee Related
- 2017-03-01 US US16/479,857 patent/US11474534B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2018158896A1 (ja) | 2019-06-27 |
CN110337681B (zh) | 2021-08-10 |
US20210333798A1 (en) | 2021-10-28 |
US11474534B2 (en) | 2022-10-18 |
WO2018158896A1 (ja) | 2018-09-07 |
DE112017006958B4 (de) | 2021-03-04 |
CN110337681A (zh) | 2019-10-15 |
DE112017006958T5 (de) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6979475B2 (ja) | ヘッドマウントディスプレイ追跡 | |
RU2754992C2 (ru) | Система аттракционов для катания, способ предоставления дополненного восприятия в аттракционах парка развлечений и система управления катанием и игрой | |
JP6422137B2 (ja) | ヘッドマウントディスプレイのための知覚に基づく予測追跡 | |
JP6761340B2 (ja) | シミュレーションシステム及びプログラム | |
JP4083684B2 (ja) | 画像処理システムおよび画像処理装置 | |
US20170352188A1 (en) | Support Based 3D Navigation | |
JP6558839B2 (ja) | 媒介現実 | |
JP6630607B2 (ja) | シミュレーション制御装置及びシミュレーション制御プログラム | |
CN105359063A (zh) | 利用追踪的头戴式显示器 | |
WO2017090373A1 (ja) | 画像表示方法及びプログラム | |
US9996149B1 (en) | Method for one-touch translational navigation of immersive, virtual reality environments | |
KR20180040634A (ko) | 정보 처리 장치 | |
JP6200023B1 (ja) | シミュレーション制御装置及びシミュレーション制御プログラム | |
KR20160014601A (ko) | 다수의 3d 디스플레이들에 대해 오브젝트를 렌더링하기 위한 방법 및 장치 | |
EP3364270A1 (en) | Information processing device and information processing method | |
JP6526367B2 (ja) | 情報処理システム | |
JP7351638B2 (ja) | 画像生成装置、画像表示システム、および情報提示方法 | |
JP6625467B2 (ja) | シミュレーション制御装置及びシミュレーション制御プログラム | |
CN111279410B (zh) | 显示设备和显示设备控制方法 | |
KR20190014894A (ko) | 가상 현실 기반의 고인 맞춤형 추모 시스템 | |
JP2020057399A (ja) | シミュレーション制御装置及びシミュレーション制御プログラム | |
Zhang et al. | Binocular vision sensor (Kinect)-based pedestrian following mobile robot | |
US20230092395A1 (en) | Physical object integration with extended reality environments | |
JP6821832B2 (ja) | シミュレーション制御装置及びシミュレーション制御プログラム | |
WO2016057997A1 (en) | Support based 3d navigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190207 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190207 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190320 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6526367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |