JP6526367B2 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
JP6526367B2
JP6526367B2 JP2019502373A JP2019502373A JP6526367B2 JP 6526367 B2 JP6526367 B2 JP 6526367B2 JP 2019502373 A JP2019502373 A JP 2019502373A JP 2019502373 A JP2019502373 A JP 2019502373A JP 6526367 B2 JP6526367 B2 JP 6526367B2
Authority
JP
Japan
Prior art keywords
information processing
pedestrian
video
processing system
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2019502373A
Other languages
English (en)
Other versions
JPWO2018158896A1 (ja
Inventor
加藤 義幸
義幸 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6526367B2 publication Critical patent/JP6526367B2/ja
Publication of JPWO2018158896A1 publication Critical patent/JPWO2018158896A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02Stretching or bending or torsioning apparatus for exercising
    • A61H1/0237Stretching or bending or torsioning apparatus for exercising for the lower limbs
    • A61H1/0255Both knee and hip of a patient, e.g. in supine or sitting position, the feet being moved together in a plane substantially parallel to the body-symmetrical plane
    • A61H1/0262Walking movement; Appliances for aiding disabled persons to walk
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00Amusement arrangements
    • A63G31/02Amusement arrangements with moving substructures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12Driving means
    • A61H2201/1207Driving means with electric or magnetic drive
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • A61H2201/5071Pressure sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5097Control means thereof wireless
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2203/00Additional characteristics concerning the patient
    • A61H2203/04Position of the patient
    • A61H2203/0406Standing on the feet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Rehabilitation Tools (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理システムに関し、特に、3台の移動体及び3台の移動体の各々を制御する情報処理装置を備える情報処理システムに関する。
利用者の位置を変えずに、利用者が歩行した感覚を得られるようにする装置が従来から提供されている。
例えば、特許文献1には、歩行者を載せた可動床を、歩行者の進行方向と逆方向に動かすとともに、歩行者を載せ終わった可動床を歩行者の進行方向に動かして歩行者の前方に戻す循環移動を可動床に行わせることにより、歩行者が前進することなく狭い空間で歩行動作を行うことができるようにした全方向歩行感覚呈示装置が開示されている。
特許第4313633号公報
特許文献1に記載された全方向歩行感覚呈示装置における可動床は四角形であるため、移動の自由度が高い反面、歩く向きに応じた制御が非常に複雑である。さらに、可動床の周辺には複数の位置検出センサが必要なため、設置空間が大きくなり、コストも高くなる。
そこで、本発明は、歩行者の歩く方向に移動させる移動体を、歩行者の歩く向きに応じて容易に制御できるようにすることを目的とする。
本発明の第1の態様に係る情報処理システムは、3台の移動体及び当該3台の移動体の各々を制御する情報処理装置を備える情報処理システムであって、前記3台の移動体の各々は、上方から見た場合に6つの頂点を有する正6角形に形成され、上面に歩行者を載せることのできる本体と、前記上面に前記歩行者が載った場合に、前記上面にかかる圧力を検出する圧力センサと、前記本体の下に取り付けられた複数の車輪と、前記複数の車輪の内の少なくとも2個の車輪に駆動力を与える駆動部と、前記情報処理装置からの制御に応じて、前記少なくとも2個の車輪及び前記駆動部を制御することで、前記本体を任意の方向に直線移動させるとともに、前記6つの頂点の各々における垂直線を軸にして、前記本体を回転移動させる移動体制御部と、を備え、前記3台の移動体の各々は、前記3台の移動体の各々から一つずつ選択された3つの頂点が対向している位置が中心点となるように、他の2台の移動体と隣接し、前記情報処理装置は、前記歩行者が歩いた場合に、前記圧力に基づいて、前記歩行者の進行方向及び歩行速度を特定し、当該特定された進行方向とは逆方向に、当該特定された歩行速度で、前記3台の移動体を直線移動させるとともに、前記3つの頂点を除いて、当該特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定し、当該対象頂点の位置が新たな中心点となるように、前記3台の移動体の内の少なくとも何れか1台の移動体を回転移動させる移動体誘導部を備えることを特徴とする。
本発明の第2の態様に係る情報処理システムは、3台の移動体、当該3台の移動体の各々を制御する情報処理装置、当該情報処理装置に情報を提供する情報サーバ、当該情報処理装置からの制御に応じて映像を表示するディスプレイ装置及び歩行者からの指示の入力を受け付けるリモートコントローラを備える情報処理システムであって、前記3台の移動体の各々は、上方から見た場合に6つの頂点を有する正6角形に形成され、上面に前記歩行者を載せることのできる本体と、前記上面に前記歩行者が載った場合に、前記上面にかかる圧力を検出する圧力センサと、前記本体の下に取り付けられた複数の車輪と、前記複数の車輪の内の少なくとも2個の車輪に駆動力を与える駆動部と、前記情報処理装置からの制御に応じて、前記少なくとも2個の車輪及び前記駆動部を制御することで、前記本体を任意の方向に直線移動させるとともに、前記6つの頂点の各々における垂直線を軸にして、前記本体を回転移動させる移動体制御部と、を備え、前記3台の移動体の各々は、前記3台の移動体の各々から一つずつ選択された3つの頂点が対向している位置が中心点となるように、他の2台の移動体と隣接し、前記情報サーバは、各々が仮想空間において前記歩行者の視点から見た立体映像の映像データを生成するために用いられる、複数の立体モデルデータを記憶する立体モデルデータ記憶部と、前記リモートコントローラが入力を受け付けた指示に応じて、前記複数の立体モデルデータから、1つの立体モデルデータを選択する立体モデル選択部と、を備え、前記情報処理装置は、前記歩行者が歩いた場合に、前記圧力に基づいて、前記歩行者の進行方向及び歩行速度を特定し、当該特定された進行方向とは逆方向に、当該特定された歩行速度で、前記3台の移動体を直線移動させるとともに、前記3つの頂点を除いて、当該特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定し、当該対象頂点の位置が新たな中心点となるように、前記3台の移動体の内の少なくとも何れか1台の移動体を回転移動させる移動体誘導部と、前記特定された進行方向及び前記特定された歩行速度に基づいて、前記仮想空間における前記歩行者の位置を特定し、前記選択された立体モデルデータを参照して、当該特定された位置に対応する前記立体映像の前記映像データを生成する映像制御部と、を備え、前記ディスプレイ装置は、前記映像制御部により生成された前記映像データに従って、前記立体映像を表示することを特徴とする。
本発明の一態様によれば、正六角形の移動体を使用することにより、歩行者の歩く方向に移動させる移動体を、歩行者の歩く向きに応じて容易に制御することができる。
実施の形態1に係る情報処理システムの構成を概略的に示すブロック図である。 実施の形態1における医学的な歩行モデルを説明するための概略図である。 実施の形態1における医学的な歩行モデルの歩幅を説明するための概略図である。 実施の形態1における医学的な歩行モデルの足隔を説明するための概略図である。 (a)〜(c)は、実施の形態1における医学的な歩行モデルの着地を説明するための概略図である。 実施の形態1におけるハードウェア構成を概略的に示すブロック図である。 実施の形態1における床ロボットのアーキテクチャを概略的に示すブロック図である。 実施の形態1における床ロボットの下面図である。 実施の形態1における床ロボットの上面図である。 実施の形態1における床ロボットのカメラでの撮像方法を説明するための概略図である。 実施の形態1における床ロボットの側面図である。 実施の形態1における制御基板の構成を概略的に示すブロック図である。 実施の形態1に係る情報処理システムでの処理を示すフローチャートである。 実施の形態1における床ロボット誘導処理を示すフローチャートである。 実施の形態1における回転移動アルゴリズムを示す第1の概略図である。 実施の形態1における回転移動アルゴリズムを示す第2の概略図である。 実施の形態1における回転移動アルゴリズムを示す第3の概略図である。 実施の形態1における回転移動アルゴリズムを示す第4の概略図である。 実施の形態1における回転移動アルゴリズムを示す第5の概略図である。 実施の形態1における回転移動アルゴリズムを示す第6の概略図である。 実施の形態1における回転移動アルゴリズムを示す第7の概略図である。 実施の形態1における回転移動アルゴリズムを示す第8の概略図である。 実施の形態1における回転移動アルゴリズムを示す第9の概略図である。 実施の形態1における回転移動アルゴリズムを示す第10の概略図である。 実施の形態1における回転移動アルゴリズムを示す第11の概略図である。 実施の形態1における回転移動アルゴリズムを示す第12の概略図である。 実施の形態1における回転移動アルゴリズムを示す第13の概略図である。 実施の形態1における回転移動アルゴリズムをまとめた表である。 実施の形態1における3D映像の予測描画処理を示すフローチャートである。 実施の形態1におけるHMDのヨー軸、ピッチ軸及びロール軸を説明する概略図である。 実施の形態2に係る情報処理システムの構成を概略的に示すブロック図である。 実施の形態2に係る情報処理システムをエレベータかごのデザインの選定及び確認に適用した例を説明するための概略図である。 (a)〜(c)は、エレベータかごの操作盤の選択例を説明するための概略図である。 (a)〜(f)は、エレベータかごの天井の照明の選択例を説明するための概略図である。 実施の形態2に係る情報処理システムの利用方法を説明するための概略図である。 実施の形態2におけるモーダル紐付け辞書の一例を示す概略図である。 実施の形態2に係る情報処理システムを店舗のレイアウトの確認に適用した例を説明するための概略図である。
実施の形態1.
図1は、実施の形態1に係る情報処理システム100の構成を概略的に示すブロック図である。
情報処理システム100は、情報処理装置110と、移動体群としての床ロボット群120と、HMD(Head Mounted Display)150と、モーダル出力装置160とを備える。
情報処理システム100は、床ロボット群120により歩行者の歩く動作を相殺し、歩行動作に同期した仮想空間の映像を歩行者に提供する。
情報処理装置110は、歩行データ記憶部111と、3D(Three−Dimensional)モデルデータ記憶部112と、モーダル紐付け辞書記憶部113と、床ロボット誘導部114と、映像制御部115と、モーダル制御部116と、通信部117とを備える。
情報処理装置110は、床ロボット群120、HMD150及びモーダル出力装置160を制御する。
歩行データ記憶部111は、床ロボット群120の上を歩行者が歩いた場合に、歩行者の足から床ロボット群120にかかる圧力のかかり方を示す歩行データを記憶する。
3Dモデルデータ記憶部112は、仮想空間において歩行者の視点から見た3D映像(立体映像)の映像データを生成するために必要な3Dモデルデータ(立体モデルデータ)を記憶する立体モデルデータ記憶部である。
モーダル紐付け辞書記憶部113は、3Dモデルデータ記憶部112に記憶されている3Dモデルデータの仮想空間において、歩行者の視覚以外の感覚を刺激する領域と、刺激する内容とを示すモーダル紐付け辞書(辞書データ)を記憶する辞書データ記憶部である。例えば、モーダル紐付け辞書は、予め定められた領域毎に、イベント、明るさ、香りの種類及び室温の少なくとも何れか一つの内容を特定する。
床ロボット誘導部114は、歩行者の歩行速度及び進行方向に応じて、床ロボット群120に含まれる複数の床ロボット130A、130B、130Cの誘導を行う移動体誘導部である。
例えば、床ロボット誘導部114は、歩行者の歩行データを取得して、取得された歩行データを歩行データ記憶部111に記憶する。そして、床ロボット誘導部114は、歩行データ記憶部111に記憶されている歩行データを参照して、床ロボット130A、130B、130Cの直線移動及び回転移動を制御する。
一般に、人間は、図2に示すような医学的な歩行モデルに基づいて歩行することが知られている。この医学的な歩行モデルについては、例えば、Jacqeline Perry著、武田功監訳、「ペリー歩行分析 正常歩行と異常歩行」、医歯薬出版、2007年に記載されている。
図2に示されているように、通常、右歩幅と左歩幅とは同じ長さで、左足と右足との横方向間隔である足隔も、歩行中は一定の長さである。
しかし、図3に示されているように、歩幅が左右で異なる人も存在する。
また、図4に示されているように、足隔も歩行中に変化し、体の重心が左右にずれる人もいる。
図5(a)に示されているように、通常、足の着地は、踵から接地する。また、離床は、踵から発生しつま先が最後に離れるのが一般的である。
但し、図5(b)に示されているように、足全体で着床する人も存在し、図5(c)に示されているように、つま先から着床する人も存在する。
図1に戻り、床ロボット誘導部114は、以上に記載されているように、歩行者に特有な歩行クセ及び特徴を示す歩行データを、後述する床ロボット群120の何れか一つの表面に内蔵された圧力センサを用いて事前に取得し、歩行の速度及び向きを推定するために使用する。
映像制御部115は、床ロボット群120の上を歩く歩行者の進行方向及び歩行速度を特定し、特定された進行方向及び歩行速度に基づいて、仮想空間における歩行者の位置を特定する。そして、映像制御部115は、特定された位置に対応する3D映像をHMD150に表示させる。
例えば、映像制御部115は、3Dモデルデータ記憶部112に記憶されている3Dモデルデータを参照して、仮想空間における歩行者の視点から見た3D映像の映像データを生成し、その映像データをHMD150に送信する。HMD150は、映像データに基づいて、仮想空間における3D映像を表示する。
モーダル制御部116は、仮想空間における歩行者の位置に応じて、モーダル出力装置160に、歩行者の感覚を刺激させる刺激制御部である。
例えば、モーダル制御部116は、モーダル紐付け辞書記憶部113に記憶されているモーダル紐付け辞書に基づいて、歩行者の視覚以外の感覚を刺激するための刺激出力データを生成し、その刺激出力データをモーダル出力装置160に送信する。
モーダル出力装置160は、刺激出力データに従って、歩行者の視覚以外の感覚を刺激する感覚刺激装置である。
通信部117は、床ロボット群120、HMD150及びモーダル出力装置160と通信を行う。
以上に記載された床ロボット誘導部114、映像制御部115及びモーダル制御部116は、例えば、図6に示されているように、メモリ10と、メモリ10に格納されているプログラムを実行するCPU(Central Processing Unit)等のプロセッサ11とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて、例えば、プログラムプロダクトとして提供されてもよい。
なお、歩行データ記憶部111、3Dモデルデータ記憶部112及びモーダル紐付け辞書記憶部113は、図示してはいないHDD(Hard Disk Drive)等の不揮発性のメモリをプロセッサ11が利用することにより実現することができる。
また、通信部117は、図示してはいない、無線LAN等において通信を行うことのできる無線通信装置をプロセッサ11が利用することにより実現することができる。
床ロボット群120は、3台の床ロボット130A、130B、130Cにより構成されている。
3台の床ロボット130A、130B、130Cは、同様に構成されているため、各々を特に区別する必要がない場合には、床ロボット130という。
床ロボット130は、歩行者を載せて移動する移動体として機能する。
図7は、床ロボット130のアーキテクチャを概略的に示すブロック図である。
床ロボット130は、モータ駆動系131と、センサ部132と、通信部133と、床ロボット制御部134とを備える。
モータ駆動系131は、床ロボット制御部134からの指示に応じて、床ロボット130に駆動力を提供する駆動部である。
センサ部132は、床ロボット130で検出する各種センサである。
通信部133は、無線を用いて、情報処理装置110と通信を行う。
床ロボット制御部134は、情報処理装置110からの制御に応じて、床ロボット130の動作を制御する移動体制御部である。
図8は、床ロボット130の下面図である。
床ロボット130は、本体135と、車輪136A、136B、136C、136D、136E、136Fと、制御基板137とを備える。
実施の形態1においては、本体135の下面135aは、正6角形に形成されている。
床ロボット130の下には、複数の車輪136A、136B、136C、136D、136E、136Fが取り付けられている。実施の形態1では、6個の車輪136A、136B、136C、136D、136E、136Fが、本体135の下面135aの各頂点に対応する位置に配置されている。6個の車輪136A、136B、136C、136D、136E、136Fは、図8に示されているXY平面に垂直な方向に延びる第1の軸線と、XY平面と平行な方向に延びる第2の軸線との周りを回転自在にされている。
6個の車輪136A、136B、136C、136D、136E、136Fの各々を特に区別する必要がない場合には、車輪136という。
また、6個の車輪136A、136B、136C、136D、136E、136Fの内の二つの車輪136A、136Dには、モータ駆動系131から駆動力が与えられている。このように、床ロボット130は、2輪駆動方式により任意方向の直線移動と回転移動とを行うことができる。例えば、6つの頂点の各々における垂直線を軸にして、本体135を回転移動させることができる。
なお、実施の形態1では、6個の車輪136A、136B、136C、136D、136E、136Fが設けられているが、車輪136の数は、6個に限定されるものではない。例えば、車輪136は、3個以上あればよい。
また、実施の形態1では、2個の車輪136A、136Dに駆動力が与えられているが、3個以上の車輪136に駆動力が与えられてもよい。
制御基板137は、本体135の内部に設けられており、床ロボット制御部134を実現する。制御基板137は、モータ駆動系131から駆動力が与えられている二つの車輪136A、136Dの第1の軸線及び第2の軸線における回転を制御することで、床ロボット130の直線移動及び回転移動を制御する。
図9は、床ロボット130の上面図である。
本体135は、上方から見た場合に6つの頂点を有する正6角形に形成されている。実施の形態1では、本体135は、上面135b及び下面135aが正六角形の同じ形状に形成されている。本体135の上面135bは、歩行者を載せることができるようにされている。本体135の上面135bは、上面135bに載った歩行者が1歩〜数歩歩くことができる程度の大きさを有するものとする。
床ロボット130の上面135bには、歩行者が載った場合に、上面135bにかかる圧力を検出する圧力センサ138が設けられている。具体的には、床ロボット130の上面135bの全体に、上面135bにかかる圧力を検出する圧力センサ138が設けられている。圧力センサ138で検出された圧力の値を示す圧力データは、床ロボット制御部134に与えられる。
また、床ロボット130の上面135bの中央には、カメラ139が設けられている。カメラ139で撮像された画像の画像データは、床ロボット制御部134に与えられる。
図10に示されているように、カメラ139は、床ロボット130の上方の画像を撮像するように設けられている。そして、床ロボット制御部134は、撮像された画像から、天井170に設置された照明171、空調172及び天井170の模様等から特徴点を抽出し、床ロボット130の水平方向の二次元位置を算出する。但し、歩行者173が載った床ロボット130Bでは、歩行者173が邪魔になり天井170を撮影することができないため、先回りする床ロボット130Aのカメラ139が順番に天井170を撮像し、その床ロボット制御部134が自らの位置を検出する。検出された位置を示す位置データは、通信部133を介して、情報処理装置110に送信される。そして、各床ロボット130の配置と歩行者173との位置関係は、床ロボット誘導部114が把握しているため、床ロボット誘導部114は、床ロボット130Aの位置から歩行者173の位置を算出することができる。
また、床ロボット制御部134は、圧力センサ138から歩行者の足位置を相対的に特定する。特定された足位置を示す足位置データは、通信部133を介して、情報処理装置110に送信される。そして、床ロボット誘導部114は、その足位置データ、及び、歩行データ記憶部111に記憶されている歩行データを活用することにより、センサノイズを低減し、位置データの精度を高めることができる。
図11は、床ロボット130の側面図である。
床ロボットの6個の側面135c、135d、・・・、135g、135hの各々には、6個の近接センサ140A、140B、・・・、140E、140Fの各々が設けられている。
なお、6個の近接センサ140A、・・・、140Fの各々を特に区別する必要がない場合には、近接センサ140という。
近接センサ140は、床ロボット130を隙間なく隣接させるために使用される。また、近接センサ140は、歩行者173が、床ロボット130の隙間に足をはさむことを回避するためにも使用される。なお、近接センサ140での検出結果を示す近接データは、床ロボット制御部134に与えられる。
図12は、制御基板137の構成を概略的に示すブロック図である。
制御基板137は、組込みCPU(Central Processing Unit)141と、メモリ142と、駆動モータ増幅器143と、アンテナ144と、イーサネット処理部145と、LAN(Local Area Network)インタフェース146と、USB(Universal Serial Bus)インタフェース147とを備える。
組込みCPU141は、クロック周波数1GHz以上のマイクロプロセッサで、センサデータの処理、モータ駆動系131の制御及び無線LANの通信処理等をリアルタイムに行う。
メモリ142は、組込みCPU141のプログラムを動作させるための主記憶用の揮発性メモリ、及び、プログラムデータを保存するための不揮発性メモリからなる。
駆動モータ増幅器143は、プログラムが出力するデジタルデータをアナログデータへ変換しモータ駆動系131に与える。なお、モータ駆動系131には、駆動モータエンコーダ148が備えられており、組込みCPU141は、駆動モータエンコーダ148から得られる回転方向、回転位置及び回転速度等のデータに基づいて、モータ駆動系131を制御する。
アンテナ144、イーサネット処理部145及びLANインタフェース146は、情報処理装置110と無線LANで通信を行うための通信装置である。なお、イーサネット処理部145は、イーサネット(登録商標)に従った処理を行う。
USBインタフェース147は、更新されたプログラムのダウンロード及び床ロボット130の診断テストを行うためのインタフェースである。
図13は、実施の形態1に係る情報処理システム100での処理を示すフローチャートである。
まず、床ロボット誘導部114は、個人に特有な歩き方のクセを抽出するため、歩行者に床ロボット130の上を普通に歩いてもらい、通信部117を介して、圧力データを取得して、直進方向の歩行データを生成する(S10)。取得された歩行データは、歩行データ記憶部111に記憶される。
次に、床ロボット誘導部114は、通信部117を介して、床ロボット130に内蔵された圧力センサ138、近接センサ140及びカメラ139の各々からデータを取得する(S11)。
そして、床ロボット誘導部114は、ステップS10で生成された歩行データ及びS11で取得されたデータに基づいて、床ロボット130の移動計画を立て、床ロボット130の誘導処理を行う(S12)。床ロボット130は、歩行者を載せた状態で、歩行者が歩く反対方向へ引き戻す直線移動を行うことにより、見かけ上歩行者が前進することなく、歩行者を同じ場所に留まらせることができる。実施の形態1に係る情報処理システム100は、3台の床ロボット130を備えており、歩行者を載せ終わった床ロボット130は、床ロボット誘導部114の指示に従い、歩行者の前方方向へ先回りするように回転移動する。床ロボット130が直線移動及び回転移動を繰り返すことにより、歩行者は、同じ位置で歩行を続けることができる。
映像制御部115は、3Dモデルデータ記憶部112に記憶されている3Dモデルデータを参照して、3D映像の予測描画処理を行う(S13)。例えば、映像制御部115は、3Dモデルデータ記憶部112に記憶されている3Dモデルデータを参照して、歩行者の視点から見た仮想空間の3D映像の映像データを生成し、その映像データをHMD150に送信する。歩行動作に同期した遅延のない、仮想空間の3D映像の映像データを生成するため、映像制御部115は、想定された遅延時間後のシーンを予測して描画を行う。
なお、実施の形態1では、仮想空間表示装置(ディスプレイ装置)として、HMD150が用いられているが、HMD150の代わりに、没入型ディスプレイ又は環境型ディスプレイ等の別の装置が用いられてもよい。
モーダル制御部116は、モーダル紐付け辞書記憶部113に記憶されているモーダル紐付け辞書に基づいて、音、香り及び室温等、歩行者の視覚以外の感覚を刺激するための刺激出力データを生成し、その刺激出力データをモーダル出力装置160に送信する(S14)。そのとき、モーダル制御部116は、モーダル紐付け辞書記憶部113に記憶されているモーダル紐付け辞書に基づいて、適切なタイミングで効果的な環境制御を行う。
図13のステップS11〜S14の処理は、HMD150のリフレッシュレート毎に繰り返される。リフレッシュレートの周波数は、映像の残像を少なくし利用者のVR酔いを防止するため、100Hz以上であることが好ましい。
図14は、図13のステップS12における床ロボット誘導処理を示すフローチャートである。
まず、床ロボット誘導部114は、通信部117を介して、回転移動させる床ロボット130から位置データを取得する(S20)。
そして、床ロボット誘導部114は、取得された位置データに基づいて、床ロボット130同士の位置関係と、圧力データとから歩行者の頭部に相当する中心位置を算出する(S21)。
次に、床ロボット誘導部114は、今回算出された中心位置と、前回算出された中心位置とを比較し、歩行状態に変化があるか否かを確認する(S22)。変化がある場合(S22でYes)には、歩行速度又は進行方向の変化が要因となるため、処理はステップS23に進む。一方、変化がない場合(S22でNo)には、床ロボット130が、歩行者と同じ速度で、歩行者が進む方向とは逆の方向へ歩行者を引き戻しているため、処理はステップS27に進む。
ステップS23では、床ロボット誘導部114は、歩行者の歩行速度が変化したか否かを確認する。歩行速度が変化している場合(S23でYes)には、処理はステップS24に進み、歩行速度が変化していない場合(S23でNo)には、処理はステップS25に進む。
ステップS24では、床ロボット誘導部114は、歩行速度を修正する。そして、処理はステップS25に進む。
ステップS25では、床ロボット誘導部114は、歩行者の進行方向が変化したか否かを確認する。進行方向が変化している場合(S25でYes)には、処理はステップS26に進み、進行方向が変化していない場合(S25でNo)には、処理はステップS27に進む。
ステップS26では、床ロボット誘導部114は、進行方向を修正する。そして、処理はステップS27に進む。
ステップS27では、床ロボット誘導部114は、床ロボット130の引き戻し速度及び引き戻し方向を決定して、通信部117を介して、決定された引き戻し速度及び引き戻し方向を示す制御データを3台の床ロボット130に送信する。例えば、ステップS24で歩行速度が修正された場合には、床ロボット誘導部114は、修正された歩行速度と同じ速度となるように、床ロボット130の直線移動の速度(引き戻し速度)を決定する。また、ステップS26で進行方向が修正された場合には、床ロボット誘導部114は、修正された進行方向とは逆の方向となるように、床ロボット130の直線移動の方向(引き戻し方向)を決定する。
次に、床ロボット誘導部114は、進行方向と、床ロボット上の歩行者の位置とから、床ロボット130の回転移動が必要か否かを判断する(S28)。床ロボット130の回転移動が必要な場合(S28でYes)には、処理はステップS29に進み、床ロボット130の回転移動が必要ではない場合(S28でNo)には、フローを終了する。
ステップS29では、床ロボット誘導部114は、回転移動させるべき床ロボット130を決定する。
そして、床ロボット誘導部114は、通信部117を介して、決定された床ロボット130に適切な先回り手順を示す指示データを送信する(S30)。
図15〜図27は、床ロボット130の回転移動を制御するための回転移動アルゴリズムを示す概略図である。
図15〜図27では、床ロボット130Aを符号A、床ロボット130Bを符号B、及び、床ロボット130Cを符号Cで表している。
図15(a)及び(b)は、3台の床ロボット130A〜130C及び歩行者の初期状態を示す概略図である。
実施の形態1では、図15(a)に示されているように、3台の床ロボット130A〜130Cのそれぞれが隣接し、3台の床ロボット130A〜130Cのそれぞれの2辺が、他の1辺ずつと接するように配置されている。このような配置では、3台の床ロボット130A〜130Cのそれぞれの頂点の1つが中心点P0となっている。言い換えると、3台の床ロボット130A〜130Cの各々は、3台の床ロボット130A〜130Cの各々から1つずつ選択された3つの頂点が対向している位置が中心点P0となるように、他の2台の床ロボット130と隣接している。
3台の床ロボット130A〜130Cがこのように配置されている状態が、3台の床ロボット130A〜130Cの基本状態である。そして、下記のように、歩行者の歩行に伴って、床ロボット130は、この基本状態を維持するように、回転移動する。
そして、図15(b)に示されているように、中心点P0付近に載った歩行者101が、床ロボット130A〜130Cの外側の頂点に対応する点P1〜P12の何れの方向に向かうかで、どの床ロボット130A〜130Cが、どのように回転移動を行うかが決定される。
例えば、床ロボット誘導部114は、歩行者101が歩いた場合に、圧力センサ138で検出された圧力に基づいて、歩行者101の進行方向及び歩行速度を特定する。床ロボット誘導部114は、基本状態において対向している3つの頂点を除いて、特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定する。そして、床ロボット誘導部114は、対象頂点の位置が新たな中心点となるように、3台の床ロボット130A〜130Cの内の少なくとも何れか1台を回転移動させる。
図16は、歩行者101が点P1の方向に歩行した場合の床ロボット130の回転移動を示す概略図である。
図16に示されているように、歩行者101が点P1(対象頂点)の方向に歩行した場合には、点P1が新たな中心点となるように、床ロボット130B及び床ロボット130Cが回転移動する。具体的には、床ロボット130Bは、点P3における垂直線を軸として、時計回りに120°回転移動し、さらに、点P2における垂直線を軸として、時計回りに120°回転移動する。床ロボット130Cは、点P11における垂直線を軸として、反時計回りに120°回転移動し、さらに、点P12における垂直線を軸として、反時計回りに120°回転移動する。なお、床ロボット130B及び床ロボット130Cが回転移動している間も、床ロボット130A〜130Cは、歩行者101の進行方向とは反対方向に直線移動を行っている。
図17は、歩行者101が点P2の方向に歩行した場合の床ロボット130の回転移動を示す概略図である。
図17に示されているように、歩行者101が点P2の方向に歩行した場合には、点P2が新たな中心点となるように、床ロボット130B及び床ロボット130Cが回転移動する。具体的には、床ロボット130Bは、点P3における垂直線を軸として、時計回りに120°回転移動する。床ロボット130Cは、点P11における垂直線を軸として、反時計回りに120°回転移動し、点P12における垂直線を軸として、反時計回りに120°回転移動し、さらに、点P1における垂直線を軸として、反時計回りに120°回転移動する。
以下同様にして、図18では、点P3が新たな中心点となるように、床ロボット130Cが回転移動する。図19では、点P4が新たな中心点となるように、床ロボット130A及び床ロボット130Cが回転移動する。図20では、点P5が新たな中心点となるように、床ロボット130A及び床ロボット130Cが回転移動する。図21では、点P6が新たな中心点となるように、床ロボット130A及び床ロボット130Cが回転移動する。図22では、点P7が新たな中心点となるように、床ロボット130Aが回転移動する。図23では、点P8が新たな中心点となるように、床ロボット130A及び床ロボット130Bが回転移動する。図24では、点P9が新たな中心点となるように、床ロボット130A及び床ロボット130Bが回転移動する。図25では、点P10が新たな中心点となるように、床ロボット130A及び床ロボット130Bが回転移動する。図26では、点P11が新たな中心点となるように、床ロボット130Bが回転移動する。図27では、点P12が新たな中心点となるように、床ロボット130B及び床ロボット130Cが回転移動する。
図28は、図15〜図27を用いて説明した回転移動アルゴリズムをまとめた表である。
図28でも、床ロボット130Aを符号A、床ロボット130Bを符号B、及び、床ロボット130Cを符号Cで表している。
図28に示されているように、実施の形態1では、図15に示されているXY平面におけるX軸の正方向を0°とした場合における、歩行者101の進行方向の角度範囲と、回転移動させる対象となる床ロボット130である対象床ロボットと、対象床ロボットの回転数と、対象床ロボットの回転方向とが予め決められている。
この角度範囲の各々は、床ロボット130A〜130Cの外側の点P1〜点P12の各々を含むように設定されているものとする。
歩行者が歩行した場合には、床ロボット誘導部114は、歩行者の進行方向から、新たな中心点が含まれる角度範囲を特定し、特定された角度範囲に基づいて、対象床ロボット、対象床ロボットの回転数及び対象床ロボットの回転方向を特定して、対象床ロボットに回転移動の指示を行う。
そして、床ロボット誘導部114は、新たな中心点に基づいて、図15に示されているようなXY平面を新たに設定し、歩行者の進行方向に基づいて、対象床ロボットを回転移動させる。このような処理を繰り返すことで、歩行者101は、一箇所に留まりながら、自然な歩行感覚を得ることができる。
図29は、図13のステップS13における3D映像の予測描画処理を示すフローチャートである。
HMD150は、静止状態における頭部姿勢データを取得するため、ヨー軸(Yaw)、ピッチ軸(Pitch)及びロール軸(Roll)における加速度を検出する加速度センサと、これらの3軸における角速度とを検出する角速度センサを内蔵する。
例えば、図30に示されているように、HMD150に対して、ヨー軸、ピッチ軸及びロール軸が設定されているものとする。
そして、HMD150は、ヨー軸、ピッチ軸及びロール軸における加速度及び角速度を示す頭部姿勢データを、情報処理装置110に送信するものとする。
図29に戻り、まず、映像制御部115は、通信部117を介して、HMD150から頭部姿勢データを取得する(S40)。
次に、映像制御部115は、取得された頭部姿勢データに含まれているヨー軸の角速度から頭部の水平方向が変化したか否かを判断する(S41)。頭部の水平方向が変化していない場合(S41でNo)には、処理はステップS42に進み、頭部の水平方向が変化している場合(S41でYes)には、処理はステップS44に進む。
ステップS42では、映像制御部115は、歩行者の前回の進行方向と、現在の進行方向との差分から進行方向の角速度を求め、歩行者の進行方向を推定する。
次に、映像制御部115は、ステップS42で推定された歩行者の進行方向を、予測遅延時間後の視線方向とする(S43)。そして、処理はステップS46に進む。
一方、ステップS44では、映像制御部115は、ヨー軸の角速度から予測遅延時間後の水平方向を推定する。
ここで、予測遅延時間は、描画を開始してから、言い換えると、映像データの生成を開始してから、実際にHMD150に3D映像が表示されるまでの遅延時間である。遅延時間は、CPUの処理性能、グラフィックス処理能力、3Dモデルのポリゴン数、テクスチャマップ画像の有無、メモリ容量、HMD150の表示解像度及び映像の通信状態等、様々な要因に依存する。そのため、予測遅延時間は、情報処理システム100毎に予測しておく必要がある。
次に、映像制御部115は、歩行者の前回の進行方向と、現在の進行方向との差分から進行方向の角速度を求め、歩行者の進行方向を推定し、推定された進行方向に、ステップS44で推定された頭部水平方向を加算することで、予測遅延時間後の視線方向を算出する(S45)。
ステップS46では、映像制御部115は、現在の歩行速度から予測遅延時間後の視点位置を算出する。具体的には、映像制御部115は、仮想空間において、歩行者の現在の位置から、推定された進行方向に、現在の歩行速度で、予測遅延時間歩行した後の位置を、歩行者の視点位置として算出する。
そして、映像制御部115は、算出された視線方向及び視点位置から、仮想空間の3D映像を描画する(S47)。ここでは、映像制御部115は、HMD150のレンズ歪み等に起因する各種補正処理も同時に行う。
そして、映像制御部115は、通信部117を介して、生成した3D映像の映像データをHMD150に送信する(S48)。以上により、HMD150は、歩行動作と、頭部の動きとに同期した遅延のない仮想空間の3D映像を表示することができ、VR酔いが発生しにくい滑らかな表示を実現することができる。
なお、HMD150ではなく没入型ディスプレイ又は環境ディスプレイを使用する場合には、ステップS40における頭部姿勢データの取得は不要で、映像制御部115は、歩行者の進行方向の変化から、視線方向及び視点位置を算出する。
実施の形態2.
図31は、実施の形態2に係る情報処理システム200の構成を概略的に示すブロック図である。
情報処理システム200は、情報処理装置210と、床ロボット群120と、HMD150と、モーダル出力装置160と、情報サーバ280と、リモートコントローラ(以下、リモコンという)290とを備える。
実施の形態2に係る情報処理システム200の床ロボット群120、HMD150及びモーダル出力装置160は、実施の形態1に係る情報処理システム100の床ロボット群120、HMD150及びモーダル出力装置160と同様である。
実施の形態2における情報処理装置210は、床ロボット誘導部214と、映像制御部215と、モーダル制御部216と、通信部117とを備える。
実施の形態2における情報処理装置210の通信部117は、実施の形態1における情報処理装置110の通信部117と同様である。
床ロボット誘導部214は、歩行者の歩行速度及び進行方向に応じて、床ロボット群120に含まれる複数の床ロボット130の誘導を行う。
例えば、床ロボット誘導部214は、歩行者の歩行データを生成して、生成された歩行データを、通信部117を介して情報サーバ280に送信する。そして、床ロボット誘導部214は、通信部117を介して、情報サーバ280に記憶されている歩行データを参照して、床ロボット130の直線移動及び回転移動を制御する。
映像制御部215は、情報サーバ280から送られてくる3Dモデルデータに基づいて、歩行者の視点から見た仮想空間の3D映像の映像データを生成し、その映像データをHMD150に送信する。
モーダル制御部216は、情報サーバ280から送られてくるモーダル紐付け辞書に基づいて、歩行者の視覚以外の感覚を刺激するための刺激出力データを生成し、その刺激出力データをモーダル出力装置160に送信する。
情報サーバ280は、歩行データ記憶部281と、3Dモデルデータ記憶部282と、モーダル紐付け辞書記憶部283と、3Dモデル切替部284と、リモートコントローラ通信部(以下、リモコン通信部という)285とを備える。
歩行データ記憶部281は、歩行データを記憶する。
3Dモデルデータ記憶部282は、複数の3Dモデルデータを記憶する。
モーダル紐付け辞書記憶部283は、複数のモーダル紐付け辞書を記憶する。
3Dモデル切替部284は、リモコン通信部285を介して、リモコン290に入力された指示に応じて、複数の立体モデルデータから、1つの立体モデルデータを選択する立体モデル選択部として機能する。
具体的には、3Dモデル切替部284は、リモコン通信部285を介して、リモコン290に入力された3Dモデルの切り替え指示(選択指示)を取得して、その切り替え指示により表示することが選択された3Dモデルに対応する1つの3Dモデルデータ及び1つのモーダル紐付け辞書を、3Dモデルデータ記憶部282及びモーダル紐付け辞書記憶部283からそれぞれ読み出す。そして、3Dモデル切替部284は、読み出された3Dモデルデータ及びモーダル紐付け辞書を、通信部286を介して、情報処理装置210に送る。
リモコン通信部285は、3Dモデルの切り替え指示を示す切替指示信号(選択指示信号)を受信する。
リモコン290は、歩行者からの3Dモデルの切り替え指示の入力を受け付け、その切り替え指示を示す切替指示信号を、赤外線等の無線を利用して、情報サーバ280に送信する。リモコン290は、十字型カーソルキー及び数個のボタンを装備する単純型リモコンでも、スマートフォンであってもよい。
なお、HMD150を使った仮想空間では、操作する自分の手を見ることができないため、リモコン290の操作性が非常に悪い。そのため、HMD150は、HMD150上部に設置されたカメラ251を用いて手元の操作を撮像し、撮像された映像を仮想空間の3D映像に重畳表示することが望ましい。これにより、歩行者は、操作画面と手とを見ながら容易に操作することができる。なお、HMD150ではなくディスプレイを用いる場合、このカメラ映像の重畳表示は、不要である。
以上に記載された3Dモデル切替部284は、例えば、図6に示されているように、メモリ10と、メモリ10に格納されているプログラムを実行するCPU等のプロセッサ11とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて、例えば、プログラムプロダクトとして提供されてもよい。
なお、歩行データ記憶部281、3Dモデルデータ記憶部282及びモーダル紐付け辞書記憶部283は、図示してはいないHDD等の不揮発性のメモリをプロセッサ11が利用することにより実現することができる。
また、リモコン通信部285は、図示してはいない、赤外線通信等の無線通信を行うことのできる無線通信装置をプロセッサ11が利用することにより実現することができる。
さらに、通信部286は、図示してはいない、無線LAN等において通信を行うことのできる無線通信装置をプロセッサ11が利用することにより実現することができる。
なお、実施の形態2では、情報処理装置210とは別に、情報サーバ280が備えられているが、実施の形態2は、このような例に限定されるものではない。例えば、情報処理装置210が、情報サーバ280の機能を備えることで、情報サーバ280が省略されてもよい。
図32〜図35は、実施の形態2に係る情報処理システム200をエレベータかご20のデザインの選定及び確認に適用した例を説明するための概略図である。
一般にエレベータかご20の内装は、操作盤、階数の表示器、壁、扉、天井及び床から構成されている。バリアフリー用途には、手すり及び鏡等が装着される場合もある。
図33(a)〜(c)に示されているように、操作盤21a〜21cのボタンの種類は、仕向け国により異なる。通常、操作盤21a〜21cのボタンの種類は、100種類以上ある。
図34(a)〜(f)に示されているように、天井22a〜22fの照明も、フラット証明23、ダウンライト照明24a〜24d、傾斜型照明25a、25b、間接光照明26a、26b、中央アーチ照明27a、27b及びガラスクロス全面光照明28等が存在する。
このように、エレベータかご20の内装は、膨大なデザインの組み合わせの中から、ビルオーナの嗜好に合ったものを、事前に、的確に選定する必要がある。このデザイン選定作業は、パソコンの画面上から行うことが可能であるが、見る向き及び角度により本来想定していたものと異なるものになってしまうこともある。
そこで、図32に示されているように、実施の形態2に係る情報処理システム200を用いることにより、実際に、ビルのオーナが歩行しながら様々な方向及び角度から見ることができる。これにより、ビルのオーナは、現実に近い形でデザインを確認することができる。デザインの変更作業には、リモコン290が用いられ、指定した部品の3Dモデルを3Dモデルデータ記憶部282から、情報処理装置210に読み込むことにより、デザインを瞬時に切り替えて表示することができる。
また、図35に示されているように、3Dモデルデータを用いることにより、乗場30からベッド31及び医療機器32を、扉や壁に干渉することなくエレベータかご20へ入れることができるか否か等も確認することができる。また、扉33の開閉速度、エレベータかご20内の混雑時の雰囲気及び圧迫感等も確認することができる。
さらに、モーダル制御部216は、モーダル出力装置160を用いて、音、香り又は室温等、視覚情報以外のモーダル情報を送信することができる。制御には、モーダル紐付け辞書が使用される。
図36は、モーダル紐付け辞書の一例を示す概略図である。
モーダル紐付け辞書281aには、場所281b毎に、範囲281c、イベント281d、照明及び明るさ281e、香り281f、温風又は冷風281g等が登録される。
なお、場所281b及び範囲281cにより、モーダル出力が行われる仮想空間における領域が示される。
図36に示されている例では、乗場Xでは、照明がダウンライト型で、高級ホテルのような花の香りがする。そして、10:01にかごが到着し、チャイム音が鳴ると同時にドアが開閉する。
また、かごAでは、暗めの間接照明で、空調により室温が低めに設定されており(冷風)、10:03に停電が発生し、緊急照明に切り替わる同時に緊急情報がアナウンスされた後に、かごAがフロアに到着して、チャイム音が鳴ると同時にドアが開閉する。
図37は、実施の形態2に係る情報処理システム200を店舗のレイアウトの確認に適用した例を説明するための概略図である。
店舗40には、レジカウンター41と、商品陳列棚42、43とが設置されている。
商品陳列棚42には、化粧品コーナー44がある。そのため、歩行者が化粧品コーナー44を含む予め定められた領域45に入った場合に、モーダル制御部216は、モーダル出力装置160に化粧品の香りを放出させる。これにより床ロボット群120に載っている歩行者に実際に化粧品があるかのような演出効果を与えることができる。
また、店舗オーナだけでなく、消費者にも図37に示されている例を体験してもらうことにより、どのような商品をどの陳列棚に置くと商品を買ってもらいやすくなるかといった、消費者の行動調査にも情報処理システム200を活用することができる。例えば、消費者の視線ヒートマップを作成し、3Dの陳列棚に重畳表示することにより、購買行動を直感的に視覚化可能となる。棚の中の商品レイアウトも、3Dモデルを使用するため、水平型陳列、垂直型陳列及びキャッチコピー用棚札等を、容易に変更することができる。このため、事前に、売り上げ効果を高める最適な店舗設計を行うことができる。
100,200 情報処理システム、 110,210 情報処理装置、 111 歩行データ記憶部、 112 3Dモデルデータ記憶部、 113 モーダル紐付け辞書記憶部、 114,214 床ロボット誘導部、 115,215 映像制御部、 116,216 モーダル制御部、 117 通信部、 120 床ロボット群、 130 床ロボット、 131 モータ駆動系、 132 センサ部、 133 通信部、 134 床ロボット制御部、 135 本体、 136 車輪、 137 制御基板、 138 圧力センサ、 139 カメラ、 140 近接センサ、 150 HMD、 251 カメラ、 160 モーダル出力装置、 280 情報サーバ、 281 歩行データ記憶部、 282 3Dモデルデータ記憶部、 283 モーダル紐付け辞書記憶部、 284 3Dモデル切替部、 285 リモコン通信部、 286 通信部、 290 リモコン。

Claims (10)

  1. 3台の移動体及び当該3台の移動体の各々を制御する情報処理装置を備える情報処理システムであって、
    前記3台の移動体の各々は、
    上方から見た場合に6つの頂点を有する正6角形に形成され、上面に歩行者を載せることのできる本体と、
    前記上面に前記歩行者が載った場合に、前記上面にかかる圧力を検出する圧力センサと、
    前記本体の下に取り付けられた複数の車輪と、
    前記複数の車輪の内の少なくとも2個の車輪に駆動力を与える駆動部と、
    前記情報処理装置からの制御に応じて、前記少なくとも2個の車輪及び前記駆動部を制御することで、前記本体を任意の方向に直線移動させるとともに、前記6つの頂点の各々における垂直線を軸にして、前記本体を回転移動させる移動体制御部と、を備え、
    前記3台の移動体の各々は、前記3台の移動体の各々から一つずつ選択された3つの頂点が対向している位置が中心点となるように、他の2台の移動体と隣接し、
    前記情報処理装置は、
    前記歩行者が歩いた場合に、前記圧力に基づいて、前記歩行者の進行方向及び歩行速度を特定し、当該特定された進行方向とは逆方向に、当該特定された歩行速度で、前記3台の移動体を直線移動させるとともに、前記3つの頂点を除いて、当該特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定し、当該対象頂点の位置が新たな中心点となるように、前記3台の移動体の内の少なくとも何れか1台の移動体を回転移動させる移動体誘導部を備えること
    を特徴とする情報処理システム。
  2. 前記移動体制御部は、前記軸において、前記本体を120°回転させること
    を特徴とする請求項1に記載の情報処理システム。
  3. 前記移動体誘導部は、前記歩行者を頂点とする予め定められた複数の角度範囲から、前記進行方向を含む角度範囲を特定し、前記6つの頂点の内、当該特定された角度範囲に含まれる1つの頂点を、前記対象頂点として特定すること
    を特徴とする請求項1又は2に記載の情報処理システム。
  4. 前記情報処理装置からの制御に応じて、仮想空間の立体映像を表示するディスプレイ装置をさらに備え、
    前記情報処理装置は、
    前記特定された進行方向及び前記特定された歩行速度に基づいて、前記仮想空間における前記歩行者の位置を特定し、当該特定された位置に対応する前記立体映像を前記ディスプレイ装置に表示させる映像制御部をさらに備えること
    を特徴とする請求項1から3の何れか一項に記載の情報処理システム。
  5. 前記情報処理装置は、
    前記仮想空間において前記歩行者の視点から見た前記立体映像の映像データを生成するための立体モデルデータを記憶する立体モデルデータ記憶部をさらに備え、
    前記映像制御部は、前記立体モデルデータを参照して、前記映像データを生成し、
    前記ディスプレイ装置は、前記映像データに従って、前記立体映像を表示すること
    を特徴とする請求項4に記載の情報処理システム。
  6. 前記映像制御部には、前記映像データの生成を開始してから、前記立体映像が前記ディスプレイ装置に表示されるまでの遅延時間が予め設定されており、
    前記映像制御部は、前記仮想空間において、前記特定された位置から、前記特定された進行方向に、前記特定された歩行速度で、前記遅延時間歩行した後の位置における前記映像データを生成すること
    を特徴とする請求項5に記載の情報処理システム。
  7. 前記歩行者からの指示の入力を受け付けるリモートコントローラをさらに備え、
    前記立体モデルデータ記憶部は、複数の前記立体モデルデータを記憶し、
    前記情報処理装置は、前記リモートコントローラが入力を受け付けた指示に応じて、前記複数の立体モデルデータから、1つの立体モデルデータを選択する立体モデル選択部をさらに備え、
    前記映像制御部は、前記選択された立体モデルデータを参照して、前記映像データを生成すること
    を特徴とする請求項5又は6に記載の情報処理システム。
  8. 前記歩行者の視覚以外の感覚を刺激する感覚刺激装置をさらに備え、
    前記情報処理装置は、前記特定された位置に応じて、前記感覚刺激装置に前記感覚を刺激させる刺激制御部をさらに備えること
    を特徴とする請求項4から7の何れか一項に記載の情報処理システム。
  9. 前記情報処理装置は、
    予め定められた領域毎に、イベント、明るさ、香りの種類及び室温の少なくとも何れか一つの内容を特定した辞書データを記憶する辞書データ記憶部をさらに備え、
    前記刺激制御部は、前記特定された位置が前記予め定められた領域に含まれる場合には、前記辞書データで特定される内容に応じて前記感覚刺激装置に前記感覚を刺激させること
    を特徴とする請求項8に記載の情報処理システム。
  10. 3台の移動体、当該3台の移動体の各々を制御する情報処理装置、当該情報処理装置に情報を提供する情報サーバ、当該情報処理装置からの制御に応じて映像を表示するディスプレイ装置及び歩行者からの指示の入力を受け付けるリモートコントローラを備える情報処理システムであって、
    前記3台の移動体の各々は、
    上方から見た場合に6つの頂点を有する正6角形に形成され、上面に前記歩行者を載せることのできる本体と、
    前記上面に前記歩行者が載った場合に、前記上面にかかる圧力を検出する圧力センサと、
    前記本体の下に取り付けられた複数の車輪と、
    前記複数の車輪の内の少なくとも2個の車輪に駆動力を与える駆動部と、
    前記情報処理装置からの制御に応じて、前記少なくとも2個の車輪及び前記駆動部を制御することで、前記本体を任意の方向に直線移動させるとともに、前記6つの頂点の各々における垂直線を軸にして、前記本体を回転移動させる移動体制御部と、を備え、
    前記3台の移動体の各々は、前記3台の移動体の各々から一つずつ選択された3つの頂点が対向している位置が中心点となるように、他の2台の移動体と隣接し、
    前記情報サーバは、
    各々が仮想空間において前記歩行者の視点から見た立体映像の映像データを生成するために用いられる、複数の立体モデルデータを記憶する立体モデルデータ記憶部と、
    前記リモートコントローラが入力を受け付けた指示に応じて、前記複数の立体モデルデータから、1つの立体モデルデータを選択する立体モデル選択部と、を備え、
    前記情報処理装置は、
    前記歩行者が歩いた場合に、前記圧力に基づいて、前記歩行者の進行方向及び歩行速度を特定し、当該特定された進行方向とは逆方向に、当該特定された歩行速度で、前記3台の移動体を直線移動させるとともに、前記3つの頂点を除いて、当該特定された進行方向に存在すると判断することのできる頂点を対象頂点として特定し、当該対象頂点の位置が新たな中心点となるように、前記3台の移動体の内の少なくとも何れか1台の移動体を回転移動させる移動体誘導部と、
    前記特定された進行方向及び前記特定された歩行速度に基づいて、前記仮想空間における前記歩行者の位置を特定し、前記選択された立体モデルデータを参照して、当該特定された位置に対応する前記立体映像の前記映像データを生成する映像制御部と、を備え、
    前記ディスプレイ装置は、前記映像制御部により生成された前記映像データに従って、前記立体映像を表示すること
    を特徴とする情報処理システム。
JP2019502373A 2017-03-01 2017-03-01 情報処理システム Expired - Fee Related JP6526367B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008199 WO2018158896A1 (ja) 2017-03-01 2017-03-01 情報処理システム

Publications (2)

Publication Number Publication Date
JP6526367B2 true JP6526367B2 (ja) 2019-06-05
JPWO2018158896A1 JPWO2018158896A1 (ja) 2019-06-27

Family

ID=63369842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502373A Expired - Fee Related JP6526367B2 (ja) 2017-03-01 2017-03-01 情報処理システム

Country Status (5)

Country Link
US (1) US11474534B2 (ja)
JP (1) JP6526367B2 (ja)
CN (1) CN110337681B (ja)
DE (1) DE112017006958B4 (ja)
WO (1) WO2018158896A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244483B2 (en) * 2018-10-31 2022-02-08 Facebook Technologies, Llc Systems and methods for modifying a safety boundary for virtual reality systems

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3493708B2 (ja) * 1994-01-21 2004-02-03 ヤマハ株式会社 歩行模擬装置およびその制御方法並びに予測制御方法
JP3170638B2 (ja) * 1996-08-08 2001-05-28 谷 白糸 仮想現実体験装置
CA2263592A1 (en) * 1996-08-27 1998-03-05 David E.E. Carmein Omni-directional treadmill
US6152854A (en) * 1996-08-27 2000-11-28 Carmein; David E. E. Omni-directional treadmill
RU2120664C1 (ru) * 1997-05-06 1998-10-20 Нурахмед Нурисламович Латыпов Система для погружения пользователя в виртуальную реальность
IT1292629B1 (it) * 1997-06-18 1999-02-08 Technogym Srl Macchina ginnica a tappeto scorrevole.
JP2923493B1 (ja) 1998-03-09 1999-07-26 株式会社エイ・ティ・アール知能映像通信研究所 歩行感覚生成装置
JP3200592B2 (ja) * 1999-01-14 2001-08-20 株式会社エイ・ティ・アール知能映像通信研究所 歩行感覚生成装置
US6135928A (en) * 1999-08-20 2000-10-24 Butterfield; Anthony Virtual reality equipment
JP3732168B2 (ja) * 2001-12-18 2006-01-05 株式会社ソニー・コンピュータエンタテインメント 仮想世界におけるオブジェクトの表示装置、表示システム及び表示方法、ならびにそれらを利用可能な仮想世界における地価及び広告料の設定方法
JP4313633B2 (ja) * 2003-09-09 2009-08-12 洋夫 岩田 全方向歩行感覚呈示装置
JP2008220580A (ja) 2007-03-12 2008-09-25 Univ Of Tsukuba 没入歩行感覚呈示装置
CN201308742Y (zh) * 2008-09-30 2009-09-16 郭偲 一种真人场景跑步机
JP4433424B1 (ja) * 2009-04-04 2010-03-17 幸春 濱口 読書学習可能な室内歩行運動及びリハビリ装置。
MX2012010238A (es) * 2010-03-05 2013-01-18 Sony Comp Entertainment Us Mantenimiento de vistas multiples en un espacio virtual estable compartido.
CN102651179A (zh) * 2011-02-24 2012-08-29 本田技研工业株式会社 骑行模拟器
CN102357284B (zh) * 2011-10-18 2013-05-22 中国科学院合肥物质科学研究院 智能化跑步机
CN102542873B (zh) * 2012-01-10 2014-04-16 中国人民解放军92995部队 一种全方位行走跟踪装置及基于该装置的虚拟交互***
JP5213086B1 (ja) * 2012-02-24 2013-06-19 フューコム株式会社 運動補助装置
CN103284662B (zh) * 2012-03-02 2016-09-21 恩斯迈电子(深圳)有限公司 清扫***及其控制方法
TW201347809A (zh) * 2012-05-24 2013-12-01 Cycling & Health Tech Ind R&D 自由步態訓練機
RU2769529C2 (ru) 2012-10-24 2022-04-01 Ян ГЁТГЕЛУК Локомоционная система для виртуальной реальности и оболочка для ступни для использования с такой системой
KR102093177B1 (ko) * 2013-10-31 2020-03-25 엘지전자 주식회사 이동 로봇 및 그 동작방법
JP5824537B2 (ja) * 2014-01-16 2015-11-25 キヤノン株式会社 情報処理装置および情報処理方法
CN106687182A (zh) * 2014-11-21 2017-05-17 Vr移动地面有限责任公司 用于与虚拟现实***进行交互的移动地板及其使用
CN204189337U (zh) * 2014-11-25 2015-03-04 张恺 用于思想政治教学中基于路况模拟的行走姿态监测装置
KR102311571B1 (ko) * 2015-02-23 2021-10-13 큐렉소 주식회사 햅틱 기능을 결합한 가상 현실을 제공하는 보행재활 장치
CN105151193B (zh) * 2015-09-30 2018-08-21 东阳市新意工业产品设计有限公司 基于人体重力感应控制行车速度和方向的体感车及方法
CN105617605B (zh) * 2016-04-18 2017-09-29 成润泽 一种智能全向跑步机
CN205832573U (zh) * 2016-06-19 2016-12-28 上海盟云移软网络科技股份有限公司 一种虚拟现实的游戏操控装置
CN106178399A (zh) * 2016-08-30 2016-12-07 喻明 一种万向跑步机
CN106422169B (zh) * 2016-09-19 2019-02-01 上海大学 一种随动式减重下肢康复训练移动平台

Also Published As

Publication number Publication date
JPWO2018158896A1 (ja) 2019-06-27
CN110337681B (zh) 2021-08-10
US20210333798A1 (en) 2021-10-28
US11474534B2 (en) 2022-10-18
WO2018158896A1 (ja) 2018-09-07
DE112017006958B4 (de) 2021-03-04
CN110337681A (zh) 2019-10-15
DE112017006958T5 (de) 2019-12-12

Similar Documents

Publication Publication Date Title
JP6979475B2 (ja) ヘッドマウントディスプレイ追跡
RU2754992C2 (ru) Система аттракционов для катания, способ предоставления дополненного восприятия в аттракционах парка развлечений и система управления катанием и игрой
JP6422137B2 (ja) ヘッドマウントディスプレイのための知覚に基づく予測追跡
JP6761340B2 (ja) シミュレーションシステム及びプログラム
JP4083684B2 (ja) 画像処理システムおよび画像処理装置
US20170352188A1 (en) Support Based 3D Navigation
JP6558839B2 (ja) 媒介現実
JP6630607B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
CN105359063A (zh) 利用追踪的头戴式显示器
WO2017090373A1 (ja) 画像表示方法及びプログラム
US9996149B1 (en) Method for one-touch translational navigation of immersive, virtual reality environments
KR20180040634A (ko) 정보 처리 장치
JP6200023B1 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
KR20160014601A (ko) 다수의 3d 디스플레이들에 대해 오브젝트를 렌더링하기 위한 방법 및 장치
EP3364270A1 (en) Information processing device and information processing method
JP6526367B2 (ja) 情報処理システム
JP7351638B2 (ja) 画像生成装置、画像表示システム、および情報提示方法
JP6625467B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
CN111279410B (zh) 显示设备和显示设备控制方法
KR20190014894A (ko) 가상 현실 기반의 고인 맞춤형 추모 시스템
JP2020057399A (ja) シミュレーション制御装置及びシミュレーション制御プログラム
Zhang et al. Binocular vision sensor (Kinect)-based pedestrian following mobile robot
US20230092395A1 (en) Physical object integration with extended reality environments
JP6821832B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
WO2016057997A1 (en) Support based 3d navigation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190207

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190207

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190507

R150 Certificate of patent or registration of utility model

Ref document number: 6526367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees