JP2023156709A - 転換方向予測システム、移動システム、転換方向予測方法、及びプログラム - Google Patents

転換方向予測システム、移動システム、転換方向予測方法、及びプログラム Download PDF

Info

Publication number
JP2023156709A
JP2023156709A JP2022066223A JP2022066223A JP2023156709A JP 2023156709 A JP2023156709 A JP 2023156709A JP 2022066223 A JP2022066223 A JP 2022066223A JP 2022066223 A JP2022066223 A JP 2022066223A JP 2023156709 A JP2023156709 A JP 2023156709A
Authority
JP
Japan
Prior art keywords
person
chest
detected
detection means
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022066223A
Other languages
English (en)
Inventor
英祐 青木
Hidesuke Aoki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2022066223A priority Critical patent/JP2023156709A/ja
Priority to US18/131,941 priority patent/US20230334869A1/en
Priority to CN202310386648.6A priority patent/CN116912309A/zh
Publication of JP2023156709A publication Critical patent/JP2023156709A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Figure 2023156709000001
【課題】より高精度に人が方向転換する方向を予測すること。
【解決手段】転換方向予測システムは、人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出する脚状態検出手段と、人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出する胸回転検出手段と、脚状態検出手段により検出された左右脚部の状態と、胸回転検出手段により検出された胸の回転情報と、に基づいて、人が方向転換する方向を予測する方向予測手段と、を備える。
【選択図】図１

Description

本発明は、人が方向転換する方向を予測する転換方向予測システム、移動システム、転換方向予測方法、及びプログラムに関する。
人のポーズにマッチングするテンプレートを見つけ、そのポーズがテンプレートに予め対応付けられた意図であると推定するシステムが知られている（例えば、特許文献１参照）。
特表２０２１－５０７４３４号公報
しかしながら、上記システムにおいては、必ずしも、人のポーズがテンプレートに予め対応付けられた意図であるとは言えず、人が方向転換する方向を正確に予測できない虞がある。
本発明は、このような問題点に鑑みてなされたものであり、より高精度に人が方向転換する方向を予測することができる転換方向予測システム、移動システム、転換方向予測方法、及びプログラムを提供することを主たる目的とする。
上記目的を達成するための本発明の一態様は、
人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出する脚状態検出手段と、
前記人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出する胸回転検出手段と、
前記脚状態検出手段により検出された左右脚部の状態と、前記胸回転検出手段により検出された胸の回転情報と、に基づいて、前記人が方向転換する方向を予測する方向予測手段と、
を備える、転換方向予測システム
である。
この一態様において、前記方向予測手段は、
前記胸回転検出手段により検出された胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報に基づいて、前記人の脊柱が伸展状態にあり、前記胸が進行方向と逆方向へ旋回及び側屈していると判定した場合に、前記人が遊脚方向へ方向転換すると予測し、
前記遊脚方向への方向転換の予測結果と、前記脚状態検出手段により検出された人の左右脚部の状態と、に基づいて、前記人が方向転換する方向を予測してもよい。
この一態様において、前記方向予測手段は、
前記胸回転検出手段により検出された胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報に基づいて、前記人の脊柱が屈曲状態にあり、前記胸が進行方向と同方向へ旋回及び側屈していると判定した場合に、前記人が立脚方向へ方向転換すると予測し、
前記立脚方向への方向転換の予測結果と、前記脚状態検出手段により検出された人の左右脚部の状態と、に基づいて、前記人が方向転換する方向を予測してもよい。
この一態様において、前記人の首のヨー軸周りの回転方向を検出する首方向検出手段を更に備え、
前記方向予測手段は、
前記脚状態検出手段により検出された左右脚部の状態と、前記胸回転検出手段により検出された胸の回転情報と、に基づいて前記人が方向転換する暫定方向を予測し、
前記予測した暫定方向と、前記首方向検出手段により検出された首のヨー軸周りの回転方向と、が同一であると判断した場合、前記暫定方向を前記人が方向転換する方向と予測してもよい。
この一態様において、前記人の目の方向を検出する目方向検出手段を更に備え、
前記方向予測手段は、
前記脚状態検出手段により検出された左右脚部の状態と、前記胸回転検出手段により検出された胸の回転情報と、に基づいて前記人が方向転換する暫定方向を予測し、
前記予測した暫定方向と、前記目方向検出手段により検出された目の方向と、が同一であると判断した場合、前記暫定方向を前記人が方向転換する方向と予測してもよい。
この一態様において、前記方向予測手段は、前記脚状態検出手段により検出された左右脚部の状態と、前記胸回転検出手段により検出された胸の回転情報と、前記首方向検出手段により検出された首の回転方向と、目方向検出手段により検出された目の方向と、に基づいて、前記人が方向転換する方向を予測してもよい。
この一態様において、前記方向予測手段は、
前記脚状態検出手段により検出された左右脚部の状態と、前記胸回転検出手段により検出された胸の回転情報と、に基づいて前記人が方向転換する暫定方向を予測し、
前記目の方向と、前記首のヨー軸周りの回転方向と、前記胸のヨー軸周りの回転方向と、がこの順で同一方向を向いたと判断した場合、前記暫定方向を前記人が方向転換する方向と予測してもよい。
上記目的を達成するための本発明の一態様は、
上記転換方向予測システムと、
前記方向予測手段により予測された前記人の方向転換の方向に基づいて、前記人に対して警告を行う警告手段と、
を備える、移動システムであってもよい。
上記目的を達成するための本発明の一態様は、
上記転換方向予測システムと、
前記方向予測手段により予測された前記人の方向転換の方向に基づいて、移動体が前記人を回避するように該移動体を制御する制御手段と、
を備える、移動システムであってもよい。
上記目的を達成するための本発明の一態様は、
人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出するステップと、
前記人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出するステップと、
前記検出された左右脚部の状態と、前記検出された胸の回転情報と、に基づいて、前記人が方向転換する方向を予測するステップと、
を含む、転換方向予測方法
であってもよい。
上記目的を達成するための本発明の一態様は、
人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出する処理と、
前記人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出する処理と、
前記検出された左右脚部の状態と、前記検出された胸の回転情報と、に基づいて、前記人が方向転換する方向を予測する処理と、
をコンピュータに実行させる、プログラム
であってもよい。
本発明によれば、より高精度に人が方向転換する方向を予測することができる転換方向予測システム、移動システム、転換方向予測方法、及びプログラムを提供することができる。
本実施形態に係る転換方向予測システムの概略的なシステム構成を示すブロック図である。 人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける方向を示す図である。 スピンターン及びステップターンを示す図である。 本実施形態に係る転換方向予測方法のフローを示すフローチャートである。 本実施形態に係る転換方向予測システムの概略的なシステム構成を示すブロック図である。 本実施形態に係る転換方向予測方法のフローを示すフローチャートである。 本実施形態に係る転換方向予測システムの概略的なシステム構成を示すブロック図である。 本実施形態に係る転換方向予測システムの概略的なシステム構成を示すブロック図である。 本実施形態に係る移動システムの概略的なシステム構成を示す図である。 転換方向予測システムが移動体外に設けられた構成を示す図である。
以下、発明の実施形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
実施形態１
例えば、人の後方から移動体が近づく、あるいは人と移動体が並走している状態において、人は後方あるいは側方を確認せず、突然方向転換をすることがある。この場合、移動体と人とが衝突し得る。
これに対し、本実施形態に係る転換方向予測システムは、後述の如く、人のバイオメカニクスを利用して人が方向転換する意図を正確に認識することで、人が方向転換する方向を高精度かつ高速に予測することができる。これにより、例えば、上記のような移動体と人との衝突を確実に回避することができる。図１は、本実施形態に係る転換方向予測システムの概略的なシステム構成を示すブロック図である。
本実施形態に係る転換方向予測システム１は、人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出する脚状態検出部２と、人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出する胸回転検出部３と、人が方向転換する方向を予測する方向予測部４と、を備えている。
脚状態検出部２は、脚状態検出手段の一具体例である。脚状態検出部２は、例えば、３次元カメラなどにより取得された人の画像に基づいて、人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出する。
なお、立脚状態とは、人が歩行中に足裏で地面を踏み体を支える状態である。遊脚状態とは、人が歩行中に足をもち上げて前後に振り出す状態である。人の歩行において、左右脚部は、夫々、立脚状態と遊脚状態とを交互に繰返す。
脚状態検出部２は、例えば、ニューラルネットワークなどの機械学習器を用いて、人の左右脚部の遊脚状態及び立脚状態の画像を学習し、その学習結果を用いて、上記遊脚状態及び立脚状態の検出を行っても良い。脚状態検出部２は、検出した左右脚部の状態を方向予測部４に出力する。
胸回転検出部３は、胸回転検出手段の一具体例である。胸回転検出部３は、人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出する。回転情報は、回転方向、回転角、回転量などの情報を含む。
胸回転検出部３は、例えば、３次元カメラなどにより取得された人の画像に基づいて人の骨格モデルを生成し、生成した人の骨格モデルに基づいて、図２に示す如く、人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出する。
胸回転検出部３は、ニューラルネットワークなどの機械学習器を用いて、人の胸の画像を学習し、その学習結果を用いて、上記人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報の検出を行っても良い。胸回転検出部３は、検出した人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を方向予測部４に出力する。
方向予測部４は、方向予測手段の一具体例である。方向予測部４は、脚状態検出部２により検出された左右脚部の状態と、胸回転検出部３により検出された胸の回転情報と、に基づいて、人が方向転換する方向を予測する。具体的には、方向予測部４は、人が右方向へ方向転換するのか、あるいは、左方向へ方向転換するのか、を予測する。
ここで、本実施形態に係る転換方向予測システム１において、人の歩行時の方向転換戦略と人が体を動かす際の運動連鎖に着目して、人が方向転換する方向の判定方法が設定されている。転換方向予測システム１は、この判定方法を用いることで、人が方向転換する方向を高精度かつ高速に予測することができる。以下、その人が方向転換する方向の判定方法について詳細に説明する。
人が体を動かす際の運動連鎖に着目すると、人の姿勢からその人の次の動作が推定できる。例えば、人の方向転換時には、重心押し出し、重心方向の制御、重心加速度の制御、体幹バランス制御、および、方向転換戦略決定が、この順で行われる。
上記方向転換戦略決定では、例えば、スピンターン及びステップターンのうちのいずれかが決定される。スピンターンとは、例えば、図３左側に示す如く、軸足（立脚）を中心に体を駒のように旋回させ、遊脚を進行方向に振り出す方向転換動作である。一方、ステップターンとは、例えば、図３右側に示す如く、軸足はそのまま接地させた状態で遊脚を接地させた後、その接地した遊脚を蹴り出し、軸足（立脚）を進行方向に振り出す方向転換動作である。
上述の如くスピンターン及びステップターンが行われる前に、体幹のバランスをとるたねの体幹バランス制御が行われる。すなわち、この体幹バランス制御は、スピンターン及びステップターンを行うための予備動作となる。したがって、この予備動作に着目することで、人がスピンターン及びステップターンのいずれを行うかを高精度に予測できる。そして、スピンターン及びステップターンの予測によって、後述の如く、人が方向転換する方向を高精度に予測できる。
人がスピンターンを行う場合、体幹のバランスを取るための予備動作として、人の脊柱が伸展状態になり、胸が進行方向と逆方向へ旋回し、さらに、胸が側屈する。一方、人がステップターンを行う場合、体幹のバランスを取るための予備動作として、人の脊柱が屈曲状態になり、胸が進行方向と同方向へ旋回し、さらに、胸が側屈する。なお、上述した方向転換の判定方法は、人が健常者であり、バランス能力が低下した高齢者などを除くことを前提としている。
方向予測部４は、胸回転検出部３により検出された胸のピッチ軸周りにおける回転情報に基づいて、上述の、人の脊柱が伸展状態にあること、及び人の脊柱が屈曲状態にあること、を検出できる。
方向予測部４は、胸回転検出部３により検出された胸のヨー軸周りにおける回転情報に基づいて、上述の、胸が進行方向と同方向へ旋回していること、及び、胸が進行方向と逆方向へ旋回していること、を検出できる。
方向予測部４は、胸回転検出部３により検出された胸のロール軸周りにおける回転情報に基づいて、上述の、胸が側屈していることを検出できる。
方向予測部４は、上述した方向転換の判定方法に基づいて、次のように、人が方向転換する方向を予測する。
方向予測部４は、胸回転検出部３により検出された胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報に基づいて、人の脊柱が伸展状態にあり、胸が進行方向と逆方向へ旋回及び側屈していると判定した場合に、人がスピンターンを行うと予測し、遊脚方向へ方向転換すると予測する。そして、方向予測部４は、遊脚方向への方向転換の予測結果と、脚状態検出部２により検出された人の左右脚部の状態と、に基づいて、人が方向転換する方向を予測する。
例えば、脚状態検出部２は、右脚部が遊脚状態である、及び左脚部が立脚状態であると検出する。また、方向予測部４は、胸回転検出部３により検出された胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報に基づいて、遊脚方向へ方向転換すると予測する。この場合、方向予測部４は、脚状態検出部２により検出された右脚部の遊脚状態と、遊脚方向への方向転換の予測結果と、に基づいて、人が右方向へ方向転換すると予測する。
また、方向予測部４は、胸回転検出部３により検出された胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報に基づいて、人の脊柱が屈曲状態にあり、胸が進行方向と同方向へ旋回及び側屈していると判定した場合に、人がステップターンを行うと予測し、立脚方向へ方向転換すると予測する。そして、方向予測部４は、立脚方向への方向転換の予測結果と、脚状態検出部２により検出された人の左右脚部の状態と、に基づいて、人が方向転換する方向を予測する。
例えば、脚状態検出部２は、右脚部が遊脚状態である、及び左脚部が立脚状態であると検出する。また、方向予測部４は、胸回転検出部３により検出された胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報に基づいて、立脚方向へ方向転換すると予測する。この場合、方向予測部４は、脚状態検出部２により検出された左脚部の立脚状態の検出結果と、立脚方向への方向転換の予測結果と、に基づいて、人が左方向へ方向転換すると予測する。
上述の如く、本実施形態に係る転換方向予測システム１は、人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報と、人の左右脚部の状態と、に基づいて、人が方向転換する方向（右方向転換、左方向転換）を予測できる。
続いて、本実施形態に係る転換方向予測方法について説明する。図４は、本実施形態に係る転換方向予測方法のフローを示すフローチャートである。なお、図４に示す処理フローは、所定の時間毎に繰返し実行されてもよい。
脚状態検出部２は、人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出し、その検出結果を方向予測部４に出力する（ステップＳ１０１）。
胸回転検出部３は、人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出し、その検出結果を方向予測部４に出力する（ステップＳ１０２）。
方向予測部４は、胸回転検出部３により検出された胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報に基づいて、人の脊柱が伸展状態にあり、胸が進行方向と逆方向へ旋回及び側屈していると検出した場合に（ステップＳ１０３）、人が遊脚方向へ方向転換すると予測する（ステップＳ１０４）。
方向予測部４は、胸回転検出部３により検出された胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報に基づいて、人の脊柱が屈曲状態にあり、胸が進行方向と同方向へ旋回及び側屈していると検出した場合に（ステップＳ１０５）、人が立脚方向へ方向転換すると予測する（ステップＳ１０６）。
方向予測部４は、遊脚方向及び立脚方向の予測結果と、脚状態検出部２により検出された人の左右脚部の状態と、に基づいて、人が方向転換する方向を予測する（ステップＳ１０７）。
なお、（ステップＳ１０１）の処理は、本処理の最初に実行させているが、これに限定されない。例えば、（ステップＳ１０１）の処理は、（ステップ１０２）乃至（ステップＳ１０６）の後、あるいは同時に実行させてもよく、（ステップＳ１０７）の前に実行されれば、いずれのタイミングで実行されてもよい。
以上、本実施形態に係る転換方向予測システム１は、人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出する脚状態検出部２と、人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出する胸回転検出部３と、脚状態検出部２により検出された左右脚部の状態と、胸回転検出部３により検出された胸の回転情報と、に基づいて、人が方向転換する方向を予測する方向予測部４と、を備える。
本実施形態に係る転換方向予測システム１によれば、人のバイオメカニクスを利用して人が方向転換する意図を認識することで、人が方向転換する方向を高精度かつ高速に予測することができる。
実施形態２
例えば、人は方向転換する方向に頭を向けるという予備動作を行う傾向がある。本実施形態において、方向予測部４は、上記実施形態に係る予備動作に加えて、人の首に関する予備動作を検出することで、人が方向転換する方向をより高精度に予測する。
図５は、本実施形態に係る転換方向予測システムの概略的なシステム構成を示すブロック図である。なお、本実施形態において、上記実施形態と同一部分には同一符号を付して詳細な説明は省略する。本実施形態に係る転換方向予測システム２０は、上記実施形態１の構成に加えて、人の首のヨー軸周りの回転方向を検出する首方向検出部５を更に備えている。
首方向検出部５は、首方向検出手段の一具体例である。首方向検出部５は、例えば、３次元カメラなどにより取得された人の画像に基づいて、人の首のヨー軸周りにおける回転方向を検出する。
方向予測部４は、脚状態検出部２により検出された左右脚部の状態と、胸回転検出部３により検出された胸の回転情報と、に基づいて人が方向転換する暫定方向を予測する。さらに、方向予測部４は、予測した暫定方向と、首方向検出部５により検出された首の回転方向と、が同一であると判断した場合、暫定方向を人が方向転換する方向と予測する。
このように、人の胸（脊柱）に関する予備動作に加えて、人の首に関する予備動作を検出することで、人が方向転換する方向をより高精度に予測することができる。
図６は、本実施形態に係る転換方向予測方法のフローを示すフローチャートである。なお、図６に示す処理フローは、所定の時間毎に繰返し実行されてもよい。脚状態検出部２は、人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出し、その検出結果を方向予測部４に出力する（ステップＳ２０１）。
胸回転検出部３は、人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出し、その検出結果を方向予測部４に出力する（ステップＳ２０２）。
方向予測部４は、脚状態検出部２により検出された左右脚部の状態と、胸回転検出部３により検出された胸の回転情報と、に基づいて人が方向転換する暫定方向を予測する（ステップＳ２０３）。
首方向検出部５は、３次元カメラにより取得された人の画像などに基づいて、人の首のヨー軸周りにおける回転方向を検出する（ステップＳ２０４）。
方向予測部４は、予測した暫定方向と、首方向検出部５により検出された首の回転方向と、が同一であるか否かを検出する（ステップＳ２０５）。
方向予測部４は、予測した暫定方向と、首の回転方向と、が同一であると検出した場合（ステップＳ２０５のＹＥＳ）、暫定方向を人が方向転換する方向と予測する（ステップＳ２０６）。
なお、（ステップＳ２０４）の処理は、例えば、（ステップ２０１）乃至（ステップＳ２０３）の後、あるいは同時に実行させてもよく、（ステップＳ２０５）の前に実行されれば、いずれのタイミングで実行されてもよい。
実施形態３
例えば、人は方向転換する方向に目（視線）を向けるという予備動作を行う傾向がある。本実施形態において、方向予測部４は、上記実施形態に係る予備動作に加えて、人の目に関する予備動作を検出することで、人が方向転換する方向をより高精度に予測する。
図７は、本実施形態に係る転換方向予測システムの概略的なシステム構成を示すブロック図である。なお、本実施形態において、上記実施形態と同一部分には同一符号を付して詳細な説明は省略する。
本実施形態に係る転換方向予測システム３０は、上記実施形態１の構成に加えて、人の目の方向を検出する目方向検出部６を更に備えている。目方向検出部６は、目方向検出手段の一具体例である。目方向検出部６は、例えば、３次元カメラにより取得された人の画像に基づいて、人の目（視線）の方向を検出する。
方向予測部４は、脚状態検出部２により検出された左右脚部の状態と、胸回転検出部３により検出された胸の回転情報と、に基づいて人が方向転換する暫定方向を予測する。さらに、方向予測部４は、予測した暫定方向と、目方向検出部６により検出された目の方向と、が同一であると判断した場合、暫定方向を人が方向転換する方向と予測する。
このように、人の胸（脊柱）に関する予備動作に加えて、人の目に関する予備動作を検出することで、人が方向転換する方向をより高精度に予測することができる。
実施形態４
本実施形態において、人の胸（脊柱）に関する予備動作、人の首に関する予備動作、及び、人の目による予備動作を検出することで、人が方向転換する方向をより高精度に予測する。
図８は、本実施形態に係る転換方向予測システムの概略的なシステム構成を示すブロック図である。なお、本実施形態において、上記実施形態と同一部分には同一符号を付して詳細な説明は省略する。
本実施形態に係る転換方向予測システム４０は、上記実施形態１の構成に加えて、人の首のヨー軸周りの回転方向を検出する首方向検出部５と、人の目の方向を検出する目方向検出部６と、を更に備えている。
方向予測部４は、脚状態検出部２により検出された脚部の状態と、前記胸回転検出手段により検出された胸の回転情報と、前記首方向検出手段により検出された首の回転方向と、目方向検出手段により検出された目の方向と、に基づいて、人が方向転換する方向を予測する。
これにより、人の胸（脊柱）に関する予備動作、人の首に関する予備動作、さらに、人の目による予備動作を検出することで、人が方向転換する方向をより高精度に予測することができる。
ここで、人は方向転換する際に、その方向転換する方向（進行方向）に、まず、視線を向け、次に頭（首）を向け、最後に胸を向けるという予備動作を行う傾向がある。したがって、このような一連の予備動作が同一の方向に行われたときに、その胸の回転情報に基づき予測された暫定方向へより高い確率で方向転換すると考えられる。
以上を考慮して、本実施形態において、方向予測部４は、脚状態検出部２により検出された左右脚部の状態と、胸回転検出部３により検出された胸の回転情報と、に基づいて人が方向転換する暫定方向を予測する。そして、方向予測部４は、目の方向と、首のヨー軸周りの回転方向と、胸のヨー軸周りの回転方向と、がこの順で同一方向を向いたと判断した場合、暫定方向を人が方向転換する方向と予測する。
これにより、人の胸（脊柱）に関する予備動作、人の首に関する予備動作、さらに、人の目による予備動作を、一連の予備動作として捉え、人が方向転換する方向をより高精度に予測することができる。
実施形態５
本実施形態に係る移動システムにおいて、上記実施形態に係る転換方向予測システム１、２０、３０、４０は、移動体に搭載されている。図９は、本実施形態に係る移動システムの概略的なシステム構成を示す図である。なお、本実施形態において、上記実施形態と同一部分には同一符号を付して詳細な説明は省略する。本実施形態に係る移動体５０は、例えば、車輪などを駆動させて自律的に移動する自律移動ロボットとして構成されている。
移動システム１０は、上記実施形態に係る転換方向予測システム１、２０、３０、４０と、人に対して警告を行う警告部７と、移動体５０の移動を制御する制御部８と、を備えている。
転換方向予測システム１、２０、３０、４０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサ１１と、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの内部メモリ１２と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などのストレージデバイス１３と、ディスプレイなどの周辺機器を接続するための入出力Ｉ／Ｆ１４と、装置外部の機器と通信を行う通信Ｉ／Ｆ１５と、を備えた通常のコンピュータのハードウェア構成を有する。
警告部７は、警告手段の一具体例である。警告部７は、例えば、音や光などを出力することで、ユーザに対して警告を与える。
警告部７は、例えば、転換方向予測システム１、２０、３０、４０により予測された人の方向転換の方向に基づいて、人と移動体５０が衝突すると判断すると、人に対して警告を行う。この警告により、例えば、人が移動体５０の接近を認識でき、人と移動体５０との衝突を回避することができる。
制御部８は、制御手段の一具体例である。制御部８は、例えば、転換方向予測システム１、２０、３０、４０により予測された人の方向転換の方向に基づいて、人と移動体５０が衝突すると判断すると、移動体５０が人を回避するように移動体５０の制御を行う。制御部８は、移動体５０が人を回避するように、例えば、移動体５０の減速制御や操舵制御などを行う。これにより、人と移動体５０との衝突を回避することができる。
なお、本実施形態において、移動体５０は、警告部７及び制御部８のうち一方を備える構成であってもよい。また、警告部７及び制御部８のうち少なくとも一方が、移動体５０外に設けられる構成であってもよい。
さらに、本実施形態において、転換方向予測システム１、２０、３０、４０は移動体５０に搭載される構成であるが、これに限定されない。例えば、転換方向予測システム１、２０、３０、４０は、図１０に示す如く、移動体５０外に設けられる構成であってもよい。
転換方向予測システム１、２０、３０、４０は、予測した人の方向転換の方向を、無線通信などを介して、移動体５０に送信する。移動体５０の警告部７は、転換方向予測システム１、２０、３０、４０から送信される人の方向転換の方向に基づいて、ユーザに対して警告を行う。移動体５０の制御部８は、転換方向予測システム１、２０、３０、４０から送信される人の方向転換の方向に基づいて、移動体５０が人を回避するように移動体５０を制御する。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
本発明は、例えば、図４及び図６に示す処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上述した各実施形態に係る転換方向予測システム１、２０、３０、４０を構成する各部は、プログラムにより実現するだけでなく、その一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアにより実現することもできる。
１ 転換方向予測システム、２ 脚状態検出部、３ 胸回転検出部、４ 方向予測部、５ 首方向検出部、６ 目方向検出部、７ 警告部、８ 制御部、１１ プロセッサ、１２ 内部メモリ、１３ ストレージデバイス、２０ 転換方向予測システム、３０ 転換方向予測システム、４０ 転換方向予測システム、５０ 移動体

Claims (11)

  1. 人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出する脚状態検出手段と、
    前記人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出する胸回転検出手段と、
    前記脚状態検出手段により検出された左右脚部の状態と、前記胸回転検出手段により検出された胸の回転情報と、に基づいて、前記人が方向転換する方向を予測する方向予測手段と、
    を備える、転換方向予測システム。
  2. 請求項１記載の転換方向予測システムであって、
    前記方向予測手段は、
    前記胸回転検出手段により検出された胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報に基づいて、前記人の脊柱が伸展状態にあり、前記胸が進行方向と逆方向へ旋回及び側屈していると判定した場合に、前記人が遊脚方向へ方向転換すると予測し、
    前記遊脚方向への方向転換の予測結果と、前記脚状態検出手段により検出された人の左右脚部の状態と、に基づいて、前記人が方向転換する方向を予測する、
    転換方向予測システム。
  3. 請求項１又は２記載の転換方向予測システムであって、
    前記方向予測手段は、
    前記胸回転検出手段により検出された胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報に基づいて、前記人の脊柱が屈曲状態にあり、前記胸が進行方向と同方向へ旋回及び側屈していると判定した場合に、前記人が立脚方向へ方向転換すると予測し、
    前記立脚方向への方向転換の予測結果と、前記脚状態検出手段により検出された人の左右脚部の状態と、に基づいて、前記人が方向転換する方向を予測する、
    転換方向予測システム。
  4. 請求項１記載の転換方向予測システムであって、
    前記人の首のヨー軸周りの回転方向を検出する首方向検出手段を更に備え、
    前記方向予測手段は、
    前記脚状態検出手段により検出された左右脚部の状態と、前記胸回転検出手段により検出された胸の回転情報と、に基づいて前記人が方向転換する暫定方向を予測し、
    前記予測した暫定方向と、前記首方向検出手段により検出された首のヨー軸周りの回転方向と、が同一であると判断した場合、前記暫定方向を前記人が方向転換する方向と予測する、
    転換方向予測システム。
  5. 請求項４記載の転換方向予測システムであって、
    前記人の目の方向を検出する目方向検出手段を更に備え、
    前記方向予測手段は、
    前記脚状態検出手段により検出された左右脚部の状態と、前記胸回転検出手段により検出された胸の回転情報と、に基づいて前記人が方向転換する暫定方向を予測し、
    前記予測した暫定方向と、前記目方向検出手段により検出された目の方向と、が同一であると判断した場合、前記暫定方向を前記人が方向転換する方向と予測する、
    転換方向予測システム。
  6. 請求項５記載の転換方向予測システムであって、
    前記方向予測手段は、前記脚状態検出手段により検出された左右脚部の状態と、前記胸回転検出手段により検出された胸の回転情報と、前記首方向検出手段により検出された首の回転方向と、目方向検出手段により検出された目の方向と、に基づいて、前記人が方向転換する方向を予測する、
    転換方向予測システム。
  7. 請求項６記載の転換方向予測システムであって、
    前記方向予測手段は、
    前記脚状態検出手段により検出された左右脚部の状態と、前記胸回転検出手段により検出された胸の回転情報と、に基づいて前記人が方向転換する暫定方向を予測し、
    前記目の方向と、前記首のヨー軸周りの回転方向と、前記胸のヨー軸周りの回転方向と、がこの順で同一方向を向いたと判断した場合、前記暫定方向を前記人が方向転換する方向と予測する、
    転換方向予測システム。
  8. 請求項１記載の転換方向予測システムと、
    前記方向予測手段により予測された前記人の方向転換の方向に基づいて、前記人に対して警告を行う警告手段と、
    を備える、
    移動システム。
  9. 請求項１記載の転換方向予測システムと、
    前記方向予測手段により予測された前記人の方向転換の方向に基づいて、移動体が前記人を回避するように該移動体を制御する制御手段と、
    を備える、
    移動システム。
  10. 人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出するステップと、
    前記人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出するステップと、
    前記検出された左右脚部の状態と、前記検出された胸の回転情報と、に基づいて、前記人が方向転換する方向を予測するステップと、
    を含む、転換方向予測方法。
  11. 人の左右脚部が遊脚状態及び立脚状態のいずれの状態であるかを検出する処理と、
    前記人の胸のピッチ軸、ヨー軸、及びロール軸周りにおける回転情報を検出する処理と、
    前記検出された左右脚部の状態と、前記検出された胸の回転情報と、に基づいて、前記人が方向転換する方向を予測する処理と、
    をコンピュータに実行させる、プログラム。
JP2022066223A 2022-04-13 2022-04-13 転換方向予測システム、移動システム、転換方向予測方法、及びプログラム Pending JP2023156709A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022066223A JP2023156709A (ja) 2022-04-13 2022-04-13 転換方向予測システム、移動システム、転換方向予測方法、及びプログラム
US18/131,941 US20230334869A1 (en) 2022-04-13 2023-04-07 Turning direction prediction system, moving system, turning direction prediction method, and program
CN202310386648.6A CN116912309A (zh) 2022-04-13 2023-04-12 变换方向预测***、方法、移动***以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022066223A JP2023156709A (ja) 2022-04-13 2022-04-13 転換方向予測システム、移動システム、転換方向予測方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023156709A true JP2023156709A (ja) 2023-10-25

Family

ID=88308190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022066223A Pending JP2023156709A (ja) 2022-04-13 2022-04-13 転換方向予測システム、移動システム、転換方向予測方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230334869A1 (ja)
JP (1) JP2023156709A (ja)
CN (1) CN116912309A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7472866B2 (ja) * 2021-07-06 2024-04-23 トヨタ自動車株式会社 車両用操舵ガイドトルク制御装置

Also Published As

Publication number Publication date
CN116912309A (zh) 2023-10-20
US20230334869A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
CN109565574B (zh) 用于移动体周围的机器人行为的***和方法
JP7266032B2 (ja) Ｖｒ歩行機構及び仮想現実シーンにおける歩行方法
US7127326B2 (en) Certain principles of biomorphic robots including foot placement selection using non-geometric visual properties
JP5746347B2 (ja) 自律移動装置
Mou et al. Context-aware assisted interactive robotic walker for Parkinson's disease patients
US20180235831A1 (en) Method and apparatus for walking assistance
Lee et al. JAIST Robotic Walker control based on a two-layered Kalman filter
JP2021167165A (ja) ドライバ異常判定システム
US20210316737A1 (en) Driver abnormality determination apparatus, method and computer program
US20110242316A1 (en) Shoe-integrated tactile display for directional navigation
US20210403039A1 (en) Arithmetic operation system for vehicle
US10993871B2 (en) Walking support robot and walking support method
US11568640B2 (en) Techniques for providing vibrations at headset
JP2023501039A (ja) ソーシャルグラフネットワークを用いた確率的軌道予測
US20220017082A1 (en) Travel control system for vehicle
JP2023156709A (ja) 転換方向予測システム、移動システム、転換方向予測方法、及びプログラム
KR20190130214A (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
US11427208B2 (en) Driver condition determination apparatus, method and computer program product
US20140093851A1 (en) Horseback riding simulator and method for horseback riding simulation
US11858523B2 (en) Vehicle travel control device
Jetzschke et al. Finding home: Landmark ambiguity in human navigation
US20220011112A1 (en) Vehicle travel control device
Chen et al. Mobile robot assisted gait monitoring and dynamic margin of stability estimation
CN113269008B (zh) 一种行人轨迹预测方法、装置、电子设备及存储介质
US20210316736A1 (en) Driver abnormality determination apparatus, method and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231219