JP2020086756A - 自律移動装置およびプログラム - Google Patents

自律移動装置およびプログラム Download PDF

Info

Publication number
JP2020086756A
JP2020086756A JP2018218184A JP2018218184A JP2020086756A JP 2020086756 A JP2020086756 A JP 2020086756A JP 2018218184 A JP2018218184 A JP 2018218184A JP 2018218184 A JP2018218184 A JP 2018218184A JP 2020086756 A JP2020086756 A JP 2020086756A
Authority
JP
Japan
Prior art keywords
movement
foot
stop
target person
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018218184A
Other languages
English (en)
Inventor
雄范 金
Yuhan Kin
雄范 金
真理子 宮崎
Mariko Miyazaki
真理子 宮崎
英基 藤本
Hidemoto Fujimoto
英基 藤本
徹也 小林
Tetsuya Kobayashi
徹也 小林
肇 梶山
Hajime Kajiyama
肇 梶山
訓稔 山本
Kunitoshi Yamamoto
訓稔 山本
哲平 青木
Teppei Aoki
哲平 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2018218184A priority Critical patent/JP2020086756A/ja
Priority to CN201910480716.9A priority patent/CN111208846A/zh
Priority to US16/681,838 priority patent/US11435754B2/en
Publication of JP2020086756A publication Critical patent/JP2020086756A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

【課題】追随対象者の動作に追随して移動する際に、追随対象者との距離に応じて移動又は停止する制御を行う場合と比較して、追随対象者の移動又は停止の動作に合致しない移動又は停止の制御を実行してしまう可能性を低減することが可能な自律移動装置およびプログラムを提供する。【解決手段】検出部３２は、制御部３０による制御に基づいて、周囲の物体との距離及びその形状を検出する。移動部１８は、検出部３２により検出された追随対象者の動作に追随して自装置を移動させる。制御部３０は、検出部３２により検出された追随対象者の二本の足のそれぞれの動きに応じて、移動部１８による移動又は停止の制御を行う。【選択図】図４

Description

本発明は、自律移動装置およびプログラムに関する。
特許文献１には、原動機を備えた移動筐体が移動する移動システムであって、前記移動システムは、可変長または固定長により０．１ｍ以上の長さのリードにより前記移動筐体から離れた位置から操作を行うことができるリード型入力デバイスと、追従対象の位置を検出して前記追従対象を追従して走行する追従機能を備え、前記リード型入力デバイスによって、前記追従機能の開始、停止、モードの変更、方式の変更、前記追従対象の特定を行うことを特徴とする追従移動システムが開示されている。
国際公開第２０１７／０５６３３４号パンフレット
本発明の目的は、追随対象者の動作に追随して移動する際に、追随対象者との距離に応じて移動又は停止する制御を行う場合と比較して、追随対象者の移動又は停止の動作に合致しない移動又は停止の制御を実行してしまう可能性を低減することが可能な自律移動装置およびプログラムを提供することである。
請求項１に係る本発明は、周囲の物体との距離及びその形状を検出する検出手段と、前記検出手段により検出された追随対象者の動作に追随して自装置を移動させる移動手段と、前記検出手段により検出された追随対象者の二本の足のそれぞれの動きに応じて、前記移動手段による移動又は停止の制御を行う制御手段と、を備えた自律移動装置である。
請求項２に係る本発明は、前記制御手段は、前記検出手段により検出された追随対象者の停止している一方の足の位置と、動いている他方の足が停止した位置との関係に応じて、移動又は停止の制御を行う請求項１記載の自律移動装置である。
請求項３に係る本発明は、前記制御手段は、前記検出手段により検出された追随対象者の停止している一方の足の位置に対して、動いている他方の足が停止した位置が、自装置に対して予め定めた位置よりも近い場合と遠い場合とにより、移動又は停止の制御を行う請求項２記載の自律移動装置である。
請求項４に係る本発明は、前記制御手段は、前記検出手段により検出された追随対象者の停止している一方の足の位置と、動いている他方の足が停止した位置との差分が、予め定めた長さよりも長いか否かにより、移動又は停止の制御を行う請求項２記載の自律移動装置である。
請求項５に係る本発明は、前記制御手段は、前記検出手段により検出された追随対象者の一方の足に対する他方の足の移動距離が、予め定めた距離よりも長いか否かにより、移動又は停止の制御を行う請求項１記載の自律移動装置である。
請求項６に係る本発明は、前記検出手段は、追随対象者の歩幅を検出し、前記制御手段は、前記検出手段により検出された追随対象者の歩幅が、予め定めた長さよりも長いか否かにより、移動又は停止の制御を行う請求項１記載の自律移動装置である。
請求項７に係る本発明は、前記制御手段は、前記検出手段により検出された追随対象者の停止している足が左右で入れ替わった後に、動いている一方の足が停止した位置と、停止している他方の足の位置との関係に応じて、移動又は停止の制御を行う請求項２から６のいずれかに記載の自律移動装置である。
請求項８に係る本発明は、前記制御手段は、前記検出手段により検出された追随対象者の予め定められた特定の動きに応じて、前記移動手段による移動又は停止の制御を行う請求項１から７のいずれか記載の自律移動装置である。
請求項９に係る本発明は、前記予め定められた特定の動きは、追随対象者の手の動きである請求項８記載の自律移動装置である。
請求項１０に係る本発明は、前記制御手段は、前記検出手段により検出された追随対象者の手のひらを自装置に向ける動きにより、移動又は停止の制御を行う請求項９記載の自律移動装置である。
請求項１１に係る本発明は、追随対象者の二本の足のそれぞれの動きの移動又は停止の動作を予め学習して記憶する記憶手段を備え、前記制御手段は、前記記憶手段に記憶された追随対象者の二本の足のそれぞれの動きに応じて、移動又は停止の制御を行う請求項１記載の自律移動装置である。
請求項１２に係る本発明は、周囲の物体との距離及びその形状を検出する検出ステップと、検出された追随対象者の動作に追随して自装置を移動させる移動ステップと、検出された追随対象者の二本の足のそれぞれの動きに応じて、移動又は停止の制御を行う制御ステップと、をコンピュータに実行させるためのプログラムである。
請求項１に係る本発明によれば、追随対象者の動作に追随して移動する際に、追随対象者との距離に応じて移動又は停止する制御を行う場合と比較して、追随対象者の移動又は停止の動作に合致しない移動又は停止の制御を実行してしまう可能性を低減することが可能な自律移動装置を提供することができる。
請求項２に係る本発明によれば、追随対象者の動作に追随して移動する際に、追随対象者との距離に応じて移動又は停止する制御を行う場合と比較して、追随対象者の移動又は停止の動作に合致しない移動又は停止の制御を実行してしまう可能性を低減することが可能な自律移動装置を提供することができる。
請求項３に係る本発明によれば、追随対象者の動作に追随して移動する際に、追随対象者との距離に応じて移動又は停止する制御を行う場合と比較して、追随対象者の移動又は停止の動作に合致しない移動又は停止の制御を実行してしまう可能性を低減することが可能な自律移動装置を提供することができる。
請求項４に係る本発明によれば、追随対象者の動作に追随して移動する際に、追随対象者との距離に応じて移動又は停止する制御を行う場合と比較して、追随対象者の移動又は停止の動作に合致しない移動又は停止の制御を実行してしまう可能性を低減することが可能な自律移動装置を提供することができる。
請求項５に係る本発明によれば、追随対象者の動作に追随して移動する際に、追随対象者との距離に応じて移動又は停止する制御を行う場合と比較して、追随対象者の移動又は停止の動作に合致しない移動又は停止の制御を実行してしまう可能性を低減することが可能な自律移動装置を提供することができる。
請求項６に係る本発明によれば、追随対象者の動作に追随して移動する際に、追随対象者との距離に応じて移動又は停止する制御を行う場合と比較して、追随対象者の移動又は停止の動作に合致しない移動又は停止の制御を実行してしまう可能性を低減することが可能な自律移動装置を提供することができる。
請求項７に係る本発明によれば、追随対象者の動作に追随して移動する際に、追随対象者との距離に応じて移動又は停止する制御を行う場合と比較して、追随対象者の移動又は停止の動作に合致しない移動又は停止の制御を実行してしまう可能性を低減することが可能な自律移動装置を提供することができる。
請求項８に係る本発明によれば、ユーザによる操作がなくても、移動又は停止させることが可能な自律移動装置を提供することができる。
請求項９に係る本発明によれば、ユーザによる操作がなくても、移動又は停止させることが可能な自律移動装置を提供することができる。
請求項１０に係る本発明によれば、ユーザによる操作がなくても、移動又は停止させることが可能な自律移動装置を提供することができる。
請求項１１に係る本発明によれば、追随対象者の動作に追随して移動する際に、追随対象者との距離に応じて移動又は停止する制御を行う場合と比較して、追随対象者の移動又は停止の動作に合致しない移動又は停止の制御を実行してしまう可能性を低減することが可能な自律移動装置を提供することができる。
請求項１２に係る本発明によれば、追随対象者の動作に追随して移動する際に、追随対象者との距離に応じて移動又は停止する制御を行う場合と比較して、追随対象者の移動又は停止の動作に合致しない移動又は停止の制御を実行してしまう可能性を低減することが可能なプログラムを提供することができる。
本発明の一実施形態に係る自律移動装置を適用したシステム構成を示す図である。 本発明の一実施形態に係る自律移動装置を示す斜視図である。 本発明の一実施形態に係る自律移動装置のハードウェア構成を示すブロック図である。 本発明の一実施形態に係る自律移動装置の機能構成を示すブロック図である。 （Ａ）は、本発明の一実施形態に係る自律移動装置の後追いモードの動作の一例を示す図であって、（Ｂ）は、（Ａ）で示す自律移動装置のカメラが撮像する画像の一例を示す図である。 本発明の一実施形態に係る自律移動装置の停止モードによる停止から後追いモードによる移動開始の制御フローを示すフローチャートである。 図６に示す停止モードによる停止から後追いモードによる移動開始の自律移動装置の動作を説明する図である。 本発明の一実施形態に係る自律移動装置の後追いモードによる移動中から停止モードによる停止の制御フローを示すフローチャートである。 図８に示す後追いモードによる移動中から停止モードによる停止の自律移動装置の動作を説明する図である。 本発明の一実施形態に係る自律移動装置の動作の制御フローの変形例を示すフローチャートである。 本発明の一実施形態に係る自律移動装置の動作の制御フローの変形例を示すフローチャートである。 （Ａ）は、本発明の一実施形態に係る自律移動装置の先行モードの動作の一例を示す図であって、（Ｂ）は、（Ａ）で示す自律移動装置のカメラが撮像する画像の一例を示す図である。 本発明の一実施形態に係る自律移動装置の停止モードによる停止から先行モードによる移動開始の制御フローを示すフローチャートである。 図１３に示す停止モードによる停止から先行モードによる移動開始の自律移動装置の動作を説明する図である。 本発明の一実施形態に係る自律移動装置の先行モードによる移動中から停止モードによる停止の制御フローを示すフローチャートである。 図１５に示す先行モードによる移動中から停止モードによる停止の自律移動装置の動作を説明する図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の一実施形態の自律移動装置１０を用いたシステムの構成を示す図である。
本発明の一実施形態の自律移動装置１０を用いたシステムは、図１に示されるように、自律移動装置１０と、サーバ１２とから構成されている。
そして、自律移動装置１０とサーバ１２とは、例えば携帯電話通信網１４、インターネット１５を経由して相互に接続されている。
自律移動装置１０は、携帯電話通信網１４との間でデータ等を送受信するように構成されている。また、自律移動装置１０は、自装置を移動させるための移動手段を有し、この移動手段により、追随する対象とする人である追随対象者１に追随して自律して移動することができるような構成となっている。ここで、追随とは、追随対象者１の動きに応じて、追随対象者１に先行して又は後追いして移動、停止することを意味する。
具体的には、自律移動装置１０は、追随対象者１の手、足等の動きを検出し、追随対象者１の後ろから後追いして移動する後追いモード、追随対象者１の前に先行して移動する先行モード、停止する停止モード、のいずれかの動作モードにより移動又は停止することが可能に構成されている。そして、自律移動装置１０は、後追いモードと先行モードと停止モードとの間で、ユーザによる動作モードの切替え操作が不要に構成されている。
なお、本実施形態では、自律移動装置１０は、荷台部を備え、この荷台部に荷箱等の荷物を積載して、荷物を集荷、配達する配達員等の追随対象者１に先行して又は後追いして移動又は停止する例を用いて説明する。
次に、自律移動装置１０の構成を説明する。図２は、自律移動装置１０の外観を示す斜視図である。
自律移動装置１０は、装置本体部１６、荷台部１７、移動手段としての移動部１８、撮像手段としてのカメラ１９、検出手段としてのセンサ２０を備えている。
荷台部１７は、荷箱等の荷物を積載する。また、荷台部１７は、装置本体部１６の上部に設けられている。
カメラ１９は、周囲の画像を撮像する。特に、カメラ１９は、追随対象者１の足元を撮像する。カメラ１９は、装置本体部１６の前面及び後面であって、自装置の両進行方向に設けられている。
センサ２０は、自装置の周囲の物体との距離及びその形状を検出する。センサ２０は、装置本体部１６と荷台部１７の間に設けられている。センサ２０として、例えばレーザレンジファインダ（レーザ距離センサ）等が用いられる。
移動部１８は、装置本体部１６の下部に設けられている。移動部１８は、カメラ１９やセンサ２０により検出された追随対象者１の動作に追随して自装置を移動させる。移動部１８として、例えば車輪や脚等が用いられる。車輪や脚等に駆動源としての例えばモータ、アクチュエータ、エンジン、油圧ポンプ等が接続される。
図３は、自律移動装置１０のハードウェア構成を示すブロック図である。
自律移動装置１０は、図３に示されるように、ＣＰＵ２１、メモリ２２、記憶装置２３、無線通信部２４、移動部１８、カメラ１９、センサ２０を有し、これらが制御バス２５を介して接続されている。
ＣＰＵ２１は、メモリ２２に格納された制御プログラムに基づいて予め定められた処理を実行する。
記憶装置２３は、自律移動装置１０の各部を制御するための制御プログラムを記憶する。
無線通信部２４は、携帯電話通信網１４との間で無線回線を介してデータの送受信を行っている。
図４は、プログラムが実行されることにより実現される自律移動装置１０の機能構成を示すブロック図である。
本実施形態の自律移動装置１０は、図４に示されるように、制御部３０と、検出部３２と、データ送受信部３３と、移動部１８と、データ格納部３５と、を備えている。
データ送受信部３３は、制御部３０による制御に基づいて、サーバ１２との間でデータの送受信を行う。
検出部３２は、制御部３０による制御に基づいて、周囲の物体との距離及びその形状を検出する。本実施形態では、検出部３２として、センサ２０とカメラ１９を用いる場合を例にして説明するが、検出部３２として、センサ２０のみにより、周囲の物体との距離およびその形状を検出するようにしてもよく、検出精度を高めたい等の場合にはカメラ１９を併用することができる。
具体的には、検出部３２は、追随対象者１の足元付近、具体的には両足のそれぞれを検出する。そして、検出部３２は、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置を検出する。ここで、停止している足とは、地面に着地している足であって、歩く又は走る際の軸となる足を意味する。
また、検出部３２は、追随対象者１の一方の足に対する他方の足の移動距離を検出する。また、検出部は、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置との差分により、追随対象者１の歩幅を検出する。つまり、歩幅とは、一方の足の着地位置から他方の足の着地位置までの幅を意味する。
移動部１８は、制御部３０による制御に基づいて、検出部３２により検出された追随対象者１の動作に追随して自装置を移動させる。
つまり、制御部３０は、検出部３２により検出された追随対象者１の二本の足のそれぞれの動きに応じて、移動部１８による移動又は停止の制御を行う。
具体的には、制御部３０は、検出部３２により検出された追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置との関係に応じて、移動又は停止の制御を行う。
例えば、制御部３０は、検出部３２により検出された追随対象者１の停止している一方の足の位置に対して、動いている他方の足が停止した位置が、自装置に対して予め定めた位置よりも近い場合と遠い場合とにより、移動又は停止の制御を行う。
また、制御部３０は、検出部３２により検出された追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置との差分である歩幅が、予め定めた長さよりも長いか否かにより、移動又は停止の制御を行う。
また、制御部３０は、検出部３２により検出された追随対象者１の一方の足に対する他方の足の移動距離が、予め定めた距離よりも長いか否かにより、移動又は停止の制御を行う。
また、制御部３０は、検出部３２により検出された追随対象者１の停止している足が左右で入れ替わった後に、動いている一方の足が停止した位置と、停止している他方の足の位置との関係に応じて、移動又は停止の制御を行う。
また、制御部３０は、検出部３２により検出された追随対象者１の予め定められた特定の動きに応じて、移動部１８による移動又は停止の制御を行う。ここで、予め定められた特定の動きは、例えば追随対象者１の手の動きであって、制御部３０は、検出部３２により検出された追随対象者１の手のひらを自装置に向ける動きにより、移動又は停止の制御を行う。
データ格納部３５は、制御部３０による制御に基づいて、各種データを格納する。また、データ格納部３５は、追随対象者１の二本の足のそれぞれの動きの移動又は停止の動作を予め学習して記憶する記憶手段として機能する。つまり、データ格納部３５は、ユーザ毎に、歩幅等のユーザの二本の足のそれぞれの動き又は停止の動作に関する情報を記憶する。
また、データ送受信部３３は、制御部３０による制御に基づいて、サーバ１２との間で追随対象者１の歩幅等の二本の足のそれぞれの動きの移動又は停止の動作に関する情報の送受信を行う。
そして、制御部３０は、データ格納部３５に格納された追随対象者１の歩幅等の二本の足のそれぞれの動きに応じて予め閾値を設定し、追随対象者１の追随移動又は停止の制御を行う。また、制御部３０は、データ送受信部３３により受信した追随対象者１の歩幅等の二本の足のそれぞれの動きに応じて予め閾値を設定し、追随対象者１の追随移動又は停止の制御を行う。
図５〜図１６は、自律移動装置１０の動作の一例を説明する図である。
図５（Ａ）は、自律移動装置１０の後追いモードによる動作の一例を示す図であり、図５（Ｂ）は、自律移動装置１０に備えられたカメラ１９により撮像される画像の一例を示す図である。
自律移動装置１０は、図５（Ａ）に示されているように、追随対象者１を後追いして移動又は停止するように構成されている。つまり、自律移動装置１０は、図５（Ｂ）に示されているように、カメラ１９により追随対象者１の足元における画像を撮像し、カメラ１９とセンサ２０により追随対象者１の二本の足のそれぞれの動きを検出するように構成されている。そして、自律移動装置１０は、追随対象者１との距離（予め設定されている間隔ｄ）を保持しながら、追随対象者１が移動すると移動し、追随対象者が停止すると停止するように、追随対象者１に後追いして移動又は停止するように構成されている。
次に、自律移動装置１０の停止モードによる停止から後追いモードによる移動開始の動作について、図６及び図７に基づいて説明する。
まず、カメラ１９とセンサ２０により追随対象者１の両足を検出する（図７（Ａ）、ステップＳ１０）。
そして、一方の足の移動を検出し（ステップＳ１１）、その一方の足の移動が検出されると（ステップＳ１２においてＹｅｓ）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ１を計算する（図７（Ｂ）、ステップＳ１３）。
そして、足間の移動距離Δ１が、閾値ΔＴよりも長い場合には（ステップＳ１４においてＹｅｓ）、他方の足の移動を検出する（ステップＳ１５）。
ここで閾値ΔＴは、各ユーザによって異なる値であって、例えば、通常歩く時の足間の平均移動距離の３分の１とする。また、閾値ΔＴは、移動開始時は、成人の通常歩く時の足間の平均移動距離の３分の１であって、例えば１０ｃｍとする。そして、追随対象者１を後追いモードにより移動しながら学習する。具体的には、自律移動装置１０は、移動しながら追随対象者１の両足の移動をそれぞれ検出して足間の移動距離を計算し、情報を蓄積し、足間の平均移動距離を算出して、この足間の平均移動距離の３分の１を追随対象者１の閾値ΔＴとして設定する。また、データ格納部３５又はサーバ１２の格納部に追随対象者１の閾値ΔＴが格納されている場合には、格納されている閾値ΔＴを用いるようにしてもよい。
そして、他方の足の移動が検出されると（ステップＳ１６においてＹｅｓ）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ２を計算する（図７（Ｃ）、ステップＳ１７）。
そして、足間の移動距離Δ２が、閾値ΔＴよりも長い場合には（ステップＳ１８においてＹｅｓ）、後追いモードによる移動を開始する。
つまり、制御部３０は、検出部３２により検出された追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離（Δ１、Δ２）が、閾値ΔＴよりも長い場合に、後追いモードにより移動する制御を行う。なお、足間の移動距離Δ１、Δ２は、動いている足が停止（着地）している場合に限定されず、足間の移動距離Δ１、Δ２が、それぞれ閾値ΔＴを超えた場合に、後追いモードによる移動を開始するようにしてもよい。
また、制御部３０は、検出部３２により検出された追随対象者１の停止している一方の足の位置に対して、動いている他方の足が停止した位置が、自装置に対して予め定めた位置よりも遠い場合に、後追いモードにより移動する制御を行うようにしてもよい。
次に、自律移動装置１０の後追いモードによる移動中から停止モードによる停止動作について、図８及び図９に基づいて説明する。
まず、カメラ１９とセンサ２０により追随対象者１の両足を検出する（図９（Ａ）、ステップＳ２０）。
そして、一方の足の移動を検出し（ステップＳ２１）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ１を計算する（図９（Ｂ）、ステップＳ２２）。
そして、足間の移動距離Δ１が、閾値ΔＴよりも短い場合には（ステップＳ２３においてＮｏ）、他方の足の移動を検出する（ステップＳ２４）。
そして、他方の足の移動が検出されると（ステップＳ２４）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ２を計算する（図９（Ｃ）、ステップＳ２５）。
そして、足間の移動距離Δ２が、閾値ΔＴよりも短い場合には（ステップＳ２６においてＮｏ）、減速して停止する（停止モード）。
つまり、制御部３０は、検出部３２により検出された追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離（Δ１、Δ２）が、閾値ΔＴよりも短い場合に、停止する制御を行う。
なお、制御部３０は、検出部３２により検出された追随対象者１の停止している一方の足の位置に対して、動いている他方の足が停止した位置が、自装置に対して予め定めた位置よりも近い場合に、停止する制御を行うようにしてもよい。
図１０は、自律移動装置１０の動作の制御フローの変形例を示すフローチャートを示す図である。
本変形例では、自律移動装置１０の停止中に、カメラ１９及びセンサ２０が、手と足を検出する（ステップＳ３０）。そして、手の移動を検出し（ステップＳ３１）、手のひらを自装置にかざすような動作を検出した場合には（ステップＳ３２においてＹｅｓ）、制御部３０は、自装置に手のひらをかざす動作をした人を、追随対象者１であると認識し、検出部３２により追随対象者１の足の移動を検出する（ステップＳ３３）。そして、足の移動が検出されると（ステップＳ３４においてＹｅｓ）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ１を計算する（ステップＳ３５）。
そして、足間の移動距離Δ１が、閾値ΔＴよりも短い場合には（ステップＳ３６においてＮｏ）、ステップＳ３０の動作に戻って停止モードを継続する。そして、足間の移動距離Δ１が、閾値ΔＴよりも長い場合には（ステップＳ３６においてＹｅｓ）、他方の足の移動を検出する（ステップＳ３７）。
そして、他方の足の移動が検出されると（ステップＳ３８においてＹｅｓ）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ２を計算する（ステップＳ３９）。
そして、足間の移動距離Δ２が、閾値ΔＴよりも長い場合には（ステップＳ４０においてＹｅｓ）、後追いモードによる移動を開始する。そして、足間の移動距離Δ２が、閾値ΔＴよりも短い場合には（ステップＳ４０においてＮｏ）、ステップＳ３０の動作に戻って、停止モードを継続する。
図１１は、自律移動装置１０の動作の制御フローの他の変形例を示すフローチャートを示す図である。
本変形例では、カメラ１９及びセンサ２０が、後追いモードにより移動中の追随対象者１の手と足を検出する（ステップＳ４０）。そして、追随対象者１の手の移動を検出し（ステップＳ４１）、手のひらを自律移動装置１０にかざすような動作を検出した場合には（ステップＳ４２）、制御部３０は、移動部１８による移動を停止モードに切り替えて一時停止するように制御する（ステップＳ４３）。つまり、追随対象者１が、荷台部１７から荷物の上げ下ろし作業を行う等の場合に、停止ボタンを押す操作が要らない。そして、カメラ１９及びセンサ２０が、足の移動を検出し（ステップＳ４４）、足の移動が検出されると（ステップＳ４５）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ１を計算する（ステップＳ４６）。
そして、足間の移動距離Δ１が、閾値ΔＴよりも短い場合には（ステップＳ４７においてＮｏ）、停止モードを継続する。そして、足間の移動距離Δ１が、閾値ΔＴよりも長い場合には（ステップＳ４７においてＹｅｓ）、他方の足の移動を検出する（ステップＳ４８）。
そして、他方の足の移動が検出されると（ステップＳ４９）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ２を計算する（ステップＳ５０）。
そして、足間の移動距離Δ２が、閾値ΔＴよりも長い場合には（ステップＳ５１においてＹｅｓ）、ステップＳ４０の動作に戻って後追いモードによる移動を再開する。そして、足間の移動距離Δ２が、閾値ΔＴよりも短い場合には（ステップＳ５１においてＮｏ）、停止モードを継続する。
図１２（Ａ）は、自律移動装置１０の先行モードによる動作の一例を示す図であり、図１２（Ｂ）は、自律移動装置１０に備えられたカメラ１９により撮像される画像の一例を示す図である。
自律移動装置１０は、図１２（Ａ）に示されているように、追随対象者１に先行して移動又は停止するように構成されている。つまり、自律移動装置１０は、図１２（Ｂ）に示されているように、カメラ１９により追随対象者１の足元における画像を撮像し、カメラ１９とセンサ２０により追随対象者１の二本の足のそれぞれの動きを検出するように構成されている。そして、自律移動装置１０は、追随対象者１との距離（予め設定されている間隔ｄ）を保持しながら、追随対象者１が移動すると移動し、追随対象者が停止すると停止するように、追随対象者１に先行して移動又は停止するように構成されている。
次に、自律移動装置１０の停止モードによる停止から先行モードによる移動開始の動作について、図１３及び図１４に基づいて説明する。
まず、カメラ１９とセンサ２０により追随対象者１の両足を検出する（図１４（Ａ）、ステップＳ５０）。
そして、一方の足の移動を検出し（ステップＳ５１）、その一方の足の移動が検出されると（ステップＳ５２においてＹｅｓ）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ１を計算する（図１４（Ｂ）、ステップＳ５３）。
そして、足間の移動距離Δ１が、閾値ΔＴよりも長い場合には（ステップＳ５４においてＹｅｓ）、他方の足の移動を検出する（ステップＳ５５）。
そして、他方の足の移動が検出されると（ステップＳ５６においてＹｅｓ）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ２を計算する（図１４（Ｃ）、ステップＳ５７）。
そして、足間の移動距離Δ２が、閾値ΔＴよりも長い場合には（ステップＳ５８においてＹｅｓ）、先行モードによる移動を開始する。
つまり、制御部３０は、検出部３２により検出された追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離（Δ１、Δ２）が、閾値ΔＴよりも長い場合に、先行モードによる移動する制御を行う。なお、足間の移動距離Δ１、Δ２は、動いている足が停止（着地）している場合に限定されず、足間の移動距離Δ１、Δ２が、それぞれ閾値ΔＴを超えた場合に、先行モードによる移動を開始するようにしてもよい。
また、制御部３０は、検出部３２により検出された追随対象者１の停止している一方の足の位置に対して、動いている他方の足が停止した位置が、自装置に対して予め定めた位置よりも近い場合に、先行モードにより移動する制御を行うようにしてもよい。
次に、自律移動装置１０の先行モードによる移動中から停止モードによる停止動作について、図１５及び図１６に基づいて説明する。
まず、カメラ１９とセンサ２０により追随対象者１の両足を検出する（図１６（Ａ）、ステップＳ６０）。
そして、一方の足の移動を検出し（ステップＳ６１）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ１を計算する（図１６（Ｂ）、ステップＳ６２）。
そして、足間の移動距離Δ１が、閾値ΔＴよりも短い場合には（ステップＳ６３においてＮｏ）、他方の足の移動を検出する（ステップＳ６４）。
そして、他方の足の移動が検出されると（ステップＳ６４）、追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離Δ２を計算する（図１６（Ｃ）、ステップＳ６５）。
そして、足間の移動距離Δ２が、閾値ΔＴよりも短い場合には（ステップＳ６６においてＮｏ）、減速して停止する（停止モード）。
つまり、制御部３０は、検出部３２により検出された追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置と、の足間の移動距離（Δ１、Δ２）が、閾値ΔＴよりも短い場合に、停止する制御を行う。
なお、制御部３０は、検出部３２により検出された追随対象者１の停止している一方の足の位置に対して、動いている他方の足が停止した位置が、自装置に対して予め定めた位置よりも遠い場合に、停止する制御を行うようにしてもよい。
すなわち、検出部３２により検出された追随対象者１の二本の足のそれぞれの動きに応じて、制御部３０は、移動部１８による後追いモード又は先行モードによる移動又は停止モードによる停止の制御を行い、検出部３２により検出された追随対象者１の停止している一方の足の位置と、動いている他方の足が停止した位置との関係に応じて、後追いモード又は先行モードによる移動又は停止モードによる停止の制御を行う。
また、図８及び図９に示す後追いモードによる移動中の自律移動装置１０が停止モードにより停止した後に、追随対象者１が回転して自装置に対向し、図１３及び図１４に示す先行モードによる移動を開始することにより、追随対象者１の操作なく、後追いモードから先行モードに切り替えて、移動又は停止の制御を行うことができる。また、同様に、先行モードから後追いモードに切り替えて、移動又は停止の制御を行うことができる。さらに、ユーザの操作を必要とすることなく動作モードの切替えが行われるので、操作ミスにより追随対象者の意図していない方向に移動することを防止できる。
なお、上記実施形態では、制御部３０が、検出部３２により検出された追随対象者の停止している両足が左右で入れ替わった後に、動いている一方の足が停止した位置と、停止している他方の足の位置との関係に応じて、移動又は停止の制御を行う構成について説明したが、これに限らず、追随対象者１の動いている一方の足が停止した位置と、停止している他方の足の位置に応じて、移動又は停止の制御を行うようにしてもよい。
なお、本発明は、上記実施形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能である。例えば、上記実施形態では、荷箱等の荷物を積載して移動する自律移動装置１０について説明したが、これに限らず、人に追随して移動する自律移動可能な装置に適用することができる。
１０ 自律移動装置
１２ サーバ
１６ 装置本体部
１７ 荷台部
１８ 移動部
１９ カメラ
２０ センサ

Claims (12)

  1. 周囲の物体との距離及びその形状を検出する検出手段と、
    前記検出手段により検出された追随対象者の動作に追随して自装置を移動させる移動手段と、
    前記検出手段により検出された追随対象者の二本の足のそれぞれの動きに応じて、前記移動手段による移動又は停止の制御を行う制御手段と、
    を備えた自律移動装置。
  2. 前記制御手段は、前記検出手段により検出された追随対象者の停止している一方の足の位置と、動いている他方の足が停止した位置との関係に応じて、移動又は停止の制御を行う請求項１記載の自律移動装置。
  3. 前記制御手段は、前記検出手段により検出された追随対象者の停止している一方の足の位置に対して、動いている他方の足が停止した位置が、自装置に対して予め定めた位置よりも近い場合と遠い場合とにより、移動又は停止の制御を行う請求項２記載の自律移動装置。
  4. 前記制御手段は、前記検出手段により検出された追随対象者の停止している一方の足の位置と、動いている他方の足が停止した位置との差分が、予め定めた長さよりも長いか否かにより、移動又は停止の制御を行う請求項２記載の自律移動装置。
  5. 前記制御手段は、前記検出手段により検出された追随対象者の一方の足に対する他方の足の移動距離が、予め定めた距離よりも長いか否かにより、移動又は停止の制御を行う請求項１記載の自律移動装置。
  6. 前記検出手段は、追随対象者の歩幅を検出し、
    前記制御手段は、前記検出手段により検出された追随対象者の歩幅が、予め定めた長さよりも長いか否かにより、移動又は停止の制御を行う請求項１記載の自律移動装置。
  7. 前記制御手段は、前記検出手段により検出された追随対象者の停止している足が左右で入れ替わった後に、動いている一方の足が停止した位置と、停止している他方の足の位置との関係に応じて、移動又は停止の制御を行う請求項２から６のいずれかに記載の自律移動装置。
  8. 前記制御手段は、前記検出手段により検出された追随対象者の予め定められた特定の動きに応じて、前記移動手段による移動又は停止の制御を行う請求項１から７のいずれか記載の自律移動装置。
  9. 前記予め定められた特定の動きは、追随対象者の手の動きである請求項８記載の自律移動装置。
  10. 前記制御手段は、前記検出手段により検出された追随対象者の手のひらを自装置に向ける動きにより、移動又は停止の制御を行う請求項９記載の自律移動装置。
  11. 追随対象者の二本の足のそれぞれの動きの移動又は停止の動作を予め学習して記憶する記憶手段を備え、
    前記制御手段は、前記記憶手段に記憶された追随対象者の二本の足のそれぞれの動きに応じて、移動又は停止の制御を行う請求項１記載の自律移動装置。
  12. 周囲の物体との距離及びその形状を検出する検出ステップと、
    検出された追随対象者の動作に追随して自装置を移動させる移動ステップと、
    検出された追随対象者の二本の足のそれぞれの動きに応じて、移動又は停止の制御を行う制御ステップと、
    をコンピュータに実行させるためのプログラム。
JP2018218184A 2018-11-21 2018-11-21 自律移動装置およびプログラム Pending JP2020086756A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018218184A JP2020086756A (ja) 2018-11-21 2018-11-21 自律移動装置およびプログラム
CN201910480716.9A CN111208846A (zh) 2018-11-21 2019-06-04 自主移动装置以及计算机可读介质
US16/681,838 US11435754B2 (en) 2018-11-21 2019-11-13 Autonomous moving apparatus and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018218184A JP2020086756A (ja) 2018-11-21 2018-11-21 自律移動装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2020086756A true JP2020086756A (ja) 2020-06-04

Family

ID=70727768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018218184A Pending JP2020086756A (ja) 2018-11-21 2018-11-21 自律移動装置およびプログラム

Country Status (3)

Country Link
US (1) US11435754B2 (ja)
JP (1) JP2020086756A (ja)
CN (1) CN111208846A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355952B (zh) * 2022-03-17 2022-06-17 北京理工大学 一种无人车可通行性评估方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002255037A (ja) * 2001-02-28 2002-09-11 Nippon Soken Inc 可動型ケース
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP2006048666A (ja) * 2004-07-07 2006-02-16 Matsushita Electric Ind Co Ltd 移動体の対象者同行方法及び移動体用対象者同行装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2339841A (en) * 1998-07-20 2000-02-09 Ford Motor Co Vehicle throttle control apparatus for preventing vehicle speed from exceeding a desired maximum
JP2001219760A (ja) * 2000-02-09 2001-08-14 Hitachi Ltd 移動体運転支援装置
JP4102119B2 (ja) * 2002-06-21 2008-06-18 浜松ホトニクス株式会社 歩幅測定装置及び歩幅測定方法
US7702420B2 (en) * 2004-07-07 2010-04-20 Panasonic Corporation Method for making mobile unit accompany objective person
JP2006134221A (ja) * 2004-11-09 2006-05-25 Matsushita Electric Ind Co Ltd 追従移動装置
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
JP4811128B2 (ja) * 2006-05-25 2011-11-09 トヨタ自動車株式会社 自律移動装置
JP2010188874A (ja) * 2009-02-18 2010-09-02 Toyota Motor Corp 車間制御装置
JP2011006007A (ja) * 2009-06-29 2011-01-13 Nissan Motor Co Ltd 追従制御装置および追従制御方法
JP5453538B2 (ja) * 2009-12-02 2014-03-26 タタ コンサルタンシー サービシズ リミテッド 近赤外線カメラを使用して歩行者を検出、分類、および追跡するための費用対効果の高いシステムおよび方法
US20140085465A1 (en) * 2011-05-04 2014-03-27 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and system for locating a person
DE102012208256A1 (de) * 2012-05-16 2013-11-21 Continental Teves Ag & Co. Ohg Verfahren und System zum autonomen Nachführen eines Folgefahrzeugs auf der Spur eines Leitfahrzeugs
JP6066669B2 (ja) * 2012-11-01 2017-01-25 株式会社シンテックホズミ 追従台車
WO2016172002A1 (en) * 2015-04-22 2016-10-27 Massachusetts Institute Of Technology Foot touch position following apparatus, method of controlling movement thereof, computer-executable program, and non-transitory computer-readable information recording medium storing the same
CN107073711A (zh) * 2015-09-08 2017-08-18 深圳市赛亿科技开发有限公司 一种机器人跟随方法
WO2017056334A1 (ja) * 2015-10-01 2017-04-06 株式会社Ｄｏｏｇ 追従移動システム
CN105717489A (zh) * 2016-03-11 2016-06-29 歌尔声学股份有限公司 一种无人飞行器的追随方法、装置以及可穿戴设备
CN105963909B (zh) * 2016-06-08 2018-07-20 北京斯凯兰恩广告有限公司 一种脚步追随机械装置及其控制方法
JP6931994B2 (ja) * 2016-12-22 2021-09-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 自律移動体、移動制御方法及び移動制御プログラム
JP2018112775A (ja) * 2017-01-06 2018-07-19 富士ゼロックス株式会社 自律移動ロボット
CN108145716A (zh) * 2018-01-18 2018-06-12 北京镁伽机器人科技有限公司 具有自动停止功能的多关节机器人及自动停止方法
CN108399642B (zh) * 2018-01-26 2021-07-27 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002255037A (ja) * 2001-02-28 2002-09-11 Nippon Soken Inc 可動型ケース
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP2006048666A (ja) * 2004-07-07 2006-02-16 Matsushita Electric Ind Co Ltd 移動体の対象者同行方法及び移動体用対象者同行装置

Also Published As

Publication number Publication date
US11435754B2 (en) 2022-09-06
CN111208846A (zh) 2020-05-29
US20200159243A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
JP6496396B2 (ja) 線形予測位置及び速度コントローラに基づいた全方向車輪を有する人間型ロボット
CN108237532B (zh) 多足机器人的步态控制方法、装置和机器人
KR102103624B1 (ko) 자율 생활 능력을 갖는 휴머노이드 로봇
US9434430B2 (en) Biped walking robot control method and biped walking robot control system
JP5550671B2 (ja) 自律走行ロボット及び自律走行ロボットの走行制御方法
JP3855812B2 (ja) 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置
KR102519064B1 (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
CN105007426A (zh) 一种基于人脸识别的对焦方法和对焦***
WO2020153297A1 (ja) ロボット制御システム
US20210405649A1 (en) Method of localization by synchronizing multi sensors and robot implementing same
EP3549422A1 (en) Work system and work method
KR20210071785A (ko) 쇼핑 카트로 이용 가능한 이동 로봇
JP7231996B2 (ja) 情報処理方法および情報処理システム
JP2020086756A (ja) 自律移動装置およびプログラム
JP7225695B2 (ja) 自律移動装置およびプログラム
WO2020153299A1 (ja) ロボット制御システム
KR20200137471A (ko) 동영상을 획득하는 로봇 및 전자 기기와, 상기 로봇을 이용한 동영상 획득 방법
JP5539001B2 (ja) 制御装置
JP5638283B2 (ja) 制御装置
JP2020107238A (ja) 自律移動装置およびプログラム
JP7190919B2 (ja) 画像解析システム
CN111290377B (zh) 自主移动装置以及计算机可读介质
JP5539000B2 (ja) 制御装置
JP7435257B2 (ja) 通知装置、通知方法、およびプログラム
CN110971815B (zh) 图像处理装置、机器人、图像处理方法以及存储介质

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230704