JP7156300B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7156300B2
JP7156300B2 JP2019549854A JP2019549854A JP7156300B2 JP 7156300 B2 JP7156300 B2 JP 7156300B2 JP 2019549854 A JP2019549854 A JP 2019549854A JP 2019549854 A JP2019549854 A JP 2019549854A JP 7156300 B2 JP7156300 B2 JP 7156300B2
Authority
JP
Japan
Prior art keywords
motion
autonomous mobile
mobile body
sequence data
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019549854A
Other languages
English (en)
Other versions
JPWO2019087490A1 (ja
Inventor
智雄 水上
美佳 長江
拓磨 森田
直矢 村松
英一郎 森永
功久 井藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019087490A1 publication Critical patent/JPWO2019087490A1/ja
Application granted granted Critical
Publication of JP7156300B2 publication Critical patent/JP7156300B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00Arms
    • B25J18/002Arms comprising beam bending compensation means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1638Programme controls characterised by the control loop compensation for arm bending/inertia, pay load weight/inertia
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、学習機能を有する種々の装置が開発されている。上記の装置には、推定した状況に基づいて自律動作を行うロボットなどの自律移動体が含まれる。例えば、特許文献1には、状況に応じた自律動作や感情表出を行う脚式移動ロボットが開示されている。
特開2003-71763号公報
ところで、特許文献1に記載されるような自律移動体の動作は、予め設定された関節部の屈伸に係る制御情報などに基づいて実現される。一方、ユーザが自律移動体に新たな動作を覚えさせたいなどのニーズも想定されるが、自律移動体に、複数の関節部による複雑な協調動作を実行させたい場合、高度な技術知識を有しないユーザには、当該動作の設計が困難である。
そこで、本開示では、自律移動体の動作パターンをより容易に増加させることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、駆動部の動作を制御する動作制御部、を備え、前記動作制御部は、教示動作に基づいて、当該教示動作に対応する自律動作を自律移動体の駆動部に実行させるための制御シーケンスデータを生成し、状況推定により決定された行動計画に基づいて、前記制御シーケンスデータに則した前記自律動作を前記駆動部に実行させる、情報処理装置が提供される。
また、本開示によれば、プロセッサが、駆動部の動作を制御すること、を含み、前記制御することは、教示動作に基づいて、当該教示動作に対応する自律動作を自律移動体の駆動部に実行させるための制御シーケンスデータを生成し、状況推定により決定された行動計画に基づいて、前記制御シーケンスデータに則した前記自律動作を前記駆動部に実行させること、をさらに含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、駆動部の動作を制御する動作制御部、を備え、前記動作制御部は、教示動作に基づいて、当該教示動作に対応する自律動作を自律移動体の駆動部に実行させるための制御シーケンスデータを生成し、状況推定により決定された行動計画に基づいて、前記制御シーケンスデータに則した前記自律動作を前記駆動部に実行させる、情報処理装置、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、自律移動体の動作パターンをより容易に増加させることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る自律移動体のハードウェア構成例を示す図である。 本開示の一実施形態に係る自律移動体が備えるアクチュエータの構成例である。 本開示の一実施形態に係る自律移動体が備えるアクチュエータの動作について説明するための図である。 本開示の一実施形態に係る自律移動体が備えるアクチュエータの動作について説明するための図である。 本開示の一実施形態に係る自律移動体が備えるディスプレイの機能について説明するための図である。 本開示の一実施形態に係る自律移動体の動作例を示す図である。 本開示の一実施形態に係るシステム構成の一例を示す図である。 本開示の一実施形態に係る自律移動体の機能構成例を示す図である。 本開示の一実施形態に係る情報処理サーバの機能構成例を示す図である。 本開示の第1の実施形態に係るユーザインタフェースを用いたアクションの教示について説明するための図である。 同実施形態に係る関節部の物理的な屈伸動作による教示について説明するための図である。 同実施形態に係る撮像された動物体の運動に係る教示について説明するための図である。 同実施形態に係る可動域に基づくトリミングについて説明するための図である。 同実施形態に係る複数の自律移動体に係る相対位置を指定した教示について説明するための図である。 同実施形態に係る制御シーケンスデータの編集について説明するための図である。 同実施形態に係る誘因状況について説明するための図である。 同実施形態に係る誘因状況について説明するための図である。 同実施形態に係る自律移動体における制御シーケンスデータの伝送について説明するための図である。 同実施形態に係るユーザの物理的な関節部の屈伸動作による教示に関する自律移動体10の制御の流れを示すフローチャートである。 同実施形態に係る撮像された動物体の運動を教示とした自律移動体の制御の流れを示すフローチャートである。 本開示の第2の実施形態に係るユーザの検出有無に基づく行動計画について説明するための図である。 同実施形態に係る消費電力の低減を優先した行動計画について説明するための図である。 同実施形態に係る自己保存欲求と承認欲求とを両立する行動計画の一例を示す図である。 同実施形態に係るユーザと自律移動体との距離に基づく行動計画について説明するための図である。 同実施形態に係る環境状態の変化に基づく行動計画の一例を示す図である。 同実施形態に係る環境状態の変化に基づく行動計画の一例を示す図である。 同実施形態に係る環境状態の変化に基づく行動計画の一例を示す図である。 同実施形態に係る自律移動体の制御モードに基づく行動計画について説明するための図である。 同実施形態に係る行動計画の流れを示すフローチャートである。 本開示の第3の実施形態に係る推奨行動の提示について説明するための図である。 同実施形態に係る推奨行動に基づく行動計画について説明する概念図である。 同実施形態に係る同実施形態に係るユーザの熱中度に基づく推奨行動の提示について説明するための図である。 同実施形態に係る制御シーケンスデータの収集について説明するための図である。 同実施形態に係るクライアントアプリケーションのユーザインタフェースの一例を示す図である。 同実施形態に係る物体認識辞書に対する追加登録について説明するための図である。 同実施形態に係る音声認識辞書に対する追加登録について説明するための図である。 同実施形態に係るメンテナンスの推奨機能について説明するための図である。 同実施形態に係る情報処理サーバによる推奨行動の提示の流れを示すフローチャートである。 本開示の一実施形態に係る情報処理サーバのハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.構成
1.1.自律移動体10の概要
1.2.自律移動体10のハードウェア構成例
1.3.システム構成例
1.4.自律移動体10の機能構成例
1.5.情報処理サーバ20の機能構成例
2.第1の実施形態
2.1.概要
2.2.制御シーケンスデータの生成
2.3.制御の流れ
3.第2の実施形態
3.1.概要
3.2.行動計画の具体例
3.3.制御の流れ
4.第3の実施形態
4.1.概要
4.2.推奨行動の提示
4.3.認識辞書の追加登録
4.4.メンテナンスの推奨
4.5.制御の流れ
5.ハードウェア構成例
6.まとめ
<1.構成>
<<1.1.自律移動体10の概要>>
まず、本開示の一実施形態に係る自律移動体10の概要について説明する。本開示の一実施形態に係る自律移動体10は、収集したセンサ情報に基づく状況推定を実行し、状況に応じた種々の動作を自律的に選択し実行する情報処理装置である。自律移動体10は、単にユーザの指示コマンドに従った動作を行うロボットとは異なり、状況ごとに最適であると推測した動作を自律的に実行することを特徴の一つとする。
このため、本開示の一実施形態に係る自律移動体10は、状況によっては、ユーザの指示に対応する動作を敢えて実行しない場合や、当該動作とは異なる他の挙動を実行する場合もある。上記の状況には、例えば、ユーザの指示に対応する動作を行った場合、ユーザや自律移動体10、または周囲環境の安全性が損なわれる場合や、自律移動体10が例えば、充電処理などの他の欲求(本能)を優先する場合などが相当する。
また、自律移動体10は、ユーザの指示に敢えて従わないことで、当該ユーザの興味の誘因を試みることや、自身の感情やハードウェアの状態をユーザに伝達しようと試みる場合もある。
一方で、自律移動体10は、ユーザに愛されたいという強い欲求(本能)を有する。このため、自律移動体10は、ユーザを喜ばせるためにユーザの指示に対応する動作を繰り返し実行したり、ユーザが気に入った動作を学習し、指示がない場合でも自発的に当該動作を実行したりする。
このように、本開示の一実施形態に係る自律移動体10は、ヒトを含む動物と同様に、欲求や感情、また周囲の環境などを総合的に判断して自律動作を決定、実行する。上記の点において、自律移動体10は、指示に基づいて対応する動作や処理を実行する受動的な装置とは明確に相違する。
本開示の一実施形態に係る自律移動体10は、空間内を自律的に移動し、種々の動作を実行する自律移動型ロボットであってよい。自律移動体10は、例えば、ヒトやイヌなどの動物を模した形状や、動作能力を有する自律移動型ロボットであってもよい。また、自律移動体10は、例えば、ユーザとのコミュニケーション能力を有する車両やその他の装置であってもよい。本開示の一実施形態に係る自律移動体10の形状、能力、また欲求などのレベルは、目的や役割に応じて適宜設計され得る。
<<1.2.自律移動体10のハードウェア構成例>>
次に、本開示の一実施形態に係る自律移動体10のハードウェア構成例について説明する。なお、以下では、自律移動体10がイヌ型の四足歩行ロボットである場合を例に説明する。
図1は、本開示の一実施形態に係る自律移動体10のハードウェア構成例を示す図である。図1に示すように、自律移動体10は、頭部、胴部、4つの脚部、および尾部を有するイヌ型の四足歩行ロボットである。また、自律移動体10は、頭部に2つのディスプレイ510を備える。
また、自律移動体10は、種々のセンサを備える。自律移動体10は、例えば、マイクロフォン515、カメラ520、ToF(Time of Flight)センサ525、人感センサ530、測距センサ535、タッチセンサ540、照度センサ545、足裏ボタン550、慣性センサ555を備える。
(マイクロフォン515)
マイクロフォン515は、周囲の音を収集する機能を有する。上記の音には、例えば、ユーザの発話や、周囲の環境音が含まれる。自律移動体10は、例えば、頭部に4つのマイクロフォンを備えてもよい。複数のマイクロフォン515を備えることで、周囲で発生する音を感度高く収集すると共に、音源の定位を実現することが可能となる。
(カメラ520)
カメラ520は、ユーザや周囲環境を撮像する機能を有する。自律移動体10は、例えば、鼻先と腰部に2つの広角カメラを備えてもよい。この場合、鼻先に配置される広角カメラは、自律移動体の前方視野(すなわち、イヌの視野)に対応した画像を撮像し、腰部の広角カメラは、上方を中心とする周囲領域の画像を撮像する。自律移動体10は、例えば、腰部に配置される広角カメラにより撮像された画像に基づいて、天井の特徴点などを抽出し、SLAM(Simultaneous Localization and Mapping)を実現することができる。
(ToFセンサ525)
ToFセンサ525は、頭部前方に存在する物体との距離を検出する機能を有する。ToFセンサ525は、頭部の鼻先に備えられる。ToFセンサ525によれば、種々の物体との距離を精度高く検出することができ、ユーザを含む対象物や障害物などとの相対位置に応じた動作を実現することが可能となる。
(人感センサ530)
人感センサ530は、ユーザやユーザが飼育するペットなどの所在を検知する機能を有する。人感センサ530は、例えば、胸部に配置される。人感センサ530によれば、前方に存在する動物体を検知することで、当該動物体に対する種々の動作、例えば、興味、恐怖、驚きなどの感情に応じた動作を実現することが可能となる。
(測距センサ535)
測距センサ535は、自律移動体10の前方床面の状況を取得する機能を有する。測距センサ535は、例えば、胸部に配置される。測距センサ535によれば、自律移動体10の前方床面に存在する物体との距離を精度高く検出することができ、当該物体との相対位置に応じた動作を実現することができる。
(タッチセンサ540)
タッチセンサ540は、ユーザによる接触を検知する機能を有する。タッチセンサ540は、例えば、頭頂、あご下、背中など、ユーザが自律移動体10に対し触れる可能性が高い部位に配置される。タッチセンサ540は、例えば、静電容量式や感圧式のタッチセンサであってよい。タッチセンサ540によれば、ユーザによる触れる、撫でる、叩く、押すなどの接触行為を検知することができ、当該接触行為に応じた動作を行うことが可能となる。
(照度センサ545)
照度センサ545は、自律移動体10が位置する空間の照度を検出する。照度センサ545は、例えば、頭部背面において尾部の付け根などに配置されてもよい。照度センサ545によれば、周囲の明るさを検出し、当該明るさに応じた動作を実行することが可能となる。
(足裏ボタン550)
足裏ボタン550は、自律移動体10の脚部底面が床と接触しているか否かを検知する機能を有する。このために、足裏ボタン550は、4つの脚部の肉球に該当する部位にそれぞれ配置される。足裏ボタン550によれば、自律移動体10と床面との接触または非接触を検知することができ、例えば、自律移動体10がユーザにより抱き上げられたことなどを把握することが可能となる。
(慣性センサ555)
慣性センサ555は、頭部や胴部の速度や加速度、回転などの物理量を検出する6軸センサである。すなわち、慣性センサ555は、X軸、Y軸、Z軸の加速度および角速度を検出する。慣性センサ555は、頭部および胴部にそれぞれ配置される。慣性センサ555によれば、自律移動体10の頭部および胴部の運動を精度高く検出し、状況に応じた動作制御を実現することが可能となる。
以上、本開示の一実施形態に係る自律移動体10が備えるセンサの一例について説明した。なお、図1を用いて説明した上記の構成はあくまで一例であり、自律移動体10が備え得るセンサの構成は係る例に限定されない。自律移動体10は、上記の構成のほか、例えば、温度センサ、地磁気センサ、GNSS(Global Navigation Satellite System)信号受信機を含む各種の通信装置などをさらに備えてよい。自律移動体10が備えるセンサの構成は、仕様や運用に応じて柔軟に変形され得る。
続いて、本開示の一実施形態に係る自律移動体10の関節部の構成例について説明する。図2は、本開示の一実施形態に係る自律移動体10が備えるアクチュエータ570の構成例である。本開示の一実施形態に係る自律移動体10は、図2に示す回転箇所に加え、耳部と尾部に2つずつ、口に1つの合計22の回転自由度を有する。
例えば、自律移動体10は、頭部に3自由度を有することで、頷きや首を傾げる動作を両立することができる。また、自律移動体10は、腰部に備えるアクチュエータ570により、腰のスイング動作を再現することで、より現実のイヌに近い自然かつ柔軟な動作を実現することが可能である。
なお、本開示の一実施形態に係る自律移動体10は、例えば、1軸アクチュエータと2軸アクチュエータを組み合わせることで、上記の22の回転自由度を実現してもよい。例えば、脚部における肘や膝部分においては1軸アクチュエータを、肩や大腿の付け根には2軸アクチュエータをそれぞれ採用してもよい。
図3および図4は、本開示の一実施形態に係る自律移動体10が備えるアクチュエータ570の動作について説明するための図である。図3を参照すると、アクチュエータ570は、モータ575により出力ギアを回転させることで、可動アーム590を任意の回転位置および回転速度で駆動させることができる。
図4を参照すると、本開示の一実施形態に係るアクチュエータ570は、リアカバー571、ギアBOXカバー572、制御基板573、ギアBOXベース574、モータ575、第1ギア576、第2ギア577、出力ギア578、検出用マグネット579、2個のベアリング580を備える。
本開示の一実施形態に係るアクチュエータ570は、例えば、磁気式svGMR(spin-valve Giant Magnetoresistive)であってもよい。制御基板573が、メインプロセッサによる制御に基づいて、モータ575を回転させることで、第1ギア576および第2ギア577を介して出力ギア578に動力が伝達され、可動アーム590を駆動させることが可能である。
また、制御基板573に備えられる位置センサが、出力ギア578に同期して回転する検出用マグネット579の回転角を検出することで、可動アーム590の回転角度、すなわち回転位置を精度高く検出することができる。
なお、磁気式svGMRは、非接触方式であるため耐久性に優れるとともに、GMR飽和領域において使用することで、検出用マグネット579や位置センサの距離変動による信号変動の影響が少ないという利点を有する。
以上、本開示の一実施形態に係る自律移動体10が備えるアクチュエータ570の構成例について説明した。上記の構成によれば、自律移動体10が備える関節部の屈伸動作を精度高く制御し、また関節部の回転位置を正確に検出することが可能となる。
続いて、図5を参照して、本開示の一実施形態に係る自律移動体10が備えるディスプレイ510の機能について説明する。図5は、本開示の一実施形態に係る自律移動体10が備えるディスプレイ510の機能について説明するための図である。
(ディスプレイ510)
ディスプレイ510は、自律移動体10の目の動きや感情を視覚的に表現する機能を有する。図5に示すように、ディスプレイ510は、感情や動作に応じた眼球、瞳孔、瞼の動作を表現することができる。ディスプレイ510は、文字や記号、また眼球運動とは関連しない画像などを敢えて表示しないことで、実在するイヌなどの動物に近い自然な動作を演出する。
また、図5に示すように、自律移動体10は、右眼および左眼にそれぞれ相当する2つのディスプレイ510rおよび510lを備える。ディスプレイ510rおよび510lは、例えば、独立した2つのOLED(Organic Light Emitting Diode)により実現される。OLEDによれば、眼球の曲面を再現することが可能となり、1枚の平面ディスプレイにより一対の眼球を表現する場合や、2枚の独立した平面ディスプレイにより2つの眼球をそれぞれ表現する場合と比較して、より自然な外装を実現することができる。
以上述べたように、ディスプレイ510rおよび510lによれば、図5に示すような自律移動体10の視線や感情を高精度かつ柔軟に表現することが可能となる。また、ユーザはディスプレイ510に表示される眼球の動作から、自律移動体10の状態を直観的に把握することが可能となる。
以上、本開示の一実施形態に係る自律移動体10のハードウェア構成例について説明した。上記の構成によれば、図6に示すように、自律移動体10の関節部や眼球の動作を精度高くまた柔軟に制御することで、より実在の生物に近い動作および感情表現を実現することが可能となる。なお、図6は、本開示の一実施形態に係る自律移動体10の動作例を示す図であるが、図6では、自律移動体10の関節部および眼球の動作について着目して説明を行うため、自律移動体10の外部構造を簡略化して示している。同様に、以下の説明においては、自律移動体10の外部構造を簡略化して示す場合があるが、本開示の一実施形態に係る自律移動体10のハードウェア構成および外装は、図面により示される例に限定されず、適宜設計され得る。
<<1.3.システム構成例>>
次に、本開示の一実施形態に係るシステム構成例について説明する。図7は、本開示の一実施形態に係るシステム構成の一例を示す図である。図7を参照すると、本開示の一実施形態に係る情報処理システムは、複数の自律移動体10および情報処理サーバ20を備える。なお、自律移動体10と情報処理サーバ20、また自律移動体10同士は、ネットワーク30を介して互いに通信が行えるように接続される。
(自律移動体10)
本開示の一実施形態に係る自律移動体10は、収集したセンサ情報に基づく状況推定を実行し、状況に応じた種々の動作を自律的に選択し実行する情報処理装置である。上述したように、本開示の一実施形態に係る自律移動体10は、例えば、ヒトやイヌなどの動物を模した形状や、動作能力を有する自律移動型ロボットであってもよい。
(情報処理サーバ20)
本開示の一実施形態に係る情報処理サーバ20は、複数の自律移動体10と接続され、自律移動体10から各種の情報を収集する機能を有する情報処理装置である。情報処理サーバ20は、例えば、自律移動体10により収集されたセンサ情報から、自律移動体10のハードウェアの状態や、自律移動体10に対するユーザ熱中度に係る分析などを行うことができる。
また、情報処理サーバ20は、自律移動体10が推定した状況に基づいて、当該状況において自律移動体10が行うべき推奨行動を提示する機能を有する。この際、情報処理サーバ20は、推奨行動を自律移動体10に実現させるための制御シーケンスデータを自律移動体10に送信してもよい。情報処理サーバ20が有する上記の機能については、別途詳細に説明する。
(ネットワーク30)
ネットワーク30は、自律移動体10と情報処理サーバ20、自律移動体10同士を接続する機能を有する。ネットワーク30は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク30は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク30は、Wi-Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
以上、本開示の一実施形態に係るシステム構成例について説明した。なお、図7を用いて説明した上記の構成はあくまで一例であり、本開示の一実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、自律移動体10は、情報処理サーバ20のほか、種々の外部装置とさらに情報通信を行ってもよい。上記の外部装置には、例えば、天気やニュース、その他のサービス情報を発信するサーバや、ユーザが所持する各種の情報処理端末、家電機器などが含まれ得る。本開示の一実施形態に係るシステム構成は、仕様や運用に応じて柔軟に変形され得る。
<<1.4.自律移動体10の機能構成例>>
次に、本開示の一実施形態に係る自律移動体10の機能構成例について説明する。図8は、本開示の一実施形態に係る自律移動体10の機能構成例を示す図である。図8を参照すると、本開示の一実施形態に係る自律移動体10は、入力部110、認識部120、学習部130、行動計画部140、動作制御部150、駆動部160、出力部170、およびサーバ通信部180を備える。
(入力部110)
入力部110は、ユーザや周囲環境に係る種々の情報を収集する機能を有する。入力部110は、例えば、ユーザの発話や周囲で発生する環境音、ユーザや周囲環境に係る画像情報、および種々のセンサ情報を収集する。このために、入力部110は、図1に示す各種のセンサを備える。
(認識部120)
認識部120は、入力部110が収集した種々の情報に基づいて、ユーザや周囲環境、また自律移動体10の状態に係る種々の認識を行う機能を有する。一例としては、認識部120は、人識別、表情や視線の認識、物体認識、色認識、形認識、マーカー認識、障害物認識、段差認識、明るさ認識などを行ってよい。
また、認識部120は、ユーザの声に係る感情認識、単語理解、音源定位などを行う。また、認識部120は、ユーザなどによる接触や、周囲の温度、動物体の存在、自律移動体10の姿勢などを認識することができる。
さらには、認識部120は、認識した上記の情報に基づいて、自律移動体10が置かれた周囲環境や状況を推定し、理解する機能を有する。この際、認識部120は、事前に記憶される環境知識を用いて総合的に状況推定を行ってもよい。
(学習部130)
学習部130は、環境(状況)と行動、また当該行動による環境への作用を学習する機能を有する。学習部130は、例えば、深層学習(Deep Learning)などの機械学習アルゴリズムを用いて、上記の学習を実現する。なお、学習部130が採用する学習アルゴリズムは、上記の例に限定されず、適宜設計可能である。
(行動計画部140)
行動計画部140は、認識部120が推定した状況と学習部130が学習した知識に基づいて、自律移動体10が行う行動を計画する機能を有する。本開示の一実施形態に係る行動計画部140の機能詳細については別途後述する。
(動作制御部150)
動作制御部150は、行動計画部140による行動計画に基づいて、駆動部160および出力部170の動作を制御する機能を有する。動作制御部150は、例えば、上記の行動計画に基づいて、アクチュエータ570の回転制御や、ディスプレイ510の表示制御、スピーカによる音声出力制御などを行う。本開示の一実施形態に係る動作制御部150の機能詳細については別途詳細に説明する。
(駆動部160)
駆動部160は、動作制御部150による制御に基づいて、自律移動体10が有する複数の関節部を屈伸させる機能を有する。より具体的には、駆動部160は、動作制御部150による制御に基づき、各関節部が備えるアクチュエータ570を駆動させる。
(出力部170)
出力部170は、動作制御部150による制御に基づいて、視覚情報や音情報の出力を行う機能を有する。このために、出力部170は、ディスプレイ510やスピーカを備える。
(サーバ通信部180)
サーバ通信部180は、情報処理サーバ20や他の自律移動体10との情報通信を行う機能を有する。例えば、サーバ通信部180は、認識部120が認識した状況に係る情報などを情報処理サーバ20に送信する。また、例えば、サーバ通信部180は、情報処理サーバ20から推奨行動や当該推奨行動に係る制御シーケンスデータを受信する。
以上、本開示の一実施形態に係る自律移動体10の機能構成例について説明した。なお、図8を用いて説明した上記の構成はあくまで一例であり、本開示の一実施形態に係る自律移動体10の機能構成は係る例に限定されない。本開示の一実施形態に係る自律移動体10の機能構成は、仕様や運用に応じて柔軟に変形され得る。
<<1.5.情報処理サーバ20の機能構成例>>
次に、本開示の一実施形態に係る情報処理サーバ20の機能構成例について説明する。図9は、本開示の一実施形態に係る情報処理サーバ20の機能構成例を示す図である。図9を参照すると、本開示の一実施形態に係る情報処理サーバ20は、学習部210、行動推奨部220、分析部230、記憶部240、および端末通信部250を備える。
(学習部210)
学習部130は、環境(状況)と行動、また当該行動による環境への作用を学習する機能を有する。この際、学習部210は、複数の自律移動体10から収集した行動履歴に基づく学習を行うことを特徴とする。すなわち、学習部210は、複数の自律移動体10に共通する集合知ということができる。
(行動推奨部220)
行動推奨部220は、自律移動体10から受信した状況推定に係る情報と、学習部210が有する集合知としての知識に基づいて、自律移動体10に推奨する推奨行動を決定する機能を有する。また、行動推奨部220は、推奨行動とともに当該推奨行動を自律移動体10に実現させるための制御シーケンスデータを端末通信部250を介して自律移動体に送信することを特徴の一つとする。
ここで、上記の制御シーケンスデータとは、自律移動体10が有する関節部の回転位置の時系列変化や眼球表現、音出力に係る制御信号を含む情報である。すなわち、制御シーケンスデータとは、自律移動体10に任意の動作(アクション)を実現させるための設定データともいえる。
本開示の一実施形態に係る行動推奨部220が有する上記の機能によれば、自律移動体10が実行可能な新たなアクションを随時追加することができ、自律移動体10に対するユーザの興味を継続して引き付けることなどが可能となる。
(分析部230)
分析部230は、自律移動体10から受信した情報に基づいて、種々の分析を行う機能を有する。分析部230は、例えば、自律移動体10から受信した行動履歴や稼働状況に基づいて、アクチュエータ570などの状態を分析することが可能である。また、分析部230は、自律移動体10から受信したユーザの接触や反応などの情報に基づいて、自律移動体10に対するユーザの興味(熱中度)などを分析することが可能である。
(記憶部240)
記憶部240は、情報処理サーバ20の各構成が利用する情報を蓄積する機能を有する。記憶部240は、例えば、自律移動体10から受信した制御シーケンスデータを状況やユーザの反応と関連付けて記憶する。また、記憶部240は、分析部230が分析に利用する情報や分析の結果を記憶する。
(端末通信部250)
端末通信部250は、ネットワーク30を介して、複数の自律移動体10と情報通信を行う機能を有する。端末通信部250は、例えば、自律移動体10から状況推定に係る情報を受信する。また、端末通信部250は、例えば、行動推奨部220が決定した推奨行動や制御シーケンスデータに係る情報を自律移動体10に送信する。
以上、本開示の一実施形態に係る情報処理サーバ20の機能構成例について説明した。なお、図9を用いて説明した上記の構成はあくまで一例であり、本開示の一実施形態に係る情報処理サーバ20の機能構成は係る例に限定されない。情報処理サーバ20は、例えば、後述する各種のユーザインタフェースをユーザに提供する機能を有してもよい。また、情報処理サーバ20が有する各種の機能は複数の装置に分散して実現することも可能である。本開示の一実施形態に係る情報処理サーバ20の機能構成は、仕様や運用に応じて柔軟に変形され得る。
<2.第1の実施形態>
<<2.1.概要>>
次に、本開示の第1の実施形態について説明する。上述したように、本開示の一実施形態に係る自律移動体10は、複数の関節部や眼球の動作を表現するディスプレイ510を有することにより種々の動作(アクション)を実行することが可能である。
一方、自律移動体10がアクションを実行するためには、当該アクションに対応する制御シーケンスデータを保持することが求められる。このため、自律移動体10に新たな制御シーケンスデータを追加する機構がない場合には、自律移動体10は、製品出荷時に設定されたアクションのみを実行することとなる。
この場合、繰り返し実行されるアクションに対してユーザの興味が失われ、自律移動体10に対する熱中度が低下する要因となり得る。また、ユーザによっては、実際のイヌに芸を教えるように、自律移動体10に独自のアクションを覚えさせ、実行させたいという要望も想定される。
本実施形態に係る自律移動体10は、上記の点に着目して発想されたものであり、ユーザがより容易に自律移動体10に新たなアクションを覚えさせることを可能とする。このために、本実施形態に係る自律移動体10は、教示動作に基づいて、当該教示動作に対応する自律動作を実現するための制御シーケンスデータを生成することを特徴の一つとする。また、本実施形態に係る自律移動体10は、状況推定により決定した行動計画に基づいて、制御シーケンスデータに対応する自律動作を実行することを特徴の一つとする。
本実施形態に係る自律移動体10が有する上記の特徴によれば、ユーザが自律移動体10に新たなアクションを容易に覚えさせることができ、ユーザの熱中度を高く維持する効果が期待される。
<<2.2.制御シーケンスデータの生成>>
次に、本実施形態に係る制御シーケンスデータの生成について詳細に説明する。本実施形態に係る自律移動体10の動作制御部150は、教示動作に基づいて当該教示動作に対応する自律動作を実現するための制御シーケンスデータを生成する機能を有する。
より詳細には、本実施形態に係る動作制御部150は、教示動作に基づいて少なくとも時系列における関節部の回転位置の変化に係る情報を含む制御シーケンスデータを生成してよい。
この際、ユーザは、例えば、専用のユーザインタフェースを用いて、新たなアクションを自律移動体10に教示、すなわち覚えさせることができる。図10は、本実施形態に係るユーザインタフェースを用いたアクションの教示について説明するための図である。
図10には、ユーザが自律移動体10に新たなアクションを教示するためのユーザインタフェースUI1が示されている。ユーザは、例えば、コンピュータやスマートフォンなどを介してユーザインタフェースUI1にアクセスすることができる。
図10を参照すると、本実施形態に係るユーザインタフェースUI1は、例えば、2つの領域R1およびR2を有する。領域R1は、ユーザが自律移動体10の関節部の動作を設定するための領域であってよい。ユーザは、領域R1において、各関節部の回転位置の変化(屈伸の方向、大きさ、速さなど)を時系列に指定することで、自律移動体10に新たなアクションを教示することが可能である。この際、ユーザは、例えば、関節部の回転角や回転速度をキーボードやマウス操作により指定してもよい。
また、領域R2は、領域R1においてユーザが指定した教示動作のプレビューを表示する領域である。例えば、領域R2には、ユーザが領域R1において指定した関節部の動作を再現する自律移動体10のアバターが表示され得る。なお、領域R2には、図示するような俯瞰画像のほか、自律移動体10の前方、上方、側方、後方などから教示動作を再現する画像が表示されてよい。
また、ユーザは、領域R2に表示される自律移動体10のアバターをマウスや指などにより操作することで、アクションの教示を行うことも可能である。本実施形態に係る動作制御部150は、領域R2において実行された上記のユーザ操作に基づいて、各関節部に対応するアクチュエータ570の回転角や回転速度を記憶し、領域R1の設定に反映させることができる。
また、図示していないが、ユーザは、ユーザインタフェースU1において、ディスプレイ510に表示させる自律移動体10の眼球の動作や、スピーカに出力させる鳴き声などを設定することも可能である。
このように、本実施形態に係るユーザインタフェースUI1によれば、ユーザが新たなアクションを細かく正確に教示することができ、自律移動体がより精度の高い動作を実行することが可能となる。
また、本実施形態に係る教示動作は、ユーザによる関節部の物理的な屈伸動作を含んでよい。本実施形態に係る動作制御部150は、上記の物理的な屈伸動作に基づいて、制御シーケンスデータを生成することが可能である。
図11は、本実施形態に係る関節部の物理的な屈伸動作による教示について説明するための図である。図11に示すように、ユーザは、自律移動体10の関節部を例えば手UAなどにより物理的に屈伸させることにより、新たなアクションを教示することができる。
この際、まず、ユーザは、例えば、「覚えて」などの発話を行うことで、自律移動体10に教示動作が行われることを認識させる。また、認識部120によりユーザによる屈伸動作が開始されることが認識されると、動作制御部150は、駆動部160に関節部の脱力動作を実行させる。
上記の脱力動作は、ユーザによる教示動作を実現するために、外部から加えられる力に対してアクチュエータ570が回転しやすい状態とする動作を指す。本実施形態に係るアクチュエータ570は、回転運動に対する抵抗係数を任意に調整できるように構成されており、例えば外部から加えられる力に対して回転しやすい状態や回転し難い状態を実現することができる。本実施形態に係る脱力動作によれば、ユーザが容易に関節部を屈伸させることができるとともに、無理に力をかけてアクチュエータ570を損傷させる可能性やユーザが怪我を負う恐れを排除することが可能となる。
また、本実施形態に係る動作制御部150は、ユーザによる関節部の屈伸動作が開始されると、アクチュエータ570が備える位置センサが検出した関節部の回転位置に基づいて、当該回転位置の変化を時系列に記憶する。
このように、本実施形態に係る動作制御部150が有する上記の機能によれば、ユーザが直接的に関節部を動かすことで、技術知識に明るくないユーザであっても、直観的に新たなアクションを自律移動体10に教示することが可能となる。
また、本実施形態に係る教示動作は、関節を有する動物体の運動を含んでよい。本実施形態に係る動作制御部150は、撮像された動物体の運動に基づいて、制御シーケンスデータを生成することも可能である。
図12は、本実施形態に係る撮像された動物体の運動に係る教示について説明するための図である。図12には、表示装置が出力する動物体P1の運動に係る視覚情報V1と、視覚情報V1を視認する自律移動体10が示されている。
図12に示すように、本実施形態に係る動作制御部150は、入力部110が撮像した動物体の運動を教示動作として、当該教示動作に対応する制御シーケンスデータを生成することが可能である。
なお、図12には、動物体P1の運動が表示装置による視覚情報V1として表示されている場合を示しているが、本実施形態に係る動物体の運動は係る例に限定されない。本実施形態に係る動物体の運動には、例えば、ユーザやペット、他の自律移動体による現実の運動や、視覚情報として表示されるアニメーションなどが広く含まれる。
また、本実施形態に係る動作制御部150は、動物体の運動に基づく制御シーケンスデータの生成を、ユーザによる明示的指示の有無に依らず実行してよい。すなわち、本実施形態に係る動作制御部150は、ユーザが指示を行わない場合であっても、ユーザやペットの運動、また表示装置により表示される視覚情報を教示動作として、自律的に新たなアクションに係る制御シーケンスデータを生成することが可能である。
本実施形態に係る動作制御部150が有する上記の機能によれば、自律移動体10がユーザやペットの運動を自ら真似ることや、表示装置により映し出される流行のダンスなどを自主的に学習することができ、自律移動体10に対するユーザの興味を高く維持することが可能となる。
動作制御部150は、まず、撮像された動物体の関節の位置を推定し、各関節と対応する関節部を相対関節マップなどを用いて取得する。さらに、動作制御部150は、動物体の関節に係る屈伸運動の大きさを算出し、当該関節の屈伸運動を対応する関節部の回転位置に変換して記憶する。
この際、本実施形態に係る動作制御部150は、動物体の関節の動作を関節部の可動域に応じて適宜補正してよい。例えば、本実施形態に係る動作制御部150は、動物体の関節に係る屈伸運動の一部を動的にトリミングし、対応する関節部の回転位置を記録することができる。より具体的には、本実施形態に係る動作制御部150は、動物体の関節に係る屈伸運動が、当該関節に対応する関節部の可動域を超える場合、可動域を超える屈伸運動の一部を動的にトリミングしてよい。
図13は、本実施形態に係る可動域に基づくトリミングについて説明するための図である。図13には、視覚情報V2として出力される動物体P3の首の屈伸運動と、視覚情報V3を視認する自律移動体10が示されている。
なお、図13は、動物体P3による首の屈伸運動が、自律移動体10の首部に配置されるアクチュエータ570の可動域ROMを超える場合の一例が示されている。この際、本実施形態に係る動作制御部150は、可動域ROMを超える動物体P3の屈伸運動をトリミングし、関節部の回転位置が可動域ROMに収まるよう制御シーケンスデータを生成してよい。
本実施形態に係る動作制御部150が有する上記の機能によれば、教示動作が関節部の可動域に収まるよう動的に制御シーケンスデータを生成することができ、無理のない自然な動作を自律移動体10に実現させることが可能となる。
また、本実施形態に係る動作制御部150は、例えば、自律移動体10の位置情報を含む制御シーケンスデータを生成することも可能である。具体的には、本実施形態に係る動作制御部150は、空間における自律移動体10の位置を指定したアクションを実行させることができる。本実施形態に係る動作制御部150が有する上記の機能によれば、例えば、ユーザの自宅における任意の場所を指定したアクションや、ユーザとの物理的距離を指定したアクションを自律移動体に実行させることが可能となる。
さらには、本実施形態に係る動作制御部150は、複数の自律移動体10に係る相対位置情報を含む制御シーケンスデータを生成することも可能である。
図14は、本実施形態に係る複数の自律移動体10に係る相対位置を指定した教示について説明するための図である。図14には、視覚情報V3として出力される動物体P1およびP2の運動と、視覚情報V3を視認する自律移動体10aおよび10bが示されている。
ここで、図14に示される動物体P1およびP2の運動は、例えば、相対位置が重要となるダンスなどであってよい。この際、本実施形態に係る動作制御部150は、認識された動物体P1およびP2の相対位置に基づいて、関節部の回転位置とともに他の自律移動体10との相対位置を時系列に記録した制御シーケンスデータを生成することができる。動作制御部150は、例えば、SLAM技術により推定された自己位置に係る情報を他の自律移動体10と通信することで、相対位置に基づくアクションを実行することが可能である。また、動作制御部150は、例えば、ユーザが床に設定したマーカーなどを認識することで、相対位置に基づくアクションを実行してもよい。
以上説明したように、本実施形態に係る動作制御部150によれば、関節部の物理的な操作や撮像を通じて、自律移動体10に新たなアクションを容易に教示することが可能である。本実施形態に係る動作制御部150が有する上記の機能によれば、限られたアクションによりユーザを飽きさせることなく、自律移動体10に対するユーザの熱中度を高く維持する効果が期待される。
また、ユーザは、例えば、ユーザインタフェースを介して、教示した動作を編集することも可能である。図15は、本実施形態に係る制御シーケンスデータの編集について説明するための図である。
図15には、ユーザが教示動作の編集に用いるユーザインタフェースUI2が示されている。図15に示すように、ユーザインタフェースUI2は、上述した領域R1およびR2を有する。この際、ユーザインタフェースUI1とは異なり、ユーザインタフェースUI2の領域R1には、関節部の物理的な操作や撮像を通じて教示された制御シーケンスデータの情報が予め表示されてよい。
ユーザは、例えば、各関節部の動きを指定するモーションバーM1~3をマウスや指などにより移動、コピー、拡大、縮小することで、より容易に教示動作の編集を行うことが可能である。本実施形態に係るユーザインタフェースUI2によれば、例えば、関節部の物理的操作により教示した右前脚の動作を他の脚にコピーすることや、各関節の動作タイミングを細かく指定することができ、よりユーザの意図を反映した教示を行うことが可能となる。
また、本実施形態に係る動作制御部150は、生成した制御シーケンスデータと、当該制御シーケンスデータに対応する自律動作の誘因となる誘因状況とを対応付けて保存することができる。ここで、上記の誘因状況とは、自律移動体10が教示動作に対応する自律動作を実行するきっかけとなり得る状況を示す。また、本実施形態に係る誘因状況は、入力部110が収取したセンサ情報に基づいて認識部120が認識する種々の状況を含む。
図16および図17は、本実施形態に係る誘因状況について説明するための図である。図16には、表示装置から出力される音楽を誘因状況として、自律移動体10が教示動作に対応する自律動作を実行する一例が示されている。
図16に示す一例の場合、教示動作が行われた際に流れていた音楽が誘因状況として自律的に保存されており、同一の音楽を認識した際に自律移動体10が教示動作に対応する自律動作を行っている。このように、本実施形態に係る自律移動体10は、種々の誘因状況に基づいて、教示動作に対応する自律動作を実行することが可能である。
また、図17には、ユーザU1の認識を誘因状況として、自律移動体10が教示動作に対応する自律動作を実行する場合の一例が示されている。本実施形態に係る誘因状況は、ユーザにより指定されてもよい。ユーザは、例えば、ユーザU1の誕生日にユーザU1を認識した場合を誘因状況として設定し、自律移動体10に教示動作に対応する自律動作の1回のみ実行するよう促すことが可能である。
このように、本実施形態に係る自律移動体10は、自ら記憶した誘因状況やユーザが指定した誘因状況に基づいて、教示動作に対応する自律動作を実行することができる。当該機能によれば、より生物に近い自然な反応や、ユーザの意図をより反映したアクションを実現することが可能となる。
また、本実施形態に係る自律移動体10は、上記のように生成した制御シーケンスデータを他の自律移動体10に伝送することができる。図18は、本実施形態に係る自律移動体10間における制御シーケンスデータの伝送について説明するための図である。
図18には、自律移動体10aが生成した制御シーケンスデータCSが無線通信により自律移動体10bに伝達される一例が示されている。このように、本実施形態に係る自律移動体10は、生成した制御シーケンスデータCSを他の自律移動体10に伝送することが可能である。
本実施形態に係る自律移動体10が有する上記の機能によれば、例えば、同一のユーザが所持する複数の自律移動体10の間や、異なるユーザが所持する自律移動体10の間で、いつのまにか動作が広まることなどを実現することができ、ユーザの興味を高く維持するとともにユーザ間の交流を促進することなどが可能となる。
<<2.3.制御の流れ>>
次に、本実施形態に係る自律移動体10の制御の流れについて詳細に説明する。まず、ユーザによる物理的な関節部の屈伸動作による教示に関する自律移動体10の制御の流れについて述べる。図19は、ユーザの物理的な関節部の屈伸動作による教示に関する自律移動体10の制御の流れを示すフローチャートである。
図19を参照すると、まず、認識部120が入力部110が収集したユーザの発話などに基づいて、教示動作の開始要求を検出する(S1101)。
次に、動作制御部150は、ステップS1101において開始要求が検出されたことに基づいて、駆動部160に脱力動作を実行させる(S1102)。
続いて、動作制御部150は、ユーザにより屈伸される関節部の回転位置を検出する(S1103)。
また、動作制御部150は、検出した関節部の回転位置を時系列に記録する(S1104)。
次に、認識部120がユーザの発話などに基づいて、教示動作の終了を検出する(S11105)。なお、認識部120は、ユーザによる関節部の操作が所定時間以上行われない場合に教示動作の終了を検出してもよい。
次に、動作制御部150は、記録したデータのトリミングを実行する(S1106)。この際、動作制御部150は、例えば、開始検出から実際に関節部の操作が行われるまでの時間や、最後に関節部が操作されてから終了が検出されるまでの時間などをトリミングしてもよい。
続いて、動作制御部150は、記録したデータを制御シーケンスデータに変換し(S1107)、処理を終了する。
次に、撮像された動物体の運動を教示とした自律移動体10の制御の流れについて述べる。図20は、撮像された動物体の運動を教示とした自律移動体10の制御の流れを示すフローチャートである。
図20を参照すると、まず、入力部110により動物体の運動が撮像される(S1201)。
次に、動作制御部150は、動物体の関節位置に係る推定を実行する(S1202)。
続いて、動作制御部150は、ステップS1202において推定した動物体の関節と、駆動部160が備える関節部のマッピングを行う(S1203)。
次に、動作制御部150は、動物体の関節の屈伸を関節部の回転位置に変換して記録する(S1204)。
次に、動作制御部150は、記録したデータを関節部の可動域などに基づいてトリミングする(S1205)。
続いて、動作制御部150は、記録したデータを制御シーケンスデータに変換し(S1206)、処理を終了する。
<3.第2の実施形態>
<<3.1.概要>>
次に、本開示の第2の実施形態について説明する。上記の第1の実施形態では、自律移動体10に新たなアクションを教示する手法について詳細に説明した。続く第2の実施形態では、上記のアクションを含む種々の動作に係る行動計画について中心に述べる。
上述したように、本開示の一実施形態に係る自律移動体10は、ユーザの指示に従い、受動的に動作する装置とは異なり、推定した状況に基づく動的な動作を行う。この際、自律移動体10は、推定された状況に加え、対立する複数の欲求に基づいた総合的な行動計画を行うことを特徴の一つとする。
上記の対立する複数の欲求には、例えば、自己保存欲求と承認欲求とが挙げられる。上記の自己保存欲求とは、自律移動体10の継続的かつ安全な活動の維持を望む欲求である。より具体的には、本実施形態に係る自己保存欲求には、自律移動体10の充電力の維持または補充を望む欲求が含まれる。また、自己保存欲求には、自律移動体10の機能維持または機能回復を望む欲求が含まれる。
また、上記の承認欲求とは、ユーザに愛されたい、必要とされたい、興味を持たれたい、という欲求である。このため、本実施形態に係る承認欲求には、上記のような事象を達成するために、ユーザを喜ばせたい、ユーザを悲しませたくない、などの欲求が広く含まれ得る。
本開示の一実施形態に係る自律移動体10は、上記の自己保存欲求および承認欲求の両方を有することで、実際の動物に近い、より自然かつ柔軟な種々の行動パターンを実現することが可能である。本開示の第2の実施形態では、上記の欲求と状況推定とに基づく自律移動体10の柔軟な行動計画について具体例を挙げながら詳細に説明する。
<<3.2.行動計画の具体例>>
上述したように、本実施形態に係る自律移動体10は、対立する複数の欲求、すなわち自己保存欲求と承認欲求とを有する。具体的には、本実施形態に係る自律移動体10は、基本的にユーザに愛されたい、ユーザを喜ばせたい、という欲求を有する一方、同時に消費電力を抑えたい、充電を行いたい、という欲求や、構成部品を消耗させたくない、といった要求を有している。
このため、本実施形態に係る行動計画部140は、認識部120により推定された状況に基づいて、上記の自己保存欲求または承認欲求の少なくも一方を満たす行動計画を行ってよい。例えば、行動計画部140は、自己保存欲求または承認欲求のいずれかを優先した行動計画を行うことができる。
例えば、本実施形態に係る行動計画部140は、ユーザの検出有無により優先する欲求を決定してもよい。具体的には、本実施形態に係る行動計画部140は、ユーザが検出された場合には、承認欲求を優先した行動計画を実行し、ユーザが検出されない場合には、自己保存欲求を優先した行動計画を実行してよい。
図21は、本実施形態に係るユーザの検出有無に基づく行動計画について説明するための図である。図21の上部には、自律移動体10の周辺領域Z1にユーザU2が存在する場合の一例が示されている。この際、本実施形態に係る行動計画部140は、認識部120が周辺領域Z1にユーザU2を検出したことに基づいて、承認欲求を優先した行動計画を実行する。例えば、行動計画部140は、ユーザU2に近づく、ユーザU2に対して何らかのアクションを行う、などの行動計画を立ててもよい。
一方、図21の下部には、自律移動体10の周辺領域Z1にユーザが存在しない場合の一例が示されている。この際、本実施形態に係る行動計画部140は、認識部120がユーザが不在であると推定したことに基づいて、自己保存欲求を優先した行動計画を行ってよい。なお、認識部120は、例えば、入力部110が撮像した画像にユーザが映っていない場合や、ユーザの発話が検出されていない場合などにユーザの不在を推定してもよい。また、認識部120は、ユーザのスケジュール情報に基づいて、ユーザの不在を推定することも可能である。
上述したように、本実施形態に係る自己保存欲求には、自律移動体10の充電力に係る欲求が含まれる。このため、ユーザが検出されない場合には、行動計画部140は、充電力の維持または補充を優先した行動計画を行ってよい。図21の下部に示す一例の場合、行動計画部140は、充電力の補充を計画し、動作制御部150は、当該計画に基づいて、自律移動体10を充電装置50に接続させている。
また、本実施形態に係る行動計画部140は、充電が必要でない場合にあっては、消費電力を低減するための種々の行動計画を実行してよい。図22は、本実施形態に係る消費電力の低減を優先した行動計画について説明するための図である。
例えば、本実施形態に係る行動計画部140は、消費電力を低減するために、ディスプレイ510による眼球動作に係る視覚表現の出力を停止する計画を実行してもよい。また、同様に、行動計画部140は、スピーカによる音の出力や、各種のセンサによるデータ収集を停止させる計画を行うことができる。
また、行動計画部140は、関節部の動作を遅くすることや、その場で寝る行動を計画することで、消費電力の低減を図ってもよい。さらには、行動計画部140は、プロセッサや電源を切るなどの行動を計画してもよい。
また、本実施形態に係る自己保存欲求には、自律移動体10の機能維持に係る欲求が含まれる。このため、本実施形態に係る自律移動体10の機能維持や機能回復を優先した行動計画を行ってもよい。
例えば、アクチュエータ570の動作に不具合が検出された場合、行動計画部140は、不具合が悪化しないよう、該当するアクチュエータ570をなるべく動作させない行動計画を行ってよい。また、例えば、行動計画部140は、機能維持を優先し、ディスプレイ510や各種のセンサに係るキャリブレーションの実行を計画してもよい。
なお、上記のような自己保存欲求の程度が非常に大きい場合、行動計画部140は、自己保存欲求を優先した行動計画を行ってよい。例えば、充電力が今にも枯渇しそうな場合や、アクチュエータ570の損傷具合が激しい場合などには、行動計画部140は、ユーザが存在する場合であっても、自己保存欲求を優先した行動を計画する。
一方、自己保存欲求の程度が閾値を下回る場合には、行動計画部140は、承認欲求を優先した行動計画を行うことで、自律移動体10にユーザの期待に応えるための種々の動作を実現させることが可能である。
このように、本実施形態に係る行動計画部140によれば、状況に応じて自己保存欲求と承認欲求の優先度を制御することで、実際の動物に近い複雑かつ柔軟な行動パターンを実現することが可能となる。
また、本実施形態に係る行動計画部140は、自己保存欲求または承認欲求のいずれを優先する場合であっても、両方の欲求を同時に満たすことが可能な行動を計画してもよい。例えば、視野にユーザが検出された場合や、ユーザに呼ばれた場合などにおいて、すぐにユーザに駆け寄るのではなく、ユーザの状態などに応じた行動を行うことで、消費電力を低減することが可能な場合もある。
図23は、本実施形態に係る自己保存欲求と承認欲求とを両立する行動計画の一例を示す図である。なお、図23には、ユーザに呼びかけられた際の行動計画の一例が示されている。
まず、認識部120によりユーザの発話が検出されると、行動計画部140は、ディスプレイ510に表示させる視線をユーザの方向に向ける行動を計画する。行動計画部140が有する上記の機能によれば、アクチュエータ570を動作させる前に、まず眼球動作に係る視覚情報のみを制御することで、素早い反応を実現するとともに、不用意にアクチュエータ570を動作させることを防ぐことができる。
続いて、認識部120は、ユーザが自律移動体10に向けて呼びかけていることや、ユーザの視線が自律移動体10に向いていることが認識された場合、視線に続き、頭部、胴部の順にユーザに対向する。この際、行動計画部140は、ユーザと視線を合わせたまま、瞳孔をディスプレイ510の中心に戻しつつ、同時に頭部をユーザ向けさせることで、自律移動体10のより自然な動作を実現することが可能である。
同様に、行動計画部は、頭部をユーザの方向に向けたまま、胴部との角度差が徐々に小さくなるように行動を計画することで、自然な動きを実現するとともに急激な動作による消費電力の増大を防ぐことができる。
また、この際、本実施形態に係る行動計画部140は、ユーザと自律移動体10との距離に基づいた行動計画を行ってもよい。図24は、本実施形態に係るユーザと自律移動体10との距離に基づく行動計画について説明するための図である。
図24には、ユーザU2との距離に応じて計画される行動の一例が示されている。具体的には、図24の上段に示すように、ユーザU2と自律移動体10との距離dが遠い場合、行動計画部140は、まず、視線のみをユーザに向けるよう行動を計画してもよい。
一方、図24の中段に示すように、ユーザU2と自律移動体10との距離dが中程度である場合、行動計画部140は、視線に続き頭部がユーザの方向に向くよう行動を計画する。
また、図24の下段に示すように、ユーザU2と自律移動体10との距離dが近い場合、行動計画部140は、視線、頭部に続いて胴部がユーザの方向を向くよう行動計画を行う。
このように、本実施形態に係る行動計画部140によれば、ユーザと自律移動体10との距離に基づいて柔軟な行動を計画することが可能である。行動計画部140が有する上記の機能によれば、まずは視線のみを動かすことで消費電力を抑えながら、その後のユーザの接近度合に応じて、アクチュエータ570を動作させるなどの行動が可能となり、ユーザに対して確かな反応を示しながらも、効率的に消費電量を低減することが可能となる。
なお、本実施形態に係る行動計画部140は、ユーザの要求の強さに基づいて上記のような行動計画を行ってもよい。行動計画部140は、視線を向けたのちに、ユーザが自律移動体10に対する呼びかけを継続して行っている場合や、自律移動体10に対し接近してきた場合、頭部や胴部を向ける行動を計画してもよい。
また、本実施形態に係る行動計画部140は、ユーザとの物理的距離のほか、ユーザとの心理的距離に基づいて、行動計画を行ってもよい。行動計画部140は、例えば、ユーザが自律移動体10を利用して間もない際に遠くから呼びかけられた場合には、視線を向けるだけに留める一方、利用が十分に継続された際には遠くから呼びかけられた場合であっても、ユーザに駆け寄るなどの行動を計画することが可能である。
また、本実施形態に係る行動計画部140は、上記で述べた行動計画のほか、周囲の環境状態の変化やユーザの状態に基づく種々の行動を計画することが可能である。例えば、本実施形態に係る行動計画部140は、検出された照度環境の変化などに基づいて、柔軟な行動計画を行うことができる。
図25~図27は、本実施形態に係る環境状態の変化に基づく行動計画の一例を示す図である。図25には、ユーザU2により、箱やキャリーバッグなどに収納された自律移動体10が示されている。この際、本実施形態に係る行動計画部140は、認識部120がユーザU2による自律移動体10の収納を検出したことに基づいて、電源を自律的にオフにする行動を計画してよい。
行動計画部140が有する上記の機能によれば、充電力や機能維持に係る自己保存欲求を満たすとともに、ユーザの意図を汲んだ行動を実行することで承認欲求を同時に満たすことが可能である。
なお、認識部120は、例えば、照度が急に低下したことや、アクチュエータ570の動作が障害物により制限されていることなどに基づいて、ユーザU2による自律移動体10の収納行為を認識することが可能である。
また、行動計画部140は、例えば、ユーザU2がトートバッグなどに頭部を出した状態で自律移動体10を収納した場合には、ディスプレイ510による眼球動作に係る視覚情報の出力や、頭部や耳、口の動作を維持したまま、胴部や脚部のアクチュエータは動作しないよう行動計画を行ってもよい。
また、図26および図27には、ユーザにより毛布などを被せられた際の自律移動体10の行動が示されている。この際、本実施形態に係る行動計画部140は、照度環境の急激な変化が検出されたことに基づいて自己保存欲求または承認欲求のうち少なくとも一方を満たす行動計画を行ってよい。また、この際、行動計画部140は、周囲環境やユーザの状態に基づいて、自己保存欲求や承認欲求に係る優先度を決定してもよい。
例えば、図26に示す一例の場合、行動計画部140は、まだユーザが就寝するには早い時間帯であることや、ユーザの笑い声などが検出されたことに基づいて、毛布から脱出しようとする行動計画を行っている。行動計画部140は、より明るい方向へ自律移動体10が移動するよう行動を計画してもよい。
このように、本実施形態に係る行動計画部140は、ユーザの反応を含む状態や、周囲環境などからユーザのいたずらが推定される場合には、実際のイヌのような反応を計画することで、ユーザの期待に沿った行動を実現することができる。
一方、図27に示す一例の場合、行動計画部140は、ユーザが就寝する時間帯であることや、ユーザが寝巻を着用していることなどに基づいて、ユーザとともに眠るような行動を計画している。具体的には、行動計画部140は、自律移動体10が仰向けの状態となったのちに電源をオフとする行動計画を行ってもよい。
このように、本実施形態に係る行動計画部140は、ユーザの状態や、周囲環境などからユーザが共に寝ようとしていることが推定される場合には、ユーザの期待に沿うとともに消費電力を抑える行動を行うことで、承認欲求と自己保存欲求との両方を満たすことができる。
また、本実施形態に係る行動計画部140は、例えば、自律移動体10の制御モードに基づく行動計画を行うことも可能である。上記の制御モードには、例えば、音の出力を行わない静音モードなどが挙げられる。
図28は、本実施形態に係る自律移動体10の制御モードに基づく行動計画について説明するための図である。図28の左側には、自律移動体10の制御モードが通常モードである場合の自律移動体10の行動が例示されている。この際、本実施形態に係る行動計画部140は、ユーザの呼びかけなどに対して、鳴き声を出力させるとともに口を開口させる行動を計画してもよい。
一方、図28の右側には、自律移動体10の制御モードが静音モードである場合の自律移動体10の行動が例示されている。この際、本実施形態に係る行動計画部140は、静音モードに従い鳴き声を出力させないとともに、口を開口しないよう行動計画を行ってよい。
本実施形態に係る行動計画部140が有する上記の機能によれば、鳴き声を出力しない際に口を閉じることで、より自然な動作を実現すると同時に、口の開口を行わないことで効果的に消費電力を低減することができる。
また、行動計画部140は、この際、口の動作に代えて、ディスプレイ510による眼球動作に係る視覚情報の出力変化や尾部によるノンバーバルな行動を計画することで、ユーザに対する反応を実現してもよい。
このように、本実施形態に係る行動計画部140によれば、自己保存欲求と承認欲求とを両立する行動を実現することが可能である。
なお、本実施形態に係る静音モードは、ユーザにより設定されるほか、行動計画部140の行動計画の一部として設定されてもよい。行動計画部140は、例えば、ユーザが他の人物と会話を行っていることが検出された場合などには、自律的に静音モードへの移行を計画することも可能である。
<<3.3.制御の流れ>>
次に、本実施形態に係る自律移動体10の行動計画の流れについて詳細に説明する。図29は、本実施形態に係る行動計画の流れを示すフローチャートである。
図29を参照すると、まず、入力部110によるセンサ情報の収集が行われる(S2101)。
次に、認識部120がステップS2101において収集されたセンサ情報に基づいて各種の認識処理を実行する(S2102)。
また、認識部120は、ステップS2102において認識した種々の事象に基づいて、総合的な状況推定を行う(S2103)。
なお、ステップS2101~2103におけるセンサ情報の収集、認識処理、状況推定は、常時継続して実行されてよい。
次に、行動計画部140は、ステップS2103において推定された状況と、自己保存欲求および承認欲求とに基づいて、自律移動体10が実行する行動計画を行う(S2104)。
次に、ステップS2104において決定された行動計画に基づいて、動作制御部150が駆動部160や出力部170の動作を制御し、行動が実行される(S2105)。
<4.第3の実施形態>
<<4.1.概要>>
次に、本開示の第3の実施形態について説明する。上記の第1の実施形態および第2の実施形態では、自律移動体10が有する行動計画機能および動作制御機能について中心に説明した。一方、本開示の第3の実施形態では、情報処理サーバ20が有する機能に着目して説明を行う。
上述したように、本開示の一実施形態に係る自律移動体10は、状況推定機能、行動計画機能および動作制御機能を有し、自律的な行動を行うことができる。すなわち、自律移動体10は、単独で動作が可能な装置であるといえる。一方、自律移動体10が完全に独立して動作を行う場合、自身が実行した動作のみに基づいて学習を行うこととなり、また学習の結果を他の自律移動体10に共有することが困難である。
また、自律移動体10が独立して動作を行う場合でも、ユーザによる教示により取り得るアクションを増加させることが可能であるものの、ユーザの興味を引きつけるアクションをより多く収集するためには、さらなる改善の余地が認められる。
本実施形態に係る情報処理サーバ20は、上記の点に着目して発想されたものであり、複数の自律移動体10から収集した行動履歴に基づく集合知を提供することで、各自律移動体10がより適切な行動を行うことを可能とする。
このために、情報処理サーバ20は、状況推定に基づく行動計画を行う自律移動体10に対し、当該自律移動体10に推奨する推奨行動を提示する行動推奨部220を備える。また、行動推奨部220は、複数の自律移動体10から収集した行動履歴と、推奨の対象である自律移動体10(対象自律移動体、とも称する)から受信した状況サマリとに基づいて、上記の推奨行動を決定すること、を特徴の一つとする。
以下、本実施形態に係る情報処理サーバ20が有する機能と当該機能が奏する効果について詳細に説明する。
<<4.2.推奨行動の提示>>
まず、本実施形態に係る行動推奨部220による推奨行動の提示機能について述べる。上述したように、本実施形態に係る自律移動体10は、状況推定に基づく行動計画を単独で行うことが可能である。しかし、状況によっては、行動計画に係る信頼度が十分ではない場合や、計画が一様になりがちな場合も想定される。これらは、自律移動体10に対するユーザの満足度や熱中度を低下させる要因となり得る。
このため、本実施形態に係る情報処理サーバ20は、複数の自律移動体10から収集した行動履歴に基づいて、対象自律移動体に対し推奨行動を提示することで、対象自律移動体がより適切な動作を行うよう支援することができる。
図30は、本実施形態に係る推奨行動の提示について説明するための図である。図30には、対象自律移動体である自律移動体10と情報処理サーバ20が示されている。なお、図30には説明のため2体の自律移動体10が示されているが、当該2体の自律移動体10は、同一の対象自律移動体である。
図30の左側には、対象自律移動体である自律移動体10が状況推定に基づいて単独で行動計画を行う場合の例が示されている。この際、自律移動体10は、例えば、図中左の吹き出しにより示されている動作を計画してもよい。
一方、本実施形態に係る情報処理サーバ20の行動推奨部220は、対象自律移動体である自律移動体10から受信した状況推定に係るサマリ情報(状況サマリ、とも称する)に基づいて、対象自律移動体に推奨する推奨行動を決定し、当該推奨行動を対象自律移動体に提示することができる。なお、行動推奨部220が推奨する推奨行動は、図中右上の吹き出しにより示される動作であってよい。
また、この際、本実施形態に係る行動推奨部220は、推奨行動に対応する動作を実現するための制御シーケンスデータCSを端末通信部250を介して対象自律移動体に提供することを特徴の一つとする。
このように、本実施形態に係る行動推奨部220によれば、対象自律移動体に対し、推奨行動と当該推奨行動に係る制御シーケンスデータを提示することができ、対象自律移動体がユーザの反応が良いと予測される新たなアクションを実行する可能となる。
続いて、本実施形態に係る行動推奨部220による推奨行動の提示と自律移動体10の行動計画の流れについて詳細に説明する。図31は、本実施形態に係る推奨行動に基づく行動計画について説明する概念図である。
まず、自律移動体10の認識部120が入力部110が収集したセンサ情報に基づいて各種の認識や状況推定を実行する。この際、認識部120は、状況推定結果を行動計画部140に引き渡すとともに、状況サマリを情報処理サーバ20の行動推奨部220に送信する。
次に、本実施形態に係る行動推奨部220は、認識部120から受信した状況サマリと、学習部210が有する複数の自律移動体10に係る集合知としての知識を用いて、推奨行動を決定し、当該推奨行動に係る情報を行動計画部140に提示する。
次に、本実施形態に係る行動計画部140は、認識部120による状況推定に基づく複数の行動候補と、行動推奨部220が推奨する推奨行動とに基づいて、実際に実行する行動を決定する。この際、行動計画部140は、各行動候補の信頼度などに基づいて、最終的な行動決定を行ってもよい。このように、本実施形態に係る行動計画部140は必ずしも推奨行動を採用しなくてもよい。
続いて、動作制御部150が行動計画部140が決定した行動計画に基づいて駆動部160や出力部170を制御し、自律移動体10による動作を実現する。
この際、行動計画部140は、認識部120による状況推定と、決定した行動計画、および実行した動作に対するユーザU2の反応(フィードバック)を関連付けて、情報処理サーバ20に送信する。
上記の情報は、情報処理サーバ20の記憶部240に行動履歴として記憶され、学習部210による学習に利用される。なお、ユーザU2のフィードバックについては、分析部230による分析を経て定量化された状態で記憶されてもよい。分析部230は、例えば、ユーザの表情や発話に基づいて、ユーザの反応の良し悪しを定量化することが可能である。
このように、本実施形態に係る情報処理システムは、状況推定、推奨行動の提示、行動計画、動作制御、行動履歴の収集、および繰り返し実行することにより、よりユーザの興味を引きつける動作を効果的に学習することが可能である。
なお、本実施形態に行動推奨部220は、例えば、対象自律移動体に対するユーザの熱中度に基づいて、推奨行動の提示を行ってもよい。図32は、本実施形態に係るユーザの熱中度に基づく推奨行動の提示について説明するための図である。
図32には、対象自律移動体である自律移動体10に対し、熱中度が低下した状態のユーザU2が示されている。この際、本実施形態に係る行動推奨部220は、分析部230がユーザU2の熱中度が低下していると分析したことに基づいて、自律移動体10に対し推奨行動の提示や制御シーケンスデータCSの提供を行ってもよい。
なお、分析部230は、例えば、自律移動体10が実行した動作に対するユーザU2のフィードバックや、ユーザU2による自律移動体10への接触回数、呼びかけ回数、自律移動体10の起動時間などに基づいて、上記の熱中度を分析することが可能である。
また、熱中度の分析は、自律移動体10により実行されてもよい。この場合、自律移動体10は、ユーザの熱中度が低下していることに基づいて、情報処理サーバ20に推奨行動の要求を行う。また、行動推奨部220は、状況の要求に基づいて、自律移動体10に対し推奨行動の提示を行うことができる。
本実施形態に係る情報処理サーバ20および自律移動体10が有する上記の機能によれば、自律移動体10が実行し得る新たなアクションを効率的に増加させることができ、ユーザの熱中度の低下を防止することが可能となる。
続いて、本実施形態に係る行動推奨部220が複数の自律移動体10から制御シーケンスデータを収集する仕組みについて説明する。図33は、本実施形態に係る制御シーケンスデータの収集について説明するための図である。
図33には、動作を実行する自律移動体10と、当該動作に対し肯定的なフィードバックを行うユーザU2が示されている。このように、実行した動作に対するユーザのフィードバックが肯定的である場合、自律移動体10は、状況サマリ、実行した動作に係る制御シーケンスデータCS、およびユーザのフィードバックを行動履歴として情報処理サーバ20に送信してよい。
このように、本実施形態に係る行動推奨部220は、複数の自律移動体10から、ユーザが肯定的なフィードバックを示した動作に対応する制御シーケンスデータを効率的に収集することが可能である。上記の仕組みによれば、他の自律移動体10から収集した制御シーケンスデータを対象自律移動体に提供することができ、ユーザにとって効果的であると想定される動作を複数の自律移動体10の間で共有することが可能となる。
また、本実施形態に係る制御シーケンスデータのダウンロードやアップロードは、例えば、クライアントアプリケーションを介して、ユーザが任意に行うことも可能である。この際、ユーザは、制御シーケンスデータを公開する範囲を、例えば、友人や職場などのグループに限定することができてもよい。当該機能によれば、グループ内でお気に入りの動作を拡散、共有することができ、ユーザ同士のコミュニケーションの促進効果も期待される。
また、ユーザは、上記のダウンロードとあわせて、第1の実施形態で述べた誘因状況をクライアントアプリケーションを介して設定することも可能である。図34は、本実施形態に係るクライアントアプリケーションのユーザインタフェースの一例を示す図である。
図34には、誘因状況の設定と制御シーケンスデータのダウンロードを行うことが可能なユーザインタフェースUI3が示されている。ユーザは、例えば、ユーザインタフェースUI3において、誘因状況および対応する動作をそれぞれ選択肢OP1およびOP2から選択することができてもよい。
図34に示す一例の場合、ユーザは、選択肢OP1から、「雨が降ったら」、「ユーザが帰宅したら」、「自律移動体10の機嫌が悪いときは」、などの誘因状況を選択することができる。なお、誘因状況については、例えば、より詳細な状況を指定するためのフィールドなどが設けられてもよい。
また、ユーザは、選択肢OP2から、誘因状況に対応付ける任意の動作を指定することができる。この際、ユーザは、例えば、ボタンb1~b3を押下することで、動作のプレビューを確認することが可能であってもよい。ユーザは、動作のプレビューを確認しながら、任意の動作を選択し、ボタンb4を押下することで、誘因条件と対応付けた動作の制御シーケンスデータを自律移動体10にダウンロードすることができる。
<<4.3.認識辞書の追加登録>>
次に、本実施形態に係る行動推奨部220が有する認識辞書の追加登録機能について説明する。本実施形態に係る行動推奨部220は、自律移動体10に対する推奨行動の提示に加え、自律移動体10が有する物体認識辞書や音声認識辞書に対する新たなデータの追加登録機能を有してもよい。
図35は、本実施形態に係る物体認識辞書に対する追加登録について説明するための図である。図35の左側には、自律移動体10に対し、新たにリンゴに係る物体認識を学習させるユーザU2が示されている。
上記の行為により自律移動体10が有する物体認識辞書122aに「リンゴ」に係る音声認識結果と画像データとが対応付いて登録された場合、本実施形態に係る行動推奨部220は、新たに物体認識辞書122aに登録されたデータを収集し、当該データを対象自律移動体である自律移動体10bの物体認識辞書122bに追加登録してよい。
本実施形態に係る行動推奨部220が有する上記の機能によれば、自律移動体10が有する物体認識辞書122の内容を効率的に充実させることができ、物体認識に係る汎化性能を向上させることが可能となる。
また、図36は、本実施形態に係る音声認識辞書に対する追加登録について説明するための図である。図36の左側には、ユーザU2が行った発話の音声認識に失敗した自律移動体10が示されている。この際、本実施形態に係る行動推奨部220は、自律移動体10からユーザU2が行った発話に係る認識失敗ログを収集する。なお、認識失敗ログには、ユーザU2の発話を含む音声データが含まれる。
続いて、行動推奨部220は、収集した認識失敗ログに含まれるユーザの発話音声を複数の認識エンジン60a~60cにより認識させ、認識結果を取得する。ここで、取得した複数の認識結果から尤もらしいデータが得られた場合、行動推奨部220は、当該データを自律移動体10が有する音声認識辞書124に追加登録してよい。
本実施形態に係る行動推奨部220が有する上記の機能によれば、自律移動体10が有する音声認識辞書124の内容を効率的に充実させることができ、物体認識に係る汎化性能を向上させることが可能となる。
<<4.4.メンテナンスの推奨>>
次に、本実施形態に係る行動推奨部220が有するメンテナンスの推奨機能について説明する。本実施形態に係る行動推奨部220は、自律移動体10に対する推奨行動の提示に加え、自律移動体10のメンテナンスに係る推奨機能を有してもよい。
図37は、本実施形態に係るメンテナンスの推奨機能について説明するための図である。図37の左側には、右前脚のアクチュエータ570に不具合が生じている自律移動体10が示されている。この際、本実施形態に係る行動推奨部220は、分析部230による自律移動体10に係る稼働状況の分析結果に基づいて、メンテナンスを推奨する通知をユーザに送信することができる。
分析部230は、例えば、自律移動体10から受信したアクチュエータ570などの構成部品の稼働状況に係る情報に基づいて、当該構成部品の劣化や不具合などを検出または予測することが可能である。ここで、上記の稼働状況に係る情報には、例えば、累積稼働回数や累積稼働時間のほか、構成部品に係る行動失敗ログが挙げられる。上記の行動失敗ログとは、動作制御部150の制御どおりに構成部品が動作しなかった際に出力されるエラー通知などのログが含まれる。
本実施形態に係る行動推奨部220は、例えば、行動失敗ログから構成部品の不具合などが推定される場合、当該構成部品のメンテナンスを推奨する通知をユーザが所持する情報処理端末40などに送信してもよい。また、行動推奨部220は、上記の通知を上述したようなクライアントアプリケーションを介して送信してもよい。
また、本実施形態に係る行動推奨部220は、構成部品の不具合が検出または予想される場合、自動的に当該構成部品の発注などを行うことも可能である。
このように、本実施形態に係る行動推奨部220および分析部230によれば、自律移動体10の構成部品の不具合を早期に検知し、自律移動体10を安全な状態で長期において利用することが可能となる。
<<4.5.制御の流れ>>
次に、本実施形態に係る情報処理サーバ20による推奨行動の提示の流れについて詳細に説明する。図38は、本実施形態に係る情報処理サーバ20による推奨行動の提示の流れを示すフローチャートである。
図38を参照すると、まず、端末通信部250が対象自律移動体から状況サマリを受信する(S3101)。
次に、行動推奨部220が、ステップS3101において受信した状況サマリと、学習部210が有する集合知としての知識とに基づいて、推奨行動を決定する(S3102)。
続いて、行動推奨部220は、ステップS3102において決定した推奨行動に対応する制御シーケンスデータを記憶部240から取得する(S3103)。
続いて、行動推奨部220は、ステップS3102において決定した推奨行動に係る情報と、ステップS3103において取得した制御シーケンスデータとを端末通信部250を介して対象自律移動体に送信する(S3104)。
<5.ハードウェア構成例>
次に、本開示の一実施形態に係る情報処理サーバ20のハードウェア構成例について説明する。図39は、本開示の一実施形態に係る情報処理サーバ20のハードウェア構成例を示すブロック図である。図39を参照すると、情報処理サーバ20は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(CPU871)
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
<6.まとめ>
以上説明したように、本開示の一実施形態に係る自律移動体10は、教示動作に基づいて、当該教示動作に対応する自律動作を実行するための制御シーケンスデータを生成することを特徴の一つとする。また、本開示の一実施形態に係る自律移動体10は、状況推定により決定した行動計画に基づいて、上記制御シーケンスデータに対応する自律動作を実行することができる。係る構成によれば、自律移動体の動作パターンをより容易に増加させることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、本開示における自律移動体10および情報処理サーバ20の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、自律移動体10および情報処理サーバ20の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
駆動部の動作を制御する動作制御部、
を備え、
前記動作制御部は、教示動作に基づいて、当該教示動作に対応する自律動作を自律移動体の駆動部に実行させるための制御シーケンスデータを生成し、
状況推定により決定された行動計画に基づいて、前記制御シーケンスデータに対応する前記自律動作を前記駆動部に実行させる、
情報処理装置。
(2)
前記駆動部は、複数の関節部を含み、
前記動作制御部は、前記教示動作に基づいて、少なくとも時系列における前記関節部の回転位置の変化に係る情報を含む前記制御シーケンスデータを生成する、
前記(1)に記載の情報処理装置。
(3)
前記教示動作は、ユーザによる前記関節部の物理的な屈伸動作を含み、
前記動作制御部は、前記物理的な屈伸動作に基づいて、前記制御シーケンスデータを生成する、
前記(2)に記載の情報処理装置。
(4)
前記動作制御部は、回転位置センサにより検出された前記関節部の前記回転位置に基づいて、前記回転位置の変化を時系列に記録した前記制御シーケンスデータを生成する、
前記(2)または(3)に記載の情報処理装置。
(5)
前記動作制御部は、ユーザによる前記関節部の物理的な屈伸動作の開始に伴い、前記関節部に係る脱力動作を前記駆動部に実行させる、
前記(2)~(4)のいずれかに記載の情報処理装置。
(6)
前記動作制御部は、前記関節部が備えるアクチュエータの回転運動に対する抵抗係数を制御し、前記脱力動作を前記駆動部に実行させる、
前記(5)に記載の情報処理装置。
(7)
前記教示動作は、関節を有する動物体の運動を含み、
前記動作制御部は、撮像された前記動物体の運動に基づいて、前記制御シーケンスデータを生成する、
前記(2)~(6)のいずれかに記載の情報処理装置。
(8)
前記動作制御部は、推定した前記動物体の関節の位置に基づいて、前記関節と対応する前記駆動部の前記関節部を取得し、前記制御シーケンスデータを生成する、
前記(7)に記載の情報処理装置。
(9)
前記動作制御部は、前記動物体の関節に係る屈伸運動の大きさに基づいて、前記関節と対応する前記駆動部の前記関節部の回転位置を記録した前記制御シーケンスデータを生成する、
前記(8)に記載の情報処理装置。
(10)
前記動作制御部は、前記動物体の関節に係る屈伸運動の一部を動的にトリミングし、前記駆動部の前記関節部の回転位置を記録した前記制御シーケンスデータを生成する、
前記(8)または(9)に記載の情報処理装置。
(11)
前記動作制御部は、前記動物体の関節に係る屈伸運動が、当該関節に対応する前記関節部の可動域を超える場合、前記可動域を超える屈伸運動の一部を動的にトリミングする、
前記(10)に記載の情報処理装置。
(12)
前記動作制御部は、前記動物体の運動に基づく前記制御シーケンスデータの生成をユーザによる明示的指示の有無に依らず実行する、
前記(7)~(11)のいずれかに記載の情報処理装置。
(13)
前記動作制御部は、生成した前記制御シーケンスデータと、当該制御シーケンスデータに対応する自律動作の誘因となる誘因状況と、を対応付けて保存する、
前記(1)~(12)のいずれかに記載の情報処理装置。
(14)
前記誘因状況は、収集されたセンサ情報に基づいて推定される、
前記(13)に記載の情報処理装置。
(15)
前記動作制御部は、前記自律移動体の位置情報を含む前記制御シーケンスデータを生成する、
前記(1)~(14)のいずれかに記載の情報処理装置。
(16)
前記動作制御部は、複数の前記自律移動体に係る相対位置情報を含む前記制御シーケンスデータを生成する、
前記(15)に記載の情報処理装置。
(17)
状況推定に基づく行動計画を実行する行動計画部、
をさらに備える、
前記(1)~(16)のいずれかに記載の情報処理装置。
(18)
前記駆動部を備える自律移動体である、
前記(1)~(17)のいずれかに記載の情報処理装置。
(19)
プロセッサが、駆動部の動作を制御すること、
を含み、
前記制御することは、教示動作に基づいて、当該教示動作に対応する自律動作を自律移動体の駆動部に実行させるための制御シーケンスデータを生成し、
状況推定により決定された行動計画に基づいて、前記制御シーケンスデータに則した前記自律動作を前記駆動部に実行させること、
をさらに含む、
情報処理方法。
(20)
コンピュータを、
駆動部の動作を制御する動作制御部、
を備え、
前記動作制御部は、教示動作に基づいて、当該教示動作に対応する自律動作を自律移動体の駆動部に実行させるための制御シーケンスデータを生成し、
状況推定により決定された行動計画に基づいて、前記制御シーケンスデータに則した前記自律動作を前記駆動部に実行させる、
情報処理装置、
として機能させるためのプログラム。
10 自律移動体
110 入力部
120 認識部
130 学習部
140 行動計画部
150 動作制御部
160 駆動部
170 出力部
510 ディスプレイ
570 アクチュエータ
20 情報処理サーバ
210 学習部
220 行動推奨部
230 分析部
240 記憶部

Claims (16)

  1. 駆動部の動作を制御する動作制御部、
    を備え、
    前記動作制御部は、教示動作に基づいて、当該教示動作に対応する自律動作を自律移動体の駆動部に実行させるための制御シーケンスデータを生成し、
    状況推定により決定された行動計画に基づいて、前記制御シーケンスデータに対応する前記自律動作を前記駆動部に実行させ
    前記駆動部は、複数の関節部を含み、
    前記動作制御部は、前記教示動作に基づいて、少なくとも時系列における前記関節部の回転位置の変化に係る情報を含む前記制御シーケンスデータを生成し、
    前記教示動作は、関節を有する動物体の運動を含み、
    前記動作制御部は、撮像された前記動物体の運動に基づいて、前記制御シーケンスデータを生成し、
    前記動作制御部は、推定した前記動物体の関節の位置に基づいて、前記関節と対応する前記駆動部の前記関節部を取得し、前記制御シーケンスデータを生成し、
    前記動作制御部は、前記動物体の関節に係る屈伸運動の一部を動的にトリミングし、前記駆動部の前記関節部の回転位置を記録した前記制御シーケンスデータを生成する、
    情報処理装置。
  2. 前記教示動作は、ユーザによる前記関節部の物理的な屈伸動作を含み、
    前記動作制御部は、前記物理的な屈伸動作に基づいて、前記制御シーケンスデータを生成する、
    請求項に記載の情報処理装置。
  3. 前記動作制御部は、回転位置センサにより検出された前記関節部の前記回転位置に基づいて、前記回転位置の変化を時系列に記録した前記制御シーケンスデータを生成する、
    請求項に記載の情報処理装置。
  4. 前記動作制御部は、ユーザによる前記関節部の物理的な屈伸動作の開始に伴い、前記関節部に係る脱力動作を前記駆動部に実行させる、
    請求項に記載の情報処理装置。
  5. 前記動作制御部は、前記関節部が備えるアクチュエータの回転運動に対する抵抗係数を制御し、前記脱力動作を前記駆動部に実行させる、
    請求項に記載の情報処理装置。
  6. 前記動作制御部は、前記動物体の関節に係る屈伸運動の大きさに基づいて、前記関節と対応する前記駆動部の前記関節部の回転位置を記録した前記制御シーケンスデータを生成する、
    請求項に記載の情報処理装置。
  7. 前記動作制御部は、前記動物体の関節に係る屈伸運動が、当該関節に対応する前記関節部の可動域を超える場合、前記可動域を超える屈伸運動の一部を動的にトリミングする、
    請求項に記載の情報処理装置。
  8. 前記動作制御部は、前記動物体の運動に基づく前記制御シーケンスデータの生成をユーザによる明示的指示の有無に依らず実行する、
    請求項に記載の情報処理装置。
  9. 前記動作制御部は、生成した前記制御シーケンスデータと、当該制御シーケンスデータに対応する自律動作の誘因となる誘因状況と、を対応付けて保存する、
    請求項1に記載の情報処理装置。
  10. 前記誘因状況は、収集されたセンサ情報に基づいて推定される、
    請求項に記載の情報処理装置。
  11. 前記動作制御部は、前記自律移動体の位置情報を含む前記制御シーケンスデータを生成する、
    請求項1に記載の情報処理装置。
  12. 前記動作制御部は、複数の前記自律移動体に係る相対位置情報を含む前記制御シーケンスデータを生成する、
    請求項11に記載の情報処理装置。
  13. 状況推定に基づく行動計画を実行する行動計画部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  14. 前記駆動部を備える自律移動体である、
    請求項1に記載の情報処理装置。
  15. プロセッサが、駆動部の動作を制御すること、
    を含み、
    前記制御することは、教示動作に基づいて、当該教示動作に対応する自律動作を自律移動体の駆動部に実行させるための制御シーケンスデータを生成し、
    状況推定により決定された行動計画に基づいて、前記制御シーケンスデータに則した前記自律動作を前記駆動部に実行させること、
    をさらに含み、
    前記駆動部は、複数の関節部を含み、
    前記制御することは、前記教示動作に基づいて、少なくとも時系列における前記関節部の回転位置の変化に係る情報を含む前記制御シーケンスデータを生成すること、をさらに含み、
    前記教示動作は、関節を有する動物体の運動を含み、
    前記制御することは、撮像された前記動物体の運動に基づいて、前記制御シーケンスデータを生成すること、をさらに含み、
    前記制御することは、推定した前記動物体の関節の位置に基づいて、前記関節と対応する前記駆動部の前記関節部を取得し、前記制御シーケンスデータを生成すること、をさらに含み、
    前記制御することは、前記動物体の関節に係る屈伸運動の一部を動的にトリミングし、前記駆動部の前記関節部の回転位置を記録した前記制御シーケンスデータを生成すること、をさらに含む、
    情報処理方法。
  16. コンピュータを、
    駆動部の動作を制御する動作制御部、
    を備え、
    前記動作制御部は、教示動作に基づいて、当該教示動作に対応する自律動作を自律移動体の駆動部に実行させるための制御シーケンスデータを生成し、
    状況推定により決定された行動計画に基づいて、前記制御シーケンスデータに則した前記自律動作を前記駆動部に実行させ
    前記駆動部は、複数の関節部を含み、
    前記動作制御部は、前記教示動作に基づいて、少なくとも時系列における前記関節部の回転位置の変化に係る情報を含む前記制御シーケンスデータを生成し、
    前記教示動作は、関節を有する動物体の運動を含み、
    前記動作制御部は、撮像された前記動物体の運動に基づいて、前記制御シーケンスデータを生成し、
    前記動作制御部は、推定した前記動物体の関節の位置に基づいて、前記関節と対応する前記駆動部の前記関節部を取得し、前記制御シーケンスデータを生成し、
    前記動作制御部は、前記動物体の関節に係る屈伸運動の一部を動的にトリミングし、前記駆動部の前記関節部の回転位置を記録した前記制御シーケンスデータを生成する、
    情報処理装置、
    として機能させるためのプログラム。
JP2019549854A 2017-10-30 2018-07-27 情報処理装置、情報処理方法、およびプログラム Active JP7156300B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017209157 2017-10-30
JP2017209157 2017-10-30
PCT/JP2018/028193 WO2019087490A1 (ja) 2017-10-30 2018-07-27 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019087490A1 JPWO2019087490A1 (ja) 2020-12-17
JP7156300B2 true JP7156300B2 (ja) 2022-10-19

Family

ID=66333000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019549854A Active JP7156300B2 (ja) 2017-10-30 2018-07-27 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (2) US11446813B2 (ja)
JP (1) JP7156300B2 (ja)
CN (1) CN111278611A (ja)
WO (1) WO2019087490A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113547872A (zh) * 2021-08-27 2021-10-26 上海橙物机电设计有限公司 一种连续体仿生机械尾巴

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002239960A (ja) 2001-02-21 2002-08-28 Sony Corp ロボット装置の動作制御方法、プログラム、記録媒体及びロボット装置
JP2005262378A (ja) 2004-03-18 2005-09-29 Oki Electric Ind Co Ltd 自律ロボットおよびその制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08187364A (ja) * 1995-01-10 1996-07-23 Sony Corp 動作玩具駆動方法および装置
JPH1177560A (ja) * 1997-09-03 1999-03-23 Sony Corp 多関節型ロボット及び多関節型ロボットの位置教示方法
EP1327504B1 (en) * 2000-10-13 2018-05-02 Sony Corporation Robot device and behavior control method for robot device
JP2003071763A (ja) 2001-09-04 2003-03-12 Sony Corp 脚式移動ロボット
US9818136B1 (en) * 2003-02-05 2017-11-14 Steven M. Hoffberg System and method for determining contingent relevance
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
JP2011224662A (ja) * 2010-04-15 2011-11-10 Yaskawa Electric Corp ロボット制御装置の補正パラメータ同定装置
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
CN105710881B (zh) * 2016-03-16 2017-10-31 杭州娃哈哈精密机械有限公司 一种机器人末端连续轨迹规划过渡方法
US20190105779A1 (en) * 2016-03-24 2019-04-11 Polygon T.R Ltd. Systems and methods for human and robot collaboration
AU2017357645B2 (en) * 2016-11-08 2022-11-10 Dogtooth Technologies Limited A robotic fruit picking system
US10898999B1 (en) * 2017-09-18 2021-01-26 X Development Llc Selective human-robot interaction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002239960A (ja) 2001-02-21 2002-08-28 Sony Corp ロボット装置の動作制御方法、プログラム、記録媒体及びロボット装置
JP2005262378A (ja) 2004-03-18 2005-09-29 Oki Electric Ind Co Ltd 自律ロボットおよびその制御方法

Also Published As

Publication number Publication date
US11938625B2 (en) 2024-03-26
JPWO2019087490A1 (ja) 2020-12-17
US20200346341A1 (en) 2020-11-05
US11446813B2 (en) 2022-09-20
US20220371178A1 (en) 2022-11-24
WO2019087490A1 (ja) 2019-05-09
CN111278611A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
JP7173031B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230266767A1 (en) Information processing apparatus, information processing method, and program
JP7120254B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7375748B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2024023193A (ja) 情報処理装置及び情報処理方法
JP2024009862A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019123744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11938625B2 (en) Information processing apparatus, information processing method, and program
JP7363823B2 (ja) 情報処理装置、および情報処理方法
JP7459791B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023037608A1 (ja) 自律移動体、情報処理方法、及び、プログラム
WO2023037609A1 (ja) 自律移動体、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220919

R151 Written notification of patent or utility model registration

Ref document number: 7156300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151