JP2023017880A - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- JP2023017880A JP2023017880A JP2022175447A JP2022175447A JP2023017880A JP 2023017880 A JP2023017880 A JP 2023017880A JP 2022175447 A JP2022175447 A JP 2022175447A JP 2022175447 A JP2022175447 A JP 2022175447A JP 2023017880 A JP2023017880 A JP 2023017880A
- Authority
- JP
- Japan
- Prior art keywords
- autonomous mobile
- mobile body
- action
- user
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 103
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 230000009471 action Effects 0.000 claims abstract description 327
- 238000004321 preservation Methods 0.000 claims abstract description 49
- 230000010391 action planning Effects 0.000 claims description 113
- 230000006870 function Effects 0.000 claims description 73
- 210000003128 head Anatomy 0.000 claims description 25
- 238000012423 maintenance Methods 0.000 claims description 19
- 210000005252 bulbus oculi Anatomy 0.000 claims description 13
- 238000011084 recovery Methods 0.000 claims description 4
- 230000009975 flexible effect Effects 0.000 abstract description 10
- 230000033001 locomotion Effects 0.000 description 134
- 238000010586 diagram Methods 0.000 description 42
- 230000000875 corresponding effect Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 26
- 238000005452 bending Methods 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 19
- 230000006399 behavior Effects 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 10
- 241001465754 Metazoa Species 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000008451 emotion Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000004424 eye movement Effects 0.000 description 6
- 210000002414 leg Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- AYOOGWWGECJQPI-NSHDSACASA-N n-[(1s)-1-(5-fluoropyrimidin-2-yl)ethyl]-3-(3-propan-2-yloxy-1h-pyrazol-5-yl)imidazo[4,5-b]pyridin-5-amine Chemical compound N1C(OC(C)C)=CC(N2C3=NC(N[C@@H](C)C=4N=CC(F)=CN=4)=CC=C3N=C2)=N1 AYOOGWWGECJQPI-NSHDSACASA-N 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0003—Home robots, i.e. small robots for domestic use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39254—Behaviour controller, robot have feelings, learns behaviour
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
- Toys (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【解決手段】状況推定に基づく自律移動体の行動計画を行う行動計画部、を備え、前記行動計画部は、周囲環境およびユーザの状態に基づいて、自己保存欲求と承認欲求とを含む対立する複数の欲求の優先度を決定し、前記優先度に基づいて、行動計画を実行する、情報処理装置が提供される。また、プロセッサが、状況推定に基づく自律移動体の行動計画を行うこと、を含み、前記行動計画を行うことは、周囲環境およびユーザの状態に基づいて、自己保存欲求と承認欲求とを含む対立する複数の欲求の優先度を決定することと、前記優先度に基づいて、行動計画を実行することと、をさらに含む、情報処理方法が提供される。
【選択図】図21
Description
1.構成
1.1.自律移動体10の概要
1.2.自律移動体10のハードウェア構成例
1.3.システム構成例
1.4.自律移動体10の機能構成例
1.5.情報処理サーバ20の機能構成例
2.第1の実施形態
2.1.概要
2.2.制御シーケンスデータの生成
2.3.制御の流れ
3.第2の実施形態
3.1.概要
3.2.行動計画の具体例
3.3.制御の流れ
4.第3の実施形態
4.1.概要
4.2.推奨行動の提示
4.3.認識辞書の追加登録
4.4.メンテナンスの推奨
4.5.制御の流れ
5.ハードウェア構成例
6.まとめ
<<1.1.自律移動体10の概要>>
まず、本開示の一実施形態に係る自律移動体10の概要について説明する。本開示の一実施形態に係る自律移動体10は、収集したセンサ情報に基づく状況推定を実行し、状況に応じた種々の動作を自律的に選択し実行する情報処理装置である。自律移動体10は、単にユーザの指示コマンドに従った動作を行うロボットとは異なり、状況ごとに最適であると推測した動作を自律的に実行することを特徴の一つとする。
次に、本開示の一実施形態に係る自律移動体10のハードウェア構成例について説明する。なお、以下では、自律移動体10がイヌ型の四足歩行ロボットである場合を例に説明する。
マイクロフォン515は、周囲の音を収集する機能を有する。上記の音には、例えば、ユーザの発話や、周囲の環境音が含まれる。自律移動体10は、例えば、頭部に4つのマイクロフォンを備えてもよい。複数のマイクロフォン515を備えることで、周囲で発生する音を感度高く収集すると共に、音源の定位を実現することが可能となる。
カメラ520は、ユーザや周囲環境を撮像する機能を有する。自律移動体10は、例えば、鼻先と腰部に2つの広角カメラを備えてもよい。この場合、鼻先に配置される広角カメラは、自律移動体の前方視野(すなわち、イヌの視野)に対応した画像を撮像し、腰部の広角カメラは、上方を中心とする周囲領域の画像を撮像する。自律移動体10は、例えば、腰部に配置される広角カメラにより撮像された画像に基づいて、天井の特徴点などを抽出し、SLAM(Simultaneous Localization and Mapping)を実現することができる。
ToFセンサ525は、頭部前方に存在する物体との距離を検出する機能を有する。ToFセンサ525は、頭部の鼻先に備えられる。ToFセンサ525によれば、種々の物体との距離を精度高く検出することができ、ユーザを含む対象物や障害物などとの相対位置に応じた動作を実現することが可能となる。
人感センサ530は、ユーザやユーザが飼育するペットなどの所在を検知する機能を有する。人感センサ530は、例えば、胸部に配置される。人感センサ530によれば、前方に存在する動物体を検知することで、当該動物体に対する種々の動作、例えば、興味、恐怖、驚きなどの感情に応じた動作を実現することが可能となる。
測距センサ535は、自律移動体10の前方床面の状況を取得する機能を有する。測距センサ535は、例えば、胸部に配置される。測距センサ535によれば、自律移動体10の前方床面に存在する物体との距離を精度高く検出することができ、当該物体との相対位置に応じた動作を実現することができる。
タッチセンサ540は、ユーザによる接触を検知する機能を有する。タッチセンサ540は、例えば、頭頂、あご下、背中など、ユーザが自律移動体10に対し触れる可能性が高い部位に配置される。タッチセンサ540は、例えば、静電容量式や感圧式のタッチセンサであってよい。タッチセンサ540によれば、ユーザによる触れる、撫でる、叩く、押すなどの接触行為を検知することができ、当該接触行為に応じた動作を行うことが可能となる。
照度センサ545は、自律移動体10が位置する空間の照度を検出する。照度センサ545は、例えば、頭部背面において尾部の付け根などに配置されてもよい。照度センサ545によれば、周囲の明るさを検出し、当該明るさに応じた動作を実行することが可能となる。
足裏ボタン550は、自律移動体10の脚部底面が床と接触しているか否かを検知する機能を有する。このために、足裏ボタン550は、4つの脚部の肉球に該当する部位にそれぞれ配置される。足裏ボタン550によれば、自律移動体10と床面との接触または非接触を検知することができ、例えば、自律移動体10がユーザにより抱き上げられたことなどを把握することが可能となる。
慣性センサ555は、頭部や胴部の速度や加速度、回転などの物理量を検出する6軸センサである。すなわち、慣性センサ555は、X軸、Y軸、Z軸の加速度および角速度を検出する。慣性センサ555は、頭部および胴部にそれぞれ配置される。慣性センサ555によれば、自律移動体10の頭部および胴部の運動を精度高く検出し、状況に応じた動作制御を実現することが可能となる。
ディスプレイ510は、自律移動体10の目の動きや感情を視覚的に表現する機能を有する。図5に示すように、ディスプレイ510は、感情や動作に応じた眼球、瞳孔、瞼の動作を表現することができる。ディスプレイ510は、文字や記号、また眼球運動とは関連しない画像などを敢えて表示しないことで、実在するイヌなどの動物に近い自然な動作を演出する。
次に、本開示の一実施形態に係るシステム構成例について説明する。図7は、本開示の一実施形態に係るシステム構成の一例を示す図である。図7を参照すると、本開示の一実施形態に係る情報処理システムは、複数の自律移動体10および情報処理サーバ20を備える。なお、自律移動体10と情報処理サーバ20、また自律移動体10同士は、ネットワーク30を介して互いに通信が行えるように接続される。
本開示の一実施形態に係る自律移動体10は、収集したセンサ情報に基づく状況推定を実行し、状況に応じた種々の動作を自律的に選択し実行する情報処理装置である。上述したように、本開示の一実施形態に係る自律移動体10は、例えば、ヒトやイヌなどの動物を模した形状や、動作能力を有する自律移動型ロボットであってもよい。
本開示の一実施形態に係る情報処理サーバ20は、複数の自律移動体10と接続され、自律移動体10から各種の情報を収集する機能を有する情報処理装置である。情報処理サーバ20は、例えば、自律移動体10により収集されたセンサ情報から、自律移動体10のハードウェアの状態や、自律移動体10に対するユーザ熱中度に係る分析などを行うことができる。
ネットワーク30は、自律移動体10と情報処理サーバ20、自律移動体10同士を接続する機能を有する。ネットワーク30は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク30は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク30は、Wi-Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
次に、本開示の一実施形態に係る自律移動体10の機能構成例について説明する。図8は、本開示の一実施形態に係る自律移動体10の機能構成例を示す図である。図8を参照すると、本開示の一実施形態に係る自律移動体10は、入力部110、認識部120、学習部130、行動計画部140、動作制御部150、駆動部160、出力部170、およびサーバ通信部180を備える。
入力部110は、ユーザや周囲環境に係る種々の情報を収集する機能を有する。入力部110は、例えば、ユーザの発話や周囲で発生する環境音、ユーザや周囲環境に係る画像情報、および種々のセンサ情報を収集する。このために、入力部110は、図1に示す各種のセンサを備える。
認識部120は、入力部110が収集した種々の情報に基づいて、ユーザや周囲環境、また自律移動体10の状態に係る種々の認識を行う機能を有する。一例としては、認識部120は、人識別、表情や視線の認識、物体認識、色認識、形認識、マーカー認識、障害物認識、段差認識、明るさ認識などを行ってよい。
学習部130は、環境(状況)と行動、また当該行動による環境への作用を学習する機能を有する。学習部130は、例えば、深層学習(Deep Learning)などの機械学習アルゴリズムを用いて、上記の学習を実現する。なお、学習部130が採用する学習アルゴリズムは、上記の例に限定されず、適宜設計可能である。
行動計画部140は、認識部120が推定した状況と学習部130が学習した知識に基づいて、自律移動体10が行う行動を計画する機能を有する。本開示の一実施形態に係る行動計画部140の機能詳細については別途後述する。
動作制御部150は、行動計画部140による行動計画に基づいて、駆動部160および出力部170の動作を制御する機能を有する。動作制御部150は、例えば、上記の行動計画に基づいて、アクチュエータ570の回転制御や、ディスプレイ510の表示制御、スピーカによる音声出力制御などを行う。本開示の一実施形態に係る動作制御部150の機能詳細については別途詳細に説明する。
駆動部160は、動作制御部150による制御に基づいて、自律移動体10が有する複数の関節部を屈伸させる機能を有する。より具体的には、駆動部160は、動作制御部150による制御に基づき、各関節部が備えるアクチュエータ570を駆動させる。
出力部170は、動作制御部150による制御に基づいて、視覚情報や音情報の出力を行う機能を有する。このために、出力部170は、ディスプレイ510やスピーカを備える。
サーバ通信部180は、情報処理サーバ20や他の自律移動体10との情報通信を行う機能を有する。例えば、サーバ通信部180は、認識部120が認識した状況に係る情報などを情報処理サーバ20に送信する。また、例えば、サーバ通信部180は、情報処理サーバ20から推奨行動や当該推奨行動に係る制御シーケンスデータを受信する。
次に、本開示の一実施形態に係る情報処理サーバ20の機能構成例について説明する。図9は、本開示の一実施形態に係る情報処理サーバ20の機能構成例を示す図である。図9を参照すると、本開示の一実施形態に係る情報処理サーバ20は、学習部210、行動推奨部220、分析部230、記憶部240、および端末通信部250を備える。
学習部130は、環境(状況)と行動、また当該行動による環境への作用を学習する機能を有する。この際、学習部210は、複数の自律移動体10から収集した行動履歴に基づく学習を行うことを特徴とする。すなわち、学習部210は、複数の自律移動体10に共通する集合知ということができる。
行動推奨部220は、自律移動体10から受信した状況推定に係る情報と、学習部210が有する集合知としての知識に基づいて、自律移動体10に推奨する推奨行動を決定する機能を有する。また、行動推奨部220は、推奨行動とともに当該推奨行動を自律移動体10に実現させるための制御シーケンスデータを端末通信部250を介して自律移動体に送信することを特徴の一つとする。
分析部230は、自律移動体10から受信した情報に基づいて、種々の分析を行う機能を有する。分析部230は、例えば、自律移動体10から受信した行動履歴や稼働状況に基づいて、アクチュエータ570などの状態を分析することが可能である。また、分析部230は、自律移動体10から受信したユーザの接触や反応などの情報に基づいて、自律移動体10に対するユーザの興味(熱中度)などを分析することが可能である。
記憶部240は、情報処理サーバ20の各構成が利用する情報を蓄積する機能を有する。記憶部240は、例えば、自律移動体10から受信した制御シーケンスデータを状況やユーザの反応と関連付けて記憶する。また、記憶部240は、分析部230が分析に利用する情報や分析の結果を記憶する。
端末通信部250は、ネットワーク30を介して、複数の自律移動体10と情報通信を行う機能を有する。端末通信部250は、例えば、自律移動体10から状況推定に係る情報を受信する。また、端末通信部250は、例えば、行動推奨部220が決定した推奨行動や制御シーケンスデータに係る情報を自律移動体10に送信する。
<<2.1.概要>>
次に、本開示の第1の実施形態について説明する。上述したように、本開示の一実施形態に係る自律移動体10は、複数の関節部や眼球の動作を表現するディスプレイ510を有することにより種々の動作(アクション)を実行することが可能である。
次に、本実施形態に係る制御シーケンスデータの生成について詳細に説明する。本実施形態に係る自律移動体10の動作制御部150は、教示動作に基づいて当該教示動作に対応する自律動作を実現するための制御シーケンスデータを生成する機能を有する。
次に、本実施形態に係る自律移動体10の制御の流れについて詳細に説明する。まず、ユーザによる物理的な関節部の屈伸動作による教示に関する自律移動体10の制御の流れについて述べる。図19は、ユーザの物理的な関節部の屈伸動作による教示に関する自律移動体10の制御の流れを示すフローチャートである。
<<3.1.概要>>
次に、本開示の第2の実施形態について説明する。上記の第1の実施形態では、自律移動体10に新たなアクションを教示する手法について詳細に説明した。続く第2の実施形態では、上記のアクションを含む種々の動作に係る行動計画について中心に述べる。
上述したように、本実施形態に係る自律移動体10は、対立する複数の欲求、すなわち自己保存欲求と承認欲求とを有する。具体的には、本実施形態に係る自律移動体10は、基本的にユーザに愛されたい、ユーザを喜ばせたい、という欲求を有する一方、同時に消費電力を抑えたい、充電を行いたい、という欲求や、構成部品を消耗させたくない、といった要求を有している。
次に、本実施形態に係る自律移動体10の行動計画の流れについて詳細に説明する。図29は、本実施形態に係る行動計画の流れを示すフローチャートである。
<<4.1.概要>>
次に、本開示の第3の実施形態について説明する。上記の第1の実施形態および第2の実施形態では、自律移動体10が有する行動計画機能および動作制御機能について中心に説明した。一方、本開示の第3の実施形態では、情報処理サーバ20が有する機能に着目して説明を行う。
まず、本実施形態に係る行動推奨部220による推奨行動の提示機能について述べる。上述したように、本実施形態に係る自律移動体10は、状況推定に基づく行動計画を単独で行うことが可能である。しかし、状況によっては、行動計画に係る信頼度が十分ではない場合や、計画が一様になりがちな場合も想定される。これらは、自律移動体10に対するユーザの満足度や熱中度を低下させる要因となり得る。
次に、本実施形態に係る行動推奨部220が有する認識辞書の追加登録機能について説明する。本実施形態に係る行動推奨部220は、自律移動体10に対する推奨行動の提示に加え、自律移動体10が有する物体認識辞書や音声認識辞書に対する新たなデータの追加登録機能を有してもよい。
次に、本実施形態に係る行動推奨部220が有するメンテナンスの推奨機能について説明する。本実施形態に係る行動推奨部220は、自律移動体10に対する推奨行動の提示に加え、自律移動体10のメンテナンスに係る推奨機能を有してもよい。
次に、本実施形態に係る情報処理サーバ20による推奨行動の提示の流れについて詳細に説明する。図38は、本実施形態に係る情報処理サーバ20による推奨行動の提示の流れを示すフローチャートである。
次に、本開示の一実施形態に係る情報処理サーバ20のハードウェア構成例について説明する。図39は、本開示の一実施形態に係る情報処理サーバ20のハードウェア構成例を示すブロック図である。図39を参照すると、情報処理サーバ20は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
リムーバブル記録媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
以上説明したように、本開示の一実施形態に係る自律移動体10は、状況推定に基づく行動計画を行う行動計画部140を備える。また、行動計画部140は、推定された状況と、対立する複数の欲求と、に基づいて、自律移動体が実行する行動を決定することを特徴の一つとする。係る構成によれば、より自然かつ柔軟な自律移動体の行動計画を実現することが可能となる。
(1)
状況推定に基づく自律移動体の行動計画を行う行動計画部、
を備え、
前記行動計画部は、推定された状況と、対立する複数の欲求と、に基づいて、前記自律移動体が実行する行動を決定する、
情報処理装置。
(2)
前記対立する複数の欲求は、自己保存欲求と承認欲求とを含む、
前記(1)に記載の情報処理装置。
(3)
前記行動計画部は、推定された状況に基づいて、前記自己保存欲求または前記承認欲求の少なくとも一方を満たす行動計画を行う、
前記(2)に記載の情報処理装置。
(4)
前記行動計画部は、ユーザが検出されない状況において、前記自己保存欲求を優先した行動計画を行う、
前記(2)または(3)に記載の情報処理装置。
(5)
前記自己保存欲求は、前記自律移動体の充電力に係る欲求を含み、
前記行動計画部は、前記充電力の維持または補充を優先した行動計画を行う、
前記(2)~(4)のいずれかに記載の情報処理装置。
(6)
前記自己保存欲求は、前記自律移動体の機能維持に係る欲求を含み、
前記行動計画部は、前記自律移動体の機能維持または機能回復を優先した行動計画を行う、
前記(2)~(5)のいずれかに記載の情報処理装置。
(7)
前記行動計画部は、前記自己保存欲求が閾値を下回る場合、前記承認欲求を優先した行動計画を行う、
前記(2)~(6)のいずれかに記載の情報処理装置。
(8)
前記自律移動体は、少なくとも眼球、頭部に相当する構成を備え、
前記行動計画部は、ユーザに対し、視線を向けたのち、頭部を向ける行動計画を行う、
前記(1)~(7)のいずれかに記載の情報処理装置。
(9)
前記自律移動体は、胴部に相当する構成をさらに備え、
前記行動計画部は、ユーザに対し頭部を向けたのち、胴部を向ける行動計画を行う、
前記(8)に記載の情報処理装置。
(10)
前記行動計画部は、前記自律移動体とユーザとの距離に基づいた行動計画を行う、
前記(1)~(9)のいずれかに記載の情報処理装置。
(11)
前記行動計画部は、前記自律移動体に対するユーザの要求の強さに基づいて行動計画を行う、
前記(1)~(10)のいずれかに記載の情報処理装置。
(12)
前記行動計画部は、前記自律移動体の制御モードに基づく行動計画を行う、
前記(1)~(11)のいずれかに記載の情報処理装置。
(13)
前記自律移動体は、口に相当する構成を備え、
前記行動計画部は、前記自律移動体の前記制御モードが静音モードである場合、前記口に相当する構成が開口しないよう行動計画を行う、
前記(12)に記載の情報処理装置。
(14)
前記行動計画部は、照度の変化に基づいて、自己保存欲求または承認欲求のうち少なくとも一方を満たす行動計画を行う、
前記(1)~(13)のいずれかに記載の情報処理装置。
(15)
前記行動計画部は、周囲環境またはユーザの状態に基づいて前記自己保存欲求または前記承認欲求に係る優先度を決定する、
前記(14)に記載の情報処理装置。
(16)
前記行動計画部は、ユーザによる前記自律移動体の収納が検出された場合、自己保存欲求と承認欲求とを両立する行動計画を行う、
前記(1)~(15)のいずれかに記載の情報処理装置。
(17)
前記行動計画による行動計画に基づいて前記自律移動体の動作を制御する動作制御部、
をさらに備える、
前記(1)~(16)のいずれかに記載の情報処理装置。
(18)
前記自律移動体は、眼球に相当する2つの独立した表示装置を備える、
前記(1)~(17)のいずれかに記載の情報処理装置。
(19)
プロセッサが、状況推定に基づく自律移動体の行動計画を行うこと、
を含み、
前記行動計画を行うことは、推定された状況と、対立する複数の欲求と、に基づいて、前記自律移動体が実行する行動を決定すること、
をさらに含む、
情報処理方法。
(20)
コンピュータを、
状況推定に基づく自律移動体の行動計画を行う行動計画部、
を備え、
前記行動計画部は、推定された状況と、対立する複数の欲求と、に基づいて、前記自律移動体が実行する行動を決定する、
情報処理装置、
として機能させるためのプログラム。
110 入力部
120 認識部
130 学習部
140 行動計画部
150 動作制御部
160 駆動部
170 出力部
510 ディスプレイ
570 アクチュエータ
20 情報処理サーバ
210 学習部
220 行動推奨部
230 分析部
240 記憶部
Claims (17)
- 状況推定に基づく自律移動体の行動計画を行う行動計画部、
を備え、
前記行動計画部は、
周囲環境およびユーザの状態に基づいて、自己保存欲求と承認欲求とを含む対立する複数の欲求の優先度を決定し、
前記優先度に基づいて、行動計画を実行する、
情報処理装置。 - 前記行動計画部は、推定された状況に含まれるユーザの状態に応じて、少なくとも前記自己保存欲求および前記承認欲求を同時に満たす行動計画を行う、
請求項1に記載の情報処理装置。 - 前記行動計画部は、ユーザが検出されない状況において、前記自己保存欲求を優先した行動計画を行う、
請求項1に記載の情報処理装置。 - 前記自己保存欲求は、前記自律移動体の充電力に係る欲求を含み、
前記行動計画部は、前記充電力の維持または補充を優先した行動計画を行う、
請求項1に記載の情報処理装置。 - 前記自己保存欲求は、前記自律移動体の機能維持に係る欲求を含み、
前記行動計画部は、前記自律移動体の機能維持または機能回復を優先した行動計画を行う、
請求項1に記載の情報処理装置。 - 前記行動計画部は、前記自己保存欲求が閾値を下回る場合、前記承認欲求を優先した行動計画を行う、
請求項1に記載の情報処理装置。 - 前記自律移動体は、少なくとも眼球、頭部に相当する構成を備え、
前記行動計画部は、ユーザに対し、視線を向けたのち、ユーザの興味が前記自律移動体へ向けられていることを認識した場合に、さらに頭部を向ける行動計画を行う、
請求項1に記載の情報処理装置。 - 前記自律移動体は、胴部に相当する構成をさらに備え、
前記行動計画部は、ユーザに対し頭部を向けたのち、前記自律移動体に対するユーザの興味が維持されている場合に、さらに胴部を向ける行動計画を行う、
請求項7に記載の情報処理装置。 - 前記行動計画部は、前記自律移動体とユーザとの心理的距離を含む距離に基づいた行動計画を行う、
請求項1に記載の情報処理装置。 - 前記行動計画部は、前記自律移動体に対するユーザの要求の強さに基づいて行動計画を行う、
請求項1に記載の情報処理装置。 - 前記行動計画部は、前記自律移動体の制御モードに基づく行動計画を行う、
請求項1に記載の情報処理装置。 - 前記自律移動体は、口に相当する構成を備え、
前記行動計画部は、前記自律移動体の前記制御モードが静音モードである場合、前記口に相当する構成が開口しないよう行動計画を行う、
請求項11に記載の情報処理装置。 - 前記行動計画部は、さらに照度の変化に基づいて、少なくとも前記自己保存欲求および前記承認欲求を同時に満たす行動計画を行う、
請求項1に記載の情報処理装置。 - 前記行動計画部は、さらにユーザによる前記自律移動体の収納が検出された場合、少なくとも前記自己保存欲求および前記承認欲求を同時に満たす行動計画を行う、
請求項1に記載の情報処理装置。 - 前記行動計画による行動計画に基づいて前記自律移動体の動作を制御する動作制御部、
をさらに備える、
請求項1に記載の情報処理装置。 - 前記自律移動体は、眼球に相当する2つの独立した表示装置を備える、
請求項1に記載の情報処理装置。 - プロセッサが、状況推定に基づく自律移動体の行動計画を行うこと、
を含み、
前記行動計画を行うことは、
周囲環境およびユーザの状態に基づいて、自己保存欲求と承認欲求とを含む対立する複数の欲求の優先度を決定することと、
前記優先度に基づいて、行動計画を実行することと、
をさらに含む、
情報処理方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017209026 | 2017-10-30 | ||
JP2017209026 | 2017-10-30 | ||
JP2019549853A JP7173031B2 (ja) | 2017-10-30 | 2018-07-26 | 情報処理装置、情報処理方法、およびプログラム |
PCT/JP2018/028131 WO2019087484A1 (ja) | 2017-10-30 | 2018-07-26 | 情報処理装置、情報処理方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019549853A Division JP7173031B2 (ja) | 2017-10-30 | 2018-07-26 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023017880A true JP2023017880A (ja) | 2023-02-07 |
JP7400923B2 JP7400923B2 (ja) | 2023-12-19 |
Family
ID=66295727
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019549853A Active JP7173031B2 (ja) | 2017-10-30 | 2018-07-26 | 情報処理装置、情報処理方法、およびプログラム |
JP2022175447A Active JP7400923B2 (ja) | 2017-10-30 | 2022-11-01 | 情報処理装置および情報処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019549853A Active JP7173031B2 (ja) | 2017-10-30 | 2018-07-26 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US11709476B2 (ja) |
EP (1) | EP3705241A4 (ja) |
JP (2) | JP7173031B2 (ja) |
KR (1) | KR20200074114A (ja) |
CN (2) | CN209364629U (ja) |
WO (1) | WO2019087484A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3705241A4 (en) | 2017-10-30 | 2021-01-06 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS, AND PROGRAM |
EP3705237A4 (en) * | 2017-10-31 | 2020-12-02 | Sony Corporation | ROBOTIC DEVICE |
JP7342425B2 (ja) * | 2019-05-30 | 2023-09-12 | セイコーエプソン株式会社 | ロボット管理システムおよびロボット管理システムの制御方法 |
EP4024154A4 (en) * | 2019-08-27 | 2022-10-19 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, CONTROL METHOD, AND PROGRAM |
KR102330900B1 (ko) * | 2019-09-27 | 2021-11-26 | 엘지전자 주식회사 | 이동로봇 |
CN111546338A (zh) * | 2020-05-08 | 2020-08-18 | 华为技术有限公司 | 一种机器人的控制方法、装置、机器人以及存储介质 |
CN112571433A (zh) * | 2020-12-14 | 2021-03-30 | 王永安 | 宠物机器人的情感交流方法 |
CN112536808A (zh) * | 2020-12-14 | 2021-03-23 | 王永安 | 宠物机器人的情感交流装置 |
WO2023037609A1 (ja) * | 2021-09-10 | 2023-03-16 | ソニーグループ株式会社 | 自律移動体、情報処理方法、及び、プログラム |
CN114872070B (zh) * | 2022-06-24 | 2023-05-19 | 上海工程技术大学 | 机械仿生鸡 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001038663A (ja) * | 1999-07-28 | 2001-02-13 | Yamaha Motor Co Ltd | マシンの制御システム |
JP2004066367A (ja) * | 2002-08-05 | 2004-03-04 | Mitsubishi Heavy Ind Ltd | 行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム |
JP2007152445A (ja) * | 2005-12-01 | 2007-06-21 | Mitsubishi Heavy Ind Ltd | 自走式ロボット |
JP2010072811A (ja) * | 2008-09-17 | 2010-04-02 | Olympus Corp | 情報処理システム、プログラム及び情報記憶媒体 |
JP2017514709A (ja) * | 2014-04-17 | 2017-06-08 | ソフトバンク・ロボティクス・ヨーロッパSoftbank Robotics Europe | 自律的生活能力を備えた人型ロボット |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4775352A (en) * | 1986-02-07 | 1988-10-04 | Lawrence T. Jones | Talking doll with animated features |
JP2002307354A (ja) * | 2000-11-07 | 2002-10-23 | Sega Toys:Kk | 電子玩具 |
JP4401564B2 (ja) | 2000-12-12 | 2010-01-20 | 本田技研工業株式会社 | 自律ロボット、集中制御装置、自律ロボットの行動計画策定方法、自律ロボットの集中制御方法、自律ロボットの行動計画策定プログラムを記録した記録媒体、自律ロボットの集中制御プログラムを記録した記録媒体 |
JP2003071763A (ja) | 2001-09-04 | 2003-03-12 | Sony Corp | 脚式移動ロボット |
JP2003195886A (ja) * | 2001-12-26 | 2003-07-09 | Sony Corp | ロボット |
US7813835B2 (en) * | 2002-03-15 | 2010-10-12 | Sony Corporation | Robot behavior control system, behavior control method, and robot device |
JP3714268B2 (ja) | 2002-03-18 | 2005-11-09 | ソニー株式会社 | ロボット装置 |
JP2003305677A (ja) * | 2002-04-11 | 2003-10-28 | Sony Corp | ロボット装置およびロボット制御方法、記録媒体、並びにプログラム |
JP2005202075A (ja) * | 2004-01-14 | 2005-07-28 | Sony Corp | 対話制御システム及びその方法並びにロボット装置 |
US7720572B2 (en) | 2005-09-30 | 2010-05-18 | Irobot Corporation | Companion robot for personal interaction |
US7783382B2 (en) * | 2006-02-24 | 2010-08-24 | Qisda Corporation | Controlling machine actions based on luminance of environmental light and distance from user |
US7718105B2 (en) * | 2008-05-21 | 2010-05-18 | Disney Enterprises, Inc. | Fabricating multi-component skin systems for robotics and other applications |
EP2342031B1 (de) * | 2008-10-29 | 2020-04-08 | SMS group GmbH | Roboterinteraktionssystem |
EP2933064A1 (en) * | 2014-04-17 | 2015-10-21 | Aldebaran Robotics | System, method and computer program product for handling humanoid robot interaction with human |
JP6307383B2 (ja) | 2014-08-07 | 2018-04-04 | 日立オートモティブシステムズ株式会社 | 行動計画装置 |
JP6568601B2 (ja) * | 2016-01-07 | 2019-09-04 | シャープ株式会社 | ロボット、ロボットの制御方法、およびプログラム |
US20180229372A1 (en) * | 2017-02-10 | 2018-08-16 | JIBO, Inc. | Maintaining attention and conveying believability via expression and goal-directed behavior with a social robot |
EP3705241A4 (en) | 2017-10-30 | 2021-01-06 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS, AND PROGRAM |
-
2018
- 2018-07-26 EP EP18873234.1A patent/EP3705241A4/en not_active Withdrawn
- 2018-07-26 JP JP2019549853A patent/JP7173031B2/ja active Active
- 2018-07-26 US US16/758,554 patent/US11709476B2/en active Active
- 2018-07-26 KR KR1020207011126A patent/KR20200074114A/ko not_active Application Discontinuation
- 2018-07-26 WO PCT/JP2018/028131 patent/WO2019087484A1/ja unknown
- 2018-10-23 CN CN201821721053.2U patent/CN209364629U/zh active Active
- 2018-10-23 CN CN201811239920.3A patent/CN109719738A/zh not_active Withdrawn
-
2022
- 2022-11-01 JP JP2022175447A patent/JP7400923B2/ja active Active
-
2023
- 2023-05-30 US US18/203,316 patent/US20230305530A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001038663A (ja) * | 1999-07-28 | 2001-02-13 | Yamaha Motor Co Ltd | マシンの制御システム |
JP2004066367A (ja) * | 2002-08-05 | 2004-03-04 | Mitsubishi Heavy Ind Ltd | 行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム |
JP2007152445A (ja) * | 2005-12-01 | 2007-06-21 | Mitsubishi Heavy Ind Ltd | 自走式ロボット |
JP2010072811A (ja) * | 2008-09-17 | 2010-04-02 | Olympus Corp | 情報処理システム、プログラム及び情報記憶媒体 |
JP2017514709A (ja) * | 2014-04-17 | 2017-06-08 | ソフトバンク・ロボティクス・ヨーロッパSoftbank Robotics Europe | 自律的生活能力を備えた人型ロボット |
Also Published As
Publication number | Publication date |
---|---|
US20200348647A1 (en) | 2020-11-05 |
CN209364629U (zh) | 2019-09-10 |
EP3705241A4 (en) | 2021-01-06 |
CN109719738A (zh) | 2019-05-07 |
KR20200074114A (ko) | 2020-06-24 |
JPWO2019087484A1 (ja) | 2020-11-26 |
JP7173031B2 (ja) | 2022-11-16 |
US11709476B2 (en) | 2023-07-25 |
WO2019087484A1 (ja) | 2019-05-09 |
EP3705241A1 (en) | 2020-09-09 |
JP7400923B2 (ja) | 2023-12-19 |
US20230305530A1 (en) | 2023-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7173031B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20230266767A1 (en) | Information processing apparatus, information processing method, and program | |
JP7120254B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7375748B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2024023193A (ja) | 情報処理装置及び情報処理方法 | |
US11938625B2 (en) | Information processing apparatus, information processing method, and program | |
JP2024009862A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2019123744A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7363823B2 (ja) | 情報処理装置、および情報処理方法 | |
JP7459791B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2023037608A1 (ja) | 自律移動体、情報処理方法、及び、プログラム | |
US20230367312A1 (en) | Information processing apparatus, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7400923 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |