CN112204611A - 信息处理设备、信息处理***、程序和信息处理方法 - Google Patents

信息处理设备、信息处理***、程序和信息处理方法 Download PDF

Info

Publication number
CN112204611A
CN112204611A CN201980036083.0A CN201980036083A CN112204611A CN 112204611 A CN112204611 A CN 112204611A CN 201980036083 A CN201980036083 A CN 201980036083A CN 112204611 A CN112204611 A CN 112204611A
Authority
CN
China
Prior art keywords
robot
state change
information
pet
autonomous moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980036083.0A
Other languages
English (en)
Inventor
渡边明香
横野顺
尾崎夏子
吴嘉宁
佐藤达人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112204611A publication Critical patent/CN112204611A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0286—Modifications to the monitored process, e.g. stopping operation or adapting control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Toys (AREA)
  • Image Analysis (AREA)

Abstract

【目的】提供一种能够在用户和机器人之间执行自然交互的信息处理设备、信息处理***和信息处理方法。【解决方式】该信息处理设备包括：状态变化检测单元。所述状态变化检测单元将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。

Description

信息处理设备、信息处理***、程序和信息处理方法
技术领域
本技术涉及一种根据自主动作机器人的信息处理设备、信息处理***、程序和信息处理方法。
背景技术
最近，支持生命的机器人作为人类的伙伴的发展得到了促进。这种机器人的示例包括模拟诸如狗和猫等四条腿行走动物的身体机制或其运动的宠物型机器人(例如，专利文献1)。
专利文献1描述了一种由合成纤维形成的外部单元连接到宠物型机器人，以使它们的动作和行为个性化，该合成纤维的形式类似于真实动物的表皮。外部单元和宠物型机器人彼此电连接，并且由电连接的存在与否来判断外部单元的附接的存在与否。
引用列表
专利文献
专利文献1：日本专利申请公开号2001-191275
发明内容
技术问题
希望自主动作机器人能够进行动作，以便能够在用户和机器人之间进行自然交互。
鉴于如上所述的情况，本技术的目的是提供一种能够在用户和机器人之间执行自然交互的信息处理设备、信息处理***、程序和信息处理方法。
问题的解决方案
为了实现上述目的，根据本技术实施方式的信息处理设备包括：状态变化检测单元。
状态变化检测单元将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。
通过以这种方式检测状态变化，由于可以使自主动作机器人根据检测到的状态变化采取动作，所以可以执行与用户的自然交互。
状态变化可能是连接到自主动作机器人的附件的存在或不存在。
信息处理设备还可以包括动作控制信号生成单元，其针对状态变化检测单元的状态变化检测处理，生成自主动作机器人的动作控制信号，使得自主动作机器人的姿势与参考图像中的姿势相同。
所述比较图像信息可以是根据参考图像信息移动的自主动作机器人的图像信息。
利用这种配置，在比较图像上显示的自主动作机器人的位置和姿势可以类似于在参考图像上显示的自主动作机器人的位置和姿势。
所述状态变化检测单元可以根据比较图像信息和参考图像信息之间的差异来检测状态变化。
所述参考图像信息可以包括参考图像的特征量，所述比较图像信息可以包括比较图像的特征量，并且所述状态变化检测单元可以将比较图像的特征量与参考图像的特征量进行比较，以检测状态变化。
所述参考图像信息可以包括属于自主动作机器人的像素的分割信息，并且所述状态变化检测单元可以通过使用分割信息从比较图像信息中去除属于自主动作机器人的区域来检测状态变化。
所述自主动作机器人可以包括多个部分，并且所述分割信息可以包括可彼此区分的多个部分中的每一个的像素分割信息。
信息处理设备还可以包括自我检测单元，其检测被检测为与自主动作机器人相同类型的机器人是否是自主动作机器人。
利用这种配置，当检测到与自主动作机器人相同类型的机器人时，可以检测相同类型的检测机器人是在反射镜上显示自主动作机器人的镜像还是不同于自主动作机器人的另一机器人。
所述自我检测单元可以基于自主动作机器人执行的运动和被检测为相同类型的机器人执行的运动，检测被检测为相同类型的机器人是否是在使用光的镜面反射显示对象的构件上显示的自主动作机器人。
所述自我检测单元可以估计被检测为相同类型的机器人的部分点，并且基于该部分点的位置变化和自主动作机器人的运动，检测被检测为相同类型的机器人是否是在使用光的镜面反射显示对象的构件上显示的自主动作机器人。
所述自主动作机器人可以包括收集语音的语音获取单元，并且所述状态变化检测单元可以将语音获取单元在某一时间点获取的参考语音与语音获取单元在另一时间点获取的比较语音进行比较，并基于比较结果检测自主动作机器人的状态变化。
如上所述，除了图像信息之外，语音信息可以用于检测状态变化。
所述自主动作机器人可以包括控制自主动作机器人的运动的致动器，并且所述状态变化检测单元可以将某一时间点的致动器的参考操作声音与在另一时间点获取的致动器的比较操作声音进行比较，并基于比较结果检测自主动作机器人的状态变化。
结果，假设附件可能已经附接到致动器所在的区域，状态变化检测区域可以缩小，并且可以有效地执行状态变化检测。
该信息处理设备还可以包括触发监视单元，其监视用于确定状态变化检测单元是否要检测自主动作机器人的触发的发生或不发生。
所述触发监视单元可以将关于在某一时间点的自主动作机器人的阴影的图像信息与关于在另一时间点的自主动作机器人的阴影的图像信息进行比较，以监视触发的发生或不发生。
所述触发监视单元可以基于用户的话语来监视触发的发生或不发生。
所述触发监视单元可以基于预定的经过时间监视触发的发生或不发生。
为了实现上述目的，根据本技术实施方式的信息处理***包括：自主动作机器人；以及信息处理设备。
该信息处理设备包括状态变化检测单元，其将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。
为了实现上述目的，根据本技术的实施方式的程序促使信息处理设备执行处理，包括以下步骤：将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。
为了实现上述目的，根据本技术的实施方式的信息处理方法包括：将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。
发明的有利效果
如上所述，根据本技术，可以在用户和机器人之间执行更自然的交互。注意，此处描述的效果不一定是限制性的，并且可以提供本公开中描述的任何效果。
附图说明
图1是示出根据本技术的第一实施方式的自主动作机器人的配置的框图；
图2是根据第一实施方式的通过自主动作机器人的附件附接进行的根据状态变化检测处理的一系列处理的流程图；
图3是描述第一实施方式中的状态变化检测处理的示例的流程图；
图4是用于描述用于状态变化检测处理的参考图像信息的示例的示图；
图5是示出使用参考图像信息执行状态变化检测处理的示例的示图；
图6是示出根据第二实施方式的自主动作机器人的配置的框图；
图7是根据第二实施方式的通过自主动作机器人的附件附接进行的根据状态变化检测处理的一系列处理的流程图；
图8是描述第二实施方式中的自我检测处理的示图；
图9是用于描述第二实施方式中的状态变化检测处理的示图；
图10是第三实施方式中使用分割的状态变化检测处理的流程图；
图11是用于描述第三实施方式中的状态变化检测处理的示图；
图12是第四实施方式中使用部分检测的状态变化检测处理的流程图；
图13是用于描述第四实施方式中的状态变化检测处理的示图；
图14是第五实施方式中使用图像的特征量的状态变化检测处理的流程图；
图15是在第六实施方式中不利用与机器人信息数据库的差异的情况下的状态变化检测处理的示例的流程图；
图16是在第七实施方式中不利用与机器人信息数据库的差异的情况下的状态变化检测处理的示例的流程图；
图17是示出根据第八实施方式的信息处理***的示图；
图18是示出根据第九实施方式的信息处理***的示图；
图19是示出根据第十实施方式的信息处理***的示图；
图20是用于描述状态变化检测处理的示图；
图21是用于描述第二实施方式中的自我检测处理的另一示例的示图；
图22是描述自我检测处理的另一示例的示图。
具体实施方式
下面将参考附图描述根据本技术的每个实施方式的自主动作机器人。自主动作机器人的示例包括宠物型机器人和人形机器人，它们作为人类的伙伴支持生命，并强调与人类的交流。在此处，四腿步行狗型宠物型机器人被例示为自主动作机器人，但是本技术不限于此。
根据下面描述的每个实施方式的宠物型机器人被配置为检测由于例如是否附接附件而导致的状态变化，例如，附接诸如衣服、帽子、衣领、丝带和手镯等附件或者去除附接的附件。注意，已经附接的附件改变的状态变化包括去除附接的附件的状态变化和最新附接另一附件的状态变化。
通过以这种方式检测状态变化，由于宠物型机器人能够基于状态变化检测结果对用户执行对应于检测结果的动作，所以可以使用户和机器人之间的交互更加自然。
这将在下面详细描述。
<第一实施方式>
(宠物型机器人的配置)
图1示出了示出根据该实施方式的宠物型机器人1的配置的框图。
作为信息处理设备的宠物型机器人1包括控制单元2、麦克风15、相机16、致动器17、机器人信息数据库(DB)11、动作数据库(DB)12和存储单元13。
宠物型机器人1包括头部单元、主体部分单元、腿部单元(四条腿)和尾部单元。致动器17放置在腿部单元(四条腿)的各个关节、各个腿部单元和主体部分单元之间的连接、头部单元和主体部分单元之间的连接以及尾部单元和主体部分单元之间的连接等中。致动器17控制宠物型机器人1的运动。
此外，诸如相机16、人体传感器(未示出)、麦克风15和GPS(全球定位***)(未示出)等各种传感器安装在宠物型机器人1上，以便获取与周围环境信息相关的数据，
相机16安装在例如宠物型机器人1的头部。相机16在可能的范围内对宠物型机器人1的周围和宠物型机器人1的主体进行成像。麦克风15收集宠物型机器人1周围的语音。
控制单元2执行与状态变化检测处理相关的控制。控制单元2包括语音获取单元3、图像获取单元4、触发监视单元5、状态变化检测单元6、动作控制信号生成单元7和相机控制单元8。
语音获取单元3获取与麦克风15收集的语音相关的信息(语音信息)。图像获取单元4获取与相机16捕捉的图像相关的信息(图像信息)。
触发监视单元5监视用于触发宠物型机器人1以启动状态变化检测的触发的发生或不发生。触发的示例包括来自用户的话语、特定的预定经过时间以及宠物型机器人1的阴影的图像信息。在此处，将描述触发监视单元5基于来自用户的话语来监视触发的发生或不发生的示例。
当触发监视单元5基于由语音获取单元3获取的语音信息识别出用户已经说出触发开始状态变化检测的关键字时，确定已经发生触发。当确定已经发生触发时，状态变化检测单元6执行状态变化检测处理。当确定没有发生触发时，不执行状态变化检测处理。
预先在数据库(未示出)中记录用于确定触发的发生或不发生的关键字。触发监视单元5参考记录的关键字监视触发的发生或不发生。
关键字的示例包括但不限于诸如“可爱”、“漂亮”、“好看”和“酷”之类的赞美以及诸如“帽子”、“布”和“手镯”之类的附件名称。这些关键字是预先设置的，并且可以通过学习添加关键字，并不时更新。
通过设置这样的触发监视单元5，可以快速开始状态变化检测处理，并且宠物型机器人1能够快速响应于用户对宠物型机器人1的附件的附接、拆卸和更换等动作，使得可以执行更自然的交互。
状态变化检测单元6使用由图像获取单元4获取的图像信息来执行状态变化检测处理。具体地，状态变化检测单元6检测宠物型机器人1的状态变化，例如，附件附接到宠物型机器人1或者去除附接到宠物型机器人的附件。
状态变化检测单元6将在某一时间点成像的关于宠物型机器人1的参考图像信息与在另一时间点成像的关于宠物型机器人1的比较图像信息进行比较，并且基于比较结果检测宠物型机器人的状态变化。参考图像信息已经记录在机器人信息数据库(机器人信息DB)11中。下面将描述作为信息处理方法的状态变化检测处理的细节。
动作控制信号生成单元7为状态变化检测处理生成宠物型机器人1的动作控制信号，使得宠物型机器人1处于与参考图像中的位置和姿势相同的位置和姿势。
此外，动作控制信号生成单元7基于状态变化检测单元6的检测的状态变化检测结果，从动作数据库12中选择动作模型，以生成宠物型机器人1的动作控制信号。
例如，动作控制信号生成单元7基于帽子附接到宠物型机器人1的状态变化检测结果，生成用于发出话语或执行摇动尾巴的动作的动作控制信号，以便宠物型机器人1表达快乐。
可以在基于这种状态变化检测结果产生的语音和动作中反映内部状态(例如，宠物型机器人1的情绪)和生理状况(包括电池电量和机器人的加热状况)。
例如，在状态变化是附接狮子鬃毛的附件的情况下，可以反映愤怒的情绪，并且可以执行诸如频繁吠叫等动作。
另外，当剩余电池电量小时，可以执行诸如不移动太多等动作，从而降低功耗。
当宠物型机器人充满热量并且由于长时间的运动等而被加热时，可以执行诸如不移动太多等动作来冷却。
在状态变化检测处理期间，相机控制单元8控制相机16，使得相机16的光学参数与获取参考图像信息时的光学参数相同。
存储单元13包括诸如RAM等存储装置和诸如硬盘驱动器等非易失性记录介质，并且存储用于使作为信息处理设备的宠物型机器人1执行宠物型机器人1的状态变化检测处理的程序。
存储在存储单元13中的程序用于使作为信息处理设备的宠物型机器人1执行包括以下步骤的处理：将在某一时间点获取的关于宠物型机器人1的参考图像信息与在另一时间点获取的关于宠物型机器人1的比较图像信息进行比较，并基于比较结果检测宠物型机器人1的状态变化。
在动作数据库(动作DB)12中，记录了定义宠物型机器人1在什么条件下应该采取什么动作的动作模型以及定义文件(例如，定义了为了使宠物型机器人1执行动作应该在什么时间在什么程度上驱动哪个致动器17的每个动作的运动文件以及存储了此时宠物型机器人1要发出的语音的语音数据的语音文件)的各种动作内容。
与宠物型机器人1相关的信息记录在机器人信息数据库11中。具体地，作为与宠物型机器人1相关的信息，针对每个不同姿势彼此关联地记录当宠物型机器人1已经采取特定姿势时的致动器17的控制参数信息、通过安装在其上的相机16对已经采取特定姿势的宠物型机器人1的身体的一部分直接成像而获得的参考图像(参考图像信息)的信息、以及当捕捉参考图像时相机16的诸如光学参数信息等传感器信息。
参考图像信息是在状态变化检测处理期间使用的信息。
在某一时间点获取的参考图像信息的示例包括在运送宠物型机器人1时已经预先记录的信息以及在宠物型机器人1开始使用之后获取并记录的信息。在此处，作为示例，将描述参考图像信息是当没有附件附接到在装运时已经记录的宠物型机器人21时的信息的情况。
图像信息的示例包括图像、基于该图像生成的机器人区域的掩模图像、机器人区域的RGB图像、机器人区域的深度图像、仅切割机器人区域的图像、机器人区域的3D形状、其特征量信息以及属于机器人区域的像素的分割信息。
在下文中，作为宠物型机器人1的具体姿势，将作为示例描述右前腿抬起时的姿势。
在机器人信息数据库11中，记录关于当宠物型机器人1通过安装在其上的相机16抬起右前腿时通过对右前腿成像而获得的图像的图像信息，作为在装运时已经记录的参考图像信息。该图像信息是当没有附件附接到宠物型机器人1时的信息。
此外，在机器人信息数据库11中，通过相机16成像时的宠物型机器人1的姿势信息，具体地，位于右前腿部的关节处的致动器17的控制参数信息、头部单元和主体部分单元之间的连接等、成像时的相机16的光学参数信息、抬起右前腿部的姿势及其参考图像信息彼此关联地记录。
当检测到状态变化时，通过基于致动器17的记录的控制参数信息控制宠物型机器人1的姿势，宠物型机器人1处于与参考图像中显示的宠物型机器人1相同的位置和姿势。通过基于相机16的记录的光学参数以该姿势对宠物型机器人1成像，可以获取比较图像的图像信息(比较图像信息)。然后，通过将该比较图像信息与记录的参考图像信息进行比较，可以检测宠物型机器人1的状态变化。
图4(A)示出了在装运时没有附接附件的宠物型机器人1的参考图像的机器人区域的掩模图像80的示例，并且图4(B)示出了作为机器人区域的形态图像的RGB图像81的示例。基于通过使用安装在其上的相机16对宠物型机器人1的右前腿51成像而获得的图像而生成每个图形。
如图4所示，如图4(A)所示，在用于参考的掩模图像80中，除了机器人区域之外的区域(在此处，机器人的右前腿51的区域)例如被涂成黑色，并且机器人区域是透明的模板图像。
如图4B所示，用于参考的RGB图像81是包括机器人区域的亮度分布信息和RGB信息的模板实像。
(与状态变化检测相关的处理方法概要)
接下来，将参考图2描述与状态变化检测相关的处理方法。图2是与状态变化检测相关的一系列处理的流程图的示例。
如图2所示，触发监视单元5监视用于状态变化检测的触发(S1)，并且确定是否执行状态变化检测处理(S2)。
当在S2确定不执行状态变化检测处理时(否)，处理返回到S1。
当在S2确定要执行状态变化检测处理时(是)，处理进行到S3。
在S3，动作控制信号生成单元7生成用于状态变化检测的动作控制信号，以使宠物型机器人1采取特定姿势。通过基于与记录在机器人信息数据库11中的特定姿势相关联的致动器17的控制参数信息来驱动致动器17，可以使宠物型机器人1采取特定姿势。
接下来，基于在S3生成的动作控制信号而采取动作的宠物型机器人1的身体的一部分由基于与记录在机器人信息数据库11中的特定姿势相关联的光学参数信息控制的相机16成像。图像获取单元4获取捕捉图像，作为比较图像信息(S4)。
接下来，状态变化检测单元6将与记录在机器人信息数据库11中的特定姿势相关联的参考图像信息与比较图像信息进行比较，并且提取机器人区域，以检测状态变化的区域(S5)。下面将描述检测S3至S5中的状态变化的具体方法。
接下来，动作控制信号生成单元7基于状态变化检测单元6的检测结果生成宠物型机器人1的动作控制信号(S6)。例如，动作控制信号生成单元7基于已经检测到附件附接的检测结果，生成用于使宠物型机器人1执行诸如发音和摇动尾巴等动作以向用户表达喜悦的动作控制信号。
(状态变化检测方法的细节)
接下来，将参考图3至图5描述图2中的S3至S5的状态变化检测处理的具体示例。图3是示出状态变化检测处理的示例的流程图。图5是示出使用参考图像信息执行状态变化检测处理的示例的示图。图3中的步骤S13至S15对应于图2中的S3至S5。
在此处，将描述手镯附接到右前腿并且将右前腿抬起的姿势作为在检测状态变化时要采取的特定姿势的示例。
如图3所示，当状态变化检测开始时，基于关于位于各个关节和连接处的致动器17的多条控制参数信息来驱动致动器17，这些控制参数信息与抬起右前腿的特定姿势相关联并且预先记录在机器人信息数据库11中(S13)。这使得宠物型机器人1执行抬起右前腿的行为。
接下来，基于与抬起右前腿的姿势相关联的相机16的光学参数，相机16对右前腿成像，并且图像获取单元4获得图5的部分(A)中所示的图像(比较图像)82(S14)。该比较图像是已经根据参考图像信息移动的宠物型机器人1的图像信息，并且在比较图像中显示的宠物型机器人1的位置和姿势可以类似于在参考图像中显示的宠物型机器人的位置和姿势。
图5的部分(A)示出了在图像的背景上显示地板60并且在图像的右侧显示宠物型机器人1的右前腿51的图像。右前腿51包括手指部分51a和臂部51b，手镯61附接到臂部51b。
接下来，将所获取的比较图像的图像信息(比较图像信息)与在机器人信息数据库11中记录的与抬起右前腿的姿势相关联的参考图像信息进行比较，以取得差异(S15)，并且检测状态已经改变的区域。
详细地，如图5的部分(B)所示，通过叠加图5的部分(A)中所示的比较图像82和图4的部分(A)中所示的参考图像的掩模图像80，获取通过从比较图像82中切出机器人区域(此处是右前腿51的区域)而获得的图像83。或者，可以使用属于预先记录的机器人区域的像素的分割结果来提取机器人区域。
然后，通过将从中切出机器人区域的图像83与图4的部分(B)中示出的RGB图像81进行比较以获取差异，来提取如图5C中示出的图像84中在预先获取的参考图像中不存在的手镯61附接的区域，作为状态已经改变的区域。可以基于图像的差值是否超过阈值来进行已经从中切出机器人区域的图像83和RGB图像81之间的比较。
在目标对象(此处是手镯)已经预先记录在数据库中的情况下，宠物型机器人1通过基于状态已经改变的区域(手镯61存在的区域)的图像参考对象信息数据库(未示出)的对象识别处理来识别状态已经改变的区域是手镯61，如图5的部分(C)所示。
在宠物型机器人1不能识别状态已经改变的区域中的对象的情况下，提取的对象(状态已经改变的区域中的对象)可以与诸如获取比较图像的季节和日期以及时间、天气、用户的话语和表情、比较图像信息等信息相关联地存储。
这使得可以获取相关信息，例如，当附接该对象时指示用户高兴的信息，并且宠物型机器人1可以在此后安装类似对象的情况下执行向用户表达快乐的动作。
此外，作为另一示例，在获取指示在圣诞节附接某个对象的相关信息的情况下，可以在附接对象的情况下执行诸如唱圣诞歌曲等动作。
此外，宠物型机器人1可以识别在状态已经改变的区域中存在的对象的颜色、图案等，并且基于识别颜色或图案的结果来执行动作。例如，在对象的颜色是宠物型机器人1喜欢的颜色的情况下，可以执行诸如摇动尾巴以表达快乐等动作。
用户可以在默认设置中任意设置宠物型机器人1喜欢的颜色。或者，用户喜欢的颜色可以被设置为宠物型机器人1喜欢的颜色。例如，宠物型机器人1可以基于由与用户生活在一起的宠物型机器人1积累的关于用户的信息，例如，关于用户的衣服、装饰品和个人物品的信息，确定最常用的颜色，作为用户最喜欢的颜色，并且使用该颜色作为宠物型机器人1喜欢的颜色。
因此，通过将与特定姿势相关联的参考图像信息与使用安装在宠物型机器人1上的相机16在与获取该参考图像信息时相同的位置和姿势拍摄的自身身体的一部分的比较图像的图像信息进行比较，可以检测状态变化，例如，是否已经附接附件。
(宠物型机器人的动作示例)
在下文中，将描述当检测到附件的附接时宠物型机器人的动作示例，但是本技术不限于本文描述的那些。下面描述的动作信息记录在动作数据库12中。
当其喜爱的颜色的附件附接到宠物型机器人1时，宠物型机器人1以更大的愉悦程度执行动作。此外，宠物型机器人1识别当附接附件时已经被检测到的人，并且假设是由这个人给出附件，执行增大对这个人的喜爱程度的动作。
宠物型机器人1在做出喜爱的坐标(例如，特征附件的组合)的情况下，执行通常不执行的特殊动作。
当附连诸如红色帽子、鞋子和白色包等圣诞老人服装时，宠物型机器人1执行诸如唱圣诞歌曲、播放圣诞歌曲、将礼物藏在圣诞树后面以及期望将诸如骨头等其喜爱的物品给予用户等动作。
当附接有运动服时，宠物型机器人1执行运动的形式。此外，当附接包括关于棒球队和俱乐部球队的标志信息的附件时，宠物型机器人1根据棒球队或俱乐部球队执行动作，例如，当为棒球队或俱乐部球队欢呼时的运动。
宠物型机器人1在附接有模仿动物的附件(例如，猫耳朵附件、狮子鬃毛附件和服装)时，执行对应于动物的动作。例如，当附接狮子鬃毛附件时，宠物型机器人1执行反映愤怒情绪的动作。当附接猫耳朵附件时，宠物型机器人1发出“喵”的语音。
如上所述，根据该实施方式的宠物型机器人1通过在没有电连接或物理连接的情况下移动自身来检测状态变化。然后，宠物型机器人1执行对应于状态变化的动作，可以执行与用户的自然交互。
<第二实施方式>
在第一实施方式中，用于状态变化检测处理的比较图像是通过用安装在宠物型机器人1上的相机16对宠物型机器人1的一部分直接成像而获得的图像，但是本技术不限于此。
例如，如本实施方式中，宠物型机器人可以通过安装在其上的相机对反射镜中显示的自身进行成像来获取比较图像。在这种情况下，在状态变化检测处理之前，执行检测要在反射镜中显示的宠物型机器人是否是其自身的自我检测处理。
下面将描述第二实施方式。类似于上述实施方式的那些组件由类似的参考符号表示，在一些情况下省略其描述，并且将主要描述差异。
图6示出了作为根据本实施方式的自主动作机器人的宠物型机器人21的框图。
作为信息处理设备的宠物型机器人21包括控制单元22、麦克风15、相机16、致动器17、机器人信息数据库(DB)11、动作数据库(DB)12、存储单元13和学习字典14。
控制单元22执行与自我检测处理和状态变化检测处理相关的控制。
在自我检测处理中，当检测到与宠物型机器人21相同类型的机器人时，检测被检测到的机器人是否是宠物型机器人21。
在状态变化检测处理中，类似于第一实施方式，确定是否执行状态变化检测处理。在本实施方式中，当在自我检测处理中确定检测到的机器人是宠物型机器人21(自身)时，执行状态变化检测处理。
控制单元22包括语音获取单元3、图像获取单元4、触发监视单元5、状态变化检测单元6、动作控制信号生成单元7、相机控制单元8和自我检测单元23。
触发监视单元5监视触发的发生或不发生，该触发是开始宠物型机器人21的状态变化检测的触发。触发的示例包括除了来自用户的话语、特定的预定经过时间和第一实施方式中所示的宠物型机器人21的阴影的图像信息之外，还检测与宠物型机器人21相同类型的机器人。
在此处，将描述触发监视单元5基于与宠物型机器人21相同类型的机器人的检测来监视触发的发生或不发生的示例。触发监视单元5在检测到与宠物型机器人21相同类型的机器人(例如，在反射镜中显示的宠物型机器人21的镜像的机器人和除宠物型机器人21之外的相同类型的宠物型机器人)时，确定已经发生触发。
触发监视单元5使用学习字典14来执行相同类型的机器人的检测。学习字典14存储诸如用于确定在由宠物型机器人21获取的图像中显示的机器人是否是与宠物型机器人21本身相同类型的机器人的特征点和特征量的信息以及通过机器学习获得的模型系数。
当触发监视单元5检测到与宠物型机器人21相同类型的机器人并且确定已经发生触发时，自我检测单元23执行自我检测处理，该自我检测处理检测到相同类型的机器人是否是宠物型机器人21(自身)。
详细地，首先，自我检测单元23获取通过对相同类型的被检测机器人进行成像而获取的第一图像。此后，自我检测单元23获取通过以不同于已经获取第一图像时的姿势对宠物型机器人21进行成像而获得的第二图像。
接下来，自我检测单元23从第一图像和第二图像检测相同类型的机器人的运动，并且确定该运动是否与宠物型机器人21的运动一致。
当相同类型的机器人的运动与宠物型机器人21的运动不一致时，自我检测单元23确定相同类型的检测机器人不是宠物型机器人21(自身)。
当相同类型的机器人的运动在镜像对称位置关系中与宠物型机器人21的运动一致时，自我检测单元23确定相同类型的检测机器人是在反射镜中显示的宠物型机器人21的镜像，即，其自身。
图8是描述当在反射镜65中检测到相同类型的机器人28时的自我检测处理的示例的示图。
首先，如图8A的部分(A)所示，由宠物型机器人21的相机16对同一类型的检测机器人28进行成像，以获取第一图像。当获得第一图像时，宠物型机器人21处于降低两个前腿的姿势。
此后，宠物型机器人21通过抬起其左前腿来改变其位置。如图8的部分(B)所示，当该姿势变化时，同一类型的检测机器人28由宠物型机器人21的相机16成像，以获取第二图像。
通过比较宠物型机器人21的姿势变化前后的两个图像，提取相同类型的机器人28的运动。然后，当这种运动在镜像对称的位置关系中与宠物型机器人21本身的运动一致时，在反射镜65中显示的相同类型的机器人28被确定为宠物型机器人21的镜像。
同时，当图像中相同类型的机器人28的运动与宠物型机器人21的运动不一致时，确定相同类型的检测机器人28是另一机器人而不是宠物型机器人21。
可以多次执行这种姿势变化行为，以基于检测结果来提高相同类型的检测机器人是否是其自身的检测精度。注意，尽管在此处将左前腿的抬高和降低作为姿势变化行为的示例，但是本技术不限于此，例如，可以使用左右移动的姿势变化行为。
动作控制信号生成单元7为自我检测处理生成宠物型机器人21改变其姿势的行为的动作控制信号。
动作控制信号生成单元7为状态变化检测处理生成宠物型机器人1的动作控制信号，使得宠物型机器人21处于与参考图像中的位置和姿势相同的位置和姿势。
此外，动作控制信号生成单元7基于由状态变化检测单元6检测到的状态变化检测结果，从动作数据库12选择动作模型，以生成宠物型机器人1的动作控制信号。
关于宠物型机器人21的信息记录在机器人信息数据库11中。具体地，作为与宠物型机器人1相关的信息，针对每个不同姿势彼此关联地记录当宠物型机器人21已经采取特定姿势时致动器17的控制参数信息、通过安装在其上的相机16对已经采取特定姿势的宠物型机器人21自身成像而获得的参考图像(参考图像信息)的信息、以及当捕捉参考图像时相机16的诸如光学参数信息等传感器信息。
在此处，将作为示例描述参考图像信息是当没有附件附接到在装运时已经记录的宠物型机器人21时的信息的情况。
(与状态变化检测相关的处理方法概要)
接下来，将参考图7至图9描述与状态变化检测相关的处理方法。图7是与状态变化检测相关的一系列处理的流程图。图9是用于描述状态变化检测处理的示图。
在此处，将举例说明帽子附接到头部的情况，并且将描述确定反射镜中显示的宠物型机器人21本身是相同类型的机器人的情况。此外，降低两个前腿的姿势将被描述为宠物型机器人21在检测状态变化时采取的特定姿势的示例。
如图7所示，执行触发监视单元5的监视(S21)，并且学习字典14用于确定在由相机16拍摄的图像中是否已经检测到与宠物型机器人21相同类型的机器人(是否已经发生触发)(S22)。
当在S22中确定没有检测到相同类型的机器人时(否)，处理返回到S21。
当在S22中确定已经检测到相同类型的机器人28时(是)，处理进行到S23。
在S23中，执行动作控制信号的生成和用于自我检测的图像的获取。作为具体示例，生成动作控制信号，以便从降低两个前腿的姿势采取抬高左前腿的姿势，并且宠物型机器人21基于该信号采取抬高其左前腿的姿势。在宠物型机器人21的姿势已经改变的状态下，获取相同类型的机器人28的第二图像。
接下来，自我检测单元23将在检测到相同类型的机器人28时的第一图像(其是姿势变化之前的图像)与在宠物型机器人21的姿势变化时获取的相同类型的机器人28的第二图像进行比较，并且执行自我检测，以确定图像中相同类型的机器人28的运动是否与宠物型机器人21的运动一致(S24)。
接下来，基于S24中的检测结果，相同类型的检测机器人28是否是宠物型机器人21(S25)。
当基于由图像中的相同类型的机器人28执行的运动和由宠物型机器人21执行的运动在镜像对称位置关系中彼此不一致的检测结果，确定相同类型的检测机器人不是宠物型机器人21而是另一机器人(否)时，处理返回到S21。
在此处，当确定相同类型的机器人28是另一机器人时，状态变化检测处理可以由相同类型的机器人28执行。在这种情况下，宠物型机器人21可以对相同类型的机器人28进行成像，并将获得的图像发送给相同类型的机器人28，从而使得相同类型的机器人28能够指定哪个机器人执行状态变化检测处理。
同时，当基于由图像中的相同类型的机器人28执行的运动和由宠物型机器人21执行的运动在镜像对称的位置关系中彼此一致的检测结果，确定相同类型的检测机器人28是宠物型机器人21时(是)，处理进行到S26。在S26和后续步骤中，执行状态变化检测处理。
在S26中，生成用于状态变化检测的动作控制信号。
具体地，生成宠物型机器人21的动作控制信号，使得宠物型机器人21位于与参考图像中的宠物型机器人的位置相同的位置，该参考图像与通过相机16对在反射镜65中显示的宠物型机器人21成像而获得的图像中的机器人信息数据库11中记录的降低两个前腿的姿势相关联。宠物型机器人21基于该动作控制信号移动。结果，宠物型机器人21采取类似于参考图像中的位置和姿势。
接下来，在反射镜65中显示并且采取了与参考图像中的宠物型机器人相同的位置和姿势的宠物型机器人21由相机16成像，该相机16被设置为与降低两个前腿的姿势相关联的相机的光学参数类似的光学参数，以获取比较图像的图像信息(S27)。
接下来，状态变化检测单元6比较与降低两个前腿的姿势相关联的参考图像信息和比较图像信息，提取机器人区域和状态已经改变的区域，并且帽子62的区域被检测为状态已经改变的区域，如图9所示(S28)。
如上所述，通过使用安装在宠物型机器人21上的相机16将在反射镜中显示的宠物型机器人的比较图像信息与记录在机器人信息数据库11中的参考图像信息进行比较，可以检测是否已经附接附件。
注意，在此处，反射镜被例示为使用光的镜面反射来显示对象的构件，但是可以使用玻璃、水面等来代替反射镜。
如上所述，根据该实施方式的宠物型机器人21通过自身移动而不进行电连接或物理连接来检测状态变化。然后，由于宠物型机器人21执行对应于状态变化的动作，所以可以执行与用户的自然交互。
<第三实施方式>
在上述实施方式中，分割可以用于状态变化检测处理，并且将在下面参考图10和图11进行描述。在此处，类似于第一实施方式，将作为示例描述使用安装在其上的相机16直接对作为宠物型机器人1的身体的一部分的右前腿部成像的情况。此外，与上述实施方式相似的组件由相似的参考符号表示，并且在某些情况下省略其描述。
注意，本实施方式中的状态变化检测处理也适用于使用在反射镜中显示的机器人的图像信息的第二实施方式。
图10是示出状态变化检测处理的具体示例的流程图。图11是示出使用分割的状态变化检测处理的示例的示图。
要记录在机器人信息数据库11中的参考图像信息包括属于机器人区域的像素的分割信息。
如图10所示，当状态变化检测开始时，基于位于各个关节和连接处的致动器17的多条控制参数信息来驱动致动器17，这些控制参数信息与抬起右前腿的特定姿势相关联并且预先记录在机器人信息数据库11中(S33)。这使得宠物型机器人31执行抬起右前腿的行为。
接下来，基于与抬起右前腿的姿势相关联的相机16的光学参数，由相机16对右前腿成像，并且由图像获取单元4获取由图11的部分(A)中所示的相机16捕捉的图像(比较图像)S2(S34)。
图11的部分A示出了在图像的背景上显示地板60并且在图像的右侧显示宠物型机器人1的右前腿51的图像。右前腿51包括手指部分51a和臂部51b，并且手镯61附接到臂部51b。
接下来，执行分割，其中，区域分组成比较图像82中具有相似特征量的组，并且分成多个区域(S35)。结果，如图11的部分(B)所示，从右前腿51提取手镯61不位于其中的机器人区域。
为了分割，通常使用聚类方法。由于与图像中显示的对象相对应的图像在颜色、亮度等方面具有相似的特征，因此可以通过对像素进行聚类来将图像分割成与对象相对应的区域。可以使用对像素聚类给出正确答案的监督聚类，作为监督数据。
接下来，提取所获取的比较图像的分割信息和用于确定与机器人信息数据库11中记录的抬起右前腿的姿势相关联的机器人区域的像素分割信息之间的差异(S36)，并且检测附接手镯61并且状态已经改变的区域，如图11的部分(C)所示。
如上所述，可以使用分割来执行状态变化检测处理。
<第四实施方式>
部分检测可以用于状态变化检测处理，并且将在下面参考图12和图13进行描述。在此处，将举例说明类似于第二实施方式使用在反射镜中显示的机器人21的图像信息的情况。此外，与上述实施方式相似的组件由相似的参考符号表示，并且在某些情况下省略其描述。
注意，本实施方式中的条件检测处理也适用于第一实施方式，其中，宠物型机器人1使用安装在其上的相机16直接对宠物型机器人1自身的身体的一部分进行成像。
宠物型机器人1包括多个部分，例如，主体部分、右前腿部分的手指部分、前腿部分的臂部、左前腿部分的手指部分、左前腿部分的臂部、右后腿的手指部分、右后腿的大腿部分、左后腿的手指部分、左后腿的大腿部分、面部部分、右耳部分、左耳部分和尾部。
图12是示出状态变化检测处理的具体示例的流程图。
图13是参考图像87的示图，其中，显示了宠物型机器人21的图像的机器人区域，以便通过分割对于每个身体部位是可区分的。
图13的部分(A)示出了附件未附接的状态，图13的部分(B)示出了帽子作为附件附接的状态。这些图中的任何一个示出了通过对在反射镜中显示的宠物型机器人1成像而获得的图像。
在机器人信息数据库11中，当宠物型机器人21自身的相机16没有附接附件时，彼此关联地记录通过对在反射镜中显示的宠物型机器人21进行成像而获得的参考图像信息、当获取该参考图像信息时定义宠物型机器人1的姿势等的致动器17的控制参数信息、以及相机16的传感器信息等。
记录在机器人信息数据库11中的参考图像信息包括属于机器人区域的像素的分割信息。该分割信息包括可以彼此区分的每个部分的像素分割信息。
在部分检测中，可以通过针对宠物型机器人21的身体的每个部分的记录的像素分割来区分每个部分。
图13的部分(A)示出了包括用于区分机器人区域的每个部分的像素分割信息的参考图像87。在参考图像87中，显示了宠物型机器人1的上身。在图13的部分(A)所示的图中，宠物型机器人1被分成诸如镜像中的主体部分53、面部部分521、右耳部分522和左耳部分523等部分。这些部分中的每一个的像素分割信息记录在机器人信息数据库11中。
如图12所示，当状态变化检测开始时，生成动作控制信号，使得图像上的反射镜中显示的宠物型机器人1的位置和姿势与机器人信息数据库11中记录的参考图像中的位置和姿势一致，并且基于此驱动致动器17(S43)。这使得宠物型机器人31执行抬起右前腿的行为。
接下来，在反射镜中显示的宠物型机器人21由相机16成像，并且由图像获取单元4获取比较图像(S44)。
接下来，在比较图像中执行机器人区域的部分检测(S45)。在部分检测中，执行分割，其中，针对比较图像中具有相似特征量的每个组对区域进行分组，并将其分成多个区域。结果，如图13的部分(B)所示，获得包括分割信息的比较图像88，作为比较图像信息，在分割信息中，通过将区域划分为对于每个部分可以区分的区域来提取机器人区域。
接下来，获取比较图像88和参考图像87之间的差异(S46)，所述比较图像88和参考图像87包括用于确定记录在机器人信息数据库11中的机器人区域的每个部分的像素分割信息。结果，检测到在哪个部分发生状态变化，并且检测到状态变化发生的区域。
如上所述，可以通过使用部分检测来检测已经在哪个部分中发生状态变化。
<第五实施方式>
在第一和第二实施方式中，特征量可以用于状态变化检测处理，并且将在下面参考图14进行描述。在此处，类似于第一实施方式，将描述宠物型机器人1通过使用安装在其上的相机16直接对抬起的右前腿成像的情况，作为示例。此外，与上述实施方式相似的组件由相似的参考符号表示，并且在某些情况下省略其描述。
注意，本实施方式中的状态变化检测处理可应用于使用在反射镜上显示的机器人的图像信息的第二实施方式。
图14是示出状态变化检测处理的具体示例的流程图。
记录在机器人信息数据库11中的参考图像信息包括参考图像的特征量。
如图14所示，当状态变化检测开始时，基于预先记录在机器人信息数据库11中的致动器17的控制参数信息来驱动致动器17，所述致动器17位于与抬起右前腿的特定姿势相关联的各个关节和连接处(S53)。这使得宠物型机器人31执行抬起右前腿的行为。
接下来，基于与抬起右前腿的姿势相关联的相机的光学参数，相机16对右前腿成像，并且图像获取单元4获取比较图像(S54)。
接下来，将比较图像转换成特征量(S55)。
接下来，获取作为获取的比较图像信息的比较图像的特征量和与机器人信息数据库11中记录的抬起右前腿的姿势相关联的参考图像的特征量之间的差异(S56)，以检测状态已经改变的区域。
以这种方式，可以通过匹配图像特征量来识别比较图像中显示的机器人区域的位置和姿势。
<第六实施方式>
在第一至第五实施方式中，已经使用与记录在机器人信息数据库中的参考图像信息的差异执行了状态变化检测处理。然而，也可以在不使用与数据库中记录的图像信息的差异的情况下执行状态变化检测处理。在下文中，将通过使用图15进行描述。图15是状态变化检测处理的流程图。
在此处，类似于第一实施方式，将描述宠物型机器人1使用安装在其上的相机16直接对宠物型机器人1自身的身体的一部分进行成像的情况，作为示例。此外，将描述附件附接到右前腿的示例。在该实施方式中，检测到从没有附接附件的状态的状态变化。
如图15所示，当状态变化检测开始时，生成宠物型机器人1的动作控制信号，使得宠物型机器人1采取能够使用安装在其上的相机16对宠物型机器人1自身的身体成像的姿势，并且基于此驱动致动器17(S63)。在此处，生成动作控制信号，使得宠物型机器人1采取能够对右前腿成像的姿势。
接下来，通过相机16对右前腿成像，并且通过图像获取单元4获取第一图像(S64)。
接下来，对第一图像执行分割(S65)，其中，区域分成图像中具有相似特征量的组，分成多个区域，并且提取机器人区域。该信息不包括附件区域。
接下来，生成宠物型机器人1的动作控制信号，使得宠物型机器人1采取与S63中采取的姿势不同的姿势，在该姿势中，可以使用安装在宠物型机器人1上的相机16对宠物型机器人1自身的身体进行成像，并且基于此驱动致动器17(S66)。
接下来，通过相机16对右前腿成像，并且通过图像获取单元4获取第二图像(S67)。
接下来，将第一图像和第二图像彼此进行比较，以提取执行与宠物型机器人1的运动相同的运动的区域(S68)。当宠物型机器人1在附接附件的同时移动时，附件随着宠物型机器人1的移动而移动。因此，在S68中提取的区域是执行相同运动的区域，被估计为机器人存在的区域，并且在该实施方式中包括附件区域和机器人区域。
第一图像、第二图像、使用这些图像提取的机器人区域、附件区域等的图像信息对应于比较图像信息。
接下来，从在S68中提取的包括附件和机器人的区域和在S65中提取的机器人区域之间的差异中检测附件区域(S69)。当与没有附接附件的参考图像信息相比较时，该附件区域对应于状态变化区域。
在此处，尽管在S68中从运动差异中提取包括附件和机器人的区域，但是可以使用背景差异。在这种情况下，可以仅获取背景的图像，从而不对宠物型机器人1的身体成像，并且可以从仅仅背景的图像和捕捉的图像中提取附件区域和机器人区域，从而包括与该背景和右前腿相同的背景。
<第七实施方式>
将参考图16描述在不使用与记录在机器人信息数据库中的参考图像信息的差异的情况下执行状态变化检测处理的另一示例。图16是状态变化检测处理的流程图。
在此处，类似于第一实施方式，将描述宠物型机器人1使用安装在其上的相机16直接对宠物型机器人1自身的身体的一部分进行成像的情况。此外，将描述附件附接到右前腿的示例。同样在该实施方式中，检测到从没有附接附件的状态的状态变化。
宠物型机器人1包括深度传感器。例如，红外光可以用于通过获得深度图像来感测从传感器到对象的距离，该深度图像指示在空间中的每个位置处与深度传感器的距离。作为深度传感器***，可以采用任意***，例如，TOF(飞行时间)***、图案化照明***和立体相机***。
如图16所示，当状态变化检测开始时，生成宠物型机器人1的动作控制信号，使得宠物型机器人1采取能够使用安装在其上的相机16对宠物型机器人1自身的身体成像的姿势，并且基于此驱动致动器17(S73)。在此处，生成动作控制信号，使得宠物型机器人1采取能够对右前腿成像的姿势。
接下来，通过相机16对右前腿成像，并且通过图像获取单元4获取图像(S74)。
接下来，对在S74(S75)中获取的图像执行分割，以提取机器人区域，在该分割中，区域分成在图像中具有相似特征量的组，并且划分为多个区域。机器人区域的该信息不包括附件区域。
接下来，深度传感器获取距离信息。从该距离信息中提取与在S75中提取的机器人区域具有相同距离信息的区域(S76)。提取的区域包括附件区域和机器人区域。
在S74中获取的图像的图像信息、使用该图像提取的机器人区域、附件区域等对应于比较图像信息。
接下来，根据在S76中提取的区域和在S75中提取的区域之间的差异来检测附件区域(S77)。当与其中，没有附加附件的参考图像信息相比较时，该附件区域对应于状态变化区域。
在该实施方式中，已经描述了安装在其上的相机对宠物型机器人自身的身体的一部分直接成像的示例。然而，当在反射镜中显示的宠物型机器人成像时，也可以执行使用深度传感器的处理。
在这种情况下，最好使用立体相机型深度传感器，而不是只允许使用宠物型机器人和反射镜之间的距离的TOF型和图案照明型深度传感器。可以使用安装在宠物型机器人上的立体相机型深度传感器获得距离信息，或者可以通过立体匹配获得，立体匹配使用基于SLAM(同时定位和映射)的自身位置估计从两个不同视点拍摄的图像。
此外，深度图像可以用于使用与机器人信息数据库的差异的状态变化检测处理。
<第八实施方式>
尽管在上述实施方式中已经描述了在宠物型机器人侧执行状态变化检测处理的示例，但是状态变化检测处理可以在云服务器上执行。在下文中，尽管将参考图17进行描述，但是与上述实施方式中的那些相似的组件将由相似的参考符号表示，并且在一些情况下省略其描述。
图17是描述根据该实施方式的信息处理***100的示图，并且是示出作为信息处理设备的服务器120和作为自主动作机器人的宠物型机器人110的配置的框图。在此处，仅示出了描述该实施方式所需的配置。
如图17所示，信息处理***100包括宠物型机器人110和服务器120。宠物型机器人110和服务器120被配置成能够彼此通信。
宠物型机器人110包括麦克风15、相机16、致动器17、通信单元111和控制单元112。
通信单元111与服务器120通信。控制单元112基于经由通信单元111从服务器120发送的动作控制信号来驱动致动器17。控制单元112基于经由通信单元111从服务器120发送的相机的光学参数来控制相机16。控制单元112经由通信单元111将相机16拍摄的图像的图像信息和麦克风15获取的语音的语音信息发送到服务器120。
服务器120包括通信单元121、控制单元2、存储单元13、机器人信息数据库11、动作数据库12和存储单元13。控制单元2可以包括在第二实施方式中描述的自我检测单元23，并且这同样适用于以下第九和第十实施方式。
通信单元121与宠物型机器人110通信。与第一实施方式类似，控制单元2执行与状态变化检测处理相关的控制。
控制单元2使用经由通信单元121从宠物型机器人110发送的图像信息和语音信息以及机器人信息数据库11中的信息来执行状态变化检测处理。
控制单元2基于记录在机器人信息数据库11中的信息、状态变化检测处理结果和记录在动作数据库12中的信息，生成宠物型机器人110的动作控制信号和相机16的控制信号。所生成的动作控制信号和相机的控制信号经由通信单元121发送到宠物型机器人110。
<第九实施方式>
在第八实施方式中已经描述了在服务器侧执行状态变化检测处理的示例。然而，与附接有附件的第一宠物型机器人不同的第二宠物型机器人可以对第一宠物型机器人成像并执行状态变化检测处理。在下文中，尽管将参考图18进行描述，但是与上述实施方式中的那些相似的组件将由相似的参考符号表示，并且在一些情况下省略其描述。
图18是描述根据该实施方式的信息处理***200的示图，并且是示出作为第一自主动作机器人的第一宠物型机器人110和作为第二自主动作机器人的第二宠物型机器人220的配置的框图。在此处，仅示出了描述该实施方式所需的配置。
如图18所示，信息处理***200包括作为信息处理设备的第一宠物型机器人110和第二宠物型机器人220。第一宠物型机器人110和第二宠物型机器人220可以是相同类型的机器人或者可以是不同类型的机器人。
在该实施方式中，附件附接到第一宠物型机器人110。第二宠物型机器人220对第一宠物型机器人110成像，并进一步检测第一宠物型机器人110的状态变化。
在此处，由于将描述通过安装在第二宠物型机器人220上的相机216对第一宠物型机器人110成像的示例，所以第一宠物型机器人110和第二宠物型机器人220在能够对另一方成像的范围内处于紧密的位置关系。
第一宠物型机器人110包括致动器17、通信单元111和控制单元112。通信单元111与第二宠物型机器人220通信。控制单元112基于经由通信单元111从第二宠物型机器人220接收的动作控制信号来驱动致动器17。
第二宠物型机器人220包括通信单元121、控制单元2、机器人信息数据库11、动作数据库12、存储单元13、麦克风215和相机216。
通信单元121与第一宠物型机器人110通信。
相机216对第一宠物型机器人110进行成像。图像获取单元4获取捕捉图像的图像信息。
麦克风215收集第二宠物型机器人220周围的语音。在该实施方式中，由于第一宠物型机器人110和第二宠物型机器人220靠近在一起，所以第一宠物型机器人110周围的语音也可以由麦克风215收集。语音获取单元3获取所收集的语音的信息。
与第一实施方式类似，控制单元2使用从麦克风215和相机216获取的语音信息和图像信息以及记录在机器人信息数据库11中的信息来执行与状态变化检测处理相关的处理。
控制单元2基于记录在机器人信息数据库11中的信息、状态变化检测处理的结果和记录在动作数据库12中的信息，生成第一宠物型机器人110的动作控制信号和相机216的控制信号。动作控制信号和相机的控制信号经由通信单元121发送到第一宠物型机器人110。
如上所述，除了附接有附件的第一宠物型机器人之外的第二宠物型机器人可以获取图像并执行状态变化检测处理。
此外，图像信息和语音信息的获取以及状态变化检测处理等可以由人工智能(AI)装置、移动终端等来执行，这些装置不是自主动作的，而是固定设置的，而不是第二宠物型机器人。
此外，可以使用安装在附接有附件的第一宠物型机器人的侧面上的相机和麦克风来获取图像信息和语音信息，并且这些信息可以用于由第二宠物型机器人220执行状态变化检测处理。
此外，第二宠物型机器人220可以获取附接有附件的第一宠物型机器人110的图像信息和语音信息，并且这些信息可以用于在第一宠物型机器人110侧执行状态变化检测处理。
例如，第二宠物型机器人220、包括传感器的AI装置等可以检测第一宠物型机器人110，并将由第二宠物型机器人220或AI装置获取的诸如图像信息和语音信息等传感器信息发送到检测到的第一宠物型机器人110，由此第一宠物型机器人110可以使用该传感器信息来执行状态变化检测处理。
注意，第二宠物型机器人220、AI装置等能够通过空间地图、GPS、机器人间通信等来指定所获取的传感器信息(在此处，第一宠物型机器人110)的目的地。
<第十实施方式>
在第九实施方式中已经描述了由第二宠物型机器人执行图像获取和状态变化检测处理的示例。然而，与附接有附件的第一宠物型机器人不同的第二宠物型机器人可以对第一宠物型机器人进行成像，并且可以在云服务器侧执行状态变化检测处理。在下文中，尽管将参考图19进行描述，但是与上述实施方式中的那些相似的组件将由相似的参考符号表示，并且在一些情况下省略其描述。
图19是描述根据该实施方式的信息处理***300的示图，并且是示出作为第一自主动作机器人的第一宠物型机器人110、作为第二自主动作机器人的第二宠物型机器人320和服务器120的配置的框图。在此处，仅示出了描述该实施方式所需的配置。
如图19所示，信息处理***300包括作为信息处理设备的第一宠物型机器人110、第二宠物型机器人320和服务器120。
在该实施方式中，将描述附件附接到第一宠物型机器人110、第二宠物型机器人320对第一宠物型机器人110进行成像并且服务器120检测到状态变化的示例。第一宠物型机器人110和第二宠物型机器人320在能够对另一方成像的范围内处于紧密的位置关系。
第一宠物型机器人110包括致动器17、通信单元111和控制单元112。通信单元111与服务器120通信。控制单元112基于经由通信单元111从服务器120接收的动作控制信号来驱动致动器17。
第二宠物型机器人320包括通信单元321、控制单元322、麦克风215和相机216。通信单元321与服务器120通信。相机216对第一宠物型机器人110进行成像。捕捉图像的图像信息发送到服务器120，并由图像获取单元4获取。
麦克风215收集第二宠物型机器人320周围的语音。在该实施方式中，由于第一宠物型机器人110和第二宠物型机器人320靠近在一起，所以第一宠物型机器人110周围的语音也可以由麦克风215收集。收集的语音的信息发送到服务器120，并由语音获取单元3获取。
服务器120包括通信单元121、控制单元2、机器人信息数据库11、动作数据库12和存储单元13。
控制单元2通过使用从第二宠物型机器人320获取的语音信息和图像信息以及记录在机器人信息数据库11中的信息，执行与状态变化检测处理相关的处理，类似于第一实施方式。
控制单元2基于记录在机器人信息数据库11中的信息、状态变化检测处理的结果以及记录在动作数据库12中的信息，生成第一宠物型机器人110的动作控制信号。动作控制信号经由通信单元121发送到第一宠物型机器人110。
此外，控制单元2基于记录在机器人信息数据库11中的信息生成第二宠物型机器人320的相机216的控制信号。相机的控制信号经由通信单元121发送到第二宠物型机器人320。
如上所述，除了附接有附件的第一宠物型机器人之外的第二宠物型机器人可以获取图像，并且状态变化检测处理可以由不同于这些宠物型机器人的服务器来执行。
注意，代替第二宠物型机器人，图像信息和语音信息可以由不自主动作的AI装置、移动终端等获取。
如上所述，同样在第八至第十实施方式中，宠物型机器人通过在没有电连接或物理连接的情况下移动自身来检测状态变化。然后，由于宠物型机器人执行对应于状态变化的动作，所以可以执行与用户的自然交互。
<第十一实施方式>
在上述实施方式中，作为参考图像信息，已经描述了没有附接附件的图像信息的示例，该图像信息在装运时已经记录在机器人信息数据库中并且使用，但是本技术不限于此。
即，可以通过将在某个时间点获取的参考图像信息与在该某一时间点之后的另一时间点(当前时间点)获取的比较图像信息进行比较，来执行状态变化检测。
例如，假设红色手镯在某个时间点附接到右前腿，而蓝色手镯在该时间点之后的另一时间点附接到右前腿，则可以通过将在各个时间点获取的图像信息彼此进行比较，来检测已经去除红色手镯并且已经附接蓝色手镯的状态变化。
此外，尽管在上述实施方式中已经描述了触发监视单元5通过使用用户的话语来监视触发的发生或不发生的示例，但是触发监视单元5可以通过使用预定的经过时间来监视触发的发生或不发生。
作为通过使用预定的经过时间来监视触发的示例，触发被设置为每天下午14点发生，使得触发每24小时发生一次。以这种方式，状态变化检测处理可以由其自身周期性地执行。每24小时获取的图像信息按时间顺序记录在机器人信息数据库11中。
图20示出了通过在每天下午14：00使用安装在其上的具有相同姿势和光学参数的相机对宠物型机器人的右前腿直接成像而获得的图像的时间序列排列。图20示出了一个示例，其中，从4月1日至4月30日附接有细影线手镯63，并且在5月1日附接有粗影线手镯64。
通过将每天在同一时间拍摄的图像和从装运时起记录在机器人信息数据库11中的参考图像的掩模图像叠加，生成切出机器人区域和附件区域的图像90。
例如，在图20中，获取从4月1日至4月30日获取的图像89中切出机器人区域和附件区域的图像90a。例如，通过累积或整合在某一时间段中获取的图像，图像90a可以用作4月1日至4月30日期间的自正常状态信息。
然后，生成图像90b，其中，从5月1日获取的图像91中切出机器人区域和附件区域。通过将对应于比较图像信息的图像90b与对应于参考图像信息的图像90a进行比较，附件区域被检测为状态变化区域，参考图像信息是紧接在该图像90b之前获取的自正常状态信息。结果，作为状态变化，检测到已经去除在某个时间段附接的附件，并且已经附接另一附件。
因此，通过将在某一时间点获取的参考图像信息与在该时间点之后的另一时间点获取的比较图像信息进行比较，可以检测诸如附件去除和附件附接等状态变化。
此外，通过以规则的间隔获取图像、执行状态变化检测处理并累积这些信息，可以抑制错误检测的发生，例如，由于附件的附接老化而导致的状态变化的检测。
即，通过定期执行状态变化检测，由于可以通过将紧接在之前获取的图像信息(参考图像信息)与当前图像信息(比较图像信息)进行比较来检测状态变化，所以可以抑制错误检测的发生，例如，由于长时间老化导致的宠物型机器人自身的颜色变化或者由于附件的附接的划痕等导致的状态变化而导致的状态变化的检测。
<第十二实施方式>
自我检测处理不限于第二实施方式中的上述方法。
图21是描述使用部分点的自我检测处理的示图。如图21所示，当在自我检测处理中检测到相同类型的机器人28时，获取相同类型的机器人28的图像，并且从该图像估计相同类型的机器人28的部分点。部分点位于身体部位，例如，眼睛、鼻子和嘴、构成身体的多个单元的连接等。
例如，部分点73a位于右前腿部单元154中的手指部分和臂部之间的连接处。部分点73b位于右前腿部单元154和主体部分单元153之间的连接处。部分点73c位于头部单元152和主体部分单元153之间的连接处。部分点73d位于左前腿部分单元和主体部分单元153之间的连接处。
接下来，当宠物型机器人21采取特定姿势时，该部分点用于确定相同类型的机器人28是否采取与处于镜像对称位置关系的宠物型机器人21相同的姿势，以执行自我检测。
例如，假设宠物型机器人21采取从降低左前腿的姿势升高左前腿的位置。相同类型的机器人28的部分点73a的位置坐标改变，当这种变化与宠物型机器人21的左前腿单元中的手指部分和臂部之间的连接的位置变化相同时，假设相同类型的机器人28采取与处于镜像对称位置关系的宠物型机器人21相同的姿势，并且相同类型的机器人28被确定为在反射镜65中显示的宠物型机器人21(自身)的镜像。
注意，尽管此处以特定姿势为例进行了描述，但是可以使用时间序列姿势识别。
<其他实施方式>
本技术的实施方式不限于上述实施方式，并且在不脱离本技术的实质的情况下，可以进行各种修改。
例如，触发监视单元5可以使用宠物型机器人的阴影的图像信息来监视触发的发生或不发生。例如，通过将在某个时间点没有获取附件时用作宠物型机器人的阴影的图像信息的阴影的轮廓形状与在当前时间点获取的用作宠物型机器人的阴影的图像信息的阴影的轮廓形状进行比较，可以估计附件的发生或不发生。当假设可能附接附件时，确定已经发生触发，并且开始与状态变化检测相关的处理。
此外，在上述实施方式中已经描述了在状态变化检测处理时使用图像、分割、部分检测、特征量等的示例以及使用和不使用机器人信息数据库的情况，这些可以组合，用于执行状态变化检测处理。
此外，在上述实施方式中已经描述了使用图像信息执行状态变化检测的示例。除了这样的图像信息之外，还可以使用诸如环境声音、致动器操作声音和由宠物型机器人自身产生的声音等语音信息来执行状态变化检测处理。
例如，当环境声音(麦克风收集的语音信息)发生变化时，假设附件可能附接在麦克风所在的区域。因此，由语音获取单元在某一时间点获取的参考语音与由语音获取单元在另一时间点获取的比较语音进行比较，并且可以基于比较结果来检测宠物型机器人的状态变化。
此外，当致动器的操作声音发生变化时，假设可能在致动器所在的区域中附接附件。因此，将在某一时间点由语音获取单元获取的用作参考语音的致动器的参考操作声音与在另一时间点由语音获取单元获取的用作比较语音的致动器的比较操作声音进行比较，并且可以基于比较结果来检测宠物型机器人的状态变化。
此外，当由宠物型机器人自身产生的语音发生变化时，假设可能在宠物型机器人的扬声器所在的区域中附接附件，并且附件阻挡扬声器。因此，由语音获取单元在某一时间点获取的参考语音与由语音获取单元在另一时间点获取的比较语音进行比较，并且可以基于比较结果来检测宠物型机器人的状态变化。
通过考虑这种语音信息的假设结果，可以缩小状态已经改变的区域，并且可以有效地执行状态变化检测。这些语音信息也可以是启动状态变化检测处理的触发器。
此外，图案光可以用作第二实施方式中的自我检测处理的另一示例。通过将图案光施加到相同类型的检测机器人28，可以掌握要用图案光照射的对象的形状和位置。例如，当要用图案光照射的对象被识别为平面形状时，估计相同类型的检测机器人28是在反射镜中显示的宠物型机器人21的镜像。同时，如果要用图案化光照射的对象具有三维形状，则确定相同类型的检测机器人28是不同于宠物型机器人21的另一机器人。
此外，作为自我检测处理的另一示例，当使用深度传感器将相同类型的检测机器人28检测为平面形状时，还可以估计相同类型的检测机器人28是在反射镜中显示的宠物型机器人21的镜像。
此外，作为自我检测处理的另一示例，当例如通过改变宠物型机器人21的眼睛的颜色来改变形状，并且相同类型的机器人28改变形式，以类似地改变眼睛的颜色时，可以确定相同类型的检测机器人28是在反射镜中显示的宠物型机器人21的镜像。
此外，当宠物型机器人21在如图22所示的状态变化检测处理中移动时，可以提取除了以与机器人区域相同的方式移动的机器人区域之外的区域，作为状态变化区域(帽子62的区域)。
图22是示出了佩戴帽子62的宠物型机器人21向左移动之前和之后的状态的示图，并且示出了检测除了以与机器人区域相同的方式移动的机器人区域之外的区域(此处是帽子62的区域)的状态。在移动之前和之后，图像中移动的区域是被矩形71包围的区域。
此外，在上述实施方式中，四腿步行宠物型机器人被例示为自主动作机器人，但是本技术不限于此。可以使用任何自主动作机器人，只要包括两足动物、或两足动物或更多的多足步行、或其他移动方式，并且自主地与用户通信。
应当注意，本技术可以采用以下配置。
(1)一种信息处理设备，包括：
状态变化检测单元，其将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。
(2)根据上述(1)所述的信息处理设备，其中，
所述状态变化是连接到自主动作机器人的附件的存在或不存在。
(3)根据上述(1)或(2)所述的信息处理设备，还包括
动作控制信号生成单元，其针对状态变化检测单元的状态变化检测处理，生成自主动作机器人的动作控制信号，使得自主动作机器人的姿势与参考图像中的姿势相同。
(4)根据上述(1)至(3)中任一项所述的信息处理设备，其中，
所述比较图像信息是根据参考图像信息移动的自主动作机器人的图像信息。
(5)根据上述(1)至(4)中任一项所述的信息处理设备，其中，
所述状态变化检测单元根据比较图像信息和参考图像信息之间的差异来检测状态变化。
(6)根据上述(1)至(5)中任一项所述的信息处理设备，其中，
所述参考图像信息包括参考图像的特征量，
所述比较图像信息包括比较图像的特征量，并且
所述状态变化检测单元将比较图像的特征量与参考图像的特征量进行比较，以检测状态变化。
(7)根据上述(1)至(6)中任一项所述的信息处理设备，其中，
所述参考图像信息包括属于自主动作机器人的像素的分割信息，并且
所述状态变化检测单元通过使用分割信息从比较图像信息中去除属于自主动作机器人的区域来检测状态变化。
(8)根据上述(7)所述的信息处理设备，其中，
所述自主动作机器人包括多个部分，并且
所述分割信息包括可彼此区分的多个部分中的每一个的像素分割信息。
(9)根据上述(1)至(8)中任一项所述的信息处理设备，还包括
自我检测单元，其检测被检测为与自主动作机器人相同类型的机器人是否是自主动作机器人。
(10)根据上述(9)所述的信息处理设备，其中，
所述自我检测单元基于自主动作机器人执行的运动和被检测为相同类型的机器人执行的运动，检测被检测为相同类型的机器人是否是在使用光的镜面反射显示对象的构件上显示的自主动作机器人。
(11)根据上述(9)所述的信息处理设备，其中，
所述自我检测单元估计被检测为相同类型的机器人的部分点，并且基于该部分点的位置变化和自主动作机器人的运动，检测被检测为相同类型的机器人是否是在使用光的镜面反射显示对象的构件上显示的自主动作机器人。
(12)根据上述(1)至(11)中任一项所述的信息处理设备，其中，
所述自主动作机器人包括收集语音的语音获取单元，并且
所述状态变化检测单元将语音获取单元在某一时间点获取的参考语音与语音获取单元在另一时间点获取的比较语音进行比较，并基于比较结果检测自主动作机器人的状态变化。
(13)根据上述(1)至(12)中任一项所述的信息处理设备，其中，
所述自主动作机器人包括控制自主动作机器人的运动的致动器，并且
所述状态变化检测单元将某一时间点的致动器的参考操作声音与在另一时间点获取的致动器的比较操作声音进行比较，并基于比较结果检测自主动作机器人的状态变化。
(14)根据上述(1)至(13)中任一项所述的信息处理设备，还包括
触发监视单元，其监视用于确定状态变化检测单元是否要检测自主动作机器人的触发的发生或不发生。
(15)根据上述(14)所述的信息处理设备，其中，
所述触发监视单元将关于在某一时间点的自主动作机器人的阴影的图像信息与关于在另一时间点的自主动作机器人的阴影的图像信息进行比较，以监视触发的发生或不发生。
(16)根据上述(14)或(15)所述的信息处理设备，其中，
所述触发监视单元基于用户的话语来监视触发的发生或不发生。
(17)根据上述(14)至(16)中任一项所述的信息处理设备，其中，
所述触发监视单元基于预定的经过时间监视触发的发生或不发生。
(18)一种信息处理***，包括：
自主动作机器人；以及
信息处理设备，包括状态变化检测单元，其将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。
(19)一种程序，促使信息处理设备执行处理，包括以下步骤：
将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。
(20)一种信息处理方法，包括：
将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。
附图标记列表
1、21 宠物型机器人(自主动作机器人、信息处理设备)
2 触发监视装置
6 状态变化检测单元
7 动作控制信号生成单元
17 致动器
53 主体部分(部分)
61、63、64 手镯(附件)
62 帽子(附件)
65 反射镜(使用光的镜面反射显示对象的构件)
73a至73d 部分点
80 参考的掩模图像(参考图像信息)
81 参考的RGB图像(参考图像信息)
82 比较图像(比较图像信息)
87 反射每个部分的像素分割信息的参考图像(参考图像信息)
100、200、300 信息处理***
110 宠物型机器人、第一宠物型机器人(自动动作机器人)
120 服务器(信息处理设备)
220 第二宠物型机器人(信息处理设备)
521 面部(部分)
522 右耳部分(部分)
523 左耳部分(部分)

Claims (20)

1.一种信息处理设备，包括：
状态变化检测单元，将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于所述自主动作机器人的比较图像信息进行比较，并基于比较结果检测所述自主动作机器人的状态变化。
2.根据权利要求1所述的信息处理设备，其中，
所述状态变化是安装到所述自主动作机器人的附件的存在或不存在。
3.根据权利要求2所述的信息处理设备，还包括
动作控制信号生成单元，其针对所述状态变化检测单元的状态变化检测处理，生成所述自主动作机器人的动作控制信号，使得所述自主动作机器人的姿势与所述参考图像中的姿势相同。
4.根据权利要求3所述的信息处理设备，其中，
比较图像信息是根据参考图像信息移动的所述自主动作机器人的图像信息。
5.根据权利要求4所述的信息处理设备，其中，
所述状态变化检测单元根据所述比较图像信息和所述参考图像信息之间的差异来检测状态变化。
6.根据权利要求5所述的信息处理设备，其中，
所述参考图像信息包括参考图像的特征量，
所述比较图像信息包括比较图像的特征量，并且
所述状态变化检测单元将所述比较图像的特征量与所述参考图像的特征量进行比较，以检测状态变化。
7.根据权利要求5所述的信息处理设备，其中，
所述参考图像信息包括属于所述自主动作机器人的像素的分割信息，并且
所述状态变化检测单元通过使用分割信息从比较图像信息中去除属于所述自主动作机器人的区域来检测状态变化。
8.根据权利要求7所述的信息处理设备，其中，
所述自主动作机器人由多个部分构成，并且
所述分割信息包括可彼此区分的多个部分中的每一个的像素分割信息。
9.根据权利要求5所述的信息处理设备，还包括
自我检测单元，检测被检测为与自主动作机器人相同类型的机器人是否是自主动作机器人。
10.根据权利要求9所述的信息处理设备，其中，
所述自我检测单元基于由所述自主动作机器人执行的运动和由被检测为相同类型的机器人执行的运动，检测被检测为相同类型的机器人是否是在使用光的镜面反射显示对象的构件上显示的自主动作机器人。
11.根据权利要求9所述的信息处理设备，其中，
所述自我检测单元估计被检测为相同类型的机器人的部分点，并且基于该部分点的位置变化和所述自主动作机器人的运动，检测被检测为相同类型的机器人是否是在使用光的镜面反射显示对象的构件上显示的自主动作机器人。
12.根据权利要求9所述的信息处理设备，其中，
所述自主动作机器人包括收集语音的语音获取单元，并且
所述状态变化检测单元将在某一时间点由所述语音获取单元获取的参考语音与在另一时间点由所述语音获取单元获取的比较语音进行比较，并基于比较结果检测所述自主动作机器人的状态变化。
13.根据权利要求12所述的信息处理设备，其中，
所述自主动作机器人包括控制自主动作机器人的运动的致动器，并且
所述状态变化检测单元将某一时间点的致动器的参考操作声音与在另一时间点获取的致动器的比较操作声音进行比较，并基于比较结果检测所述自主动作机器人的状态变化。
14.根据权利要求12所述的信息处理设备，还包括
触发监视单元，其监视触发的发生或不发生，所述触发用于确定所述状态变化检测单元是否要检测自主动作机器人。
15.根据权利要求14所述的信息处理设备，其中，
所述触发监视单元将关于在某一时间点的所述自主动作机器人的阴影的图像信息与关于在另一时间点的所述自主动作机器人的阴影的图像信息进行比较，以监视触发的发生或不发生。
16.根据权利要求14所述的信息处理设备，其中，
所述触发监视单元基于用户的话语来监视所述触发的发生或不发生。
17.根据权利要求14所述的信息处理设备，其中，
所述触发监视单元基于预定的经过时间来监视触发的发生或不发生。
18.一种信息处理***，包括：
自主动作机器人；以及
信息处理设备，包括状态变化检测单元，其将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。
19.一种程序，促使信息处理设备执行包括以下步骤的处理：
将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。
20.一种信息处理方法，包括：
将在某一时间点获取的关于自主动作机器人的参考图像信息与在另一时间点获取的关于自主动作机器人的比较图像信息进行比较，并基于比较结果检测自主动作机器人的状态变化。
CN201980036083.0A 2018-06-05 2019-04-12 信息处理设备、信息处理***、程序和信息处理方法 Pending CN112204611A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018107824 2018-06-05
JP2018-107824 2018-06-05
PCT/JP2019/015969 WO2019235067A1 (ja) 2018-06-05 2019-04-12 情報処理装置、情報処理システム、プログラム、及び情報処理方法

Publications (1)

Publication Number Publication Date
CN112204611A true CN112204611A (zh) 2021-01-08

Family

ID=68770183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980036083.0A Pending CN112204611A (zh) 2018-06-05 2019-04-12 信息处理设备、信息处理***、程序和信息处理方法

Country Status (4)

Country Link
US (1) US20210216808A1 (zh)
JP (1) JP7200991B2 (zh)
CN (1) CN112204611A (zh)
WO (1) WO2019235067A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102203438B1 (ko) * 2018-12-26 2021-01-14 엘지전자 주식회사 이동 로봇 및 이동 로봇의 제어방법
WO2021149516A1 (ja) * 2020-01-24 2021-07-29 ソニーグループ株式会社 自律移動体、情報処理方法、プログラム、及び、情報処理装置
CN112001248B (zh) * 2020-07-20 2024-03-01 北京百度网讯科技有限公司 主动交互的方法、装置、电子设备和可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003062777A (ja) * 2001-08-22 2003-03-05 Honda Motor Co Ltd 自律行動ロボット
JP2003080484A (ja) * 2001-09-07 2003-03-18 Tomy Co Ltd 動作反応玩具
JP2003205482A (ja) * 2002-01-08 2003-07-22 Fuji Photo Film Co Ltd ペット型ロボット
WO2012168001A1 (en) * 2011-06-09 2012-12-13 Thomson Licensing Method and device for detecting an object in an image
CN103003845A (zh) * 2011-03-02 2013-03-27 松下电器产业株式会社 姿势估计装置、姿势估计***、及姿势估计方法
KR20130073428A (ko) * 2011-12-23 2013-07-03 주식회사 에스케이이엠 미세공구 파손 검지 시스템
US20160337053A1 (en) * 2014-12-05 2016-11-17 W2Bi, Inc. Smart box for automatic feature testing of smart phones and other devices
CN107004298A (zh) * 2016-04-25 2017-08-01 深圳前海达闼云端智能科技有限公司 一种机器人三维模型的建立方法、装置及电子设备
CN107330919A (zh) * 2017-06-27 2017-11-07 中国科学院成都生物研究所 花蕊运动轨迹的获取方法
CN107866812A (zh) * 2016-09-23 2018-04-03 卡西欧计算机株式会社 机器人、状态判定***、状态判定方法以及记录介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5132832B1 (ja) * 2011-07-11 2013-01-30 キヤノン株式会社 計測装置および情報処理装置
US10269257B1 (en) * 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
JP6402318B2 (ja) * 2016-07-26 2018-10-10 Ｇｒｏｏｖｅ Ｘ株式会社 多関節ロボット
CN106328132A (zh) * 2016-08-15 2017-01-11 歌尔股份有限公司 一种智能设备的语音交互控制方法和装置
US10596700B2 (en) * 2016-09-16 2020-03-24 Carbon Robotics, Inc. System and calibration, registration, and training methods
JP6677198B2 (ja) * 2017-03-16 2020-04-08 トヨタ自動車株式会社 ロボットの故障診断支援システム及び故障診断支援方法
JP2018169660A (ja) * 2017-03-29 2018-11-01 セイコーエプソン株式会社 オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム
JP6453940B2 (ja) * 2017-06-01 2019-01-16 ファナック株式会社 異常検出装置
JP6560443B2 (ja) * 2017-06-21 2019-08-14 株式会社齋藤創造研究所 マニピュレーターおよびロボット
US11080886B2 (en) * 2017-11-15 2021-08-03 Qualcomm Incorporated Learning disentangled invariant representations for one shot instance recognition
JP6747423B2 (ja) * 2017-12-22 2020-08-26 カシオ計算機株式会社 ロボット、ロボット制御システム、ロボットの制御方法及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003062777A (ja) * 2001-08-22 2003-03-05 Honda Motor Co Ltd 自律行動ロボット
JP2003080484A (ja) * 2001-09-07 2003-03-18 Tomy Co Ltd 動作反応玩具
JP2003205482A (ja) * 2002-01-08 2003-07-22 Fuji Photo Film Co Ltd ペット型ロボット
CN103003845A (zh) * 2011-03-02 2013-03-27 松下电器产业株式会社 姿势估计装置、姿势估计***、及姿势估计方法
WO2012168001A1 (en) * 2011-06-09 2012-12-13 Thomson Licensing Method and device for detecting an object in an image
KR20130073428A (ko) * 2011-12-23 2013-07-03 주식회사 에스케이이엠 미세공구 파손 검지 시스템
US20160337053A1 (en) * 2014-12-05 2016-11-17 W2Bi, Inc. Smart box for automatic feature testing of smart phones and other devices
CN107004298A (zh) * 2016-04-25 2017-08-01 深圳前海达闼云端智能科技有限公司 一种机器人三维模型的建立方法、装置及电子设备
CN107866812A (zh) * 2016-09-23 2018-04-03 卡西欧计算机株式会社 机器人、状态判定***、状态判定方法以及记录介质
CN107330919A (zh) * 2017-06-27 2017-11-07 中国科学院成都生物研究所 花蕊运动轨迹的获取方法

Also Published As

Publication number Publication date
JP7200991B2 (ja) 2023-01-10
US20210216808A1 (en) 2021-07-15
JPWO2019235067A1 (ja) 2021-06-17
WO2019235067A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
JP6572943B2 (ja) ロボット、ロボットの制御方法及びプログラム
CN112204611A (zh) 信息处理设备、信息处理***、程序和信息处理方法
WO2020031767A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11514269B2 (en) Identification device, robot, identification method, and storage medium
JPWO2019087484A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019005842A (ja) ロボット、ロボットの制御方法及びプログラム
CN109955264B (zh) 机器人、机器人控制***、机器人的控制方法以及记录介质
JP7375748B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2024009862A (ja) 情報処理装置、情報処理方法、およびプログラム
US10664334B2 (en) Robot that diagnoses failure, failure diagnosis system, failure diagnosis method, and recording medium
JP7238796B2 (ja) 動物型の自律移動体、動物型の自律移動体の動作方法、およびプログラム
CN110625608A (zh) 机器人、机器人的控制方法以及存储介质
JP4281286B2 (ja) ロボット装置及びその制御方法
US11921509B2 (en) Information processing apparatus, information processing method, and program
JP4379052B2 (ja) 動体検出装置、動体検出方法、及びロボット装置
US20230367312A1 (en) Information processing apparatus, information processing method, and program
JPWO2019087490A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240066420A1 (en) Autonomous moving object and information processing method
KR102039171B1 (ko) 인공신경망을 이용한 거울형 가상 피팅 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
Vega et al. Attentive visual memory for robot navigation
King et al. A flexible control architecture for extended autonomy of robotic assistants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination