CN109074329A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN109074329A
CN109074329A CN201780027842.8A CN201780027842A CN109074329A CN 109074329 A CN109074329 A CN 109074329A CN 201780027842 A CN201780027842 A CN 201780027842A CN 109074329 A CN109074329 A CN 109074329A
Authority
CN
China
Prior art keywords
user
information processing
processing equipment
region
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780027842.8A
Other languages
English (en)
Inventor
大村淳己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109074329A publication Critical patent/CN109074329A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

[问题]使得能够产生更适合于用户的目的的输出。[解决方案]提供了一种信息处理设备,配备有:存储单元,用于存储其中区域、动作和设备输出的控制内容相关联的控制信息;以处理单元,其用于基于用户所位于的区域、用户的动作和控制信息来产生输出。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开内容涉及信息处理设备、信息处理方法和程序。
背景技术
目前,积极研究和开发了根据用户或用户周围的环境执行输出的信息处理设备。下面的专利文献1公开了可以在根据用户的语音执行输出的语音对话***中容易地执行设计的技术。
引用列表
专利文献
专利文献1:JP H10-111698A
发明内容
技术问题
在此,如果根据用户的动作执行输出,则存在适合于用户的输出将不被执行的可能性。例如,在用户正在桌子上阅读教科书的情况下以及在用户正在起居室中阅读杂志的情况下,在两种情况下,信息处理设备可以识别出相同的“阅读”动作被执行并且可以执行“关闭电视机的电源”的相同输出。在此,在正在起居室中阅读杂志的用户还想要看电视的情况下,“关闭电视机的电源”的输出是不合适的。
因此,鉴于前述内容给出了本公开内容,并且本公开内容提出了可以执行更适合于用户的输出的新的和改进的信息处理设备、新的和改进的信息处理方法、以及新的和改进的程序。
问题的解决方案
根据本公开内容,提供了一种信息处理设备,包括:存储部,被配置成存储其中区域、动作和设备输出的控制内容相关联的控制信息;以及处理部,被配置成基于用户所位于的区域、用户的动作和控制信息来执行输出。
另外,根据本公开内容,提供了一种用于使计算机执行以下的程序:存储其中区域、动作和设备输出的控制内容相关联的控制信息的功能;以及基于用户所位于的区域、用户的动作和控制信息来执行输出的功能。
另外,根据本公开内容,提供了一种由计算机执行的处理方法,包括:存储其中区域、动作和设备输出的控制内容相关联的控制信息;以及基于用户所位于的区域、用户的动作和控制信息来执行输出。
发明的有益效果
如上所述,根据本公开内容,可以执行更适合于用户的输出。
注意,上述效果不一定是限制性的。连同或替代以上效果,可以实现本说明书中描述的效果或者可以从本说明书中掌握的其他效果中的任何一种。
附图说明
[图1]图1是示出根据本公开内容的实施方式的信息***的概述的图。
[图2]图2是示出控制信息的示例的图。
[图3]图3是示出用于确定用户所位于的区域的区域的概述的图。
[图4]图4是示出根据本公开内容的实施方式的信息处理设备的配置的图。
[图5]图5是示出根据本公开内容的实施方式的管理服务器的配置的图。
[图6]图6是示出根据本公开内容的实施方式的管理设备的配置的图。
[图7]图7是示出控制信息的变化的示例的图。
[图8]图8是示出控制信息的变化的示例的图。
[图9]图9是示出模式设置的示例的图。
[图10]图10是示出控制信息的变化的示例的图。
[图11]图11是示出基于控制信息的信息处理设备的操作的流程图。
[图12A]图12A是示出使用伴随应用程序的区域设置的示例的图。
[图12B]图12B是示出使用伴随应用程序的区域设置的示例的图。
[图12C]图12C是示出使用伴随应用程序的区域设置的示例的图。
[图13]图13是示出使用伴随应用程序的历史显示的示例的图。
[图14]图14是示出历史使用的示例的图。
[图15]图15是示出根据本公开内容的实施方式的信息处理设备的硬件配置的图。
具体实施方式
在下文中,将参照附图详细描述本公开内容的一个或多个优选实施方式。注意,在本说明书和附图中,具有基本相同的功能和结构的结构元件用相同的附图标记表示,并且省略对这些结构元件的重复说明。
注意,按照以下顺序给出描述。
1.介绍
2.本公开内容的实施方式
2-1.信息处理***概述
2-2.每个设备的配置
3.控制信息的详情
3-1.设置控制信息的内容
3-2.用于设置控制信息的方法
3-3.基于控制信息的信息处理设备的操作
3-4.区域的设置
4.历史的使用
5.信息处理设备的硬件配置
<1.介绍>
首先,目前,向人和设备自动执行输出的信息处理设备正在与图像分析技术、人工智能(AI)技术或传感装置的发展相关联地发展。例如,对于作为借助于传感器感测用户或用户周围的情况并且执行输出的软件应用程序的代理,基于程序和预先登记的设置执行输出的代理按照惯例地处于中心处。另一方面,目前利用了人工智能技术,并且正在积极研究和开发一种代理,该代理执行机器学习并且自主地改变程序或预先登记的设置,并且由此像人一样操作或合理地操作。
作为示例,研究和开发了以下代理。
-购买代理:基于用户的购买历史来从因特网等搜索用户可能喜欢的商品并且自发地将结果呈现给用户的代理;
-个人代理:专门针对作为个体的用户操作的代理;从新闻、电子邮件等中搜索与用户有关的信息并且自发地将结果呈现给用户的代理;
-监视代理:监视装置、库存等的变化并且报告装置故障、库存耗尽等的代理;
-数据挖掘代理:分析大量数据并且输出有用法律和信息的代理。
被描述为本公开内容的实施方式的信息处理设备是用作代理的设备。
<2.本公开内容的实施方式>
[2-1.信息处理***概述]
接下来,参照图1描述根据本公开内容的实施方式的信息处理***的概述。图1是示出根据本公开内容的实施方式的信息***的概述的图。信息处理***包括信息处理设备100、管理服务器200、管理设备300和由信息处理设备100操作的外部装置。此外,管理服务器200存在于云环境中;信息处理设备100和管理服务器200通过网络410连接,并且管理服务器200和管理设备300通过网络420连接。外部装置是任意的,只要它是提供有由信息处理设备100操作的接口的装置即可。具体地,外部装置可以是电视机、扬声器、照明装置等,并且外部装置可以是与信息处理设备100集成的装置。
信息处理设备100是根据用户或用户周围的环境的检测结果执行输出的设备。具体地,信息处理设备100检测用户或用户周围的情况,并且基于包括输出条件和输出内容的控制信息来执行输出。输出不仅包括信息处理设备100的处理,而且还包括信息处理设备100对外部装置的关于处理的信息的传输,该传输是为了使外部装置执行处理。此外,信息处理设备100经由网络410连接至管理服务器200,并且由此向管理服务器200发送控制信息、历史、用户信息等。所发送的各种信息用于由管理服务器200对信息处理设备100的管理和通过机器学习对分析算法的改进。此外,信息处理设备100向管理服务器200发送关于用户的通知。发送的通知由管理服务器200发送到管理设备300,并且由此提供给用户。
信息处理设备100具有各种检测功能,以便检测用户或用户周围的情况。例如,信息处理设备100具有诸如麦克风的声音拾取功能、诸如摄像装置的成像功能等。此外,具有这些检测功能的外部装置可以向信息处理设备100提供检测到的信息,并且信息处理设备100可以基于所提供的信息执行输出。
尽管图1中所示的信息处理设备100的形状是圆柱形,但是信息处理设备100的形状是任意的。此外,信息处理设备100的安装位置是任意的。例如,信息处理设备100可以安装在房屋、办公室、商业设施、公共设施、交通设施等中。现在将信息处理设备100安装在房屋中的示例描述为本公开内容的实施方式。此外,信息处理设备100可以是固定设备,或者可以是诸如机器人的自推进设备。
在此,参考图2描述信息处理设备100使用的控制信息的概述。图2是示出控制信息的示例的图。如图2所示,控制信息是链接了“区域”、“动作”和“设备输出的控制内容”的信息。区域是关于用户的位置的信息,并且动作是关于用户的动作的信息。如果信息处理设备100检测到用户位于与控制信息对应的区域中并且正在执行与控制信息对应的动作的事实,则信息处理设备100执行链接到该区域和该动作的输出。例如,在图2的控制信息10的情况下,如果信息处理设备100检测到用户正在沙发上看电视的事实,则信息处理设备100关闭向用户通知的功能。稍后描述控制信息的细节。
接下来,参照图3描述用户所位于的区域的概述。图3是示出用于确定用户所位于的区域的区域的概述的图。在本公开内容的实施方式中,假设信息处理设备100安装在房屋的房间中。然后,本公开内容的实施方式中的区域可以是安装了信息处理设备100的场所中的区域(在房屋的场所中)。
在图3所示的示例中,房间中的多个区域包括固定设备(厨房31)、家具(沙发32和餐桌33)、家用电器(电视机34、照明装置35和扬声器36)以及分区(放松区37和工作区38)。分区是用户限定的房间的一种组成部分。图3中的代理(AGENT)30代表信息处理设备100。
在此,在用户在厨房31中的情况下,用户所位于的区域是“厨房”;在用户坐在沙发32上的情况下,用户所位于的区域是“沙发”;在用户在工作区38中的情况下,用户所位于的区域是“工作区”。此外,在用户处于电视机34的视听区域中的情况下,用户所位于的区域是“电视机的视听区域”。因此,可以根据用户使用固定设备、家具和家用电器方式为它们设置规定区域。具体地,规定区域是利用照明装置35照射的区域、扬声器36所指向的区域等。
管理服务器200是管理信息处理设备100的设备。具体地,管理服务器200经由网络410连接至信息处理设备100,并且由此管理从信息处理设备100发送的控制信息、历史、用户信息等。由管理服务器200管理的信息处理设备100的数目是任意的。此外,管理服务器200可以管理由不同所有者拥有的信息处理设备100。此外,管理服务器200基于这些信息执行机器学习,并且由此执行控制信息的改变和分析算法的改进。
管理服务器200向管理设备300提供各种信息。具体地,管理服务器200经由网络420连接至管理设备300,并且由此向管理设备300提供控制信息、历史、用户信息或通知。由此,用户可以使用管理设备300来管理信息处理设备100或者获取通知。
安装了管理服务器200的云环境可以是公共云,或者可以是私有云。此外,管理服务器200可以不被安装在云环境中(即可以不被虚拟化)。
管理设备300是用户管理信息处理设备100的设备。具体地,管理设备300经由网络420连接至管理服务器200,并且由此管理控制信息、历史、用户信息等。例如,使用管理设备300,用户可以改变控制信息、输入历史的校正、修改历史以及编辑用户信息。这些信息被提供给管理服务器200和信息处理设备100。此外,管理设备300可以经由管理服务器200接收通知。
虽然未示出,但是管理设备300可以通过网络连接至信息处理设备100。由此,管理设备300可以在不经过管理服务器200的情况下执行与信息处理设备100的通信,并且因此可以减少网络故障、延迟等的影响。
尽管示出为图1中的管理设备300的设备是个人计算机(PC)、平板装置和智能电话,但是管理设备300是任意设备。例如,管理设备300可以是配备有通信功能的手表、个人数字助理(PDA)、配备有通信功能的便携式游戏机、配备有通信功能的便携式视频播放器、配备有通信功能的音频播放器等。
网络410和420是用于从信息处理设备100、管理服务器200和管理设备300发送的信息的有线或无线发送路径。例如,网络410和420可以包括公共网络,诸如因特网、电话网络和卫星通信网络、包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。此外,网络410和420可以包括诸如因特网协议-虚拟专用网(IP-VPN)的租用线路网络和诸如蓝牙(注册商标)的短距离无线通信网络。
[2-2.每个设备的配置]
在上文中,描述了信息处理***的概述。接下来,参照图4描述信息处理***中包括的每个设备的配置。
首先,描述了信息处理设备100的配置。信息处理设备100包括:声音拾取部101、成像部102、分析部103、处理部106、声音发出部107、显示部108、发光部109、通信部110、管理部111、输入部116和存储部117。分析部103包括语音分析部104和成像分析部105。管理部111包括控制信息管理部112、用户管理部113、区域管理部114和历史管理部115。
声音拾取部101拾取信息处理设备100周围的声音,并且将声音提供给语音分析部104作为音频信号。
成像部102对信息处理设备100的周围环境进行成像,并且将生成的捕获图像提供给成像分析部105。
语音分析部104根据从声音拾取部101提供的音频信号来识别用户的语音,并且执行语音到字符串的转换以获取话语文本。然后,语音分析部104对话语文本执行自然语言处理等,并且由此执行语义分解。语义分解的结果被提供给处理部106。此外,语音分析部104可以基于识别的语音的特征来区分发出语音的用户,并且可以估计语音的来源、即说话者的方向。
成像分析部105分析从成像部102提供的捕获图像,并且由此确定用户、区域(固定设备、家具、家用电器或分区),用户所位于的区域以及用户的动作。用于确定这些的方法是任意的,并且下面描述示例。
对于用于确定用户的方法,成像分析部105可以通过所捕获图像和预先登记的用户的面部图像之间的模式匹配来计算相似度,并且可以基于相似度来确定用户。在这种情况下,成像分析部105可以在改变登记的面部图像相对于所捕获图像的相对位置的同时计算所捕获图像和登记的面部图像之间的归一化互相关值,并且可以取归一化互相关值的最大值作为所捕获图像和登记的面部图像之间的相似度。
对于用于确定用户所位于的区域的方法,成像分析部105可以以与用于确定用户的方法类似的方式确定区域。具体地,成像分析部105可以通过所捕获的图像和预先登记的对象图像之间的模式匹配来计算相似度,并且可以基于相似度来确定对象。在这种情况下,成像分析部105可以在改变登记对象图像相对于所捕获图像的相对位置的同时计算所捕获图像和登记的对象图像之间的归一化互相关值,并且可以取归一化互相关值的最大值作为所捕获图像和登记的对象图像之间的相似度。
然后,成像分析部105基于用户和在上面确定的对象之间的相对位置关系来确定用户所位于的区域。例如,在成像分析部105将对象确定为沙发并且用户在沙发上的情况下,成像分析部105确定用户所位于的区域是沙发。
此外,在成像分析部105确定对象是需要单独计算其区域的对象例如电视机的情况下,成像分析部105执行该区域的计算。例如,成像分析部105根据电视机的取向、电视机的安装位置等计算电视机的视听区域。在那之后,在所确定的用户被包括在计算的电视机的视听区域中的情况下,成像分析部105确定用户所位于的区域是电视机的视听区域。
对于用于确定用户的动作的方法,成像分析部105可以以与用于确定用户的方法类似的方法来确定用户的动作。具体地,成像分析部105可以通过所捕获图像与预先登记的动作图像之间的模式匹配来计算相似度,并且可以基于相似度来确定对象。在此,动作图像是指其中正在执行动作的用户在时间序列的基础上成像的多个捕获图像。在这种情况下,成像分析部105执行所捕获图像中的用户中包括的部分的时间序列变化与动作图像中的用户中包括的部分的时间序列变化之间的模式匹配。然后,成像分析部105将所确定的用户的动作的信息提供给处理部106。
处理部106基于来自分析部103的输入和控制信息来执行输出。具体地,在控制信息中存在与从成像分析部105提供的用户所位于的区域和用户的动作对应的输出的情况下,处理部106控制每个配置,以执行相关的输出。处理部106可以通过控制声音发出部107、显示部108和发光部109来执行输出,或者可以通过经由通信部110向外部装置提供关于输出的信息来由外部装置执行输出。
声音发出部107通过由处理部106控制来将音频信号转换为语音并且输出语音。
显示部108通过由处理部106控制来显示各种图像。例如,显示部108可以在图形用户界面(GUI)上显示用于用户操作信息处理设备100的操作图像,并且可以显示图像、视频图像等。显示方法可以是在显示器上显示的方法,或者可以是通过投影在墙壁等上显示的方法。
发光部109包括发光元件,并且可以通过由处理部106控制来执行完全照亮、部分照亮、闪烁、照亮位置的改变等。例如,发光部109可以通过由处理部106控制通过部分地照亮用户的方向使得其视线看起来是指向用户的方向,该方向由分析部103识别。
通信部110执行与管理服务器200和外部装置的通信。例如,在用户已经执行了控制信息、历史或用户信息的编辑的情况下,通信部110向管理服务器200发送编辑内容。此外,通信部110通过在任意定时或固定定时与管理服务器200进行各种信息的发送和接收来获得与管理服务器200的同步。
此外,通信部110向外部装置发送关于从处理部106提供的输出的信息,并且由此使外部装置能够执行输出。此外,在通信部110已经接收到由外部装置检测到的信息的情况下,通信部110向处理部106提供信息。由此,信息处理设备100可以基于外部装置中包括的检测功能来执行输出。
控制信息管理部112管理控制信息。具体地,在用户经由输入部116执行控制信息的编辑(新添加、改变或删除)的情况下,控制信息管理部112还用作基于编辑内容执行控制信息的编辑的设置部。此外,在控制信息管理部112经由通信部110执行与管理服务器200的同步的情况下,控制信息管理部112执行控制信息的同步。然后,控制信息管理部112使经过编辑或同步的控制信息被存储在存储部117中。
用户管理部113管理使用信息处理***的用户的信息。例如,在用户经由输入部116执行用户信息的编辑的情况下,用户管理部113基于编辑内容来执行用户信息的编辑。此外,在用户管理部113经由通信部110执行与管理服务器200的同步的情况下,用户管理部113执行用户信息的同步。然后,用户管理部113使经过编辑或同步的用户信息被存储在存储部117中。
区域管理部114管理区域。例如,在用户经由输入部116执行区域编辑的情况下,区域管理部114基于编辑内容执行区域的编辑。此外,在区域管理部114经由通信部110执行与管理服务器200的同步的情况下,区域管理部114执行区域的同步。然后,区域管理部114使经过编辑或同步的区域被存储在存储部117中。此外,在基于成像部102的成像结果执行区域编辑的情况下,区域管理部114接收关于所捕获图像的分析结果的信息,并且编辑区域。然后,区域管理部114使编辑之后的区域被存储在存储部117中。
历史管理部115管理关于处理部106的输出的历史。例如,历史管理部115使执行输出时的日期和时间的信息、用户所位于的区域、用户的动作、输出的内容等作为历史被存储在存储部117中。
此外,历史管理部115还用作执行历史的编辑的历史编辑部。具体地,在用户经由输入部116输入了对历史的校正或对历史的修改的情况下,历史管理部115基于输入来编辑历史。此外,在历史管理部115经由通信部110执行与管理服务器200的同步的情况下,历史管理部115执行历史的同步。然后,历史管理部115使经过编辑或同步的历史被存储在存储部117中。
输入部116接受来自用户的各种输入。例如,输入部116接受由用户输入的控制信息、区域、历史、用户信息等的编辑内容,并且向管理部111提供所述信息。此外,输入部116还用作获取用户的用于设置控制信息的输入的获取部。
存储部117存储上述各种信息。具体地,存储部117存储控制信息、用户信息、区域、历史等。
接下来,描述管理服务器200的配置。管理服务器200包括通信部201、管理部202、处理部208和存储部209。管理部202包括控制信息管理部203、用户管理部204、区域管理部205、历史管理部206和分析算法管理部207。
通信部201执行与信息处理设备100和管理设备300的通信。例如,在由信息处理设备100或管理设备300编辑控制信息、区域、历史、用户信息等的情况下,通信部201接收编辑内容的信息,并且将该信息提供给管理部202。由此,管理服务器200的各种信息被编辑。
此外,通信部201以任意定时或固定定时与信息处理设备100和管理设备300进行控制信息、区域、历史和用户信息的发送和接收,并且由此获得与信息处理设备100和管理设备300的同步。
此外,通信部201基于从处理部208提供的关于通知的信息向管理设备300发送通知。
控制信息管理部203、用户管理部204、区域管理部205和历史管理部206分别管理控制信息、用户信息、区域和历史。在通信部201已经接收到每个信息的编辑内容的信息的情况下,通信部201基于编辑内容来执行对每个信息的编辑,并且使编辑之后的信息被存储在存储部209中。
分析算法管理部207管理用于分析的算法。具体地,分析算法管理部207管理由信息处理设备100的语音分析部104使用的用于语音分析的算法和由成像分析部105使用的用于图像分析的算法。在通信部201已经从信息处理设备100或管理设备300接收到诸如历史的校正或历史的修改的反馈的情况下,分析算法管理部207基于反馈的内容改进用于分析的算法,并且将改进之后的算法提供给信息处理设备100。
处理部208执行管理服务器200中的每个处理。例如,在通信部201已经从信息处理设备100接收到用户的通知的情况下,处理部208使通知被存储在存储部209中,并且使通知经由通信部201被发送到管理设备300。这些处理是示例,并且处理部208可以执行任意处理。
存储部209存储上述各种信息。具体地,存储部209存储控制信息、用户信息、区域、历史、分析算法、通知等。
接下来,描述管理设备300。管理设备300包括加速度检测部301、位置检测部302、分析部303、处理部304、通信部305、显示部306、输入部307和存储部308。
加速度检测部301检测管理设备300的加速度,并且将加速度的信息提供给分析部303。
位置检测部302检测管理设备300的位置。具体地,加速度检测部301接收全球定位***(GPS)信号,并且将GPS信号提供给分析部303。
分析部303分析从加速度检测部301和位置检测部302提供的各种信息。具体地,分析部303分析从加速度检测部301提供的关于管理设备300的加速度的信息并且确定用户的动作。例如,分析部303确定用户处于停止、正在行走、正在跑步或在各种运输设施(小汽车、火车、公共汽车、飞机等)上。此外,分析部303分析从位置检测部302提供的GPS信号,并且确定管理设备300的绝对位置和绝对方位。然后,分析部303将关于这些的分析结果的信息提供给处理部304。
处理部304执行管理设备300中的每个处理。例如,处理部304控制通信部305,并且由此使得关于从分析部303提供的分析结果的信息被发送到管理服务器200。由此,信息处理设备100可以基于从分析部303提供的分析结果来执行输出。
此外,处理部304向通信部305提供用户从输入部307输入的对控制信息、用户信息、区域和历史的编辑内容,并且使内容被发送到管理服务器200,以及使得内容被存储在存储部308中。这些处理是示例,并且处理部304可以执行任意处理。
此外,处理部304控制显示部306,并且使基于各种信息确定的显示内容被显示在显示部306上。
通信部305执行与管理服务器200的通信。例如,在用户已经执行了对控制信息、历史和用户信息的编辑的情况下,通信部305将编辑内容发送到管理服务器200。此外,通信部305以任意定时或固定定时与管理服务器200进行控制信息、历史和用户信息的发送和接收,并且由此获得与管理服务器200的同步。
显示部306通过由处理部304控制来在GUI上显示用于用户操作管理设备300的操作图像。
输入部307接受来自用户的各种输入。例如,用户将对控制信息、用户信息、区域和历史的编辑内容输入到输入部307,并且输入部307将编辑内容提供给处理部304。
存储部308存储上述各种信息。具体地,存储部308存储控制信息、用户信息、区域、历史等。
<3.控制信息的详情>
[3-1.设置控制信息的内容]
在上文中,描述了每个设备的配置。接下来,使用图2和图7至图10来描述设置控制信息的内容。
如上所述,控制信息是链接了区域、动作和输出的信息。然后,如果信息处理设备100检测到用户位于与控制信息对应的区域中并且正在执行与控制信息对应的动作的事实,则信息处理设备100执行链接到该区域和该动作的输出。
在其中控制信息中设置了区域和动作的条件的本公开内容的实施方式中,与控制信息中仅设置了动作条件的情况相比,可以更精细地设置执行输出的条件。因此,用户可以使信息处理设备100执行更适合于用户的输出。例如,信息处理设备100的输出可以在用户正在桌子上阅读教科书的情况和用户正在起居室中阅读杂志的情况之间改变。
此外,在控制信息中,可以像图2的控制信息10中那样设置区域、动作和输出的全部,或者可以像在控制信息11中那样仅设置区域和动作。在仅设置区域和动作的情况下,即使信息处理设备100检测到用户位于与控制信息对应的区域中并且正在执行与控制信息对应的动作的事实,信息处理设备100也不执行输出。
此外,对于控制信息中的区域,可以像控制信息12中那样设置“所有区域”。在这种情况下,如果检测到与控制信息对应的用户的动作,则信息处理设备100执行与控制信息对应的输出,无论用户所位于的区域如何。
此外,对于控制信息中的动作,可以像在控制信息13中那样设置“所有动作”。在这种情况下,如果检测到用户位于与控制信息对应的区域中的事实,则信息处理设备100执行与控制信息对应的输出,无论用户的动作如何。
此外,用户可以编辑控制信息。具体地,用户可以通过从信息处理设备100的输入部116或管理设备300的输入部307输入编辑内容,来编辑控制信息。注意,可以由用户新添加所有控制信息,或者可以由用户编辑预先设置的控制信息。
在用户可以改变控制信息的本公开内容的实施方式中,例如,与仅通过机器学习改变控制信息的情况相比,可以使得执行输出的条件与用户的期望更匹配。因此,用户可以使信息处理设备100执行更适合用户的输出。
此外,用户可以像在控制信息14中那样定制区域。例如,用户可以新添加新安装的家具和家用电器作为控制信息中的区域。此外,用户可以新添加房间的指定区域作为分区。此外,用户可以在重建等定时处新添加固定设备。
此外,用户可以像在控制信息14中那样定制动作。例如,对于“话语”的动作,用户可以指定要说出的内容(例如:“疲惫”的话语等)。
此外,用户可以像在控制信息14中那样定制输出。例如,对于“背景音乐(BGM)播放”的输出,用户可以指定BGM的流派、艺术家、播放时间、播放定时、音量等。
通过定制区域、动作和控制信息的输出,用户可以设置期望的控制信息。因此,用户可以使信息处理设备100执行更适合用户的输出。
接下来,参照图7和图8描述控制信息的变化。图7和图8是示出控制信息的变化的示例的图。
首先,图7中所示的控制信息是如下控制信息:除了区域、动作和输出之外还添加了“用户”的控制信息。在这种情况下,信息处理设备100在满足与控制信息对应的区域、动作和用户的条件的情况下执行输出。
用于指定控制信息的用户的方法可以是各种各样的。例如,与图7的控制信息15中一样,可以将特定个体(妈妈、爸爸、全名等)设置为控制信息的用户。由此,信息处理设备100可以用于特定个体。
此外,与控制信息16中一样,可以将组设置为控制信息的用户。在这种情况下,用户预先创建组,并且将一个或多个用户登记为组成员。由此,可以方便对控制信息的管理。例如,在组成员中发生变化的情况下,不需要改变控制信息(改变组成员就足够了)。
此外,与控制信息17中一样,可以将组(或特定个体)和未知人设置为控制信息的用户。在这种情况下,信息处理设备100也可以对未登记在信息处理设备100中的用户执行适当的输出。例如,在有访客时,可以防止家庭的隐私信息(在企业中,仅用于公司内部的信息)由信息处理设备100输出等。
此外,与控制信息18中一样,可以仅将未知的人设置为控制信息的用户。在这种情况下,信息处理设备100还可以用作保护设备。例如,在发现未知人的身份并且未知人采取可疑动作的情况下,可以通知用户或警卫公司等。
接下来,图8中所示的控制信息是除了区域、动作和输出之外还添加了“时间”的控制信息。在这种情况下,信息处理设备100在满足与控制信息对应的区域、动作和时间的条件的情况下执行输出。
用于指定控制信息的时间的方法可以是各种各样的。例如,如图8所示,可以指定控制信息19的开始时刻和结束时刻例如“上午6点到上午8点”作为控制信息的时间,或者可以指定指示时间例如控制信息20的“夜间”的概念作为控制信息的时间。此外,指示特定日期或时段的概念可以被指定作为控制信息的时间。例如,可以指定以下作为控制信息的时间:控制信息23的“工作日早晨”、控制信息24的“每周一、周三和周五的早晨”、控制信息25的“假日的白天”、控制信息26的“接下来的三个连续的假日”、控制信息28的“每个月的第30天”、控制信息29的“夏季”等。此外,特定日期和特定时刻可以被指定作为控制信息的时间。例如,控制信息27的“2016年5月10日上午8点至2016年5月11日下午10点”等可以被指定作为控制信息的时间。上述的“夜间”、“早晨”、“白天”、“夏季”等的开始时刻和结束时刻以及开始时段和结束时段是分别设置的。此外,尽管未示出,但是某个时刻(下午1点等)可以被指定作为控制信息的时间。
通过将时间元素添加到控制信息,信息处理设备100可以根据时间(或)时刻来执行输出。例如,如图8所示,对于在床上的用户,信息处理设备100可以在上午6:00到上午8:00的时段中告知用户当天的日程,并且可以在夜间要求来自用户对闹钟的设置时间的确认。
此外,与图7中的控制信息21和图8中的控制信息22中一样,可以在控制信息的输出中设置模式。该模式是限定了信息处理设备100不应该执行的输出内容或者信息处理设备100可以执行的输出内容的信息。在此,参照图9描述设置模式的内容。图9是示出模式设置的示例的图。
图9描述了模式和信息处理设备100在每个模式中不应该执行的输出内容。例如,在夜间模式中,信息处理设备100不应该执行BGM播放。信息处理设备100可以执行的输出内容可以以与图9类似的方式限定。
通过在控制信息的输出中设置的模式,信息处理设备100可以根据场景来执行输出。例如,通过在控制信息的输出中设置的图9中所示的访客模式,可以防止信息处理设备100运行家庭照片的幻灯片放映。
注意,信息处理设备100可以根据信息处理设备100的各种检测功能的检测结果来自主地设置模式。例如,在通过成像分析部105的分析检测到未知人的情况下,信息处理设备100可以设置访客模式。
此外,控制信息区域可以是示出从一个区域到另一区域的移动的信息。具体地,如图10所示,在用户进入区域(图10中的“进入房间”、“进入厨房”和“回家”)的情况下或用户退出区域(图10中的“出房间”和“外出”)的情况下的信息处理设备100的输出内容可以被设置在控制信息中。此外,如图10所示,在用户已经从一个区域移动到另一区域的情况下(图10中从“餐桌”到“放松区”的移动)的信息处理设备100的输出内容可以被设置在控制信息中。
由此,信息处理设备100可以根据用户的经过路径来执行输出。具体地,信息处理设备100可以在用户位于相关区域中和用户进入相关区域的移动的事实之间进行区分。
此外,虽然未示出,但是控制信息的区域可以不是图中的安装信息处理设备100的场所中的区域。例如,控制信息的区域可以是距信息处理设备100有一定距离的地方或特定地点(公司、学校等)。由此,信息处理设备100可以通过信息处理设备100获取关于管理设备300的绝对位置的信息来控制到管理设备300的输出。例如,假设“公司”被设置为控制信息的区域以及“通知关闭”被设置为输出。在这种情况下,在基于管理设备300的绝对位置确定管理设备300(持有它的用户)存在于公司中的情况下,信息处理设备100不向管理设备300执行通知。
此外,虽然未示出,但是控制信息的动作可以是通过管理设备300的分析而获得的用户的动作。具体地,控制信息的动作可以是从管理设备300的加速度检测部301获得的用户的动作(用户停止、行走、跑步、在各种运输设施上等)。因此,例如,假设“基于火车的移动”被设置为控制信息的动作,并且“通知关闭”被设置为输出。在这种情况下,在基于由管理设备300获取的信息确定管理设备300(持有它的用户)在火车上移动的情况下,信息处理设备100不向管理设备300执行通知。
[3-2.用于设置控制信息的方法]
在上文中,描述了设置控制信息的内容。接下来,描述用于设置控制信息的方法。可以通过各种方法来执行控制信息的设置。下面描述的方法是这些方法的示例。
首先,描述基于伴随应用程序的设置方法。用户可以使用安装在信息处理设备100或管理设备300中的应用程序(下文中称为“伴随应用程序”)来设置区域。
伴随应用程序的屏幕图像可以是图2或图7至图8。使用伴随应用程序设置控制信息的方法是任意的。例如,给出了通过触摸板上的触摸操作进行布置的方法等。
接下来,描述基于听力的设置方法。可以通过由信息处理设备100听来设置控制信息。例如,信息处理设备100提出“当在沙发上阅读时你想做什么?”的问题。如果用户对该问题回答“我想听音乐”,则添加区域为“沙发”、动作为“阅读”并且输出为“BGM播放”的设置内容的控制信息。从信息处理设备100提出的问题的内容可以是各种各样的。因此,即使具有低IT知识的用户也可以容易地执行控制信息的编辑。
此外,可以从信息处理设备100主动地向用户提出提议型问题。例如,在成像分析部105的分析显示用户正在学习并且电视机的电源接通的情况下,信息处理设备100提出“当你在学习时你想要我关掉电视机吗?”的问题。如果用户对该问题回答“是”,则添加区域为“所有区域(或工作区、桌子等)”、动作为“学习”并且输出为“电视机关闭”的设置内容的控制信息。通过从信息处理设备100提出的提议类型问题,用户可以容易地做出是否执行相关设置的决定。此外,通过从用户不知道的观点出发提出问题,可以使用户的潜在需求反映在控制信息中。
[3-3.基于控制信息的信息处理设备的操作]
在上文中,描述了用于设置控制信息的方法。接下来,参照图11描述基于控制信息的信息处理设备100的操作。图11是示出基于控制信息的信息处理设备100的操作的流程图。
首先,信息处理设备100的处理部106从存储部117获取控制信息,并且执行控制信息的读取(步骤S1000)。此后,分析部103分析声音拾取部101或成像部102的检测结果(步骤S1004);在获得与控制信息的条件对应的分析结果的情况下(步骤S1008/是),处理部106执行输出(步骤S1012)。在未获得与控制信息的条件对应的分析结果的情况下(步骤S1008/否),执行步骤S1000的处理(步骤S1016)。
在此,图11中所示的流程图可以被适当地改变。例如,在未获得与控制信息的条件对应的分析结果的情况下(步骤S1008/否),处理可以不转移到步骤S1000,而是转移到步骤S1004。即,处理部106可以不在每次处理时执行控制信息的读取。由此,可以减少处理部106读取控制信息的负担。
此外,外部装置可以在步骤S1004中执行检测处理和分析处理,并且信息处理设备100可以基于分析结果来执行步骤S1008和后续步骤的处理。由此,例如可以在另一个房间等环境中执行在信息处理设备100的成像部102和声音拾取部101不能执行检测的区域中的基于检测结果的输出。
[3-4.区域设置]
在上文中,描述了基于控制信息的信息处理设备100的操作。接下来,描述用于设置区域的方法。区域的设置可以通过各种方法来执行。下面描述的方法是这些方法的示例。
首先,描述基于伴随应用程序的设置。用户可以使用安装在信息处理设备100或管理设备300中的伴随应用程序来设置区域。现在将参照图12A至图12C来描述在设置区域时伴随应用程序的屏幕转换。图12A至12C是示出使用伴随应用程序的区域设置的示例的图。注意,在下文中,假设信息处理设备100在房屋中使用来给出描述。
首先,显示部108通过由信息处理设备100的处理部106控制来显示伴随应用程序的菜单屏幕(屏幕50)。接下来,用户经由输入部116来设置房间的轮廓(屏幕51)。接下来,用户经由输入部116来布置诸如窗户、厨房和壁橱的固定设备(屏幕52)。
接下来,用户经由输入部116来布置诸如沙发、桌子和椅子的家具(屏幕53),放置信息处理设备100(在附图中,写为“代理”)(屏幕54),并且布置家用电器例如电视机、照明装置和扬声器(屏幕55)。然后,用户经由输入部116来设置诸如放松区和工作区的分区(屏幕56);从而,完成了区域的设置(屏幕57)。可以适当地改变这些屏幕转换。例如,可以适当地改变设置固定设备、家具、信息处理设备100、家用电器和区域的顺序。由此,用户可以通过直观操作来设置区域。
接下来,描述基于语音或所捕获图像的设置。用户可以通过语音或所捕获图像来设置区域。具体地,信息处理设备100可以通过分析部103分析由声音拾取部101获取的音频信号或由成像部102捕获的捕获图像来设置区域。
例如,用户对信息处理设备100说“你右边有一台电视机”。音频信号由语音分析部104进行语义分解,并且语义分解的结果被提供给处理部106。此外,所捕获图像由成像分析部105分析,并且分析结果被提供给处理部106。基于音频信号的语义分解结果和所捕获图像的分析结果,处理部106识别出位于信息处理设备100右侧的对象是电视机。然后,基于电视机的三维位置和方向,处理部106计算电视机的视听区域。
此外,用户对信息处理设备100说“这是沙发”。基于音频信号的语义分解结果和所捕获图像的分析结果,处理部106识别出用户所位于的对象是沙发。
此外,用户在向信息处理设备100说“那边有桌子”的同时指向桌子。基于音频信号的语义分解结果和所捕获图像的分析结果,处理部106识别出用户的手臂或手指的延长线上的对象是桌子。由此,即使具有低IT知识的用户也可以容易地执行区域的添加等。
接下来,描述基于捕获图像的设置。可以通过分析捕获图像来设置区域。具体地,成像分析部105分析由信息处理设备100的成像部102获取的捕获图像,并且计算墙壁、固定设备、家具和家用电器的三维坐标。然后,成像分析部105通过与预先登记的对象图像进行模式匹配来计算相似度,基于相似度来确定对象,并且设置对象的区域。注意,在通过上述方法不能确定对象的情况下,用户可以添加示出对象是什么的信息。
由此,例如,在新安装或重新布置家具、家用电器等的情况下,信息处理设备100可以自主地设置区域;因此,可以减小用户编辑区域的负担。
接下来,描述基于来自信息处理设备100的询问的设置。可以通过从信息处理设备100主动地向用户进行询问来设置区域。例如,在基于捕获图像的分析结果不能确定用户所位于的区域的情况下,信息处理设备100向用户询问“你在哪里坐着?”的问题。用户对该问题回答“我在沙发上”等,并且由此信息处理设备100可以识别出用户正坐着的对象是沙发,并且可以将沙发添加为区域。
在这种情况下,信息处理设备100还可以询问用户“你是坐在沙发上吗?”的问题。用户对问题回答“是”等,并且由此信息处理设备100可以与上述类似地将沙发添加为区域。
此外,信息处理设备100还可以通过提出“你能告诉我沙发的位置吗?”的问题来向用户询问关于对象的位置等。信息处理设备100可以通过对于问题用户在说话的同时采取诸如指向沙发的动作,来确定沙发并且将其添加为区域。
<4.历史的使用>
在上文中,描述了用于设置区域的方法。接下来,参照图13描述历史的使用。图13是示出使用伴随应用程序的历史显示的示例的图。
如图13所示,用户可以通过使用伴随应用程序来检查关于历史的信息。具体地,使用伴随应用程序,用户可以检查用户所位于的区域、用户的动作、信息处理设备100的输出内容以及在各时刻确定用户(妈妈、爸爸、全名等)的信息。现在将描述用于操作伴随应用程序的方法的示例。
如果在伴随应用程序中按下房间布置显示按钮57,则显示房间的轮廓、固定设备、家具和家用电器或分区的概览图。然后,可以使用过滤功能60专门提取期望条件的历史。具体地,用户可以通过使用时刻、用户所位于的区域、用户的动作、信息处理设备100的输出内容或确定用户的信息,对历史进行过滤来获取期望条件的历史。在图13所示的示例中,在假设用户是“佑太”、用户所在的区域是“沙发”并且用户的动作是“阅读”的情况下执行过滤。
此外,可以通过使用时段指定按钮61来指定要提取的历史的时段。在图13所示的示例中,提取一天前的历史。此外,可以通过使用滑块62来指定要显示的历史的时间。
然后,在概览图中显示历史对象58,并且由此示出历史存在的区域。如果用户选择了历史对象58,则历史的细节被显示为历史细节对象59。在图13所示的示例中,历史细节对象59示出:在11:52,用户正在沙发上阅读,并且信息处理设备100执行推荐BGM的输出。当然,历史细节对象59可以包括确定用户的信息。因此,历史被显示在房间布置(区域)上,并且因此可以容易地想象用户的动作和经过路径。
注意,如果按下列表显示按钮63,则显示历史的列表64。由此,用户可以在不执行滑块62的操作、历史对象58的选择等的情况下获取历史。此外,用户可以容易地处理和搜索历史的列表数据。
接下来,参照图14描述基于历史的对历史的校正、历史的修改和控制信息的改变的输入。图14是示出历史使用的示例的图。
用户可以通过使用伴随应用程序来检查关于历史的信息。然后,如图14所示,用户可以在历史中存在错误的情况下添加错误标志70。在图14所示的示例中,通过向用户的“阅读”动作添加错误标志70,用户可以示出用户采取了不同于阅读的动作。尽管在该示例中错误标志70被添加到动作,但是错误标志70也可以被添加到日期和时间或区域。此外,用户不仅可以添加错误标志70,还可以输入正确的信息。
此外,如图14所示,在历史中存在未确定信息的情况下,用户可以通过使用下拉列表72来修改信息以校正信息。在图14所示的示例中,用户修改了动作。当然,可以修改日期和时间或者区域。此外,用户可以不使用下拉列表72而是使用文本框等进行修改。
这种历史校正或历史修改的信息用于改进分析算法。具体地,这些信息被发送到管理服务器200;并且分析算法管理部207基于这些信息执行机器学习,从而改进分析算法。
改进的分析算法(或基于改进的分析算法创建的程序)被提供给信息处理设备100。由此,可以提高信息处理设备100的分析部103的分析处理的精度。在此,可以向除了用户持有的信息处理设备100之外的信息处理设备100提供被改进用于不是专门针对特定用户的检测处理例如检测位置的处理或检测动作的处理的分析算法或程序。此外,可以专门向用户持有的信息处理设备100提供被改进用于专门针对特定用户的处理例如确定用户的处理的分析算法或程序。通过上述方法,可以基于来自用户的反馈来提高信息处理设备100的分析处理的精度。
此外,如图14所示,用户可以通过使用下拉列表71基于历史来改变控制信息。在图14所示的示例中,用户要将与区域“厨房”和动作“洗涤”对应的“明天事件的通知”的输出改变到另一输出。当然,用户可以不使用下拉列表71而是使用文本框等来改变控制信息。因此,用户可以与检查历史的工作并行地编辑控制信息,并且因此可以减少用户工作的失败。
<5.信息处理设备的硬件配置>
在上文中,描述了本公开内容的实施方式。接下来,描述根据本公开内容的实施方式的信息处理设备100的硬件配置示例。
图15是示出根据本公开内容的实施方式的信息处理设备100的硬件配置的图。如图15所示,信息处理设备100包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903、输入装置904、输出装置905、存储装置906、成像装置907和通信装置908。
CPU 901用作算术处理装置和控制装置,并且根据各种程序来控制信息处理设备100中的整体操作。此外,CPU 901可以是微处理器。ROM 902存储将由CPU 901使用的程序、操作参数等。RAM 903适当地临时存储要在CPU 901的运行中使用的程序、在运行中改变的参数等。这些是通过包括CPU总线等的主机总线相互连接的。分析部103、处理部106和管理部111的功能主要通过CPU 901、ROM 902、RAM 903和软件应用程序的协作获得。
输入装置904包括用于用户输入信息的输入装置,例如鼠标、键盘、触摸板、按钮、麦克风、开关和控制杆、以及基于用户的输入生成输入信号并且向CPU 901输出输入信号的输入控制电路等。信息处理设备100的用户通过操作输入装置904可以向信息处理设备100输入各种数据并且可以在处理操作上指导信息处理装置100。输入装置904与声音拾取部101和输入部116对应。
输出装置905包括例如显示装置例如液晶显示(LCD)装置、OLED装置、透视显示器或灯。此外,输出装置905包括诸如扬声器和耳机的语音输出装置。例如,输出装置905显示捕获的图像、生成的图像等。另一方面,语音输出装置将语音数据等转换为语音并且输出语音。输出装置905与声音发出部107、显示部108和发光部109对应。
存储装置906是用于数据存储的装置。存储装置906可以包括存储介质、在存储介质上记录数据的记录装置、从存储介质读出数据的读出装置、删除存储介质上记录的数据的删除装置等。存储装置906存储要由CPU901执行的程序和各种数据。存储装置906与存储部117对应。
成像装置907包括收集光的成像光学***例如拍摄镜头和变焦镜头、以及信号转换元件例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件。成像光学***收集从对象发射的光并且在信号转换部中形成对象图像,并且信号转换元件将形成的对象图像转换为电图像信号。成像装置907与成像部102对应。
通信装置908例如是包括用于连接至通信网络的通信装置等的通信接口。此外,通信装置908可以包括与无线局域网(LAN)兼容的通信装置、与长期演进(LTE)兼容的通信装置、经由有线进行通信的有线通信装置或者蓝牙(注册商标)通信装置。通信装置908与通信部110对应。
以上已经参照附图描述了本公开内容的优选实施方式,但是本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种改变和修改,并且应该理解,这些改变和修改将自然地落入本公开内容的技术范围内。
例如,尽管在上述一个实施方式中描述了确定用户或对象,但是可以确定诸如宠物的生物。用于确定生物的方法可以使用基于与用于确定用户或对象的方法类似的模式匹配的确定方法。
通过信息处理设备100确定诸如宠物的生物,在例如用户和宠物在同一房间中的情况下,信息处理设备100可以执行输出例如执行所捕获的宠物图像的幻灯片放映。此外,信息处理设备100可以通过将由成像部102捕获的宠物的捕获图像通知给管理设备300来向用户通知宠物的情况。
此外,本说明书中描述的效果仅仅是说明性的或示例性的效果,而不是限制性的。即,连同或替代上述效果,根据本公开内容的技术可以从本说明书的描述中实现本领域技术人员清楚的其他效果。
另外,本技术还可以配置如下。
(1)一种信息处理设备,包括:
存储部,被配置成存储其中区域、动作和设备输出的控制内容相关联的控制信息;以及
处理部,被配置成基于用户所位于的区域、用户的动作和所述控制信息来执行输出。
(2)根据(1)所述的信息处理设备,还包括:
获取部,被配置成获取用户对所述区域、所述动作和所述输出的输入;以及
设置部,被配置成基于由所述获取部获取的所述用户的输入来设置所述控制信息。
(3)根据(2)所述的信息处理设备,
其中,所述区域是安装有所述信息处理设备的场所中的区域。
(4)根据(3)所述的信息处理设备,
其中,所述区域是建筑物中包括的房间中的区域。
(5)根据(4)所述的信息处理设备,还包括:
区域管理部,被配置成在所述房间中限定一个或两个或更多个区域,
其中,所述获取部获取所述用户从所述一个或两个或更多个区域中选择的区域作为所述用户的输入。
(6)根据(5)所述的信息处理设备,
其中,所述区域管理部基于所述用户的输入来限定所述一个或两个或更多个区域。
(7)根据(6)所述的信息处理设备,
其中,所述区域管理部基于包括由所述用户描绘或布置的对象的图,来限定所述一个或两个或更多个区域。
(8)根据(6)所述的信息处理设备,
其中,所述区域管理部基于所述用户的语音来限定所述一个或两个或更多个区域。
(9)根据(5)所述的信息处理设备,还包括:
成像部,
其中,所述区域管理部通过分析由所述成像部获得的捕获图像来限定所述一个或两个或更多个区域。
(10)根据(5)所述的信息处理设备,
其中,所述一个或两个或更多个区域是与家具、家用电器或固定设备对应的区域。
(11)根据(1)所述的信息处理设备,
其中,所述用户是特定用户、包括所述特定用户的组、或者不是所述特定用户的用户。
(12)根据(1)至(11)中的任意一项所述的信息处理设备,
其中,所述控制信息中包括的区域和动作是关于进入所述区域和从所述区域出来的信息。
(13)根据(1)至(11)中的任意一项所述的信息处理设备,
其中,所述控制信息中包括的区域和动作是关于从第一区域向第二区域的移动的信息。
(14)根据(2)所述的信息处理设备,
其中,所述获取部获取用户对所述区域、所述动作和所述输出的语音输入,并且
所述设置部基于由所述获取部获取的所述用户的语音输入来设置所述控制信息。
(15)根据(1)至(14)中的任意一项所述的信息处理设备,
其中,所述存储部存储关于所述信息处理设备的处理的历史,以及
所述信息处理设备还包括历史编辑部,所述历史编辑部被配置成获取用户关于所述历史的校正或修改的输入。
(16)一种程序,所述程序用于使计算机执行以下:
存储其中区域、动作和设备输出的控制内容相关联的控制信息的功能;以及
基于用户所位于的区域、用户的动作和所述控制信息执行输出的功能。
(17)一种由计算机执行的处理方法,包括:
存储其中区域、动作和设备输出的控制内容相关联的控制信息;以及
基于用户所位于的区域、用户的动作和所述控制信息来执行输出。
附图标记列表
100 信息处理设备
101 声音拾取部
102 成像部
103 分析部
104 语音分析部
105 成像分析部
106 处理部
107 声音发出部
108 显示部
109 发光部
110 通信部
111 管理部
112 控制信息管理部
113 用户管理部
114 区域管理部
115 历史管理部
116 输入部
117 存储部
200 管理服务器
300 管理设备
410、420 网络

Claims (17)

1.一种信息处理设备,包括:
存储部,被配置成存储其中区域、动作和设备输出的控制内容相关联的控制信息;以及
处理部,被配置成基于用户所位于的区域、用户的动作和所述控制信息来执行输出。
2.根据权利要求1所述的信息处理设备,还包括:
获取部,被配置成获取用户对所述区域、所述动作和所述输出的输入;以及
设置部,被配置成基于由所述获取部获取的所述用户的输入来设置所述控制信息。
3.根据权利要求2所述的信息处理设备,
其中,所述区域是安装有所述信息处理设备的场所中的区域。
4.根据权利要求3所述的信息处理设备,
其中,所述区域是建筑物中包括的房间中的区域。
5.根据权利要求4所述的信息处理设备,还包括:
区域管理部,被配置成在所述房间中限定一个或两个或更多个区域,
其中,所述获取部获取所述用户从所述一个或两个或更多个区域中选择的区域作为所述用户的输入。
6.根据权利要求5所述的信息处理设备,
其中,所述区域管理部基于所述用户的输入来限定所述一个或两个或更多个区域。
7.根据权利要求6所述的信息处理设备,
其中,所述区域管理部基于包括由所述用户描绘或布置的对象的图,来限定所述一个或两个或更多个区域。
8.根据权利要求6所述的信息处理设备,
其中,所述区域管理部基于所述用户的语音来限定所述一个或两个或更多个区域。
9.根据权利要求5所述的信息处理设备,还包括:
成像部,
其中,所述区域管理部通过分析由所述成像部获得的捕获图像来限定所述一个或两个或更多个区域。
10.根据权利要求5所述的信息处理设备,
其中,所述一个或两个或更多个区域是与家具、家用电器或固定设备对应的区域。
11.根据权利要求1所述的信息处理设备,
其中,所述用户是特定用户、包括所述特定用户的组、或者不是所述特定用户的用户。
12.根据权利要求1所述的信息处理设备,
其中,所述控制信息中包括的区域和动作是关于进入所述区域和从所述区域出来的信息。
13.根据权利要求1所述的信息处理设备,
其中,所述控制信息中包括的区域和动作是关于从第一区域向第二区域的移动的信息。
14.根据权利要求2所述的信息处理设备,
其中,所述获取部获取用户对所述区域、所述动作和所述输出的语音输入,并且
所述设置部基于由所述获取部获取的所述用户的语音输入来设置所述控制信息。
15.根据权利要求1所述的信息处理设备,
其中,所述存储部存储关于所述信息处理设备的处理的历史,以及
所述信息处理设备还包括历史编辑部,所述历史编辑部被配置成获取用户关于所述历史的校正或修改的输入。
16.一种程序,所述程序用于使计算机执行以下:
存储其中区域、动作和设备输出的控制内容相关联的控制信息的功能;以及
基于用户所位于的区域、用户的动作和所述控制信息执行输出的功能。
17.一种由计算机执行的处理方法,包括:
存储其中区域、动作和设备输出的控制内容相关联的控制信息;以及
基于用户所位于的区域、用户的动作和所述控制信息来执行输出。
CN201780027842.8A 2016-05-12 2017-03-03 信息处理设备、信息处理方法和程序 Pending CN109074329A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-095949 2016-05-12
JP2016095949 2016-05-12
PCT/JP2017/008417 WO2017195440A1 (ja) 2016-05-12 2017-03-03 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN109074329A true CN109074329A (zh) 2018-12-21

Family

ID=60266937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780027842.8A Pending CN109074329A (zh) 2016-05-12 2017-03-03 信息处理设备、信息处理方法和程序

Country Status (4)

Country Link
US (1) US11340565B2 (zh)
JP (1) JP7031578B2 (zh)
CN (1) CN109074329A (zh)
WO (1) WO2017195440A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031460A (zh) * 2021-05-21 2021-06-25 中家院(北京)检测认证有限公司 基于人居场景智能感知分析的智慧家庭***及其方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019143336A1 (en) * 2018-01-18 2019-07-25 Hewlett-Packard Development Company, L.P. Learned quiet times for digital assistants
JP2019207463A (ja) * 2018-05-28 2019-12-05 株式会社日立製作所 ロボット、行動検知サーバ、および行動検知システム
JP2022114053A (ja) * 2021-01-26 2022-08-05 本田技研工業株式会社 情報処理装置、情報処理方法、及び、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657425A (en) * 1993-11-15 1997-08-12 International Business Machines Corporation Location dependent verbal command execution in a computer based control system
CN101782768A (zh) * 2010-02-09 2010-07-21 华南理工大学 一种基于上下文感知的智能家居***
CN101969718A (zh) * 2010-09-08 2011-02-09 无锡中星微电子有限公司 智能灯光控制***及其控制方法
CN104714504A (zh) * 2013-12-12 2015-06-17 中兴通讯股份有限公司 智能家居控制方法、控制***和远程服务器
CN105159107A (zh) * 2015-08-17 2015-12-16 黄可斌 一种智能家居控制方法、控制装置及控制***
CN105425602A (zh) * 2015-11-30 2016-03-23 青岛海尔智能家电科技有限公司 一种家电设备自动控制方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3037902B2 (ja) 1996-10-07 2000-05-08 三菱電機株式会社 音声対話システム
JP2006324876A (ja) * 2005-04-18 2006-11-30 Sony Corp 制御装置および方法、プログラム、並びに記録媒体
JP2009087074A (ja) 2007-09-28 2009-04-23 Panasonic Electric Works Co Ltd 機器制御システム
JP2011061247A (ja) * 2007-11-15 2011-03-24 Panasonic Corp マルチリモコン制御装置
JP2011055121A (ja) 2009-08-31 2011-03-17 Panasonic Electric Works Co Ltd 機器制御システム
JP5763616B2 (ja) * 2010-02-18 2015-08-12 井上 克己 情報絞り込み検出機能を備えたメモリ、このメモリを用いた情報検出方法、このメモリを含む装置、情報の検出方法、メモリの使用方法、およびメモリアドレス比較回路
JP5905596B2 (ja) * 2013-02-20 2016-04-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 携帯情報端末の制御方法及びプログラム
JP2015146514A (ja) * 2014-02-03 2015-08-13 パナソニックIpマネジメント株式会社 センサ管理システム、センサ管理方法及びセンサ管理プログラム
US20150286943A1 (en) * 2014-04-06 2015-10-08 AI Laboratories, Inc. Decision Making and Planning/Prediction System for Human Intention Resolution
US10203665B2 (en) 2014-04-24 2019-02-12 Vivint, Inc. Managing home automation system based on behavior and user input
US9940801B2 (en) * 2016-04-22 2018-04-10 Microsoft Technology Licensing, Llc Multi-function per-room automation system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657425A (en) * 1993-11-15 1997-08-12 International Business Machines Corporation Location dependent verbal command execution in a computer based control system
CN101782768A (zh) * 2010-02-09 2010-07-21 华南理工大学 一种基于上下文感知的智能家居***
CN101969718A (zh) * 2010-09-08 2011-02-09 无锡中星微电子有限公司 智能灯光控制***及其控制方法
CN104714504A (zh) * 2013-12-12 2015-06-17 中兴通讯股份有限公司 智能家居控制方法、控制***和远程服务器
CN105159107A (zh) * 2015-08-17 2015-12-16 黄可斌 一种智能家居控制方法、控制装置及控制***
CN105425602A (zh) * 2015-11-30 2016-03-23 青岛海尔智能家电科技有限公司 一种家电设备自动控制方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031460A (zh) * 2021-05-21 2021-06-25 中家院(北京)检测认证有限公司 基于人居场景智能感知分析的智慧家庭***及其方法

Also Published As

Publication number Publication date
US11340565B2 (en) 2022-05-24
WO2017195440A1 (ja) 2017-11-16
JPWO2017195440A1 (ja) 2019-03-07
JP7031578B2 (ja) 2022-03-08
US20200301377A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
US10264547B1 (en) Selective notification delivery based on user presence detections
US11711236B2 (en) Machine learning for home understanding and notification
CN109445288B (zh) 一种智慧家庭普及应用的实现方法
Intille et al. A living laboratory for the design and evaluation of ubiquitous computing technologies
CN106873773A (zh) 机器人交互控制方法、服务器和机器人
CN110914878A (zh) 检测和响应于智能家居环境的访客的***和方法
CN109074117B (zh) 提供基于情绪的认知助理***、方法及计算器可读取媒体
CN109074329A (zh) 信息处理设备、信息处理方法和程序
US20160109957A1 (en) Information processing apparatus and application execution method
US10992492B2 (en) Machine learning for home understanding and notification
CN105409197A (zh) 用于提供持久伙伴装置的设备和方法
CN110546627B (zh) 与家庭助理的视频整合
KR20160144400A (ko) 주변 조건들에 기초하여 출력 디스플레이를 발생시키는 시스템 및 방법
CN106875157A (zh) 会议处理方法和装置
US11119722B2 (en) Movable body control apparatus and recording medium
CN104346431B (zh) 信息处理装置、信息处理方法和程序
CN106796702A (zh) 基于信息提供附加功能的方法
CN112005281A (zh) 智能设备上的功率管理的***和方法
US7565209B2 (en) Device control apparatus
US20180210738A1 (en) Contextual user interface based on changes in environment
EP3794504A1 (en) Machine learning for home understanding and notification
WO2016052520A1 (ja) 対話装置
Erdem et al. Innovative technology applications in hotel businesses
CN107027340A (zh) 可穿戴电子***
US20210004747A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181221

RJ01 Rejection of invention patent application after publication