CN114578699A - 信息处理***、设备控制器及程序 - Google Patents

Abstract

提供一种能够实现便利性的提高的信息处理***、设备控制器及程序。实施方式的信息处理***具有控制部。上述控制部通过虚拟空间技术使对与家电设备关联的信息进行的显示或用来操作上述家电设备的操作部中的一方或双方显示。

Description

信息处理***、设备控制器及程序

技术领域

本发明的实施方式涉及信息处理***、设备控制器及程序。

背景技术

在汽车的车载***中，已知有将增强现实的图像信息向使用者提供的显示技术。家电设备有关的信息处理***期待便利性的提高。

现有技术文献

专利文献

专利文献1：日本特开2020－142792号公报

发明内容

发明要解决的技术问题

本发明要解决的技术问题是提供一种能够实现便利性的提高的信息处理***、设备控制器及程序。

用来解决技术问题的手段

技术方案的信息处理***具有控制部。上述控制部使对与家电设备关联的信息进行表示的显示、或用来操作上述家电设备的操作部中的一方或双方，通过虚拟空间技术显示。

发明效果

根据本发明的结构，与通常的设备控制器相比，能够动态地变更按钮的显示尺寸及配置。由此，能够提供对于用户更容易使用的用户接口，能够实现用户的便利性的提高。

附图说明

图1是表示第1实施方式的智能眼镜被使用的使用环境的一例的图。

图2是表示第1实施方式的智能眼镜的物理结构的立体图。

图3是表示第1实施方式的智能眼镜的功能结构的框图。

图4是表示第1实施方式的场景1的控制例的图。

图5是表示第1实施方式的场景2的控制例的图。

图6是表示第1实施方式的场景2的控制例的变形例的图。

图7是表示第1实施方式的场景3的控制例的图。

图8是表示第1实施方式的场景4的控制例的图。

图9是表示第1实施方式的场景5的控制例的图。

图10是表示第1实施方式的场景5的控制例的图。

图11是表示第1实施方式的场景5的控制例的变形例的图。

图12是表示第1实施方式的场景6的控制例的图。

图13是表示第1实施方式的场景6的控制例的变形例的图。

图14是表示第1实施方式的场景7的控制例的图。

图15是表示第1实施方式的气流的流动的模拟结果的一例的图。

图16是表示第1实施方式的与粒子相对于墙壁碰撞时的运动相关的设定条件的图。

图17是表示第1实施方式的将气流可视化的像的第1显示例的图。

图18是表示第1实施方式的将气流可视化的像的第2显示例的图。

图19是表示在第1实施方式中使用的坐标系的图。

图20是表示第2实施方式的控制例的图。

图21是表示第3实施方式的终端装置的图。

图22是表示第4实施方式的信息处理***的图。

具体实施方式

以下，参照附图说明实施方式的信息处理***、设备控制器及程序。在以下的说明中，对具有相同或类似的功能的结构赋予相同的标号。并且，有将这些结构的重复的说明省略的情况。“基于XX”是指“至少基于XX”，也可以除了XX以外还包括基于其他要素的情况。“基于XX”并不限定于直接使用XX的情况，也可以包括基于对XX进行了运算或加工后的要素的情况。“XX或YY”并不限定于XX和YY中的某一方的情况，也可以包括XX和YY这两者的情况。这在选择的要素为3个以上的情况下也是同样的。“XX”及“YY”是任意的要素(例如是任意的信息)。在本说明书中，“图像”并不限定于静止图像，也包括动态图像(影像)。

(第1实施方式)

[1.使用环境的一例]

首先，对第1实施方式的智能眼镜1被使用的使用环境进行说明。智能眼镜1是“信息处理装置”的一例，是操作家电设备的设备控制器。本实施方式的智能眼镜1也是“信息处理***”的一例。

图1是表示智能眼镜1被使用的使用环境的一例的图。智能眼镜1例如在用户U的住宅中被使用。用户U的住宅例如具备空调2、电风扇3、窗4及换气扇5等。但是，电风扇3、窗4及换气扇5也可以不存在。

空调2例如包括热泵，是进行制冷运转、制暖运转或除湿运转等的空调运转的装置。空调2是“空调机”“家电设备”及“第1家电设备”的各自一例。空调2例如通过从该空调2的吹出口将气流向室内吹出，来调整室内的空气的温度及湿度。在本说明书中，“家电设备的动作”或“家电设备的动作状态”并不限定于家电设备自身的动作，也能够包括由家电设备的动作带来的结果物(例如从空调机吹出的气流的运动)等。

空调2例如具有温度传感器2a、湿度传感器2b和通信模组2c。温度传感器2a检测设置有空调2的房间的温度。湿度传感器2b检测设置有空调2的房间的湿度。通信模组2c与操作空调2的设备控制器(例如智能眼镜1)进行通信。另外，“空调机”并不限定于空调，也可以是空气净化器等。

电风扇3是给空调2的动作(例如，从空调2吹出的气流)带来影响的家电设备(第2家电设备)的一例。电风扇3通过被运转而使从空调2吹出的气流的至少一部分的流动方向变化。在本实施方式中，电风扇3是能够由智能眼镜1取得与状态的至少一部分(例如，电风扇3朝向的方向)有关的信息的要素的一例。

窗4及换气扇5分别是给空调2的动作(例如，从空调2吹出的气流)带来影响的物品的一例。根据窗4的开闭状态及换气扇5的动作状态，从空调2吹出的气流的至少一部分的流动方向变化。在本实施方式中，窗4及换气扇5分别是不能由智能眼镜1取得与状态有关的信息(例如，窗4的开闭状态、换气扇5的动作状态)的要素的一例。

[2.智能眼镜的物理结构]

接着，对智能眼镜1的物理结构进行说明。

图2是表示智能眼镜1的物理结构的立体图。智能眼镜1是用户U佩戴在头上而使用的可穿戴型的信息处理装置。智能眼镜1例如具有框架10、透镜20、投影部30、相机40、麦克风50、通信模组60及控制基板70。

框架10与通常的眼镜的框架是同样的，包括用户U能够佩戴的鼻架部及耳挂部等。透镜20被安装在框架10上，位于用户U的眼睛的前方。透镜20具有例如由透明的材料形成并且能够由投影部30投影图像的显示面20a。用户U能够经由透镜20观看周围的风景。

投影部30例如具有小型的投影机，将由控制基板70生成的显示用信息作为图像投影在显示面20a上。由此，用户U能够将通过虚拟空间技术而表现出的显示重叠于周围的风景而观看。本说明书中所述的“虚拟空间技术”，是指所谓的XR，是指增强现实(AR：Augmented Reality)、混合现实(MR：Mixed Reality)、虚拟现实(VR：Virtual Reality)或替代现实(SR：Substitutional Reality)等。本实施方式的投影部30输出通过增强现实或混合现实而表现出的显示。关于通过虚拟现实或替代现实而输出显示的例子在后面叙述。

投影部30是“信息输出部”的一例。但是，信息输出部并不限定于上述例子，也可以是向用户U的眼睛直接投影图像的视网膜投影型的投影部等。在此情况下，不需要透镜20。

相机40例如设在框架10上，对智能眼镜1的周围(例如前方)进行摄影。麦克风50例如设在框架10上，取得智能眼镜1的周围的声音。

通信模组60能够与空调2的通信模组2c通信。通信模组60例如是通过Wi－Fi(注册商标)、Bluetooth(注册商标)或红外线通信进行通信的通信模组，但并不限定于这些。通信模组60通过与空调2的通信模组2c通信，能够从空调2取得空调2的温度传感器2a及湿度传感器2b的检测结果。

控制基板70包括电路基板和安装在电路基板上的多个电子部件。控制基板70统一地控制智能眼镜1。控制基板70控制由投影部30进行的显示及由通信模组60进行的通信等。关于控制基板70，在后面详细叙述。

[3.智能眼镜的功能结构]

图3是表示智能眼镜1的功能结构的框图。控制基板70例如具有检测部110、受理部120、控制部130及存储部140。检测部110、受理部120及控制部130通过由搭载在控制基板70上的CPU(Central Processing Unit)那样的硬件处理器执行程序(软件)来实现。但是，这些功能部的全部或一部分也可以由ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)或FPGA(Field Programmable Gate Array)等的硬件(电路部；包括电路)实现，也可以通过软件与硬件的协同来实现。存储部140例如由EEPROM(Electrically Erasable Programmable Read－Only Memory)或闪存等实现。

[3.1检测部]

检测部110基于由相机40摄影的图像、由麦克风50收音的声音或由通信模组60接收到的信息，进行以下说明的处理。检测部110例如具有家电设备检测部111、状态检测部112、物品检测部113、周围环境检测部114及操作检测部115。

家电设备检测部111基于由相机40摄影的图像，判定在相机40的视角中存在怎样的家电设备。例如，在存储部140中，存储着登录有检测对象的家电设备的特征量的家电设备信息I1。“家电设备的特征量”是家电设备的大小、形状、颜色、设置位置(例如由用户U看到的设置高度)等。家电设备检测部111通过将由相机40摄影的图像与包含在家电设备信息I1中的各家电设备的特征量进行比较，判定在由相机40摄影的图像中是否存在被预先设定为检测对象的家电设备(例如，能够由智能眼镜1操作的家电设备，例如空调2)。另外，被设定为检测对象的家电设备能够由用户U追加或变更。

在本实施方式中，家电设备检测部111基于由相机40摄影到的图像，除了操作对象的家电设备(第1家电设备，例如空调2)以外，还检测给操作对象的家电设备的动作带来影响的其他家电设备(第2家电设备，例如电风扇3)。家电设备检测部111通过将由相机40摄影到的第2家电设备的图像与包含在家电设备信息I1中的家电设备的特征量进行比较，除了第2家电设备的存在以外，还检测第2家电设备的动作状态。例如，作为电风扇3的动作状态，家电设备检测部111检测电风扇3的动作的有无、电风扇3的朝向及摆头的有无等。

状态检测部112检测周围的状态。“周围的状态”是指佩戴着智能眼镜1的用户U的周围的状态，例如是指与用户U所处的房间有关的状态。在本实施方式中，状态检测部112基于由通信模组60接收到的空调2的温度传感器2a及湿度传感器2b的检测结果，检测用户U所处的房间的温度及湿度。代之，在智能眼镜1上设有温度传感器及/或湿度传感器的情况下，状态检测部112也可以基于设在智能眼镜1上的温度传感器及/或湿度传感器的检测结果来检测用户U所处的房间的温度及/或湿度。此外，也可以代之，智能眼镜1经由外部的网络(例如因特网)取得气象信息，基于气象信息来检测用户U的住宅所处的地域的外部气温等。

进而，状态检测部112判定如上述那样检测到的房间的温度及/或湿度是否满足规定条件。例如，在存储部140中，存储着登录有各种阈值的阈值信息I2。阈值信息I2包括用来判定周围的状况是否满足规定条件的各种阈值。

例如，状态检测部112通过将检测到的房间的温度与包含在阈值信息I2中的高温注意用的阈值(中暑风险的阈值，例如28℃)进行比较，判定是否满足高温注意的条件。同样，状态检测部112通过将检测到的房间的温度与包含在阈值信息I2中的低温注意用的阈值(例如10℃)进行比较，判定是否满足低温注意的条件。此外，状态检测部112也可以基于在空调2不动作的状态下检测到的外部气温，来判定是否满足高温注意的条件及/或是否满足低温注意的条件。此外，状态检测部112通过将检测到的房间的湿度与对应于后述的特定物品的高湿度注意用的阈值(例如湿度70％)进行比较，判定是否满足对应于特定物品的高湿度注意的条件。状态检测部112也可以通过将检测到的房间的湿度与低湿度注意用的阈值(例如30％)比较，判定是否满足低湿度注意的条件。这些各种阈值也可以能够由用户U追加或变更。

物品检测部113基于由相机40摄影到的图像，判定在相机40的视角中是否存在特定物品。例如，特定物品是需要温度或湿度的管理的物品，是相机或乐器等。例如，在存储部140中存储着登录有各特定物品的特征量的物品信息I3。特定物品的特征量是特定物品的代表性的大小、形状、颜色等。物品检测部113通过将由相机40摄影的图像与包含在物品信息I3中的特定物品的特征量进行比较，判定在由相机40摄影的图像中是否存在作为检测候选的特定物品。特定物品能够由用户U追加或变更。例如，用户U通过由相机40将特定物品摄影，能够进行特定物品的登录。

周围环境检测部114基于由相机40摄影到的图像，检测用户U的周围环境。用户U的周围的环境例如是指用户U所处的房间的布局及配置在房间中的物品(例如家具)。表示由周围环境检测部114检测到的用户U的周围环境的信息作为周围环境信息I4被存储在存储部140中。

操作检测部115基于由相机40摄影到的图像，检测用户U对于操作对象的家电设备(例如空调2)的操作。在本实施方式中，由后述的显示控制部132通过虚拟空间技术显示用来操作家电设备的操作部D2(参照图4)。操作检测部115基于对于用户U显示的虚拟的操作部D2的显示位置(从用户U能看到的位置)与由相机40摄影到的图像中包含的用户U的指尖的位置之间的位置关系、及用户U的指尖的运动等，检测用户U对于操作对象的家电设备的操作。也可以代之或除此以外，操作检测部115基于用户U对于麦克风50的声音输入，检测用户U对于操作对象的家电设备的操作。

[3.2受理部]

受理部120受理与不能取得关于状态的信息的要素(例如窗4或换气扇5)有关的用户U的输入。例如，后述的显示控制部132对于用户U显示对不能取得信息的要素的状态进行询问的提问。并且，受理部120基于用户U对于上述提问的输入(用户U的回答)，取得不能取得信息的要素的状态。用户U对于上述提问的输入例如既可以是由操作检测部115检测到的用户U的动作，也可以是用户U对于麦克风50的声音输入。此外，受理部120也可以受理表示配置有操作对象的家电设备的房间的布局或物品的配置的一方或双方的用户U的输入。

[3.3控制部]

控制部130基于由检测部110检测到的信息及由受理部120受理的信息，进行以下说明的处理。控制部130例如具有计算部131、显示控制部132及操作控制部133。

计算部131进行关于家电设备的动作状态的模拟。例如，计算部131进行与来自空调2的气流的流动有关的模拟。关于由计算部131进行的计算的具体例，在后面详细地叙述。

显示控制部132通过虚拟空间技术来显示对与家电设备关联的信息进行表示的显示D1(参照图4)或用来操作家电设备的操作部D2(参照图4)中的一方或双方。例如，显示控制部132显示包含操作对象的家电设备的状态(status)在内的显示D1。“家电设备的状态”例如是家电设备的电源的ON/OFF的状态、执行中的运转模式、可选择(可变更)的运转模式的候选、定时器设定的状态等中的1个以上。本实施方式的显示控制部132作为显示在显示D1上的家电设备的状态之一，能够显示将由计算部131模拟出的来自空调2的气流的流动可视化的像FI(参照图5)。关于由显示控制部132进行的显示的具体例，在后述的各个场景的说明中详细地叙述。

操作控制部133基于由操作检测部115检测到的用户U对于虚拟空间上的操作部D2的操作，选择或生成用来操作家电设备的控制指令，将选择或生成的控制指令经由通信模组60向操作对象的家电设备发送。

在本实施方式中，操作控制部133在对空调2发送控制指令的情况下，不是发送表示气流的目标位置本身的信息，而是与对于由红外线遥控器控制的通常的空调的控制指令同样，将选择在左右方向上能够选择的多个等级的送风方向中的第几个送风方向、选择在上下方向上能够选择的多个等级的送风方向中的第几个送风方向、或选择可选择的多个等级的送风强度中的第几个送风强度等的控制指令向空调2发送。能够由这样的空调2选择的控制内容作为控制指令信息I5被预先存储在存储部140中。控制指令信息I5例如能够经由外部网络(例如因特网)而从空调2的制造厂商的网站取得。关于由操作控制部133进行的控制的具体例，在后述的各个场景的说明中详细地说明。

[3.控制例]

以下，将使用智能眼镜1的家电设备的控制例分为几个场景进行说明。以下，举空调2相当于操作对象的家电设备(第1家电设备)、电风扇3相当于给操作对象的家电设备带来影响的家电设备(第2家电设备)的例子进行说明。

[3.1场景1]

图4是表示场景1的控制例的图。场景1是表示空调2不动作的情况的场景。图4中的(a)是表示智能眼镜1发现了空调2的瞬间的图。图4中的(b)是表示智能眼镜1发现了空调2后的状态的图。在本实施方式中，在空调2没有进入相机40的视角的情况下，显示控制部132不将显示D1及操作部D2显示(参照图4中的(a))。另一方面，在空调2进入相机的视角的情况下(即，由家电设备检测部111检测到空调2进入由相机40摄影的图像的情况下)，显示控制部132使显示D1及操作部D2重叠于周围的风景而显示(参照图4中的(b))。

显示D1包括对在相机40的视角中包含的家电设备的种类(是空调)及型号、空调2的状态、设置有空调2的房间的状态、从空调2取得的信息(房间的温度及湿度)等进行表示的信息D1a。信息D1a例如由字符信息显示。另一方面，操作部D2包括使空调2的制冷运转开始的按钮B1a、使空调2的自动运转开始的按钮B1b、使空调2的制暖运转开始的按钮B1c、进行空调2的定时器的设定变更的按钮B1d等。在本说明书中所述的“按钮”，是为了说明的方便的称呼，并不限于按压的动作，也包括被以滑动或其他动作来操作者。“按钮”也可以改称作“图标”或“操作件”。

在本实施方式中，在由状态检测部112检测到的周围的状态满足第1条件的情况下(例如，在房间的温度较高、房间的温度是第1阈值以上的情况下)，显示控制部132显示与第1条件对应的操作部D2(将制冷运转的按钮B1a强调显示的操作部D2)(参照图4中的(b))。另一方面，在由状态检测部112检测到的周围的状态满足与第1条件不同的第2条件的情况下(例如，在房间的温度较低、房间的温度为第2阈值以下的情况下)，显示控制部132显示与第2条件对应的操作部D2(将制暖运转的按钮B1c强调显示的操作部D2)。

在本实施方式中，显示控制部132根据由状态检测部112检测到的周围的状态符合的条件，在多个按钮B1a、B1b、B1c中，按照用户U的操作可能性从高到低的顺序(优先级较高的顺序)从上侧配置。例如，在房间的温度较高的情况下，制冷运转的按钮B1a被配置在上段，自动运转的按钮B1b被配置在中段，制暖运转的按钮B1c被配置在下段。该显示顺序在房间的温度较低的情况下为相反。此外，在本实施方式中，如图4中的(b)所示，将用户U的操作可能性相对较高的按钮(例如制冷运转的按钮B1a)比其他按钮(例如按钮B1b、B1c、B1d)大地显示。另一方面，将用户U的操作可能性相对较低的按钮(例如制暖运转的按钮B1c)比其他按钮(例如按钮B1a、B1b、B1d)小地显示。

[3.2场景2]

图5是表示场景2的控制例的图。场景2是表示场景1的后续的场景。图5中的(a)是表示用户U操作了制冷运转的按钮B1a的瞬间的图。图5中的(b)是表示用户U将制冷运转的按钮B1a操作后的状态的图。在本实施方式中，如果用户U对操作部D2操作，则由操作检测部115检测到用户U的操作。操作控制部133从控制指令信息I5中选择与由操作检测部115检测到的用户U的操作内容对应的控制指令，将所选择的控制指令向空调2发送。由此，开始空调2的动作。

显示控制部132基于由操作检测部115检测到的用户U的操作内容和空调2的变更后的设定状态，进行关于房间内的气流的流动(例如，气流的风量及风向)的模拟。并且，显示控制部132显示包括将气流的流动的模拟结果可视化后的像FI在内的显示D1。即，显示控制部132使将气流的流动的模拟结果可视化后的像FI重叠于周围的风景而显示。

如图5所示，气流的虚拟的像FI中的气流的朝向(风向)例如由表示空间内的各地点处的流动方向(向量)的箭头显示。此外，关于空间上的没有朝向的状态，由颜色的浓淡显示。例如，气流的虚拟的像FI中的风量通过对空间内的各地点处的风量的大小(标量)进行表示的颜色的浓淡显示。例如，风量越多的区域则颜色越浓、风量越少的区域则颜色越淡地显示。代之，气流的虚拟的像FI也可以由包含在气流中的粒子的流动来显示。关于该情况下的例子，在后面详细地叙述。

在本实施方式中，在佩戴着智能眼镜1的用户U改变了移动或朝向的情况下，显示控制部132显示与该新的位置或新的朝向对应的气流的虚拟的像FI。例如，在佩戴着智能眼镜1的用户U朝向与空调2相反侧的情况下，显示控制部132使包含被从空调2吹出并向用户U的后方流动的气流的虚拟的像FI在内的显示D1显示。

在本实施方式中，显示控制部132将表示家电设备的动作状态的刚变更后的模拟结果的内容和表示从家电设备的动作状态的变更起经过了一定时间后的模拟结果的内容可切换地显示。例如，关于空调2而言，在房间较热的期间中空调2的工作状态变高，从空调2吹出的气流的量较多。另一方面，在房间冷却后，空调2的工作状态只要是能够维持室温的程度的较低的工作状态就足够，从空调2吹出的气流的量相对较少。

所以，计算部131在受理了关于空调2的动作状态的用户U的规定的操作的情况下(例如，在房间较热的状态下制冷运转的按钮B1a被按下的情况、或在房间较冷的状态下制暖运转的按钮B1c被按下的情况下)，分别导出空调2的动作状态刚变更后(例如动作刚开始后)的模拟结果和房间的温度稳定后的空调2的动作状态的模拟结果。并且，显示控制部132根据用户U的操作而将如下的像FI可切换地显示：将空调2的动作状态的刚变更后(例如动作刚开始后)的模拟结果可视化后的气流的虚拟的像FI、和将房间的温度稳定后的空调2的动作状态的模拟结果可视化后的气流的虚拟的像FI。根据这样的结构，用户U能够容易地识别空调2的动作状态刚刚变更后的气流和房间的温度稳定后的动作状态的气流的流动。

此外，也可以是，作为空调2的动作状态的基于多个观点的模拟结果，显示控制部132使将基于气流的模拟结果可视化后的内容和将基于房间温度的模拟结果可视化后的内容根据用户U的操作而可切换地显示。

图6是表示场景2的控制例的变形例的图。在本变形例中，显示控制部132作为显示D1，使将空调2的动作状态刚变更后(例如动作刚开始后)的模拟结果可视化后的气流的虚拟的像FI1与将房间温度稳定后的空调2的动作状态的模拟结果可视化后的气流的虚拟的像FI2重叠地显示。通过这样的结构，用户U也能够容易地识别空调2的动作状态刚变更后的气流和房间的温度稳定后的动作状态的气流的流动。

[3.3场景3]

图7是表示场景3的控制例的图。场景3是表示由状态检测部112检测到周围的状态满足规定条件的情况的场景。在本实施方式中，显示控制部132如上述那样，在空调2进入到相机40的视角中的情况下(即，在由家电设备检测部111检测到空调2进入到由相机40摄影的图像中的情况下)，使用来操作空调2的操作部D2显示。另一方面，显示控制部132在空调2没有进入到相机40的视角中的情况下，将用来操作空调2的操作部D2设为不显示。

但是，在本实施方式中，在空调2没有进入到相机40的视角中的情况下，在由状态检测部112检测到周围的状态满足规定条件的情况下，也使表示与空调2关联的信息的显示D1和用来操作空调2的操作部D2显示。“周围的状态满足规定条件的情况”例如是，根据状态检测部112而满足上述的高温注意或低温注意的条件的情况。

显示控制部132在由状态检测部112检测到满足高温注意的条件的情况下，即使在空调2没有进入到相机40的视角中的情况下，也使表示房间的温度较高的注意唤起D3、表示空调2的状态的显示D1、和包括制冷运转的按钮B1a及选择不操作的按钮B1e在内的操作部D2显示(参照图7)。另一方面，显示控制部132在由状态检测部112检测到满足低温注意的条件的情况下，即使在空调2没有进入到相机40的视角中的情况下，也使表示房间的温度较低的注意唤起D3、表示空调2的状态的显示D1、和包括制暖运转的按钮B1c及选择不操作的按钮B1e在内的操作部D2显示。

[3.4场景4]

图8是表示场景4的控制例的图。场景4是表示需要温度或湿度的管理的特定物品SI(例如相机或乐器)进入到相机40的视角中的情况的场景。在本实施方式中，显示控制部132如上述那样，在空调2进入到相机40的视角中的情况下，使用来操作空调2的操作部D2显示。另一方面，显示控制部132在空调2没有进入到相机40的视角中的情况下，将用来操作空调2的操作部D2设为不显示。

但是，在本实施方式中，在空调2没有进入到相机40的视角中的情况下，在由状态检测部112检测到的周围的状态满足规定条件(例如，满足房间的温度为对应于特定物品SI的特定阈值以上的情况、或房间的湿度为对应于特定物品SI的特定阈值以上的情况)，并且特定物品SI进入到相机40的视角中的情况下(即，由物品检测部113检测到特定物品SI进入到由相机40摄影的图像中的情况下)，使用来操作空调2的操作部D2显示。特定物品SI的种类与对应于该特定物品SI的温度或湿度的阈值的对应关系被作为阈值信息I2的一部分存储在存储部140中。

例如，显示控制部132在由状态检测部112检测到房间的湿度是对应于特定物品SI的特定阈值以上、并且特定物品进入到相机40的视角中的情况下，即使在空调2没有进入到相机40的视角中的情况下，也使表示对于特定部件SI而言房间的湿度较高的注意唤起D4、表示空调2的状态的显示D1、和包括用来开始空调2的除湿运转的按钮B1f及选择不操作的按钮B1e在内的操作部D2显示(参照图8)。另一方面，显示控制部132在由状态检测部112检测到房间的温度是对应于特定物品SI的特定阈值以上、并且特定物品SI进入到相机40的视角中的情况下，使对于特定部件SI而言房间的温度较高的注意唤起D4、在空调2没有进入到相机40的视角中的情况下也表示空调2的状态的显示D1、和包括空调2的制冷运转的按钮B1a及选择不操作的按钮B1e在内的操作部D2显示。

[3.5场景5]

图9是表示场景5的控制例的图，是表示作为操作部D2而显示第1形态的操作部D21的情况的图。场景5是表示空调2动作的情况的场景。在本实施方式中，显示控制部132在作为操作部D2而显示第1形态的操作部D21的情况下，不使操作部D2的显示追随于佩戴着智能眼镜1的用户U的移动或改变朝向的运动。另一方面，显示控制部132在作为操作部D2而显示与第1形态不同的第2形态的操作部D22的情况下，使操作部D2的显示追随于佩戴着智能眼镜1的用户U的移动或改变朝向的运动。

详细地讲，在本实施方式中，显示控制部132在空调2动作的状态下空调2进入到相机40的视角中的情况下，作为操作部D2，使用来操作空调2的第1形态的操作部D21显示。第1形态的操作部D21是不能进行空调2的气流的详细设定的操作部。例如，第1形态的操作部D21包括使空调2的运转停止的按钮B2a、向空调2的温度设定的操作画面转移的按钮B2b、及向空调2的气流设定的操作画面转移的按钮B2c。关于使空调2的气流设定的操作画面显示的按钮B2c，仅将该按钮B2c按下的话，不能进行气流的详细设定。因此，包含向空调2的气流设定的操作画面转移的按钮B2c在内的操作部D2是“不能进行空调2的气流的详细设定的操作部”的一例。

显示控制部132在作为操作部D2而显示第1形态的操作部D21的情况下，不使操作部D2的显示追随于用户U的移动或改变朝向的运动。“不使操作部D2的显示追随”，例如是指在空调2从相机40的视角偏离的情况下不由显示控制部132显示操作部D2(将操作部D2设为不显示)。即，在佩戴着智能眼镜1的用户U观看与空调2不同的方向的情况下，对应于空调2从用户U的视野中消失，操作部D2的显示也消失。

图10是表示场景5的后续的图，是表示作为操作部D2而显示第2形态的操作部D22的情况的图。在本实施方式中，通过操作第1形态的操作部D21的特定的按钮(例如，气流设定的按钮B2c)，显示控制部132使从第1形态的操作部D21转移后的第2形态的操作部D22显示。第2形态的操作部D22是能够进行空调2的气流的详细设定的操作部。例如，第2形态的操作部D22包括变更空调2的风量的操作件B3a、变更空调2的左右方向的风向的操作件B3b、变更空调2的上下方向的风向的操作件B3c、将气流的设定变更中止的取消按钮B3d、及确定气流的设定变更的内容并向空调2指示的发送按钮B3e。

这里，在本实施方式中，仅通过由用户U操作上述的操作件B3a、B3b、B3c，空调2的动作不被变更，在发送按钮B3e被按下的时刻，设定变更的内容确定，空调2的动作被变更。在本实施方式中，计算部131在受理了与空调2的动作状态有关的用户U的规定的操作(例如对于操作件B3a、B3b、B3c的某个的操作)的情况下，进行预测空调2的变更后的动作状态(例如，与对于操作件B3a、B3b、B3c的操作对应的变更后的气流的强度及朝向)的模拟。

并且，显示控制部132在变更空调2的动作状态之前，对于周围的风景，将显示D1重叠显示，所述显示D1包含对由计算部131得到的空调2的变更后的动作状态的模拟结果进行可视化后的气流的虚拟的像FI。在本实施方式中，在空调2的动作状态被确定之前(例如，发送按钮B3e被按下之前)，在操作件B3a、B3b、B3c的某个经过了多次操作的情况下，每当操作件B3a、B3b、B3c***作，就由计算部131再次进行上述模拟，将包含对该模拟结果进行可视化后的气流的虚拟的像FI在内的显示D1每次更新而显示(即，切换显示)。

显示控制部132在作为操作部D2而显示第2形态的操作部D22的情况下，使操作部D2的显示追随于佩戴着智能眼镜1的用户U的移动或改变朝向的运动。“使操作部D2的显示追随”，例如是指即使在空调2从相机40的视角偏离的情况下也由显示控制部132将操作部D22在用户U可见的范围内继续显示。即，即使在佩戴着智能眼镜1的用户U观看与空调2不同的方向的情况下，操作部D2的显示也留在用户U的视野中。

这里如上述那样，本实施方式的显示控制部132在佩戴着智能眼镜1的用户U观看与空调2不同的方向的情况下，使在该方向上观察的情况下的上述气流的虚拟的像FI显示。即，在佩戴着智能眼镜1的用户U朝向与空调2相反侧的情况下，显示从空调2吹出并向用户U的后方流动的气流的虚拟的像FI。在该状态下，如果由用户U将操作件B3a、B3b、B3c操作，则显示控制部132根据对于操作件B3a、B3b、B3c的操作，将向用户U的后方流动的气流的虚拟的像FI变更。由此，用户U能够一边确认例如自己的后方及侧方的气流的虚拟的像FI，一边通过将操作件B3a、B3b、B3c操作来调整气流的设定。

图11是表示场景5的控制例的变形例的图。在本变形例中，显示控制部132在受理了关于空调2的动作状态的用户U的规定的操作的情况下(例如，在由用户U操作了操作件B3a、B3b、B3c中的1个以上的情况下)，作为显示D1，使对空调2的动作状态的变更前的模拟结果进行可视化后的气流的虚拟的像FIA和对空调2的动作状态的变更后的模拟结果进行可视化后的气流的虚拟的像FIB重叠显示。根据这样的结构，用户U能够容易地比较动作状态的变更前的样子和动作状态的变更后的样子。由此，能够进一步提高用户U的便利性。

[3.6场景6]

图12是表示场景6的图。在本实施方式中，操作控制部133基于由用户U配置在虚拟空间上的对象OB(对象物)的位置，导出家电设备的1个以上的动作参数，将所导出的1个以上的动作参数向家电设备发送。

例如，显示控制部132能够代替操作部D2而将对象OB配置到虚拟空间上，或除了操作部D2之外还将对象OB配置到虚拟空间上。对象OB自身是由显示控制部132生成的虚拟的对象。用户U例如通过指尖的操作，能够在虚拟空间上变更对象OB的位置。在图12所示的例子中，是根据对象OB的位置来变更空调2的动作状态以使气流从空调2朝向对象OB流动的情况。

这里，操作控制部133在根据对象OB的位置将空调2的动作状态变更的情况下，不将表示对象OB的位置的信息向空调2发送。在本实施方式中，与对象OB的位置对应的空调2的适当的动作参数由计算部131求出。空调2的动作参数例如与由红外线遥控器动作的一般的对于空调的控制指令同样，是选择在左右方向上可选择的多个等级的送风方向中的第几个送风方向、选择在上下方向上可选择的多个等级的送风方向中的第几个送风方向、或选择可选择的多个等级的送风强度中的第几个送风强度等的参数(控制指令)，从控制指令信息I5中被选择。

图13是表示场景6的变形例的图。图13所示的例子是根据对象OB的位置变更空调2的动作状态、以使气流不从空调2朝向对象OB流动的例子。例如，用户U通过将对象OB配置在不想使风吹到的场所(床或观赏植物的配置场所)，能够调整房间的温度或湿度，以使得风仅不向房间内的特定的场所吹送。

[3.7场景7]

图14是表示场景7的图。在本实施方式中，计算部131在存在与操作对象的家电设备(第1家电设备)不同的家电设备(第2家电设备)的情况下，进行反映了第2家电设备的影响的模拟。例如，计算部131在由家电设备检测部111检测到电风扇3的情况下，进行反映了电风扇3的影响的来自空调2的气流的流动的模拟。

在本实施方式中，家电设备检测部111基于由相机40摄影到的图像，确定电风扇3的头的朝向(电风扇3的风向)。并且，计算部131反映所确定的电风扇3的风向而进行来自空调2的气流的流动的模拟。并且，显示控制部132使包含反映了电风扇3的风向而对来自空调2的气流的流动的模拟结果进行可视化后的气流的虚拟的像FI在内的显示D1显示。

另外，家电设备检测部111也可以取得在智能眼镜1与电风扇3之间进行通信的情况，基于在可通过相机40检测到叶轮的旋转角度的时间间隔下摄影到的多片电风扇的图像，来取得表示电风扇3的风量的信息。在此情况下，控制部130也可以反映特定的电风扇3的风向和风量而进行来自空调2的气流的流动的模拟，使包含对该模拟的结果进行可视化后的气流的虚拟的像FI在内的显示D1显示。

在本实施方式中，计算部131在由受理部120受理了对要素(例如窗4或换气扇5)的状态进行表示的用户U的输入的情况下，基于由受理部120受理的用户U的输入的内容，进行反映了上述要素的状态(例如，窗4的开闭状态、换气扇5的动作状态)的模拟，所述要素的状态是不能取得关于状态的信息。并且，显示控制部132使包含反映上述要素的状态而对来自空调2的气流的流动的模拟的结果进行可视化后的气流的虚拟的像FI在内的显示D1显示。另外，不能取得关于状态的信息的、要素(例如窗4或换气扇5)的状态也可以由相机40取得。

[4.关于气流的模拟]

接着，对关于气流的模拟的一例进行说明。

[4.1周围环境信息的取得]

在本实施方式中，计算部131基于由相机40摄影到的图像，识别出配置有家电设备的房间的布局或房间内的物品(例如家具)的配置的一方或双方(即，由周边环境检测部114检测)，将识别出的房间的布局及物品的配置作为周围环境信息I4向存储部140存储。并且，计算部131将与识别出的房间的布局对应的墙壁及房间内的物品的表面作为来自空调2的气流的流动的制约条件，进行气流的流动的模拟。

另外，控制部130也可以代替由相机40进行的周围环境信息的取得或除其之外，由受理部120受理表示配置有家电设备的房间的布局或房间内的物品的配置的一方或双方的用户U的输入。在此情况下，受理部120将基于用户U的输入的内容作为周围环境信息I4的全部或一部分向存储部140存储。并且，计算部131将与从用户U输入的房间的布局对应的墙壁及房间内的物品的表面作为来自空调2的气流的流动的制约条件，进行气流的流动的模拟。

[4.2借助粒子进行的近似]

图15是表示气流的流动的模拟结果的一例的图。本实施方式的计算部131代替完全计算气流的流动本身，通过计算包含在气流中的多个粒子P的运动，减少了模拟的计算量。此外，本实施方式的计算部131代替完全计算多个粒子P的运动，通过将与空调2的1个以上的动作参数(阶段性地设定的气流的风量及风向)对应而预先准备的模拟结果(多个粒子P的运动)原样地使用或进行与房间的布局及房间内的物品的位置对应的修正后使用，从而导出需要的模拟结果。并且，显示控制部132使对所导出的模拟结果进行可视化后的气流的流动的虚拟的像FI显示。具体来说，对粒子P赋予下述条件，进行关于气流的模拟。

(1)粒子P的初始状态(刚被从空调2吹出之后的状态)

(1－1)气流的风量通过多个粒子P的初速度的大小的平均来近似。对于多个粒子P，赋予遵循一定的分布的初速度的大小。

(1－2)气流的风向通过多个粒子P的初速度的方向的平均来近似。对于多个粒子P，赋予遵循一定的分布的初速度的方向。

(1－3)假设粒子P的初始位置在空调2的附近以分布状发生。

(1－4)粒子P的初速度越大，越使粒子P的发生数增加。由此，在粒子P的速度较快的情况下，能够抑制看起来离散。此外，通过粒子P的初速度越大越使粒子P的发生数增加，能够表现气流的风量。

(2)粒子P的之后的动作(从被从空调2吹出起经过一定时间后的状态)

(2－1)粒子P的移动速度随着时间经过而减速。

(2－2)在与房间的墙壁或物品的表面(以下将它们一起称作“墙壁”)的碰撞中，粒子P的速度不大幅减小，相对于墙壁的反射角设定为比入射角大。对此详细在后面叙述。

(2－3)对粒子P在经过一定时间后作用朝向上方的加速度。另外，加速度在制冷运转和制暖运转中被设定不同的值。

(2－4)粒子P的灭失条件是经过一定时间。但是，相对于墙壁碰撞的数量越多则越快地灭失。

图16是表示关于粒子P相对于墙壁W的碰撞时的运动的设定条件的图。通常，已知在空气的粒子P碰撞到墙壁W上的情况下，入射角α与反射角β1相等。但是，在本实施方式中，为了减少模拟的计算量，假设不发生在墙壁W上反射的粒子P与朝向墙壁W前进的后续的粒子P的碰撞而进行处理。因此，在本实施方式中，以使得在粒子P碰撞到墙壁W上的情况下反射角β2比入射角α大(即，粒子P向墙壁W的附近流动)的方式设定反射角β2。由此，能够不计算与后续的粒子P的碰撞，而近似出与碰撞在墙壁W上的粒子P的实际情况接近的运动。

[4.3碰到判定]

在本实施方式中，计算部131进行称作“碰到判定”的处理。“碰到判定”是在求出粒子P的运动的模拟中，对从空调2吹出的粒子P中的每单位时间碰到佩戴着智能眼镜1的用户U的粒子P的个数进行计数的处理。碰到用户U的粒子P的个数与用户U感到的气流的强度具有相关关系。即，碰到用户U的粒子P的个数越少，用户U感到越弱的风。另一方面，碰到用户U的粒子P的个数越多，用户U感到越强的风。因此，通过求出碰到用户U的粒子P的个数，能够将用户U感到的风的强度数值化。

这里，计算部131在进行制冷运转的情况下，将碰到判定用的区域配置到与实际的用户U的身体的高度对应的位置，计数粒子P对于该区域的碰撞数(经过数)。另一方面，计算部131在进行制暖运转的情况下，将判定用的区域配置到比实际的用户U的身体的高度低的位置(例如，用户U的脚边附近的高度位置)，计数粒子P对于该区域的碰撞数(经过数)。根据这样的结构，能够更正确地反映制暖运转中的用户U的感觉。

[4.4气流的虚拟的像的显示例]

如图15所示，显示控制部132作为对模拟结果进行可视化后的气流的虚拟的像FI而显示多个粒子P的运动。即，显示从空调2的吹出口的附近吹出的多个粒子P的运动。这样的粒子P的运动与将气流的流动用线及箭头表示的情况相比，对于用户U而言更容易直觉地了解。

在本实施方式中，显示控制部132将包含基于上述的“碰到判定”的结果而被数值化的表示“用户U感到的风的强度”的指标D1b在内的显示D1显示。在本实施方式中，将指标D1b用棒那样的显示形态显示。即，将风没有碰到用户U的状态设为“0”，将一定以上的风碰到用户U的状态设为“100”，显示风以其之间的何种程度的级别(level)碰到用户U。另外，指标D1b也可以代替上述例子而用根据级别而颜色不同的彩色棒、“微风”或“剧风”等的字符或它们的组合来表现。

图17是表示对气流进行可视化后的像FI的第1显示例的图。在本变形例中，在从空调2吹出的多个粒子P中，将不会碰到用户U的粒子PA用第1色(例如蓝色)显示。另一方面，在从空调2吹出的多个粒子P中，将可能碰到用户U的粒子PB用第2色(例如红色)显示。通过这样的第1显示例，也能够向用户U容易了解地传达风以何种程度的级别碰到用户U。

图18是表示对气流进行可视化后的像FI的第2显示例的图。在本变形例中，在从空调2吹出的多个粒子P中，将在最近的单位时间中碰到用户U的粒子PC用第1色(例如黄色)显示。在从空调2吹出的多个粒子P中，将过去碰到用户U的粒子PD用第2色(例如红色)显示。在从空调2吹出的多个粒子P中，将作为粒子PB、PC以外的粒子P的粒子PE用第3色(例如蓝色)显示。通过这样的第2显示例，也能够向用户U容易理解地传达风以何种程度的级别碰到用户U。

[4.5坐标系的设定]

图19是表示在本实施方式中使用的坐标系的图。在本实施方式中使用3个坐标系。

(1)以空调2的位置为基准的坐标系(第1坐标系S1)

(2)以用户U(智能眼镜1)的位置为基准的坐标系(第2坐标系S2)

(3)表示配置有空调2的房间的实空间内的坐标的坐标系(第3坐标系S3)

在本实施方式中，计算部131在第1坐标系S1中进行关于空调2的动作状态的模拟(例如求出粒子P的运动的模拟)。但是，计算部131关于粒子P对于墙壁(房间的墙壁或物品的表面)的碰撞和之后的流动，在第1坐标系S1中不计算。并且，显示控制部132将在第1坐标系S1中进行的模拟的结果变换为第3坐标系S3的内容并保持。即，显示控制部132将在第1坐标系S1中进行的模拟的结果与第3坐标系S3中的房间的实空间内的坐标建立关联而保持。第3坐标系S3是基准位置与第1坐标系S1不同的坐标系的一例。

另一方面，计算部131在第2坐标系S2中进行上述的关于“碰到判定”的处理。例如，计算部131将用于求出在第1坐标系S1中所求出的粒子P的运动的、模拟的结果的内容变换到第2坐标系S2，并计数对于第2坐标系S2中所设定的用于“碰到判定”的区域进行碰撞的粒子P的个数。此外，显示控制部132在第2坐标系S2中决定显示D1及操作部D2的显示位置。

计算部131使用上述的被变换为第3坐标系S3的上述模拟的结果，在第3坐标系S3中计算粒子P对于墙壁W(房间的墙壁或物品的表面)的碰撞和之后的流动，将在第1坐标系S1中计算出的上述模拟的结果修正。在第3坐标系S3中，设定了配置有空调2的房间的布局及物品(例如家具)。

并且，显示控制部132生成表示基于在第3坐标系S3中修正后的上述模拟的结果将气流可视化的像FI(多个粒子P的运动)的图像，使所生成的图像作为显示D1的一部分显示。在此情况下，显示控制部132每当空调2进入相机40的视角，就重新设定空调2与第3坐标系S3的位置关系。由此，即使在空调2和第3坐标系S3的最初的位置关系没有被正确地设定的情况下，空调2和第3坐标系S3的位置关系也得到修正。

根据这样的坐标系，在智能眼镜1剧烈地运动(相机40剧烈地运动)的情况下处理也不易发生延迟。此外，如果在第1坐标系S1或第3坐标系S3中进行关于模拟的计算，则即使智能眼镜1自身的坐标错误，也不易受到影响。此外，从空调2吹出的风如果考虑由风向变更带来的旋转等，则第1坐标系S1更容易建立计算的算法及计算式。进而，由于其风(近似的粒子P)是模拟结果，没有粒子P和空调2那样的相对位置的取得，所以空调2基准的计算变得容易。

作为关于坐标系的第1变形例，计算部131也可以在第1坐标系S1中将粒子P对于墙壁(房间的墙壁或物品的表面)的碰撞也包括在内地进行关于气流的全部的模拟，由第1坐标系S1将所保持的模拟结果作为显示D1显示。根据这样的第1变形例的结构，虽然有在智能眼镜1剧烈地运动(相机40剧烈地运动)时处理延迟的情况，但即使智能眼镜1识别出的当前的坐标中有偏差，也能够减小影响。

作为关于坐标系的第2变形例，计算部131也可以在第2坐标系S2中将粒子P对于墙壁(房间的墙壁或物品的表面)的碰撞也包括在内地进行关于气流的全部的模拟，由第2坐标系S2将所保持的模拟结果作为显示D1显示。根据这样的第2变形例的结构，虽然有在智能眼镜1剧烈地运动(相机40剧烈地运动)时处理延迟的情况，但除了这样的情况以外，能够没有问题地进行计算及显示。

作为关于坐标系的第3变形例，计算部131也可以在第3坐标系S3中进行关于气流的全部的模拟(即，与房间的实空间内的坐标建立关联而进行空调2的动作状态的模拟)，由第3坐标系S3将所保持的模拟结果作为显示D1显示。即，在计算中使用的坐标不会通过智能眼镜1的运动而晃动，将计算的结果与实坐标建立对应。根据这样的第3变形例的结构，如果智能眼镜1自身的坐标错误，则结果也错误，但由于即使智能眼镜1运动也抑制重新计算气流的流动，所以即使漏看了空调2、或相机40剧烈地运动，也能够减小影响。

[5.优点]

在本实施方式中，智能眼镜1具有通过虚拟空间技术使显示D1或操作部D2中的一方或双方显示的控制部130，所述显示D1表示与空调2关联的信息，操作部D2用来操作空调2。根据这样的结构，与通常的设备控制器相比，能够动态地变更按钮的显示尺寸及配置。由此，能够对于用户U提供更容易使用的用户接口，能够实现用户U的便利性的提高。

在本实施方式中，控制部130在由检测部110检测到的周围的状态满足第1条件的情况下，显示与第1条件对应的操作部D2，在由检测部110检测到的周围的状态满足与第1条件不同的第2条件的情况下，使与第2条件对应的操作部D2显示。根据这样的结构，根据状况来将操作部D2的显示变更。由此，能够实现用户U的便利性的进一步的提高。

在本实施方式中，控制部130在空调2进入到由相机40摄影的图像中的情况下使操作部D2显示，在空调2没有进入到由相机40摄影的图像中的情况下，也在由检测部110检测到的周围的状态满足规定条件的情况下使操作部D2显示。根据这样的结构，在较热的情况及较冷的情况、湿度较高的情况下等，能够对用户U以任意的时机进行建议。由此，能够实现用户U的便利性的进一步提高。

在本实施方式中，控制部130在周围的状态满足规定条件、并且检测到特定物品SI的情况下，使操作部D2显示。根据这样的结构，在有对于炎热或湿度耐受力较弱的物品的情况下，能够对用户U在任意的定时进行建议。由此，能够实现用户U的便利性的进一步的提高。

这里，在通常的红外线遥控器中，在进行“风向的变更”的情况下，有不知道怎样操作实际风会朝向哪里的情况。此外，难以进行意识到房间整体的气流设定。但是，在本实施方式中，显示气流的虚拟的像FI。由此，当设定空调2的气流时，例如容易知道若朝右几个级别则风会来到自己这边地进行设定，如果图像错误则抑制进行调节的作业。由此，能够实现用户U的便利性的进一步的提高。此外，由于使用三维的信息，所以也能够确认从其他角度观察的气流的整体像等，容易进行意识到房间整体的气流设定。

(第2实施方式)

接着，对第2实施方式进行说明。第2实施方式的智能眼镜1虽然进行对与家电设备关联的信息进行表示的显示D1、但不显示操作部D2，在这一点上与第1实施方式不同。以下说明的以外的结构与第1实施方式的结构是同样的。

图20是表示第2实施方式的控制例的图。在本实施方式中，显示控制部132进行对与空调2关联的信息进行表示的显示D1，但不显示操作部D2。用户U一边确认空调2的状态及气流的虚拟的像FI，一边使用实际存在的通常的红外线遥控器RC来操作空调2。

通过这样的结构，用户U也能够一边确认空调2的状态及气流的虚拟的像FI的基于虚拟空间技术的显示D1一边进行空调2的操作。因此，用户U的便利性提高。

(第3实施方式)

接着，对第3实施方式进行说明。第3实施方式在用户U操作的信息处理装置不是智能眼镜1而是智能电话或平板电脑终端那样的终端装置1A这一点上与第1实施方式不同。以下说明的以外的结构与第1实施方式的结构是同样的。

图21是表示第3实施方式的终端装置1A的图。终端装置1A与第1实施方式的智能眼镜1同样，具有相机40、麦克风50、通信模组60及控制基板70。终端装置1A具有作为液晶显示器或有机EL(Electro Luminescence)显示器的显示装置30A。显示装置30A包括重叠于显示画面而配置的静电电容式的接触传感器。

在终端装置1A中，安装着用来实现上述的检测部110、受理部120及控制部130的应用程序。终端装置1A是“信息处理装置”的一例，是操作家电设备的设备控制器。本实施方式的终端装置1A是“信息处理***”的一例。

在本实施方式中，显示控制部132使显示装置30A的显示画面显示由相机40实时摄影的周围的风景。并且，显示控制部132使显示装置30A的显示画面显示基于虚拟空间技术的显示D1及/或操作部D2。即，显示控制部132将基于虚拟空间技术的显示D1及/或操作部D2显示在显示装置30A上，并将由相机40实时摄影到的周围的风景重叠显示在显示画面上。显示D1包含表示家电设备的状态的显示D1a及/或将来自空调2的气流可视化后的像FI。操作检测部115基于用户U对于显示装置30A的显示画面的操作，受理用户U的操作。

根据这样的结构，通过不进行新的设备的导入而在需要的场合下将应用程序起动，从而能够利用增强现实的遥控器。因此，用户U的便利性提高。

本实施方式的终端装置1A能够实现关于第1实施方式的智能眼镜1说明的全部的控制例。例如，在用户U将终端装置1A朝向与空调2相反侧的情况下，显示控制部132使包含从空调2吹出并向用户U的后方流动的气流的虚拟的像FI在内的显示D1显示。关于本实施方式的说明只要将关于第1实施方式的说明中的“智能眼镜1”改称作“终端装置1A”、将“佩戴着智能眼镜1的用户U”改称作“保持着终端装置1A的用户U”就可以。在本实施方式中“用户U改变了朝向的情况”可以包括“用户U改变了终端装置1A的朝向的情况”。

(第4实施方式)

接着，对第4实施方式进行说明。第4实施方式在第1实施方式的智能眼镜1的功能的一部分被设置在其他装置中这一点上与第1实施方式不同。以下说明的以外的结构与第1实施方式的结构是同样的。

图22是表示第4实施方式的信息处理***200的图。信息处理***200包括主机装置210和1个以上的智能眼镜1(或终端装置1A)。主机装置210具有上述检测部110、受理部120及控制部130中的一部分或全部的功能。主机装置210能够与智能眼镜1(或终端装置1A)通信。主机装置210例如是配置在家庭内的计算机，但也可以是外部的网络上的服务器装置等。

根据这样的结构，与第1实施方式同样，用户U的便利性提高。根据本实施方式，能够由多个用户U共有主机装置210的计算结果，能够由多个用户U观看相同的内容。由此，有用户U的便利性进一步提高的情况。

以上，对几个实施方式及变形例进行了说明，但实施方式及变形例并不限定于上述例子。例如，显示D1及操作部D2的显示并不限定于增强现实(AR)及混合现实(MR)，也可以是虚拟现实(VR)或替代现实(SR)等。例如，重叠有显示D1的周围的风景也可以通过虚拟现实而显示。此外，也可以将过去的家电设备的动作状态等通过替代现实来显示。

此外，智能眼镜1及终端装置1A并不限定于操作空调2的装置。例如，智能眼镜1也可以与周围的风景重叠而显示菜谱。菜谱是“与家电设备关联的信息”的一例。在此情况下，用户U能够一边观看菜谱一边进行料理，并且能够不洗手而进行操作，所以能消除画面较小而不能看到或不能按下等的情况。

根据以上说明的至少一个实施方式，信息处理***通过具有利用虚拟空间技术显示对与家电设备关联的信息进行表示的显示或用来操作家电设备的操作部中的一方或双方的控制部，能够实现便利性的提高。

以下，对几个信息处理***进行附述。

[1]：一种信息处理***，具备控制部，通过虚拟空间技术使对与家电设备关联的信息进行表示的显示或用来操作上述家电设备的操作部中的一方或双方显示。

[2]：在[1]所记载的信息处理***中，上述控制部在受理了与上述家电设备的动作状态有关的用户的规定的操作的情况下，使对上述家电设备的刚变更后的动作状态的模拟结果进行可视化后的像和对从上述家电设备的变更起经过一定时间后的动作状态的模拟结果进行可视化后的像重叠或可切换地显示。

[3]：在[1]或[2]所记载的信息处理***中，上述控制部在以第1形态显示上述操作部的情况下，不使上述操作部的显示追随于用户的移动或改变朝向的运动，在以与上述第1形态不同的第2形态显示上述操作部的情况下，使上述操作部的显示追随于上述用户的移动或改变朝向的运动。

[4]：在[3]所记载的信息处理***中，上述家电设备是空调机；上述第1形态的操作部是不能进行上述空调机的气流的详细设定的操作部；上述第2形态的操作部是能够进行上述空调机的气流的详细设定的操作部。

[5]：在[1]至[4]中的任一项所记载的信息处理***中，上述控制部在以上述家电设备的位置为基准的坐标系中进行上述家电设备的动作状态的模拟，使包含其模拟结果的内容在内的上述显示进行显示。

[6]：在[1]至[4]中的任一项所记载的信息处理***中，上述控制部与配置有上述家电设备的房间的实空间内的坐标建立关联而进行上述家电设备的动作状态的模拟，使包含其模拟结果的内容在内的上述显示进行显示。

[7]：在[1]至[4]中的任一项所记载的信息处理***中，上述控制部在以上述家电设备的位置为基准的坐标系中进行上述家电设备的动作状态的模拟，将其模拟结果变换为与配置有上述家电设备的房间的实空间内的坐标建立了关联的内容，使包含变换后的上述模拟结果的内容在内的上述显示进行显示。

说明了本发明的几个实施方式，但这些实施方式是作为例子提示的，不是要限定发明的范围。这些实施方式能够以其他各种各样的形态实施，在不脱离发明的主旨的范围内能够进行各种各样的省略、替换、变更。这些实施方式及其变形包含在发明的范围或主旨中，并且包含在权利要求书所记载的发明和其等价的范围中。

标号说明

1…智能眼镜；2…空调(家电设备，第1家电设备)；3…电风扇(第2家电设备)；40…相机；70…控制基板；110…检测部；120…受理部；130…控制部；200…信息处理***。

Claims (15)

1.一种信息处理***，其中，

具备控制部，上述控制部通过虚拟空间技术，使如下的显示或如下的操作部中的一方或双方显示，上述显示对与家电设备关联的信息进行表示，上述操作部用来操作上述家电设备。

2.如权利要求1所述的信息处理***，其中，

还具备相机，

上述控制部在上述家电设备进入到由上述相机摄影的图像中的情况下使上述操作部显示。

3.如权利要求1或2所述的信息处理***，其中，

还具备检测周围的状态的检测部，

上述控制部在由上述检测部检测到的上述周围的状态满足第1条件的情况下，使与上述第1条件对应的上述操作部显示，在由上述检测部检测到的上述周围的状态满足与上述第1条件不同的第2条件的情况下，使与上述第2条件对应的上述操作部显示。

4.如权利要求1～3中任一项所述的信息处理***，其中，

还具备：

相机；以及

检测部，检测周围的状态；

上述控制部在上述家电设备进入到由上述相机摄影的图像中的情况下，使上述操作部显示，在上述家电设备没有进入到由上述相机摄影的图像中的情况下，也在由上述检测部检测到的上述周围的状态满足规定条件的情况下，使上述操作部显示。

5.如权利要求1～4中任一项所述的信息处理***，其中，

还具备：

状态检测部，检测周围的状态；以及

物品检测部，检测存在于周围的物品，

上述控制部在由上述状态检测部检测到的上述周围的状态满足规定条件、并且由上述物品检测部检测到特定物品的情况下，使上述操作部显示。

6.如权利要求1～5中任一项所述的信息处理***，其中，

上述控制部在受理了与上述家电设备的动作状态有关的用户的规定操作的情况下，在将上述家电设备的动作状态变更之前，使包含对上述家电设备的变更后的动作状态的模拟结果进行可视化后的像在内的上述显示重叠于周围的风景而显示。

7.如权利要求6所述的信息处理***，其中，

上述控制部在将上述家电设备的动作状态变更之前，使对上述家电设备的变更前的动作状态的模拟结果进行可视化后的像、和对上述家电设备的变更后的动作状态的模拟结果进行可视化后的像重叠或可切换地显示。

8.如权利要求1～7中任一项所述的信息处理***，其中，

上述控制部在存在与作为上述家电设备的第1家电设备不同的第2家电设备的情况下，进行反映了上述第2家电设备的影响的上述第1家电设备的动作状态的模拟，使包含对其模拟结果进行可视化后的像在内的上述显示显示。

9.如权利要求1～8中任一项所述的信息处理***，其中，

还具备受理用户的输入的受理部，上述用户的输入是与不能取得关于状态的信息的要素有关的输入，

上述控制部基于由上述受理部受理到的上述用户的输入的内容，进行反映了上述要素的影响的上述家电设备的动作状态的模拟，使包含对其模拟结果进行可视化后的像在内的上述显示显示。

10.如权利要求1～9中任一项所述的信息处理***，其中，

上述控制部基于由用户配置在虚拟空间上的对象物的位置，导出上述家电设备的1个以上的动作参数，并将所导出的上述1个以上的动作参数向上述家电设备发送。

11.如权利要求1～10中任一项所述的信息处理***，其中，

还具备相机，

上述控制部基于由上述相机摄影到的图像而识别出配置有上述家电设备的房间的布局或物品的配置的一方或双方，并进行反映了上述房间的布局或物品的配置的一方或双方的上述家电设备的动作状态的模拟，使包含对其模拟结果进行可视化后的像在内的上述显示显示。

12.如权利要求1～11中任一项所述的信息处理***，其中，

还具备受理用于表示配置有上述家电设备的房间的布局或物品的配置的一方或双方的用户的输入的受理部，

上述控制部基于由上述受理部受理到的上述用户的输入的内容，进行反映了上述房间的布局或物品的配置的一方或双方的上述家电设备的动作状态的模拟，使包含对其模拟结果进行可视化后的像在内的上述显示显示。

13.如权利要求1～12中任一项所述的信息处理***，其中，

上述控制部作为上述家电设备的动作状态的模拟，将对应于上述家电设备的动作参数而预先准备的模拟结果原样地或进行修正后显示为上述显示的至少一部分。

14.一种设备控制器，其中，

具备控制部，上述控制部通过虚拟空间技术，使如下的显示或如下的操作部中的一方或双方显示，上述显示对与家电设备关联的信息进行表示，上述操作部用来操作上述家电设备。

15.一种程序，其中，

使计算机执行如下处理：

通过虚拟空间技术使如下的显示或如下的操作部中的一方或双方显示，上述显示对与家电设备关联的信息进行表示，上述操作部用来操作上述家电设备。

Images