CN105320931B - 物品信息提供装置和物品信息提供*** - Google Patents
物品信息提供装置和物品信息提供*** Download PDFInfo
- Publication number
- CN105320931B CN105320931B CN201510276122.8A CN201510276122A CN105320931B CN 105320931 B CN105320931 B CN 105320931B CN 201510276122 A CN201510276122 A CN 201510276122A CN 105320931 B CN105320931 B CN 105320931B
- Authority
- CN
- China
- Prior art keywords
- article
- item information
- information
- subject
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/80—Recognising image objects characterised by unique random patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种物品信息提供装置，其将表示用户想知晓的物品信息的物品信息图像以恰当时机显示出来。若通过作为物品信息提供装置的一个方式的HMD的摄像部的一个方式即摄像机拍摄现实空间，通过作为被摄体识别部的一个方式的图像识别部识别利用摄像机拍摄下来的被摄体，通过作为物品辨别部的一个方式的图像处理控制部从利用图像识别部识别的被摄体中辨别物品，则将显示辨别的物品的物品识别信息借助作为第一信息收发部的无线收发部来发送至信息管理服务器。此外，若从信息管理服务器的第一信息收发部即无线收发部获得物品的物品信息，则利用图像处理控制部，根据辨别的物品的状态，在显示部上显示表示物品信息的物品信息图像。
Description
技术领域
本发明涉及一种提供物品信息的物品信息提供装置、物品信息提供***以及物品信息提供方法。
背景技术
近年来，所谓的增强现实(Augmented Reality，简称AR)技术被应用在各种各样的领域，AR技术将假象物体如同其存在于现实空间一般显示在显示部。
作为其中一个例子，例如，对客人等想确认物品信息的人即时提供与店铺中陈列的商品等物品相关的物品信息的这种物品信息提供***已为人所知。该技术通过摄像部拍摄现实空间，通过物品信息获取部获取有关通过摄像部拍摄的摄像图像中所包含的物品的物品信息，通过图像生成部，基于通过摄像部拍摄的摄像图像中所包含的物品的位置，生成增强现实图像，从而能够利用显示部将利用图像生成部生成的增强现实图像显示出来；其中，所述增强现实图像用于将通过物品信息获取部获取的物品信息在现实空间重叠显示。
发明内容
发明要解决的课题
上述物品信息提供***中，若通过物品信息获取部来获取有关通过摄像部拍摄的摄像图像中所包含的物品的物品信息，则利用图像生成部，基于通过摄像部拍摄的摄像图像中所包含的物品的位置，将显示通过物品信息获取部获取的物品信息的物品信息图像利用显示部在现实空间重叠显示，因此能够将店铺中陈列的商品等物品的物品信息即时提供给客等人。
然而，这样的物品信息提供***中，当客人等指着物品，抓住物品的时候，由于摄像图像中会包含手指，从而判断为客人等想知晓物品信息，立即将表示物品信息的物品信息图像显示出来。然而，客人等指着物品、抓住物品的行为，有时候并不一定是他们想知晓物品信息的行为。也就是说，因为很多情况是看各种各样的物品时无意中只触碰物品而已。
这么一来，如果在客人等只触碰物品的情况下，就显示表示物品信息的物品信息图像的话，就会显示出多余的物品信息图像，而且让多余的物品信息图像进入客人等视野中，使人感到繁杂。
于是，需要开发出一种能够以恰当的时机显示出表示用户即客人等想知晓的物品信息的物品信息图像的装置。
本发明是鉴于这样的状况而发明出来的，其目的在于提供一种能够以恰当的时机显示出表示用户即客人等想知晓的物品信息的物品信息图像的物品信息提供装置、物品信息提供***、物品信息提供方法以及物品信息提供程序。
解决课题的方法
本发明的物品信息提供装置的特征为：具备：显示表示物品信息的物品信息图像的显示部；拍摄现实空间的摄像部；识别被所述摄像部拍摄的被摄体的被摄体识别部；从通过所述被摄体识别部所识别的被摄体中辨别物品，根据所述辨别的物品的状态，将所述物品信息图像显示在所述显示部的物品辨别部。
本发明的物品信息提供***的特征为：具备物品信息提供装置和信息管理服务器；所述物品信息提供装置具备：显示表示物品信息的物品信息图像的显示部；在与所述信息管理服务器之间进行信息发送接收的第一信息收发部；拍摄现实空间的摄像部；识别通过所述摄像部所拍摄的被摄体的被摄体识别部；从通过所述被摄体识别部所识别的被摄体中辨别物品，将表示所述辨别的物品的物品识别信息借助所述第一信息收发部发送至所述信息管理服务器，从所述信息管理服务器接受所述物品的物品信息，根据所述辨别的物品的状态，将所述物品信息图像显示在所述显示部的物品辨别部；所述信息管理服务器具备：收录了所述物品信息的数据库；和所述物品信息提供装置之间进行信息发送接收的第二信息收发部；基于所述物品识别信息识别物品的物品识别部；基于利用所述物品识别部得到的物品的识别结果，从所述数据库中获得该物品信息，借助所述第二信息收发部发送至所述物品信息提供装置的物品信息获取部
本发明的物品信息提供方法，通过物品信息提供装置而进行，其特征在于具有：通过显示部显示表示物品信息的物品信息图像的步骤；通过摄像部拍摄现实空间的步骤；通过被摄体识别部识别被所述摄像部拍摄的被摄体的步骤；通过物品辨别部从被所述被摄体识别部识别的被摄体中辨别物品的步骤；通过所述物品辨别部，根据所述辨别的物品的状态，在所述显示部上显示所述物品信息图像的步骤。
发明效果
根据本发明的物品信息提供装置、物品信息提供***、物品信息提供方法以及物品信息提供程序，若通过物品辨别部从通过被摄体识别部所识别的被摄体中判断出物品，则根据所述辨别的物品的状态来在显示部上显示表示物品信息的物品信息图像，因此能够以恰当的时机显示出表示用户想知晓的物品信息的物品信息图像。
附图说明
[图1]表示本发明的物品信息提供***的第一实施方式。
[图2]表示图1的HMD的一个例子。
[图3]表示利用图1的HMD的摄像机拍摄的被摄体的状态，同图(a)为表示被摄体即物品利用HMD的用户之手而被抓住的状态的图；同图(b)为将被用户的手抓住的物品翻过来的状态的图；同图(c)为被用户的手抓住的物品处于倾斜状态的图。
[图4]图1的HMD一侧的处理步骤。
[图5]表示图1的信息管理服务器一侧的处理步骤。
[图6]表示本发明的物品信息提供***的一个实施方式。
[图7]表示利用图6和图2的HMD的摄像机拍摄的被摄体的状态，同图(a)为表示被摄体即物品被HMD的用户之手抓住的状态的图；同图(b)为将被用户的左手抓住的物品翻过来的状态的图；同图(c)为被用户的左手抓住的物品处于倾斜状态的图。
[图8]表示图6和图2的HMD的显示部的物品信息图像的一个显示例子。
[图9]表示图6和图2的HMD一侧的处理步骤。
[图10]表示图6的信息管理服务器一侧的处理步骤。
具体实施方式
[第一实施方式]
以下一边参照图1～图5，一边对于本发明的物品信息提供***的第一实施方式进行说明。另外，作为以下说明中的物品信息提供装置的一个例子，例如为头部装配型显示装置HMD(Head Mounted Display)。此外，以下说明的头部装配型显示装置例如为被用于店铺的装置。
首先如图1所示，物品信息提供***具备头部装配型显示装置10，以下称为HDM10，和具有数据库24的信息管理服务器20。HMD10和信息管理服务器20借助无线通讯线路30进行连接。
HMD10是物品信息提供装置的一个方式，其通过将现实空间中的物品同显示利用CG等描绘的物品信息的物品信息图像进行混合显示，从而对于HMD10的用户即时提供物品信息。此外，HMD10例如为装配在用户头部的状态下使用的装置，例如如图2所示，构成为眼镜型。这么一来，用户不需要用手来支撑HMD10，因此能够照样用双手来进行购物。
也就是说，HMD10具有：左右显示部11，其显示表示物品信息的物品信息图像；挂钩部12，其用于挂住耳朵。左右显示部11之间配置有摄像机13。通过将摄像机13配置在左右显示部11之间，从而让摄像机13的摄像范围追踪用户头部的动作。此外，另一方的挂钩部12上配置有装置主体14。
另外，摄像机13例如为将电荷耦合元件CCD(Charge-coupled Device)传感器或者互补金属氧化物半导体(CMOS)传感器用作摄像元件的结构。此外，摄像机13为：可以将一张图像的拍摄周期以例如1/30秒，也就是说帧率为30fps，拍摄被摄体的摄像机。
这么一来，摄像机13可以对于被摄体即用户的手50、被该用户的手50抓住的物品40进行连续拍摄。另外，摄像机13不局限于视频摄像机，也可以是拍摄静止图像的装置。在这种情况下，静止图像的拍摄间隔例如为0.5秒，从而能够对于被摄体即用户的手50、被该用户的手50抓住的物品40进行间歇性拍摄。
此外，显示部11例如采用了光学透视方法。也就是说，显示部11构成为：能够让可见光透过。这么一来，HMD10的装配者能够直接看到透过眼前的显示部的现实空间的情景，同时能够看到由显示部11显示的增强现实图像。这种情况的增强现实图像为表示利用CG等描绘的物品信息的物品信息图像。
另外，显示部11也可以例如利用半透明反射镜来构成。此外，显示部11具备投影装置，所述投影装置用于将表示利用后述的图像处理控制部16生成的物品信息的物品信息图像投影在显示部11上。此外，显示部11也可以由液晶显示器构成。这种情况下，利用后述的图像处理控制部16生成的物品信息图像将通过液晶驱动电路被显示在显示部11上。
装置主体14具有处理器、内存以及界面。装置主体14具有图像识别部15、图像处理控制部16、无线收发部17。图像识别部15识别被上述的摄像机13拍摄的被摄体即物品40。这种情况下，用户若抓住物品40，则用户的手50也将作为被摄体进行识别。此外，物品40例如在被陈列在货架上的状态下拍摄的情况下，则图像识别部15将物品40和货架作为被摄体进行识别。
基于图像识别部15的被摄体的识别在利用摄像机13进行拍摄的过程当中，连续进行拍摄。另外，基于图像识别部15的被摄体的识别，例如也可以以0.5秒间隔间歇式性地进行。
图像处理控制部16控制基于图像识别部15的识别动作。此外，图像处理控制部16从利用图像识别部15识别的被摄体中辨别物品40，将表示该物品40的物品识别信息借助无线收发部17，发送到连接在无线通讯线路30上的信息管理服务器20。另外，作为物品识别信息，可以是物品40的物品图像，也可以是附在物品40上的物品名称、条形码、批号编码、制造年月日、制造厂商名称等。也就是说，物品识别信息是可以单独或者组合起来识别物品40的信息。
此外，图像处理控制部16如后述所示，判断用户是否想知晓物品信息，在判断为用户想知晓物品信息时候，生成显示表示从信息管理服务器20接受的物品信息的物品信息图像，并显示在显示部11上。
在此，由图像处理控制部16所进行的用户是否想知晓物品信息的判断是，例如物品40是否被用户的手50移动来进行判断。也就是说，例如图3(a)所示，物品40被用户的手50抓住。这种情况下，在将物品40的标志41拿到前方一侧位置的状态下，利用摄像机13来拍摄被用户的手50抓住的物品40。另外，图中符号42表示盖。
此外，例如图3(b)所示，有时用户将用手50抓住的物品翻过来观看整个物品40或物品40上的说明书等。这种情况下，在物品40的标志41移动到背面一侧的状态下，利用摄像机13来拍摄被用户的手50抓住的物品40。
此外，如图3(c)所示，用户将用手50抓住的物品倾斜观看整个物品40或物品40上的说明书等。这种情况下，在物品40的盖42朝下方移动的状态下，利用摄像机13来拍摄被用户的手50抓住的物品40。
对这样的物品40的动态变化，由图像处理控制部16能够从通过图像识别部15识别的被摄体中辨别物品40的同时，通过识别物品40的变化来进行判断。在此，图像处理控制部16识别将物品40翻过来、倾斜而导致的物品40的动态变化，从而能够判断用户是否想知晓物品信息。
并且，图像处理控制部16若切实判断用户想知晓物品信息，则基于来自信息管理服务器20的物品信息，生成表示该物品信息的物品信息图像，显示在显示部11上。这么一来，能够在被认为是用户想知晓物品40的物品信息的时机，将该物品40的物品信息提供给用户。
另外，利用图像处理控制部16对于用户是否想知晓物品信息的判断，并不局限于物品40是否有动态变化。也就是说，例如图3(a)所示的状态的物品40也有可能继续被拍摄。这是因为即便用户用手抓住物品40，而有时在保持这种状态来下观看整个物品40或物品40上的说明书等。
这种情况下，在物品40经过一定时间后，例如5秒左右，没有动态变化，则判断为用户在凝视物品40、而用户想知晓物品信息。另外，判断需要的一定时间并不局限于5秒，也可以进行适当变换。此外，用户有时候也不会抓住陈列在货架上的物品40，而是只凝视物品。而在这种情况下也一样，只要在物品40经过了一定时间，例如5秒左右没有动态变化，则判断为用户想知晓物品信息。
无线收发部17将来自图像处理控制部16的物品识别信息发送至信息管理服务器20，或从信息管理服务器20接受物品信息。
另一方面，信息管理服务器20具有处理器、储存器以及界面。信息管理服务器20具备无线收发部21、物品识别部22、物品信息获取部23。无线收发部21进行以下操作：接受来自HMD10的上述物品识别信息、发送对应该物品识别信息的物品信息。
物品识别部22基于来自HMD10的物品识别信息，识别物品40。在辨别物品40之际，在物品识别信息为物品40的物品图像的情况下，通过与数据库24中收录的物品图像进行对照来进行。此外，在物品识别信息为附在物品40上的物品名称的情况下，则通过与数据库24收录的物品名称进行对照来进行。另外，在物品识别信息为条形码的情况下，直接进行识读从而辨别物品40。
物品信息获取部23基于通过物品识别部22获得的物品40的识别结果，从数据库24获取该物品信息。数据库24中注册了同每个物品40对应的物品信息、和用于辨别物品40的物品图像以及物品名称。
接下来，参照图4，对于HMD10一侧的处理进行说明。另外，在HMD10一侧的处理中，HMD10是被装配在用户的头部，从而开始由摄像机13的摄像的。数据库24包含了硬盘驱动器(hard disk drive,HDD)等存储装置，其也可以被包含在信息管理服务器20中。
首先，从利用HMD10的摄像机13的拍摄被摄体的等待状态即步骤S1：否，利用HMD10的摄像机13对被摄体进行拍摄，步骤S1：是。在此，例如图3(a)所示，物品40被用户的手50抓住。这时，HMD10的摄像机13拍摄被摄体即物品40以及用户的手50。
若拍摄被摄体，则图像识别部识别被摄体即物品40以及用户的手50，即进行步骤S2。另外，如上述所示，摄像机13为视频摄像机，每一张图像的拍摄周期例如为1/30秒，也就是说帧率为30fps。在这种情况下，图像识别部15例如在1秒钟内得到的30张帧图像中，从任意一帧图像中识别被摄体即物品40以及用户的手50。
接下来，图像处理控制部16判断通过图像识别部15识别的物品40，即步骤S3，借助无线收发部17，将表示该辨别的物品40的物品识别信息发送至连接在无线通讯线路30上的信息管理服务器20，即步骤S4。
另外，表示该物品40的物品识别信息如上所述，可以是物品40的物品图像，也可以是附在物品40上的物品名称和条形码。此外，若从HMD10将物品识别信息发送到信息管理服务器20，则立刻从信息管理服务器20得到该物品信息的回复，而关于这一处理在后文叙述。由此，在此是从信息管理服务器20回复该物品信息。
此外，由于利用摄像机13拍摄被摄体的行为还在继续，因此配合利用图像识别部15进行的被摄体的识别，图像处理控制部16辨别物品40是否有动态变化，即步骤S5。
在此，例如图3(b)所示，用户用手50抓住物品40，将其翻过来观看整个物品40或物品40上的说明书等。这种情况下，如上述所述，在物品40的标志41朝背面一侧移动的状态下，利用摄像机13拍摄由用户的手50抓住的物品40。
此外，如图3(c)所示，用户用手50抓住物品40，将其倾斜过来观看整个物品40或物品40上的说明书等。这种情况下，如上述所述，在物品40的盖42朝下方移动的状态下，利用摄像机13拍摄由用户的手50抓住的物品40。
这样的物品40的动态变化为：在由图像处理控制部16从利用图像识别部15识别的被摄体中辨别物品40的同时，能够通过识别物品40的变化来进行判断。并且，若图像处理控制部16辨别物品40上发生了动态变化，即步骤S5：是，则判断为用户想知晓物品信息，从而生成表示从信息管理服务器20接受的物品信息的物品信息图像，显示在显示部11上，即步骤S6。这么一来，能够在认为用户想知晓物品40的物品信息的恰当的时机，将该物品40的物品信息提供给用户。
接下来，由图像处理控制部16判断是否能够判断通过图像识别部15识别的被摄体即物品40，即步骤S7。也就是说，图像处理控制部16为：在利用摄像机13拍摄被用户用手50抓住的物品40的期间，能够从图像识别部15的识别结果中辨别物品40。与此相对，若将物品40放回原来的货架上，则因偏离摄像机13的拍摄范围，从而无法从图像识别部15的识别结果中辨别物品40。
因此，在图像处理控制部16能够辨别物品40的情况下，即步骤S7：是，则在显示部11上显示的表示物品信息的物品信息图像将继续显示。与此相对，在图像处理控制部16无法辨别物品40的情况下，即步骤S7：否，则消除显示表示物品信息的物品信息图像，即步骤S8。这么一来，就不会让用户的视野中进入多余的物品信息图像了。
与此相对，在步骤S5当中，在物品40没有发生动态变化的情况下，即步骤S5：否，则图像处理控制部16判断是否经过了一定时间，例如5秒左右。也就是说，例如在图3(a)所示的状态下，物品40将继续由摄像机13来进行拍摄。这是因为如上所述，用户会用手抓住物品40，保持不动的状态下观看整个物品40或物品40上的说明书等的情况。
在这种情况下，图像处理控制部16若判断物品40在一定时间，例如5秒左右保持没有动态变化的状态，步骤S9：是，则判断为用户想知晓物品信息，生成表示从信息管理服务器20接受的物品信息的物品信息图像，显示在显示部11上，步骤S6。另外，如上所述，有时候用户不抓住货架上陈列的物品40，而是只凝视物品40。在这种情况下也是如此，图像处理控制部16只要经过了一定时间，例如5秒左右，则判断为用户想知晓物品信息。这么一来，和上面一样，能够在认为用户想知晓物品40的物品信息的恰当的时机，将该物品40的物品信息提供给用户。
与此相对，图像处理控制部16若判断为物品40没有动态变化的状态没有经过一定时间，例如5秒左右，步骤S9：否，则判断能否对于利用图像识别部15识别的被摄体即物品40进行辨别，步骤S10。图像处理控制部16在能够辨别物品40的情况下，即步骤S10：是，则判断物品40上是否发生了动态变化，即步骤S5。
与此相对，在图像处理控制部16无法辨别物品40的情况下，即步骤S10：否，则不将显示表示物品信息的物品信息图像显示在显示部11。也就是说，如上所述，被用户用手50抓住的物品40在通过摄像机13进行拍摄的期间，图像处理控制部16能够从图像识别部15的识别结果中辨别物品40。
与此相对，有时候用户暂时抓住物品40，不过很快将它放回了原本的货架上。此外，如上所述，有时候用户不会抓住货架上陈列的物品40而只进行凝视，不过有时候在短时间内从凝视的物品40移开视线。此外，有时候用户暂时抓住了物品40，然后就直接放进购物篮中。
在这种情况下，如上所述，若物品40离开了摄像机13的拍摄范围，则图像处理控制部16将不能从图像识别部15的识别结果中辨别物品40。因此，图像处理控制部16在短时间内无法辨别物品40的情况下，不进行用户是否想知晓物品信息的判断。这么一来，在用户不想知晓物品信息的情况下，显示部11上不会显示表示物品信息的物品信息图像，从而能够避免多余的物品信息图像显示出来。
接下来，参照图5，对于信息管理服务器20一侧的处理进行说明。首先，等待接收来自HMD10一侧的物品识别信息，即步骤S20：否。若无线收发部21接收到了来自HMD10一侧的物品识别信息，即步骤S20：是，则物品识别部22基于物品识别信息，识别物品40，即步骤S21。
在此，在识别物品40之际，如上所述，当物品识别信息为物品40的物品图像的情况下，通过与数据库24中收录的物品图像进行对照来进行。此外，当物品识别信息为物品40上附带的物品名称的情况下，通过与数据库24收录的物品名称进行对照来进行。另外，在物品识别信息为条形码的情况下，直接识读辨别物品40。
接下来，物品信息获取部23基于物品识别部22的识别结果，从数据库24中获取该物品信息，即步骤S22。并且，若通过物品信息获取部23来获取物品信息，则无线收发部21将获取的物品信息发送至HMD一侧，即步骤S23。
这么一来，在本实施方式中，利用作为物品信息提供装置的一个方式的HMD10的摄像部的一个方式即摄像机13来拍摄现实空间，通过作为被摄体识别部的一个方式的图像识别部15来识别利用摄像机13拍摄的被摄体，通过作为物品辨别部的一个方式的图像处理控制部16来从利用图像识别部15识别的被摄体中辨别物品，则表示所述辨别的物品的物品识别信息借助作为第一信息收发部的一个方式的无线收发部17，被发送至信息管理服务器20。此外，若从信息管理服务器20的第一信息收发部的一个方式即无线收发部21接受物品的物品信息，则利用图像处理控制部16，根据辨别的物品的状态，在显示部11上显示表示物品信息的物品信息图像。
另外，信息管理服务器20一侧若利用物品识别部22，基于物品识别信息来识别物品，则通过物品信息获取部23，基于物品识别部22的物品的识别结果，从注册物品信息的数据库24中获取该物品信息，借助第二信息收发部的一个方式即无线收发部21，发送至HMD10。
这么一来，通过与信息管理服务器20的携手，根据利用HMD10的图像处理控制部16所辨别的物品的状态，将表示物品信息的物品信息图像显示在显示部11上，因此能够在恰当的时机将表示用户想知晓的物品信息的物品信息图像显示出来。
另外，在识别出辨别的物品的动态变化时，或者辨别的物品在一定时间里没有动态变化的情况下，图像处理控制部16将表示物品信息的物品信息图像显示在显示部11。这是用于判断用户是否想知晓物品信息的条件，在满足这些条件的时候，令表示物品信息的物品信息图像显示在显示部11上，从而不会令多余的物品信息图像显示出来。此外，由于不会有多余的物品信息图像进入用户视野，因此不会使用户感到繁杂。
另外，本实施方式中，是以陈列在店铺货架上的物品为例进行说明的，但对于放置在其他地方的物品，也可以同样实施本发明。
[第二实施方式]
接下来，对于本发明的第二实施方式进行说明。
上述的过去的物品信息提供***当中，若通过物品信息获取部获得与通过摄像部拍摄的摄像图像中所包含的物品有关的物品信息，则通过图像生成部，基于通过摄像部拍摄的摄像图像中所包含的物品的位置，利用显示部将表示物品信息获取部获取的物品信息的物品信息图像同现实空间重叠显示。因此，对于在店铺中陈列的物品的物品信息，能够即时提供给用户。
然而，这样的物品信息提供***所提供的物品信息，仅限定于用户用手指指点，或抓住的物品。因此，在进行同其他类似物品进行比较的情况下，在视线朝着其他物品转移的同时，也需要指向、抓住其他物品才行。这个时候，虽然显示了其他物品的物品信息图像，但是由于没有显示之前显示的物品信息图像，因此难以进行物品比较。
也就是说，在店铺陈列的商品等物品中，有各种各样的种类。在从这些物品中购买任意一个之际，可看到人们经常对于类似的物品进行比较。这种情况下，例如用左右手来抓住成为比较对象的物品、对比两个物品的情况十分多见。在此，物品例如为加工食品的情况下，人们经常对比价格、原材料名、净含量、保质期、消费期限、原产国名、进口商等。
然而，即便例如是类似物品，由于价格、原材料名、净含量、保质期、消费期限、原产国名、进口商等显示位置不同、显示方式不同、难以用肉眼确认物品内容，因此对比两个物品会是非常麻烦的事情。
由于这样的情况，需要开发出一种将用户想知晓的成为比较对象的物品的物品信息图像同时显示出来，从而易于进行物品的比较的装置。
以下，参照图6～图10，对于本发明的物品信息提供***的第二实施方式进行说明。另外，作为以下说明中的物品信息提供装置的一个例子，例如使用头部装配型显示装置(HMD)。此外，以下说明的头部装配型显示装置，例如被用于店铺中。
首先，如图6所示，物品信息提供***具备：头部装配型显示装置10，以下称为HDM10、具有数据库24的信息管理服务器20。HMD10和信息管理服务器20是借助无线通讯线路30进行连接的。
HMD10是一种物品信息提供装置的一个方式，其为：将现实空间中的物品同表示计算机图形学(Computer Graphics,简称CG)等描绘的物品信息的物品信息图像60a、60b进行混合显示，从而对于用户即时提供物品信息。此外，HMD10例如为在装配于用户头部的状态下使用的装置，例如图2所示，为眼镜型。这么一来，用户不需要用手来支撑HMD10，从而能够照样用双手来买东西了。
也就是说，HMD10具有：左右显示部11，其显示表示物品信息的物品信息图像60a、60b；挂钩部12，其用于挂住耳朵。左右显示部11之间配置有摄像机13。通过将摄像机13配置在左右显示部11之间，从而让摄像机13的摄像范围追踪用户头部的动作。此外，另一方的挂钩部12上配置有装置主体14。
另外，摄像机13例如为将电荷耦合元件CCD(Charge-coupled Device)传感器或者互补金属氧化物半导体(CMOS)传感器作为摄像元件来使用的结构。此外，摄像机13为：可以将每一张图像的拍摄周期以例如1/30秒，也就是说帧率为30fps来拍摄被摄体的视频摄像机。
由此，摄像机13可以连续拍摄作为被摄体的用户左手50a及右手50b和被用户的左手50a及右手50b抓住的物品40a、40b。另外，摄像机13不仅限于视频摄像机，也可为拍摄静止图像的装置。此时，通过将静止图像的拍摄间隔设为比如0.5秒，可将作为被摄体的用户左手50a及右手50b和被用户的左手50a及右手50b抓住的物品40a、40b进行间歇性的拍摄。另外，物品40a、40b可为相同或类似，抑或为不同类型。不管怎样，详细内容将后述，被用户的左手50a及右手50b抓住的物品40a、40b成为比较对象。
另外，显示部11比如可采用光学透视方式。即，显示部11构成为可透过可视光线。由此，装配HMD10的人不仅可直接看到眼前的透过显示部11的现实空间的情景，同时也可看到显示于显示部11的增强现实图像。此时的增强现实图像是通过CG等描绘的表示物品信息的后述的物品信息图像60a、60b。
另外，显示部11，可以比如半反射镜来构成。另外，显示部11具备投影装置，其用于将后述的物品信息图像60a、60显示在显示部11，物品信息图像60a、60b用来显示后述的图像处理控制部16所生成的物品信息。显示部11可由液晶显示器构成。此时，后述的图像处理控制部16所生成的后述的物品信息图像60a、60b将通过液晶驱动电路显示在显示部11。
装置主体14具备图像识别部15、图像处理控制部16、无线收发部17。图像识别部15识别通过上述的摄像机13拍摄的被摄体物品40a、40b。此时，用户抓住物品40a、40b的话，用户的左手50a及右手50b也被识别为被摄体。另外，物品40a、40b比如以陈列在货架的状态被拍摄时，图像识别部15将物品40a、40b和货架棚识别为被摄体。
图像识别部15对被摄体的识别是，在通过摄像机13进行拍摄的期间是连续进行。另外，图像识别部15对被摄体的识别，比如以0.5秒间隔可以间歇地进行。
图像处理控制部16用来控制图像识别部15的识别动作。另外，图像处理控制部16从图像识别部15识别出的被摄体中辨别物品40a、40b，借助无线收发部17将表示该物品40a、40b的物品识别信息发送至连接于无线通讯电路30的信息管理服务器20。另外，作为物品识别信息可为物品40a、40b的物品图像，也可以是附在物品40a、40b上的物品名称、条形码、批号编码、生产年月日、制造厂商名等。即，物品识别信息为能够以単独或组合来识别物品40a、40b的信息即可。
另外，如面所述，图像处理控制部16判断用户是否想知晓物品信息，若判断为用户想知晓物品信息时，生成从信息管理服务器20接受的表示物品信息的后述的物品信息图像60a、60b，显示于显示部11。
在此，由图像处理控制部16所进行的用户是否想知晓物品信息的判断是通过判断比如物品40a或40b是否被用户的左手50a或右手50b而移动来进行。此时，物品40a及40b被左手50a及右手50b同时发生移动时也进行同样的判断。
即，如图7(a)所示，成为比较对象的物品40a、40b被用户的左手50a及右手50b抓住。此时，在物品40a、40b的标志41a、41b位于前方一侧的状态下，由摄像机13拍摄被用户的左手50a及右手50b抓住的物品40a、40b。另外，图中符号42表示盖。
另外，如图7(b)所示，有时用户用左手50a抓住物品40a将其翻过来观看整个物品40a或物品40a上的说明书。此时，如上所述，在物品40a的标志41a移动到背面一侧的状态下，由摄像机13拍摄被用户左手50a抓住的物品40a。另外，也有时用户用右手50b抓住物品40b将其翻过来观看整个物品40b或物品40b上的说明书。此时，如上所述，在物品40b的标志41b移动到背面一侧的状态下，由摄像机13拍摄被用户右手50b抓住的物品40b。
另外，如图7(c)所示，有时用户将用左手50a抓住的物品40a倾斜而观看整个物品40a或物品40a上的说明书。此时，在物品40a的盖42移动到下方的状态下，由摄像机13拍摄被用户的左手50a抓住的物品40a。另外，也有时用户将用左手50b抓住的物品40b倾斜而观看整个物品40b或物品40b上的说明书。此时，在物品40b的盖42移动到下方的状态下，由摄像机13拍摄被用户的左手50b抓住的物品40b。
物品40a、40b动态变化是，可通过由图像处理控制部16从图像识别部15识别出的被摄体中辨别物品40a、40b，同时识别物品40a、40b的变化来进行判断。然后，图像处理控制部16可通过识别物品40a、40b或被翻过来或被倾斜的物品40a、40b的动态变化来判断用户是否想知晓物品信息。
而且，图像处理控制部16若切实地判断为用户想知晓物品信息，则根据来自信息管理服务器20的物品信息，如图8所示，将生成显示该物品信息的物品信息图像60a、60b，显示在显示部11。此时，来自信息管理服务器20的物品信息分别对应于物品40a、40b。另外，如果物品40a、40b为比如加工食品的情况下，该物品信息内容是比如为价格、原材料名、净含量、保质期、消费期限、原产国名、进口商等。
由此，向用户同时提供用来表示成为比较对象的物品40a、40b的每个物品信息的物品信息图像60a、60b。另外，每个物品信息图像60a、60b分别对应于每个物品40a、40b而显示。从而，可以直观地得到每个物品40a、40b和每个物品信息图像60a、60b之间的关系。
另外，在图8中，关于显示物品信息图像60a、60b的方式，如图8，除了显示在左右之外也可以显示在上下。不管怎样，只要显示对应于每个物品40a、40b的物品信息图像60a、60b即可。
另外，由图像处理控制部16所进行的用户是否想知晓物品信息的判断，并不限于物品40a、40b是否有动态变化的情况。即，有时如图7(a)所示状态下的物品40a、40b继续被拍摄。这是因为即便用户用左手50a及右手50b抓住物品40a、40b，也保持原状态只观看整个物品40a、40b或物品40a、40b上的说明书。
此时，若物品40a、40b的没有动态变化的状态经过了一定时间，比如5秒左右，则其为凝视物品40a、40b的状态，便判断为用户想知晓物品信息。另外，判断所需的一定时间不限于5秒，而可适当地进行变更。另外，有时用户不抓住陈列在货架上的物品40a、40b而只保持凝视。此时也一样，若物品40a、40b的没有动态变化的状态经过了一定时间比如5秒左右，则判断为用户想知晓物品信息。另外，有时用户用左手50a及右手50b触碰陈列在货架上的物品40a、40b的状态下凝视。此时也一样，若物品40a、40b的没有动态变化的状态经过了一定时间，比如5秒左右，则判断为用户想知晓物品信息。
另外，在图7(a)中，任意一方物品40a或40b被用户的左手50a或右手50b抓住。此时，图像处理控制部16，如上述相同切实判断用户想知晓物品信息。然后，根据来自信息管理服务器20的物品信息，生成表示该物品信息的物品信息图像60a、60b，显示于显示部11。此时的表示物品信息的物品信息图像60a、60b，则对应于物品40a或40b的任意一方。
无线收发部17，将来自图像处理控制部16的物品识别信息发送至信息管理服务器20，或接受来自信息管理服务器20的物品信息。
另一方面，信息管理服务器20具备无线收发部21、物品识别部22、物品信息获取部23。无线收发部21接受HMD10发来的上述物品识别信息之后将发送对应于该物品识别信息的物品信息。
物品识别部22根据HMD10发来的物品识别信息识别物品40a、40b辨别物品40a、40b时，物品识别信息为物品40a、40b的物品图像的情况下，与收录在数据库24的物品图像进行对照。另外，物品识别信息为附在物品40a、40b上的物品名称的情况下，与收录在数据库24的物品图像进行对照。另外，物品识别信息为条形码的情况下，通过直接识读来辨别物品40a、40b。
物品信息获取部23根据物品识别部22的物品40a、40b的识别结果，从数据库24获取该物品信息。数据库24中收录着对应于每个物品40a、40b的物品信息用来辨别物品40a、40b的物品图像及物品名称。
其次，参照图9，对HMD10一侧处理进行説明。另外，在HMD10一侧处理中。HMD10装配于用户头部，以开始摄像机13的拍摄。
首先，由HMD10的摄像机13从等待拍摄被摄体的状态，即步骤S101：否，进行被摄体的拍摄，即步骤S101：是。在此，如图7(a)所示，物品40a、40b被用户的左手50a及右手50b抓住。此时，HMD10的摄像机13拍摄被摄体物品40a、40b及用户的左手50a及右手50b。
拍摄被摄体之后，图像识别部15识别被摄体物品40a、40b以及用户左手50a及右手50b，即步骤S102。另外，如上所述，摄像机13为视频摄像机，将拍摄每一张图像的拍摄周期比如为1/30秒，即，帧率为30fps。此时，图像识别部15从比如1秒中得到的30张的帧图像中的任意一帧图像中识别被摄体物品40a、40b及用户左手50a及右手50b。
接下来，图像处理控制部16辨别图像识别部15识别出的每个物品40a、40b，即步骤S103，将表示其辨别的物品40a、40b的每个物品识别信息借助无线收发部17发送至连接于无线通讯电路30的信息管理服务器20，即步骤S104。
另外，分别表示物品40a、40b的物品识别信息，如上所述，可为物品40a、40b的物品图像，也可以为附在物品40a、40b上的物品名称或条形码。另外，若从HMD10向信息管理服务器20发送每个物品识别信息，则信息管理服务器20立即进行该每个物品信息的回复，关于其处理将后面叙述。于是，在此，信息管理服务器20进行该每个物品信息的回复。
另外，因为由摄像机13继续拍摄被摄体，配合图像识别部15对被摄体的识别，图像处理控制部16判断一方或双方的物品40a、40b是否有动态变化，即进行步骤S105。
在此，如图7(b)所示，用户用左手50a及右手50b抓住物品40a、40将其翻过来观看整个物品40a、40b或物品40a、40b上的说明书。此时，如上所述，在物品40a、40b的标志41a、41b移动到背面一侧的状态下，由摄像机13拍摄被用户左手50a及右手50b抓住的物品40a、40b。
另外，如图7(c)所示，用户将用左手50a及右手50b抓住的物品40a、40b倾斜而观看整个物品40a、40b或物品40a、40b上的说明书。此时，如上所述，在物品40a、40b的盖42移动到下方的状态下，由摄像机13拍摄被用户的左手50a及右手50抓住的物品40a、40b。
物品40a、40b的动态变化是由图像处理控制部16从图像识别部15识别出的被摄体中辨别物品40a、40b的同时，识别物品40a、40b的变化来进行判断。然后，若图像处理控制部16判断物品40a、40b有动态变化时，即步骤S105：是，则判断为用户想知晓每个物品信息，生成从信息管理服务器20接受的表示每个物品信息的物品信息图像60a、60b，并将每个物品信息图像60a、60b显示在显示部11上，即，步骤S106。从而，在认为用户想知晓物品信息的恰当的时机提供物品信息。另外，在显示部11上同时显示对应于物品40a、40b的每个物品信息图像60a、60b。
在此，显示在显示部11的物品信息图像60a、60b的内容为，如上所述，物品40a、40b价格、原材料名、净含量、保质期、消费期限、原产国名、进口商。因此，通过确认每个物品信息图像60a、60b的内容可容易进行物品40a、40b的比较。
接下来，图像处理控制部16判断能否辨别图像识别部15识别出的被摄体物品40a、40b，即步骤S107。即，在被用户的左手50a及右手50b抓住的物品40a、40b通过摄像机13被拍摄的期间，图像处理控制部16可以根据图像识别部15的识别结果辨别物品40a、40b。与此相对，若物品40a、40b放回原来的货架等时则处于摄像机13的拍摄范围以外，因此根据图像识别部15识别结果无法进行物品40a、40b的辨别。
为此，图像处理控制部16能辨别物品40a、40b时，即步骤S107：是，显示部11继续显示表示物品信息的每个物品信息图像60a、60b。与此相对，图像处理控制部16若不能辨别物品40a、40b时，即步骤S107：否，将消除表示物品信息的每个物品信息图像60a、60b，即步骤S108。由此，多余的物品信息图像60a、60b不会进入到视野。
与此相对，在步骤S105中，一方或双方物品40a、40b没有动态变化时，即步骤S105：否，图像处理控制部16判断是否经过了一定时间，比如5秒左右，即进行步骤S109。即，例如在图7(a)所示的状态下，由摄像机13接续拍摄物品40a、40b。这是因为，如上所述，有时用户用左手50a及右手50b抓住物品40a、40b不动而只观看整个物品40a、40b或物品40a、40b上的说明书。
此时，若图像处理控制部16判断物品40a、40b的没有动态变化的状态经过了一定时间，比如5秒左右时，即步骤S109：是，则判断用户想知晓物品信息，生成表示从信息管理服务器20接受的物品信息的每个物品信息图像60a、60b，将每个物品信息图像60a、60b同时显示在显示部11，既步骤S106。另外，如上所述，有时不抓住陈列在货架上的物品40a、40b而只凝视。此时也一样，若经过了一定时间比如5秒左右，则图像处理控制部16判断用户想知晓物品信息。由此，如上述相同，在认为用户想知晓物品信息的恰当的时机提供物品信息。而且，将每个物品信息图像60a、60b同时显示在显示部11，因而容易进行物品40a、40b比较。
与此相对，若图像处理控制部16判断为，一方或双方的物品40a、40b的没有动态变化的状态没有经过一定时间，比如5秒左右时，即步骤S109：否，则判断能否辨别出图像识别部1识别出的被摄体物品40a、40b，即进行步骤S110。图像处理控制部16，若能辨别物品40a、40b时，即步骤S110：是，则判断物品40a、40b是否有动态变化，进行步骤S105。
与此相对，若图像处理控制部16不能辨别物品40a、40b，即步骤S110：否，则显示部11不显示用来表示物品信息的物品信息图像60a、60b。即，如上所述，通过摄像机13拍摄被用户左手50a及右手50b抓住的物品40a、40b期间，图像处理控制部16根据图像识别部15的识别结果辨别物品40a、40b。
与此相对，有时用户虽然一时抓住了物品40a、40b但立即将物品40a、40b放回原来的货架。还有，如上所述，有时用户不抓住陈列在货架上的物品40a、40b而只凝视，但在短时间内将视线从凝视的物品40a、40b离开。还有，有时用户一时抓住了物品40a、40b但直接将其放入到购物篮中。
此时，如上所述，物品40a、40b不在于摄像机13的摄像范围，因此图像处理控制部16根据图像识别部15的识别结果无法辨别物品40a、40b。因此，图像处理控制部16不能在短时间内进行物品40a、40b的辨别时，则不进行用户是否想知晓物品信息的判断。由此，若用户不想知晓物品信息时，不将显示物品信息的物品信息图像60a、60b显示在显示部11上，从而避免显示多余的物品信息图像60a、60b。
接下来，参照图10对信息管理服务器20一侧的处理进行说明。首先，等待接受HMD10一侧发来的每个物品识别信息，即，步骤S120：否。无线收发部21接受HMD10一侧的每个物品识别信息，即，步骤S120：是，物品识别部22根据每个物品识别信息识别物品40a、40b，即步骤S121。
在此，识别物品40a、40b时，如上所述，每个物品识别信息为物品40a、40b的物品图像时，通过与收录在数据库24上的物品图像进行对照来进行。另外，每个物品识别信息为附在物品40a、40b上的物品名称时，通过与收录在数据库24上的物品图像进行对照来进行。另外，每个物品识别信息为条形码时直接进行识读而辨别物品40a、40b。
接下来，物品信息获取部23根据物品识别部22的识别结果，从数据库24获取该每个物品信息，即，进行步骤S122。然后，通过物品信息获取部23获取每个物品信息后，由无线收发部21向HMD10一侧发送该所获取的每个物品信息，即，进行步骤S123。
如此，在本实施方式中，若作为物品信息提供装置的一个方式的HMD10的摄像部的一个方式即摄像机13拍摄现实空间，作为被摄体识别部的一个方式的图像识别部15识别出摄像机13拍摄的被摄体，作为物品辨别部一个方式的图像处理控制部16从图像识别部15识别的被摄体中辨别出比较对象的物品40a、40b，则显示辨别出的物品40a、40b的每个物品识别信息借助作为第1信息收发部的一个方式的无线收发部17被发送至信息管理服务器20。另外，若接受作为信息管理服务器20的第1信息收发部的一个方的无线收发部21发来的物品40a、40b的每个物品信息，则通过图像处理控制部16根据辨别出的物品状态将分别显示物品信息的物品信息图像60a、60b同时显示在显示部11上。
另外，信息管理服务器20一侧，若物品识别部22根据每个物品识别信息识别出物品40a、40b，则根据物品识别部22的物品40a、40b每个识别结果，由物品信息获取部23从收录着物品信息的数据库24获取该每个物品信息，借助作为第2信息收发部的一个方式的无线收发部21发送至HMD10。
如此，通过与信息管理服务器20的携手，在显示部11上同时显示根据HMD10图像处理控制部16辨别出的物品40a、40b的状态分别显示物品信息的物品信息图像，从而容易进行物品40a、40b的比较。
另外，在以下的情况下，图像处理控制部16将用来表示物品信息的物品信息图像显示在显示部11上：识别出辨别的物品40a、40b的动态变化时，或辨别出的物品40a、40b的动态变化没有经过了一定时间的情况。这是，判断用户是否想知晓物品信息的条件，若满足这些条件时，将显示表示物品信息的物品信息图像60a、60b显示在显示部11上，从而可以避免显示多余的物品信息图像60a、60b。另外，因多余的物品信息图像不会进入用户的视野，从而不会让用户感到繁杂。
另外，在本实施方式中，对于HMD10，例如作为放在店铺中使用的物品来进行了说明，但不仅限于此，也可以放在医院、图书馆、市民会馆等公共设施及各种娱乐设施、以及公路、铁路、港湾、空港等交通设施中使用。
另外，在本实施方式中，将物品40a、40b，例如作为加工食品来进行了说明，但不仅限于此，可以使用生鲜食品、嗜好食品、饮料品、健康食品等其他食品。而且，在本实施方式中，以店铺的货架上的陈列品40a、40b作为例子进行了说明，但对于放在其他地方的物品40a、40b也同样可以实施本发明。
另外，在本实施方式中，将物品40a、40b，例如作为加工食品来进行了说明，但不仅限于此，可以使用生鲜食品、嗜好食品、饮料品、健康食品等其他食品。而且，在本实施方式中，以店铺的货架上的陈列品40a、40b作为例子进行了说明，但对于放在其他地方的物品40a、40b也同样可以实施本发明。
另外，在第一以及第二实施方式中，对于HMD10，例如作为在店铺中使用的物品来进行了说明，但不仅限于此，也可以在医院、图书馆、市民会馆等公共设施、各种娱乐设施，以及公路、铁路、港湾、空港等交通设施中使用。
Claims (7)
1.一种物品信息提供装置，其特征为，具备：
显示表示物品信息的物品信息图像的显示部；
拍摄现实空间的摄像部；
识别被所述摄像部拍摄的被摄体的被摄体识别部；
从通过所述被摄体识别部所识别的被摄体中辨别出物品以及手，根据辨别出的所述物品的状态，将所述物品信息图像显示在所述显示部的物品辨别部，
所述物品辨别部判断从所述被摄体中辨别出的所述物品是否由从所述被摄体中辨别出的所述手移动，在所述物品由所述手移动的情况下，当识别出所述物品被翻过来或被倾斜所引起的动态变化时，在所述显示部上显示所述物品信息图像，
所述物品辨别部将所述物品的标志的位置从所述物品的前方一侧移动到所述物品的背面一侧的状态识别为所述物品被翻过来所引起的动态变化，将所述物品的盖从所述物品的上方向所述物品的下方移动的状态识别为所述物品被倾斜所引起的动态变化。
2.如权利要求1中所述的物品信息提供装置，其特征为，
所述物品辨别部在所述辨别出的物品在一定时间内没有动态变化的情况下，在所述显示部上显示所述物品信息图像。
3.一种物品信息提供装置，其特征为，具备：
显示表示物品信息的物品信息图像的显示部；
拍摄现实空间的摄像部；
识别被所述摄像部拍摄的被摄体的被摄体识别部；
从通过所述被摄体识别部所识别的被摄体中辨别出物品以及手，根据辨别出的所述物品的状态，将所述物品信息图像显示在所述显示部的物品辨别部，
所述物品辨别部判断从所述被摄体中辨别出的所述物品是否由从所述被摄体中辨别出的所述手移动，在所述物品由所述手移动的情况下，当识别出所述物品被翻过来或被倾斜所引起的动态变化时，在所述显示部上显示所述物品信息图像，
所述物品辨别部从利用所述被摄体识别部识别的被摄体中辨别出作为比较对象的物品，根据所述辨别出的物品的状态，在所述显示部上显示与作为比较对象的每个所述物品对应的所述物品信息图像。
4.一种物品信息提供***，其特征为，具备物品信息提供装置和信息管理服务器；
所述物品信息提供装置具备：
显示表示物品信息的物品信息图像的显示部；
在与所述信息管理服务器之间进行信息发送、接收的第一信息收发部；
拍摄现实空间的摄像部；
识别被所述摄像部拍摄的被摄体的被摄体识别部；
从通过所述被摄体识别部所识别的被摄体中辨别出物品，将表示所述辨别出的物品的物品识别信息借助所述第一信息收发部发送至所述信息管理服务器，从所述信息管理服务器接受所述物品的物品信息，根据所述辨别出的物品的状态，将所述物品信息图像显示在所述显示部的物品辨别部；
所述信息管理服务器具备：
收录了所述物品信息的数据库；
在与所述物品信息提供装置之间进行信息发送、接收的第二信息收发部；
基于所述物品识别信息识别物品以及手的物品识别部；
基于利用所述物品识别部得到的物品的识别结果，从所述数据库中获得该物品信息，借助所述第二信息收发部发送至所述物品信息提供装置中的物品信息获取部，
所述物品辨别部判断从所述被摄体中辨别出的所述物品是否由从所述被摄体中辨别出的所述手移动，在所述物品由所述手移动的情况下，当识别出所述物品被翻过来或被倾斜所引起的动态变化时，在所述显示部上显示所述物品信息图像，
所述物品辨别部将所述物品的标志的位置从所述物品的前方一侧移动到所述物品的背面一侧的状态识别为所述物品被翻过来所引起的动态变化，将所述物品的盖从所述物品的上方向所述物品的下方移动的状态识别为所述物品被倾斜所引起的动态变化。
5.如权利要求4所述的物品信息提供***，其特征为，
所述数据库收录了用于确定所述物品的物品图像和物品名称，
所述物品识别部在所述物品识别信息为所述物品图像或所述物品名称的情况下，通过同收录在所述数据库里的所述物品图像或所述物品名称进行对照，从而识别所述物品，
所述物品信息获取部基于由所述物品识别部得到的识别结果，从所述数据库中获取该物品信息。
6.一种物品信息提供***，其特征为，具备物品信息提供装置和信息管理服务器；
所述物品信息提供装置具备：
显示表示物品信息的物品信息图像的显示部；
在与所述信息管理服务器之间进行信息发送、接收的第一信息收发部；
拍摄现实空间的摄像部；
识别被所述摄像部拍摄的被摄体的被摄体识别部；
从通过所述被摄体识别部所识别的被摄体中辨别出物品，将表示所述辨别出的物品的物品识别信息借助所述第一信息收发部发送至所述信息管理服务器，从所述信息管理服务器接受所述物品的物品信息，根据所述辨别出的物品的状态，将所述物品信息图像显示在所述显示部的物品辨别部；
所述信息管理服务器具备：
收录了所述物品信息的数据库；
在与所述物品信息提供装置之间进行信息发送、接收的第二信息收发部；
基于所述物品识别信息识别物品以及手的物品识别部；
基于利用所述物品识别部得到的物品的识别结果，从所述数据库中获得该物品信息，借助所述第二信息收发部发送至所述物品信息提供装置中的物品信息获取部，
所述物品辨别部判断从所述被摄体中辨别出的所述物品是否由从所述被摄体中辨别出的所述手移动，在所述物品由所述手移动的情况下，当识别出所述物品被翻过来或被倾斜所引起的动态变化时，在所述显示部上显示所述物品信息图像，
所述物品辨别部从利用所述被摄体识别部识别的被摄体中辨别出作为比较对象的物品，借助所述第一信息收发部将表示所述辨别出的物品的每个物品识别信息发送至所述信息管理服务器，从所述信息管理服务器接受所述物品的每个物品信息，根据所述辨别出的物品的状态，在所述显示部上显示与作为比较对象的每个所述物品对应的所述物品信息图像。
7.一种物品信息提供方法，其是利用物品信息提供装置的物品信息提供方法，其特征为，具有：
通过显示部显示表示物品信息的物品信息图像的步骤；
通过摄像部拍摄现实空间的步骤；
通过被摄体识别部识别被所述摄像部拍摄的被摄体的步骤；
通过物品辨别部从被所述被摄体识别部识别的被摄体中辨别出物品以及手，判断从所述被摄体中辨别出的所述物品是否由从所述被摄体中辨别出的所述手移动，在所述物品由所述手移动的情况下，当识别出所述物品被翻过来或被倾斜所引起的动态变化时，在所述显示部上显示所述物品信息图像的步骤；
通过所述物品辨别部将所述物品的标志的位置从所述物品的前方一侧移动到所述物品的背面一侧的状态识别为所述物品被翻过来所引起的动态变化、将所述物品的盖从所述物品的上方向所述物品的下方移动的状态识别为所述物品被倾斜所引起的动态变化的步骤。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-108117 | 2014-05-26 | ||
| JP2014108117A JP6029616B2 (ja) | 2014-05-26 | 2014-05-26 | 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム |
| JP2014197831A JP6076304B2 (ja) | 2014-09-29 | 2014-09-29 | 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム |
| JP2014-197831 | 2014-09-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105320931A CN105320931A (zh) | 2016-02-10 |
| CN105320931B true CN105320931B (zh) | 2019-09-20 |
Family
ID=54556435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510276122.8A Expired - Fee Related CN105320931B (zh) | 2014-05-26 | 2015-05-26 | 物品信息提供装置和物品信息提供*** |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9626804B2 (zh) |
| CN (1) | CN105320931B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11556980B2 (en) * | 2017-11-17 | 2023-01-17 | Ebay Inc. | Method, system, and computer-readable storage media for rendering of object data based on recognition and/or location matching |
| CN108176049B (zh) * | 2017-12-28 | 2021-05-25 | 珠海豹好玩科技有限公司 | 一种信息提示方法、装置、终端和计算机可读存储介质 |
| CN108280420A (zh) * | 2018-01-19 | 2018-07-13 | 百度在线网络技术（北京）有限公司 | 用于处理图像的***、方法和装置 |
| JP7439431B2 (ja) * | 2019-09-25 | 2024-02-28 | 株式会社Ｊｖｃケンウッド | 情報配信装置、情報生成方法、及び情報生成プログラム |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7397464B1 (en) * | 2004-04-30 | 2008-07-08 | Microsoft Corporation | Associating application states with a physical object |
| US7511703B2 (en) * | 2004-06-28 | 2009-03-31 | Microsoft Corporation | Using size and shape of a physical object to manipulate output in an interactive display application |
| US7743348B2 (en) * | 2004-06-30 | 2010-06-22 | Microsoft Corporation | Using physical objects to adjust attributes of an interactive display application |
| WO2006025137A1 (ja) * | 2004-09-01 | 2006-03-09 | Sony Computer Entertainment Inc. | 画像処理装置、ゲーム装置および画像処理方法 |
| JP4422792B1 (ja) * | 2008-07-08 | 2010-02-24 | パナソニック株式会社 | 物品推定装置及び物品位置推定装置、物品推定方法、並びに、物品推定プログラム |
| JP5656457B2 (ja) | 2010-06-01 | 2015-01-21 | シャープ株式会社 | 商品情報提供端末装置および商品情報提供システム |
| US8509483B2 (en) | 2011-01-31 | 2013-08-13 | Qualcomm Incorporated | Context aware augmentation interactions |
| US20130044912A1 (en) * | 2011-08-19 | 2013-02-21 | Qualcomm Incorporated | Use of association of an object detected in an image to obtain information to display to a user |
| JP2013105346A (ja) | 2011-11-14 | 2013-05-30 | Sony Corp | 情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラム |
| WO2013103912A1 (en) * | 2012-01-05 | 2013-07-11 | Visa International Service Association | Transaction visual capturing apparatuses, methods and systems |
| JP2013236282A (ja) | 2012-05-09 | 2013-11-21 | Miraiapuri Co Ltd | 情報通信プログラム、情報通信装置及び配信サーバ |
| US9087403B2 (en) * | 2012-07-26 | 2015-07-21 | Qualcomm Incorporated | Maintaining continuity of augmentations |
| JP6270065B2 (ja) * | 2013-03-04 | 2018-01-31 | 日本電気株式会社 | 物品管理システム、情報処理装置およびその制御方法と制御プログラム |
| US9177224B1 (en) * | 2013-03-14 | 2015-11-03 | Amazon Technologies, Inc. | Object recognition and tracking |
| US10223755B2 (en) * | 2013-04-12 | 2019-03-05 | At&T Intellectual Property I, L.P. | Augmented reality retail system |
| CN105190480B (zh) * | 2013-05-09 | 2018-04-10 | 索尼电脑娱乐公司 | 信息处理设备和信息处理方法 |
| JP2015135645A (ja) | 2014-01-20 | 2015-07-27 | ヤフー株式会社 | 情報表示制御装置、情報表示制御方法及びプログラム |
| KR102209511B1 (ko) * | 2014-05-12 | 2021-01-29 | 엘지전자 주식회사 | 안경형 단말기와 그 안경형 단말기의 제어 방법 |
| US10579207B2 (en) * | 2014-05-14 | 2020-03-03 | Purdue Research Foundation | Manipulating virtual environment using non-instrumented physical object |
| KR102358548B1 (ko) * | 2014-10-15 | 2022-02-04 | 삼성전자주식회사 | 디바이스를 이용한 화면 처리 방법 및 장치 |
-
2015
- 2015-05-26 CN CN201510276122.8A patent/CN105320931B/zh not_active Expired - Fee Related
- 2015-05-26 US US14/721,458 patent/US9626804B2/en not_active Expired - Fee Related
Non-Patent Citations (4)
| Title |
|---|
| "Interactive E-Learning System Using Pattern Recognition and Augmented Reality";Sang Hwa Lee et al.;《IEEE Transactions on Consumer Electronics》;20090807;第883-890页 * |
| 姚争为."大型实时互动增强现实***中的若干问题研究".《中国博士学位论文全文数据库#8226;信息科技辑》.2010,第I138-20页. * |
| 姚争为."大型实时互动增强现实***中的若干问题研究".《中国博士学位论文全文数据库•信息科技辑》.2010,第I138-20页. * |
| 许山杉."增强显示电子书的开发".《中国优秀硕士学位论文全文数据库•信息科技辑》.2011,I138-861. * |
Also Published As
| Publication number | Publication date |
|---|---|
| US9626804B2 (en) | 2017-04-18 |
| CN105320931A (zh) | 2016-02-10 |
| US20150339860A1 (en) | 2015-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9369638B2 (en) | Methods for extracting objects from digital images and for performing color change on the object | |
| CN105320931B (zh) | 物品信息提供装置和物品信息提供*** | |
| US10109315B2 (en) | Devices, systems and methods for auto-delay video presentation | |
| US8982110B2 (en) | Method for image transformation, augmented reality, and teleperence | |
| RU2668408C2 (ru) | Устройства, системы и способы виртуализации зеркала | |
| US8976160B2 (en) | User interface and authentication for a virtual mirror | |
| TW201907350A (zh) | 線下導購方法和裝置 | |
| US8970569B2 (en) | Devices, systems and methods of virtualizing a mirror | |
| TWI779343B (zh) | 狀態識別方法、裝置、電子設備及電腦可讀儲存介質 | |
| US20170205889A1 (en) | Individually interactive multi-view display system for non-stationary viewing locations and methods therefor | |
| EP3374948B1 (en) | Apparatus for making a goods sales offer | |
| JP2011253324A (ja) | 商品情報提供端末装置および商品情報提供システム | |
| JP6076304B2 (ja) | 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム | |
| JP6720385B1 (ja) | プログラム、情報処理方法、及び情報処理端末 | |
| US10943119B2 (en) | Apparatus and method for performing viewer gaze analysis | |
| KR101556158B1 (ko) | 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스시스템 | |
| JP6656572B1 (ja) | 情報処理装置、表示制御方法および表示制御プログラム | |
| CN112418995A (zh) | 基于mr虚拟现实技术的线上购物虚拟交互方法及存储介质 | |
| US20220051023A1 (en) | Augmented reality systems and methods incorporating wearable pin badges | |
| US20150379616A1 (en) | Wearable computing device gift registry system | |
| CN109523360A (zh) | 一种信息推荐方法及*** | |
| JP6029616B2 (ja) | 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム | |
| JP5989725B2 (ja) | 電子機器及び情報表示プログラム | |
| KR20150119979A (ko) | 사용자 선호도 기반의 가상 피팅 시스템 및 방법 | |
| US20240144357A1 (en) | System for displaying selected clothes on a dummy human body |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190920 Termination date: 20210526 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |