CN104299334A - 信息处理装置及其控制方法 - Google Patents

Abstract

本发明公开一种信息处理装置及其控制方法，其能够有效地进行商品的识别所涉及的处理，该信息处理装置，包括：采集部，采集摄像部已摄像的图像；识别部，基于通过所述摄像部已摄像的商品的图像，从基准商品中识别成为所述商品的候选的商品候选；计时部，计时所述识别部持续识别所述商品候选的经过时间；以及告知部，当所述经过时间达到一定的规定时间时，进行告知。

Description

信息处理装置及其控制方法

本申请主张申请日为2013年7月16日、申请号为JP2013-147938的日本申请为优先权，并引用上述申请的内容。

技术领域

本发明涉及一种信息处理装置及其控制方法。

背景技术

近年来，存在有一种这样的技术，通过从摄像了物品的图像数据中抽出所述物品的特征量，并与表示预先准备的核对用物品的特征量的数据进行比较，对该物品的种类等进行识别。此外，提案有一种店铺***，通过将该技术应用于蔬菜和水果等的识别中，对已识别出的商品进行销售登记。在所涉及的店铺***中，在进行商品的摄像的期间，持续地进行比较从图像数据中获得的商品的特征量和核对用商品的数据。而且，店铺***将与和商品的特征量的相似度大于等于规定阈值的数据对应的核对用商品，识别为所述商品的候选。

不过，在现有的店铺***中，例如，即使在与商品对应的核对用商品不存在的情况下，商品和数据的比较也继续进行。这时，使用者由于不能识别与商品对应的数据不存在的情况，所以有无意中继续了商品摄像的可能性，并成为妨碍处理的效率化的主要原因。

发明内容

鉴于上述问题，本发明的目的在于提供一种信息处理装置及其控制方法，其能够有效地进行商品的识别所涉及的处理。

为解决上述问题，本发明第一方面涉及的信息处理装置，包括：采集部、识别部、计时部及告知部。所述采集部采集摄像部已摄像的图像。所述识别部基于通过所述摄像部已摄像的商品的图像，从基准商品中识别成为所述商品的候选的商品候选。所述计时部计时所述识别部持续识别所述商品候选的经过时间。所述告知部当所述经过时间达到一定的规定时间时进行告知。

本发明第二方面所涉及的信息处理装置的控制方法，包括以下步骤：采集步骤，采集摄像部已摄像的图像；识别步骤，基于通过所述摄像部已摄像的商品的图像，从基准商品中识别成为所述商品的候选的商品候选；计时步骤，计时通过所述识别步骤持续识别所述商品候选的经过时间；以及告知步骤，当所述经过时间达到一定的规定时间时，则进行告知。

附图说明

下面，参照附图对本发明所涉及信息处理装置及其控制方法进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是表示实施例所涉及的结账***的外观构成的立体图；

图2是表示图1所示的POS终端及商品读取装置的硬件构成的框图；

图3是示意地表示图2所示的PLU文件的数据构成的一例图；

图4是表示图1所示的POS终端及商品读取装置的功能构成的框图；

图5是表示商品候选画面的显示例的示意图；

图6是表示第一告知信息的显示例的示意图；

图7是表示第二告知信息的显示例的示意图；

图8是表示商品读取装置执行的商品识别处理的次序的流程图；

图9是表示POS终端执行的销售登记处理的次序的流程图；

图10是表示实施例所涉及的自助POS的构成的立体图；以及

图11是表示图10所示的自助POS的硬件构成的框图。

附图标记说明

1    结账***       11   POS终端

611  销售登记部     101  商品读取装置

1611 图像采集部     1612 商品检测部

1613 计时部         1614 特征量抽出部

1615 相似度判定部   1616 商品候选提示部

1617 输入接受部     1618 信息输出部

1619 告知部         F1   PLU文件

SC   存储计算机

具体实施方式

下面，参照附图，以结账***为例，对本实施例所涉及的信息处理装置及其控制方法进行说明。店铺***是具有进行一交易所涉及的商品的登记、结账的POS终端的结账***(POS***)等。本实施例是向引进到超市等的店铺的结账***的应用例。

图1是表示结账***1的外观构成的立体图。如图1所示，结账***1具有POS终端11、作为信息处理装置的商品读取装置101。

POS终端11载置在结账台51上的拉出装置21上表面上。拉出装置21通过POS终端11控制开放动作。通过操作员(店员等)进行按下操作的键盘22，配置在POS终端11的上表面上。从操作键盘22的操作员角度看，在键盘22的里侧具有朝向操作员显示信息的显示设备23。显示设备23在其显示面23a上显示信息。触摸面板26层压配置在显示面23a上。顾客用显示设备24旋转自如地竖直设置在显示设备23的更里侧。顾客用显示设备24在其显示面24a上显示信息。

另外，图1所示的顾客用显示设备24虽然处于将显示面24a朝向图1中跟前侧的状态，但是通过以显示面24a朝向图1中里侧的方式旋转顾客用显示设备24，顾客用显示设备24朝向顾客显示信息。

长方形桌子状的柜台151以与载置有POS终端11的结账台51形成L字的方式被配置。在柜台151的上表面上形成有负荷接受面152。负荷接受面152载置有收纳商品G的购物筐153。购物筐153可以考虑划分成由顾客带来的第一购物筐153a、载置在与第一购物筐153a隔着商品读取装置101的位置上的第二购物筐153b。

柜台151的负荷接受面152设置有可与POS终端11数据发送接收地连接的商品读取装置101。商品读取装置101具有薄的矩形形状的外壳102。

在外壳102的正面配置有读取窗103。在外壳102的上部安装有显示、操作部104。显示、操作部104设置有在表面上层压配置有触摸面板105的液晶显示器等的显示设备106。在显示设备106的右边配设有键盘107。在键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员角度看，在显示、操作部104的里面靠左侧设置有用于向顾客提供信息的顾客用显示设备109。

顾客带来的第一购物筐153a收纳有一交易所涉及的商品G。第一购物筐153a内的商品G通过操作商品读取装置101的操作员被移动到第二购物筐153b。在该移动过程中，商品G被朝向商品读取装置101的读取窗103。这时，配置在读取窗103内的摄像部164(参照图2)摄像商品G。

图2是表示POS终端11及商品读取装置101的硬件构成的框图。

POS终端11具有作为执行信息处理的信息处理部的微机60。微机60具有执行各种运算处理并控制各部的CPU(CentralProcessing Unit：中央处理器)61、ROM(Read Only Memory：只读存储器)62及RAM(Random Access Memory：随机存取存储器)63。ROM62存储CPU61所执行的程序。

拉出装置21、键盘22、显示设备23、顾客用显示设备24、通信接口25、触摸面板26、HDD(Hard Disk Drive：硬盘驱动器)64、连接接口65及打印机66均通过各种输入输出电路(均未图示)与POS终端11的CPU61连接。

键盘22包括在上面显示有“1”、“2”、“3”……等数字、“×”的乘法的运算符的置数键22d、临时合计键22e及合计键22f。

HDD64存储各种程序、各种文件。CPU61在POS终端11的起动等时，将HDD64所存储的程序的全部或一部分复制到RAM63中并进行执行。

此外，HDD64存储PLU文件F1等的数据文件。PLU文件F1通过连接接口65，可由商品读取装置101读出。

PLU文件F1是设定有店铺内销售的商品G和与其商品G的销售登记等相关的信息的关联的数据文件。图3是示意地表示PLU文件F1的数据构成的一例图。如图3所示，PLU文件F1对应每个商品，关联登记有被唯一分配的商品ID、商品G所属的商品分类、商品名、单价等的与商品有关的信息及摄像了该商品G的商品图像。此外，PLU文件F1预先对应每个商品G关联登记(存储)有该商品G的特征量(基准商品的特征量数据)。

商品图像是在后述的相似度判定时摄像了被作为比较对象的基准商品的各个商品的图像。商品图像在后述的商品候选的提示时，作为表示其商品候选的图像被提示。此外，从各商品G的摄像图像(例如，商品图像)中预先抽出的该商品G的特征量与对应的商品ID关联登记。在这里，特征量就是商品G表面的色彩、图案、凹凸状况、形状等表示了商品G的特征的信息。

另外，在本实施例中，虽然是将各商品G的特征量预先登记在PLU文件F1中的形式，但是不限定于此，也可以是不登记特征量的形式。这时，也可以是通过后述的特征量抽出部1614从各商品图像中抽出特征量，随时取得特征量的形式。此外，也可以是替代商品图像，登记提示用的图像的形式。以下，将PLU文件F1所登记的商品称为“登记商品”。

返回到图2，POS终端11的CPU61通过输入输出电路(未图示)连接有用于与存储计算机SC执行数据通信的通信接口25。存储计算机SC设置在店铺的后院等。存储计算机SC的HDD(未图示)，存储发送给POS终端11的PLU文件F1、用于管理PLU文件F1所登记的各登记商品的库存状态的库存管理文件等。

连接接口65可在与商品读取装置101之间发送接收数据。连接接口65连接有商品读取装置101。此外，打印机66在票据等上进行打字。POS终端11在CPU61的控制下，通过打印机66在票据上打印一交易的交易内容。

商品读取装置101具有商品读取部110及显示、操作部104。商品读取部110具有微机160。微机160具有CPU161、ROM162及RAM163。ROM162存储CPU161所执行的程序。

CPU161通过各种输入输出电路(均未图示)连接有摄像部164、声音输出部165及连接接口175。摄像部164、声音输出部165及连接接口175通过CPU161来控制动作。

摄像部164是彩色CCD传感器或彩色CMOS传感器等，并是从读取窗103进行摄像的摄像部。例如，摄像部164进行30fps的视频摄像。摄像部164以规定帧频依次摄像了的帧图像(摄像图像)被保存到RAM163中。声音输出部165是用于发出预设的警告音等的声音电路、扬声器等。声音输出部165在CPU161的控制下，通过警告音等声音来进行告知。

显示、操作部104具有触摸面板105、显示设备106、键盘107、顾客用显示设备109及连接接口176。商品读取部110的连接接口175，与POS终端11的连接接口65连接，并可与POS终端11之间发送接收数据。连接接口175通过连接接口176与显示、操作部104连接，CPU161通过连接接口175在商品读取部110和显示、操作部104之间进行数据发送接收。

接着，参照图4，对通过CPU161、CPU61执行程序来实现的CPU161、CPU61的功能构成进行说明。

图4是表示POS终端11及商品读取装置101的功能构成的框图。如图4所示，商品读取装置101的CPU161通过依次执行程序，具有作为图像采集部1611、商品检测部1612、计时部1613、特征量抽出部1614、相似度判定部1615、商品候选提示部1616、输入接受部1617、信息输出部1618及告知部1619的功能。

图像采集部1611是与采集部对应的功能部。图像采集部1611向摄像部164输出摄像导通信号从而使摄像部164开始摄像动作。图像采集部1611，在摄像动作开始后依次采集摄像部164摄像并保存在RAM163中的摄像图像。由图像采集部1611进行的摄像图像的采集按照被保存到RAM163中的顺序进行。

商品检测部1612是与检测部对应的功能部。商品检测部1612，采用公知的模式匹配(图案匹配)技术检测出通过图像采集部1611采集到的摄像图像所包含的商品G的全部或一部分的轮廓线。接着，将从前次的摄像图像(帧图像)中抽出的轮廓线和从本次的帧图像中抽出的轮廓线进行比较，检测出有变化的部分、即朝向读取窗103的商品G的映入区域。

作为检测出商品G的另外方法，判定是否从摄像图像中检测出有皮肤区域，并当检测出有皮肤区域时，就是说当检测出有店员的手的映入时，通过在该皮肤区域的附近进行上述的轮廓线的检测，从而对假想店员的手正把持的商品G的轮廓抽出进行尝试。这时，当检测出有表示手的形状的轮廓和在手的轮廓附近除此之外的物体的轮廓时，从该物体的轮廓中检测出商品G。

计时部1613是与计时部对应的功能部。计时部1613通过采用RTC(Real Time Clock：实时时钟)等的计时装置进行计时。计时部1613以商品检测部1612检测出商品G的定时开始定时器的计时，在该检测状态持续的期间，继续计时。此外，计时部1613以在相似度判定部1615中识别有后述的商品候选的定时或以商品检测部1612的商品G的检测被解除的定时，停止(复位)定时器的计时。

特征量抽出部1614是与抽出部对应的功能部。特征量抽出部1614从图像采集部1611采集到的摄像图像中，抽出商品检测部1612检测出的商品G的表面状态(表面的色彩、图案、凹凸状况、形状等)，作为特征量。

相似度判定部1615是与计算部及识别部对应的功能部。相似度判定部1615对POS终端11的PLU文件F1所登记的各登记商品的特征量和通过特征量抽出部1614已抽出的特征量进行比较，并分别计算出其相似度。此外，相似度判定部1615在计算出的相似度中将其值大于等于规定阈值的登记商品(商品ID)，识别为通过摄像部164所摄像的商品G的候选。

在这里，相似度只要是对商品G的特征量和PLU文件F1所登记的商品的基准的特征量进行比较，并表示两特征量相似到哪种程度的值(相似度)就行。另外，相似度的概念不限定于该例子，也可以是表示与PLU文件F1所登记的各登记商品的特征量的一致度的值、表示商品G的特征量和PLU文件F1所登记的各登记商品的特征量相关哪种程度的值。

对在如上所述那样的图像中所包含的物体进行识别，被称为一般物体识别(generic object recognition：一般物体识别)。关于这样的一般物体识别在下述的文献中各种识别技术被说明。

柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ.48，Ｎｏ.ＳＩＧ16[平成22年8月10日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>(柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“平成22年8月10日检索”，互联网＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞)

此外，通过对应每个物品(目的物)对图像进行区域分割，进行一般物体识别的技术在下列的文献中被说明。

Jamie Shottonら，“Semantic Texton Forests for ImageCategorization and Segmentation”，[平成22年8月10日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf>(Jamie Shottonら(杰米肖顿等人)，“SemanticTexton Forests for Image Categorization and Segmentation：”，“平成22年8月10日检索”，互联网＜URL：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞)

另外，相似度的计算方法不做特别限定。例如，既可以将相似度作为绝对评价进行计算出，又可以作为相对评价进行计算出。当将相似度作为绝对评价计算出时，只要将已摄像的商品G的图像和登记商品以一对一方式进行比较，并直接采用该比较的结果导出的相似度就行。此外，当将相似度作为相对评价进行计算出时，只要以已摄像的商品G和各登记商品的相似度的总和作为1.0(100％)的方式进行计算就行。

商品候选提示部1616，将与通过相似度判定部1615识别为候选的登记商品有关的信息显示在显示设备106上。更详细地说，商品候选提示部1616，从PLU文件F1中读出被识别为商品候选的登记商品的记录，并显示在显示设备106的商品候选画面内。

图5是表示商品候选提示画面的显示例的图。如图5所示，商品候选提示画面A1包括摄像图像区域A11、商品候选提示区域A12。

摄像图像区域A11是用于显示图像采集部1611采集到的摄像图像的区域。商品候选提示区域A12是用于显示被识别为候选的各商品的商品图像的区域。在该商品候选提示区域A12中，按相似度从高到低的登记商品的顺序，将该登记商品的商品图像(G1～G4)与商品名等同时显示。商品候选提示区域A12所显示的商品图像，是可根据对触摸面板105的触摸操作来选择的构成。另外，在商品被持续识别的期间(在商品被识别的期间)，在商品候选提示区域A12中未显示有商品图像。在商品候选提示区域A12中也可以不显示通过相似度判定部1615识别出的商品候选的商品图像，而显示商品名。

此外，在摄像图像区域A11的下部，设置有通过指定分类代码、商品明细等，手动进行商品的识别(登记)用的手动登记按钮B1。CPU161根据手动登记按钮B1的操作，将通过手动进行商品的识别(登记)用的手动登记画面(未图示)显示在显示设备106上。另外，通过手动登记画面指定的商品，被作为后述的确定商品进行处理。

返回到图4，输入接受部1617通过触摸面板105或键盘107接受与显示设备106的显示对应的各种输入操作。例如，输入接受部1617，从显示设备106所显示的商品候选中接受对任意一个商品候选的选择操作。输入接受部1617接受已选择的商品候选，作为与通过摄像部164已摄像的商品G对应的商品(确定商品)。另外，当商品检测部1612可检测出多个商品G时，输入接受部1617也可以从商品候选中接受多个商品候选的选择操作。

信息输出部1618对上述那样已被确定的确定商品，将表示该商品的信息(例如，商品ID、商品名等)通过连接接口175输出给POS终端11。

另外，信息输出部1618也可以将通过触摸面板105或键盘107另外输入的销售个数与商品ID等同时输出给POS终端11。此外，作为信息输出部1618输出给POS终端11的信息，信息输出部1618既可以直接通知从PLU文件F1读出的商品ID，又可以通知可指定商品ID的商品名、商品图像的文件名，还可以通知其商品ID的存储位置(在PLU文件F1中的存储地址)。

告知部1619是与告知部对应的功能部。告知部1619根据计时部1613进行计时的定时器的数值(经过时间)，向使用者进行告知。具体地说，告知部1619当定时器的数值达到第一规定时间(例如3秒等)时，则在显示设备106上显示催促变更摄像条件的第一告知信息。

图6是表示第一告知信息的显示例的图。如图6所示，第一告知信息A13重叠显示在商品候选提示画面A1上。第一告知信息A13诸如包含催促变更商品G的摄像方向、摄像角度的信息等，作为用于催促变更摄像条件的信息。商品读取装置101的操作员根据显示设备106所显示的第一告知信息A13，变更商品相对于读取窗103的方向、角度。通过这样，由于商品G的摄像条件进行变化，所以有将被抽出的特征量改善成适当的值的可能性。

此外，告知部1619当定时器的数值达到与第一规定时间相比大的(长的)第二规定时间(例如6秒等)时，则在显示设备106上显示催促采用其他识别方法的情况的第二告知信息。

图7是表示第二告知信息的显示例的图。如图7所示，第二告知信息A14重叠显示在商品候选提示画面A1上。第二告知信息A14诸如包含通知未找到相符的商品的情况的信息。此外，第二告知信息A14包含用于选择是再次进行基于相似度判定部1615的识别(目的物识别)还是进行通过手动的识别(分类登记等)的信息。此外，第二告知信息A14具有指示继续基于相似度判定部1615的识别的继续按钮B2。

在这里，商品读取装置101的操作员，通过操作继续按钮B2或手动登记按钮B1，选择是继续基于相似度判定部1615的识别还是进行手动的识别。

商品读取装置101的CPU161当接受继续按钮B2的操作时，则消去第二告知信息A14，并继续基于相似度判定部1615的识别处理。另外，也可以是以操作了继续按钮B2的定时来复位计时部1613的定时器的形式。

此外，当手动登记按钮B1***作了时，CPU161停止图像采集部1611的图像采集，并在显示设备106上显示手动登记画面(未图示)。而且，CPU161当基于通过手动登记画面指定的分类代码等识别商品(登记商品)时，则将所述已识别的登记商品设定为确定商品。

另一方面，POS终端11的CPU61通过执行程序，具有作为销售登记部611的功能。销售登记部611，基于从商品读取装置101的信息输出部1618输出的商品ID和销售个数，进行对应的商品的销售登记。具体地说，销售登记部611通过参照PLU文件F1，将已通知的商品ID及与所述商品ID对应的商品分类、商品名、单价等与销售个数同时记录在销售主文件等中，从而进行销售登记。

以下，对结账***1的动作进行说明。首先，参照图8，对商品读取装置101的动作进行说明。在这里，图8是表示商品读取装置101所执行的商品识别处理的次序的流程图。

当根据POS终端11开始商品登记等而开始本处理时，则图像采集部1611向摄像部164输出摄像导通信号从而开始由摄像部164的摄像。(步骤S11)。

图像采集部1611，采集摄像部164摄像并保存在RAM163中的帧图像(摄像图像)(步骤S12)。接着，商品检测部1612从在步骤S12中采集到的摄像图像中进行商品G的全部或一部分的检测(步骤S13)。在这里，当未检测出商品G时(步骤S13的否)，计时部1613对定时器进行复位(步骤S14)，返回到步骤S12。

此外，当在步骤S13中检测出有商品G时(步骤S13的是)，计时部1613判定定时器是否正在计时当中(步骤S15)。当定时器未计时时(步骤S15的否)，计时部1613开始计时(步骤S16)，并过渡到步骤S17。此外，当是定时器正在计时当中时(步骤S15的是)，立刻过渡到步骤S17。

接着，特征量抽出部1614从在步骤S12中采集到的摄像图像中，抽出在步骤S13中已检测出的商品G的特征量(步骤S17)。相似度判定部1615对在步骤S17中已抽出的特征量和PLU文件F1所登记的各登记商品的特征量进行比较，分别计算出其相似度(步骤S18)。而且，相似度判定部1615在计算出的相似度中，判定是否存在有其值大于等于规定阈值的登记商品(步骤S19)。

当在步骤S19中存在有相似度大于等于阈值的登记商品时(步骤S19的是)，计时部1613对定时器进行复位(步骤S20)。接着，商品候选提示部1616从PLU文件F1中读出相似度大于等于阈值的登记商品(商品候选)的记录，并显示在显示设备106上(步骤S21)。

接着，输入接受部1617判定是否通过触摸面板105或键盘107，接受了商品候选的选择(步骤S22)。当进行选择操作时(步骤S22的是)，则输入接受部1617将已选择的商品候选设定为确定商品，并过渡到步骤S28。此外，当在步骤S22中未接受商品候选的选择时(步骤S22的否)，返回到步骤S12。

另一方面，当在步骤S19中未存在有相似度大于等于阈值的登记商品时(步骤S19的否)，告知部1619根据被计时的定时器值进行告知。在这里，告知部1619判定计时部1613的定时器值是否已经过了第一规定时间(步骤S23)。当定时器值已经过了第一规定时间时(步骤S23的是)，告知部1619将第一告知信息显示在显示设备106上(步骤S24)，并过渡到步骤S25。另外，当定时器值小于第一规定时间时(步骤S23的否)，过渡到步骤S12。

接着，告知部1619判定计时部1613的定时器值是否已经过了第二规定时间(步骤S25)。当定时器值已经过了第二规定时间时(步骤S25的是)，告知部1619将第二告知信息显示在显示设备106上(步骤S26)，并过渡到步骤S27。另外，当定时器值小于第二规定时间时(步骤S25的否)，过渡到步骤S12。

接着，输入接受部1617进行待机，直到通过触摸面板105或键盘107，进行指示基于相似度判定部1615的识别或通过手动的识别的操作(步骤S27)。在这里，当接受继续基于相似度判定部1615的识别的操作时(步骤S27的否)，则再返回到步骤S12，继续基于相似度判定部1615的识别。另外，这时，计时部1613的定时器的计时也可以无效。

此外，当在步骤S27中接受通过手动指示识别的操作时(步骤S27的是)，则CPU161显示手动登记画面。而且，CPU161将通过手动登记画面指定的商品(登记商品)设定为确定商品，并过渡到步骤S28。

信息输出部1618关于已设定的确定商品，将对应的登记商品的商品ID等的信息输出给POS终端11(步骤S28)，并过渡到步骤S29。

在这里，当通过触摸面板105或键盘107另外输入有销售个数时，在步骤S28中，将该销售个数与表示确定商品的信息同时输出给POS终端11。另外，也可以是当未进行输入销售个数时，输出销售个数“1”作为默认值的形式。

在步骤S29中，CPU161判定有无根据从POS终端11通知结束商品登记等的工作结束(步骤S29)。当继续工作时(步骤S29的否)，CPU161返回到步骤S12的处理并继续处理。此外，当结束工作时(步骤S29的是)，图像采集部1611通过向摄像部164输出摄像截至信号，结束由摄像部164的摄像(步骤S30)，并结束商品识别处理。

接着，对POS终端11的处理动作进行说明。图9是表示POS终端11执行的销售登记处理的次序的流程图。

首先，当根据键盘22的操作指示开始商品登记等而开始处理时，则CPU61接收商品读取装置101在图7的步骤S28中已输出的确定商品的商品ID和其销售个数(步骤S41)。接着，销售登记部611基于在步骤S41中接收到的商品ID及销售个数，从PLU文件F1中读出商品种类、单价等，从而将通过商品读取装置101已读取的商品G的销售，登记在销售主文件中(步骤S42)。

接着，CPU61判定有无根据通过键盘22的操作指示结束销售登记等的工作结束(步骤S43)。当继续工作时(步骤S43的否)，CPU61返回到步骤S41并继续处理。当结束工作时(步骤S43的是)，CPU61结束销售登记处理。

如以上那样，根据本实施例，在象从摄像图像中检测出有商品G之后，即使经过一定的规定时间也未识别有商品候选那样的情况下，向操作员进行告知。通过这样，例如，当未存在有与商品G对应的登记商品时，能够向操作员告知其旨意。此外，能够防止无意中继续了商品G的摄像操作的情况发生，所以能够谋求识别所涉及的处理的效率化。

此外，根据本实施例，根据计时部1613进行计时的定时器值，连续(横跨)第一告知信息和第二告知信息的两个阶段向操作员进行告知。通过这样，能够阶段地向操作员建议变更摄像条件和变更识别方法，所以操作员能够有效地进行商品G的识别所涉及的处理。

此外，也可以根据计时部1613进行计时的定时器值，不连续(不横跨)第一告知信息和第二告知信息的两个阶段向操作员进行告知，而根据计时部1613进行计时的定时器值，告知第一告知信息和第二告知信息中的任意一个信息。

另外，在上述的商品识别处理中，虽然将相似度判定的阈值视为了固定的，但是不限定于此，也可以是根据定时器值使其变动的形式。例如，也可以是以计时部1613的定时器值经过了第一规定时间的定时(步骤S23的是)，相似度判定部1615规定量降低相似度判定的阈值的形式。此外，也可以是当计时部1613的定时器值经过第二规定时间且在步骤S27中指示有继续基于相似度判定部1615的识别时(步骤S27的否)，相似度判定部1615规定量降低相似度判定的阈值的形式。

通过这样，能够提高商品候选被识别的程度，所以当存在有与商品G对应的登记商品时，能够谋求识别所涉及的处理的效率化。另外，阈值的降低量虽然尤其不限，但是诸如也可以是降低原阈值的10％左右的形式。

以上，虽然对本发明的实施例进行了说明，但是上述实施例是作为例子提出的，并不意图限定发明的范围。上述实施例可以用其他各种形式来实施，只要在不脱离发明的要旨的范围内可以进行各种省略、替换、变更、追加等。此外，上述实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

例如，在上述实施例中，虽然是POS终端11具有PLU文件F1的形式，但是不限定于此，也可以是商品读取装置101具有PLU文件F1的一部分或全部的形式。

此外，在上述实施例中，虽然是在商品读取装置101中进行商品候选的识别的形式，但是也可以是POS终端11具有商品读取装置101所具有的功能部的一部分或全部的形式。

例如，也可以是POS终端11具有计时部1613、特征量抽出部1614及相似度判定部1615，商品读取装置101具有图像采集部1611、商品检测部1612、商品候选提示部1616、输入接受部1617及信息输出部1618的形式。这时，在商品读取装置101侧中，将通过图像采集部1611采集、并在商品检测部1612中检测出了商品的摄像图像发送给POS终端11。在POS终端11侧，以接收到了摄像图像的定时开始基于计时部1613的计时，并计时相似度判定部1615持续识别商品候选的经过时间(计时相似度判定部1615识别商品候选的经过时间)。而且，商品读取装置101接收在POS终端11侧识别出的商品候选(商品ID)，商品候选提示部1615将该商品候选在显示设备106上进行提示。此外，当POS终端11具有商品读取装置101的全部功能部时，商品读取装置101具有作为摄像装置的功能，在POS终端11中，基于从商品读取装置101已发送的摄像图像，进行商品候选的识别。

此外，在上述实施例中，虽然对采用了固定式的扫描器装置(商品读取装置101)的例子进行了说明，但是不限定于此，也可以是将所谓的手持式扫描装置与POS终端11连接的形式。

此外，在上述实施例中，虽然在由POS终端11和商品读取装置101构成的结账***中，将本发明的实施例应用于商品读取装置101中，但是并不限定于此，也可以应用于具有POS终端11及商品读取装置101的功能的一体构成的装置、或诸如将图1所示的商品读取装置101及POS终端11通过有线或无线地连接而构成的结账***。作为具有POS终端11及商品读取装置101的功能的一体构成的装置，列举有设置在超市等店铺中而使用的自助结账装置(以后，仅称为自助POS)。

在这里，图10是表示自助POS200的外观构成的立体图，图11是表示自助POS200的硬件构成的框图。另外，以下，对图1及图2所示的同样构成，附加相同符号进行示出，并省略其重复的说明。

如图10及图11所示，自助POS200的主体202具有在表面上配设有触摸面板105的显示装置106、为了识别(检测)商品的种类等而读取商品图像的商品读取部110。

作为显示装置106，诸如采用有液晶显示器。显示装置106显示用于向顾客告知自助POS200的操作方法的引导画面、各种的输入画面、显示通过商品读取部110已读取的商品信息的登记画面、显示商品的合计金额、预付金额、找零金额等并进行选择支付方法的对账(结账)画面等。

商品读取部110是通过顾客将附在商品上的码符号对准商品读取部110的读取窗103，从而通过摄像部164读取商品图像的装置。

此外，在主体202的右侧设置有用于放置已装入筐中的未结算的商品的商品载置台203，在主体202的左侧设置有用于放置已结算的商品的商品载置台204。此外，设置用于挂装入已结算的商品用的袋的袋挂钩205、用于将已结算的商品在装入袋之前临时放置的临时放置台206。商品载置台203及204分别设置有计量器207、208，并具有确定在结算前后商品的重量为相同的情况的功能。

此外，自助POS200的主体202设置有用于进行存入结算用纸币和接受找零纸币的找零机201。

当在这样构成的自助POS200中应用了本发明的实施例时，自助POS200具有作为信息处理装置的功能。另外，具有POS终端11和商品读取装置101的功能的一体构成的装置，不限定于上述构成的自助POS200，也可以是去除计量器207及208而构成的装置。

此外，在上述实施例的各装置中执行的程序，虽然被预先安装在各装置所具有的存储介质(ROM或存储部)中而提供，但是并不限定于此。例如，也可以用可安装的形式或可执行的形式的文件记录在CD-ROM、软磁盘(FD)、CD-R、DVD(Digital Versatile Disk：数字多功能光盘)等计算机可读的存储介质中而提供。而且，存储介质不限定于与计算机或嵌入***独立的介质，也包含有下载通过LAN、互联网等传输来的程序而存储或临时存储的存储介质。

此外，也可以将在上述实施例的各装置中执行的程序存储在与互联网等的网络连接的计算机上，并通过经由网络下载来提供。此外，也可以将在上述实施例的各装置中执行的程序经由互联网等的网络进行配置。

此外，也可以是将上述实施例的程序安装在具有通信功能的移动电话、智能电话、PDA(Personal Digital Assistant：个人数字助理)等的便携信息终端中而实现其功能的形式。

Claims (10)

1.一种信息处理装置，包括：

采集部，采集摄像部已摄像的图像；

识别部，基于通过所述摄像部已摄像的商品的图像，从基准商品中识别成为所述商品的候选的商品候选；

计时部，计时所述识别部持续识别所述商品候选的经过时间；以及

告知部，当所述经过时间达到一定的规定时间时，进行告知。

2.根据权利要求1所述的信息处理装置，其中，

所述告知部当所述经过时间达到规定时间时，进行催促变更到其他识别方法的告知。

3.根据权利要求1所述的信息处理装置，其中，

所述告知部当所述经过时间达到第一规定时间时，进行催促变更摄像条件的告知，且当达到与所述第一时间相比长的第二规定时间时，进行催促变更到其他识别方法的告知。

4.根据权利要求1至3中任一项所述的信息处理装置，还包括：

检测部，从所述摄像部已摄像的图像中检测出所述商品的图像；

抽出部，从所述商品的图像中抽出特征量；以及

计算部，将基准商品的各个商品的特征量和所述抽出部已抽出的商品的特征量进行比较，并计算出其相似度，

其中，所述识别部将所述相似度大于等于阈值的基准商品识别为所述商品候选，

所述计时部从所述检测部检测出所述商品的图像之后，对所述识别部持续识别所述商品候选的经过时间进行计时。

5.根据权利要求1至4中任一项所述的信息处理装置，其中，

所述识别部当所述经过时间达到所述规定时间时，使所述阈值降低规定量。

6.一种信息处理装置的控制方法，包括以下步骤：

采集步骤，采集摄像部已摄像的图像；

识别步骤，基于通过所述摄像部已摄像的商品的图像，从基准商品中识别成为所述商品的候选的商品候选；

计时步骤，计时通过所述识别步骤持续识别所述商品候选的经过时间；以及

告知步骤，当所述经过时间达到一定的规定时间时，则进行告知。

7.根据权利要求6所述的控制方法，其中，

在所述告知步骤中，当所述经过时间达到规定时间时，进行催促变更到其他识别方法的告知。

8.根据权利要求6所述的控制方法，其中，

在所述告知步骤中，当所述经过时间达到第一规定时间时，则进行催促变更摄像条件的告知，且当达到与所述第一时间相比长的第二规定时间时，进行催促变更到其他识别方法的告知。

9.根据权利要求6至8中任一项所述的控制方法，还包括：

检测步骤，从所述摄像部已摄像的图像中检测出所述商品的图像；

抽出步骤，从所述商品的图像中抽出特征量；以及

计算步骤，将基准商品的各个商品的特征量和通过所述抽出步骤已抽出的商品的特征量进行比较，并计算出其相似度，

其中，在所述识别步骤中，将所述相似度大于等于阈值的基准商品识别为所述商品候选，

在所述计时步骤中，从通过所述检测步骤检测出所述商品的图像之后，对通过所述识别步骤持续识别所述商品候选的经过时间进行计时。

10.根据权利要求6至9中任一项所述的控制方法，其中，

长所述识别步骤中，当所述经过时间达到所述规定时间时，使所述阈值降低规定量。