CN111465963A - 用于确认对象物的获取的***、服务器、程序和方法 - Google Patents

用于确认对象物的获取的***、服务器、程序和方法 Download PDF

Info

Publication number
CN111465963A
CN111465963A CN201880079702.XA CN201880079702A CN111465963A CN 111465963 A CN111465963 A CN 111465963A CN 201880079702 A CN201880079702 A CN 201880079702A CN 111465963 A CN111465963 A CN 111465963A
Authority
CN
China
Prior art keywords
image
feature
type
objects
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880079702.XA
Other languages
English (en)
Other versions
CN111465963B (zh
Inventor
仓林修一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cygames Inc
Original Assignee
Cygames Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cygames Inc filed Critical Cygames Inc
Publication of CN111465963A publication Critical patent/CN111465963A/zh
Application granted granted Critical
Publication of CN111465963B publication Critical patent/CN111465963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供用于确认对象物获取的***、服务器、程序和方法。用于确认获取到多个种类的对象物中的一个种类的对象物的***配备有便携式终端装置和服务器。便携式终端装置基于与用于检测多个种类的对象物的形状有关的局部特征量，判断多个种类的对象物中的一个种类的对象物是否包括在便携式终端装置的摄像装置所拍摄到的空间的图像中；取得被判断为包括该对象物的图像作为获取对象物图像；以及将获取对象物图像发送至服务器。以及其中，服务器接收所发送的获取对象物图像；基于多个种类的对象物中的一个种类的对象物的图像特征量，来确定获取对象物图像相对于该对象物的特征相关量；以及判断获取对象物图像是否是拍摄到一个种类的对象物的图像。

Description

用于确认对象物的获取的***、服务器、程序和方法
技术领域
本发明涉及用于确认用户获取到了对象物的***、服务器、程序和方法。
背景技术
已知有向访问了诸如商店等的预定场所的用户奖励在线游戏等中的特权的签到服务。在专利文献1所公开的***中，在提供向访问了张贴有预定张贴物的场所的便携式终端装置的用户奖励在线游戏等中的特权这一服务时，如果基于作为便携式终端存储单元中所存储的张贴物的图像的基准图像而将张贴物判断为包括在摄像区域内，则拍摄张贴物及其周边部的图像，将通过对该图像进行归一化所获得的归一化图像与已被认证并存储在服务器中的已认证图像进行比较，并且基于这两者之间的相似度来确认用户的访问。
现有技术文献
专利文献
日本专利6181893
发明内容
发明要解决的问题
然而，该***的目的是确认对预定场所的访问。因而，为了用于对购买了或以其它方式获取到了产品的用户进行确认并且奖励特权的签到服务的目的，该***不一定适合于精确地识别要奖励特权的对象物(诸如产品等)的种类。
如果将用于识别产品的种类的二维码贴附至产品包装等，则可以在所拍摄到的图像中识别产品的种类。然而，为了通过使用二维码来识别产品的种类，需要在包装纸等上显示针对各个产品而不同的二维码。由于改变现有包装纸的设计并在包装纸上印刷二维码会大大增加单价，因此难以针对时间段有限的事件而实现这一点。此外，在将识别各个产品等的二维码贴附至现有包装纸的情况下，由于该作业将导致单价大大增加，并且将需要改变产品的制造和分销途径，这是不可行的。
用于解决问题的方案
本发明是有鉴于上述问题而作出的，并且具有以下特征。具体地，根据本发明实施例的一种***是一种***，用于确认获取到了多个种类的对象物中的一个种类的对象物，所述***包括便携式终端装置和服务器，所述***的特征在于：所述便携式终端装置被配置为：基于与用于检测所述多个种类的对象物的形状有关的局部特征量，来判断所述便携式终端装置的摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物；在判断为所述图像包括一个种类的对象物的情况下，取得被判断为包括该对象物的图像作为获取对象物图像；以及将所述获取对象物图像发送至所述服务器，以及所述服务器被配置为：接收所发送的获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
所述一个种类的对象物的图像特征量可以包括特有特征量和非特有特征量，所述特有特征量可以包括表示作为所述一个种类的对象物的特征的颜色的特征颜色值，所述非特有特征量可以包括表示不是所述一个种类的对象物的特征的颜色的非特征颜色值，所述特征相关量可以是被确定为表示作为所述一个种类的对象物的特征的颜色的特征部的量和被确定为表示不是所述一个种类的对象物的特征的颜色的非特征部的量之间的比，其中，所述确定是基于所述获取对象物图像中的所述一个种类的对象物的图像特征量而进行的，以及与所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像有关的判断可以是根据所述特征相关量是否落在预定范围内而确定的。
所述非特有特征量可以包括以下颜色值中的至少任一颜色值：表示所述多个种类的对象物共同的颜色的颜色值、以及未包括在所述一个种类的对象物的特有特征量中但包括在其它种类的对象物的特有特征量中的颜色值。
所述一个种类的对象物的图像特征量可以包括与该种类的对象物的基准图像中所包括的形状有关的直方图，以及所述特征相关量可以是基于所述基准图像的直方图和与所述获取对象物图像中所包括的形状有关的直方图之间的差而确定的。
与所述便携式终端装置的所述摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物有关的判断可以是与所拍摄到的空间的图像中的预定区域内是否包括所述一个种类的对象物有关的判断。
所述多个种类的对象物中的一个种类可以是由用户经由所述便携式终端装置预先指定的。
与所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像有关的判断可以是针对所述多个种类的对象物中的各种类的对象物进行的，并且所述获取对象物图像可以被判断为拍摄到具有最高相关性的对象物的图像。
所述局部特征量可以是所述多个种类的对象物共同的局部特征量，或者可以是所述多个种类的对象物中的各种类的对象物特有的局部特征量。
此外，根据本发明实施例的一种服务器是一种服务器，其被用在***中，所述***用于确认获取到了多个种类的对象物中的一个种类的对象物，所述服务器的特征在于，所述服务器被配置为：从便携式终端装置接收被判断为包括所述便携式终端装置所拍摄到的对象物的获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
此外，根据本发明实施例的一组程序是一组程序，用于确认获取到了多个种类的对象物中的一个种类的对象物，所述一组程序使得一个或多个计算机执行以下步骤：基于与用于检测所述多个种类的对象物的形状有关的局部特征量，来判断便携式终端装置的摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物；在判断为所述图像包括一个种类的对象物的情况下，取得被判断为包括该对象物的图像作为获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
根据本发明实施例的一种程序是一种程序，用于确认获取到了多个种类的对象物中的一个种类的对象物，所述程序使得服务器执行以下操作：从便携式终端装置接收被判断为包括所述便携式终端装置所拍摄到的对象物的获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
根据本发明实施例的一种方法是一种方法，用于确认获取到了多个种类的对象物中的一个种类的对象物，其中使得一个或多个计算机执行以下步骤：基于与用于检测所述多个种类的对象物的形状有关的局部特征量，来判断便携式终端装置的摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物；在判断为所述图像包括一个种类的对象物的情况下，取得被判断为包括该对象物的图像作为获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
根据本发明实施例的一种方法是一种方法，用于确认获取到了多个种类的对象物中的一个种类的对象物，其中使得服务器执行以下操作：从便携式终端装置接收被判断为包括所述便携式终端装置所拍摄到的对象物的获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
发明的效果
本发明使得可以以低成本实现如下的***，该***识别用户从多个种类的对象物(诸如产品等)中获取到的对象物的种类，以确认用户获取到了该对象物。
附图说明
图1示出根据本发明实施例的***的总体结构。
图2是根据本发明实施例的便携式终端装置的硬件结构图。
图3是根据本发明实施例的服务器的硬件结构图。
图4是根据本发明实施例的便携式终端装置的功能框图。
图5是根据本发明实施例的服务器的功能框图。
图6是示出根据本发明实施例的信息处理的流程图。
图7是示出根据本发明实施例的便携式终端装置的信息处理的流程图。
图8A是示出根据本发明实施例的显示画面的示例的图。
图8B是示出根据本发明实施例的显示画面的示例的图。
图9是示出根据本发明实施例的服务器的信息处理的流程图。
图10是根据本发明实施例的使对象物的特征部和非特征部可视化的图。
图11是示出根据本发明实施例的窗口的概念的图。
图12A是示意性示出根据本发明实施例的形状特征量提取方法的图。
图12B是示意性示出根据本发明实施例的形状特征量提取方法的图。
图12C是示意性示出根据本发明实施例的形状特征量提取方法的图。
图12D是示意性示出根据本发明实施例的形状特征量提取方法的图。
具体实施方式
以下将参考附图来说明本发明的实施例。如图1所示，根据本实施例的对象物获取确认***100可以通过包括经由网络110连接的一个或多个便携式终端装置120以及服务器130的***来实现。对象物可以是任何种类，只要可以确认用户获取到了这样的物体即可。在本实施例中，对象物是进行签到服务的产品，并且在确认为在线游戏的用户在商店购买并获取到了这样的产品时，奖励与该产品相对应的在线游戏中的物品作为特权。对象物不一定是产品，并且例如，可以是在事件中免费分发的卡片等。
本实施例中的各个便携式终端装置120是拍摄对象物的图像、并将所拍摄到的图像经由网络110发送至服务器130的装置。便携式终端装置120可以是诸如移动电话、智能电话、平板终端、便携式游戏机或数字照相机等的便携式装置。便携式终端装置120包括处理装置201、显示装置202、输入装置203、摄像装置204、位置信息获取装置205、存储装置206、通信装置207和总线208。存储装置206存储程序209。
处理装置201基于程序209、从输入装置203输入的数据、来自摄像装置204的摄像数据、从位置信息获得装置205或通信装置207接收到的数据等，来执行诸如web浏览器等的应用，并且执行诸如图像处理等的各种处理。处理装置201包括用于控制便携式终端装置120中所包括的各个装置的处理器，并且通过使用处理器或存储装置206中所包括的寄存器作为工作区域来执行各种处理。这些组件经由总线208连接；然而，可选地，这些组件可以根据需要单独连接。
显示装置(显示器)202在处理装置201的控制下显示应用画面或摄像装置204所拍摄到的图像。显示装置202优选是液晶显示器，但可以是基于有机EL的显示器或等离子显示器等。
输入装置203是诸如触摸屏、触摸板或输入按钮等的、具有用于接受来自用户的输入的功能的装置。在便携式终端装置120包括触摸屏作为输入装置203的情况下，触摸屏还用作显示装置202，并且显示装置202和输入装置203是以一体形式构造的。显示装置202和输入装置203可以以分开形式布置在单独位置。摄像装置204拍摄现实空间区域的静止图片或运动图片。位置信息获得装置205是获得表示便携式终端装置的当前位置的信息的装置，并且例如可以是GPS传感器或者基于WiFi SSID等来识别位置的装置。
存储装置206包括硬盘、主存储器和缓冲存储器。可选地，代替硬盘，可以使用可以是可移除型的、能够存储信息的任何类型的非易失性存储设备或非易失性存储器。例如，在便携式终端装置120是智能电话的情况下，存储装置206包括ROM和RAM。存储装置206存储程序209、以及在执行这些程序时可以参考的各种数据。程序209可以包括操作***、以及诸如视频游戏或web浏览器等的需要来自游戏者的输入的任何种类的应用所用的程序和数据。
通信装置207执行诸如移动通信或无线LAN通信等的无线通信、或者经由以太网(Ethernet，注册商标)线缆或USB线缆等的有线通信。通信装置207使得可以从服务器130下载程序并将这些程序存储在存储装置206中。可选地，程序可以存储在诸如CD或DVD等的光盘中，并且通过将光学驱动器连接至通信装置207，可以从光盘读取程序等并将这些程序存储在存储装置206中。
图3是示出根据本实施例的服务器130的硬件结构的框图。服务器130包括处理装置301、显示装置302、输入装置303、存储装置306和通信装置307。这些组件经由总线308连接；然而，可选地，这些组件可以根据需要单独连接。
处理装置301包括控制服务器130中所包括的各个装置的处理器，并且通过使用存储装置306作为工作区域来执行各种处理。显示装置302具有用于向服务器的用户显示信息的功能。输入装置303是具有用于接受来自用户的输入的功能的装置，诸如键盘或鼠标等。
存储装置306包括硬盘、主存储器和缓冲存储器。硬盘存储程序309。可选地，代替硬盘，可以使用可以为可移除型的、能够存储信息的任何类型的非易失性存储设备或非易失性存储器。存储装置306存储程序309，并且执行可被称为程序的各种数据。
通信装置307执行经由以太网(Ethernet，注册商标)线缆等的有线通信或者诸如移动通信或无线LAN通信等的无线通信，以连接至网络110。
图4示出根据本发明的便携式终端装置120的功能框图的示例。便携式终端装置120包括便携式终端控制单元401、便携式终端显示单元402、便携式终端输入单元403、摄像单元404、位置信息获得单元405、便携式终端存储单元406和便携式终端通信单元407。
便携式终端显示单元402显示要呈现给用户的信息。便携式终端输入单元403接受来自用户的输入。摄像单元404拍摄现实空间区域的静止图片或运动图片。位置信息获得单元405获得便携式终端装置120的当前位置信息。
便携式终端存储单元406将作为各个对象物的图像的基准图像与表示对象物的种类的对象物识别信息(ID)相关联地存储。在本实施例中，尽管假定存在多个种类的对象物，但可以仅利用一个种类来进行操作。在存在仅一个种类的对象物的情况下，无需将基准图像与对象物ID相关联地存储。例如，可以将基准图像从服务器130以包括在获取确认应用中的方式下载到便携式终端装置120的存储单元406。优选应该基于经由通信单元407从服务器130接收到的信息来在预定定时更新便携式终端存储单元406中所存储的基准图像。例如，可以在用于奖励特权的事件的更新时或者每隔一定间隔下载和更新基准图像。通过使用web浏览器作为获取确认应用，在访问用于拍摄查看图像的网站时，可以下载基准图像。
便携式终端装置120的控制单元401基于与用于检测对象物的形状有关的局部特征量，来判断便携式终端装置的摄像单元404所拍摄到的空间的图像是否包括多个种类的对象物其中之一。如果该图像被判断为包括这些种类的对象物其中之一，则便携式终端控制单元401取得被判断为包括对象物的图像作为获取对象物图像，并将所取得的获取对象物图像发送至服务器130。此外，可以通过使用位置信息获得单元405来获得便携式终端位置信息，并将该便携式终端位置信息连同所拍摄到的图像一起发送至服务器130。
在本实施例中，便携式终端控制单元401通过处理装置201执行图2所示的硬件结构中所包括的程序209来实现，但也可以通过准备集成电路等来实现。此外，便携式终端显示单元402、便携式终端输入单元403、摄像单元404、位置信息获得单元405、便携式终端存储单元406和便携式终端通信单元407分别由图2所示的显示装置202、输入装置203、摄像装置204、位置信息获得装置205、存储装置206和通信装置207的各个硬件实现，但也可以通过处理装置201等执行程序209以与各个硬件协作来实现。
图5示出根据本发明的服务器130的功能框图的示例。服务器130包括服务器控制单元501、服务器显示单元502、服务器输入单元503、服务器存储单元506和服务器通信单元507。
服务器显示单元502显示要呈现给用户(诸如服务器管理员等)的信息。服务器输入单元503接受来自用户的输入。服务器存储单元506将作为对象物的图像的基准图像以及对象物的图像特征量与对象物ID相关联地存储。在存在仅一个种类的对象物的情况下，无需将基准图像和图像特征量与对象物ID相关联地存储。此外，服务器存储单元506还将各个对象物的图像特征量与对象物ID相关联地存储。
服务器控制单元501响应于来自便携式终端装置120的请求，将存储单元506中所存储的基准图像连同与关联的对象物ID一起经由通信单元507发送至便携式终端装置120。此外，可以在诸如更新基准图像的定时等的预定定时，从存储单元506读取基准图像，将基准图像发送至便携式终端装置120，并且更新便携式终端装置120中的基准图像。
服务器控制单元501通过使用服务器通信单元507接收从便携式终端装置120发送来的获取确认请求，基于多个种类的对象物中的一个种类的对象物的图像特征量来确定相应的获取对象物图像相对于该种类的对象物的特征相关量，并判断获取对象物图像是否是包括该种类的对象物的图像。服务器控制单元501可以进一步判断获取对象物图像是否是非正当获取图像。在获取对象物图像被判断为包括对象物且被判断为不是非正当获取图像的情况下，考虑到确认了用户获取到对象物，奖励相应的特权等。
在本实施例中，服务器控制单元501通过处理装置301执行图3所示的硬件结构中所包括的程序309来实现，但也可以通过准备集成电路等来实现。此外，服务器显示单元502、服务器输入单元503、服务器存储单元506和服务器通信单元507分别通过图3所示的显示装置302、输入装置303、存储装置306和通信装置307的各个硬件来实现，但也可以通过处理装置301等执行程序309以与各个硬件协作来实现。
接着，图6示出本实施例中的便携式终端装置120和服务器130的操作的流程图。将在如下示例的情况下说明本实施例：要求用作便携式终端装置120的智能电话的用户购买并获取用作多个种类的对象物的产品其中之一，从而获取用户正在玩的在线游戏中的物品。这里，由于在线游戏中奖励的物品根据产品的各个种类而不同，因此需要识别用户获取到了哪个产品。
用户实际访问销售被指定为对象的产品的商店，购买并获取这些产品其中之一，通过使用便携式终端装置120拍摄所获取到的产品的图像，并将所拍摄到的图像发送至服务器130。服务器判断所获取到的产品是否是多个种类的对象产品其中之一，并且在判断为所拍摄到的图像中的产品是多个种类的对象产品中的特定一个种类的对象产品时，确认为用户获取到了该产品，并将与该产品种类相对应的物品分发到用户的游戏账户。以下具体说明这些处理步骤中的操作。
在本实施例中，首先，用户将获取确认应用作为程序209其中之一下载并安装在便携式终端装置120中，并且访问商店其中之一以购买产品。在用户激活便携式终端装置120中的获取确认应用以拍摄所获取到的产品的图像时，便携式终端装置120开始获取确认请求处理(S601)。在获取确认请求处理中，便携式终端装置120的控制单元401通过使用摄像单元404来拍摄包括产品的图像并将该图像取得为获取对象物图像，并且将包括该获取对象物图像的获取确认请求经由通信单元407发送至服务器130。
服务器130接收到获取确认请求并执行获取确认处理(S602)。在获取确认处理中，服务器130判断用户所拍摄到的图像中的产品是否是要奖励特权的多个种类的产品其中之一。
图7更具体地示出本实施例中的获取确认请求处理(S601)中的操作。在用户激活便携式终端装置120中的获取确认应用时，开始获取确认请求处理S601。
便携式终端控制单元401将用于基准图像的计数器d设置为0(S701)。在本实施例中，便携式终端装置120的存储单元406将基准图像与要奖励特权的D个种类的对象物(产品)的各个对象物ID相关联地存储，并且基于基准图像来判断用户所拍摄到的图像是否包括作为对象物的产品。例如，基准图像按照对象物的对象物ID的顺序用于比较。
用户试图在便携式终端装置120的摄像单元404指向所获取到的产品的状态下拍摄该产品的图像。摄像单元404拍摄摄像单元404指向的方向上的空间的图像(S702)。所拍摄到的图像优选是运动图片的帧，但也可以是通过拍摄静止图片所拍摄到的图像。然后，将摄像单元404所拍摄到的空间的拍摄图像与存储单元406中所存储的基准图像中的第d个(0≤d<D)基准图像进行比较(S703)，并且判断与基准图像相关联的对象物是否是在所拍摄到的空间的图像中的预定区域内拍摄的(S705)。
在本实施例中，基于与形状有关的局部特征量来执行基准图像与摄像单元404所拍摄到的空间的图像之间的比较。在这里，形状不仅包括产品的形状，而且还包括字符和图形(诸如印在产品上的徽标和产品名称等)的形状。通过使用局部特征量，可以高速地判断产品是否包括在拍摄图像中。局部特征量优选是预先计算并预先存储在存储单元406中的。
这里，由于通过使用局部特征量来粗略地判断对象物是否包括在图像中，因此即使在与正用于比较的基准图像中的对象物类似的其它对象物、或者不是对象物的物体包括在图像中的情况下，也存在将正比较的基准图像中的对象物判断为包括在图像中的可能性。在本发明中，接受使用局部特征量的判断中的这种错误判断的可能性。通过使用局部特征量来高速地识别出图像中的被估计为包括对象物的区域，由此限制了为了进行更精确的识别而使用特征相关量进行计算的对象，从而减少了计算量。这使得能够高速识别对象物的种类。
在本实施例中，引导用户移动便携式终端装置120的位置和角度，使得将在预定区域内拍摄产品的图像，由此将拍摄产品的图像的区域限制在该预定区域内。以这种方式，对所拍摄到的图像中的产品的位置和大小进行几何归一化，这用于减少产品种类的后续识别所用的信息处理量。
将要拍摄产品的图像的预定区域定义为比可以利用摄像单元404拍摄图像的整个区域小的区域，并且在该预定区域内拍摄产品的图像，同时拍摄该产品周边的区域的图像。可以将周边区域的图像用于后面将说明的非正当获取对象物图像的检测(S907)。
在所拍摄到的空间的图像中的预定区域被判断为不包括第d个基准图像中的对象物的图像的情况下(S704)，使计数器d递增(S705)，并且判断所拍摄到的图像是否已与要进行判断的所有D个种类的对象物的基准图像进行了比较(S706)。在未对所有的基准图像进行判断的情况下，判断所拍摄到的图像是否包括下一基准图像中的对象物(S703和S704)。在判断为所拍摄到的图像与所有的基准图像进行了比较的情况下(S706)，重置计数器d(S701)，拍摄新空间的图像(S703)，并且执行该所拍摄到的图像与基准图像的比较。重复执行S701～S706的处理，直到所拍摄到的空间的图像中的预定区域被判断为包括基准图像其中之一中的对象物为止。
图8示出显示单元402上所显示的获取确认应用的显示画面800作为示例。汉堡被选为对象物。如图8A所示，显示单元402将表示要容纳用作对象物的汉堡802的预定区域的框801和指示要将对象物容纳在该框内的消息、连同摄像单元404所拍摄到的空间的图像一起显示。这里，显示单元402显示摄像单元404的摄像区域的整体803，并且框801定义比整个区域小的区域。因而，在汉堡802容纳在框801内时，在框801外侧的区域中显示汉堡802的周边图像805。在被指示将汉堡容纳在框801内时，用户移动便携式终端装置120。
例如，通过采用使用ORB(Oriented FAST and Rotated BRIEF(面向FAST和旋转BRIEF))特征量的关键点匹配技术，来实现用于判断基准图像中的对象物的图像是否包括在所拍摄到的空间的图像中的预定区域内的、使用局部特征量的判断处理(S703和S704)。具体地，预先检测作为基准图像中的局部特征量的特征点(关键点)，并将该特征点(关键点)作为获取确认应用的一部分而存储在存储单元406中。然后，将预先存储的基准图像中的特征点(关键点)叠加在预定区域(框801)中，并且在摄像单元404所拍摄到的图像中的特征点与叠加在预定区域中的特征点重叠的情况下，将所拍摄到的空间的图像中的预定区域判断为包括基准图像中的对象物的图像。在基准图像中的特征点和所拍摄到的图像中的特征点之间无需完全重叠。例如，在预定数量的特征点在预定的位移范围内重叠的情况下，可以将预定区域判断为包括对象物的图像。
在用户移动了便携式终端装置120以成功地将对象物容纳在预定区域内时，所拍摄到的空间的图像中的预定区域被判断为包括基准图像中的对象物的图像(S704)，并且取得包括在预定区域内拍摄到的对象物且还包括其周边区域的图像作为获取对象物图像(S707)。在这种情况下，取得获取对象物图像是为了后续处理的目的而将拍摄图像存储在存储单元406中。由于用于取得获取对象物图像的处理由各便携式终端装置执行，因此即使在同时发出大量获取确认请求的情况下，也使负荷分散到各个便携式终端装置，由此可以减轻服务器负荷。
如图8B所示，显示单元402显示用于查询是否将获取对象物图像发送至服务器并发送获取确认请求或者再次拍摄图像的消息、以及用于向用户通知成功取得了获取对象物图像的消息。在输入单元403接收到用于再次拍摄图像的输入的情况下，处理返回到S701。在输入单元403接收到用于将获取确认请求发送至服务器130的输入的情况下，便携式终端装置120的控制单元401通过使用通信单元407将获取确认请求经由网络110发送至服务器130(S708)。获取确认请求包括用于识别用户的用户ID以及获取对象物图像。
在本实施例中，通过将拍摄图像与对象物的预定基准图像进行比较来判断对象物的图像是否包括在预定区域内。然而，对于具有共同特征的多个种类的对象物，可以基于代表表示共同特征的特征量的数据来进行判断。在这种情况下，检测到具有共同特征的所有对象物。通过后面将说明的处理来识别对象物中的哪个包括在获取对象物图像中。
接着，将参考图9所示的流程图来说明服务器130所执行的获取确认处理(S602)的具体处理。在本实施例中，基于第k个对象物的基准图像的图像特征量来确定获取对象物图像相对于第k个种类的对象物的特征相关量(S902)，并且基于所确定的特征相关量来判断获取对象物图像中所包括的产品是否是对象产品的种类其中之一(S903)。然后，判断图像是否没有被非正当篡改、以及图像是否是诸如其它用户所拍摄到的图像的副本等的非正当图像(S907)。在获取对象物图像中包括对象物的种类其中之一、并且获取对象物图像不是非正当图像的情况下，将与该种类相对应的特权奖励给用户(S908)。以下将详细说明这些处理步骤。
服务器控制单元501将用于对象物的种类的计数器k设置为0(S901)。在本实施例中，存储单元506将与要奖励特权的多个种类的对象物有关的各个特有特征量和非特有特征量与各个对象物的对象物ID相关联地存储，并且顺次判断对象物其中之一是否包括在用户所拍摄到的图像中。尽管这里特有特征量和非特有特征量这两者都是针对各对象物特有地定义的，但可以对各对象物仅特有地定义特有特征量，而在所有种类之间共用非特有特征量。S902和S903中的比较所用的对象物例如可以按对象物ID的编号的顺序使用。
特有特征量是表示适合于识别对象物的种类的特征的量，并且非特有特征量是表示不适合于识别对象物的种类的特征的量。在本实施例中，特有特征量和非特有特征量是与表示对象物的图像的颜色有关的特征量。这里，特有特征量是以表的形式定义的，该表包括表示对象物的图像的各个像素的RGB值中的、该对象物的一组或多组特征性RGB值。例如，可以通过从对象物的拍摄图像中提取作为查看的结果而被视为特征性的像素RGB值和被视为非特征性的像素RGB值来创建表。尽管该表可以基于各对象物的基准图像来创建，但由于对象物图像中的RGB值根据摄像时的照明的颜色等而变化，因此优选基于在各种照明条件下拍摄到的多个图像来创建包括特有特征量的多个表。
作为示例，关于将产品名称印刷在用作对象物的汉堡的包装纸上的情况，将考虑产品名称字符的颜色针对各个产品种类而有所不同、但包装纸的背景颜色是共同的情况。在这种情况下，创建包括表示特定于各产品的字符颜色的RGB值的特有特征量表，并且创建包括表示背景颜色的RGB值的非特有特征量表。此外，由于某产品的字符颜色不同于其它产品的字符颜色，因此表示该其它产品的字符颜色的RGB值可以包括在该某产品的非特有特征量表中。由于除某产品以外的产品的字符颜色是未包括在该产品中的颜色，因此可以通过将这些特征包括在非特有特征量中来降低错误产品识别的概率。
在本实施例中，假定：产品名称“CHEESE BURGER”的字符颜色为绿色，产品名称“HAMBERGER”的字符的颜色为紫色，并且CHEESE BURGER和HAMBERGER的包装纸的背景颜色为棕色。表1和表2示出这种情况下的CHEESE BURGER的特有特征量表和非特有特征量表。
{表1}
ID R，G，B
0 131，150，87
1 136，162，101
2 122，150，87
…
N 83，93，32
{表2}
ID R，G，B
0 107，71，54
1 117，79，60
2 57，35，22
…
M 192，159，79
表1是表示CHEESE BURGER的特有特征量的表。例如，ID＝0的(131，150，87)是表示用作CHEESE BURGER的字符颜色的绿色的一组RGB值。由于拍摄图像中的相同印刷的绿色的RGB值根据照明条件而变化，因此还包括表示绿色的多个其它组的RGB值。表2是表示CHEESEBURGER的非特有特征量的表。例如，ID＝0的(107，71，54)是表示CHEESE BURGER和HAMBERGER这两者的包装纸共同的棕色的一组RGB值。此外，可以包括表示作为HAMBERGER的字符颜色且未包括在CHEESE BURGER的包装纸中的红色的RGB值。
服务器控制单元501基于对象物的这些特有特征量和非特有特征量来确定获取对象物图像相对于对象物的特征相关量。在本实施例中，将基于对象物的特有特征量和非特有特征量所提取的特有特征部和非特有特征部之间的面积比视为相对于该对象物的特征相关量。
首先，计算对象物的特有特征量和非特有特征量的表中的所有RGB值与获取对象物图像中的各个像素的RGB值之间的色差。在包括与某像素处的RGB值的色差最小的RGB值的表是特有特征量表的情况下，该像素被视为特有特征部(特有特征像素)。在该表是非特有特征量表的情况下，该像素被视为非特有特征部(非特有像素)。然后，计算所提取的特有特征部和非特有特征部之间的面积比。
为了计算色差的目的，可以使用表示具有均匀性的颜色空间中的颜色距离***的、Godlove色差公式(Godlove,I.H.:Improved Color-Difference Formula,withApplications to the Perceptibility and Acceptability of Fadings,Journal ofthe Optical Society of America,41(11),pp.760-770,(1951))、或者CIE 2000(Luo,M.R.,Cui,G.,&Rigg,B.,“The development of the CIE 2000 colour-differenceformula:CIEDE2000”,Color Research&Application,Volume 26,Issue 5,October 2001,pp.340-350,DOI:10.1002/col.1049)。例如，可以如下定义以HSV空间中的距离而公知的Godlove色差公式Δgodlove。
{等式1}
Figure BDA0002532511130000181
图10示出使通过根据本实施例的处理所确定的特有特征部和非特有特征部可视化的图。这里，特有特征部(像素)用白色表示，并且非特有特征部(像素)用黑色表示。如该图所示，应当理解，具有与特有特征量表中所包括的RGB值接近的RGB值的部分(即，具有对象物的特征性颜色的字符部分)被提取为特有特征部，并且具有与非特有特征量表中所包括的RGB值接近的RGB值的部分(即，不具有对象物的特征性颜色的背景部分)被提取为非特有特征部。例如，用作特征相关量的、所提取的特有特征部和非特有特征部之间的面积比是图10中的白色部分和黑色部分之间的面积比。
代替使用非特有特征量表，在特有特征量表中的RGB值之间的差在阈值内的情况下，该部分可被判断为特有特征部，而在其它情况下，将该部分判断为非特有特征部。然而，如前面所述，即使在拍摄同一种类的对象物的图像的情况下，所拍摄到的图像中的各个像素的RGB值也根据照明条件而变化。因而，在仅基于某部分是否落在特有特征量的预定范围内来判断该部分是否是特有特征部的情况下，错误判断的可能性增加。例如，在进行与在与作为特征性颜色的绿色接近的照明下拍摄到的获取对象物图像有关的判断的情况下，所有的像素都表现出与特有特征量接近的颜色，这导致所有像素都可能被判断为特有特征部的风险。
另一方面，如本实施例那样，通过还使用非特有特征量表来进行与某部分是更接近特有特征量还是非特有特征量有关的相对判断，可以更准确地进行判断。例如，如果基于在绿色照明下拍摄到的图像提取出了非特有特征量，则即使利用在绿色照明下拍摄到的获取对象物图像，表示呈绿色的背景颜色的像素也表现出与非特有特征量表中所包括的RGB值接近的颜色，因此这些像素可被判断为非特有特征部。可以通过基于在不同照明下拍摄到的图像创建这样的表来进一步提高精度。也可以通过包括对象物中未包括的颜色作为非特有特征量来进一步提高精度。
在S903中，基于所确定的获取对象物图像相对于第k个对象物的特征相关量来判断所拍摄到的图像是否包括第k个对象物。在该特征相关量落在针对对象物预定义的范围内的情况下，获取对象物图像被判断为包括CHEESEBURGER。
然后，在所拍摄到的图像被判断为包括第k个对象物的情况下，处理进入欺诈检测(S907)。在所拍摄到的图像被判断为不包括第k个对象物的情况下，使计数器k向上计数(S904)，并且如果未对所有的种类K进行判断(S905)，则处理返回到S902，以针对下一种类再次执行判断处理。在即使在对所有的种类K进行判断之后、所拍摄到的图像也未被判断为包括对象物的情况下，由于没有检测到任何种类的对象物，因此该结果被确定为错误(S906)，并且向便携式终端装置120发送错误消息以报告未检测到对象物(S910)。
在所拍摄到的图像被判断为包括第k个对象物的情况下，判断该图像是否是非正当获取对象物图像(S907)。在该欺诈检测中，检测获取对象物图像是否被非正当篡改、以及获取对象物图像是否是以诸如复制其它用户所拍摄到的图像等的非正当方式获取到的。如在A.E.Dirik和N.Memon,“Image tamper detection based on demosaicing artifacts”,2009 16th IEEE International Conference on Image Processing(ICIP),Cairo,2009,pp.1497-1500、以及Minati Mishra,Flt.Lt.Dr.M.C.Adhikary,“Digital Image TamperDetection Techniques-A Comprehensive Study”,International Journal of ComputerScience and Business Informatics,Vol.2,No.1.ISSN:1694-2108,June 2013中所述，用于验证图像是否已被非正当篡改的各种方法是已知的。在本发明中，可以采用用于验证图像是否已被非正当篡改的任何方法。
在查看图像被判断为未被非正当篡改的情况下，基于获取对象物图像中所包括的对象物的周边部的图像，来判断该图像是否是以诸如复制其它用户所拍摄到的图像等的非正当方式获取到的。由于路人被包括在图像中或者阴影的位置改变，因而如果拍摄图像的时间变化，则包括对象物的周边部的图像不会变成完全相同的图像。此外，由于产品的周边区域在各个摄像场所之间有所不同，因此周边区域在各个拍摄图像之间有所不同。在本发明中，可以将已被判断为有效获取确认请求的获取确认请求中所包括的获取对象物图像存储并累积在服务器存储单元506中，并且通过将进行判断的获取对象物图像与已确认的获取对象物图像进行比较来判断该获取对象物图像是否是通过复制获取到的图像。如果这些图像之前的相似度高于一定水平，则获取对象物图像被判断为非正当图像。
这种基于周边图像的欺诈检测例如可以通过专利文献1(日本专利6181893)中所公开的方法来实现。在本实施例中，由于对象物的图像是在比可以利用摄像单元404拍摄图像的整个区域小的预定区域内拍摄到的，因此还拍摄到对象物的周边区域的图像。因而，可以通过包含专利文献1中所公开的欺诈检测方法来进行欺诈检测。
在非正当获取对象图像检测(S907)中图像被判断为不是非正当获取对象图像的情况下，假定确认了用户获取到第k个对象物，执行用于奖励与第k个对象物相对应的特权的处理(S908)，并且将表示奖励了特权的通知发送至便携式终端装置120(S910)。在图像被判断为非正当获取对象物图像的情况下，执行针对非正当获取对象物图像的处理(S909)，并且将表示图像被判断为非正当获取对象图像的通知发送至便携式终端装置120(S910)。
在本实施例中，通过使用如下的两个种类的特征量来进行匹配处理：具体地，作为针对转动和移动具有稳健性的特征量的局部特征量被用于在所拍摄到的图像中包括对象物的对象物区域的检测，并且全局颜色特征量被用于对象物识别，以从变化中确定所检测到的对象物区域中所包括的对象物的种类。这使得可以高速且高精度地识别多种对象物。通过将针对变化和噪声具有稳健性但不能提供足够高的识别精度的局部特征量与提供高识别精度但对变化和噪声表现弱的全局颜色特征量结合，可以同时实现识别精度和抗噪性。
特别地，例如，在对象物是用包装纸包裹的产品的情况下，由于包括了大量噪音(诸如由于包装纸的折叠引起的变形以及污迹等)，因此不可能仅利用现有的特征量匹配来准确地确定产品种类。然而，通过采用本实施例，即使在包括大量噪声的情况下，也可以以高精度高速地识别对象物的种类。
在本实施例中，在S903中基于获取对象物图像相对于第k个对象物的特征相关量而将获取对象物图像判断为包括第k个对象物的情况下，确定拍摄到第k个对象物的图像。可选地，可以计算相对于所有多个种类的对象物的特征相关量，并且确定具有最高相关性的对象物的图像被包括在获取对象物图像中。例如，可以确定针对获取对象物图像所计算出的面积比Ck与针对第k个对象物预先存储的预定值Ak之间的差最小的对象物被包括在获取对象物图像中。
在本实施例中，尽管在S902中采用颜色特征量作为用于获得特征相关量的图像特征量，但可以通过使用形状特征量来确定特征相关量。例如，可以定义N×N个像素的窗口，将该窗口顺次应用于基准图像的各个像素以提取形状图案，并基于该形状图案来定义形状特征量。
为了简化说明，将在如下示例的情况下给出说明：将N设置为2以处理黑白图像。如图11所示，定义2×2个像素的窗口1100。由于各像素是白色或黑色，因此该窗口中所包括的像素的图案的数量为24，并且将标识号PID(0～15)指派至各个图案。例如，将PID＝0指派至所有的像素(1101～1104)都为白色的图案，将PID＝1指派至仅右下方的像素(1101)为黑色的情况，并且将PID＝15指派至所有的像素都为黑色的情况。
然后，将窗口1100应用于图12A所示的基准图像1200。首先，使窗口1100的左上方的像素1101与基准图像1200的左上方的像素1201对准(图12B)以提取基准图像1200的左上方的2×2个像素的图案，并且将用于所提取的图案的PID的计数器向上计数1。这里，由于基准图像1200的左上方的2×2个像素全部为白色，因此使PID＝0的计数器CPID_0增加1。如图12C和12D所示，使窗口1100以像素为单位偏移以对基准图像的所有像素执行该处理，并且对与各PID相对应的图案的数量单独计数以获得计数器CPID_0～CPID_15。然后，通过使用这些计数器CPID_0～CPID_15作为区间(bin)来获得用作与该种类的对象物有关的图像特征量的形状直方图。
通过使用该窗口1100还针对获取对象物图像创建形状直方图。然后，计算获取对象物图像的形状直方图和基准图像的形状直方图之间的差，并且使用该差作为特征相关量(S902)。然后，在用作特征相关量的差值落在预定范围内的情况下，获取对象物图像被判断为包括对象物，并且在该差值落在该范围之外的情况下，获取对象物被判断为不包括对象物(S903)。这里，随着用作特征相关量的差值变低，相关性变高。
此外，作为变形例，可以预先识别用户所获取到的对象物的种类。在这种情况下，可以仅基于所识别出的对象物的局部特征量来执行与对象物的图像是否是在预定区域内拍摄到有关的确认处理，可以将识别所指定的种类的对象物的对象物ID包括在发送至服务器130的获取确认请求中，并且服务器130可以仅根据基于该对象物ID所识别的对象物的图像特征量来判断获取对象物图像是否包括该对象物。因而，可以实现更高速的处理。
此外，可以对允许单个用户在预定商店获取一个种类的对象物并进行签到处理的次数设置限制。在这种情况下，在便携式终端装置120发送确认请求时，在拍摄获取对象物图像时位置信息获得单元405所获得的位置信息包括在获取确认请求中，并且在服务器130奖励特权时，基于在该位置附近拍摄到的图像来确认用户是否已针对该种类的对象物进行了签到。在用户已进行了签到的情况下，不奖励特权。在用户未进行签到的情况下，在奖励特权之后，将表示用户已在该位置处进行了签到的信息存储在服务器存储单元506中。
在存在具有共同特征的多个种类的对象物的一个类别的情况下，例如，在获取确认处理的开始时(S602)，可以基于诸如颜色等的共同特征量来确定获取对象物图像中所包括的对象物是该类别中的对象物，并且仅对该类别中的对象物执行S701及其之后的处理。这使得可以在存在大量对象物的情况下减少比较所使用的对象物的数量，从而可以提高处理速度。
尽管已经在服务器130执行获取确认处理的情况下说明了本实施例(S602)，但便携式终端装置120可以执行获取确认处理。这例如通过以下来实现：除了将对象物的基准图像、还将分别针对要奖励特权的多个种类的对象物的特有特征量和非特有特征量与各个对象物的对象物ID相关联地存储在便携式终端装置120的存储单元406中。优选地，这些信息应当定期地从服务器130获得并更新。在S707中取得包括在预定区域内拍摄到的对象物及其周边区域的空间的图像作为获取对象物图像之后，便携式终端装置120不向服务器130发送获取确认请求。代替服务器130，便携式终端装置120基于所取得的获取对象物图像来执行S901～S909的处理作为获取确认处理，从而使得可以确认用户获取到了对象物。在不必须执行通知发送(S910)的情况下，可以在便携式终端装置120的显示单元402上显示诸如表示奖励了特权的消息或者表示确认请求被判断为非正当的消息等的消息，作为与用户是否获得了对象物有关的确认的结果。
只要在上述的处理或操作中未出现矛盾，就可以自由地修改该处理或操作。此外，上述的实施例是用于说明本发明的示例，并且本发明不限于这些实施例。本发明可以以未背离本发明的主旨的各种形式实施。此外，在实施例的上下文中所述的优点仅仅是列举从本发明产生的最优选优点，并且本发明的优点不限于在实施例的上下文中所述的这些优点。
附图标记说明
100 获取确认***
110 网络
120 便携式终端装置
130 服务器
201 处理装置
202 显示装置
203 输入装置
204 摄像装置
205 位置信息获得装置
206 存储装置
207 通信装置
208 总线
209 程序
301 处理装置
302 显示装置
303 输入装置
306 存储装置
307 通信装置
308 总线
309 程序
401 控制单元
402 显示单元
403 输入单元
404 摄像单元
405 位置信息获得单元
406 存储单元
407 通信单元
501 控制单元
502 显示单元
503 输入单元
506 存储单元
507 通信单元
800 显示画面
801 框
802 对象物
803 整体图像
805 周边图像
1100 窗口
1101 像素
1102 像素
1103 像素
1104 像素
1200 基准图像
1201 像素

Claims (13)

1.一种***，用于确认获取到了多个种类的对象物中的一个种类的对象物，所述***包括便携式终端装置和服务器，所述***的特征在于：
所述便携式终端装置被配置为：
基于与用于检测所述多个种类的对象物的形状有关的局部特征量，来判断所述便携式终端装置的摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物；
在判断为所述图像包括一个种类的对象物的情况下，取得被判断为包括该对象物的图像作为获取对象物图像；以及
将所述获取对象物图像发送至所述服务器，以及
所述服务器被配置为：
接收所发送的获取对象物图像；
基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及
基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
2.根据权利要求1所述的***，其特征在于，
所述一个种类的对象物的图像特征量包括特有特征量和非特有特征量，
所述特有特征量包括表示作为所述一个种类的对象物的特征的颜色的特征颜色值，以及所述非特有特征量包括表示不是所述一个种类的对象物的特征的颜色的非特征颜色值，
所述特征相关量是被确定为表示作为所述一个种类的对象物的特征的颜色的特征部的量和被确定为表示不是所述一个种类的对象物的特征的颜色的非特征部的量之间的比，其中，所述确定是基于所述获取对象物图像中的所述一个种类的对象物的图像特征量而进行的，以及
与所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像有关的判断是根据所述特征相关量是否落在预定范围内而确定的。
3.根据权利要求2所述的***，其特征在于，所述非特有特征量包括以下颜色值中的至少任一颜色值：表示所述多个种类的对象物共同的颜色的颜色值、以及未包括在所述一个种类的对象物的特有特征量中但包括在其它种类的对象物的特有特征量中的颜色值。
4.根据权利要求1所述的***，其特征在于，
所述一个种类的对象物的图像特征量包括与该种类的对象物的基准图像中所包括的形状有关的直方图，以及
所述特征相关量是基于所述基准图像的直方图和与所述获取对象物图像中所包括的形状有关的直方图之间的差而确定的。
5.根据权利要求1至4中任一项所述的***，其特征在于，与所述便携式终端装置的所述摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物有关的判断是与所拍摄到的空间的图像中的预定区域内是否包括所述一个种类的对象物有关的判断。
6.根据权利要求1至5中任一项所述的***，其特征在于，所述多个种类的对象物中的一个种类是由用户经由所述便携式终端装置预先指定的。
7.根据权利要求1至5中任一项所述的***，其特征在于，与所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像有关的判断是针对所述多个种类的对象物中的各种类的对象物进行的，并且所述获取对象物图像被判断为拍摄到具有最高相关性的对象物的图像。
8.根据权利要求1至7中任一项所述的***，其特征在于，所述局部特征量是所述多个种类的对象物共同的局部特征量，或者是所述多个种类的对象物中的各种类的对象物特有的局部特征量。
9.一种服务器，其被用在***中，所述***用于确认获取到了多个种类的对象物中的一个种类的对象物，所述服务器的特征在于，所述服务器被配置为：
从便携式终端装置接收被判断为包括所述便携式终端装置所拍摄到的对象物的获取对象物图像；
基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及
基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
10.一组程序，用于确认获取到了多个种类的对象物中的一个种类的对象物，所述一组程序使得一个或多个计算机执行以下步骤：
基于与用于检测所述多个种类的对象物的形状有关的局部特征量，来判断便携式终端装置的摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物；
在判断为所述图像包括一个种类的对象物的情况下，取得被判断为包括该对象物的图像作为获取对象物图像；
基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及
基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
11.一种程序，用于确认获取到了多个种类的对象物中的一个种类的对象物，所述程序使得服务器执行以下操作：
从便携式终端装置接收被判断为包括所述便携式终端装置所拍摄到的对象物的获取对象物图像；
基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及
基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
12.一种方法，用于确认获取到了多个种类的对象物中的一个种类的对象物，其中使得一个或多个计算机执行以下步骤：
基于与用于检测所述多个种类的对象物的形状有关的局部特征量，来判断便携式终端装置的摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物；
在判断为所述图像包括一个种类的对象物的情况下，取得被判断为包括该对象物的图像作为获取对象物图像；
基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及
基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
13.一种方法，用于确认获取到了多个种类的对象物中的一个种类的对象物，其中使得服务器执行以下操作：
从便携式终端装置接收被判断为包括所述便携式终端装置所拍摄到的对象物的获取对象物图像；
基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及
基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。
CN201880079702.XA 2017-10-10 2018-10-10 用于确认对象物的获取的***、服务器、程序和方法 Active CN111465963B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017196974A JP6517298B2 (ja) 2017-10-10 2017-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法
JP2017-196974 2017-10-10
PCT/JP2018/037779 WO2019074011A1 (ja) 2017-10-10 2018-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法

Publications (2)

Publication Number Publication Date
CN111465963A true CN111465963A (zh) 2020-07-28
CN111465963B CN111465963B (zh) 2023-11-24

Family

ID=66101532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880079702.XA Active CN111465963B (zh) 2017-10-10 2018-10-10 用于确认对象物的获取的***、服务器、程序和方法

Country Status (5)

Country Link
US (1) US11281908B2 (zh)
JP (1) JP6517298B2 (zh)
KR (1) KR102420331B1 (zh)
CN (1) CN111465963B (zh)
WO (1) WO2019074011A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771965B1 (en) * 2020-01-09 2020-09-08 Lexisnexis Risk Solutions Inc. Systems and methods for photo recognition-based identity authentication
JP7309151B2 (ja) * 2020-01-20 2023-07-18 ピーエフ株式会社 広告効果促進装置、広告効果促進装置用プログラム、記憶媒体及び広告効果促進方法
CN115108117B (zh) * 2022-05-26 2023-06-27 盈合(深圳)机器人与自动化科技有限公司 一种切割方法、***、终端及计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6911988B1 (en) * 1999-11-26 2005-06-28 Canon Kabushiki Kaisha Apparatus, method and memory medium for processing a radiation image
CN101617197A (zh) * 2007-02-16 2009-12-30 三菱电机株式会社 道路地物测量装置、地物识别装置、道路地物测量方法、道路地物测量程序、测量装置、测量方法、测量程序、测量位置数据、测量终端装置、测量服务器装置、作图装置、作图方法、作图程序以及作图数据
CN102422325A (zh) * 2009-05-11 2012-04-18 佳能株式会社 用于识别对象及另一低级别对象的模式识别装置及其方法
CN102750554A (zh) * 2011-03-25 2012-10-24 索尼公司 信息处理装置、对象识别方法、程序和终端装置
CN103606160A (zh) * 2013-12-02 2014-02-26 苏州比特速浪电子科技有限公司 图像处理装置及图像处理方法
JP2014106597A (ja) * 2012-11-26 2014-06-09 Toyota Motor Corp 自律移動体、物体情報取得装置、および物体情報取得方法
CN104915675A (zh) * 2014-03-14 2015-09-16 欧姆龙株式会社 图像处理装置、图像处理方法以及图像处理程序
CN106464849A (zh) * 2014-06-24 2017-02-22 奥林巴斯株式会社 图像处理装置、内窥镜***以及图像处理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1008642C2 (nl) 1998-03-19 1999-09-23 Oce Tech Bv Digitale kopieerinrichting met een persoonlijk gegevens-opslagsysteem.
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
JP4578767B2 (ja) * 2002-11-08 2010-11-10 パナソニック株式会社 物体認識装置および物体認識プログラム
US20090272801A1 (en) * 2008-04-30 2009-11-05 Connell Ii Jonathan H Deterring checkout fraud
US8448859B2 (en) * 2008-09-05 2013-05-28 Datalogic ADC, Inc. System and method for preventing cashier and customer fraud at retail checkout
JP2013054529A (ja) * 2011-09-02 2013-03-21 Morpho Inc 画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体
KR101130817B1 (ko) * 2011-09-27 2012-04-16 (주)올라웍스 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP6071288B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6181893B1 (ja) 2017-03-31 2017-08-16 株式会社Ｃｙｇａｍｅｓ 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6911988B1 (en) * 1999-11-26 2005-06-28 Canon Kabushiki Kaisha Apparatus, method and memory medium for processing a radiation image
CN101617197A (zh) * 2007-02-16 2009-12-30 三菱电机株式会社 道路地物测量装置、地物识别装置、道路地物测量方法、道路地物测量程序、测量装置、测量方法、测量程序、测量位置数据、测量终端装置、测量服务器装置、作图装置、作图方法、作图程序以及作图数据
CN102422325A (zh) * 2009-05-11 2012-04-18 佳能株式会社 用于识别对象及另一低级别对象的模式识别装置及其方法
CN102750554A (zh) * 2011-03-25 2012-10-24 索尼公司 信息处理装置、对象识别方法、程序和终端装置
JP2014106597A (ja) * 2012-11-26 2014-06-09 Toyota Motor Corp 自律移動体、物体情報取得装置、および物体情報取得方法
CN103606160A (zh) * 2013-12-02 2014-02-26 苏州比特速浪电子科技有限公司 图像处理装置及图像处理方法
CN104915675A (zh) * 2014-03-14 2015-09-16 欧姆龙株式会社 图像处理装置、图像处理方法以及图像处理程序
CN106464849A (zh) * 2014-06-24 2017-02-22 奥林巴斯株式会社 图像处理装置、内窥镜***以及图像处理方法

Also Published As

Publication number Publication date
US20200242362A1 (en) 2020-07-30
JP2019070964A (ja) 2019-05-09
KR102420331B1 (ko) 2022-07-13
JP6517298B2 (ja) 2019-05-22
CN111465963B (zh) 2023-11-24
US11281908B2 (en) 2022-03-22
WO2019074011A1 (ja) 2019-04-18
KR20200051014A (ko) 2020-05-12

Similar Documents

Publication Publication Date Title
CN108416902B (zh) 基于差异识别的实时物体识别方法和装置
US10210423B2 (en) Image match for featureless objects
US11281908B2 (en) System, server, program, and method for confirming acquisition of target object
WO2007130688A2 (en) Mobile computing device with imaging capability
CN110692081B (zh) 用于查看确认的***、便携式终端装置、服务器、程序和方法
CN110033293B (zh) 获取用户信息的方法、装置及***
JP6712045B2 (ja) 情報処理システムと、その処理方法及びプログラム
JP6136257B2 (ja) 自動販売機管理装置、そのデータ処理方法、およびプログラム
JP2008090838A (ja) 画像取込及び識別のためのシステム及び方法
US9177199B2 (en) Semantic magazine pages
JP2014170314A (ja) 情報処理システム、情報処理方法およびプログラム
JP7485140B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2014157340A1 (ja) サイズ測定装置及びサイズ測定方法
JP6828993B2 (ja) 写真画像抽出装置、写真画像抽出方法およびプログラム
JP6806955B1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2017228278A (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
US20230096044A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP2019125394A (ja) 対象物取得確認のためのシステム、サーバ、プログラム及び方法
JP2022014793A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6925901B2 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
CN115812214A (zh) 信息处理设备、信息处理方法、信息处理程序和信息处理***
JP2006119763A (ja) 鑑定支援システム、鑑定支援方法および鑑定支援プログラム
JP5223739B2 (ja) 携帯式文字認識装置、文字認識プログラム及び文字認識方法
JP2024091981A (ja) 情報処理装置、情報処理方法、およびプログラム
CN117315569A (zh) 产品和包装检测方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023948

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant