JP7214967B2

JP7214967B2 - Product information acquisition device, product information acquisition method, and program

Info

Publication number: JP7214967B2
Application number: JP2018054837A
Authority: JP
Inventors: 義範杉山; 二徳高田; 秀雄横井; 浩太岩元; 壮馬白石
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2018-03-22
Filing date: 2018-03-22
Publication date: 2023-01-31
Anticipated expiration: 2038-03-22
Also published as: JP2019168818A

Description

本発明は、店舗の業務を支援する技術に関する。 TECHNICAL FIELD The present invention relates to technology for supporting store operations.

画像を解析することによって店舗の業務を支援する技術の一例が、下記特許文献１乃至３に開示されている。下記特許文献１には、カメラ部により撮像された紙カタログの画像を解析することによって当該紙カタログの画像内の商品を識別し、識別した商品の注文処理を行う技術が開示されている。また、下記特許文献２には、ＰＯＳ（Point of Sale）システムに登録されていない商品（未登録商品）の画像を、その商品の担当者の端末に送信し、その商品の価格といった情報を担当者の端末から受け付ける技術が開示されている。また、下記特許文献３には、購入者の金融取引の金融取引カードに関する情報を、撮影した写真の解析結果を基にシステムに入力することが開示されている。 Examples of techniques for supporting store operations by analyzing images are disclosed in Patent Literatures 1 to 3 below. Japanese Patent Application Laid-Open No. 2002-200001 discloses a technique for identifying products in the image of a paper catalog captured by a camera unit and performing order processing for the identified product by analyzing the image of the paper catalog. In addition, in Patent Document 2 below, an image of a product that is not registered in a POS (Point of Sale) system (unregistered product) is sent to the terminal of the person in charge of the product, and information such as the price of the product is sent. A technique for receiving from a terminal of a person is disclosed. Further, Patent Document 3 below discloses inputting information about a purchaser's financial transaction card for financial transactions into a system based on the analysis result of a photographed photograph.

特開２０１３－２３５４７８号公報JP 2013-235478 A 再表ＷＯ２０１４／０２７４３０号公報Revised WO2014/027430 特表２０１４－５０４４１４号公報Japanese translation of PCT publication No. 2014-504414

小売店等の店舗に設けられた店舗装置において様々な業務が行われているが、これらの業務の多くにおいて顧客の欲する商品に関する情報が必要となる。顧客の欲する商品に関する情報を容易に特定することができれば、店舗装置を用いて行う業務を円滑に進めることができる。 2. Description of the Related Art Various operations are performed by store devices installed in stores such as retail stores, and information on products desired by customers is required for many of these operations. If it is possible to easily specify the information about the product desired by the customer, it is possible to smoothly carry out the business using the store device.

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、顧客の欲する商品に関する情報を容易に特定する技術を提供することである。 The present invention has been made in view of the above problems. One of the objects of the present invention is to provide a technique for easily specifying information on products desired by customers.

本発明の商品情報取得装置は、
複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得する画像取得手段と、
前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識する対象商品認識手段と、
前記対象商品の商品識別情報を取得する商品識別情報取得手段と、
を備える。 The product information acquisition device of the present invention is
an image acquisition means for acquiring an image including a display medium on which information of a plurality of products is displayed and a pointing object;
target product recognition means for recognizing a target product, which is the product indicated by the instruction object among the plurality of products, based on the position of the instruction object in the image;
Product identification information acquisition means for acquiring product identification information of the target product;
Prepare.

本発明の商品情報取得方法は、
コンピュータが、
複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得し、
前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識し、
前記対象商品の商品識別情報を取得する、
ことを含む。 The product information acquisition method of the present invention includes:
the computer
Acquiring an image including a display medium on which information of a plurality of products is displayed and an instruction object,
recognizing a target product, which is the product indicated by the instruction object among the plurality of products, based on the position of the instruction object in the image;
Acquiring product identification information of the target product;
Including.

本発明のプログラムは、コンピュータに、上述の商品情報取得方法を実行させる。 A program of the present invention causes a computer to execute the product information acquisition method described above.

本発明によれば、客の欲する商品に関する情報を容易に特定することが可能となる。 According to the present invention, it is possible to easily specify information about products desired by customers.

第１実施形態における商品情報取得装置の機能構成を概念的に例示する図である。It is a figure which illustrates notionally the functional structure of the product information acquisition apparatus in 1st Embodiment. 表示媒体に記載される内容の一例を示す図である。It is a figure which shows an example of the content described in a display medium. 商品情報取得装置のハードウエア構成を例示するブロック図である。It is a block diagram which illustrates the hardware constitutions of a product information acquisition apparatus. 第１実施形態の商品情報取得装置により実行される処理の流れを例示するフローチャートである。4 is a flowchart illustrating the flow of processing executed by the product information acquisition device of the first embodiment; 第２実施形態における商品情報取得装置の機能構成を概念的に示す図である。It is a figure which shows notionally the functional structure of the product information acquisition apparatus in 2nd Embodiment. 商品情報記憶部に記憶される情報の一例を示す図である。It is a figure which shows an example of the information memorize|stored in a goods information storage part. 第２実施形態の変形例における商品情報取得装置の機能構成を例示する図である。It is a figure which illustrates the functional structure of the product information acquisition apparatus in the modification of 2nd Embodiment. 第３実施形態における商品情報取得装置の機能構成を概念的に示す図である。It is a figure which shows notionally the functional structure of the product information acquisition apparatus in 3rd Embodiment. 第３実施形態における商品情報取得装置のハードウエア構成を例示する図である。It is a figure which illustrates the hardware constitutions of the merchandise information acquisition apparatus in 3rd Embodiment. 売場情報記憶部に記憶される情報の一例を示す図である。It is a figure which shows an example of the information memorize|stored in a sales floor information storage part. 第３実施形態における商品情報取得装置のハードウエア構成を例示する図である。It is a figure which illustrates the hardware constitutions of the merchandise information acquisition apparatus in 3rd Embodiment. 第４実施形態の対象商品認識部がディスプレイに出力する情報の一例を示す図である。It is a figure which shows an example of the information which the target goods recognition part of 4th Embodiment outputs to a display.

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, in all the drawings, the same constituent elements are denoted by the same reference numerals, and the description thereof will be omitted as appropriate. Moreover, in each block diagram, each block does not represent a configuration in units of hardware, but a configuration in units of functions, unless otherwise specified.

［第１実施形態］
〔機能構成例〕
図１は、第１実施形態における商品情報取得装置１０の機能構成を概念的に例示する図である。図１に示されるように、本実施形態の商品情報取得装置１０は、画像取得部１１０、対象商品認識部１２０、および商品情報取得部１３０を有する。 [First embodiment]
[Example of functional configuration]
FIG. 1 is a diagram conceptually illustrating the functional configuration of a product information acquisition device 10 according to the first embodiment. As shown in FIG. 1, the product information acquisition device 10 of this embodiment has an image acquisition unit 110, a target product recognition unit 120, and a product information acquisition unit .

画像取得部１１０は、表示媒体２０および指示オブジェクトＯＢＪが含まれている画像Ｐを取得する。ここで、表示媒体２０は、例えば、複数の商品の情報を載せている媒体である。具体的な例として、表示媒体２０は、カタログ、商品チラシ、商品パンフレットなどである。また、表示媒体２０に表示されている商品の情報は、その商品を識別可能な情報を含んでいる。具体的な例として、表示媒体２０に表示されている商品の情報は、例えば、商品ＩＤ（Identifier）や商品の名称といった文字情報、または、商品の外観を示す商品画像を含んでいる。また、指示オブジェクトＯＢＪは、表示媒体２０に記載されている複数の商品のうち、対象とする商品を指し示す物体あるいは印である。具体的な例として、指示オブジェクトＯＢＪは、人間の手や指、特定の色または模様を有する棒などの物体、付箋などの表示媒体２０に貼り付けられた物体、赤いペンでの書込みといった表示媒体２０に直接書き込まれた印などである。図１では、指示オブジェクトＯＢＪとして、人物の指が例示されている。 The image acquisition unit 110 acquires an image P including the display medium 20 and the pointing object OBJ. Here, the display medium 20 is, for example, a medium carrying information on a plurality of products. As a specific example, the display medium 20 is a catalog, a product leaflet, a product pamphlet, or the like. Further, the product information displayed on the display medium 20 includes information that can identify the product. As a specific example, the product information displayed on the display medium 20 includes, for example, character information such as a product ID (Identifier) and product name, or a product image showing the appearance of the product. Also, the pointing object OBJ is an object or mark pointing to a target product among the plurality of products described on the display medium 20 . As a specific example, the pointing object OBJ may be a human hand or finger, an object such as a stick having a specific color or pattern, an object pasted on the display medium 20 such as a sticky note, or a display medium such as writing with a red pen. 20, such as a mark written directly on it. In FIG. 1, a person's finger is illustrated as the pointing object OBJ.

対象商品認識部１２０は、画像取得部１１０により取得された画像Ｐの中の指示オブジェクトＯＢＪの位置に基づいて、対象商品を認識する。ここで、対象商品とは、表示媒体２０に載っている複数の商品の中で当該指示オブジェクトＯＢＪが指し示す商品である。対象商品認識部１２０は、例えば以下のようにして、指示オブジェクトＯＢＪが指し示す対象商品を認識することができる。まず、対象商品認識部１２０は、表示媒体２０に表示されている複数の商品それぞれに対応する領域を識別する。一例として、表示媒体２０に商品の外観画像が含まれている場合、対象商品認識部１２０は、エッジ特徴量などから各商品の領域を識別することができる。他の一例として、表示媒体２０において、複数の商品それぞれの近傍に商品の領域の基準点を示す印が含まれているとする（例：図２）。図２は、表示媒体２０に記載される内容の一例を示す図である。この場合、対象商品認識部１２０は、商品の基準点を示す印Ａを基準とした一定の範囲Ｂを各商品の領域を識別することができる。そして、対象商品認識部１２０は、各商品の領域の識別結果と指示オブジェクトＯＢＪとの位置関係に基づいて、当該指示オブジェクトＯＢＪが指し示す商品（対象商品）を認識することができる。例えば、対象商品認識部１２０は、指示オブジェクトＯＢＪの先端（例えば、指の先など）と各商品の領域の重心とを比較し、最も近い領域に対応する商品を対象商品として認識することができる。 The target product recognition unit 120 recognizes the target product based on the position of the pointing object OBJ in the image P acquired by the image acquisition unit 110 . Here, the target product is the product indicated by the instruction object OBJ among the multiple products displayed on the display medium 20 . The target product recognition unit 120 can recognize the target product indicated by the instruction object OBJ, for example, as follows. First, the target product recognition unit 120 identifies areas corresponding to each of the multiple products displayed on the display medium 20 . As an example, when the display medium 20 includes the appearance image of the product, the target product recognition unit 120 can identify the area of each product from the edge feature amount or the like. As another example, it is assumed that the display medium 20 includes a mark indicating a reference point of the product area near each of a plurality of products (eg, FIG. 2). FIG. 2 is a diagram showing an example of contents described on the display medium 20. As shown in FIG. In this case, the target product recognition unit 120 can identify the region of each product within a certain range B with reference to the mark A indicating the reference point of the product. Then, the target product recognition unit 120 can recognize the product (target product) indicated by the instruction object OBJ based on the positional relationship between the identification result of the region of each product and the instruction object OBJ. For example, the target product recognition unit 120 can compare the tip of the instruction object OBJ (for example, the tip of a finger) with the center of gravity of the region of each product, and recognize the product corresponding to the closest region as the target product. .

なお、対象商品認識部１２０は、画像Ｐの中の人物の手または指を指示オブジェクトＯＢＪとして認識することができる。例えば、対象商品認識部１２０は、機械学習により構築された物体識別エンジン或いはパターンマッチング技術を利用して、画像Ｐの中から人物の手または指を指示オブジェクトＯＢＪとして認識することができる。または、対象商品認識部１２０は、人物の手や指を認識する場合と同様にして、特定の色または模様を有する棒などの物体を指示オブジェクトＯＢＪとして認識してもよい。この場合、対象商品認識部１２０は、手、指、または物体の先端を基準として、その先端が指し示す方向において最も近い領域に位置する商品を対象商品として認識することができる。 Note that the target product recognition unit 120 can recognize the hand or finger of the person in the image P as the pointing object OBJ. For example, the target product recognition unit 120 can recognize a person's hand or finger from the image P as the pointing object OBJ using an object identification engine or pattern matching technology constructed by machine learning. Alternatively, the target product recognition unit 120 may recognize an object such as a stick having a specific color or pattern as the instruction object OBJ in the same manner as when recognizing a person's hand or fingers. In this case, the target product recognition unit 120 can recognize, as the target product, the product positioned closest to the tip of the hand, finger, or object in the direction indicated by the tip.

また、対象商品認識部１２０は、画像Ｐにおいて、表示媒体２０に後から追加された特定の印を指示オブジェクトＯＢＪとして認識してもよい。この場合、特定の印は、付箋などの表示媒体２０に貼り付けられた物体、または、赤いペンで表示媒体２０に直接書込こまれた丸い印などである。この場合、対象商品認識部１２０は、例えば付箋や丸印などを識別できるように事前に学習させた物体識別エンジンを用いて、表示媒体２０に貼り付けられた付箋や表示媒体２０に書き込まれた丸い印などを、指示オブジェクトＯＢＪとして認識することができる。この場合、対象商品認識部１２０は、当該印によって囲まれた領域の内部に位置する商品を、対象商品として認識することができる。 Further, the target product recognition unit 120 may recognize, in the image P, a specific mark added later to the display medium 20 as the instruction object OBJ. In this case, the specific mark is an object pasted on the display medium 20, such as a sticky note, or a round mark written directly on the display medium 20 with a red pen. In this case, the target product recognition unit 120 uses, for example, an object identification engine trained in advance so as to be able to identify tags, circles, and the like. A round mark or the like can be recognized as the pointing object OBJ. In this case, the target product recognition unit 120 can recognize the product located inside the area surrounded by the mark as the target product.

その他にも、表示媒体２０を使った商品の注文時に、対象商品認識部１２０が指示オブジェクトＯＢＪを認識するための所定の予備動作が実行されてもよい。この予備動作は、例えば、表示媒体２０の中で予め決められた特定エリア（例えば、表示媒体２０の左隅や中央など）を指示オブジェクトＯＢＪで指し示す動作などである。なおこの場合において、特定エリアがどこに位置しているかを分かり易く示す特殊な印や文字（例えば、「まずここを指してください」など）が、表示媒体２０の中の特定エリアに対応する場所に描かれていてもよい。 In addition, when ordering a product using the display medium 20, a predetermined preparatory operation may be performed for the target product recognition unit 120 to recognize the pointing object OBJ. This preliminary operation is, for example, an operation of pointing a predetermined specific area in the display medium 20 (for example, the left corner or the center of the display medium 20) with the pointing object OBJ. In this case, a special mark or character (for example, "Please point here first") that clearly indicates where the specific area is located is placed at a location corresponding to the specific area in the display medium 20. May be drawn.

一例として、この予備動作は、表示媒体２０上で商品を指し示す前に実行される。この場合において、対象商品認識部１２０は例えば次のように動作する。まず、対象商品認識部１２０は、画像取得部１１０により取得された画像を解析することによって特定エリアを指し示す物体（指示オブジェクトＯＢＪ）を検出する。例えば、対象商品認識部１２０は、特定エリアを指示オブジェクトＯＢＪで指し示す前後の画像の差分を用いて、特定エリアを指し示す物体を検出することができる。そして、対象商品認識部１２０は、検出した物体から、指示オブジェクトＯＢＪを認識するための特徴量を抽出する。そして、対象商品認識部１２０は、抽出した特徴量を用いて指示オブジェクトＯＢＪを追跡することで、表示媒体２０上で当該指示オブジェクトＯＢＪによって指し示された対象商品を認識する。 As an example, this preparatory action is performed before the product is indicated on the display medium 20 . In this case, the target product recognition unit 120 operates, for example, as follows. First, the target product recognition unit 120 detects an object (pointing object OBJ) pointing to a specific area by analyzing the image acquired by the image acquisition unit 110 . For example, the target product recognition unit 120 can detect the object pointing to the specific area by using the difference between the images before and after the specific area is pointed by the pointing object OBJ. Then, target product recognition section 120 extracts a feature amount for recognizing pointing object OBJ from the detected object. Then, the target product recognition unit 120 tracks the pointing object OBJ using the extracted feature amount, thereby recognizing the target product pointed by the pointing object OBJ on the display medium 20 .

また、対象商品認識部１２０は、画像取得部１１０により取得された画像から指示オブジェクトＯＢＪが検出できなかった場合に、上述の予備動作を実行するように促すメッセージを、図示しないディスプレイやスピーカーを介して出力してもよい。顧客等がこのメッセージに従って予備動作を実行することで、対象商品認識部１２０は、指示オブジェクトＯＢＪを正しく認識できるようになる。 Further, when the target product recognizing unit 120 fails to detect the pointing object OBJ from the image acquired by the image acquiring unit 110, the target product recognizing unit 120 displays a message prompting the execution of the above preliminary operation via a display or a speaker (not shown). can be output as When the customer or the like executes the preliminary operation according to this message, the target product recognition unit 120 can correctly recognize the instruction object OBJ.

また、どれが対象商品かわかりにくい位置（例えば複数の商品の領域の中間点など）に指示オブジェクトＯＢＪが位置していると、対象商品認識部１２０が対象商品を誤認識してしまう可能性もある。例えば、２つの商品のほぼ中間点に指示オブジェクトＯＢＪが位置した場合を考える。ここで、例えば顧客が対象商品として意図していたのは第１の商品であるにもかかわらず、指示オブジェクトＯＢＪの位置が悪く、第１の商品よりも第２の商品の方が指示オブジェクトＯＢＪに近かったとする。この場合、対象商品認識部１２０は、第２の商品を対象商品として誤って認識してしまう可能性がある。そこで、対象商品認識部１２０は、指示オブジェクトＯＢＪから各商品の領域までの距離をそれぞれ取得し、それらの少なくとも一部について差分が所定の閾値未満である場合に、指示オブジェクトＯＢＪの位置を修正させる処理を実行するように構成されていてもよい。例えば、対象商品認識部１２０は、指示オブジェクトＯＢＪの位置を移動させるように通知するメッセージなどを、図示しないディスプレイやスピーカーを介して出力するように構成されていてもよい。 Also, if the pointing object OBJ is positioned at a position where it is difficult to identify which product is the target product (for example, at the midpoint of the areas of a plurality of products), the target product recognition unit 120 may misrecognize the target product. be. For example, consider the case where the pointing object OBJ is located approximately at the midpoint between two products. Here, for example, even though the customer intended the first product as the target product, the position of the instruction object OBJ is not good, and the second product is placed in the position of the instruction object OBJ more than the first product. Suppose it was close to In this case, the target product recognition unit 120 may mistakenly recognize the second product as the target product. Therefore, the target product recognition unit 120 acquires the distances from the instruction object OBJ to the area of each product, and corrects the position of the instruction object OBJ when the difference is less than a predetermined threshold for at least some of them. It may be configured to perform processing. For example, the target product recognition unit 120 may be configured to output a message or the like notifying to move the position of the pointing object OBJ via a display or speaker (not shown).

商品情報取得部１３０は、対象商品認識部１２０によって認識された対象商品の商品識別情報を取得する。商品識別情報は、例えば、商品別に割り当てられた商品ＩＤ、商品の名称、商品の外観を示す商品画像など、その商品を識別可能な情報である。一例として、対象商品認識部１２０により対象商品の領域として識別された領域に、商品ＩＤや商品名称といった文字情報が含まれていたとする。この場合、商品情報取得部１３０は、ＯＣＲ（Optical Character Recognition）技術などを用いて画像内に含まれる文字情報をテキストデータ化することによって、商品ＩＤや商品の名称といった商品識別情報を取得することができる。また、他の一例として、対象商品認識部１２０により対象商品の領域として識別された領域に、その対象商品の商品画像が含まれていたとする。この場合、商品情報取得部１３０は、対象商品の商品画像または当該商品画像から抽出される画像特徴量を、商品識別情報として取得することができる。 The product information acquisition unit 130 acquires product identification information of the target product recognized by the target product recognition unit 120 . The product identification information is information that can identify the product, such as, for example, a product ID assigned to each product, the name of the product, and a product image showing the appearance of the product. As an example, assume that the area identified as the area of the target product by the target product recognition unit 120 contains character information such as the product ID and product name. In this case, the product information acquisition unit 130 acquires product identification information such as product IDs and product names by converting character information included in images into text data using OCR (Optical Character Recognition) technology or the like. can be done. As another example, it is assumed that the area identified as the area of the target product by the target product recognition unit 120 contains the product image of the target product. In this case, the product information acquisition unit 130 can acquire the product image of the target product or the image feature amount extracted from the product image as the product identification information.

〔ハードウエア構成例〕
商品情報取得装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、商品情報取得装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。 [Hardware configuration example]
Each functional configuration unit of the product information acquisition device 10 may be implemented by hardware (eg, hardwired electronic circuit, etc.) that implements each functional configuration unit, or may be implemented by a combination of hardware and software (eg, : a combination of an electronic circuit and a program that controls it, etc.). A case in which each functional component of the product information acquisition device 10 is implemented by a combination of hardware and software will be further described below.

図３は、商品情報取得装置１０のハードウエア構成を例示するブロック図である。商品情報取得装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。 FIG. 3 is a block diagram illustrating the hardware configuration of the product information acquisition device 10. As shown in FIG. The product information acquisition device 10 has a bus 1010 , a processor 1020 , a memory 1030 , a storage device 1040 , an input/output interface 1050 and a network interface 1060 .

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。 A bus 1010 is a data transmission path through which the processor 1020, the memory 1030, the storage device 1040, the input/output interface 1050, and the network interface 1060 mutually transmit and receive data. However, the method of connecting processors 1020 and the like to each other is not limited to bus connection.

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。 The processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。 The memory 1030 is a main memory implemented by RAM (Random Access Memory) or the like.

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は商品情報取得装置１０の各機能（画像取得部１１０、対象商品認識部１２０、商品情報取得部１３０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。 The storage device 1040 is an auxiliary storage device such as a HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, or ROM (Read Only Memory). The storage device 1040 stores program modules that implement each function of the product information acquisition device 10 (the image acquisition unit 110, the target product recognition unit 120, the product information acquisition unit 130, etc.). Each function corresponding to the program module is realized by the processor 1020 reading each program module into the memory 1030 and executing it.

入出力インタフェース１０５０は、商品情報取得装置１０と各種入出力デバイスとを接続するためのインタフェースである。入出力インタフェース１０５０には、撮像装置３０が接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、例えば図１に示されるように、表示媒体２０と指示オブジェクトＯＢＪとを含む画像Ｐを生成する。商品情報取得装置１０は、入出力インタフェース１０５０を介して、撮像装置３０により生成された画像Ｐを取得することができる。また、入出力インタフェース１０５０には、マウスやキーボードなどの入力装置、スピーカーやディスプレイなどの出力装置が更に接続されていてもよい。なお、ディスプレイは、タッチパネル機能を備えたタッチパネルディスプレイであってもよい。 The input/output interface 1050 is an interface for connecting the product information acquisition apparatus 10 and various input/output devices. The input/output interface 1050 is connected with the imaging device 30 . The imaging device 30 is, for example, a camera equipped with a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. The imaging device 30 generates an image P including the display medium 20 and the pointing object OBJ, as shown in FIG. 1, for example. The product information acquisition device 10 can acquire the image P generated by the imaging device 30 via the input/output interface 1050 . Further, the input/output interface 1050 may be further connected with an input device such as a mouse and a keyboard, and an output device such as a speaker and a display. Note that the display may be a touch panel display having a touch panel function.

ネットワークインタフェース１０６０は、商品情報取得装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。 The network interface 1060 is an interface for connecting the product information acquisition device 10 to a network. This network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network). A method for connecting the network interface 1060 to the network may be a wireless connection or a wired connection.

なお、商品情報取得装置１０のハードウエア構成は図３に例示される構成に限定されない。例えば、入出力インタフェース１０５０には、撮像装置３０のほか、店舗の業務で利用するその他の装置が接続されていてもよい。店舗の業務で利用するその他の装置とは、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタなどである。また、撮像装置３０、入力装置、出力装置、および、店舗の業務で利用するその他の装置は、ネットワークインタフェース１０６０を介して、商品情報取得装置１０と接続されていてもよい。 Note that the hardware configuration of the product information acquisition device 10 is not limited to the configuration illustrated in FIG. For example, the input/output interface 1050 may be connected to not only the imaging device 30 but also other devices used in store operations. Other devices used in store operations include, for example, barcode scanners, cashiers, drawers, automatic change dispensers, and receipt printers. Also, the imaging device 30 , the input device, the output device, and other devices used in store operations may be connected to the product information acquisition device 10 via the network interface 1060 .

〔処理の流れ〕
図４を用いて、本実施形態の商品情報取得装置１０により実行される処理の流れについて説明する。図４は、第１実施形態の商品情報取得装置１０により実行される処理の流れを例示するフローチャートである。 [Process flow]
The flow of processing executed by the product information acquisition device 10 of this embodiment will be described with reference to FIG. FIG. 4 is a flowchart illustrating the flow of processing executed by the product information acquisition device 10 of the first embodiment.

まず、画像取得部１１０は、表示媒体２０と指示オブジェクトＯＢＪとが写っている画像を取得する（Ｓ１０２）。ここでは、表示媒体２０と指示オブジェクトＯＢＪとが写っている画像を画像取得部１１０が取得できるようにするため、例えば、店員が、表示媒体２０を撮像装置３０にかざしつつ所望の商品を指し示すように顧客に依頼する。あるいは、商品情報取得装置１０が、図示しないディスプレイやスピーカー等を用いて、ユーザに表示媒体２０を撮像装置３０にかざしつつ、所望の商品を指し示すように促すメッセージを出力してもよい。 First, the image acquisition unit 110 acquires an image in which the display medium 20 and the pointing object OBJ are shown (S102). Here, in order to enable the image acquisition unit 110 to acquire an image showing the display medium 20 and the pointing object OBJ, for example, the store clerk holds the display medium 20 over the imaging device 30 and points to a desired product. ask the customer to Alternatively, the product information acquisition device 10 may use a display, speaker, or the like (not shown) to output a message prompting the user to point to a desired product while holding the display medium 20 over the imaging device 30 .

そして、対象商品認識部１２０は、Ｓ１０２の処理で取得された画像を解析することによって、指示オブジェクトＯＢＪの位置を検出する（Ｓ１０４）。また、対象商品認識部１２０は、Ｓ１０２の処理で取得された画像を解析することによって、表示媒体２０に表示されている複数の商品のそれぞれに対応する領域を検出する（Ｓ１０６）。そして、対象商品認識部１２０は、指示オブジェクトＯＢＪの検出位置と各商品の検出位置との関係に基づいて、指示オブジェクトＯＢＪが指し示す商品（対象商品）を認識する（Ｓ１０８）。ここで、表示媒体２０および指示オブジェクトＯＢＪが写る複数の画像（例えば動画）が取得される場合、対象商品認識部１２０は、指示オブジェクトＯＢＪが基準時間以上指示した領域の商品を、対象商品として認識することができる。これにより、顧客等が表示媒体２０上で指示オブジェクトＯＢＪを移動させている画像が得られた場合に、対象商品が誤って認識されることを防止できる。なお、基準時間は、対象商品認識部１２０の機能を実現するプログラムモジュール内で予め定義しておくことができる。 Then, the target product recognition unit 120 detects the position of the instruction object OBJ by analyzing the image acquired in the process of S102 (S104). Also, the target product recognition unit 120 detects regions corresponding to each of the plurality of products displayed on the display medium 20 by analyzing the image acquired in the process of S102 (S106). Then, the target product recognition unit 120 recognizes the product (target product) indicated by the instruction object OBJ based on the relationship between the detection position of the instruction object OBJ and the detection position of each product (S108). Here, when a plurality of images (for example, moving images) showing the display medium 20 and the pointing object OBJ are acquired, the target product recognition unit 120 recognizes the product in the area indicated by the pointing object OBJ for a reference time or longer as the target product. can do. As a result, when an image is obtained in which the customer or the like moves the instruction object OBJ on the display medium 20, it is possible to prevent the target product from being erroneously recognized. Note that the reference time can be defined in advance within a program module that implements the functions of the target product recognition unit 120 .

商品情報取得部１３０は、Ｓ１０８で認識された対象商品の商品識別情報を取得する（Ｓ１１０）。例えば、対象商品として認識された商品の領域に、商品名や商品ＩＤなどの文字情報が含まれていたとする。この場合、商品情報取得部１３０は、その商品名や商品ＩＤなどをＯＣＲ技術によってテキストデータ化し、その対象商品の商品識別情報として取得することができる。また例えば、対象商品として認識された商品の領域に、商品の外観を示す商品画像が含まれていたとする。この場合、商品情報取得部１３０は、その商品画像そのもの、または、その商品画像から抽出可能な画像特徴量を、その対象商品の商品識別情報として取得することができる。 The product information acquisition unit 130 acquires product identification information of the target product recognized in S108 (S110). For example, it is assumed that character information such as the product name and product ID is included in the area of the product recognized as the target product. In this case, the product information acquisition unit 130 converts the product name, product ID, and the like into text data using OCR technology, and acquires the product identification information of the target product. Also, for example, assume that the area of the product recognized as the target product includes a product image showing the appearance of the product. In this case, the product information acquisition unit 130 can acquire the product image itself or an image feature amount that can be extracted from the product image as the product identification information of the target product.

本実施形態によれば、表示媒体２０上で対象商品（顧客が欲する商品）を指示オブジェクトＯＢＪによって指し示すという簡易な動作で、その対象商品の商品識別情報が取得される。そして、このように取得された商品識別情報を用いて、その対象商品に関する情報が取得可能となる。これにより、例えば後述の各実施形態で示すようなサービスを顧客に提供することが可能となる。 According to the present embodiment, the product identification information of the target product (product desired by the customer) is acquired by a simple operation of pointing to the target product (product desired by the customer) on the display medium 20 with the instruction object OBJ. Then, using the product identification information acquired in this way, it becomes possible to acquire information about the target product. As a result, it is possible to provide customers with services such as those shown in the embodiments described later.

［第２実施形態］
本実施形態では、第１実施形態で説明した商品情報取得装置１０を用いて提供されるサービスの一例について説明する。本実施形態の商品情報取得装置１０は、レジ業務に関するサービスを提供する。 [Second embodiment]
In this embodiment, an example of services provided using the product information acquisition device 10 described in the first embodiment will be described. The product information acquisition device 10 of this embodiment provides services related to cash register operations.

〔機能構成例〕
図５は、第２実施形態における商品情報取得装置１０の機能構成を概念的に示す図である。本実施形態の商品情報取得装置１０は、第１実施形態の構成に加えて、商品登録部１４０および商品情報記憶部１４２を有している。 [Example of functional configuration]
FIG. 5 is a diagram conceptually showing the functional configuration of the product information acquisition device 10 according to the second embodiment. The product information acquisition device 10 of this embodiment has a product registration unit 140 and a product information storage unit 142 in addition to the configuration of the first embodiment.

商品登録部１４０は、商品情報取得部１３０により取得された、対象商品の商品識別情報に基づいて、当該対象商品を購入商品として登録する処理を実行する。言い換えると、商品登録部１４０は、一般的なレジ業務においてバーコードやタッチパネル等を操作する代わりに、表示媒体２０と指示オブジェクトＯＢＪとが写る画像を解析することによって識別された商品を、購入商品として登録する。 Based on the product identification information of the target product acquired by the product information acquisition unit 130, the product registration unit 140 executes processing for registering the target product as a purchased product. In other words, the product registration unit 140 registers the product identified by analyzing the image showing the display medium 20 and the pointing object OBJ as the purchased product instead of operating a bar code, touch panel, or the like in general cash register operations. Register as

〔ハードウエア構成例〕
本実施形態の商品情報取得装置１０は、第１実施形態と同様のハードウエア構成（例：図３）を有する。本実施形態において、ストレージデバイス１０４０は、上述の商品登録部１４０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０２０が、これらのプログラムモジュールをメモリ１０３０上に読み出して実行することにより、本実施形態の商品登録部１４０の機能が実現される。また、本実施形態において、ストレージデバイス１０４０は、後述するような商品情報を記憶する装置としても利用され得る。 [Hardware configuration example]
The product information acquisition device 10 of this embodiment has the same hardware configuration as that of the first embodiment (eg, FIG. 3). In this embodiment, the storage device 1040 further stores program modules that implement the functions of the product registration unit 140 described above. The functions of the product registration unit 140 of the present embodiment are realized by the processor 1020 reading these program modules onto the memory 1030 and executing them. In addition, in this embodiment, the storage device 1040 can also be used as a device that stores product information as described later.

〔動作例〕
商品登録部１４０は、例えば次のように動作する。商品登録部１４０は、商品情報取得部１３０により取得された商品識別情報を用いて、その商品に関する各種情報（商品情報）を取得する。この商品情報は、商品情報記憶部１４２に予め記憶されている。商品情報記憶部１４２は、例えば、図６に示されるような情報を記憶している。図６は、商品情報記憶部１４２に記憶される情報の一例を示す図である。図６の例において、商品情報記憶部１４２は、例えば、商品ＩＤ、商品の名称、商品の外観を示すサンプル画像または当該サンプル画像の画像特徴量といった情報と対応付けて、商品の価格、商品に適用される特典（例えば、値引きの額や付与されるポイントの数など）といった情報を記憶している。なお、商品情報記憶部１４２は、商品情報取得装置１０または商品情報取得装置１０と通信可能な外部装置（図示せず）に備えられている。そして、商品登録部１４０は、商品情報取得部１３０により取得された、商品ＩＤ、商品名、あるいは、商品画像の画像特徴量といった商品識別情報を用いて、商品の価格や特典情報など、ある商品を購入商品として登録する際に必要な情報を取得することができる。これにより、商品情報取得装置１０は、対象商品認識部１２０により対象商品として認識された商品を購入商品として登録することができる。 [Example of operation]
The product registration unit 140 operates, for example, as follows. The product registration unit 140 uses the product identification information acquired by the product information acquisition unit 130 to acquire various types of information (product information) regarding the product. This product information is stored in the product information storage unit 142 in advance. The product information storage unit 142 stores information such as that shown in FIG. 6, for example. FIG. 6 is a diagram showing an example of information stored in the product information storage unit 142. As shown in FIG. In the example of FIG. 6, the product information storage unit 142 stores, for example, a product ID, a product name, a sample image showing the appearance of the product, or an image feature amount of the sample image, in association with information such as the product price and the product. It stores information such as applicable benefits (for example, amount of discount, number of points to be given, etc.). The product information storage unit 142 is provided in the product information acquisition device 10 or an external device (not shown) that can communicate with the product information acquisition device 10 . Then, the product registration unit 140 uses the product identification information such as the product ID, product name, or image feature amount of the product image acquired by the product information acquisition unit 130 to obtain information on a certain product such as product price and privilege information. You can get the necessary information when registering as a purchased product. Thereby, the product information acquisition device 10 can register the product recognized as the target product by the target product recognition unit 120 as the purchased product.

以上、本実施形態によれば、表示媒体２０上で所望の商品を指し示すという簡易な動作によって、顧客が所望する商品が購入商品として登録される。これにより、商品を購入するときに行われる作業の負荷を低減させることができる。 As described above, according to the present embodiment, a product desired by a customer is registered as a purchased product by a simple operation of pointing to the desired product on the display medium 20 . As a result, it is possible to reduce the work load that is performed when purchasing a product.

特に限定されないが、例えば、サービスカウンターでカタログを使って商品を注文する場合などにおいて、本実施形態の商品情報取得装置１０は有用である。顧客は、カタログに表示された商品を指し示すだけで、注文票などを記入することなく、所望の商品を購入することが可能となる。また、本実施形態の商品情報取得装置１０が一般的なレジカウンターに設けられている場合においても、顧客は、カタログに表示された商品を指し示すだけで、所望の商品を注文することができる。レジカウンターで注文された商品がサービスカウンターなどで受け渡される場合には、商品情報取得装置１０は、商品の受け渡し時の個人認証に用いるための識別番号などが印字されたレシート類を出力してもよい。また、お中元やお歳暮など、顧客が贈答用に商品を購入する場合もある。この場合、商品情報取得装置１０は、任意のタイミングで、顧客を特定する情報（例えば、店舗の会員ＩＤなど）を取得する処理を実行してもよい。商品情報取得装置１０は、顧客を特定する情報に関連付けられている、その顧客の住所を示す情報を、商品の送り主の情報として取得することができる。 Although not particularly limited, the product information acquisition device 10 of the present embodiment is useful, for example, when ordering products using a catalog at a service counter. A customer can purchase a desired product simply by pointing to the product displayed in the catalog without filling in an order form or the like. Also, even when the product information acquisition device 10 of the present embodiment is installed at a general checkout counter, the customer can order the desired product simply by pointing to the product displayed in the catalog. When a product ordered at a checkout counter is delivered at a service counter or the like, the product information acquisition device 10 outputs a receipt printed with an identification number or the like for use in personal authentication at the time of delivery of the product. good too. In addition, customers sometimes purchase products for gifts such as mid-year gifts and year-end gifts. In this case, the product information acquisition device 10 may execute processing for acquiring information identifying the customer (for example, the member ID of the store, etc.) at any timing. The product information acquisition device 10 can acquire information indicating the address of the customer, which is associated with the information specifying the customer, as information on the sender of the product.

なお、本実施形態の商品情報取得装置１０の機能は、購入商品の登録から代金の支払いまでの操作を店員用の装置で行う一般的な方式のみならず、所謂セミセルフ方式やセルフ方式にも適用できる。セミセルフ方式では、商品登録用のレジ装置と代金支払い用の精算装置が別々に設けられている。そして、この商品登録用のレジ装置または代金支払い用の精算装置に、上述の商品情報取得装置１０の機能を持たせることができる。この場合、顧客は、商品登録用のレジ装置が設けられているレジカウンターまたは代金支払い用の精算装置に設けられた撮像装置３０に表示媒体２０をかざして所望の商品を指し示すことにより、その商品を購入することができる。セルフ方式では、購入商品の登録から代金の支払いまでを顧客が操作する装置で行う。そして、この顧客が操作する装置に、上述の商品情報取得装置１０の機能を持たせることができる。この場合、顧客は、顧客が操作する装置に設けられた撮像装置３０に表示媒体２０をかざして所望の商品を指し示すことにより、その商品を購入することができる。 It should be noted that the functions of the product information acquisition device 10 of the present embodiment are applicable not only to a general method in which operations from registration of purchased products to payment are performed by a store clerk device, but also to so-called semi-self and self-service methods. can. In the semi-self system, a register device for product registration and a settlement device for payment are provided separately. Then, the function of the product information acquisition device 10 can be provided to the register device for product registration or the settlement device for payment. In this case, the customer points to the desired product by holding the display medium 20 over an imaging device 30 provided at a checkout counter equipped with a register device for product registration or at a settlement device for payment. can be purchased. In the self-service system, a device operated by the customer performs everything from registration of purchased products to payment. Then, the device operated by the customer can have the function of the product information acquisition device 10 described above. In this case, the customer can purchase the desired product by holding the display medium 20 over the imaging device 30 provided in the device operated by the customer and pointing to the desired product.

〔第２実施形態の変形例〕
なお、上述の第２実施形態の商品情報取得装置１０を使って注文および購入された商品について、エビデンスを残しておくことが望ましい。本変形例では、商品の購入時に利用した画像を、エビデンスとして保存しておく構成を更に有する。 [Modification of Second Embodiment]
In addition, it is desirable to leave evidence about the products ordered and purchased using the product information acquisition device 10 of the above-described second embodiment. This modified example further has a configuration in which an image used when purchasing a product is saved as evidence.

図７は、第２実施形態の変形例における商品情報取得装置１０の機能構成を例示する図である。図７に示されるように、本変形例における商品情報取得装置１０は、画像保存部１５０を更に有する。 FIG. 7 is a diagram illustrating the functional configuration of the product information acquisition device 10 in the modified example of the second embodiment. As shown in FIG. 7 , the product information acquisition device 10 in this modified example further has an image storage unit 150 .

画像保存部１５０は、対象商品として認識された商品が購入商品として登録された場合、画像取得部１１０により取得された画像Ｐを、顧客の情報やその時点での時刻情報と共にストレージデバイス１０４０などの記憶装置に保存する。すなわち、画像保存部１５０は、対象商品を認識するときに用いられた画像Ｐを、ストレージデバイス１０４０などの記憶装置に保存する。画像Ｐには、少なくとも、表示媒体２０、および、顧客が購入した商品を指し示す指示オブジェクトＯＢＪが写っている。よって、画像保存部１５０により保存された画像は、顧客が購入した商品についてのエビデンスとなる情報として利用することができる。 When a product recognized as a target product is registered as a purchased product, the image storage unit 150 stores the image P acquired by the image acquisition unit 110 in a storage device such as the storage device 1040 together with customer information and time information at that time. Save to storage. That is, the image storage unit 150 stores the image P used when recognizing the target product in a storage device such as the storage device 1040 . The image P includes at least the display medium 20 and the pointing object OBJ pointing to the product purchased by the customer. Therefore, the images saved by the image saving unit 150 can be used as information that serves as evidence of the product purchased by the customer.

［第３実施形態］
本実施形態では、第１実施形態で説明した商品情報取得装置１０を用いて提供されるサービスの一例について説明する。本実施形態の商品情報取得装置１０は、顧客に商品の売り場を知らせるサービスを提供する。 [Third Embodiment]
In this embodiment, an example of services provided using the product information acquisition device 10 described in the first embodiment will be described. The product information acquisition device 10 of the present embodiment provides a service of notifying customers of product sales floors.

〔機能構成例〕
図８は、第３実施形態における商品情報取得装置１０の機能構成を概念的に示す図である。本実施形態の商品情報取得装置１０は、第１実施形態の構成に加えて、売場情報出力部１６０および売場情報記憶部１６２を有している。 [Example of functional configuration]
FIG. 8 is a diagram conceptually showing the functional configuration of the product information acquisition device 10 according to the third embodiment. The product information acquisition device 10 of this embodiment has a sales floor information output unit 160 and a sales floor information storage unit 162 in addition to the configuration of the first embodiment.

売場情報出力部１６０は、商品情報取得部１３０により取得された、対象商品の商品別情報に基づいて、その対象商品の売り場を示す情報（売り場情報）を取得する。そして、売場情報出力部１６０は、取得した売り場情報を、図示しないディスプレイやスピーカーといった出力装置を介して出力する。 The sales floor information output unit 160 acquires information (sales floor information) indicating the sales floor of the target product based on the product-by-product information of the target product acquired by the product information acquisition unit 130 . Then, the sales floor information output unit 160 outputs the acquired sales floor information via an output device such as a display or a speaker (not shown).

〔ハードウエア構成例〕
図９は、第３実施形態における商品情報取得装置１０のハードウエア構成を例示する図である。図９に示されるように、本実施形態の商品情報取得装置１０は、入出力インタフェース１０５０を介して出力装置４０と接続されている。出力装置４０は、例えば、ディスプレイやスピーカーなどである。出力装置４０は、売場情報出力部１６０からの指示に従って、売場情報出力部１６０により取得された売り場情報を顧客に向けて通知する。 [Hardware configuration example]
FIG. 9 is a diagram illustrating the hardware configuration of the product information acquisition device 10 according to the third embodiment. As shown in FIG. 9 , the product information acquisition device 10 of this embodiment is connected to the output device 40 via an input/output interface 1050 . The output device 40 is, for example, a display or a speaker. The output device 40 notifies the customer of the sales floor information acquired by the sales floor information output unit 160 according to the instruction from the sales floor information output unit 160 .

本実施形態において、ストレージデバイス１０４０は、上述の売場情報出力部１６０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０２０が、これらのプログラムモジュールをメモリ１０３０上に読み出して実行することにより、本実施形態の売場情報出力部１６０の機能が実現される。また、本実施形態において、ストレージデバイス１０４０は、後述するような売り場情報を記憶する装置としても利用され得る。 In this embodiment, the storage device 1040 further stores a program module that implements the functions of the sales floor information output unit 160 described above. The processor 1020 reads these program modules onto the memory 1030 and executes them, thereby realizing the functions of the sales floor information output unit 160 of the present embodiment. In addition, in this embodiment, the storage device 1040 can also be used as a device that stores sales floor information as described later.

〔動作例〕
売場情報出力部１６０は、例えば次のように動作する。売場情報出力部１６０は、商品情報取得部１３０により取得された商品識別情報を用いて、その商品の売り場情報を取得する。この商品情報は、売場情報記憶部１６２に予め記憶されている。売場情報記憶部１６２は、例えば、図１０に示されるような情報を記憶している。図１０は、売場情報記憶部１６２に記憶される情報の一例を示す図である。図１０の例において、売場情報記憶部１６２は、例えば、商品ＩＤ、商品の名称、商品の外観を示すサンプル画像または当該サンプル画像の画像特徴量と対応付けて、その商品の売り場を示す売り場情報を記憶している。また、図１０に示されるように、売場情報記憶部１６２は、商品の価格、商品に適用される特典（例えば、値引きの額や付与されるポイントの数など）といった情報を更に記憶していてもよい。なお、売場情報記憶部１６２は、商品情報取得装置１０または商品情報取得装置１０と通信可能な外部装置（図示せず）に備えられている。そして、売場情報出力部１６０は、商品情報取得部１３０により取得された、商品ＩＤ、商品名、あるいは、商品画像の画像特徴量といった商品識別情報を用いて、その商品の売り場を示す売り場情報を取得することができる。そして、売場情報出力部１６０は、取得した売り場情報を出力装置４０を介して出力する。例えば、売場情報出力部１６０は、商品情報取得装置１０と接続されたディスプレイ上に、商品の売り場を示すメッセージを表示させることができる。また、売場情報出力部１６０は、商品情報取得装置１０と接続されたスピーカーから、当該メッセージを音声で出力することができる。また、売場情報出力部１６０は、その商品の価格や特典情報に関するメッセージを更に出力することもできる。 [Example of operation]
The sales floor information output unit 160 operates, for example, as follows. The sales floor information output unit 160 uses the product identification information acquired by the product information acquisition unit 130 to acquire sales floor information of the product. This product information is stored in advance in the sales floor information storage unit 162 . The sales floor information storage unit 162 stores information as shown in FIG. 10, for example. FIG. 10 is a diagram showing an example of information stored in the sales floor information storage unit 162. As shown in FIG. In the example of FIG. 10, the sales floor information storage unit 162 stores sales floor information indicating the sales floor of the product in association with, for example, the product ID, the name of the product, the sample image showing the appearance of the product, or the image feature amount of the sample image. Remember. In addition, as shown in FIG. 10, the sales floor information storage unit 162 further stores information such as the price of the product and benefits applied to the product (for example, the discount amount, the number of points to be given, etc.). good too. Note that the sales floor information storage unit 162 is provided in the product information acquisition device 10 or an external device (not shown) that can communicate with the product information acquisition device 10 . Then, the sales floor information output unit 160 uses the product identification information such as the product ID, the product name, or the image feature amount of the product image acquired by the product information acquisition unit 130 to generate sales floor information indicating the sales floor of the product. can be obtained. Then, the sales floor information output unit 160 outputs the acquired sales floor information via the output device 40 . For example, the sales floor information output unit 160 can display a message indicating the sales floor of the product on the display connected to the product information acquisition device 10 . Also, the sales floor information output unit 160 can output the message by voice from a speaker connected to the product information acquisition device 10 . In addition, the sales floor information output unit 160 can further output a message regarding the price of the product and privilege information.

以上、本実施形態によれば、顧客が、表示媒体２０上で所望の商品を指し示すという簡易な動作によって、その商品の売り場を知ることができる。
As described above, according to the present embodiment, the customer can know the sales floor of the desired product by a simple operation of pointing to the desired product on the display medium 20 .

［第４実施形態］
上述の各実施形態において、後のトラブルを回避するために、対象商品認識部１２０の認識結果を顧客や店員が確認できるようにしておくことが好ましい。本実施形態の商品情報取得装置１０は、対象商品認識部１２０の認識結果を店員や顧客が確認できるようにする構成を更に備えている。 [Fourth Embodiment]
In each of the above-described embodiments, it is preferable that the recognition result of the target product recognition unit 120 can be confirmed by the customer or the store clerk in order to avoid trouble later. The product information acquisition device 10 of the present embodiment further includes a configuration that allows the store clerk or customer to confirm the recognition result of the target product recognition unit 120 .

〔機能構成〕
本実施形態の商品情報取得装置１０は、上述の各実施形態と同様の機能構成を有する。また、本実施形態の対象商品認識部１２０は、対象商品の認識結果を図示しないディスプレイに出力する。 [Functional configuration]
The product information acquisition device 10 of this embodiment has the same functional configuration as each of the above-described embodiments. Further, the target product recognition unit 120 of this embodiment outputs the target product recognition result to a display (not shown).

〔ハードウエア構成例〕
図１１は、第３実施形態における商品情報取得装置１０のハードウエア構成を例示する図である。図１１に示されるように、本実施形態の商品情報取得装置１０は、入出力インタフェース１０５０を介してディスプレイ５０と接続されている。ディスプレイ５０は、顧客または店員に対して、対象商品認識部１２０による対象商品の認識結果を出力するための装置である。 [Hardware configuration example]
FIG. 11 is a diagram illustrating the hardware configuration of the product information acquisition device 10 according to the third embodiment. As shown in FIG. 11 , the product information acquisition device 10 of this embodiment is connected to the display 50 via an input/output interface 1050 . The display 50 is a device for outputting the recognition result of the target product by the target product recognition unit 120 to the customer or the store clerk.

本実施形態において、ストレージデバイス１０４０は、上述の対象商品認識部１２０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０２０が、これらのプログラムモジュールをメモリ１０３０上に読み出して実行することにより、本実施形態の対象商品認識部１２０の機能が実現される。 In this embodiment, the storage device 1040 further stores program modules that implement the functions of the target product recognition unit 120 described above. The processor 1020 reads these program modules onto the memory 1030 and executes them, thereby realizing the functions of the target product recognition unit 120 of the present embodiment.

〔動作例〕
本実施形態の対象商品認識部１２０は、例えば以下のように動作する。対象商品認識部１２０は、画像Ｐを用いて、表示媒体２０に表示された複数の商品の中から対象商品を認識すると、その対象商品の認識結果をディスプレイ５０に出力する。一例として、対象商品認識部１２０は、対象商品として認識した商品の領域に加工を施し、対象商品を区別可能とした加工画像をディスプレイ５０に表示させる（例：図１２）。図１２は、第４実施形態の対象商品認識部１２０がディスプレイ５０に出力する情報の一例を示す図である。図１２の例では、対象商品認識部１２０は、対象商品として認識した商品（商品Ｄ）の領域を点線の印Ｍで囲むことにより、その商品が対象商品であることを識別可能としている。なお、図１２はあくまで一例であり、本発明は図１２の例に制限されない。 [Example of operation]
The target product recognition unit 120 of this embodiment operates, for example, as follows. The target product recognition unit 120 uses the image P to recognize the target product among the plurality of products displayed on the display medium 20 , and outputs the recognition result of the target product to the display 50 . As an example, the target product recognition unit 120 processes the region of the product recognized as the target product, and causes the display 50 to display a processed image in which the target product can be distinguished (eg, FIG. 12). FIG. 12 is a diagram showing an example of information output to the display 50 by the target product recognition unit 120 of the fourth embodiment. In the example of FIG. 12, the target product recognition unit 120 can identify the product as the target product by enclosing the area of the product (product D) recognized as the target product with a dotted line mark M. Note that FIG. 12 is merely an example, and the present invention is not limited to the example of FIG. 12 .

以上、本実施形態によれば、商品情報取得装置１０上で対象商品として認識された商品を識別可能とする情報が、ディスプレイ５０を介して出力される。これにより、顧客または店員が、指示オブジェクトＯＢＪにより指し示されることで対象商品として認識された商品を一目で把握することが可能となる。 As described above, according to the present embodiment, the information that enables identification of the product recognized as the target product on the product information acquisition device 10 is output via the display 50 . This enables the customer or store clerk to grasp at a glance the product that is recognized as the target product by being pointed to by the instruction object OBJ.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments of the present invention have been described above with reference to the drawings, these are examples of the present invention, and various configurations other than those described above can also be adopted.

また、上述の説明で用いたフローチャートでは、複数の工程（処理）が順番に記載されているが、当該フローチャートに記載される複数の工程の実行順序は、その記載の順番に制限されない。また、各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。 Also, in the flowchart used in the above description, a plurality of steps (processes) are described in order, but the execution order of the plurality of steps described in the flowchart is not limited to the order of description. Also, in each embodiment, the order of the illustrated steps can be changed within a range that does not interfere with the content. Moreover, each of the above-described embodiments can be combined as long as the contents do not contradict each other.

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得する画像取得手段と、
前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識する対象商品認識手段と、
前記対象商品の商品識別情報を取得する商品識別情報取得手段と、
を備える商品情報取得装置。
２．
前記対象商品の商品識別情報に基づいて、当該対象商品を購入商品として登録する処理を実行する商品登録手段を更に備える、
１．に記載の商品情報取得装置。
３．
前記対象商品が購入商品として登録された場合、当該対象商品を認識するときに用いられた前記画像を記憶装置に保存する画像保存手段を更に備える、
２．に記載の商品情報取得装置。
４．
前記対象商品の商品識別情報に基づいて当該対象商品の売り場を示す売り場情報を取得し、当該売り場情報を出力装置に出力する売場情報出力手段を更に備える、
１．に記載の商品情報取得装置。
５．
前記対象商品認識手段は、前記画像の中の人物の手または指を前記指示オブジェクトとして認識する、
１．から４．のいずれか１つに記載の商品情報取得装置。
６．
前記対象商品認識手段は、前記表示媒体に後から追加された印を前記指示オブジェクトとして認識する、
１．から４．のいずれか１つに記載の商品情報取得装置。
７．
前記対象商品認識手段は、前記指示オブジェクトが基準時間以上指し示した商品を、前記対象商品として認識する、
１．から６．のいずれか１つに記載の商品情報取得装置。
８．
前記対象商品認識手段は、前記対象商品の認識結果を表示装置に出力する、
１．から７．のいずれか１つに記載の商品情報取得装置。
９．
コンピュータが、
複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得し、
前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識し、
前記対象商品の商品識別情報を取得する、
ことを含む商品情報取得方法。
１０．
前記コンピュータが、
前記対象商品の商品識別情報に基づいて、当該対象商品を購入商品として登録する処理を実行する、
ことを含む９．に記載の商品情報取得方法。
１１．
前記コンピュータが、
前記対象商品が購入商品として登録された場合、当該対象商品を認識するときに用いられた前記画像を記憶装置に保存する、
ことを含む１０．に記載の商品情報取得方法。
１２．
前記コンピュータが、
前記対象商品の商品識別情報に基づいて当該対象商品の売り場を示す売り場情報を取得し、当該売り場情報を出力装置に出力する、
ことを含む９．に記載の商品情報取得方法。
１３．
前記コンピュータが、
前記画像の中の人物の手または指を前記指示オブジェクトとして認識する、
ことを含む９．から１２．のいずれか１つに記載の商品情報取得方法。
１４．
前記コンピュータが、
前記表示媒体に後から追加された印を前記指示オブジェクトとして認識する、
ことを含む９．から１２．のいずれか１つに記載の商品情報取得方法。
１５．
前記コンピュータが、
前記指示オブジェクトが基準時間以上指し示した商品を、前記対象商品として認識する、
ことを含む９．から１４．のいずれか１つに記載の商品情報取得方法。
１６．
前記コンピュータが、
前記対象商品の認識結果を表示装置に出力する、
ことを含む９．から１５．のいずれか１つに記載の商品情報取得方法。
１７．
コンピュータに、９．から１６．のいずれか１つに記載の商品情報取得方法を実行させるプログラム。 Some or all of the above embodiments can also be described as the following additional remarks, but are not limited to the following.
1.
an image acquisition means for acquiring an image including a display medium on which information of a plurality of products is displayed and a pointing object;
target product recognition means for recognizing a target product, which is the product indicated by the instruction object among the plurality of products, based on the position of the instruction object in the image;
Product identification information acquisition means for acquiring product identification information of the target product;
A product information acquisition device.
2.
further comprising product registration means for executing a process of registering the target product as a purchased product based on the product identification information of the target product;
1. The product information acquisition device described in .
3.
further comprising image storage means for storing the image used when recognizing the target product in a storage device when the target product is registered as a purchased product;
2. The product information acquisition device described in .
4.
Further comprising sales floor information output means for acquiring sales floor information indicating the sales floor of the target product based on the product identification information of the target product and outputting the sales floor information to an output device;
1. The product information acquisition device described in .
5.
the target product recognition means recognizes a hand or finger of a person in the image as the pointing object;
1. to 4. The product information acquisition device according to any one of .
6.
the target product recognition means recognizes a mark added later to the display medium as the instruction object;
1. to 4. The product information acquisition device according to any one of .
7.
The target product recognition means recognizes, as the target product, a product pointed by the pointing object for a reference time or longer.
1. to 6. The product information acquisition device according to any one of .
8.
The target product recognition means outputs a recognition result of the target product to a display device.
1. to 7. The product information acquisition device according to any one of .
9.
the computer
Acquiring an image including a display medium on which information of a plurality of products is displayed and an instruction object,
recognizing a target product, which is the product indicated by the instruction object among the plurality of products, based on the position of the instruction object in the image;
Acquiring product identification information of the target product;
Product information acquisition method including
10.
the computer
executing a process of registering the target product as a purchased product based on the product identification information of the target product;
9. How to obtain product information described in .
11.
the computer
when the target product is registered as a purchased product, storing the image used when recognizing the target product in a storage device;
10. How to obtain product information described in .
12.
the computer
Acquiring sales floor information indicating the sales floor of the target product based on the product identification information of the target product, and outputting the sales floor information to an output device;
9. How to obtain product information described in .
13.
the computer
recognizing a hand or finger of a person in the image as the pointing object;
9. to 12. The product information acquisition method according to any one of the above.
14.
the computer
recognizing a mark added later to the display medium as the pointing object;
9. to 12. The product information acquisition method according to any one of the above.
15.
the computer
recognizing a product pointed by the pointing object for a reference time or longer as the target product;
9. to 14. The product information acquisition method according to any one of the above.
16.
the computer
outputting the recognition result of the target product to a display device;
9. to 15. The product information acquisition method according to any one of the above.
17.
9. to the computer; to 16. A program for executing the product information acquisition method according to any one of the above.

１０商品情報取得装置
１０１０バス
１０２０プロセッサ
１０３０メモリ
１０４０ストレージデバイス
１０５０入出力インタフェース
１０６０ネットワークインタフェース
１１０画像取得部
１１０商品情報取得装置
１２０対象商品認識部
１３０商品情報取得部
１４０商品登録部
１４２商品情報記憶部
１５０画像保存部
１６０売場情報出力部
１６２売場情報記憶部
２０表示媒体
３０撮像装置
４０出力装置
５０ディスプレイ
ＯＢＪ指示オブジェクト 10 product information acquisition device 1010 bus 1020 processor 1030 memory 1040 storage device 1050 input/output interface 1060 network interface 110 image acquisition unit 110 product information acquisition device 120 target product recognition unit 130 product information acquisition unit 140 product registration unit 142 product information storage unit 150 Image storage unit 160 Sales floor information output unit 162 Sales floor information storage unit 20 Display medium 30 Imaging device 40 Output device 50 Display OBJ Instruction object

Claims

複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得する画像取得手段と、
前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識する対象商品認識手段と、
前記対象商品の商品識別情報を取得する商品識別情報取得手段と、
前記対象商品の商品識別情報に基づいて当該対象商品の売り場を示す売り場情報を取得し、当該売り場情報を出力装置に出力する売場情報出力手段と、
を備え、
前記対象商品認識手段は、前記表示媒体に後から追加された印を前記指示オブジェクトとして認識する商品情報取得装置。 an image acquisition means for acquiring an image including a display medium on which information of a plurality of products is displayed and a pointing object;
target product recognition means for recognizing a target product, which is the product indicated by the instruction object among the plurality of products, based on the position of the instruction object in the image;
Product identification information acquisition means for acquiring product identification information of the target product;
a sales floor information output means for acquiring sales floor information indicating a sales floor of the target product based on the product identification information of the target product and outputting the sales floor information to an output device;
with
The target product recognition means is a product information acquisition device that recognizes a mark added later to the display medium as the instruction object .

前記対象商品の商品識別情報に基づいて、当該対象商品を購入商品として登録する処理を実行する商品登録手段を更に備える、
請求項１に記載の商品情報取得装置。 further comprising product registration means for executing a process of registering the target product as a purchased product based on the product identification information of the target product;
The product information acquisition device according to claim 1.

前記対象商品が購入商品として登録された場合、当該対象商品を認識するときに用いられた前記画像を記憶装置に保存する画像保存手段を更に備える、
請求項２に記載の商品情報取得装置。 further comprising image storage means for storing the image used when recognizing the target product in a storage device when the target product is registered as a purchased product;
The product information acquisition device according to claim 2.

前記対象商品認識手段は、前記指示オブジェクトが基準時間以上指し示した商品を、前記対象商品として認識する、
請求項１から３のいずれか１項に記載の商品情報取得装置。 The target product recognition means recognizes, as the target product, a product pointed by the pointing object for a reference time or longer.
The product information acquisition device according to any one of claims 1 to 3 .

前記対象商品認識手段は、前記対象商品の認識結果を表示装置に出力する、
請求項１から４のいずれか１項に記載の商品情報取得装置。 The target product recognition means outputs a recognition result of the target product to a display device.
The product information acquisition device according to any one of claims 1 to 4 .

コンピュータが、
複数の商品の情報が表示された表示媒体と、指示オブジェクトとを含む画像を取得し、
前記画像の中での前記指示オブジェクトの位置に基づいて、前記複数の商品の中で当該指示オブジェクトが指し示す商品である対象商品を認識し、
前記対象商品の商品識別情報を取得し、
前記対象商品の商品識別情報に基づいて当該対象商品の売り場を示す売り場情報を取得し、当該売り場情報を出力装置に出力する、
ことを含み、
前記指示オブジェクトは、前記表示媒体に後から追加された印である商品情報取得方法。 the computer
Acquiring an image including a display medium on which information of a plurality of products is displayed and an instruction object,
recognizing a target product, which is the product indicated by the instruction object among the plurality of products, based on the position of the instruction object in the image;
Acquiring the product identification information of the target product,
Acquiring sales floor information indicating the sales floor of the target product based on the product identification information of the target product, and outputting the sales floor information to an output device;
including
The product information acquisition method , wherein the instruction object is a mark added later to the display medium .

コンピュータに、請求項６に記載の商品情報取得方法を実行させるプログラム。 A program that causes a computer to execute the product information acquisition method according to claim 6 .