JP6979653B2 - Product identification system - Google Patents
Product identification system Download PDFInfo
- Publication number
- JP6979653B2 JP6979653B2 JP2020068783A JP2020068783A JP6979653B2 JP 6979653 B2 JP6979653 B2 JP 6979653B2 JP 2020068783 A JP2020068783 A JP 2020068783A JP 2020068783 A JP2020068783 A JP 2020068783A JP 6979653 B2 JP6979653 B2 JP 6979653B2
- Authority
- JP
- Japan
- Prior art keywords
- image information
- face
- information
- product
- shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 154
- 238000003860 storage Methods 0.000 claims description 94
- 238000012937 correction Methods 0.000 description 70
- 238000000034 method Methods 0.000 description 58
- 230000008569 process Effects 0.000 description 52
- 239000000284 extract Substances 0.000 description 9
- 230000002746 orthostatic effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 235000013405 beer Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本発明は，店舗などで陳列されている商品を特定するための商品特定システムに関する。 The present invention relates to a product identification system for specifying products displayed in stores and the like.
小売業界においては，商品の陳列状況が商品の販売に影響することが知られている。そのため，商品の製造会社，販売会社としては，自社または他社の商品が，店舗のどこに陳列されているのかを把握することで，自社商品の開発戦略，販売戦略につなげることができる。 In the retail industry, it is known that the display status of products affects the sales of products. Therefore, as a product manufacturing company or sales company, it is possible to connect to the development strategy and sales strategy of the company's products by grasping where the products of the company or other companies are displayed in the store.
一方，その実現のためには，店頭に陳列されている商品の正確な特定が重要である。そこで，店舗の陳列棚を撮影し，その画像情報から陳列されている商品を，人間が手作業で特定をすることが考えられる。この場合，ほぼ正確に商品を特定することができる。しかし，商品の陳列状況を継続的に把握するためには，一定期間ごとにその陳列状況を把握しなければならないが，店舗の陳列棚を撮影した画像情報から毎回，人間が商品を特定するのは，負担が大きくまた非効率である。 On the other hand, in order to realize this, it is important to accurately identify the products displayed in the store. Therefore, it is conceivable that a person manually identifies the products displayed from the image information of the display shelves of the store. In this case, the product can be identified almost accurately. However, in order to continuously grasp the display status of products, it is necessary to grasp the display status at regular intervals, but humans identify the products every time from the image information taken of the display shelves of the store. Is burdensome and inefficient.
そこで店舗の陳列棚を撮影した画像情報から，そこに陳列されている商品を自動的に特定し，商品の陳列状況を把握することが求められる。たとえば商品ごとの標本画像をもとに，店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として，たとえば，下記特許文献１乃至特許文献３に示すような技術を用いて，商品の陳列状況を管理するシステムが存在する。 Therefore, it is required to automatically identify the products displayed on the display shelves of the store from the image information taken and grasp the display status of the products. For example, there is a method of using image recognition technology for an image taken of a display shelf of a store based on a sample image of each product. As these conventional techniques, for example, there is a system for managing the display status of products by using the techniques shown in the following Patent Documents 1 to 3.
特許文献１の発明は，商品をどの陳列棚に陳列すべきかが知識のない者にもできるように支援するシステムである。そのため，実際の商品の陳列状況を把握することはできない。また特許文献２は，商品の陳列を支援する棚割支援システムにおいて，商品画像の入力を支援するシステムである。しかし特許文献２のシステムでは，棚割支援システムを利用する際の商品画像の入力を支援するのみであって，このシステムを用いたとしても，実際の陳列状況がどのような状況であるかを特定することはできない。 The invention of Patent Document 1 is a system that supports a person who does not have knowledge about which display shelf a product should be displayed on. Therefore, it is not possible to grasp the actual display status of products. Further, Patent Document 2 is a system that supports input of a product image in a shelf allocation support system that supports the display of products. However, the system of Patent Document 2 only supports the input of product images when using the shelf allocation support system, and even if this system is used, what kind of situation is the actual display situation? It cannot be specified.
特許文献３は，陳列棚に空き空間がある場合に，その空き空間に陳列すべき商品を特定したり，陳列棚に陳列すべき商品を置き間違えた場合にそれを通知する発明である。この発明でも，商品と，陳列棚に陳列されている商品との画像マッチング処理を行って，陳列棚に陳列されている商品を特定しているが，認識精度が低いのが実情である。 Patent Document 3 is an invention for specifying a product to be displayed in the empty space when there is an empty space in the display shelf, or notifying the product when the product to be displayed is mistakenly placed on the display shelf. In the present invention as well, the image matching process between the product and the product displayed on the display shelf is performed to identify the product displayed on the display shelf, but the actual situation is that the recognition accuracy is low.
陳列棚を撮影した画像に対して，標本画像をもとに画像認識技術を用いる場合，その画像認識の精度や処理負荷が問題となる。たとえば，陳列棚が設置されている店舗では，照明の状態が均一ではなく，標本画像の照明との差が大きいと，画像認識の精度が低下する。そのため，陳列棚を撮影した画像から，そこに陳列されている商品を特定することは容易ではない場合がある。また，画像認識には大きな処理負荷が発生するので，多大なリソースが必要となってしまう。そのため，投下資本が大きくなってしまう。 When image recognition technology is used based on a sample image for an image taken on a display shelf, the accuracy of the image recognition and the processing load become problems. For example, in a store where display shelves are installed, if the lighting conditions are not uniform and the difference from the lighting of the sample image is large, the accuracy of image recognition deteriorates. Therefore, it may not be easy to identify the products displayed on the display shelves from the images taken. In addition, a large processing load is generated for image recognition, which requires a large amount of resources. Therefore, the invested capital becomes large.
そこで本発明者らは，上記課題に鑑み，陳列棚に陳列されている商品を，従来よりも高精度に特定できる一方，処理負荷を少なくすることを可能とする商品特定システムを発明した。 Therefore, in view of the above problems, the present inventors have invented a product identification system that can identify products displayed on display shelves with higher accuracy than before, while reducing the processing load.
第１の発明は，陳列棚に陳列している商品を特定するための商品特定システムであって，前記商品特定システムは，前記陳列棚を撮影した画像情報から，商品が置かれている領域であるフェイスを特定するフェイス特定処理部と，前記画像情報における，前記フェイスに表示されている商品の商品識別情報を特定し，前記フェイスに対応づけて商品識別情報記憶部に記憶させる商品識別情報特定処理部，を有しており，前記商品識別情報特定処理部は，第２の画像情報における処理対象とするフェイスの画像情報と，そのフェイスに対応する第１の画像情報におけるフェイスから所定範囲にあるフェイスの画像情報とを比較し，類似性が所定条件を充足している第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報における前記処理対象とするフェイスにある商品の商品識別情報として特定する，商品特定システムである。
The first invention is a product identification system for specifying a product displayed on a display shelf, and the product identification system is a region in which a product is placed from image information obtained by photographing the display shelf. a face identification processing section for specifying a certain face, in the image information, to identify the product identification information of the commodity is displayed on the face, commodity identification information specific to be stored in the product identification information storage unit in association with the face It has a processing unit, and the product identification information identification processing unit has a predetermined range from the image information of the face to be processed in the second image information and the face in the first image information corresponding to the face. comparing the image information of a face, the commodity identification information of the commodity in the face in the first image information similarity is satisfied the predetermined condition, the face to be the processing target in the second image information It is a product identification system that identifies a product as product identification information.
画像情報のフェイスにおける商品を特定するためには，従来は，商品の標本画像情報と対比することが一般的であった。しかし，商品の標本画像情報と画像マッチング処理を行う場合，処理負荷が大きくなり，またその精度も高いとはいえない。一方，本発明のように，第１の画像情報におけるフェイスの画像情報と比較することによって，画像マッチング処理を大幅に減らせるので，処理負荷が少なくなる。また商品の配置は継続性があることも多いので，第１の画像情報におけるフェイスの画像情報と類似度が高ければ，同一の商品である可能性が高い。そのため，商品を特定する精度を向上させることもできる。 In order to identify a product on the face of image information, it has been common to compare it with the sample image information of the product. However, when performing image matching processing with sample image information of a product, the processing load becomes large and the accuracy cannot be said to be high. On the other hand, as in the present invention, the image matching process can be significantly reduced by comparing with the image information of the face in the first image information, so that the processing load is reduced. In addition, since the arrangement of products is often continuous, if the degree of similarity with the image information of the face in the first image information is high, it is highly possible that the products are the same. Therefore, it is possible to improve the accuracy of identifying the product.
上述の発明において，前記商品識別情報特定処理部は，第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する第１の画像情報におけるフェイスから所定範囲にあるフェイスの画像情報とを比較し，もっとも類似性が高くかつ一定の閾値以上である第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報におけるフェイスにある商品の商品識別情報として特定する，商品特定システムのように構成することができる。
In the above-described invention, the product identification information specifying processing unit compares the image information of the face in the second image information with the image information of the face in a predetermined range from the face in the first image information corresponding to the face. However, the product identification information of the product on the face in the first image information having the highest similarity and equal to or higher than a certain threshold is specified as the product identification information of the product on the face in the second image information. It can be configured like a specific system.
上述の発明において，前記商品特定システムは，さらに，商品の標本画像情報を記憶する標本画像情報記憶部，を有しており，前記商品識別情報特定処理部は，さらに，前記第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記第１の画像情報におけるフェイスから所定範囲にあるフェイスの画像情報との比較の結果，類似性が所定条件を充足していない場合には，前記第２の画像情報におけるフェイスの画像情報と，前記標本画像情報記憶部に記憶する標本画像情報とを比較することで，前記第２の画像情報におけるフェイスにある商品の商品識別情報を特定する，商品特定システムのように構成することができる。
In the above-described invention, the product identification system further includes a sample image information storage unit for storing sample image information of the product, and the product identification information identification processing unit further includes the second image information. As a result of comparison between the image information of the face in the above and the image information of the face in the predetermined range from the face in the first image information corresponding to the face, if the similarity does not satisfy the predetermined condition, the above By comparing the image information of the face in the second image information with the sample image information stored in the sample image information storage unit, the product identification information of the product on the face in the second image information is specified. It can be configured like a product identification system.
陳列棚に陳列されている商品について，その配置が変更されることもある。その場合，第２の画像情報におけるフェイスの商品識別情報を特定するにあたり，第１の画像情報におけるフェイスの画像情報との比較の結果，類似性が所定条件を充足していない場合もある。その場合には，本発明のように，第２の画像情報におけるフェイスの画像情報と標本画像情報とを比較することで，商品識別情報を特定することが好ましい。 The arrangement of the products displayed on the display shelves may be changed. In that case, in specifying the product identification information of the face in the second image information, as a result of comparison with the image information of the face in the first image information, the similarity may not satisfy the predetermined condition. In that case, it is preferable to specify the product identification information by comparing the image information of the face in the second image information with the sample image information as in the present invention.
上述の発明において，前記商品特定システムは，さらに，画像情報に対する棚段位置の特定を行う棚段位置特定処理部，を有しており，前記棚段位置特定処理部は，前記第２の画像情報における棚段の位置を，前記第１の画像情報における棚段の位置に基づいて特定する，商品特定システムのように構成することができる。 In the above-described invention, the product identification system further includes a shelf stage position specifying processing unit for specifying the shelf stage position with respect to image information, and the shelf stage position specifying processing unit is the second image. The position of the shelf in the information can be configured like a product identification system that specifies the position of the shelf in the first image information based on the position of the shelf.
第２の画像情報における棚段の位置は，本発明のように，第１の画像情報における棚段の位置に基づいて特定することで，処理負荷を掛けずに特定できる。 The position of the shelf in the second image information can be specified without applying a processing load by specifying the position of the shelf in the first image information based on the position of the shelf in the first image information as in the present invention.
第１の発明の商品特定システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，陳列棚を撮影した画像情報から，商品が置かれている領域であるフェイスを特定するフェイス特定処理部，前記画像情報における，商品が置かれている領域であるフェイスに表示されている商品の商品識別情報を特定し，前記フェイスに対応づけて所定の記憶領域に記憶させる商品識別情報特定処理部，として機能させるための商品特定プログラムであって，前記商品識別情報特定処理部は，第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する第１の画像情報におけるフェイスから所定範囲にあるフェイスの画像情報とを比較し，類似性が所定条件を充足している第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報におけるフェイスにある商品の商品識別情報として特定する，商品特定プログラムである。
The product identification system of the first invention can be realized by loading the program of the present invention into a computer and executing it. That is, the computer is displayed on the face identification processing unit that identifies the face, which is the area where the product is placed, from the image information obtained by photographing the display shelf, and on the face, which is the area where the product is placed, in the image information. It is a product identification program for specifying the product identification information of a product and functioning as a product identification information identification processing unit that is associated with the face and stored in a predetermined storage area, and is the product identification information identification processing unit. Compares the image information of the face in the second image information with the image information of the face in the first image information corresponding to the face within a predetermined range from the face , and the similarity satisfies the predetermined condition. It is a product identification program that identifies the product identification information of the product on the face in the first image information as the product identification information of the product on the face in the second image information.
本発明の商品特定システムを用いることによって，陳列棚に陳列されている商品を，従来よりも高精度に特定できる一方，処理負荷を少なくすることを可能とする。 By using the product identification system of the present invention, it is possible to identify the products displayed on the display shelves with higher accuracy than before, while reducing the processing load.
本発明の商品特定システム１のシステム構成の一例を図１に示す。商品特定システム１は，管理端末２と撮影画像情報入力端末３とを用いる。 FIG. 1 shows an example of the system configuration of the product identification system 1 of the present invention. The product identification system 1 uses a management terminal 2 and a photographed image information input terminal 3.
管理端末２は，商品特定システム１を運営する企業等の組織が利用するコンピュータである。また，撮影画像情報入力端末３は，店舗の陳列棚を撮影した撮影画像情報の入力を管理端末２に行う。 The management terminal 2 is a computer used by an organization such as a company that operates the product identification system 1. Further, the photographed image information input terminal 3 inputs the photographed image information obtained by photographing the display shelf of the store to the management terminal 2.
商品特定システム１における管理端末２，撮影画像情報入力端末３は，コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。
The management terminal 2 and the photographed image information input terminal 3 in the product identification system 1 are realized by using a computer. FIG. 2 schematically shows an example of a computer hardware configuration. The computer can input information into an
コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。
When the computer is provided with a touch panel display, the
タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。
The touch panel display is a device in which the functions of the
撮影画像情報入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。撮影画像情報入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。 The captured image information input terminal 3 may include a capture device such as a camera in addition to the above-mentioned devices. As the captured image information input terminal 3, a portable communication terminal such as a mobile phone, a smartphone, or a tablet computer can also be used.
本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。 Each means in the present invention has only a logical distinction in its function, and may form the same area physically or substantially.
商品特定システム１における管理端末２は，撮影画像情報入力端末３とネットワークを介して情報の送受信が可能である。 The management terminal 2 in the product identification system 1 can send and receive information via a network with the photographed image information input terminal 3.
商品特定システム１における管理端末２は，撮影画像情報入力受付処理部２０と撮影画像情報記憶部２１と台形補正処理部２２と頂点座標記憶部２３と正置画像情報記憶部２４と棚段位置特定処理部２５と棚段位置座標記憶部２６とフェイス特定処理部２７とフェイス座標記憶部２８と商品識別情報特定処理部２９と標本画像情報記憶部３０と商品識別情報記憶部３１と棚段画像マッチング処理部３２とを有する。
The management terminal 2 in the product identification system 1 includes a photographed image information input
撮影画像情報入力受付処理部２０は，撮影画像情報入力端末３で撮影した店舗の陳列棚の画像情報（撮影画像情報）の入力を受け付け，後述する撮影画像情報記憶部２１に記憶させる。撮影画像情報入力端末３からは，撮影画像情報のほか，撮影日時，店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。
The photographed image information input
撮影画像情報記憶部２１は，撮影画像情報入力受付処理部２０で受け付けた撮影画像情報，撮影日時，店舗識別情報，画像情報識別情報などを対応づけて記憶する。撮影画像情報とは，台形補正処理を実行する対象となる画像情報であればよく，一つの陳列棚を複数枚で撮影した場合に，それが一つの画像情報として合成された画像情報も含まれる。また，歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。
The photographed image
台形補正処理部２２は，撮影画像情報記憶部２１に記憶した撮影画像情報に対して台形補正処理を実行して正置化し，正置画像情報を生成する。正置画像情報は，正置画像情報記憶部２４に記憶させる。この際に，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報なども対応づけて記憶させるとよい。台形補正処理は，撮影画像情報に写っている陳列棚の棚段が水平に，そこに陳列されている商品が垂直になるように行う補正処理である。
The keystone
台形補正処理部２２における台形補正処理としては，初回の台形補正処理と，二回目以降の台形補正処理とに分かれる。
The keystone correction process in the keystone
台形補正処理部２２における初回の台形補正処理は，陳列棚の長方形の領域の４頂点の指定の入力を受け付ける。陳列棚の長方形の領域の４頂点としては，陳列棚の棚位置の４頂点であってもよいし，棚段の４頂点であってもよい。また，２段，３段の棚段のまとまりの４頂点であってもよい。ここで指定を受け付けた４頂点は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報と対応づけて頂点座標記憶部２３に記憶させる。そして台形補正処理部２２は，指定を受け付けた４頂点の座標に基づいて，撮影画像情報に対して台形補正処理を実行し，正置画像情報として正置画像情報記憶部２４に記憶させる。この際に，台形補正処理部２２は，正置画像情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報と対応づけて正置画像情報記憶部２４に記憶をさせる。指定を受け付けた４頂点の座標情報に基づく正置化の処理は公知の方法を用いることができる
The first keystone correction process in the keystone
撮影画像情報は，一定期間ごとに，同じような領域を同じような角度で撮影がされることが望ましい。しかし完全に同じ領域を同じ角度で撮影をすることはできない。そこで，台形補正処理部２２は，二回目以降の台形補正処理を以下のように実行をする。
It is desirable that the captured image information be captured in a similar area at a similar angle at regular intervals. However, it is not possible to shoot the exact same area at the same angle. Therefore, the keystone
まず，台形補正処理部２２は，Ｎ回目の撮影画像情報に対応する同じ（ほぼ同じ）領域を撮影したＮ−１回目の撮影画像情報の頂点座標を頂点座標記憶部２３から特定する。Ｎ回目の撮影画像情報に対応する同じ（ほぼ同じ）領域を撮影したＮ−１回目の撮影画像情報の頂点座標は，撮影画像情報に対応する店舗識別情報，画像識別情報，撮影日時情報などに基づいて特定をする。そして，Ｎ−１回目の撮影画像情報に対して，特定をした４頂点の頂点座標を含む所定の大きさの矩形領域，たとえば棚段の幅の１／５程度の正方形を特徴量採取領域２２０として設定をする。Ｎ−１回目の撮影画像情報に対して，特徴量採取領域２２０を設定した状態の一例を図５に示す。特徴量採取領域２２０は，頂点座標を含む矩形領域であればよい。一方，陳列棚の背景同士がマッチングをしてしまうと，撮影位置が少しずれるだけで背景が大きくずれてしまう。そこで，特徴量採取領域２２０は，なるべく陳列棚の内側を多く含む位置に設定することが好ましい。つまり，頂点座標は，特徴量採取領域２２０において，特徴量採取領域２２０の中心点よりも陳列棚の外側方向に位置していることが好ましい。たとえば，頂点座標の４点は左上，右上，左下，右下に位置する。そして，特徴量採取領域２２０の矩形領域を縦横の中心でそれぞれ２分割した合計４領域に分割すると，左上の頂点座標を含む特徴量採取領域２２０では，その頂点座標が矩形領域のうち左上の領域に位置するように特徴量採取領域２２０を設定する。同様に，右上の頂点座標を含む特徴量採取領域２２０では，その頂点座標が矩形領域のうち右上の領域に位置するように特徴量採取領域２２０を設定し，左下の頂点座標を含む特徴量採取領域２２０では，その頂点座標が矩形領域のうち左下の領域に位置するように特徴量採取領域２２０を設定し，右下の頂点座標を含む特徴量採取領域２２０では，その頂点座標が矩形領域のうち右下の領域に位置するように特徴量採取領域２２０を設定する。これによって，頂点座標は，特徴量採取領域２２０において，特徴量採取領域２２０の中心点よりも陳列棚の外側方向に位置することとなる。
First, the keystone
つぎに，台形補正処理部２２は，Ｎ回目の撮影画像情報において，Ｎ−１回目の撮影画像情報に設定した特徴量採取領域２２０を内包し，Ｎ−１回目の撮影画像情報の特徴量採取領域２２０以上の大きさの特徴量採取領域２２１を設定する。Ｎ回目の撮影画像情報に設定する特徴量採取領域２２１は，短辺の１／２の大きさは超えない。さらに，撮影画像情報よりも外側に出る場合には，その範囲をトリミングする。Ｎ回目の撮影画像情報に対して特徴量採取領域２２１を設定した状態の一例を図６に示す。
Next, the keystone
そして台形補正処理部２２は，Ｎ−１回目の撮影画像情報に対して設定した各特徴量採取領域２２０において，局所特徴量を採取し，局所特徴量による特徴点とその座標のセットとを記憶する。また，Ｎ回目の撮影画像情報に対して設定した各特徴量採取領域２２１において，局所特徴量を採取し，局所特徴量による特徴点とその座標のセットとを記憶する。
Then, the keystone
台形補正処理部２２は，Ｎ−１回目の撮影画像情報の特徴量採取領域２２０における特徴点の局所特徴量と，Ｎ−１回目の撮影画像情報の特徴量採取領域２２０に対応する位置にあるＮ回目の撮影画像情報の特徴量採取領域２２１における特徴点の局所特徴量とを比較する。そして，Ｎ−１回目の撮影画像情報の各特徴点の各局所特徴量にもっとも近い，Ｎ回目の撮影画像情報の各局所特徴量の特徴点を特定する。そしてもっとも近い局所特徴量同士の特徴点をペアとし，ペアとなる局所特徴量による特徴点の座標を対応づける。なお，この際に，局所特徴量同士の近さ（類似性）があらかじめ定められた閾値未満のペアは除外をする。これによって，Ｎ−１回目の特徴量採取領域２２０における局所特徴量の特徴点と，Ｎ回目の特徴量採取領域２２１におけるもっとも近い局所特徴量の特徴点同士のペアを特定できる。Ｎ−１回目の特徴量採取領域２２０の局所特徴量の特徴点と，Ｎ回目の特徴量採取領域２２１の局所特徴量の特徴点とのペアの関係を図７に示す。図７では，Ｎ−１回目の特徴量採取領域２２０における局所特徴量による特徴点の点群をＡ，Ｎ回目の特徴量採取領域２２１における局所特徴量による特徴点の点群をＢ，Ｎ−１回目の台形補正処理に用いた頂点をＣで示している。
The keystone
Ｎ−１回目の特徴量採取領域２２０における局所特徴量による特徴点の点群Ａの座標と，点群Ａに対応するＮ回目の特徴量採取領域２２１における局所特徴量による特徴点の点群Ｂの座標とに基づいて，点群Ａを点群Ｂに射影する関数Ｆ（アフィン変換）を求める。関数Ｆは，サンプリング推定を反復する，ロバスト推定の一種であるＯｐｅｎＣＶのＲＡＮＳＡＣを利用するなどの方法があるが，それらに限定しない。なお，射影の関係にある関係線からずれが大きいペアは処理対象から除外をする。
The coordinates of the feature point point group A due to the local feature amount in the N-1st feature
台形補正処理部２２において関数Ｆを求めたのち，台形補正処理部２２は，Ｎ−１回目の台形補正処理で用いた頂点Ｃの座標を，関数Ｆに基づいてＮ回目の撮影画像情報に射影し，Ｎ回目の台形補正処理のための頂点Ｄの座標として特定する。これを模式的に示すのが図８である。
After the keystone
以上の処理を各特徴量採取領域２２０，２２１に対して行うことで，Ｎ回目の撮影画像情報における台形補正処理のための棚位置の４頂点を特定する。そして，台形補正処理部２２は，特定した４頂点に基づいて，Ｎ回目の撮影画像情報に対する台形補正処理を実行して正置化し，正置画像情報を正置画像情報記憶部２４に記憶させる。この際に，台形補正処理部２２は，正置画像情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報と対応づけて正置画像情報記憶部２４に記憶をさせる。特定したＮ回目の撮影画像情報に対応する頂点の座標は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報と対応づけて頂点座標記憶部２３に記憶させる。
By performing the above processing for each feature
なお，台形補正処理部２２における台形補正処理で用いる頂点の特定処理は，本発明のように陳列棚を撮影した画像情報から商品を特定する場合に限らず，同一の撮影対象物を撮影した複数の画像情報を正置化し，正置画像情報を生成する画像処理システムにも適用することができる。これによって，同一の撮影対象物を撮影した複数の画像情報について，それぞれ正置化して，その撮影対象物の正置画像情報を生成することができる。
The keystone specifying process used in the keystone correction processing in the keystone
また，Ｎ回目の撮影画像情報における台形補正処理のための棚位置の４頂点を特定するため，上述では，Ｎ−１回目の撮影画像情報における特徴量採取領域２２０での局所特徴量による特徴点の点群Ａと，Ｎ回目の撮影画像情報における特徴量採取領域２２１での局所特徴量による特徴点の点群Ｂとを用いて関数Ｆを求め，Ｎ−１回目の台形補正処理で用いた頂点Ｃの座標を，関数ＦによりＮ回目の撮影画像情報に射影し，Ｎ回目の台形補正処理のための頂点Ｄの座標として特定する処理を説明した。しかし，かかる処理では，Ｎ−１回目の撮影画像情報と，Ｎ回目の撮影画像情報とにおいて，類似する画像情報の対応点の座標（位置）を見つければよいので，上記の方法にするものではなく，画像情報内の箇所を特定するタイプの特徴量であればいかなるものであってもよい。たとえば，画像情報内における尖った箇所，ハイライトのポイントなどがある。本明細書では，局所特徴量などの，画像情報内の箇所を特定する特徴量を画像特徴量（位置特定型画像特徴量）という。なお，本明細書の説明では，画像特徴量として，上述のように局所特徴量を用いる場合を説明する。
Further, in order to specify the four vertices of the shelf position for the keystone correction processing in the Nth shot image information, in the above description, the feature points based on the local feature amount in the feature
頂点座標記憶部２３は，台形補正処理部２２で台形補正処理を行うにあたり用いる４頂点の座標情報を記憶する。座標情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報と対応づけられている。
The vertex coordinate
正置画像情報記憶部２４は，台形補正処理部２２で台形補正処理をした正置画像情報を記憶する。正置画像情報記憶部２４は，正置画像情報に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報と対応づけて記憶させるとよい。
The normal image
棚段位置特定処理部２５は，正置画像情報に写っている陳列棚における棚段について，その位置の入力を受け付ける。棚段位置の指定は，領域２２２の指定を受け付け，その４点を棚段位置の座標とする。受け付けた棚段の領域２２２を構成する座標は，棚段位置座標記憶部２６に記憶する。棚段の領域２２２を構成する座標は，撮影日時情報，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報に対応づけて記憶させるとよい。この座標は，正置画像情報における陳列棚内での所定箇所（たとえば陳列棚の左上の頂点Ｃ１）を基準とした相対座標である。図９に，指定を受け付けた棚段の領域２２２の一例を示す。また同一の陳列棚については，Ｎ−１回目の正置画像情報の棚段の領域２２２を構成する座標を，Ｎ回目の棚段の領域２２２を構成する座標として特定する。
The shelf stage position specifying
棚段位置座標記憶部２６は，正置画像情報における棚段の領域２２２を構成する座標を記憶する。たとえば，棚段の領域２２２を構成する座標に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報とを対応づけて記憶する。
The shelf position coordinate
フェイス特定処理部２７は，正置画像情報における棚段ごとに，商品が置かれているフェイスを特定する。フェイス特定処理部２７は，初回のフェイスの特定処理と，二回目以降のフェイスの特定処理とに分かれる。
The face specifying
フェイス特定処理部２７における初回のフェイスの特定処理は，棚段位置座標記憶部２６に記憶する棚段位置の座標で構成される領域２２２（好ましくは矩形領域）の範囲内において，商品が置かれている領域（フェイス）を特定する。具体的には，商品と商品との間の影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，フェイスの領域を特定する。フェイスの特定処理としては，商品のカテゴリや商品の形態によって，任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイスに対して，担当者による修正入力を受け付けてもよい。さらに，担当者からフェイスの位置の入力を受け付けるのでもよい。特定したフェイスを構成する領域の座標は，フェイスフェイス座標記憶部２８に記憶させる。この際には，正置画像情報におけるフェイスの領域の座標に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報とを対応づけて記憶させる。またフェイスの領域を示す座標としては，矩形領域を特定するために必要な頂点の座標であり，たとえば４点，または右上と左下，左上と右下の２点の座標でよい。
In the first face identification process in the face
フェイス特定処理部２７における二回目以降のフェイスの特定処理は，同一の陳列棚の同一の棚段について，フェイス座標記憶部２８に記憶する前回（Ｎ−１回目）の正置画像情報で特定したフェイスの領域の座標を抽出し，その座標を今回（Ｎ回目）の正置画像情報で特定したフェイスの領域の座標とする。
The second and subsequent face identification processes in the face
フェイスの領域の座標は，棚段の位置の座標と同様に，正置画像情報における陳列棚内での所定箇所（たとえば陳列棚の左上の頂点Ｃ１）を基準とした相対座標である。 The coordinates of the face area are relative coordinates with respect to a predetermined position in the display shelf (for example, the upper left vertex C1 of the display shelf) in the normal image information, similar to the coordinates of the position of the shelf.
フェイス座標記憶部２８は，フェイスの領域の座標を記憶する。たとえば，正置画像情報におけるフェイスの領域の座標に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報とを対応づけて記憶する。
The face coordinate
商品識別情報特定処理部２９は，陳列棚の棚段ごとに，フェイスに表示されている商品の商品識別情報を特定する。商品識別情報としては，商品名のほか，その商品に対して割り当てられているＪＡＮコードなどがあるが，それに限定されない。商品を識別することができる情報であればいかなるものでもよい。
The product identification information
商品識別情報特定処理部２９は，初回の商品識別情報の特定処理と，二回目以降の商品識別情報の特定処理とに分かれる。
The product identification information specifying
初回の商品識別情報の特定処理は，フェイスごとに，フェイスの画像情報と，後述する標本画像情報記憶部３０に記憶する商品の標本画像情報とマッチングすることで，そのフェイスに表示されている商品の商品識別情報を特定する。具体的には，まず，処理対象となるフェイスの座標をフェイス座標記憶部２８から特定する。そしてその座標で構成される領域の画像情報と，標本画像情報記憶部３０に記憶する標本画像情報との類似性を判定し，その類似性がもっとも高い標本画像情報に対応する商品識別情報を，上記座標で構成されるフェイスに表示されている商品の商品識別情報として特定をする。
In the initial product identification information identification process, the product displayed on the face is displayed by matching the image information of the face with the sample image information of the product stored in the sample image
ここでフェイスの画像情報と標本画像情報との類似性を判定するには，以下のような処理を行う。まず，商品識別情報特定処理部２９における商品識別情報の特定処理の前までの処理において，正置画像情報におけるフェイスの領域の画像情報と，標本画像情報との方向が同じ（横転や倒立していない）となっており，また，それぞれの画像情報の大きさがおおよそ同じとなっている（所定範囲以上で画像情報の大きさが異なる場合には，類似性の判定の前にそれぞれの画像情報の大きさが所定範囲内となるようにサイズ合わせをしておく）。そして，フェイスの画像情報と，標本画像情報との類似性は，フェイスの画像情報の画像特徴量（たとえば局所特徴量）に基づく特徴点と，標本画像情報との画像特徴量（たとえば局所特徴量）に基づく特徴点を，それぞれ抽出する。そして，フェイスの画像情報の特徴点と，標本画像情報の特徴点とでもっとも類似性が高いペアを検出し，それぞれで対応する点の座標の差を求める。そして，差の平均値を求める。差の平均値は，フェイスの画像情報と，標本画像情報との全体の平均移動量を示している。そして，すべての特徴点のペアの座標差を平均の座標差と比較し，外れ度合いの大きなペアを除外する。そして，残った対応点の数で類似性を順位付ける。
Here, in order to determine the similarity between the face image information and the sample image information, the following processing is performed. First, in the processing before the product identification information identification processing in the product identification information
以上のような方法でフェイスの画像情報と，標本画像情報との類似性を算出できる。また，その精度を向上させるため，さらに，色ヒストグラム同士のＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒｓ Ｄｉｓｔａｎｃｅ）を求め，類似性の尺度としてもよい。これによって，撮影された画像情報の明度等の環境変化に比較的強い類似性の比較を行うことができ，高精度で特定をすることができる。なお，類似性の判定は，上述に限定をするものではない。特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する。 The similarity between the face image information and the sample image information can be calculated by the above method. Further, in order to improve the accuracy, the EMD (Earth Movers Distance) between the color histograms may be obtained and used as a measure of similarity. This makes it possible to compare similarities that are relatively strong against environmental changes such as the brightness of captured image information, and to identify with high accuracy. The determination of similarity is not limited to the above. The identified product identification information corresponds to the shooting date / time information, store information, image information identification information of the shooting image information, image identification information of the normal image information, and face identification information for identifying the face, and is associated with the product identification information storage unit. Store in 31.
商品識別情報特定処理部２９は，二回目以降の商品識別情報の特定処理を以下のように実行する。Ｎ回目の正置画像情報におけるフェイスの商品識別情報の特定処理は，まず処理対象となるフェイスのフェイス識別情報をフェイス座標記憶部２８から特定する。特定したフェイス識別情報をＸとする。そして，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，フェイス識別情報Ｘに対応する位置にあるＮ−１回目の正置画像情報における領域の画像情報とを比較する。類似性の判定については，色ヒストグラム同士のＥＭＤを求め，類似性の尺度とすることが好ましいが，それに限定するものではない。その類似性が一定の閾値以上であれば，Ｎ−１回目の正置画像情報におけるその領域のフェイスに対応する商品識別情報を商品識別情報記憶部３１から抽出し，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの商品識別情報とする。これによって，処理対象となるＮ回目の正置画像情報におけるフェイス識別情報Ｘの商品識別情報を特定できる。もし類似性が一定の閾値未満であれば，初回の場合と同様に，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，標本画像情報記憶部３０に記憶する標本画像情報とを比較して，類似性が所定の閾値以上で，かつ，もっとも類似性が高い商品識別情報を，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘのフェイスの商品識別情報として特定をする。
The product identification information specifying
なお，Ｎ−１回目の正置画像情報におけるフェイスの領域の画像情報との比較において，対応するフェイスの位置との比較のみならず，所定範囲のフェイスを比較対象として含めてもよい。たとえばＮ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と比較する場合，比較対象としては，Ｎ−１回目の正置画像情報におけるフェイス識別情報Ｘの領域のほか，その領域から所定範囲にあるフェイスの領域，たとえばその左右方向に一または複数離隔している位置にあるフェイス，上下の棚段に位置するフェイスの領域も含めてもよい。さらに，Ｎ−１回目の正置画像情報におけるフェイス識別情報Ｘの領域のほか，フェイス識別情報Ｘ−２，Ｘ−１，Ｘ，Ｘ＋１，Ｘ＋２のように，複数の隣接するフェイスの領域を含めてもよい。 In the comparison with the image information of the face area in the N-1th normal image information, not only the comparison with the position of the corresponding face but also the faces in a predetermined range may be included as the comparison target. For example, when comparing with the image information in the area of the face identification information X in the Nth normal image information, the comparison target is from the area of the face identification information X in the N-1th normal image information and from that area. The area of the face within a predetermined range, for example, the area of the face located one or more apart in the left-right direction thereof, and the area of the face located on the upper and lower shelves may be included. Further, in addition to the area of the face identification information X in the N-1th orthodox image information, the area of a plurality of adjacent faces such as the face identification information X-2, X-1, X, X + 1, X + 2 is included. You may.
この場合，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，Ｎ−１回目の正置画像情報における，比較対象となる範囲のフェイスの範囲の領域のそれぞれの画像情報とを比較し，もっとも類似性が高いＮ−１回目の正置画像情報のフェイス識別情報を特定する。なお，類似性は，類似性は一定の閾値以上であることを条件としてもよい。そして特定したＮ−１回目の正置画像情報のフェイス識別情報に対応する商品識別情報を商品識別情報記憶部３１から抽出し，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの商品識別情報とする。この処理を模式的に示すのが図１０である。図１０（ａ）は前回（Ｎ−１回目）の正置画像情報であり，図１０（ｂ）は今回（Ｎ回目）の正置画像情報である。そして，Ｎ回目の正置画像情報の棚段１の各フェイスの領域の画像情報と，Ｎ−１回目の正置画像情報の棚段１の各フェイスの領域の画像情報とをそれぞれ比較することで類似性を判定し，もっとも類似性が高いＮ−１回目の正置画像情報の棚段１のフェイスの商品識別情報を，Ｎ回目の正置画像情報の棚段１のフェイスの商品識別情報として特定をすることを示す。図１０では，Ｎ回目の正置画像情報のフェイスに対応する位置にあるＮ−１回目の正置画像情報のフェイスに加え，その左右２つずつのフェイスとの比較を行う場合を示している。なお同一棚段のみならず，上下の棚段のフェイス位置の画像情報との比較を行ってもよい。たとえば図１０の場合，Ｎ回目の正置画像情報の棚段２の中心のフェイス位置の商品識別情報を特定する際に，Ｎ−１回目の正置画像情報の棚段２の中心およびその左右２つずつのフェイスの領域の画像情報と比較するのみならず，Ｎ−１回目の正置画像情報の棚段１の中心およびその左右２つずつのフェイスの領域の画像情報，Ｎ−１回目の正置画像情報の棚段３の中心およびその左右２つずつのフェイスの領域の画像情報と類似性の比較を行ってもよい。
In this case, the image information in the area of the face identification information X in the Nth normal image information and the image information in the area of the face in the range to be compared in the N-1th normal image information. And identify the face identification information of the N-1th orthodox image information with the highest similarity. The similarity may be conditional on the similarity being equal to or higher than a certain threshold value. Then, the product identification information corresponding to the face identification information of the specified N-1th normal image information is extracted from the product identification
Ｎ−１回目の正置画像情報のフェイスの画像情報との比較の結果，類似性が閾値を充足しないなどによって商品識別情報を特定できなかった場合には，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，標本画像情報記憶部３０に記憶する標本画像情報とを比較して，類似性が所定の閾値以上で，かつ，もっとも類似性が高い商品識別情報を，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘのフェイスの商品識別情報として特定をする。この場合の類似性の判定処理は，初回の商品識別情報の特定処理と同様に行える。
As a result of comparison with the image information of the face of the N-1th normal image information, if the product identification information cannot be specified because the similarity does not satisfy the threshold, the face in the Nth normal image information The image information in the area of the identification information X is compared with the sample image information stored in the sample image
以上のようにして特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する。
The product identification information specified as described above is associated with the shooting date / time information, store information, image information identification information of the shooting image information, image identification information of the orthodox image information, and face identification information for identifying the face. It is stored in the product identification
標本画像情報記憶部３０は，正置画像情報に写っている陳列棚の棚段における各フェイスの商品がどの商品であるかを識別するための標本画像情報を記憶する。標本画像情報は，陳列棚に陳列される可能性のある商品を，上下，左右，斜めなど複数の角度から撮影をした画像情報である。図２５に標本画像情報記憶部３０に記憶される標本画像情報の一例を示す。図２５では，標本画像情報として，缶ビールをさまざまな角度から撮影をした場合を示しているが，缶ビールに限られない。標本画像情報記憶部３０は，標本画像情報と，商品識別情報とを対応付けて記憶する。
The sample image
なお，標本画像情報記憶部３０には，標本画像情報とともに，または標本画像情報に代えて，標本画像情報から抽出された，類似性の算出に必要となる情報，たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本画像情報には，類似性の算出に必要となる情報も含むとする。この場合，商品識別情報特定処理部２９は，フェイスの領域の画像情報と，標本画像情報とのマッチング処理を行う際に，標本画像情報について毎回，画像特徴量を算出せずともよくなり，計算時間を短縮することができる。
In the sample image
商品識別情報記憶部３１は，陳列棚の棚段の各フェイスに表示されている商品の商品識別情報を記憶する。たとえば，商品識別情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する。
The product identification
棚段画像マッチング処理部３２は，前回（Ｎ−１回目）の正置画像情報における棚段の領域２２２の画像情報と，今回（Ｎ回目）の正置画像情報における棚段の領域２２２の画像情報とに基づいて，その類似性が高ければその棚段における各フェイスの商品識別情報は同一と判定する。この類似性の判定処理は，上述のように，前回（Ｎ−１回目）の正置画像情報における棚段の領域２２２の画像情報の画像特徴量と，今回（Ｎ回目）の正置画像情報における棚段の領域２２２の画像情報とに基づく類似性の判定でもよいし，色ヒストグラム同士のＥＭＤを用いたものであってもよい。また，それらに限定するものではない。そして，商品識別情報特定処理部２９におけるフェイス単位ごとの特定処理ではなく，商品識別情報特定処理部２９に，Ｎ回目の正置画像情報におけるその棚段における各フェイスの商品識別情報を，Ｎ−１回目の同一の棚段における各フェイスの商品識別情報と同一として，商品識別情報記憶部３１に記憶させる。これによって，あまり商品の動きがない棚段や逆にきわめて短いサイクルで管理される棚段など，変化がほとんど生じない棚段についての処理を省略することができる。なお，棚段画像マッチング処理部３２による処理は設けなくてもよい。
The shelf image matching
つぎに，本発明の商品特定システム１を用いた処理プロセスの一例を図３および図４のフローチャートを用いて説明する。 Next, an example of the processing process using the product identification system 1 of the present invention will be described with reference to the flowcharts of FIGS. 3 and 4.
まず初回の処理プロセスを図３のフローチャートを用いて説明する。 First, the initial processing process will be described with reference to the flowchart of FIG.
店舗の陳列棚が撮影された撮影画像情報は，撮影画像情報入力端末３から入力され，管理端末２の撮影画像情報入力受付処理部２０でその入力を受け付ける（Ｓ１００）。図１１に，撮影画像情報の一例を示す。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。そして，撮影画像情報入力受付処理部２０は，入力を受け付けた撮影画像情報，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報を対応づけて撮影画像情報記憶部２１に記憶させる。
The photographed image information photographed on the display shelf of the store is input from the photographed image information input terminal 3, and the input is accepted by the photographed image information input
管理端末２において所定の操作入力を受け付けると，台形補正処理部２２は撮影画像情報記憶部２１に記憶する撮影画像情報を抽出し，台形補正処理を行うための頂点である棚位置（陳列棚の位置）の４点Ｃ（Ｃ１乃至Ｃ４）の入力を受け付ける（Ｓ１１０）。図１１の撮影画像情報に対して，棚位置Ｃ１乃至Ｃ４の入力を受け付けた状態の一例を図１２に示す。入力を受け付けた棚位置の座標Ｃ１乃至Ｃ４は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報に対応づけて頂点座標記憶部２３に記憶させる。台形補正処理部２２は，入力を受け付けた棚位置（頂点Ｃ１乃至Ｃ４）の座標に基づいて，撮影画像情報に対する台形補正処理を実行し正置化して正置画像情報を生成する（Ｓ１２０）。生成した正置画像情報は，台形補正処理前の撮影画像情報に対応する撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報に対応づけて正置画像情報記憶部２４に記憶させる。図１１の撮影画像情報に台形補正処理を実行して正置化した正置画像情報を図１３に示す。
When the management terminal 2 receives a predetermined operation input, the trapezoidal
棚段位置特定処理部２５は，正置画像情報記憶部２４に記憶する正置画像情報を抽出し，棚段位置の指定の入力を受け付ける（Ｓ１３０）。指定を受け付けた棚段位置Ｔ（図９における領域２２２）の座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報に対応づけて棚段位置座標記憶部２６に記憶させる。指定を受け付けた棚段位置Ｔの一例を図１４に示す。図１４では，棚段１の棚段位置を座標Ｔ１１乃至Ｔ１４，棚段２の棚段位置を座標Ｔ２１乃至Ｔ２４，棚段３の棚段位置を座標Ｔ３１乃至Ｔ３４で指定を受け付け，その入力を受け付ける。各棚段は，それぞれの４点の座標で構成される矩形領域２２２となる。なお，棚段位置の座標は４点を記憶せずとも，Ｔ１１，Ｔ１４など矩形領域２２２を特定可能な２点であってもよい。
The shelf stage position specifying
そして，フェイス特定処理部２７は，Ｓ１３０で入力を受け付けた棚段位置に基づいて，棚段ごとに，フェイスを特定する処理を実行する（Ｓ１４０）。具体的には，棚段１について，座標Ｔ１１乃至Ｔ１４で構成される矩形領域２２２の範囲内において，商品と商品との間の影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，フェイスを特定する。また，棚段２について座標Ｔ２１乃至Ｔ２４で構成される矩形領域２２２の範囲内において，および棚段３について座標Ｔ３１乃至Ｔ３４で構成される矩形領域２２２の範囲内において，棚段１と同様に，フェイスを特定する。フェイスを特定した正置画像情報の一例を図１５に示す。特定したフェイスの座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイスを識別するためのフェイス識別情報と対応付けてフェイス座標記憶部２８に記憶させる。たとえば図１５における棚段１の左端のフェイスの座標（Ｆ１１乃至Ｆ１４）を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応付けて記憶させる。なお，フェイスの座標は４点を記憶せずとも，Ｆ１１，Ｆ１４など矩形領域を特定可能な２点であってもよい。
Then, the face specifying
以上のように正置画像情報における各棚段の各フェイスを特定すると，商品識別情報特定処理部２９は，フェイスごとに，標本画像情報記憶部３０に記憶する標本画像情報とマッチング処理を実行し，そのフェイスに表示されている商品の商品識別情報を特定する（Ｓ１５０）。すなわち，図１５における棚段１の左端のフェイスの場合，正置画像情報の座標Ｆ１１乃至Ｆ１４の矩形領域（この領域のフェイスのフェイス識別情報をＸとする）における画像情報と，標本画像情報記憶部３０に記憶する各標本画像情報とから，それぞれの画像特徴量を算出し，特徴点のペアを求めることで，類似性を判定する。そして，もっとも類似性の高い標本画像情報を特定し，そのときの類似性があらかじめ定められた閾値以上であれば，その標本画像情報に対応する商品識別情報を標本画像情報記憶部３０に基づいて特定する。そして，特定した商品識別情報を，そのフェイス識別情報Ｘのフェイスに表示されている商品の商品識別情報とする。そして商品識別情報特定処理部２９は，特定した商品識別情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する（Ｓ１６０）。
When each face of each shelf in the orthodox image information is specified as described above, the product identification information
なお，すべてのフェイスの商品識別情報を特定できるとは限らない。そこで，特定できていないフェイスについては，商品識別情報の入力を受け付け，入力を受け付けた商品識別情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する。また，特定した商品識別情報の修正処理についても同様に，入力を受け付けてもよい。
Not all face product identification information can be specified. Therefore, for faces that have not been identified, the input of product identification information is accepted, and the product identification information for which the input is accepted is used as the shooting date and time, store identification information, image information identification information of shot image information, and image information of orthodox image information. It is stored in the product identification
以上のような処理を行うことで，撮影画像情報（図１１）に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。 By performing the above processing, it is possible to specify the product identification information of the product displayed on the shelf of the display shelf shown in the photographed image information (FIG. 11).
つぎに，所定期間（たとえば一週間）経過後に，同一の陳列棚について，同じような領域を同じような角度で撮影した撮影画像情報について，本発明の処理プロセスを実行する場合を図４のフローチャートを用いて説明する。 Next, the flowchart of FIG. 4 shows a case where the processing process of the present invention is executed for the photographed image information obtained by photographing the same area on the same display shelf at the same angle after a predetermined period (for example, one week) has elapsed. Will be described using.
店舗の陳列棚が撮影された撮影画像情報は，撮影画像情報入力端末３から入力され，管理端末２の撮影画像情報入力受付処理部２０でその入力を受け付ける（Ｓ２００）。図１６に，撮影画像情報の一例を示す。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。そして，撮影画像情報入力受付処理部２０は，入力を受け付けた撮影画像情報，撮影日時，店舗識別情報，画像情報識別情報を対応づけて撮影画像情報記憶部２１に記憶させる。
The photographed image information photographed on the display shelf of the store is input from the photographed image information input terminal 3, and the input is accepted by the photographed image information input
管理端末２において所定の操作入力を受け付けると，台形補正処理部２２は撮影画像情報記憶部２１に記憶する撮影画像情報を抽出し，台形補正処理を実行するための，棚位置の頂点Ｄ（Ｄ１乃至Ｄ４）を特定する処理を実行する（Ｓ２１０）。
When the management terminal 2 receives a predetermined operation input, the trapezoidal
今回（Ｎ回目）の撮影画像情報（図１６）に対応する同じまたはほぼ同じ領域を撮影した前回（Ｎ−１回目）の撮影画像情報の頂点座標を頂点座標記憶部２３から特定する。つまり，前回の撮影画像情報が図１１の場合，その頂点座標Ｃ１乃至Ｃ４を頂点座標記憶部２３から特定する。前回の撮影画像情報の頂点座標は，撮影日時，店舗識別情報，撮影画像情報の画像識別情報などに基づいて特定をすればよい。
The vertex coordinates of the previous (N-1st) captured image information in which the same or substantially the same area corresponding to the captured image information (FIG. 16) of this time (Nth) is captured are specified from the vertex coordinate
台形補正処理部２２は，撮影画像情報記憶部２１からＮ−１回目の撮影画像情報（図１１）を抽出し，それぞれの頂点Ｃ１乃至Ｃ４について，頂点を一つずつ含む所定の大きさの矩形領域を特徴量採取領域２２０として，Ｎ−１回目の撮影画像情報に設定する。Ｎ−１回目の撮影画像情報に特徴量採取領域２２０を設定した状態を図１７に示す。
The keystone
また，台形補正処理部２２は，撮影画像情報記憶部２１からＮ回目の撮影画像情報（図１６）を抽出し，Ｎ−１回目の特徴量採取領域２２０よりも広い範囲の特徴量採取領域２２１を，Ｎ回目の撮影画像情報に設定する。Ｎ回目の撮影画像情報に特徴量採取領域２２１を設定した状態を図１８に示す。Ｎ回目の撮影画像情報におけるそれぞれの特徴量採取領域２２１は，Ｎ−１回目の特徴量採取領域２２０を一つずつ含む。
Further, the trapezoidal
そして台形補正処理部２２は，Ｎ−１回目の撮影画像情報に対して設定した各特徴量採取領域２２０において局所特徴量を採取し，局所特徴量による特徴点と座標のセットとを記憶する。また，Ｎ回目の撮影画像情報に対して設定した各特徴量採取領域２２１において局所特徴量を採取し，局所特徴量による特徴点と座標のセットとを記憶する。
Then, the keystone
台形補正処理部２２は，Ｎ−１回目の撮影画像情報の特徴量採取領域２２０での各特徴点の各局所特徴量にもっとも近いＮ回目の撮影画像情報の特徴量採取領域２２１での局所特徴量の特徴点を特定し，それらをペアとなる局所特徴量の特徴点として，それぞれの座標を対応付ける。図７に示すのがＮ−１回目のＮ−１回目の特徴量採取領域２２０と，Ｎ回目の特徴量採取領域２２１とのペアの関係である。
The trapezoidal
そして，Ｎ−１回目の特徴量採取領域２２０における局所特徴量による特徴点の点群をＡ，Ｎ回目の特徴量採取領域２２１における局所特徴量による特徴点の点群をＢ，Ｎ−１回目の台形補正処理に用いた頂点をＣ（Ｃ１乃至Ｃ４）とすると，台形補正処理部２２は，点群Ａと点群Ｂの座標とに基づいて，点群Ａを点群Ｂに射影する関数Ｆ（アフィン変換）を求める。
Then, the point cloud of the feature point by the local feature amount in the N-1st feature
そして台形補正処理部２２は，Ｎ−１回目の台形補正処理で用いた頂点Ｃ（Ｃ１乃至Ｃ４）の座標を，求めた関数Ｆに基づいて射影し，Ｎ回目の台形補正処理のための頂点Ｄ（Ｄ１乃至Ｄ４）の座標として特定する。
Then, the keystone
以上の処理を各特徴量採取領域２２０，２２１に対して行うことで，Ｎ回目の台形補正処理のための４頂点Ｄ（Ｄ１乃至Ｄ４）が自動的に特定できる。特定したＮ回目の頂点Ｄ（Ｄ１乃至Ｄ４）の座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報に対応づけて頂点座標記憶部２３に記憶させる。特定された頂点Ｄ１乃至Ｄ４を示すのが図１９である。
By performing the above processing for each feature
以上のようにして，Ｎ回目の撮影画像情報に対する台形補正処理のための棚位置の頂点Ｄ（Ｄ１乃至Ｄ４）を特定すると，台形補正処理部２２は，頂点Ｄ（Ｄ１乃至Ｄ４）に基づいて，Ｎ回目の撮影画像情報に対して台形補正処理を実行する（Ｓ２２０）。そしてＮ回目の撮影画像情報を正置化した正置画像情報を，台形補正処理前の撮影画像情報に対応する撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報に対応づけて正置画像情報記憶部２４に記憶させる。図１６の撮影画像情報に対して，特定した頂点Ｄ（Ｄ１乃至Ｄ４）を用いて台形補正処理を実行して正置化した正置画像情報を図２０に示す。
As described above, when the vertex D (D1 to D4) of the shelf position for the keystone correction processing for the Nth captured image information is specified, the keystone
そして棚段位置特定処理部２５は，Ｎ−１回目の正置画像情報に対応する棚段位置の座標を，棚段位置座標記憶部２６から抽出し，それを，Ｎ回目の正置画像情報（図２０）に写っている陳列棚の棚段位置の座標とする。すなわち，Ｎ−１回目の正置画像情報に対応する棚段１の座標Ｔ１１乃至Ｔ１４，棚段２の座標Ｔ２１乃至Ｔ２４，棚段３の座標Ｔ３１乃至Ｔ３４を抽出し，その座標を，Ｎ回目の正置画像情報の陳列棚の棚段１，棚段２，棚段３の座標として，それぞれの棚段位置を特定する（Ｓ２３０）。Ｎ回目の正置画像情報（図２０）に写っている陳列棚の各棚段の位置を特定した状態を図２１に示す。特定した棚段位置の座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報に対応付けて棚段位置座標記憶部２６に記憶させる。
Then, the shelf stage position specifying
以上のようにして特定した棚段位置に基づいて，フェイス特定処理部２７は，Ｎ−１回目の各棚段における各フェイスの座標Ｆおよびフェイス識別情報をフェイス座標記憶部２８から抽出し，Ｎ回目の各棚段におけるフェイスの座標Ｆおよびフェイス識別情報として特定する（Ｓ２４０）。特定したフェイスの座標およびフェイス識別情報は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報に対応付けて記憶させる。これによって，Ｎ回目の正置画像情報における各棚段についても，Ｎ−１回目の正置画像情報と同様に，それぞれのフェイスおよびその座標が特定できる。これを模式的に示すのが図２２である。
Based on the shelf stage position specified as described above, the face
そして棚段画像マッチング処理部３２は，Ｎ回目の正置画像情報の棚段の画像情報と，Ｎ−１回目の正置画像情報の棚段の画像情報との類似性を判定する（Ｓ２５０）。すなわち，Ｎ回目の正置画像情報の棚段１の画像情報（座標Ｔ１１乃至Ｔ１４の領域の画像情報）と，Ｎ−１回目の正置画像情報の棚段１の画像情報（座標Ｔ１１乃至Ｔ１４の領域の画像情報）とを，色ヒストグラム同士のＥＭＤを求め，類似性を判定する。
Then, the shelf image matching
もしＮ回目の正置画像情報の棚段１の画像情報と，Ｎ−１回目の正置画像情報の棚段１の画像情報とが類似と判定できた場合（Ｓ２６０），商品識別情報特定処理部２９は，Ｎ−１回目の正置画像情報の棚段１のそれぞれのフェイスの商品識別情報を商品識別情報特定処理部２９から抽出し，Ｎ回目の正置画像情報の棚段１のそれぞれ対応する位置にあるフェイスの商品識別情報として特定する（Ｓ２７０）。そして商品識別情報特定処理部２９は，特定したフェイスの商品識別情報を，商品識別情報記憶部３１に記憶させる。
If it can be determined that the image information of the shelf 1 of the Nth normal image information and the image information of the shelf 1 of the N-1th normal image information are similar (S260), the product identification information identification process is performed.
一方，棚段画像マッチング処理部３２におけるＮ回目の正置画像情報の棚段の画像情報と，Ｎ−１回目の正置画像情報の棚段の画像情報との類似性の判定の結果，類似と判定できなかった場合（Ｓ２６０），商品識別情報記憶部３１は，その棚段におけるフェイス単位での商品識別情報の特定処理を実行する（Ｓ２８０）。
On the other hand, as a result of determining the similarity between the image information of the shelf of the Nth normal image information and the image information of the shelf of the N-1th normal image information in the shelf image matching
すなわち，Ｎ回目の正置画像情報におけるフェイスの画像情報と，そのフェイスに対応するＮ−１回目の正置画像情報におけるフェイスおよびそのフェイスから所定範囲のフェイスの画像情報とを比較し，もっとも類似性が高いＮ−１回目の正置画像情報のフェイスを特定する。そしてその類似性が一定の閾値以上であれば，Ｎ回目の正置画像情報におけるフェイスの商品識別情報を，当該特定したＮ−１回目の正置画像情報におけるフェイスに対応する商品識別情報として特定する。この処理を模式的に示すのが図２３および図２４である。図２３は，Ｎ回目の正置画像情報におけるフェイスの画像情報と，そのフェイスに対応するＮ−１回目の正置画像情報におけるフェイスの画像情報との類似性の比較をすることで，商品識別情報を特定する処理を示している。図２４は，Ｎ回目の正置画像情報におけるフェイスの画像情報と，そのフェイスに対応するＮ−１回目の正置画像情報におけるフェイスおよび左右１個ずつのフェイスの画像情報との類似性の比較をすることで，商品識別情報を特定する処理を示している。なお，図２４に示すように，Ｎ−１回目の正置画像情報における同一の棚段で対応するフェイスのみならず，その左右に所定数分のフェイス，その棚段の上下に位置する棚段におけるフェイスを類似性の比較対象としてもよい。 That is, the image information of the face in the Nth normal image information is compared with the image information of the face in the N-1th normal image information corresponding to the face and the face in a predetermined range from the face, and the most similar. Identify the face of the N-1th orthodox image information with high character. If the similarity is equal to or higher than a certain threshold value, the product identification information of the face in the Nth normal image information is specified as the product identification information corresponding to the face in the specified N-1th normal image information. do. 23 and 24 show this process schematically. FIG. 23 shows product identification by comparing the similarity between the image information of the face in the Nth normal image information and the image information of the face in the N-1th normal image information corresponding to the face. Shows the process of specifying information. FIG. 24 shows a comparison of the similarity between the image information of the face in the Nth normal image information and the image information of the face and the left and right faces in the N-1th normal image information corresponding to the face. By doing so, the process of specifying the product identification information is shown. As shown in FIG. 24, not only the faces corresponding to the same shelf in the N-1th normal image information, but also a predetermined number of faces on the left and right of the face, and the shelves located above and below the shelf. The face in the above may be used as a comparison target for similarity.
もしもっとも類似性が高いＮ−１回目の正置画像情報のフェイスについて，その類似性が一定の閾値を充足していなければ，そのフェイスの商品識別情報を未確定とする。そして，商品識別情報特定処理部２９は，そのフェイスの領域の画像情報と，標本画像情報記憶部３０に記憶する各標本画像情報と画像マッチング処理を実行することで，商品識別情報を特定する（Ｓ２９０）。
If the face of the N-1th orthodox image information having the highest similarity does not satisfy a certain threshold value, the product identification information of the face is undetermined. Then, the product identification information specifying
以上のようにして特定したフェイスごとの商品識別情報を，商品識別情報特定処理部２９は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する（Ｓ３００）。
The product identification information
なお，すべてのフェイスの商品識別情報を特定できるとは限らない。そこで，特定できていないフェイスについては，商品識別情報の入力を受け付け，入力を受け付けた商品識別情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する。また，特定した商品識別情報の修正処理についても同様に，入力を受け付けてもよい。
Not all face product identification information can be specified. Therefore, for faces that have not been identified, the input of product identification information is accepted, and the product identification information for which the input is accepted is used as the shooting date and time, store identification information, image information identification information of shot image information, and image information of orthodox image information. It is stored in the product identification
以上のような処理を行うことで，撮影画像情報（図１６）に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。また，二回目以降の撮影画像情報については，台形補正処理のための頂点を自動的に特定できるので，担当者による作業を軽減することができる。また，フェイスの画像情報を，標本画像情報と比較するのではなく，前回の同一またはそこから所定範囲の位置にあるフェイスの画像情報と比較することで，画像マッチング処理を減らすことができるとともに，商品の特定精度を向上させることができる。 By performing the above processing, it is possible to specify the product identification information of the product displayed on the shelf of the display shelf shown in the photographed image information (FIG. 16). In addition, for the second and subsequent shot image information, the vertices for keystone correction processing can be automatically specified, so the work by the person in charge can be reduced. Further, by comparing the image information of the face with the image information of the face in the same position as the previous time or at a position within a predetermined range from the previous time, instead of comparing with the sample image information, the image matching process can be reduced and the image matching process can be reduced. It is possible to improve the identification accuracy of the product.
なお，Ｎ回目の撮影画像情報に対する処理については，Ｎ−１回目の撮影画像情報または正置画像情報での処理結果を用いることが好ましいが，任意のタイミングで，初回の場合と同様の処理を実行することで，自動処理によるデータのズレを元に修正することができる。 For the processing of the Nth shot image information, it is preferable to use the processing result of the N-1th shot image information or the orthostatic image information, but at any timing, the same processing as in the first time is performed. By executing it, it is possible to correct it based on the data deviation due to automatic processing.
本発明の商品特定システム１を用いることによって，陳列棚に陳列されている商品を，従来よりも高精度に特定できる一方，処理負荷を少なくすることを可能とする。 By using the product identification system 1 of the present invention, it is possible to identify the products displayed on the display shelf with higher accuracy than before, while reducing the processing load.
１：商品特定システム
２：管理端末
３：撮影画像情報入力端末
２０：撮影画像情報入力受付処理部
２１：撮影画像情報記憶部
２２：台形補正処理部
２３：頂点座標記憶部
２４：正置画像情報記憶部
２５：棚段位置特定処理部
２６：棚段位置座標記憶部
２７：フェイス特定処理部
２８：フェイス座標記憶部
２９：商品識別情報特定処理部
３０：標本画像情報記憶部
３１：商品識別情報記憶部
３２：棚段画像マッチング処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２２０：Ｎ−１回目の撮影画像情報における特徴量採取領域
２２１：Ｎ回目の撮影画像情報における特徴量採取領域
２２２：棚段の領域
Ａ：Ｎ−１回目の撮影画像情報における局所特徴量の点群
Ｂ：Ｎ回目の撮影画像情報における局所特徴量の点群
Ｃ：Ｎ−１回目の撮影画像情報における棚位置
Ｄ：Ｎ回目の撮影画像情報における棚位置
Ｔ：棚段位置
1: Product identification system 2: Management terminal 3: Photographed image information input terminal 20: Photographed image information input reception processing unit 21: Photographed image information storage unit 22: Trapezoidal correction processing unit 23: Vertex coordinate storage unit 24: Positive image information Storage unit 25: Shelf stage position identification processing unit 26: Shelf stage position coordinate storage unit 27: Face identification processing unit 28: Face coordinate storage unit 29: Product identification information identification processing unit 30: Specimen image information storage unit 31: Product identification information Storage unit 32: Shelf stage image matching processing unit 70: Arithmetic device 71: Storage device 72: Display device 73: Input device 74: Communication device 220: N-1st feature amount collection area in image information 221: Nth time Feature amount collection area in captured image information 222: Shelf stage area A: N-1 point group of local feature amount in captured image information B: Point group of local feature amount in Nth captured image information C: N- Shelf position in the first shot image information D: Shelf position in the Nth shot image information T: Shelf stage position
Claims (5)
前記商品特定システムは，
前記陳列棚を撮影した画像情報から，商品が置かれている領域であるフェイスを特定するフェイス特定処理部と，
前記画像情報における，前記フェイスに表示されている商品の商品識別情報を特定し，前記フェイスに対応づけて商品識別情報記憶部に記憶させる商品識別情報特定処理部，を有しており，
前記商品識別情報特定処理部は，
第２の画像情報における処理対象とするフェイスの画像情報と，そのフェイスに対応する第１の画像情報におけるフェイスから所定範囲にあるフェイスの画像情報とを比較し，類似性が所定条件を充足している第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報における前記処理対象とするフェイスにある商品の商品識別情報として特定する，
ことを特徴とする商品特定システム。 It is a product identification system for identifying the products displayed on the display shelves.
The product identification system is
From the image information of the display shelf, the face identification processing unit that identifies the face, which is the area where the product is placed, and the face identification processing unit.
Wherein the image information to identify the product identification information of the commodity is displayed on the face, it has a product identification information identifying unit to be stored in the product identification information storage unit in association with the face,
The product identification information identification processing unit is
The image information of the face to be processed in the second image information is compared with the image information of the face in the first image information corresponding to the face within a predetermined range from the face , and the similarity satisfies the predetermined condition. The product identification information of the product on the face in the first image information is specified as the product identification information of the product on the face to be processed in the second image information.
A product identification system characterized by that.
第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する第１の画像情報におけるフェイスから所定範囲にあるフェイスの画像情報とを比較し，もっとも類似性が高くかつ一定の閾値以上である第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報におけるフェイスにある商品の商品識別情報として特定する，
ことを特徴とする請求項１に記載の商品特定システム。 The product identification information identification processing unit is
The image information of the face in the second image information is compared with the image information of the face in the first image information corresponding to the face within a predetermined range from the face , and the similarity is the highest and is equal to or higher than a certain threshold. The product identification information of the product on the face in the first image information is specified as the product identification information of the product on the face in the second image information.
The product identification system according to claim 1.
商品の標本画像情報を記憶する標本画像情報記憶部，を有しており，
前記商品識別情報特定処理部は，さらに，
前記第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記第１の画像情報におけるフェイスから所定範囲にあるフェイスの画像情報との比較の結果，類似性が所定条件を充足していない場合には，前記第２の画像情報におけるフェイスの画像情報と，前記標本画像情報記憶部に記憶する標本画像情報とを比較することで，前記第２の画像情報におけるフェイスにある商品の商品識別情報を特定する，
ことを特徴とする請求項１または請求項２に記載の商品特定システム。 The product identification system further
It has a sample image information storage unit, which stores sample image information of products.
The product identification information identification processing unit further
As a result of comparison between the image information of the face in the second image information and the image information of the face in the predetermined range from the face in the first image information corresponding to the face, the similarity satisfies the predetermined condition. If not, the product of the product on the face in the second image information is obtained by comparing the image information of the face in the second image information with the sample image information stored in the sample image information storage unit. Identify the identification information,
The product identification system according to claim 1 or 2, characterized in that.
画像情報に対する棚段位置の特定を行う棚段位置特定処理部，を有しており，
前記棚段位置特定処理部は，
前記第２の画像情報における棚段の位置を，前記第１の画像情報における棚段の位置に基づいて特定する，
ことを特徴とする請求項１から請求項３のいずれかに記載の商品特定システム。 The product identification system further
It has a shelf position identification processing unit that specifies the shelf position for image information.
The shelf stage position specifying processing unit is
The position of the shelf in the second image information is specified based on the position of the shelf in the first image information.
The product identification system according to any one of claims 1 to 3, wherein the product identification system is characterized in that.
陳列棚を撮影した画像情報から，商品が置かれている領域であるフェイスを特定するフェイス特定処理部，
前記画像情報における，商品が置かれている領域であるフェイスに表示されている商品の商品識別情報を特定し，前記フェイスに対応づけて所定の記憶領域に記憶させる商品識別情報特定処理部，として機能させるための商品特定プログラムであって，
前記商品識別情報特定処理部は，
第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する第１の画像情報におけるフェイスから所定範囲にあるフェイスの画像情報とを比較し，類似性が所定条件を充足している第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報におけるフェイスにある商品の商品識別情報として特定する，
ことを特徴とする商品特定プログラム。 Computer,
Face identification processing unit that identifies the face, which is the area where the product is placed, from the image information of the display shelf.
As a product identification information specifying processing unit that identifies the product identification information of the product displayed on the face, which is the area where the product is placed, in the image information, and stores the product identification information in a predetermined storage area in association with the face. It is a product identification program to make it work.
The product identification information identification processing unit is
The first image information of the face in the second image information is compared with the image information of the face in the first image information corresponding to the face within a predetermined range from the face , and the similarity satisfies the predetermined condition. The product identification information of the product on the face in the image information of the above is specified as the product identification information of the product on the face in the second image information.
A product identification program characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020068783A JP6979653B2 (en) | 2018-08-02 | 2020-04-07 | Product identification system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018145794A JP6737446B2 (en) | 2018-08-02 | 2018-08-02 | Product identification system |
| JP2020068783A JP6979653B2 (en) | 2018-08-02 | 2020-04-07 | Product identification system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018145794A Division JP6737446B2 (en) | 2018-08-02 | 2018-08-02 | Product identification system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020115380A JP2020115380A (en) | 2020-07-30 |
| JP6979653B2 true JP6979653B2 (en) | 2021-12-15 |
Family
ID=78870787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020068783A Active JP6979653B2 (en) | 2018-08-02 | 2020-04-07 | Product identification system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6979653B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5561524B2 (en) * | 2010-03-19 | 2014-07-30 | ソニー株式会社 | Image processing apparatus and method, and program |
| JP2014178739A (en) * | 2013-03-13 | 2014-09-25 | Sony Corp | Image processor and image processing method and program |
| JP6705075B2 (en) * | 2014-10-01 | 2020-06-03 | 株式会社マーケットヴィジョン | Product display information collection system |
-
2020
- 2020-04-07 JP JP2020068783A patent/JP6979653B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020115380A (en) | 2020-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11120254B2 (en) | Methods and apparatuses for determining hand three-dimensional data | |
| JP6440043B1 (en) | Product identification system | |
| WO2018072483A1 (en) | Image segmentation method, image segmentation system and storage medium, and device comprising same | |
| WO2019042419A1 (en) | Image tracking point acquisition method and device, and storage medium | |
| JP6831951B2 (en) | Image recognition system | |
| US10291838B2 (en) | Focusing point determining method and apparatus | |
| CN108573471B (en) | Image processing apparatus, image processing method, and recording medium | |
| CN110505397B (en) | Camera selection method, device and computer storage medium | |
| JP6746123B2 (en) | Image recognition system | |
| JP6229554B2 (en) | Detection apparatus and detection method | |
| JP6979653B2 (en) | Product identification system | |
| CN117253022A (en) | Object identification method, device and inspection equipment | |
| JP6536707B1 (en) | Image recognition system | |
| JP2018036901A (en) | Image processor, image processing method and image processing program | |
| JP2003022442A (en) | Method and device for object detection and position measurement, execution program for the same method, and its recording medium | |
| JP6737446B2 (en) | Product identification system | |
| JP6781996B1 (en) | Image correction processing system | |
| JP6936529B1 (en) | Verification system | |
| JP2004240909A (en) | Image processor and image processing method | |
| CN114170576A (en) | Method and device for detecting repeated images | |
| CN111767757B (en) | Identity information determining method and device | |
| JP2022185872A (en) | Image processing device, image processing method and imaging apparatus | |
| JP6717769B2 (en) | Information processing device and program | |
| JP2016167126A (en) | Information terminal device | |
| JP2019160327A (en) | Image recognition system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200407 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210630 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211104 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6979653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |