JP6890849B2 - Information processing system - Google Patents
Information processing system Download PDFInfo
- Publication number
- JP6890849B2 JP6890849B2 JP2019203567A JP2019203567A JP6890849B2 JP 6890849 B2 JP6890849 B2 JP 6890849B2 JP 2019203567 A JP2019203567 A JP 2019203567A JP 2019203567 A JP2019203567 A JP 2019203567A JP 6890849 B2 JP6890849 B2 JP 6890849B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- depth
- processing unit
- image
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Display Racks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本発明は，撮影した画像情報において領域を特定するための情報処理システムに関する。 The present invention relates to an information processing system for specifying an area in captured image information.
小売業界においては，商品の陳列状況が商品の販売に影響することが知られている。そのため，商品の製造会社，販売会社としては，自社または他社のどのような商品が店舗に陳列されているのかを把握することで，自社商品の開発戦略，販売戦略につなげることができる。 In the retail industry, it is known that the display status of products affects the sales of products. Therefore, as a product manufacturing company or sales company, it is possible to connect to the development strategy and sales strategy of the company's products by grasping what kind of products of the company or other companies are displayed in the store.
一方，その実現のためには，店頭に陳列されている商品の正確な特定が重要である。そこで，店舗の陳列棚を撮影し，その画像情報から陳列されている商品を，人間が手作業で特定をすることが考えられる。この場合，ほぼ正確に商品を特定することができる。しかし，商品の陳列状況を継続的に把握するためには，一定期間ごとにその陳列状況を把握しなければならないが，店舗の陳列棚を撮影した画像情報から毎回，人間が商品を特定するのは負担が大きく，また非効率である。 On the other hand, in order to realize this, it is important to accurately identify the products displayed in stores. Therefore, it is conceivable that a person manually identifies the products displayed from the image information of the display shelves of the store. In this case, the product can be identified almost accurately. However, in order to continuously grasp the display status of products, it is necessary to grasp the display status at regular intervals, but humans identify the products every time from the image information taken of the display shelves of the store. Is burdensome and inefficient.
そこで店舗の陳列棚を撮影した画像情報から，そこに陳列されている商品や商品タグを自動的に特定し，陳列している商品に関する情報を把握することが求められる。たとえば商品ごとの標本画像をもとに，店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として，たとえば，下記特許文献１乃至特許文献３に示すような技術を用いて，商品の陳列状況を管理するシステムが存在する。
Therefore, it is required to automatically identify the products and product tags displayed there from the image information obtained by photographing the display shelves of the store, and to grasp the information about the products displayed there. For example, there is a method of using image recognition technology for an image of a store display shelf based on a sample image of each product. As these conventional techniques, for example, there is a system for managing the display status of products by using the techniques shown in
特許文献１の発明は，商品をどの陳列棚に陳列すべきかの知識がない者であっても，商品の陳列ができるように支援するシステムである。そのため，実際に陳列されている商品の情報を把握することはできない。また特許文献２は，商品の陳列を支援する棚割支援システムにおいて，商品画像の入力を支援するシステムである。しかし特許文献２のシステムでは，棚割支援システムを利用する際の商品画像の入力を支援するのみであって，このシステムを用いたとしても，実際に陳列されている商品の情報を把握することはできない。
The invention of
特許文献３は，陳列棚に空き空間がある場合に，その空き空間に陳列すべき商品を特定したり，陳列棚に陳列すべき商品を置き間違えた場合にそれを通知する発明である。この発明でも，商品と，陳列棚に陳列されている商品との画像マッチング処理を行って，陳列棚に陳列されている商品を特定しているが，認識精度が低いのが実情である。
陳列棚を撮影した画像に対して，商品の標本画像をもとに画像認識技術を用いる場合，標本画像と，陳列棚を撮影した画像における商品の陳列部分の領域との画像特徴量同士の類似性を利用して商品を認識する。商品の陳列部分の領域の画像特徴量は，陳列棚を撮影した画像から，商品の陳列部分として特定する領域の範囲によって変わりうる。そのため，部分画像をより正確に特定できれば，標本画像とのマッチングの際の精度向上につなげることができる。また陳列棚を撮影した画像から，商品タグに記載されている情報をＯＣＲ認識する場合も，商品タグとして認識する領域の正確性によって，認識精度が変わりうる。 When image recognition technology is used based on the sample image of the product for the image of the display shelf, the image features of the sample image and the area of the display part of the product in the image of the display shelf are similar to each other. Recognize products using sex. The amount of image features in the area of the product display area can vary depending on the range of the area specified as the product display area from the image of the display shelf. Therefore, if the partial image can be specified more accurately, it will be possible to improve the accuracy when matching with the sample image. Also, when OCR recognition is performed on the information described in the product tag from the image of the display shelf, the recognition accuracy may change depending on the accuracy of the area recognized as the product tag.
本発明者は，陳列棚を撮影した画像情報における商品が陳列されている領域または商品タグの領域を精度よく特定するための情報処理システムを発明した。 The present inventor has invented an information processing system for accurately identifying the area where products are displayed or the area of product tags in the image information obtained by photographing the display shelves.
第１の発明は，画像情報と深さ情報とを用いる情報処理システムであって，前記情報処理システムは，前記画像情報に写っている対象物までの前記深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，商品面または深さフェイス領域を特定する深さ処理部と，前記特定した商品面または深さフェイス領域を用いて，前記深さマップに対応する前記画像情報における画像フェイス領域を特定する画像認識処理部と，を有する情報処理システムである。
The first invention is an information processing system that uses image information and depth information, in which the depth information up to an object reflected in the image information corresponds to the image information. Using a three-dimensional surface model formed using the depth map mapped to the position, the depth processing unit that specifies the product surface or depth face area and the specified product surface or depth face area are separated. It is an information processing system having an image recognition processing unit for specifying an image face region in the image information corresponding to the depth map.
本発明では，物理的な深さ情報により商品面または深さフェイス領域を特定し，それを用いて，画像情報における画像フェイス領域を特定することから，画像情報のみから特定をする従来の方法よりも，精度よく特定することができる。 In the present invention, the product surface or the depth face area is specified by the physical depth information, and the image face area in the image information is specified by using the product surface or the depth face area. Can be identified accurately.
上述の発明において，前記画像認識処理部は，前記特定した画像フェイス領域と標本情報との類似性を判定することで，前記画像フェイス領域に陳列されている商品の商品識別情報を特定する，情報処理システムのように構成することができる。 In the above-described invention, the image recognition processing unit identifies the product identification information of the product displayed in the image face area by determining the similarity between the specified image face area and the sample information. It can be configured like a processing system.
画像フェイス領域を精度よく特定できているので，標本情報との類似性の判定処理の精度を向上させることができる。 Since the image face area can be specified with high accuracy, the accuracy of the similarity determination process with the sample information can be improved.
第３の発明は，画像情報と深さ情報とを用いる情報処理システムであって，前記情報処理システムは，前記画像情報と，前記画像情報に写っている対象物までの前記深さ情報が前記画像情報と対応する位置にマッピングされている深さマップとに対して第１の正置化処理を行う正置化処理部と，前記正置化した深さマップを用いて形成した３次元の表面モデルを用いて，陳列棚における商品タグ面を特定する深さ処理部と，前記深さ処理部で特定した商品タグ面を用いて，前記正置化した深さマップに対応する前記正置化した画像情報における商品タグ領域を特定し，前記特定した商品タグ領域に対して第２の正置化処理をし，前記第２の正置化処理をした商品タグ領域の一部または全部に対してＯＣＲ認識処理を行うことで，商品タグに記載される情報を認識する画像認識処理部と，を有する情報処理システムである。
第４の発明は，画像情報と深さ情報とを用いる情報処理システムであって，前記情報処理システムは，前記画像情報に写っている対象物までの前記深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，陳列棚における商品タグ面を特定する深さ処理部と，前記深さ処理部で特定した商品タグ面を用いて，前記深さマップに対応する前記画像情報における商品タグ領域を特定する画像認識処理部と，を有しており，前記画像認識処理部は，前記商品タグ面の法線が視点方向を向くように，前記商品タグ面を３次元空間上で回転させる変換を特定し，前記商品タグ面に対応する商品タグ領域に対して，前記特定した回転させる変換を実行することで，前記商品タグ領域を正置化し，前記正置化した商品タグ領域の一部または全部に対してＯＣＲ認識処理を行うことで，商品タグに記載される情報を認識する，情報処理システムである。
A third invention is an information processing system that uses image information and depth information. In the information processing system, the image information and the depth information up to an object reflected in the image information are the same. A three-dimensional emplacement processing unit that performs the first emplacement processing on the image information and the depth map mapped to the corresponding position, and a three-dimensional shape formed by using the emplacement depth map. Using the surface model, the depth processing unit that specifies the product tag surface on the display shelf and the product tag surface specified by the depth processing unit are used to place the product tag surface that corresponds to the heightened depth map. The product tag area in the converted image information is specified, the specified product tag area is subjected to the second normalization processing, and a part or all of the product tag area subjected to the second normalization processing is performed. On the other hand, it is an information processing system having an image recognition processing unit that recognizes information described in a product tag by performing OCR recognition processing.
A fourth invention is an information processing system that uses image information and depth information. In the information processing system, the depth information up to an object reflected in the image information corresponds to the image information. Using a three-dimensional surface model formed using the depth map mapped to the position, the depth processing unit that specifies the product tag surface on the display shelf and the product tag surface specified by the depth processing unit are separated . It has an image recognition processing unit that specifies a product tag area in the image information corresponding to the depth map, and the image recognition processing unit has a normal line of the product tag surface in the viewpoint direction. The product tag is specified by specifying a transformation that rotates the product tag surface in a three-dimensional space so as to face the product tag surface, and by executing the specified rotating conversion for the product tag area corresponding to the product tag surface. This is an information processing system that recognizes the information described in the product tag by emrecting the area and performing OCR recognition processing on a part or all of the product tag area that has been placed upright.
商品に関する情報を特定したい場合，商品を特定するほか，商品タグに記載される情報から特定する方法もある。そこで本発明では，物理的な深さ情報により商品タグ配置領域を特定し，それを用いて，画像情報における商品タグ領域を特定することで，従来よりも精度よく商品タグ領域を特定することを可能とする。 If you want to specify information about a product, you can specify the product as well as the information on the product tag. Therefore, in the present invention, the product tag area is specified by the physical depth information, and the product tag area is specified in the image information by using the product tag area, so that the product tag area can be specified more accurately than before. Make it possible.
商品タグ領域を精度よく特定できているので，商品タグに記載されている情報の文字認識処理の認識精度を向上させることができる。 Since the product tag area can be specified with high accuracy, it is possible to improve the recognition accuracy of the character recognition processing of the information described in the product tag.
第５の発明は，画像情報と深さ情報とを用いる情報処理システムであって，前記情報処理システムは，前記画像情報に写っている対象物までの前記深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，商品面または深さフェイス領域の後方にある領域を特定する深さ処理部と，前記特定した領域を用いて，前記画像情報における商品が陳列されていない領域を特定し，陳列棚に商品の抜けがあることを判定する画像認識処理部と，を有する情報処理システムである。
A fifth invention is an information processing system that uses image information and depth information. In the information processing system, the depth information up to an object reflected in the image information corresponds to the image information. Using a three-dimensional surface model formed using the depth map mapped to the position, the depth processing unit that specifies the area behind the product surface or the depth face area and the specified area are used. This is an information processing system having an image recognition processing unit that identifies an area in which products are not displayed in the image information and determines that there is a missing product on the display shelf.
商品の陳列状況の判定において，陳列されている商品を特定するほか，商品の欠品（本来，商品が陳列されるべき場所に商品が陳列されていない状態）を特定することも同様に重要である。商品が陳列されていない領域を画像情報のみから判定する場合，従来は，商品のあるべき位置が周囲より暗い，背景色と同じ色であるなどに基づいて判定をしている。しかしこのような方法では，照明の状態や撮影の角度によっては精度を保つことが難しい場合がある。そこで，本発明のように深さ情報を用いることで，従来よりも高い精度で判定をすることができる。 In determining the display status of products, it is equally important to identify the products on display and also to identify the product shortage (the state in which the product is not displayed in the place where the product should be displayed). is there. When determining the area where the product is not displayed only from the image information, the determination is conventionally made based on the position where the product should be is darker than the surroundings, the same color as the background color, and the like. However, with such a method, it may be difficult to maintain accuracy depending on the lighting conditions and the shooting angle. Therefore, by using the depth information as in the present invention, it is possible to make a judgment with higher accuracy than before.
第６の発明は，画像情報と深さ情報とを用いる情報処理システムであって，前記情報処理システムは，前記画像情報に写っている対象物までの前記深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いてあらかじめ定めた領域を特定する深さ処理部と，前記深さマップに対応する前記画像情報において，前記深さ処理部で特定した領域に対応する領域を特定する画像認識処理部と，を有する情報処理システムである。
A sixth invention is an information processing system that uses image information and depth information. In the information processing system, the depth information up to an object reflected in the image information corresponds to the image information. In the depth processing unit that specifies a predetermined region using a three-dimensional surface model formed by using the depth map mapped to the position, and the image information corresponding to the depth map, the depth It is an information processing system having an image recognition processing unit that specifies an area corresponding to the area specified by the processing unit.
本発明の情報処理システムは，用途を問わずに適用することもできる。すなわち，ある撮影対象物を撮影した場合に，その所望の対象物が写っている領域を画像情報から特定する際に，広く用いることができる。そして，本発明の処理を実行することで，精度よく，所望の対象物が写っている領域を画像情報から特定することができる。 The information processing system of the present invention can also be applied to any application. That is, when a certain object to be photographed is photographed, it can be widely used when specifying the area in which the desired object is captured from the image information. Then, by executing the process of the present invention, it is possible to accurately identify the area in which the desired object is captured from the image information.
第１の発明は，本発明のプログラムを，コンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報に写っている対象物までの深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，商品面または深さフェイス領域を特定する深さ処理部，前記特定した商品面または深さフェイス領域を用いて，前記深さマップに対応する前記画像情報における画像フェイス領域を特定する画像認識処理部，として機能させる情報処理プログラムのように構成することができる。
The first invention can be realized by loading and executing the program of the present invention in a computer. That is, the computer is used on the product surface by using a three-dimensional surface model formed by using a depth map in which the depth information to the object reflected in the image information is mapped to the position corresponding to the image information. Alternatively, as a depth processing unit that specifies a depth face area, or an image recognition processing unit that uses the specified product surface or depth face area to specify an image face area in the image information corresponding to the depth map. It can be configured like an information processing program to function.
第３の発明は，本発明のプログラムを，コンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報と，前記画像情報に写っている対象物までの深さ情報が前記画像情報と対応する位置にマッピングされている深さマップとに対して第１の正置化処理を行う正置化処理部，前記正置化した深さマップを用いて形成した３次元の表面モデルを用いて，陳列棚における商品タグ面を特定する深さ処理部，前記深さ処理部で特定した商品タグ面を用いて，前記正置化した深さマップに対応する前記正置化した画像情報における商品タグ領域を特定し，前記特定した商品タグ領域に対して第２の正置化処理をし，前記第２の正置化処理をした商品タグ領域の一部または全部に対してＯＣＲ認識処理を行うことで，商品タグに記載される情報を認識する画像認識処理部，として機能させる情報処理プログラムのように構成することができる。
第４の発明は，本発明のプログラムを，コンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報に写っている対象物までの深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，陳列棚における商品タグ面を特定する深さ処理部，前記深さ処理部で特定した商品タグ面を用いて，前記深さマップに対応する前記画像情報における商品タグ領域を特定する画像認識処理部，として機能させる情報処理プログラムであって，前記画像認識処理部は，前記商品タグ面の法線が視点方向を向くように，前記商品タグ面を３次元空間上で回転させる変換を特定し，前記商品タグ面に対応する商品タグ領域に対して，前記特定した回転させる変換を実行することで，前記商品タグ領域を正置化し，前記正置化した商品タグ領域の一部または全部に対してＯＣＲ認識処理を行うことで，商品タグに記載される情報を認識する，情報処理プログラムのように構成することができる。
The third invention can be realized by loading and executing the program of the present invention in a computer. That is, the computer is subjected to the first emplacement processing with respect to the image information and the depth map in which the depth information to the object reflected in the image information is mapped to the position corresponding to the image information. In the depth processing unit, the depth processing unit that identifies the product tag surface on the display shelf using the three-dimensional surface model formed by using the emplacement depth map. Using the specified product tag surface , the product tag area in the emplaced image information corresponding to the emplaced depth map is specified, and a second emplacement is performed with respect to the specified product tag area. It functions as an image recognition processing unit that recognizes the information described in the product tag by performing OCR recognition processing on a part or all of the product tag area that has undergone the second orthostatic processing. It can be configured like an information processing program to be made to.
The fourth invention can be realized by loading and executing the program of the present invention in a computer. That is, the computer is displayed on the display shelf using a three-dimensional surface model formed by using a depth map in which the depth information to the object reflected in the image information is mapped to the position corresponding to the image information. depth processing unit for identifying a commodity tag surface in using the identified product tag surface in the depth processing unit, the image recognition processing unit that identifies a product tag area in the image information corresponding to the depth map, as An information processing program to function, the image recognition processing unit specifies a transformation that rotates the product tag surface in a three-dimensional space so that the normal line of the product tag surface faces the viewpoint direction, and the product By executing the specified rotation conversion for the product tag area corresponding to the tag surface, the product tag area is made normal, and OCR is applied to a part or all of the placed product tag area. By performing the recognition process, it can be configured like an information processing program that recognizes the information described in the product tag.
第５の発明は，本発明のプログラムを，コンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報に写っている対象物までの深さ情報が，前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，商品面または深さフェイス領域の後方にある領域を特定する深さ処理部，前記特定した領域を用いて，前記画像情報における商品が陳列されていない領域を特定し，陳列棚に商品の抜けがあることを判定する画像認識処理部，として機能させる情報処理プログラムのように構成することができる。
The fifth invention can be realized by loading and executing the program of the present invention in a computer. That is, the computer uses a three-dimensional surface model formed by using a depth map in which the depth information to the object reflected in the image information is mapped to the position corresponding to the image information. depth processing unit for identifying the area behind the surface or deep face area, using the identified regions and identify areas items in the image information is not on display, there is a missing item in the display shelf It can be configured like an information processing program that functions as an image recognition processing unit that determines that.
第６の発明は，本発明のプログラムを，コンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報に写っている対象物までの深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いてあらかじめ定めた領域を特定する深さ処理部，前記深さマップに対応する前記画像情報において，前記深さ処理部で特定した領域に対応する領域を特定する画像認識処理部，として機能させる情報処理プログラムのように構成することができる。
The sixth invention can be realized by loading and executing the program of the present invention in a computer. That is, the computer is predetermined by using a three-dimensional surface model formed by using a depth map in which the depth information to the object reflected in the image information is mapped to the position corresponding to the image information. Like an information processing program that functions as a depth processing unit that specifies an area and an image recognition processing unit that specifies an area corresponding to the area specified by the depth processing unit in the image information corresponding to the depth map. Can be configured in.
本発明の情報処理システムを用いることによって，撮影対象物を撮影した画像情報から，所定の領域を精度よく特定することができる。とくに，陳列棚を撮影した画像における商品の陳列部分，商品タグの領域を精度よく特定することができる。 By using the information processing system of the present invention, it is possible to accurately identify a predetermined region from the image information obtained by photographing the object to be photographed. In particular, it is possible to accurately identify the display part of the product and the area of the product tag in the image of the display shelf.
本発明の情報処理システム１の処理機能の一例をブロック図で図１乃至図３に示す。情報処理システム１は，管理端末２と入力端末３とを用いる。図１は情報処理システム１の全体の処理機能の一例を示すブロック図であり，図２は後述する深さ処理部２３の処理機能の一例を示すブロック図であり，図３は後述する画像認識処理部２４の処理機能の一例を示すブロック図である。
An example of the processing function of the
管理端末２は，情報処理システム１を運営する企業等の組織が利用するコンピュータである。また，入力端末３は，店舗の陳列棚を撮影した画像情報，深さ情報の入力を行う端末である。
The
情報処理システム１における管理端末２，入力端末３は，コンピュータを用いて実現される。図４にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。
The
コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。
When the computer is provided with a touch panel display, the
タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。
The touch panel display is a device in which the functions of the
入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えている。入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。入力端末３は，撮影装置で可視光による画像情報（撮影画像情報）を撮影するほか，撮影対象と撮影装置との距離情報（深さ情報）を２次元情報として取得する。深さ情報がマッピングされた情報を，本明細書では深さマップとよぶ。深さマップは，撮影画像情報に対応しており，撮影画像情報に写っている各対象物までの深さ情報が，撮影画像情報と対応する位置にマッピングされている。深さマップは，少なくとも撮影画像情報に対応する範囲をメッシュ状に区切り，そのメッシュごとに深さ情報が与えられている。メッシュの縦，横の大きさは，取得できる深さ情報の精度に依存するが，メッシュの縦，横の大きさが小さいほど精度が上げられる。通常は，１ｍｍから数ｍｍの範囲であるが，１ｍｍ未満，あるいは１ｃｍ以上であってもよい。
The
深さ情報を取得する場合，撮影装置における陳列棚の撮影の際に，特定の波長の光線，たとえば赤外線を照射してそれぞれの方向からの反射光の量や反射光が到達するまでの時間を計測することで撮影対象までの距離情報（深さ情報）を取得する，あるいは特定の波長の光線，たとえば赤外線のドットパターンを照射し，反射のパターンから撮影対象までの距離情報（深さ情報）を計測するもののほか，ステレオカメラの視差を利用する方法があるが，これらに限定されない。なお，深さ情報が撮影装置（三次元上の一点）からの距離で与えられる場合には，かかる深さ情報を，撮影装置の撮影面（平面）からの深さ情報に変換をしておく。このように深さ情報を取得するための装置（深さ検出装置）を入力端末３は備えている。
When acquiring depth information, when shooting a display shelf with a shooting device, the amount of reflected light from each direction and the time until the reflected light arrives by irradiating light rays of a specific wavelength, for example, infrared rays, are calculated. The distance information (depth information) to the shooting target is acquired by measuring, or the distance information (depth information) from the reflection pattern to the shooting target by irradiating a light beam of a specific wavelength, for example, an infrared dot pattern. In addition to the method of measuring, there is a method of using the parallax of a stereo camera, but the method is not limited to these. If the depth information is given by the distance from the photographing device (one point on three dimensions), the depth information is converted into the depth information from the photographing surface (plane) of the photographing device. .. The
撮影画像情報と深さ情報とはその位置関係が対応をしている。撮影画像情報と深さ情報による深さマップとの対応関係を図６（ａ），（ｂ）に模式的に示す。 The positional relationship between the captured image information and the depth information corresponds. The correspondence between the captured image information and the depth map based on the depth information is schematically shown in FIGS. 6 (a) and 6 (b).
本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合，正置化処理をしていない画像情報に対する処理を実行することができる。 Each means in the present invention has only a logical distinction in its function, and may form the same area physically or substantially. The processing order of the processing in each means of the present invention may be changed as appropriate. In addition, a part of the processing may be omitted. For example, the emplacement process described later can be omitted. In that case, it is possible to execute processing on the image information that has not been subjected to the orthostatic processing.
情報処理システム１は，撮影画像情報入力受付処理部２０と深さ入力受付処理部２１と正置化処理部２２と深さ処理部２３と画像認識処理部２４と画像情報記憶部２５と標本情報記憶部２６と商品識別情報記憶部２７とを有する。
The
撮影画像情報入力受付処理部２０は，入力端末３で撮影した店舗の陳列棚の画像情報（撮影画像情報）の入力を受け付け，後述する画像情報記憶部２５に記憶させる。入力端末３からは，撮影画像情報のほか，撮影日時，店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図７に撮影画像情報の一例を示す。図７では，陳列棚に３段の棚段があり，そこに商品が陳列されている撮影画像情報である。
The photographed image information input
深さ入力受付処理部２１は，入力端末３で撮影した店舗の陳列棚に対する深さ情報や深さマップの入力を受け付け，撮影画像情報入力受付処理部２０で入力を受け付けた撮影画像情報に対応づけて，後述する画像情報記憶部２５に記憶させる。図８に，深さ情報をマッピングした深さマップの一例を模式的に示す。なお，入力端末３から深さマップではなく，深さ情報を受け付けた場合には，それをマッピングして深さマップを生成する。
The depth input
正置化処理部２２は，画像情報記憶部２５に記憶した撮影画像情報に対して，撮影対象物が正対した状態になるように補正する処理（正置化処理），たとえば台形補正処理を実行した正置画像情報を生成する。台形補正処理は，撮影画像情報に写っている陳列棚の棚段が水平に，そこに陳列されている商品に対する商品タグが垂直になるように行う補正処理である。正置化とは，撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って，十分に遠方から撮影した場合と同じになるように画像情報を変形させることであり，たとえば台形補正処理がある。
The erecting
正置化処理部２２が実行する台形補正処理は，撮影画像情報において４頂点の指定の入力を受け付け，その各頂点を用いて台形補正処理を実行する。指定を受け付ける４頂点としては，陳列棚の棚段の４頂点であってもよいし，陳列棚の棚位置の４頂点であってもよい。また，２段，３段の棚段のまとまりの４頂点であってもよい。４頂点としては任意の４点を指定できる。図９に図７の撮影画像情報を正置化した撮影画像情報（正置画像情報）の一例を示す。
The keystone correction process executed by the
また正置化処理部２２は，撮影画像情報に対して実行した正置化処理と同様の正置化処理（同一の変換処理）を深さマップに対しても実行する。これを模式的に示すのが図１０（ａ），（ｂ）である。図１０（ａ）は，図６（ａ）の撮影画像情報に対して正置化処理を実行した正置画像情報である。図１０（ｂ）は，図６（ｂ）の深さマップについて，図１０（ａ）の正置化処理と同様の正置化処理を施した状態の深さマップを示す図である。図１１に，図８の深さマップに対して，正置化処理を実行した状態の深さマップの一例を模式的に示す。
Further, the
このように深さマップに対しても正置画像情報と同様の処理を実行することで，正置画像情報と同じ位置関係で深さ情報を特定することができる。 By executing the same processing as the normal image information for the depth map in this way, the depth information can be specified in the same positional relationship as the normal image information.
深さ処理部２３は，深さマップに基づいて，商品が陳列される可能性のある領域（深さフェイス領域）を特定する。また，商品タグが配置される可能性のある領域（商品タグ配置領域）を特定する。
The
深さ処理部２３は，異常値除去処理部２３０と面種別特定処理部２３１と深さフェイス特定処理部２３２とを有する。
The
異常値除去処理部２３０は，深さマップにおける深さ情報の異常値を除去する。異常値としては，たとえば深さ情報の平均値から所定範囲以上乖離しているなどによって判定できる。また異常値として判定した場合，そのメッシュにおける深さ情報は，当該メッシュの周囲の深さ情報の平均値をとるなどすればよい。
The outlier
面種別特定処理部２３１は，深さマップにおける深さ情報に基づいて面（平面のほか曲面も含む）を検出し，検出した面の種別，たとえば棚段の前面，商品タグ面，商品面，棚段の後板面などを特定する。図１２に面種別特定処理部２３１での面種別の特定処理の一例を示す。図１２（ａ）は，深さ情報に基づいて検出した面を斜め上方からイメージ化した図であり，図１２（ｂ）は，深さ情報に基づいて検出した面を側面からイメージ化した図である。
The surface type
面種別特定処理部２３１は，微細な凹凸を除外するために高周波をフィルタアウトした上で，深さ情報に基づいて３次元の表面モデルを形成することで，垂直に近い，正対した一定以上の面積を持つ面，直立した円筒の面，全体に凸のゆがんだ多面体の領域の面を検出し，３次元空間内の位置と範囲を特定する。たとえば，深さ情報が一定の範囲内であり，法線が安定して正面を向いていれば平面，深さ情報について垂直方向の相関性が強く，水平方向に凸であれば円筒，水平方向および垂直方向のいずれも凸，または法線が安定していなければ凸のゆがんだ多面体の領域の面のように特定をする。そして，検出した各面をラベリングをする。図１２では５つの面を検出し，それぞれ１から５のラベリングをした状態を示している。そして検出した面について，たとえば深さ情報の平均値などに基づいて，最前面から，順に最前面からの距離（これをレベルとする）を算出する。そして算出したレベルに基づいて，各面の前後関係を特定する。図１２では，１，２の面のレベルは０ｃｍであり，３，４の面のレベルは３ｃｍ，５の面のレベルは２０ｃｍのように算出をする。そして，最前面が１，２の面，その次に奥に位置するのが３，４の面，最背面が５の面として，５つの面の前後関係を特定する。
The surface type
面種別特定処理部２３１は，このように特定した面の前後関係を用いて，面の種別を特定する。すなわち，最前面であって，深さマップにある狭い横長の平面を，棚板の前面および商品タグ面，最背面を棚段の後板面，また，棚段の前面と深さ情報が同一または近接（一定範囲，たとえば数ｃｍ以内）しており，中空にある垂直の長方形は商品タグの面として特定をする。そして，好ましくは，それ以外の面を商品面（商品が陳列される可能性のある面）として特定をする。したがって，図１２の例では，１，２の面を棚板の前面および商品タグ面，３，４の面を商品面，５の面を棚体の後板面として特定をする。
The surface type
深さフェイス特定処理部２３２は，面種別特定処理部２３１で特定した商品面において，深さフェイス領域を特定する処理を実行する。
The depth face specifying
深さフェイス特定処理部２３２における深さフェイス領域の特定処理としては以下のように実行をする。
The depth face region specifying process in the depth face specifying
まず，いずれかのタイミングにおいて入力を受け付けた商品のパッケージタイプに基づいて，対応する処理を実行する。パッケージタイプとしては，缶，瓶（ペットボトルを含む。以下同様），缶と瓶の併存，箱物，吊るし商品などがあるが，それらに限定をするものではない。 First, the corresponding process is executed based on the package type of the product that received the input at any timing. Package types include cans, bottles (including PET bottles; the same applies hereinafter), coexistence of cans and bottles, boxes, hanging products, etc., but are not limited to these.
パッケージタイプが缶または瓶であった場合，一定の大きさの範囲内にある円筒の領域を缶または瓶の深さフェイス領域として特定する。これを模式的に示すのが，図１３および図１４である。図１３はパッケージタイプが缶の場合を示すイメージ図であり，図１４はパッケージタイプが瓶の場合を示すイメージ図である。 If the package type is can or jar, identify the area of the cylinder within a certain size range as the depth face area of the can or jar. This is schematically shown in FIGS. 13 and 14. FIG. 13 is an image diagram showing the case where the package type is a can, and FIG. 14 is an image diagram showing the case where the package type is a bottle.
パッケージタイプが缶と瓶の併存であった場合，一定の大きさの範囲内に円筒があり，上方に小さな円筒がない領域を缶の深さフェイス領域，一定の大きさの範囲内に円筒があり，上方に小さな円筒がある領域を瓶の深さフェイス領域として特定をする。 When the package type is a coexistence of a can and a bottle, the area where there is a cylinder within a certain size range and there is no small cylinder above is the depth face area of the can, and the cylinder is within a certain size range. The area where there is a small cylinder above is specified as the depth face area of the bottle.
パッケージタイプが箱物であった場合，一定の大きさの範囲内にある垂直の長方形の平面の領域を箱物の深さフェイス領域として特定をする。これを模式的に示すのが図１５である。 If the package type is a box, the area of the vertical rectangular plane within a certain size range is specified as the depth face area of the box. This is schematically shown in FIG.
また，パッケージタイプが吊るし商品であった場合，一定のサイズの範囲内にあり，中空に浮いた長方形の平面または凹凸面の領域を，吊るし商品の深さフェイス領域として特定をする。これを模式的に示すのが図１６である。 If the package type is a hanging product, the area of a rectangular flat surface or uneven surface that is within a certain size range and floats in the air is specified as the depth face area of the hanging product. This is schematically shown in FIG.
なお，深さマップ特定処理部は，パッケージタイプの選択を受け付けず深さフェイス領域を特定してもよい。この場合，商品面の領域と，パッケージタイプごとの判定処理をそれぞれ実行することで，深さフェイス領域としての条件が成立するかを判定する。そして，深さフェイス領域を構成する面が存在する場合には，その面が構成する深さフェイス領域を特定し，あらかじめ定められたパッケージタイプの優先条件に基づいて，深さフェイス領域がどのようなパッケージタイプであるかを特定する。 The depth map specifying processing unit may specify the depth face area without accepting the selection of the package type. In this case, it is determined whether or not the condition as the depth face area is satisfied by executing the determination process for each of the product surface area and the package type. Then, if there is a surface that constitutes the depth face area, the depth face area that the surface constitutes is specified, and how the depth face area is based on the predetermined package type priority condition. Identify the package type.
画像認識処理部２４は，撮影画像情報入力受付処理部２０で受け付けた撮影画像情報または正置画像情報と，深さ処理部２３で特定した面とに基づいて，陳列棚の商品タグ配置領域面にある商品タグに記載されている商品識別情報を認識する。また，撮影画像情報入力受付処理部２０で受け付けた撮影画像情報または正置画像情報と，深さ処理部２３で特定した商品面または深さフェイス領域とに基づいて，撮影画像情報情報または正置画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報を認識する処理を実行する。商品識別情報としては，商品名のほか，その商品に対して割り当てられているＪＡＮコードなどがあるが，それに限定されない。商品を識別することができる情報であればいかなるものでもよい。
The image
画像認識処理部２４は，商品タグ内情報特定処理部２４０と商品識別情報特定処理部２４１とを有する。
The image
商品タグ内情報特定処理部２４０は，深さ処理部２３で特定した商品タグ面の領域に対応する撮影画像情報の領域（商品タグ領域）を切り出し，商品タグ領域に記載されている情報をＯＣＲ認識などにより特定する処理を実行する。ＯＣＲ認識をする場合には，商品タグ領域として特定した領域のすべてまたは一部について行うことができる。商品タグ領域として特定したすべての領域に行うとノイズなどにより誤認識が発生する可能性が高いので，ＯＣＲ認識をする対象領域を限定することが好ましい。商品タグ領域に対してＯＣＲ認識するにはさまざまな方法を用いることができるが，たとえば以下の２つの方法のいずれかを用いることができる。なお，本明細書において，画像情報を切り出すとは，実際に処理対象として画像情報から分離するほか，その領域の画像情報を分離せずに，処理対象の範囲として特定する場合も含まれる。
The information
第１の方法としては，特定した商品タグ領域において，まず二値化処理を行う。二値化処理としては，ＨＳＶ色空間の明度を用いる方法，大津の手法，赤色を抽出する手法（商品タグの数字や文字列には黒色のほか赤色も使用頻度が高い）などのうち一または複数を組み合わせて抽出したものを候補として選定する方法がある。 As the first method, binarization processing is first performed in the specified product tag area. As the binarization process, one of the method using the brightness of the HSV color space, the method of Otsu, the method of extracting red (the number and character string of the product tag are frequently used in addition to black, and red is also frequently used). There is a method of selecting a candidate that is extracted by combining a plurality of items.
そして，二値化した画像情報においてラベリング処理を実行する。ラベリング処理とは，二値画像情報において，白または黒が連続した画素に同一の番号（識別情報）を割り振る処理を実行することで，連続する画素同士を一つの島（グループ）化する処理である。そしてラベリング処理によって検出した島を含む矩形領域（ボックス）を生成し，ボックスの高さ，幅，ベースラインを求める。ボックスを生成する際には，同一番号にラベリングされた領域を囲む最小の，垂直，水平の線分で囲まれた長方形を生成することが好ましいが，それに限定しない。なおボックスを生成する際に，あらかじめ定めた閾値となる高さ，幅を充足しない島はノイズとしてボックスを生成せず，そのまま処理対象から除去する。たとえば高さが小さすぎる島は横罫線や画像上のゴミの可能性があり，幅が広すぎる島はロゴなどの可能性があり，これらはノイズとして除去をする。 Then, the labeling process is executed on the binarized image information. The labeling process is a process of assigning the same number (identification information) to pixels in which white or black is continuous in binary image information, thereby forming consecutive pixels into one island (group). is there. Then, a rectangular area (box) including the islands detected by the labeling process is generated, and the height, width, and baseline of the box are obtained. When generating a box, it is preferable, but not limited to, to generate a rectangle surrounded by the smallest vertical and horizontal line segments surrounding the areas labeled with the same number. When generating a box, islands that do not satisfy the height and width that are the predetermined thresholds are not generated as noise and are removed from the processing target as they are. For example, an island that is too small may have horizontal ruled lines or dust on the image, and an island that is too wide may have a logo, etc., which are removed as noise.
商品タグで使用される文字は，一般的には，太字のゴシック体など文字全体の輪郭が明確な字体が用いられることが多い。そのため，画像情報に多少のピンぼけがある場合でも，一つの文字列を形成する文字群は，ベースラインと高さがそろった島として検出することができる。 In general, the characters used in product tags are often in bold Gothic fonts, which have a clear outline of the entire characters. Therefore, even if the image information is slightly out of focus, the character group forming one character string can be detected as an island having the same height as the baseline.
そして商品タグ内情報特定処理部２４０は，所定の類似性を有する隣接したボックス同士を併合し，ブロックを構成する。すなわち，ベースラインと高さが所定範囲内で一致し，高さおよび幅が一定の閾値の範囲内にある連続するボックスを併合し，ブロックを構成する。この際に，併合するブロックの間にある小さいボックスなどもまとめて一つのブロックとして構成する。これによって，濁点，半濁点，ハイフンなども一つのブロックに取り込まれることとなる。ブロックは，ＯＣＲ認識の対象となる領域である。そして，ブロックのうち，高さがもっとも高いブロックを価格領域（税抜価格領域）と推定し，ＯＣＲ認識を行う。また，ほかのブロックについても同様に，ＯＣＲ認識を行う。以上のような処理を実行することで，商品タグ領域において複数行にわたって自由にレイアウトされた原稿部分に対しＯＣＲ認識を行うよりも精度よく，文字認識処理を実行することができる。この処理を模式的に示すのが図１７乃至図１９である。図１７は二値化した画像情報であり，図１８はボックス（破線で示す領域）を生成した状態を示す図である。また図１９はブロック（破線で示す領域）を生成した状態を示す図である。
Then, the information
以上のようにして商品タグ内情報特定処理部２４０は，商品タグに記載した情報をＯＣＲ認識することができる。
As described above, the information
第２の方法としては，商品タグの画像情報をテンプレートとして保持しておき，テンプレートとした画像情報と商品タグ領域の画像情報とを比較する処理である。テンプレートとした商品タグの画像情報には，あらかじめ税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格が表記されるそれぞれの文字枠の位置，大きさ（高さ，幅）が設定される。そして，商品タグ特定処理部で特定した商品タグ領域から，該当箇所の画像情報を切り出し，ＯＣＲ認識処理を実行する。この際に，価格，メーカー名，商品名などの商品識別情報，定格によって使用される文字種別（たとえば数字，ローマ字，記号，かな漢字のどれを含むかなど）を制約条件として定めておくことで，ＯＣＲ認識処理の精度を向上させることができる。 The second method is a process of holding the image information of the product tag as a template and comparing the image information of the template with the image information of the product tag area. The image information of the product tag used as a template includes the product identification information such as the tax-excluded price, tax-included price, manufacturer name, and product name, and the position and size (height, width) of each character frame in which the rating is written. Is set. Then, the image information of the corresponding portion is cut out from the product tag area specified by the product tag specifying processing unit, and the OCR recognition process is executed. At this time, by defining the product identification information such as price, manufacturer name, product name, and the character type used by the rating (for example, which of numbers, romaji, symbols, and kana-kanji is included) as constraint conditions. The accuracy of OCR recognition processing can be improved.
以上のように商品タグ内情報特定処理部２４０は，読み取った情報の整合性を確認する処理を実行してもよい。整合性確認処理としては，辞書照合による整合性の確認処理，ロジカルチェックの２種類を行うことが好ましい。
As described above, the information
辞書照合による整合性の確認処理は，たとえば以下のように実行する。情報処理システム１には，陳列棚に陳列される可能性のある商品の商品名などの商品識別情報と，それに対応するコード情報（たとえばＪＡＮコード）とを対応づけて記憶する商品辞書（図示せず）を備えている。そして，商品タグ内情報特定処理部２４０で認識した価格を示す領域から読み取った文字列以外の文字列と，商品辞書に登録されたすべての商品名などの商品識別情報との文字列類似度評価を行う。たとえば編集距離（レーベンシュタイン距離）やジャロ・ウィンクラー距離などを用いることができる。
The consistency confirmation process by dictionary collation is executed as follows, for example. The
上記で求めた文字列類似度の最大値が一つであるならば，その商品名などの商品識別情報を最終候補とする。そして最終候補となった商品名などの商品識別情報の文字列の長さに対して，許容できる類似度をあらかじめ定めておき，許容できる類似度以上であれば商品名などの商品識別情報を同定する。許容できる類似度に達していなければ，読み取った文字列は未確定とする。また，最大値の類似度の商品が複数ある場合には，読み取った文字列は未確定とする。 If the maximum value of the character string similarity obtained above is one, the product identification information such as the product name is used as the final candidate. Then, the allowable similarity is determined in advance for the length of the character string of the product identification information such as the final candidate product name, and if the similarity is equal to or higher than the acceptable similarity, the product identification information such as the product name is identified. To do. If the acceptable similarity is not reached, the read character string is undetermined. If there are multiple products with the maximum similarity, the read character string is undetermined.
文字列類似度評価の一つである編集距離とは，二つの文字列がどの程度異なっているかを示す距離の一種であって，具体的には，一文字の挿入，削除，置換によって，一方の文字列をもう一方の文字列に変形するのに必要な手順の最小回数である。図２０に商品タグに表記された商品名，ＯＣＲ認識の結果，商品辞書に記憶する商品名のうち編集距離が最小の商品名，編集距離の一例を示す。また，図２１に，最終候補の文字数ごとの確定してよい編集距離の対応関係の表を示す。なお，本明細書では編集距離を用いて処理をする場合を説明するが，置換が挿入，削除よりも類似度が大きくなるよう定義された字列類似度評価であってもよい。 The edit distance, which is one of the character string similarity evaluations, is a kind of distance that indicates how different the two character strings are. Specifically, one of them is inserted, deleted, or replaced by inserting, deleting, or replacing one character. The minimum number of steps required to transform a string into the other string. FIG. 20 shows an example of the product name and the editing distance with the shortest editing distance among the product names stored in the product dictionary as a result of the product name and OCR recognition written on the product tag. Further, FIG. 21 shows a table of correspondences of edit distances that may be determined for each number of characters in the final candidate. In this specification, the case of processing using the edit distance will be described, but the character string similarity evaluation may be defined so that the substitution has a greater similarity than the insertion and deletion.
そして，上記の最小の編集距離の商品名などの商品識別情報を求めた後，ＯＣＲ認識結果から商品名などの商品識別情報の該当部分を除いた文字列に対し，別に備える定格辞書（図示せず）に記憶する各定格との編集距離，メーカー名辞書（図示せず）に記憶する各メーカー名との編集距離をそれぞれ求める。たとえば図２０における「のどごし 生 ３５０ｍｌ」の例では，「３５０ｍｌ」の部分に対し，定格の辞書における「３５０ｍｌ」と編集距離０で一致し，定格部分の文字列であることを同定する。同様に，メーカー名についても編集距離を求め，最小の編集距離にある文字列をメーカー名であることを同定する。そしてＯＣＲ認識結果から定格部分，メーカー名部分の各文字列を取り除いて，取り除いた残りの文字列に対し，商品名辞書における最短の編集距離にある文字列を求め，許容できる編集距離であるか否かを判定する。許容できる編集距離内であれば，商品名などの商品識別情報，メーカー名，定格を確定する。このような処理をすることで，商品名などの商品識別情報に定格，メーカー名が含まれる場合にも適切に確定をすることができる。なお，定格辞書とは，陳列棚に陳列される可能性のある商品の定格（容量など）を記憶する辞書である。メーカー名辞書とは，陳列棚に陳列される可能性のある商品のメーカー名を記憶する辞書である。 Then, after obtaining the product identification information such as the product name with the minimum editing distance described above, a rating dictionary (shown) is separately prepared for the character string excluding the relevant part of the product identification information such as the product name from the OCR recognition result. The editing distance with each rating stored in (not shown) and the editing distance with each manufacturer name stored in the manufacturer name dictionary (not shown) are obtained. For example, in the example of "350 ml of throat raw" in FIG. 20, the part of "350 ml" matches "350 ml" in the rated dictionary with an editing distance of 0, and it is identified that it is a character string of the rated part. Similarly, the editing distance is obtained for the manufacturer name, and the character string with the minimum editing distance is identified as the manufacturer name. Then, each character string of the rated part and the manufacturer name part is removed from the OCR recognition result, and the character string having the shortest editing distance in the product name dictionary is obtained from the removed remaining character string, and is it an acceptable editing distance? Judge whether or not. If it is within the allowable editing distance, determine the product identification information such as the product name, the manufacturer name, and the rating. By performing such processing, even if the product identification information such as the product name includes the rating and the manufacturer name, it can be appropriately determined. The rating dictionary is a dictionary that stores the ratings (capacity, etc.) of products that may be displayed on the display shelves. The manufacturer name dictionary is a dictionary that stores the manufacturer names of products that may be displayed on the display shelf.
商品タグ内情報特定処理部２４０による認識結果を最終的に利用者が判断，承認するため，認識結果の選択等の入力を受け付ける表示を行う際には，確定した文字列，未確定の文字列が特定可能な方法で表示が行われているとよい。たとえば確定した文字列と未確定の文字列との色を分ける，確定の文字列および／または未確定の文字列には確定または未確定を示す情報を付するなどがある。未確定の文字列については，最小の編集距離となった商品名などの商品識別情報が複数ある場合には，各商品識別情報を表示してもよい。
Since the user finally determines and approves the recognition result by the information
商品タグ内情報特定処理部２４０におけるロジカルチェック（認識した情報の論理的整合性の判定処理）は以下のように行うことができる。たとえば価格領域として２つの価格を読み取った場合，一つは税抜価格，一つは税込価格となるが，税抜価格が税込価格よりも高くなっている場合には，それらを逆転して認識させる。また，税抜価格に消費税率を乗算して得た値が税込価格とは一致しない場合には，いずれかまたは双方に誤認識があるとする。さらに，商品名などの商品識別情報を認識した場合には，その商品または商品カテゴリの通常の価格帯に収まっているか，を判定する。また，商品名などの商品識別情報，メーカー名，定格の対応関係が一致しているかを判定してもよい。
The logical check (the processing for determining the logical consistency of the recognized information) in the information specifying
以上のように商品タグ内の情報の整合性を確認することで，撮影画像情報に写っている商品タグに記載される情報を確定することができる。このように確定した情報は，たとえば表形式で出力をすることができる。 By confirming the consistency of the information in the product tag as described above, the information described in the product tag shown in the photographed image information can be confirmed. The information determined in this way can be output in tabular format, for example.
商品識別情報特定処理部２４１は，深さ処理部２３で特定した深さフェイス領域に対応する正置画像情報の領域（画像フェイス領域）を切り出す。これを模式的に示すのが図３２および図３３である。図３２（ａ）は商品のパッケージタイプが缶の場合に，深さフェイス領域に対応する画像フェイス領域を切り出す状態を模式的に示す図である。図３２（ｂ）は商品のパッケージタイプが瓶の場合に，深さフェイス領域に対応する画像フェイス領域を切り出す状態を模式的に示す図である。また図３３（ａ）は商品のパッケージタイプが箱物の場合に，深さフェイス領域に対応する画像フェイス領域を切り出す状態を模式的に示す図である。図３３（ｂ）は商品のパッケージタイプが吊るし商品の場合に，深さフェイス領域に対応する画像フェイス領域を切り出す状態を模式的に示す図である。なお，商品のパッケージタイプによって，切り出しの際のルールをテンプレートとしてあらかじめ設定しておくことが好ましい。たとえば商品のパッケージタイプが瓶の場合には，瓶本体からキャップの位置までを一つとして切り出すルールを設定しておけばよい。
The product identification information
このように正置画像情報から切り出した画像フェイス領域と，後述する標本情報記憶部２６に記憶する標本情報とのマッチング処理を行うことで，陳列棚の棚段に陳列されている商品の商品識別情報を特定する。具体的には，まず，処理対象となる画像フェイス領域の画像情報と，標本情報記憶部２６に記憶する標本情報との類似性を判定し，その類似性がもっとも高い標本情報に対応する商品識別情報を特定し，特定した類似性があらかじめ定めた閾値以上であれば，画像フェイス領域の各座標で構成されるフェイスに表示されている商品の商品識別情報として特定をする。
By performing matching processing between the image face area cut out from the orthodox image information and the sample information stored in the sample
なお，自動的に特定した画像フェイス領域について，担当者による修正入力を受け付けてもよい。さらに，担当者から画像フェイス領域の位置の入力を受け付けるのでもよい。特定した画像フェイス領域の座標は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，深さ情報や深さマップ，フェイスを識別するためのフェイス識別情報とを対応づけて管理する。また画像フェイス領域を示す座標としては，その領域を特定するための各点の座標であり，画像フェイス領域が矩形の場合には，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。画像フェイス領域が多角形のときには，各頂点の座標であるとよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。 Note that the person in charge may accept correction input for the automatically specified image face area. Further, the person in charge may input the position of the image face area. The coordinates of the specified image face area are the shooting date / time information, store information, image information identification information of the shot image information, image identification information of the orthodox image information, depth information and depth map, and face identification for identifying the face. Manage by associating with information. The coordinates indicating the image face area are the coordinates of each point for specifying the area. When the image face area is rectangular, for example, 4 points in the orthodox image information, upper right and lower left, upper left and right. The coordinates of the two points below may be used. When the image face area is a polygon, it is preferable to use the coordinates of each vertex. In addition, the coordinates are relative to a predetermined location (for example, the upper left apex of the display shelf) in the image information such as the display shelf in the normal image information.
正置画像情報における画像フェイス領域と標本情報との類似性を判定するには，以下のような処理を行う。まず，商品識別情報特定処理部２４１における商品識別情報の特定処理の前までの処理において，正置画像情報の棚段における画像フェイス領域と，標本情報との方向が同じ（横転や倒立していない）となっており，また，それぞれの大きさが概略同じとなっている（所定範囲以上で画像情報の大きさが異なる場合には，類似性の判定の前にそれぞれの大きさが所定範囲内となるようにサイズ合わせをしておく）。
To determine the similarity between the image face area and the sample information in the orthodox image information, the following processing is performed. First, in the processing before the product identification information identification processing in the product identification information
商品識別情報特定処理部２４１は，正置画像情報における画像フェイス領域と，標本情報との類似性を判定するため，正置画像情報における画像フェイス領域の画像特徴量（たとえば局所特徴量）に基づく特徴点と，標本情報との画像特徴量（たとえば局所特徴量）に基づく特徴点を，それぞれ抽出する。そして，画像フェイス領域の特徴点と，標本情報の特徴点とでもっとも類似性が高いペアを検出し，それぞれで対応する点の座標の差を求める。そして，差の平均値を求める。差の平均値は，画像フェイス領域の画像情報と，標本情報との全体の平均移動量を示している。そして，すべての特徴点のペアの座標差を平均の座標差と比較し，外れ度合いの大きなペアを除外する。そして，残った対応点の数で類似性を順位付ける。
The product identification information
以上のような方法で正置画像情報の画像フェイス領域と，標本情報との類似性を算出できる。また，その精度を向上させるため，さらに，色ヒストグラム同士のＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒｓ Ｄｉｓｔａｎｃｅ）を求め，類似性の尺度としてもよい。これによって，撮影された画像情報の明度情報等の環境変化に比較的強い類似性の比較を行うことができ，高精度で特定をすることができる。 By the above method, the similarity between the image face area of the orthodox image information and the sample information can be calculated. Further, in order to improve the accuracy, the EMD (Earth Movers Distance) between the color histograms may be obtained and used as a measure of similarity. As a result, it is possible to compare similarities that are relatively strong against environmental changes such as brightness information of captured image information, and it is possible to identify with high accuracy.
類似性の判定としては，ほかにも，各画像フェイス領域の画像情報のシグネチャ（画像特徴量と重みの集合）同士のＥＭＤを求め，類似性の尺度としてもよい。シグネチャの画像特徴量としては，たとえば画像フェイス領域のＨＳＶ色空間内の頻度分布を求め，色相と彩度に関してグルーピングを行って，特徴の個数とＨＳＶ色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは，撮影条件に大きく左右されないように，明度への依存度を下げるためである。 In addition, as the determination of similarity, the EMD of the signatures (set of image features and weights) of the image information of each image face region may be obtained and used as a measure of similarity. As the image feature amount of the signature, for example, the frequency distribution in the HSV color space of the image face area is obtained, and the hue and saturation are grouped to obtain the number of features and the image feature amount according to the area in the HSV color space. Can be done. The reason for grouping the hue and saturation is to reduce the dependence on brightness so that it is not greatly affected by the shooting conditions.
また，処理の高速化のため，シグネチャとＥＭＤの代わりに，適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のＬ２距離等の類似性を用いることもできる。 Further, in order to speed up the processing, it is possible to use the similarity such as the L2 distance between the image features such as the color colorogram and the color histogram of the image information in an appropriate color space instead of the signature and the EMD.
類似性の判定は，上述に限定をするものではない。特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。 The determination of similarity is not limited to the above. The identified product identification information corresponds to the shooting date / time information, the store information, the image information identification information of the shooting image information, the image identification information of the normal image information, and the face identification information for identifying the face, and the product identification information storage unit. Store in 27.
画像情報記憶部２５は，入力端末３から受け付けた撮影画像情報，深さ情報や深さマップ，撮影日時，店舗識別情報，画像情報識別情報などを対応づけて記憶する。撮影画像情報とは，本発明の処理対象となる画像情報であればよい。一般的には，単に撮影した場合，撮影対象物を正対した状態で撮影することが困難であることから，それを正対した状態に補正する補正処理，たとえば台形補正処理などを実行することがよい。一つの陳列棚を複数枚で撮影した場合に，それが一つの画像情報として合成された画像情報も含まれる。また，歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。
The image
標本情報記憶部２６は，正置画像情報に写っている陳列棚の棚段に陳列されている商品がどの商品であるかを識別するための標本情報を記憶する。標本情報は，陳列棚に陳列される可能性のある商品を，上下，左右，斜めなど複数の角度から撮影をした画像情報である。図２２に標本情報記憶部２６に記憶される標本情報の一例を示す。図２２では，標本情報として，缶ビールをさまざまな角度から撮影をした場合を示しているが，缶ビールに限られない。標本情報記憶部２６は，標本情報と，商品識別情報とを対応付けて記憶する。
The sample
なお，標本情報記憶部２６には，商品の標本画像情報とともに，または標本画像情報に代えて，標本画像情報から抽出された，類似性の算出に必要となる情報，たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本情報は，標本画像情報のほか，類似性の算出に必要となる情報であってもよい。この場合，商品識別情報特定処理部２４１は，画像フェイス領域と，標本情報とのマッチング処理を行う際に，標本情報について毎回，画像特徴量を算出せずともよくなり，計算時間を短縮することができる。
In the sample
商品識別情報記憶部２７は，陳列棚の棚段の各フェイスに表示されている商品の商品識別情報を記憶する。たとえば，商品識別情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，深さ情報や深さマップの識別情報，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。図２３に陳列棚を撮影した撮影画像情報における画像フェイス領域を模式的に示す。
The product identification
つぎに本発明の情報処理システム１の処理プロセスの一例を図５のフローチャートを用いて説明する。
Next, an example of the processing process of the
店舗の陳列棚が撮影された撮影画像情報，深さ情報をマッピングした深さマップは，入力端末３から入力され，管理端末２の撮影画像情報入力受付処理部２０，深さ入力受付処理部２１でその入力を受け付ける（Ｓ１００）。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。図２４に撮影画像情報の一例を示す。深さマップの一例が図８である。そして，撮影画像情報入力受付処理部２０，深さ入力受付処理部２１は，入力を受け付けた撮影画像情報，深さ情報や深さマップ，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報を対応づけて画像情報記憶部２５に記憶させる。
The photographed image information captured on the display shelf of the store and the depth map mapping the depth information are input from the
管理端末２において所定の操作入力を受け付けると，正置化処理部２２は，画像情報記憶部２５に記憶する撮影画像情報を抽出し，台形補正処理などの正置化処理を行うための頂点である棚位置（陳列棚の位置）の４点の入力を受け付け，正置化処理を実行する（Ｓ１１０）。このようにして正置化処理が実行された撮影画像情報（正置画像情報）の一例が，図２５である。
When the
また正置化処理部２２は，上述で正置化処理をした撮影画像情報に対応する深さマップに対して，同様の正置化処理を実行する（Ｓ１１０）。これによって，正置画像情報と深さマップとを同じ位置関係で対応づけることができる。
Further, the
以上のように撮影画像情報，深さマップに対する正置化処理の実行後，深さ処理部２３における異常値除去処理部２３０は，深さ情報の平均値から所定範囲以上乖離している深さ情報を異常値として除去する（Ｓ１２０）。
As described above, after executing the orthostatic processing for the captured image information and the depth map, the abnormal value removing
そして，深さ処理部２３における面種別特定処理部２３１は，深さマップの深さ情報に基づいて面を検出し，面種別を特定する（Ｓ１３０）。
Then, the surface type
すなわち，面種別特定処理部２３１は，ローパスフィルタリングをした上で，深さ情報に基づいて３次元の表面モデルを形成し，平面，円筒の面，凸のゆがんだ多面体の領域の面を特定する。そして，検出した各面をラベリングし，各面の深さ情報に基づいてレベルを算出する。そして算出したレベルに基づいて，各面の前後関係を特定する。このように特定した面の前後関係を用いて，各面について，棚段の前面，商品タグ面，棚段の後板面，商品面として面の種別を特定する。
That is, the surface type
このように各面を特定すると，深さフェイス特定処理部２３２は，管理端末２において入力を受け付けた，陳列棚の棚段に陳列される商品のパッケージタイプに基づいて（Ｓ１４０），面種別特定処理部２３１で特定した商品面に対し，深さフェイス領域を特定する処理を実行する（Ｓ１５０）。
When each surface is specified in this way, the depth face
そして深さフェイス特定処理部２３２が商品面についての深さフェイス領域を特定すると，画像認識処理部２４の商品識別情報特定処理部２４１が，特定した深さフェイス領域に対応する正置画像情報の領域を画像フェイス領域として切り出し（Ｓ１６０），標本情報記憶部２６に記憶する標本情報とマッチング処理を行うことで，当該画像フェイス領域における商品の商品識別情報を特定する（Ｓ１７０)。これを画像フェイス領域ごとに行うことで，陳列棚の棚段に陳列されている商品の商品識別情報が特定できる。
Then, when the depth face specifying
すなわち，処理対象となる正置画像情報における画像フェイス領域と，標本情報記憶部２６に記憶する標本情報との類似性を判定し，その類似性がもっとも高い標本情報に対応する商品識別情報を特定し，特定した類似性があらかじめ定めた閾値以上であれば，上記座標で構成される画像フェイス領域に表示されている商品の商品識別情報として特定をする。そして，商品識別情報特定処理部２４１は，特定した商品識別情報を，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，深さ情報や深さマップ，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。
That is, the similarity between the image face area in the orthodox image information to be processed and the sample information stored in the sample
以上のような処理を実行することで，撮影した画像情報において商品が陳列されている領域を適切に設定することができるので，標本情報と類似性の比較をする際の精度を高めることができる。 By executing the above processing, the area where the products are displayed can be appropriately set in the captured image information, so that the accuracy when comparing the similarity with the sample information can be improved. ..
一方，面種別特定処理部２３１において商品タグ面を特定すると，画像認識処理部２４における商品タグ内情報特定処理部２４０が，特定した商品タグ面に対応する正置画像情報の領域（商品タグ領域）を切り出し（Ｓ１８０），商品タグ領域に記載されている情報をＯＣＲ認識などにより特定する処理を実行する（Ｓ１９０）。
On the other hand, when the product tag surface is specified by the surface type
すなわち，処理対象となる正置画像情報の商品タグ領域に対してＯＣＲ認識を行い，商品タグに記載された商品識別情報，価格などの情報を特定する処理を実行する。そして特定した商品タグに記載された情報を，商品タグ内情報特定処理部２４０は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，深さ情報や深さマップ，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。なお，商品識別情報については，商品識別情報特定処理部２４１でも認識しているので，２つの認識結果が一致している場合にはそのまま登録をし，認識結果が相違している場合にはエラー表示を行うようにしてもよい。また，優先度を設け，いずれかの認識結果を優先して登録をするようにしてもよい。
That is, OCR recognition is performed on the product tag area of the orthodox image information to be processed, and processing for specifying information such as product identification information and price described in the product tag is executed. Then, the information specified
以上のような処理を実行することで，撮影した画像情報において商品タグの領域を適切に設定することができるので，ＯＣＲ認識による商品タグに記載されている情報の認識精度を向上させることができる。 By executing the above processing, the area of the product tag can be appropriately set in the captured image information, so that the recognition accuracy of the information described in the product tag by OCR recognition can be improved. ..
上述の実施例１では，商品識別情報特定処理部２４１が，深さフェイス特定処理部２３２で特定した深さフェイス領域に対応する正置画像情報の画像フェイス領域と，標本情報との類否判定処理を行う場合を説明したが，それに代えてまたはそれに加えて，面種別特定処理部２３１で特定した商品面の領域に基づいて，正置画像情報で対応する領域を特定し，そこから画像フェイス領域を特定して標本情報との類否の判定処理を実行するように構成してもよい。
In the first embodiment described above, the product identification information specifying
本実施例における画像認識処理部２４の処理機能の一例を図２６のブロック図に示す。本実施例の画像認識処理部２４では，さらに画像フェイス特定処理部２４２を備える。
An example of the processing function of the image
画像フェイス特定処理部２４２は，深さフェイス特定処理部２３２で特定した商品面の領域に基づいて，正置画像情報で対応する領域（商品陳列領域）を特定する。画像フェイス特定処理部２４２における画像フェイス領域の特定処理は，深さフェイス特定処理部２３２で特定した商品面に対応する正置画像情報の商品陳列領域において，商品と商品との間に生じる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，画像フェイス領域を特定する。
The image face specifying
画像フェイス領域の特定処理としては，商品のカテゴリや商品の形態によって，任意の方法を採用可能であり，上記に限定するものではない。 As the processing for specifying the image face area, any method can be adopted depending on the product category and the product form, and the processing is not limited to the above.
一般的には，一つの棚段には，同じような種類の商品が置かれることが多い。その場合，商品の大きさもほぼ同じ大きさである。そこで，商品陳列領域において一つの画像フェイス領域を特定した場合，その領域を棚段において反復して設定することで，当該商品陳列領域における画像フェイス領域を特定してもよい。 In general, similar types of products are often placed on one shelf. In that case, the size of the product is almost the same. Therefore, when one image face area is specified in the product display area, the image face area in the product display area may be specified by repeatedly setting the area on the shelf.
画像フェイス特定処理部２４２における二回目以降の画像フェイス領域の特定処理は，同一の陳列棚の同一の棚段の商品陳列領域について，前回（Ｎ−１回目）の正置画像情報で特定した画像フェイス領域の座標を，今回（Ｎ回目）の正置画像情報で特定した画像フェイス領域の座標とするようにしてもよい。
The second and subsequent image face area identification processes in the image face
そして商品識別情報特定処理部２４１は，画像フェイス特定処理部２４２で特定した画像フェイス領域と，標本情報記憶部２６に記憶する標本情報との類否判定を行うことで，当該画像フェイス領域にある商品の商品識別情報を特定する。
Then, the product identification information
本実施例のように，画像フェイス特定処理部２４２における，深さマップに基づいて特定した商品面を用いて正置画像情報における画像フェイス領域を特定する処理は，たとえば深さフェイス特定処理部２３２で深さフェイス領域を特定できなかった場合に実行してもよいし，深さフェイス特定処理部２３２の処理と併存させてもよい。処理を併存させる場合としては，たとえば深さフェイス特定処理部２３２で特定した深さフェイス領域が所定の幅以上であった場合がある。この場合，商品面の全体（商品陳列領域の全体）にわたって画像フェイス特定処理部２４２の処理を実行してもよいし，所定の幅以上であった深さフェイス領域に対して画像フェイス特定処理部２４２の処理を実行してもよい。
As in this embodiment, the process of specifying the image face area in the orthodox image information using the product surface specified based on the depth map in the image face specifying
上述の実施例１では，深さ処理部２３が特定した商品タグ面に対応する領域（商品タグ領域）を正置画像情報からそのまま特定をする処理を実行していた。しかし商品タグは，商品の購入者から視認しやすいように，棚段の前面にやや上方に傾いて取り付けられていることも多い。その場合，撮影画像情報を正置化処理しただけでは，商品タグが棚段の前面でやや上方に傾いた状態となる。そのため，商品タグ内情報特定処理部２４０におけるＯＣＲ認識処理を行う場合の認識精度に影響を与える可能性がある。そこで，本実施例では，正置画像情報における商品タグ面に対応する領域（商品タグ領域）について，さらに正置化することで，商品タグを正対した状態に補正する場合を説明する。
In the above-described first embodiment, the process of directly specifying the area (product tag area) corresponding to the product tag surface specified by the
本実施例における画像認識処理部２４の処理機能の一例を図２７のブロック図に示す。本実施例の画像認識処理部２４では，さらに，商品タグ領域正置化処理部２４３を有する。
An example of the processing function of the image
商品タグ領域正置化処理部２４３は，面種別特定処理部２３１で特定した商品タグ面に対応する正置画像情報の領域（商品タグ領域）を切り出し，商品タグ領域の画像情報を正置化する正置化処理を実行する。図２８に，図２５の正置画像情報から商品タグ領域を切り出した状態を示す図である。図２８（ａ）が図２５の上段にある商品タグ領域，図２８（ｂ）が図２５の下段にある商品タグ領域である。なお，図２８において，一点鎖線で示しているのが棚段の前面に対応する正置画像情報の領域であり，実線で示しているのが商品タグ領域の画像情報である。なお，以下の説明では，商品タグ面に対して正置化処理を実行する場合であるが，商品タグは棚段の前面に位置することが多い。そのため，棚段の前面および／または商品タグ領域に対して正置化処理をすることでもよい。その場合は，商品タグ領域を棚段の前面に対応する正置画像情報の領域に読み替えればよい。
The product tag area
商品タグ領域正置化処理部２４３は，以下のような処理を実行することで，正置画像情報における商品タグ領域を正置化する。すなわち，正置画像情報における商品タグ領域において，エッジ検出を行い，左右の両端に近い箇所で，一定の長さ以上の垂直に近い輪郭線（たとえば７０度から１１０度のように，垂直（９０度）から所定範囲の角度内の輪郭線）を特定する。なお，左右の両端に近い箇所の輪郭線を抽出することが好ましいが，それに限定しない。図２８の正置画像情報の商品タグ領域の場合，Ｌ１乃至Ｌ４をそれぞれ特定する。なお，特定する輪郭線Ｌ１乃至Ｌ４は，実際に商品タグ領域に描画するわけではない。そして図２８（ａ）のＬ１，Ｌ２，図２８（ｂ）のＬ３，Ｌ４が，それぞれ垂直線となるように，商品タグ領域に対する台形補正処理をそれぞれ実行する。
The product tag area
このような処理を実行することで，商品タグ領域の画像情報を正置化し，図２９に示す正置化した商品タグ領域の画像情報を得られる。なお，商品タグ領域正置化処理部２４３の処理を実行することで，商品タグ内情報特定処理部２４０のＯＣＲ認識の精度を向上させることができる。
By executing such a process, the image information of the product tag area can be rectified, and the image information of the rectified product tag area shown in FIG. 29 can be obtained. By executing the processing of the product tag area
そして，商品タグ内情報特定処理部２４０は，正置化処理をした商品タグ領域に対して，実施例１におけるＯＣＲ認識処理を実行する。
Then, the information
上述の実施例３では，商品タグが棚段の前面でやや上方に傾いた状態で取り付けられている状態を補正するため，商品タグ領域について正置化処理を実行する一例を示した。本実施例では別の正置化処理として，面種別特定処理部２３１で特定した商品タグ面の法線が視点方向を向くように，商品タグ面に対応する正置画像情報の領域である商品タグ領域を３次元空間上で回転させることにより，より正確に正置化処理を実行することができる。
In Example 3 described above, an example is shown in which the product tag area is subjected to the orthostatic processing in order to correct the state in which the product tag is attached in a state of being slightly tilted upward on the front surface of the shelf. In this embodiment, as another normalization process, a product that is an area of normal image information corresponding to the product tag surface so that the normal of the product tag surface specified by the surface type
商品タグ領域，商品面などを模式的に示すのが図３０である。図３０（ａ）は，商品タグ面，商品面を斜め上方からイメージ化した図であり，図３０（ｂ）は，商品タグ面，商品面を側面からイメージ化した図である。 FIG. 30 schematically shows a product tag area, a product surface, and the like. FIG. 30A is a diagram in which the product tag surface and the product surface are imaged from diagonally above, and FIG. 30B is a diagram in which the product tag surface and the product surface are imaged from the side surface.
商品タグ領域正置化処理部２４３は，面種別特定処理部２３１で特定した商品タグ面の法線ベクトルを算出し，その法線ベクトルが，撮影装置における深さ情報を取得するための深さ検出装置，たとえば赤外線照射装置やステレオカメラを向くように，商品タグ面を３次元空間上で垂直方向および／または水平方向へ回転させる変換を特定する。そして，面種別特定処理部２３１で特定した商品タグ面に対応する正置画像情報における商品タグ領域に，特定した垂直方向および／または水平方向へ回転させる変換を実施する。これを模式的に示すのが図３１である。図３１（ａ）は正面からの図であり，図３１（ｂ）は側面からの図である。
The product tag area
本実施例のような正置化処理を実行することで，商品タグ面の輪郭がいびつな形状である場合や商品タグが陳列棚の前面に左右方向に傾いて設置されている場合でも，より精度よく正置化することができる。 By executing the erecting process as in this embodiment, even if the outline of the product tag surface has a distorted shape or the product tag is installed on the front surface of the display shelf at an angle in the left-right direction, it can be further improved. It can be accurately placed upright.
なお，上述における商品タグ面の特定としては，面種別特定処理部２３１において検出した面と，その面のレベルによる前後関係とに基づいて，商品識別情報特定処理部２４１において深さ処理部２３で特定した深さフェイス領域における面よりも前側の面（レベルが小さい面）を商品タグ面として特定してもよい。たとえば前回（Ｎ−１回目）の処理で特定した深さフェイス領域における面を用いて，今回（Ｎ回目）の処理における商品タグ面，商品面の特定に用いてもよい。
The product tag surface specified above is specified by the
本発明の情報処理システムにおいて，さらに陳列棚に陳列されている商品の欠品を特定できるように構成してもよい。この場合，深さ処理部２３において，深さ情報を用いて面種別特定処理部２３１が検出した商品面よりも所定値または所定割合だけレベルが後方（レベルが大きい）の面の部分であって，商品面と水平方向がそろっている領域を「空」として判定をする。そして画像認識処理部２４は，深さ処理部２３において「空」と判定した領域に対応する正置画像情報における領域について，陳列棚において商品が陳列されていない領域として判定をする。
The information processing system of the present invention may be configured so that a missing item of a product displayed on a display shelf can be further identified. In this case, the
このような処理を実行することによって，陳列棚に商品の抜け（「空」である）があることを判定することができる。 By executing such a process, it can be determined that there is a missing item (“empty”) on the display shelf.
通常，画像情報のみから「空」を判定するためには，本来，商品があるべき位置が周囲よりも暗い，背景色と同じ色であるなどに基づいて特定をするが，照明の状態や撮影の角度によっては精度を保つことが難しい場合がある。しかし，本実施例のように，撮影画像情報または正置画像情報に対応した深さ情報を用いて商品面のレベルを特定し，特定した商品面よりも一定程度後退している領域を「空」として判定することで，画像情報のみから「空」を判定するよりも高い精度で判定をすることができる。 Normally, in order to judge "sky" only from image information, it is specified based on the position where the product should be is darker than the surroundings, the same color as the background color, etc., but the lighting condition and shooting It may be difficult to maintain accuracy depending on the angle of. However, as in this embodiment, the level of the product surface is specified by using the captured image information or the depth information corresponding to the erect image information, and the area recessed to a certain extent from the specified product surface is "empty". By making a judgment as "", it is possible to make a judgment with higher accuracy than judging "empty" from only the image information.
上述の実施例１乃至実施例５の処理を，適宜，組み合わせることもできる。またその各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。また，深さ処理部２３，画像認識処理部２４における各処理は，撮影画像情報に対して正置化処理を実行した正置画像情報に対して実行したが，撮影画像情報に対して実行をしてもよい。その場合，正置画像情報を，撮影画像情報と読み替えればよい。また撮影画像情報，正置画像情報を総称して，単に画像情報とする。
The processes of Examples 1 to 5 described above can be combined as appropriate. Further, each process is not limited to the order described in the specification of the present invention, and can be appropriately changed as long as the object is achieved. Further, each process in the
さらに，本発明の情報処理システムは，店舗の陳列棚を撮影した撮影画像情報の場合に有効であるが，それに限定するものではない。すなわち，ある撮影対象物を撮影した場合に，その所望の対象物が写っている領域を撮影した画像情報から特定する際に，広く用いることができる。そして，上述の各処理を実行することで，精度よく，所望の対象物が写っている領域を画像情報から特定することができる。 Further, the information processing system of the present invention is effective in the case of photographed image information obtained by photographing the display shelves of a store, but is not limited thereto. That is, when a certain object to be photographed is photographed, it can be widely used when specifying the area in which the desired object is captured from the photographed image information. Then, by executing each of the above-mentioned processes, it is possible to accurately identify the area in which the desired object is captured from the image information.
本発明の情報処理システム１を用いることによって，撮影対象物を撮影した画像情報から，所定の領域を精度よく特定することができる。とくに，陳列棚を撮影した画像における商品の陳列部分，商品タグの領域を精度よく特定することができる。
By using the
１：情報処理システム
２：管理端末
３：入力端末
２０：撮影画像情報入力受付処理部
２１：深さ入力受付処理部
２２：正置化処理部
２３：深さ処理部
２４：画像認識処理部
２５：画像情報記憶部
２６：標本情報記憶部
２７：商品識別情報記憶部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２３０：異常値除去処理部
２３１：面種別特定処理部
２３２：深さフェイス特定処理部
２４０：商品タグ内情報特定処理部
２４１：商品識別情報特定処理部
２４２：画像フェイス特定処理部
２４３：商品タグ領域正置化処理部
1: Information processing system 2: Management terminal 3: Input terminal 20: Captured image information input reception processing unit 21: Depth input reception processing unit 22: Orthostatic processing unit 23: Depth processing unit 24: Image recognition processing unit 25 : Image information storage unit 26: Specimen information storage unit 27: Product identification information storage unit 70: Arithmetic device 71: Storage device 72: Display device 73: Input device 74: Communication device 230: Abnormal value removal processing unit 231: Surface type identification Processing unit 232: Depth face specifying processing unit 240: Product tag information specifying processing unit 241: Product identification information specifying processing unit 242: Image face specifying processing unit 243: Product tag area normalization processing unit
Claims (11)
前記情報処理システムは，
前記画像情報に写っている対象物までの前記深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，商品面または深さフェイス領域を特定する深さ処理部と，
前記特定した商品面または深さフェイス領域を用いて，前記深さマップに対応する前記画像情報における画像フェイス領域を特定する画像認識処理部と，
を有することを特徴とする情報処理システム。 An information processing system that uses image information and depth information.
The information processing system
Using a three-dimensional surface model formed by using a depth map in which the depth information up to the object reflected in the image information is mapped to a position corresponding to the image information, the product surface or the depth. Depth processing unit that identifies the face area and
An image recognition processing unit that specifies an image face area in the image information corresponding to the depth map by using the specified product surface or depth face area.
An information processing system characterized by having.
前記特定した画像フェイス領域と標本情報との類似性を判定することで，前記画像フェイス領域に陳列されている商品の商品識別情報を特定する，
ことを特徴とする請求項１に記載の情報処理システム。 The image recognition processing unit
By determining the similarity between the specified image face area and the sample information, the product identification information of the product displayed in the image face area is specified.
The information processing system according to claim 1.
前記情報処理システムは，
前記画像情報と，前記画像情報に写っている対象物までの前記深さ情報が前記画像情報と対応する位置にマッピングされている深さマップとに対して第１の正置化処理を行う正置化処理部と，
前記正置化した深さマップを用いて形成した３次元の表面モデルを用いて，陳列棚における商品タグ面を特定する深さ処理部と，
前記深さ処理部で特定した商品タグ面を用いて，前記正置化した深さマップに対応する前記正置化した画像情報における商品タグ領域を特定し，前記特定した商品タグ領域に対して第２の正置化処理をし，前記第２の正置化処理をした商品タグ領域の一部または全部に対してＯＣＲ認識処理を行うことで，商品タグに記載される情報を認識する画像認識処理部と，
を有することを特徴とする情報処理システム。 An information processing system that uses image information and depth information.
The information processing system
A positive process is performed on the image information and the depth map in which the depth information up to the object reflected in the image information is mapped to a position corresponding to the image information. Placement processing unit and
Using the three-dimensional surface model formed by using the orthotopic depth map, the depth processing unit that identifies the product tag surface on the display shelf and the depth processing unit.
Using the product tag surface specified by the depth processing unit, the product tag area in the orthostatic image information corresponding to the orthotopic depth map is specified, and the product tag area specified is used. An image that recognizes the information described in the product tag by performing the second emplacement processing and performing the OCR recognition processing on a part or all of the product tag area that has undergone the second emplacement processing. Recognition processing unit and
An information processing system characterized by having.
前記情報処理システムは，
前記画像情報に写っている対象物までの前記深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，陳列棚における商品タグ面を特定する深さ処理部と，
前記深さ処理部で特定した商品タグ面を用いて，前記深さマップに対応する前記画像情報における商品タグ領域を特定する画像認識処理部と，を有しており，
前記画像認識処理部は，
前記商品タグ面の法線が視点方向を向くように，前記商品タグ面を３次元空間上で回転させる変換を特定し，
前記商品タグ面に対応する商品タグ領域に対して，前記特定した回転させる変換を実行することで，前記商品タグ領域を正置化し，
前記正置化した商品タグ領域の一部または全部に対してＯＣＲ認識処理を行うことで，商品タグに記載される情報を認識する，
ことを特徴とする情報処理システム。 An information processing system that uses image information and depth information.
The information processing system
Product tags on display shelves using a three-dimensional surface model formed using a depth map in which the depth information up to the object reflected in the image information is mapped to a position corresponding to the image information. Depth processing unit that identifies the surface and
It has an image recognition processing unit that specifies a product tag area in the image information corresponding to the depth map by using the product tag surface specified by the depth processing unit.
The image recognition processing unit
A transformation that rotates the product tag surface in three-dimensional space is specified so that the normal of the product tag surface faces the viewpoint direction.
By executing the specified rotation conversion for the product tag area corresponding to the product tag surface, the product tag area is placed upright.
By performing OCR recognition processing on a part or all of the product tag area that has been placed upright, the information described in the product tag is recognized.
An information processing system characterized by this.
前記情報処理システムは，
前記画像情報に写っている対象物までの前記深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，商品面または深さフェイス領域の後方にある領域を特定する深さ処理部と，
前記特定した領域を用いて，前記画像情報における商品が陳列されていない領域を特定し，陳列棚に商品の抜けがあることを判定する画像認識処理部と，
を有することを特徴とする情報処理システム。 An information processing system that uses image information and depth information.
The information processing system
Using a three-dimensional surface model formed by using a depth map in which the depth information up to the object reflected in the image information is mapped to a position corresponding to the image information, the product surface or the depth. A depth processing unit that identifies the area behind the face area,
Using the specified area, an image recognition processing unit that identifies an area in the image information where products are not displayed and determines that there is a missing product on the display shelf, and an image recognition processing unit.
An information processing system characterized by having.
前記情報処理システムは，
前記画像情報に写っている対象物までの前記深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いてあらかじめ定めた領域を特定する深さ処理部と，
前記深さマップに対応する前記画像情報において，前記深さ処理部で特定した領域に対応する領域を特定する画像認識処理部と，
を有することを特徴とする情報処理システム。 An information processing system that uses image information and depth information.
The information processing system
A predetermined region is specified using a three-dimensional surface model formed by using a depth map in which the depth information up to the object reflected in the image information is mapped to a position corresponding to the image information. Depth processing unit and
In the image information corresponding to the depth map, an image recognition processing unit that specifies an area corresponding to the area specified by the depth processing unit, and an image recognition processing unit.
An information processing system characterized by having.
画像情報に写っている対象物までの深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，商品面または深さフェイス領域を特定する深さ処理部，
前記特定した商品面または深さフェイス領域を用いて，前記深さマップに対応する前記画像情報における画像フェイス領域を特定する画像認識処理部，
として機能させることを特徴とする情報処理プログラム。 Computer,
Product surface or depth face area using a three-dimensional surface model formed using a depth map in which the depth information to the object shown in the image information is mapped to the position corresponding to the image information. Depth processing unit, which identifies
An image recognition processing unit that specifies an image face area in the image information corresponding to the depth map by using the specified product surface or depth face area.
An information processing program characterized by functioning as.
画像情報と，前記画像情報に写っている対象物までの深さ情報が前記画像情報と対応する位置にマッピングされている深さマップとに対して第１の正置化処理を行う正置化処理部，
前記正置化した深さマップを用いて形成した３次元の表面モデルを用いて，陳列棚における商品タグ面を特定する深さ処理部，
前記深さ処理部で特定した商品タグ面を用いて，前記正置化した深さマップに対応する前記正置化した画像情報における商品タグ領域を特定し，前記特定した商品タグ領域に対して第２の正置化処理をし，前記第２の正置化処理をした商品タグ領域の一部または全部に対してＯＣＲ認識処理を行うことで，商品タグに記載される情報を認識する画像認識処理部，
として機能させることを特徴とする情報処理プログラム。 Computer,
The first emplacement processing is performed on the image information and the depth map in which the depth information to the object reflected in the image information is mapped to the position corresponding to the image information. Processing unit,
A depth processing unit that identifies the product tag surface on the display shelf using a three-dimensional surface model formed using the orthostatic depth map.
Using the product tag surface specified by the depth processing unit, the product tag area in the orthostatic image information corresponding to the orthotopic depth map is specified, and the product tag area specified is used. An image that recognizes the information described in the product tag by performing the second emplacement processing and performing the OCR recognition processing on a part or all of the product tag area that has undergone the second emplacement processing. Recognition processing unit,
An information processing program characterized by functioning as.
画像情報に写っている対象物までの深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，陳列棚における商品タグ面を特定する深さ処理部，
前記深さ処理部で特定した商品タグ面を用いて，前記深さマップに対応する前記画像情報における商品タグ領域を特定する画像認識処理部，として機能させる情報処理プログラムであって，
前記画像認識処理部は，
前記商品タグ面の法線が視点方向を向くように，前記商品タグ面を３次元空間上で回転させる変換を特定し，
前記商品タグ面に対応する商品タグ領域に対して，前記特定した回転させる変換を実行することで，前記商品タグ領域を正置化し，
前記正置化した商品タグ領域の一部または全部に対してＯＣＲ認識処理を行うことで，商品タグに記載される情報を認識する，
ことを特徴とする情報処理プログラム。 Computer,
Using a three-dimensional surface model formed using a depth map in which the depth information to the object shown in the image information is mapped to the position corresponding to the image information, the product tag surface on the display shelf is displayed. Depth processing unit to specify,
An information processing program that functions as an image recognition processing unit that specifies a product tag area in the image information corresponding to the depth map by using the product tag surface specified by the depth processing unit.
The image recognition processing unit
A transformation that rotates the product tag surface in three-dimensional space is specified so that the normal of the product tag surface faces the viewpoint direction.
By executing the specified rotation conversion for the product tag area corresponding to the product tag surface, the product tag area is placed upright.
By performing OCR recognition processing on a part or all of the product tag area that has been placed upright, the information described in the product tag is recognized.
An information processing program characterized by this.
画像情報に写っている対象物までの深さ情報が，前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いて，商品面または深さフェイス領域の後方にある領域を特定する深さ処理部，
前記特定した領域を用いて，前記画像情報における商品が陳列されていない領域を特定し，陳列棚に商品の抜けがあることを判定する画像認識処理部，
として機能させることを特徴とする情報処理プログラム。 Computer,
The product surface or depth face is used by using a three-dimensional surface model formed by using a depth map in which the depth information to the object shown in the image information is mapped to the position corresponding to the image information. Depth processing unit that identifies the area behind the area,
Using said identified region, the identified areas where items are not display in the image information, the image recognition processing section determines that there is a missing item in the display rack,
An information processing program characterized by functioning as.
画像情報に写っている対象物までの深さ情報が前記画像情報と対応する位置にマッピングされている深さマップを用いて形成した３次元の表面モデルを用いてあらかじめ定めた領域を特定する深さ処理部，
前記深さマップに対応する前記画像情報において，前記深さ処理部で特定した領域に対応する領域を特定する画像認識処理部，
として機能させることを特徴とする情報処理プログラム。 Computer,
Depth that identifies a predetermined area using a three-dimensional surface model formed by using a depth map in which the depth information to the object reflected in the image information is mapped to the position corresponding to the image information. Processing unit,
An image recognition processing unit that specifies an area corresponding to a region specified by the depth processing unit in the image information corresponding to the depth map.
An information processing program characterized by functioning as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019203567A JP6890849B2 (en) | 2018-06-20 | 2019-11-08 | Information processing system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018116678A JP6628336B2 (en) | 2018-06-20 | 2018-06-20 | Information processing system |
| JP2019203567A JP6890849B2 (en) | 2018-06-20 | 2019-11-08 | Information processing system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018116678A Division JP6628336B2 (en) | 2018-06-20 | 2018-06-20 | Information processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020021520A JP2020021520A (en) | 2020-02-06 |
| JP6890849B2 true JP6890849B2 (en) | 2021-06-18 |
Family
ID=69589894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019203567A Active JP6890849B2 (en) | 2018-06-20 | 2019-11-08 | Information processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6890849B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6798741B1 (en) * | 2020-05-07 | 2020-12-09 | ｅＢＡＳＥ株式会社 | Server equipment, information processing methods, and programs |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007058805A (en) * | 2005-08-26 | 2007-03-08 | Fuji Heavy Ind Ltd | Forward environment recognition device |
| JP6230814B2 (en) * | 2013-05-24 | 2017-11-15 | 株式会社ブレイン | Article identification system and its program |
| JP6318557B2 (en) * | 2013-11-11 | 2018-05-09 | 日本電気株式会社 | POS terminal device, POS system, image processing method and program |
| US10586101B2 (en) * | 2014-03-12 | 2020-03-10 | Nec Corporation | Display condition analysis device, display condition analysis method, and program recording medium |
| JP6322603B2 (en) * | 2015-06-23 | 2018-05-09 | 東芝テック株式会社 | Image processing apparatus, image processing program, and display status determination apparatus |
| AU2017245132A1 (en) * | 2016-03-29 | 2018-10-11 | Bossa Nova Robotics Ip, Inc. | System and method for locating, identifying and counting ltems |
-
2019
- 2019-11-08 JP JP2019203567A patent/JP6890849B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020021520A (en) | 2020-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102208683B1 (en) | Character recognition method and apparatus thereof | |
| KR101538935B1 (en) | Method for classifying elements of face using depth difference | |
| US8805077B2 (en) | Subject region detecting apparatus | |
| US8590794B2 (en) | Barcode recognion method and computer product thereof | |
| JP6831951B2 (en) | Image recognition system | |
| JP6458239B1 (en) | Image recognition system | |
| US10204284B2 (en) | Object recognition utilizing feature alignment | |
| TWI608422B (en) | Optical character recognition device, optical character recognition method, and recording medium | |
| US20120257822A1 (en) | Image processing apparatus, image processing method, and computer readable medium | |
| JP6628336B2 (en) | Information processing system | |
| CN107330430B (en) | Tibetan character recognition device and method | |
| US20190065877A1 (en) | Using multiple cameras to perform optical character recognition | |
| JP6651169B2 (en) | Display status judgment system | |
| JP6885563B2 (en) | Display status judgment system | |
| JP6579456B1 (en) | Search target information narrowing system | |
| JP6890849B2 (en) | Information processing system | |
| JP7449505B2 (en) | information processing system | |
| US11712807B2 (en) | Image processing apparatus, robot and robot system | |
| CN110378337B (en) | Visual input method and system for drawing identification information of metal cutting tool | |
| JP7231165B2 (en) | Verification system | |
| JP6941331B2 (en) | Image recognition system | |
| JP7343115B1 (en) | information processing system | |
| JP2020187438A (en) | Image processing system | |
| JP6966749B2 (en) | Image processing system | |
| JP7037777B2 (en) | Image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210519 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6890849 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |