JP6160243B2 - Detection apparatus, detection method, and detection program - Google Patents

Description

本発明は、検出装置、検出方法及び検出プログラムに関し、特に、物体を撮像した画像を取得する検出装置、検出方法及び検出プログラムに関する。   The present invention relates to a detection device, a detection method, and a detection program, and more particularly to a detection device, a detection method, and a detection program that acquire an image obtained by imaging an object.

一般に、コンビニエンスストア等の店舗では、ＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）システム等を利用して商品管理が行われている。しかしながら、一般的なシステムでは、商品陳列棚に陳列されている商品や商品の位置を自動的に把握することは困難である。商品陳列棚における商品の並び方は店舗の売り上げに大きく影響するため、商品陳列棚の商品や商品の位置を効果的に検出する技術が望まれている。   In general, in stores such as convenience stores, merchandise management is performed using a POS (Point of Sales) system or the like. However, in a general system, it is difficult to automatically grasp the product displayed on the product display shelf and the position of the product. Since the arrangement of the products on the product display shelf greatly affects the sales of the store, a technology for effectively detecting the product and the position of the product on the product display shelf is desired.

例えば、棚を撮影した画像から棚に配置された商品を検出する技術として、特許文献１が知られている。   For example, Patent Literature 1 is known as a technique for detecting a product arranged on a shelf from an image obtained by photographing the shelf.

特開２００９−１８７４８２号公報JP 2009-187482 A

しかしながら、特許文献１は、検出した商品から棚割モデルを生成するための技術であり、予め作成された「什器モデル」をもとにして、画像認識によって特定した各商品マスタを配置するものである。特許文献１では、予め商品が陳列される棚等の形状やサイズを「什器モデル」として作成しておくことが前提となっている。   However, Patent Document 1 is a technique for generating a shelf allocation model from detected products, and arranges each product master specified by image recognition based on a “furniture model” created in advance. is there. In Patent Document 1, it is assumed that the shape and size of a shelf or the like on which products are displayed is created in advance as a “furniture model”.

すなわち、特許文献１では、予め商品棚の形状やサイズを定義しておき、定義された棚を画像の中から認識しなければならない。したがって、特許文献１のような関連する技術では、予め棚を検出するための情報を用意し、その情報をもとに画像処理を行う必要であるため、検出処理を簡易に行うことができないという問題があった。   That is, in Patent Document 1, the shape and size of the product shelf must be defined in advance, and the defined shelf must be recognized from the image. Therefore, according to the related technology such as Patent Document 1, it is necessary to prepare information for detecting a shelf in advance and perform image processing based on the information, and thus detection processing cannot be easily performed. There was a problem.

本発明は、このような課題に鑑み、簡易に検出処理を行うことが可能な検出装置、検出方法及び検出プログラムを提供することを主要な目的としている。   In view of such a problem, the present invention has as its main object to provide a detection device, a detection method, and a detection program that can easily perform a detection process.

本発明に係る検出装置は、物体を撮像した入力画像を取得する画像取得部と、前記入力画像に含まれる前記物体を認識する物体認識部と、前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体の配置を区切る領域を検出する区切り検出部と、を備えるものである。   The detection apparatus according to the present invention includes an image acquisition unit that acquires an input image obtained by imaging an object, an object recognition unit that recognizes the object included in the input image, and an arrangement of the recognized object in the input image And a delimiter detection unit that detects a region that delimits the arrangement of the objects based on the relationship.

本発明に係る検出方法は、物体を撮像した入力画像を取得し、前記入力画像に含まれる前記物体を認識し、前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体の配置を区切る領域を検出するものである。   The detection method according to the present invention acquires an input image obtained by imaging an object, recognizes the object included in the input image, and based on an arrangement relationship of the recognized object in the input image, It detects the area that delimits the arrangement.

本発明に係る検出プログラムは、物体を撮像した入力画像を入力し、前記入力画像に含まれる前記物体を認識し、前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体の配置を区切る領域を検出する検出処理をコンピュータに実行させるための検出プログラムである。   The detection program according to the present invention inputs an input image obtained by imaging an object, recognizes the object included in the input image, and based on the arrangement relationship of the recognized object in the input image, It is a detection program for causing a computer to execute a detection process for detecting an area that divides the arrangement.

本発明によれば、簡易に検出処理を行うことが可能な検出装置、検出方法及び検出プログラムを提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the detection apparatus, the detection method, and detection program which can perform a detection process easily can be provided.

実施の形態に係る検出装置の主要な特徴を説明するための構成図である。It is a block diagram for demonstrating the main characteristics of the detection apparatus which concerns on embodiment. 実施の形態１に係る商品検出装置の構成を示す構成図である。It is a block diagram which shows the structure of the goods detection apparatus which concerns on Embodiment 1. FIG. 実施の形態１に係る商品検出装置の動作を示すフローチャートである。3 is a flowchart showing the operation of the product detection device according to the first embodiment. 実施の形態１に係る商品検出装置の動作を説明するための説明図である。6 is an explanatory diagram for explaining an operation of the commodity detection device according to the first embodiment. FIG. 実施の形態１に係る商品検出装置の動作を説明するための説明図である。6 is an explanatory diagram for explaining an operation of the commodity detection device according to the first embodiment. FIG. 実施の形態１に係る商品検出装置の動作を説明するための説明図である。6 is an explanatory diagram for explaining an operation of the commodity detection device according to the first embodiment. FIG. 実施の形態１に係る商品検出装置の動作を説明するための説明図である。6 is an explanatory diagram for explaining an operation of the commodity detection device according to the first embodiment. FIG. 実施の形態２に係る商品検出装置の構成を示す構成図である。It is a block diagram which shows the structure of the goods detection apparatus which concerns on Embodiment 2. 実施の形態２に係る商品検出装置の動作を示すフローチャートである。10 is a flowchart showing the operation of the product detection device according to the second embodiment. 実施の形態２に係る商品検出装置の動作を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining an operation of the commodity detection device according to the second embodiment. 実施の形態２に係る商品検出装置の動作を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining an operation of the commodity detection device according to the second embodiment. 実施の形態２に係る商品検出装置の動作を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining an operation of the commodity detection device according to the second embodiment. 実施の形態２に係る商品検出装置の動作を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining an operation of the commodity detection device according to the second embodiment. その他の実施の形態に係る商品検出装置の構成を示す構成図である。It is a block diagram which shows the structure of the goods detection apparatus which concerns on other embodiment.

（実施の形態の概要）
実施の形態の説明に先立って、実施の形態の特徴についてその概要を説明する。図１は、実施の形態に係る検出装置の主要な構成を示している。 (Outline of the embodiment)
Prior to the description of the embodiment, an outline of features of the embodiment will be described. FIG. 1 shows a main configuration of the detection apparatus according to the embodiment.

図１に示すように、実施の形態に係る検出装置は、画像取得部１、物体認識部２、区切り検出部３を備えている。   As shown in FIG. 1, the detection apparatus according to the embodiment includes an image acquisition unit 1, an object recognition unit 2, and a break detection unit 3.

画像取得部１は、物体を撮像した入力画像を取得する。物体認識部２は、入力画像に含まれる物体を認識する。区切り検出部３は、認識された物体の入力画像中の配置関係に基づいて、物体の配置を区切る領域を検出する。   The image acquisition unit 1 acquires an input image obtained by imaging an object. The object recognition unit 2 recognizes an object included in the input image. The delimiter detection unit 3 detects an area that delimits the arrangement of the objects based on the arrangement relationship of the recognized objects in the input image.

このように、実施の形態では、入力画像の中から物体を認識し、認識された物体の位置や方向などの配置関係から棚など物体の配置を区切る領域を検出する。このため、実施の形態では、予め棚などを検出するための情報や処理が不要であるため、簡易に検出処理を行うことができる。例えば、区切る領域を検出することにより、区切る領域に対する物体の位置を把握できるため、簡易に物体の位置を検出することができる。   As described above, in the embodiment, an object is recognized from the input image, and a region that divides the arrangement of the object such as a shelf is detected from the arrangement relationship such as the position and direction of the recognized object. For this reason, in the embodiment, since information and processing for detecting a shelf or the like in advance are not necessary, the detection processing can be easily performed. For example, since the position of the object with respect to the area to be separated can be grasped by detecting the area to be separated, the position of the object can be easily detected.

（実施の形態１）
以下、図面を参照して実施の形態１について説明する。本実施の形態では、商品の配置を区切る領域として棚の領域を検出し、特に、棚の段数を取得し、取得した段数の棚を画像の中から検出する。 (Embodiment 1)
The first embodiment will be described below with reference to the drawings. In the present embodiment, an area of a shelf is detected as an area that delimits the arrangement of products, and in particular, the number of shelf levels is acquired, and the acquired number of shelf levels is detected from the image.

図２は、本実施の形態に係る商品検出装置の構成を示している。この商品検出装置は、商品を含む棚を撮影した画像から、商品を認識するとともに、棚上の商品の位置を検出する。例えば、複数の棚２０１を有するゴンドラ什器（商品陳列棚）２００が店舗等に設置されており、各棚２０１に複数の商品２０２が陳列されている。なお、ここでは、商品を検出する商品検出装置の例を説明するが、商品に限らず、その他の物体を検出する物体検出装置（検出装置）でもよい。   FIG. 2 shows the configuration of the commodity detection apparatus according to the present embodiment. The product detection device recognizes a product from an image obtained by photographing a shelf including the product and detects the position of the product on the shelf. For example, a gondola fixture (product display shelf) 200 having a plurality of shelves 201 is installed in a store or the like, and a plurality of products 202 are displayed on each shelf 201. In addition, although the example of the goods detection apparatus which detects goods is demonstrated here, the object detection apparatus (detection apparatus) which detects not only goods but another object may be sufficient.

図２に示すように、本実施の形態に係る商品検出装置１００は、画像取得部１０１、商品認識部１０２、棚段数取得部１０３、棚特定部１０４、商品位置検出部１０５、商品情報データベース１０６を備えている。なお、後述の商品検出方法（物体検出方法）が実現できれば、その他の機能ブロックで構成してもよい。   As shown in FIG. 2, the product detection apparatus 100 according to the present embodiment includes an image acquisition unit 101, a product recognition unit 102, a shelf level acquisition unit 103, a shelf identification unit 104, a product position detection unit 105, and a product information database 106. It has. Note that other functional blocks may be used as long as a product detection method (object detection method) described later can be realized.

図２の商品検出装置１００における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。商品検出装置１００の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に後述する商品検出方法を行うための商品検出プログラム（物品検出プログラムもしくは検出プログラム）を格納し、商品検出装置１００の各機能を、記憶装置に格納された商品検出プログラムをＣＰＵで実行することにより実現してもよい。   Each function (each process) in the commodity detection apparatus 100 in FIG. 2 is configured by hardware and / or software, and may be configured by one piece of hardware or software, or may be configured by a plurality of pieces of hardware or software. May be. Each function of the commodity detection apparatus 100 may be realized by a computer having a CPU (Central Processing Unit), a memory, and the like. For example, a product detection program (article detection program or detection program) for performing a product detection method to be described later is stored in the storage device, and each function of the product detection device 100 is stored in the storage device by the CPU. It may be realized by executing.

商品検出プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。   The product detection program can be stored using various types of non-transitory computer readable media and supplied to a computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W and semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)) are included. The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

商品検出装置１００の各構成について説明する。商品情報データベース１０６は、ゴンドラ什器２００の棚２０１に陳列された商品２０２を認識するための商品マスタ情報（物品マスタ情報）を記憶する。例えば、商品マスタ情報は、商品名、商品の種類、商品を認識するための画像等を含んでいる。また、商品の画像は、商品の上下左右が識別可能となっている。   Each configuration of the commodity detection device 100 will be described. The merchandise information database 106 stores merchandise master information (article master information) for recognizing the merchandise 202 displayed on the shelf 201 of the gondola fixture 200. For example, the product master information includes a product name, a product type, an image for recognizing the product, and the like. In addition, the product image can identify the top, bottom, left and right of the product.

画像取得部１０１は、商品２０２、棚２０１、ゴンドラ什器２００を含むゴンドラ什器画像（入力画像）を取得する。例えば、店員等が一般的なカメラ２１０によりゴンドラ什器２００の全体を含むように撮影し、撮影したゴンドラ什器画像を画像取得部１０１に入力することで、画像取得部１０１が画像を取得する。ゴンドラ什器画像は、店員等がカメラ２１０を操作して撮影してもよいし、店舗等に備えられたカメラ２１０により自動的に撮影してもよい。画像取得部１０１への画像の入力は、カメラ２１０から直接入力してもよいし、記憶媒体やネットワーク等を介して入力してもよい。   The image acquisition unit 101 acquires a gondola fixture image (input image) including the product 202, the shelf 201, and the gondola fixture 200. For example, a store clerk or the like takes a picture of the entire gondola fixture 200 with a general camera 210 and inputs the shot gondola fixture image to the image acquisition unit 101, whereby the image acquisition unit 101 acquires the image. The gondola fixtures image may be taken by a store clerk operating the camera 210 or automatically by the camera 210 provided in the store. The image input to the image acquisition unit 101 may be input directly from the camera 210 or may be input via a storage medium, a network, or the like.

商品認識部（物品認識部）１０２は、入力されたゴンドラ什器画像に含まれる商品２０２を認識する。商品認識部１０２は、一般的な画像マッチング処理を行うことで商品２０２を認識する。商品認識部１０２は、商品情報データベース１０６に記憶された商品マスタ情報とゴンドラ什器画像を比較し、商品マスタ情報とマッチング（一致）する画像領域を検出することで、商品２０２の種類や位置、方向等を認識する。   The product recognition unit (article recognition unit) 102 recognizes the product 202 included in the input gondola furniture image. The product recognition unit 102 recognizes the product 202 by performing a general image matching process. The merchandise recognition unit 102 compares the merchandise master information stored in the merchandise information database 106 with the gondola apparatus image, and detects an image area that matches (matches) the merchandise master information, whereby the type, position, and direction of the merchandise 202 are detected. Recognize etc.

棚段数取得部１０３は、ゴンドラ什器２００に含まれる棚２０１の段数（区切り数）を取得する。例えば、店員等がキーボードを用いて棚段数入力部１０３に棚の段数を入力することで、棚段数入力部１０３が段数を取得する。   The shelf level number acquisition unit 103 acquires the number of levels (separation number) of the shelves 201 included in the gondola fixture 200. For example, when a store clerk or the like inputs the number of shelves into the shelf number input unit 103 using a keyboard, the shelf number input unit 103 acquires the number of levels.

棚特定部１０４は、商品の配置を区切る領域を検出する区切り検出部の一例である。本実施の形態の棚特定部１０４は、認識された複数の商品２０２の配置位置の差分に基づいて棚２０１の領域（商品の配置を区切る領域）を特定する。棚特定部１０４は、認識した商品２０２の位置が離れている領域を棚２０１の領域と判定する。特に、棚特定部１０４は、取得した段数の棚２０１の領域を、ゴンドラ什器画像の中から特定する。なお、棚２０１の領域を検出する例について説明するが、棚のライン（配置面）のみを検出してもよい。棚特定部１０４は、商品の上端または下端の差分に基づいて、商品の上端より上に棚２０１を検出してもよいし、商品の下端より下に棚２０１を検出してもよい。さらに、棚特定部１０４は、商品の右端または左端の差分に基づいて、商品の右端より右に棚２０１を検出してもよいし、商品の左端より左に棚２０１を検出してもよい。   The shelf specifying unit 104 is an example of a delimiter detection unit that detects an area that delimits the arrangement of products. The shelf specifying unit 104 according to the present embodiment specifies an area of the shelf 201 (an area for dividing the arrangement of the products) based on the difference in the arrangement positions of the plurality of recognized products 202. The shelf specifying unit 104 determines that the area where the recognized product 202 is separated is the area of the shelf 201. In particular, the shelf specifying unit 104 specifies the area of the shelf 201 having the acquired number of stages from the gondola fixture image. In addition, although the example which detects the area | region of the shelf 201 is demonstrated, you may detect only the line (arrangement surface) of a shelf. The shelf specifying unit 104 may detect the shelf 201 above the upper end of the product or may detect the shelf 201 below the lower end of the product based on the difference between the upper end or the lower end of the product. Furthermore, the shelf specifying unit 104 may detect the shelf 201 to the right of the right end of the product, or may detect the shelf 201 to the left of the left end of the product based on the difference between the right end or the left end of the product.

商品位置検出部（物品位置検出部）１０５は、ゴンドラ什器画像の中で認識された商品２０２と特定された棚２０１とに基づき、棚２０１に対する商品２０２の位置を検出する。商品位置検出部１０５は、ゴンドラ什器２００における各棚２０１の左右方向の順番（フェイス）を検出する。これにより、どの棚のどこにどのような商品が配置されているかを把握することができる。なお、棚の上に商品が配置されていない場合もあるため、商品間に隙間が空いている場合は、空きスロットを考慮して、商品の配置順番を検出してもよい。   The product position detection unit (article position detection unit) 105 detects the position of the product 202 with respect to the shelf 201 based on the product 202 recognized in the gondola furniture image and the specified shelf 201. The merchandise position detection unit 105 detects the order (face) of each shelf 201 in the gondola fixture 200 in the left-right direction. As a result, it is possible to grasp what kind of product is placed on which shelf. In addition, since the product may not be arranged on the shelf, when there is a gap between the products, the arrangement order of the products may be detected in consideration of an empty slot.

次に、図３を用いて、本実施の形態に係る商品検出装置で実行される商品検出方法（物品検出方法）について説明する。   Next, a product detection method (article detection method) executed by the product detection apparatus according to the present embodiment will be described with reference to FIG.

図３に示すように、まず、画像取得部１０１が画像を取得する（Ｓ１０１）。店員等が店舗に設置されているゴンドラ什器２００の全体をカメラ２１０で撮影し、撮影したゴンドラ什器画像を画像取得部１０１に入力することで、画像取得部１０１が画像を取得する。図４は、画像取得部１０１が取得するゴンドラ什器画像３００の一例を示している。ゴンドラ什器画像３００は、商品２０２、棚２０１、ゴンドラ什器２００の全体を含んでいる。この例では、ゴンドラ什器２００は、３段の棚２０１を有し、棚２０１のそれぞれに２つの商品２０２が配置されている。なお、店員等がゴンドラ什器２００の一部を複数回に分けて撮影した画像を入力し、画像入力部１０１が複数の画像を合成することで、ゴンドラ什器画像３００を生成してもよい。   As shown in FIG. 3, first, the image acquisition unit 101 acquires an image (S101). A store clerk or the like takes an image of the entire gondola fixture 200 installed in the store with the camera 210, and inputs the shot gondola fixture image to the image acquisition unit 101, whereby the image acquisition unit 101 acquires an image. FIG. 4 shows an example of a gondola fixture image 300 acquired by the image acquisition unit 101. The gondola fixture image 300 includes the entire product 202, the shelf 201, and the gondola fixture 200. In this example, the gondola fixture 200 has three shelves 201, and two products 202 are arranged on each of the shelves 201. Note that a store clerk or the like may input an image obtained by capturing a part of the gondola fixture 200 in multiple times, and the image input unit 101 may combine the multiple images to generate the gondola fixture image 300.

続いて、商品認識部１０２は、取得した画像に含まれる商品を認識する（Ｓ１０２）。商品認識部１０２は、商品情報データベース１０６に記憶された商品マスタ情報と取得したゴンドラ什器画像とのマッチング（一致）を判定する。例えば、商品認識部１０２は、画像の色や輝度の変化に基づいて輪郭（エッジ）を検出し、輪郭に囲まれた領域の特徴と商品マスタ情報の特徴との類似度を算出し、類似度の高い商品が輪郭の領域（商品検出領域）に存在すると認識する。商品認識部１０２は、商品マスタ情報を参照することで、商品の上下左右、商品の配置領域の四隅、商品名、種類等を検出する。また、商品認識部１０２は、商品の上下左右及び四隅から、商品の配置方向を検出することができる。   Subsequently, the product recognition unit 102 recognizes a product included in the acquired image (S102). The product recognition unit 102 determines matching (match) between the product master information stored in the product information database 106 and the acquired gondola furniture image. For example, the product recognition unit 102 detects a contour (edge) based on a change in image color or brightness, calculates the similarity between the feature of the region surrounded by the contour and the feature of the product master information, and the similarity It is recognized that a product having a high value exists in the contour region (product detection region). The product recognition unit 102 detects the top, bottom, left, and right of the product, the four corners of the product placement area, the product name, and the type by referring to the product master information. Further, the product recognition unit 102 can detect the arrangement direction of the product from the top, bottom, left, right, and four corners of the product.

図５は、商品認識部１０２が、図４のゴンドラ什器画像３００から商品２０２を認識した結果を示している。商品認識部１０２は、ゴンドラ什器画像３００の中の領域を商品マスタ情報と比較し、商品マスタ情報と一致する６つの領域を商品検出領域３０２と判定する。これにより、商品認識部１０２は、各商品検出領域３０２における、商品名、商品の種類、商品の上下左右、四隅、配置方向等が把握できる。   FIG. 5 shows a result of the product recognition unit 102 recognizing the product 202 from the gondola furniture image 300 of FIG. The product recognition unit 102 compares the region in the gondola furniture image 300 with the product master information, and determines six regions that match the product master information as the product detection region 302. As a result, the product recognition unit 102 can grasp the product name, the type of product, the top, bottom, left, right, four corners, the arrangement direction, and the like in each product detection area 302.

続いて、棚段数取得部１０３が棚の段数を取得する（Ｓ１０３）。店員等がキーボードを操作し、棚段数取得部１０３に検出すべき棚の段数を入力することで、棚段数取得部１０３が棚の段数を取得する。例えば、図４及び図５のゴンドラ什器画像３００の場合、棚２０１が３つであるため、店員等が段数として３を入力する。   Subsequently, the shelf level acquisition unit 103 acquires the number of shelf levels (S103). When a store clerk or the like operates the keyboard and inputs the number of shelves to be detected to the shelf level acquisition unit 103, the shelf level acquisition unit 103 acquires the number of shelves. For example, in the case of the gondola fixture image 300 shown in FIGS. 4 and 5, since there are three shelves 201, the store clerk or the like inputs 3 as the number of steps.

続いて、棚特定部１０４は、商品の位置の差分を算出する（Ｓ１０４）。棚特定部１０４は、ゴンドラ什器画像３００から棚２０１の領域を検出するため、Ｙ座標軸（画像の縦方向）上で隣り合う商品の位置の差分を算出する。   Subsequently, the shelf specifying unit 104 calculates the difference in the position of the product (S104). In order to detect the area of the shelf 201 from the gondola furniture image 300, the shelf specifying unit 104 calculates the difference between the positions of adjacent products on the Y coordinate axis (the vertical direction of the image).

図６は、図５で検出した商品検出領域３０２から差分を算出する例である。棚特定部１０４は、Ｙ座標軸上で隣り合う商品検出領域３０２の座標の差分を算出する。例えば、棚特定部１０４は、商品検出領域３０２の左下端を特定し、Ｙ座標軸上で隣り合う商品の左下端のＹ座標の差分を算出する。なお、棚特定部１０４は、商品の左下端に限らず、右下端や左下及び右下の平均を用いて算出してもよいし、左上端または右上端や、左上及び右上の平均を用いて算出してもよい。その他、棚特定部１０４は、商品の中央の座標の差分を算出してもよい。   FIG. 6 is an example in which a difference is calculated from the product detection area 302 detected in FIG. The shelf specifying unit 104 calculates a coordinate difference between adjacent product detection areas 302 on the Y coordinate axis. For example, the shelf specifying unit 104 specifies the lower left corner of the product detection area 302, and calculates the difference between the Y coordinates of the lower left corners of the adjacent products on the Y coordinate axis. The shelf specifying unit 104 is not limited to the lower left corner of the product, and may be calculated using the average of the lower right corner, the lower left corner, and the lower right corner, or the average of the upper left corner or the upper right corner, or the upper left corner and the upper right corner. It may be calculated. In addition, the shelf specifying unit 104 may calculate the difference between the coordinates of the center of the product.

図６では、商品検出領域３０２ａのＹ座標を１０、商品検出領域３０２ｂのＹ座標を１２、商品検出領域３０２ｃのＹ座標を２０、商品検出領域３０２ｄのＹ座標を２１、商品検出領域３０２ｅのＹ座標を３０、商品検出領域３０２ｆのＹ座標を３２とし、棚特定部１０４がこれらの差分を算出する。   In FIG. 6, the Y coordinate of the product detection region 302a is 10, the Y coordinate of the product detection region 302b is 12, the Y coordinate of the product detection region 302c is 20, the Y coordinate of the product detection region 302d is 21, and the Y coordinate of the product detection region 302e. The coordinate is 30 and the Y coordinate of the product detection area 302f is 32, and the shelf identification unit 104 calculates the difference between them.

例えば、棚特定部１０４は、Ｙ座標軸上に商品検出領域３０２のＹ座標を並べて、Ｙ座標の原点から小さい順に隣り合う座標の差分を算出する。この例では、原点と商品検出領域３０２ａのＹ差分は１０、商品検出領域３０２ａと３０２ｂ間のＹ差分は２、商品検出領域３０２ｂと３０２ｃ間のＹ差分は８、商品検出領域３０２ｃと３０２ｄ間のＹ差分は１、商品検出領域３０２ｄと３０２ｅ間のＹ差分は９、商品検出領域３０２ｅと３０２ｆ間のＹ差分は２となる。   For example, the shelf specifying unit 104 arranges the Y coordinates of the product detection area 302 on the Y coordinate axis, and calculates a difference between adjacent coordinates in ascending order from the origin of the Y coordinates. In this example, the Y difference between the origin and the product detection area 302a is 10, the Y difference between the product detection areas 302a and 302b is 2, the Y difference between the product detection areas 302b and 302c is 8, and between the product detection areas 302c and 302d. The Y difference is 1, the Y difference between the product detection areas 302d and 302e is 9, and the Y difference between the product detection areas 302e and 302f is 2.

続いて、棚特定部１０４は、棚の領域を特定する（Ｓ１０５）。棚特定部１０４は、算出したＹ座標軸上で隣り合う商品の位置の差分に基づいて棚の領域を特定する。棚特定部１０４は、取得した段数分の棚が、Ｙ座標の差分の大きい領域にあると判定する。例えば、棚特定部１０４は、配置位置の差分が所定の閾値よりも大きい領域が棚の領域であると判定してもよい。また、棚特定部１０４は、配置位置の差分が大きい順に、取得した段数分の棚の領域を検出してもよい。   Subsequently, the shelf specifying unit 104 specifies an area of the shelf (S105). The shelf specifying unit 104 specifies an area of the shelf based on the difference between the positions of the adjacent products on the calculated Y coordinate axis. The shelf specifying unit 104 determines that there are as many shelves as acquired in an area where the difference in Y coordinates is large. For example, the shelf specifying unit 104 may determine that a region where the difference in the arrangement position is larger than a predetermined threshold is a shelf region. Further, the shelf specifying unit 104 may detect the shelf areas for the acquired number of steps in descending order of the arrangement position.

図７は、図６で算出した商品のＹ座標の差分から棚の領域を特定する例である。ここでは、棚の段数に３が入力されているため、棚特定部１０４は、Ｙ座標軸上で隣り合う商品のＹ座標差分の大きい順に３つの棚の領域を検出する。ここでは一例として原点との差分を除いて棚の領域を検出する。まず、Ｙ座標の差分が最も大きいのは、商品検出領域３０２ｄと３０２ｅの間であり、次に大きいのは、商品検出領域３０２ｂと３０２ｃの間である。このため、棚特定部１０４は、商品検出領域３０２ｄと３０２ｅの間と、商品検出領域３０２ｂと３０２ｃの間に棚が含まれるものとして、それぞれ棚領域３０１ａ及び３０１ｂを特定する。また、商品と棚とは重複しないため、商品とは重ならない領域を棚領域とする。すなわち、商品検出領域３０２ｄと３０２ｅの間で、商品検出領域３０２ｅと重ならない領域を棚領域３０１ｂとし、商品検出領域３０２ｂと３０２ｃの間で、商品検出領域３０２ｃと重ならない領域を棚領域３０１ａとする。さらにこの例では、棚の上に商品が配置されているため、棚特定部１０４は、商品検出領域３０２ｆの下に棚領域３０１ｃを検出する。   FIG. 7 is an example in which the shelf area is specified from the difference in the Y coordinates of the products calculated in FIG. Here, since 3 is input as the number of shelf stages, the shelf specifying unit 104 detects three shelf areas in descending order of the Y coordinate difference between adjacent products on the Y coordinate axis. Here, as an example, the shelf area is detected by removing the difference from the origin. First, the difference between the Y coordinates is the largest between the product detection areas 302d and 302e, and the second largest is between the product detection areas 302b and 302c. Therefore, the shelf specifying unit 104 specifies the shelf areas 301a and 301b, assuming that a shelf is included between the product detection areas 302d and 302e and between the product detection areas 302b and 302c. Further, since the product and the shelf do not overlap, the region that does not overlap with the product is set as the shelf region. That is, a region that does not overlap with the product detection region 302e between the product detection regions 302d and 302e is a shelf region 301b, and a region that does not overlap with the product detection region 302c between the product detection regions 302b and 302c is a shelf region 301a. . Furthermore, in this example, since the product is arranged on the shelf, the shelf specifying unit 104 detects the shelf region 301c under the product detection region 302f.

続いて、商品位置検出部１０５は、商品の位置を検出する（Ｓ１０６）。商品位置検出部１０５は、特定した棚領域に対する商品の位置（配置順番）を検出する。商品位置検出部１０５は、棚領域に対する位置から、何段目の棚の何番目にどのような商品があるか検出する。   Subsequently, the product position detection unit 105 detects the position of the product (S106). The product position detection unit 105 detects the position (arrangement order) of the product with respect to the specified shelf area. The product position detection unit 105 detects what kind of product is in what number of shelves from the position with respect to the shelf area.

図７の例では、商品位置検出部１０５は、棚領域３０１を区切りとして、商品検出領域３０２のＹ座標をもとに、商品を棚の上下に振り分ける。商品位置検出部１０５は、商品検出領域３０２ａ及び３０２ｂ、商品検出領域３０２ｃ及び３０２ｄ、商品検出領域３０２ｅ及び３０２ｆがそれぞれ同じ棚に配置されているものとして振り分け、商品検出領域３０２のＸ座標の順に棚の上の位置及び商品を検出する。   In the example of FIG. 7, the product position detection unit 105 sorts the products up and down the shelf based on the Y coordinate of the product detection region 302 with the shelf region 301 as a partition. The merchandise position detection unit 105 sorts the merchandise detection areas 302a and 302b, the merchandise detection areas 302c and 302d, and the merchandise detection areas 302e and 302f on the same shelf. Detect position and product on the top.

この例では、商品位置検出部１０５は、上から１段目の棚（棚領域３０１ａ）には、左から１番目（商品検出領域３０２ａ）にお茶が配置され、２番目（商品検出領域３０２ｂ）に水が配置され、上から２段目の棚（棚領域３０１ｂ）には、左から１番目（商品検出領域３０２ｃ）にコーヒーが配置され、２番目（商品検出領域３０２ｄ）にジュースが配置され、上から３段目の棚（棚領域３０１ｃ）には、左から１番目（商品検出領域３０２ｅ）に牛乳が配置され、２番目（商品検出領域３０２ｆ）にヨーグルトが配置されていることを検出する。   In this example, the product position detection unit 105 arranges tea on the first shelf from the top (shelf area 301a), with tea being placed first (product detection area 302a) from the left, and second (product detection area 302b). In the second shelf from the top (shelf area 301b), coffee is arranged first (product detection area 302c) from the left, and juice is arranged second (product detection area 302d). In the third shelf from the top (shelf area 301c), it is detected that milk is placed first (product detection area 302e) from the left and yogurt is placed second (product detection area 302f). To do.

以上のように、本実施の形態では、取得した画像から商品を認識し、取得した段数の棚を商品の位置に基づいて検出し、さらに商品の棚上の位置を検出する。これにより、予め棚を認識するための情報やその情報に基づく処理が不要であるため、簡易に、商品の配置を区切る棚を検出するとともに、商品の棚上の位置を検出することができる。   As described above, in the present embodiment, the product is recognized from the acquired image, the shelf with the acquired number of steps is detected based on the position of the product, and the position of the product on the shelf is further detected. Thus, since information for recognizing the shelf in advance and processing based on the information are not necessary, it is possible to easily detect the shelf that divides the arrangement of the products and the position of the product on the shelf.

（実施の形態２）
以下、図面を参照して実施の形態２について説明する。本実施の形態では、商品の配置を区切る領域を示すラインを検出し、特に、入力画像の中で認識された商品に接するラインに基づいて棚を検出する。主に、実施の形態１と相違する部分について説明する。 (Embodiment 2)
The second embodiment will be described below with reference to the drawings. In the present embodiment, a line indicating a region that divides the arrangement of products is detected, and in particular, a shelf is detected based on a line in contact with the product recognized in the input image. Mainly, differences from the first embodiment will be described.

図８は、本実施の形態に係る商品検出装置の構成を示している。図８に示すように、本実施の形態に係る商品検出装置１００は、実施の形態１の図２と比べて、棚段数取得部１０３に代えて、仮棚ライン推定部１０７を備えている。例えば、仮棚ライン推定部１０７及び棚特定部１０４が、商品の配置を区切る領域を検出する区切り検出部を構成するともいえる。本実施の形態では、認識された商品の配置方向に沿ったライン（商品ラインもしくは物品ライン）に基づいて、区切る領域を検出する。   FIG. 8 shows the configuration of the commodity detection apparatus according to the present embodiment. As shown in FIG. 8, the commodity detection apparatus 100 according to the present embodiment includes a temporary shelf line estimation unit 107 instead of the shelf level acquisition unit 103 as compared with FIG. 2 of the first embodiment. For example, it can be said that the temporary shelf line estimation unit 107 and the shelf identification unit 104 constitute a delimiter detection unit that detects an area that demarcates the arrangement of products. In the present embodiment, an area to be separated is detected based on a line (a product line or an article line) along the recognized product arrangement direction.

仮棚ライン推定部１０７は、取得したゴンドラ什器画像において、認識した商品２０２が配置されている仮棚ラインを推定する。仮棚ラインは、認識した商品２０２の上端または下端を通過する一直線のライン（商品ラインもしくは物品ライン）である。また、商品の右端または左端を通過する仮棚ラインを検出してもよい。   The temporary shelf line estimation unit 107 estimates the temporary shelf line on which the recognized product 202 is arranged in the acquired gondola furniture image. The temporary shelf line is a straight line (a product line or an article line) that passes through the upper end or the lower end of the recognized product 202. Moreover, you may detect the temporary shelf line which passes the right end or left end of goods.

本実施の形態の棚特定部１０４は、推定された仮棚ラインに基づいて、棚２０１の配置面である棚ライン（配置ライン）を特定する。棚特定部１０４は、複数の仮棚ライン（商品ライン）のパラメータを投票空間に投票することで棚ラインを特定する。   The shelf specifying unit 104 according to the present embodiment specifies a shelf line (arrangement line) that is an arrangement surface of the shelf 201 based on the estimated temporary shelf line. The shelf specifying unit 104 specifies a shelf line by voting parameters of a plurality of temporary shelf lines (product lines) to the voting space.

次に、図９を用いて、本実施の形態に係る商品検出装置で実行される商品検出方法（物品検出方法）について説明する。   Next, a product detection method (article detection method) executed by the product detection apparatus according to the present embodiment will be described with reference to FIG.

図９に示すように、まず、画像取得部１０１がゴンドラ什器画像を取得し（Ｓ１０１）、商品認識部１０２がゴンドラ什器画像に含まれる商品２０２を認識する（Ｓ１０２）。実施の形態１と同様に、画像取得部１０１が図４のようなゴンドラ什器画像３００を取得し、商品認識部１０２が図５のようにゴンドラ什器画像３００の中から、商品２０２を検出した商品検出領域３０２を特定する。   As shown in FIG. 9, first, the image acquisition unit 101 acquires a gondola fixture image (S101), and the product recognition unit 102 recognizes a product 202 included in the gondola fixture image (S102). As in the first embodiment, the image acquisition unit 101 acquires the gondola fixture image 300 as shown in FIG. 4, and the product recognition unit 102 detects the product 202 from the gondola fixture image 300 as shown in FIG. The detection area 302 is specified.

続いて、仮棚ライン推定部１０７は、仮棚ラインを推定する（Ｓ１０７）。仮棚ライン推定部１０７は、認識した商品の下端または上端に対応した仮棚ライン（商品ライン）を推定する。この例では、棚２０１の上に商品２０２が配置されているため、仮棚ライン推定部１０７は、商品の下端を含む下辺（底辺）に沿ったラインを仮棚ラインとする。   Subsequently, the temporary shelf line estimation unit 107 estimates the temporary shelf line (S107). The temporary shelf line estimation unit 107 estimates a temporary shelf line (product line) corresponding to the lower end or the upper end of the recognized product. In this example, since the product 202 is arranged on the shelf 201, the temporary shelf line estimation unit 107 sets a line along the lower side (base) including the lower end of the product as the temporary shelf line.

仮棚ライン推定部１０７は、仮棚ラインを、次の式１のような一般的な直線式から求めてもよい。式１は傾きａとｙ軸切片ｂをパラメータとする式の例である。
ｙ＝ａｘ＋ｂ ・・・（式１） The temporary shelf line estimation unit 107 may obtain the temporary shelf line from a general linear equation such as the following Equation 1. Expression 1 is an example of an expression using the inclination a and the y-axis intercept b as parameters.
y = ax + b (Formula 1)

また、仮棚ライン推定部１０７は、仮棚ラインを、次の式２のような直線式から求めてもよい。図１０に示すように、式２におけるパラメータθ及びｒは、ｘ軸に対する角度θと原点からの距離ｒである。式１の場合、直線によってはパラメータａが無限大となる場合があるのに対し、式２では、どのような直線でも有限のパラメータθ及びｒによりラインを特定できる。
ｒ＝ｘｃｏｓθ＋ｙｓｉｎθ ・・・（式２） Further, the temporary shelf line estimation unit 107 may obtain the temporary shelf line from a linear equation such as the following Equation 2. As shown in FIG. 10, the parameters θ and r in Equation 2 are the angle θ with respect to the x axis and the distance r from the origin. In the case of Formula 1, the parameter a may be infinite depending on the straight line, whereas in the Formula 2, the line can be specified by the finite parameters θ and r in any straight line.
r = x cos θ + ysin θ (Expression 2)

図１０に示すように、商品検出領域３０２の右下端及び左下端を通る直線を仮棚ライン４０１とする。仮棚ライン推定部１０７は、商品検出領域３０２の右下端及び左下端の座標を式２に代入し、仮棚ラインを示す直線式を求める。なお、仮棚ライン推定部１０７は、右下端と左下端の平均から直線式を求めてもよい。   As shown in FIG. 10, a straight line passing through the lower right end and the lower left end of the commodity detection area 302 is a temporary shelf line 401. The temporary shelf line estimation unit 107 substitutes the coordinates of the lower right end and the lower left end of the product detection area 302 into Equation 2, and obtains a linear equation indicating the temporary shelf line. Note that the temporary shelf line estimation unit 107 may obtain a linear equation from the average of the lower right end and the lower left end.

図１１は、図５で検出した商品検出領域３０２から仮棚ライン４０１を求めた例である。仮棚ライン推定部１０７は、各商品検出領域３０２について、それぞれ右下端及び左下端を通る直線を仮棚ライン４０１とする。この例では、仮棚ライン推定部１０７は、商品検出領域３０２ａ〜３０２ｆについて、それぞれ右下端及び左下端の座標から直線式を求め、仮棚ライン４０１ａ〜４０１ｆを特定する。   FIG. 11 shows an example in which the temporary shelf line 401 is obtained from the product detection area 302 detected in FIG. The temporary shelf line estimation unit 107 sets a straight line passing through the lower right end and the lower left end of each commodity detection region 302 as the temporary shelf line 401. In this example, the temporary shelf line estimation unit 107 obtains linear equations from the coordinates of the lower right corner and the lower left corner of the product detection areas 302a to 302f, and identifies temporary shelf lines 401a to 401f.

続いて、棚特定部１０４は、仮棚ラインの投票を行う（Ｓ１０８）。棚特定部１０４は、複数の仮棚ライン４０１に基づいて、棚２０１のラインを特定するため、仮棚ライン４０１のパラメータを投票空間に投票する。   Subsequently, the shelf specifying unit 104 votes the temporary shelf line (S108). The shelf specifying unit 104 votes the parameters of the temporary shelf line 401 to the voting space in order to specify the line of the shelf 201 based on the plurality of temporary shelf lines 401.

図１２は、図１１で特定した仮棚ライン４０１を投票する投票空間の例である。この例では、上記の式２により仮棚ラインを特定しているため、棚特定部１０４は、仮棚ラインのパラメータθ及びｒを横軸及び縦軸とする投票空間に投票する。投票空間は、θ及びｒが一定間隔の投票値で区切られており、棚特定部１０４は、仮棚ライン４０１ａ〜４０１ｆのパラメータθ及びｒを該当する投票値に投票する。   FIG. 12 is an example of a voting space for voting the temporary shelf line 401 specified in FIG. In this example, since the temporary shelf line is specified by the above equation 2, the shelf specifying unit 104 votes in a voting space having the horizontal axis and the vertical axis as parameters θ and r of the temporary shelf line. In the voting space, θ and r are divided by voting values at regular intervals, and the shelf specifying unit 104 votes the parameters θ and r of the temporary shelf lines 401a to 401f to the corresponding voting values.

例えば、仮棚ライン４０１ａ及び４０１ｂのパラメータθはθ１に最も近く、パラメータｒはｒ１に最も近いため、棚特定部１０４は、θ１及びｒ１の投票値に投票する。同様に、棚特定部１０４は、仮棚ライン４０１ｃ及び４０１ｄのパラメータθ及びｒに最も近いθ１及びｒ２の投票値に投票し、仮棚ライン４０１ｅ及び４０１ｆのパラメータθ及びｒに最も近いθ１及びｒ３の投票値に投票する。   For example, since the parameter θ of the temporary shelf lines 401a and 401b is closest to θ1, and the parameter r is closest to r1, the shelf specifying unit 104 votes for the vote values of θ1 and r1. Similarly, the shelf identification unit 104 votes for the vote values of θ1 and r2 that are closest to the parameters θ and r of the temporary shelf lines 401c and 401d, and θ1 and r3 that are closest to the parameters θ and r of the temporary shelf lines 401e and 401f. Vote for the vote value of.

なお、棚特定部１０４は、パラメータに重みをつけて投票してもよい。例えば、棚特定部１０４は、直線式のパラメータが近い方の投票値に大きい重みをつけて投票してもよい。また、棚特定部１０４は、パラメータｒ及びθを同時に投票してもよいし、パラメータｒ及びθを別々に独立して投票してもよい。例えば、棚の方向は平行でるためθは近いものと推定されるため、棚特定部１０４は、まずθのみを投票し、θを決定した後で、ｒを投票してもよい。   Note that the shelf identification unit 104 may vote by assigning weights to the parameters. For example, the shelf specifying unit 104 may vote by assigning a larger weight to the vote value having the closest linear parameter. Further, the shelf specifying unit 104 may vote the parameters r and θ simultaneously, or may vote the parameters r and θ separately independently. For example, since the directions of the shelves are parallel and θ is estimated to be close, the shelf specifying unit 104 may first vote only θ, determine θ, and then vote r.

続いて、棚特定部１０４は、棚ラインを検出する（Ｓ１０９）。棚特定部１０４は、仮棚ラインの投票結果に基づいて棚ラインを検出する。棚特定部１０４は、投票の結果が多いパラメータのラインを棚ラインとする。例えば、棚特定部１０４は、投票した結果が閾値より大きいライン、もしくは、閾値よりも大きくかつ周辺で最も大きいラインを検出する。また、棚特定部１０４は、投票した結果が大きい順に、棚のラインを検出してもよい。   Subsequently, the shelf specifying unit 104 detects a shelf line (S109). The shelf specifying unit 104 detects a shelf line based on the vote result of the temporary shelf line. The shelf specifying unit 104 sets a parameter line with a lot of voting results as a shelf line. For example, the shelf specifying unit 104 detects a line whose voting result is larger than a threshold value, or a line larger than the threshold value and the largest in the vicinity. Further, the shelf specifying unit 104 may detect the shelf lines in descending order of the voted result.

図１２の例では、θ１及びｒ１（投票値）に仮棚ライン４０１ａ及び４０１ｂのパラメータが投票され、θ１及びｒ２に仮棚ライン４０１ｃ及び４０１ｄのパラメータが投票され、θ１及びｒ３に仮棚ライン４０１ｅ及び４０１ｆのパラメータが投票されている。このため、棚特定部１０４は、θ１及びｒ１、θ１及びｒ２、θ１及びｒ３を、それぞれ棚ラインのパラメータとする。   In the example of FIG. 12, the parameters of the temporary shelf lines 401a and 401b are voted for θ1 and r1 (voting values), the parameters of the temporary shelf lines 401c and 401d are voted for θ1 and r2, and the temporary shelf lines 401e for θ1 and r3. And 401f are voted for. Therefore, the shelf specifying unit 104 uses θ1 and r1, θ1 and r2, and θ1 and r3 as the shelf line parameters, respectively.

図１３は、図１２の投票結果から検出した棚ラインを示している。棚ライン４０２ａは、仮棚ライン４０１ａ及び４０１ｂのパラメータから特定されたθ１及びｒ１（投票値）のラインであり、棚ライン４０２ｂは、仮棚ライン４０１ｃ及び４０１ｄのパラメータから特定されたθ１及びｒ２のラインであり、棚ライン４０２ｃは、仮棚ライン４０１ｅ及び４０１ｆのパラメータから特定されたθ１及びｒ３のラインである。   FIG. 13 shows a shelf line detected from the voting result of FIG. The shelf line 402a is a line of θ1 and r1 (voting value) specified from the parameters of the temporary shelf lines 401a and 401b, and the shelf line 402b is a line of θ1 and r2 specified from the parameters of the temporary shelf lines 401c and 401d. The shelf line 402c is a line of θ1 and r3 specified from the parameters of the temporary shelf lines 401e and 401f.

続いて、商品位置検出部１０５は、商品の位置を検出する（Ｓ１０６）。商品位置検出部１０５は、特定した棚ラインに対する商品の位置を検出する。商品位置検出部１０５は、棚ラインに対する位置から、何段目の棚の何番目にどのような商品があるか検出する。   Subsequently, the product position detection unit 105 detects the position of the product (S106). The product position detection unit 105 detects the position of the product with respect to the specified shelf line. The merchandise position detection unit 105 detects what kind of merchandise is in what number of shelves from the position with respect to the shelf line.

図１３の例では、商品位置検出部１０５は、図１２の投票結果の関係から、棚ライン４０２ａには仮棚ライン４０１ａ及び４０１ｂが配置され、棚ライン４０２ｂには仮棚ライン４０１ｃ及び４０１ｄが配置され、棚ライン４０２ｃには仮棚ライン４０１ｅ及び４０１ｆが配置されていることがわかる。この関係に基づいて、商品検出領域３０２のＸ座標の順に棚の上の位置及び商品を検出する。   In the example of FIG. 13, the product position detection unit 105 arranges temporary shelf lines 401a and 401b on the shelf line 402a and arranges temporary shelf lines 401c and 401d on the shelf line 402b based on the relationship of the voting results of FIG. It can be seen that temporary shelf lines 401e and 401f are arranged on the shelf line 402c. Based on this relationship, the position on the shelf and the product are detected in the order of the X coordinate of the product detection area 302.

この例では、商品位置検出部１０５は、上から１段目の棚（棚ライン４０２ａ）には、左から１番目（商品検出領域３０２ａ）にお茶が配置され、２番目（商品検出領域３０２ｂ）に水が配置され、上から２段目の棚（棚ライン４０２ｂ）には、左から１番目（商品検出領域３０２ｃ）にコーヒーが配置され、２番目（商品検出領域３０２ｄ）にジュースが配置され、上から３段目の棚（棚ライン４０２ｃ）には、左から１番目（商品検出領域３０２ｅ）に牛乳が配置され、２番目（商品検出領域３０２ｆ）にヨーグルトが配置されていることを検出する。   In this example, the product position detection unit 105 places tea on the first shelf from the top (shelf line 402a) in the first position (the product detection area 302a) from the left, and the second position (the product detection area 302b). In the second shelf from the top (shelf line 402b), coffee is placed first (product detection region 302c) from the left, and juice is placed second (product detection region 302d). On the third shelf from the top (shelf line 402c), it is detected that milk is placed first (product detection area 302e) from the left and yogurt is placed second (product detection area 302f). To do.

以上のように、本実施の形態では、取得した画像から商品を認識し、認識した商品の配置方向に基づいて棚を検出し、さらに商品の棚上の位置を検出する。これにより、予め棚を認識するための情報やその情報に基づく処理が不要であるため、簡易に、商品を区切る領域である棚を検出するとともに、商品の棚上の位置を検出することができる。   As described above, in the present embodiment, the product is recognized from the acquired image, the shelf is detected based on the recognized arrangement direction of the product, and the position of the product on the shelf is further detected. Thereby, since information for recognizing the shelf in advance and processing based on the information are not necessary, it is possible to easily detect a shelf that is an area that divides the product and to detect the position of the product on the shelf. .

（その他の実施の形態）
上記実施の形態では、棚の上に横方向に並べた商品の位置を検出したが、商品を上下に積み上げた場合や商品を吊り下げている場合など縦方向の位置を検出してもよい。すなわち、商品の右端または左端に基づいて縦方向に商品の配置を区切る領域（ライン含む）を特定し、縦方向の商品の配置位置を検出してもよい。 (Other embodiments)
In the above embodiment, the positions of the products arranged in the horizontal direction on the shelf are detected. However, the positions in the vertical direction may be detected, for example, when the products are stacked up and down or when the products are suspended. That is, an area (including a line) that divides the product arrangement in the vertical direction may be specified based on the right end or the left end of the product, and the arrangement position of the product in the vertical direction may be detected.

また、商品の右端または左端に基づいて棚の端部を特定してもよい。一番右側に配置された商品の右端を棚の右端とし、一番左側に配置された商品の左端を棚の左端とする。例えば、全ての棚のうち最も左側の左端を横方向のスロットの１番目として、他の棚の位置を検出してもよい。   Moreover, you may identify the edge part of a shelf based on the right end or left end of goods. The right end of the product placed on the rightmost side is the right end of the shelf, and the left end of the product placed on the leftmost side is the left end of the shelf. For example, the position of another shelf may be detected by setting the leftmost left end of all the shelves as the first slot in the horizontal direction.

また、図１４に示すように、実施の形態１または２の構成に加えて、ゴンドラ什器を検出するゴンドラ検出部１０８を備えていてもよい。ゴンドラ検出部１０８は、検出した配置ラインに基づいて、ゴンドラの端部を検出する。例えば、ゴンドラ検出部１０８は、商品の右端または左端に基づいてゴンドラ什器の端部を特定してもよい。全ての棚のうち一番右側に配置された商品の右端をゴンドラ什器の右端とし、全ての棚のうち一番左側に配置された商品の左端をゴンドラ什器の左端とする。これにより、画像内のゴンドラ什器を複数のゴンドラ什器に分離し、ゴンドラ什器ごとの商品の位置を検出してもよい。すなわち、どのゴンドラ什器のどの棚のどこにどのような商品が配置されているか検出する。   Moreover, as shown in FIG. 14, in addition to the structure of Embodiment 1 or 2, you may provide the gondola detection part 108 which detects a gondola fixture. The gondola detection unit 108 detects the end of the gondola based on the detected arrangement line. For example, the gondola detection unit 108 may identify the end of the gondola fixture based on the right end or the left end of the product. The right end of the product placed on the rightmost side of all the shelves is the right end of the gondola fixture, and the left end of the product placed on the leftmost side of all the shelves is the left end of the gondola fixture. Thereby, the gondola fixtures in the image may be separated into a plurality of gondola fixtures, and the position of the commodity for each gondola fixture may be detected. That is, what kind of product is arranged on which shelf of which gondola fixture is detected.

通常、同じ棚には同じ商品を並べて配置することが多いため、商品の配置に加えて商品の種類を考慮して商品の位置を検出してもよい。例えば、商品の種類ごとに区切ることで、棚やゴンドラ什器の端部を検出してもよい。また、実施の形態２で同じ種類のラインに投票する場合には重みづけを大きくしてもよい。   Usually, since the same product is often arranged side by side on the same shelf, the position of the product may be detected in consideration of the type of product in addition to the product arrangement. For example, the ends of shelves and gondola fixtures may be detected by dividing each product type. Further, when voting on the same type of line in the second embodiment, the weight may be increased.

また、商品が積み上げられて上下に商品が接している（近い）場合、接している部分のライン（領域）は棚ではないと判定してもよい。例えば、閾値以上離れている部分のライン（領域）を棚と判定してもよい。また、上下の商品が近く、かつ、種類も同じ場合、商品が積み上げられていると判定してもよい。   Further, when the products are stacked and the products are in contact with each other up and down (close), it may be determined that the line (area) of the contacting portion is not a shelf. For example, a line (area) in a part that is more than a threshold may be determined as a shelf. Further, when the upper and lower products are close and the same type, it may be determined that the products are stacked.

上記実施の形態では、棚に配置された商品の位置を検出したが、棚や商品に限らず、倉庫に並べられた部品の位置、駐車場に並んで駐車された車の位置、列に並んでいる人の位置などを検出してもよい。
上記実施の形態では、商品などの物体の配置を区切る領域を検出したが、区切る領域には、実施の形態１のような所定の形状の領域（棚領域）や、実施の形態２のような直線状のライン（棚ライン）が含まれる。また、区切る領域の形状は、実施の形態１のような四角形に限らず任意の形状であってもよい。 In the above embodiment, the position of the product arranged on the shelf is detected, but not limited to the shelf or the product, the position of the parts arranged in the warehouse, the position of the car parked side by side in the parking lot, and the line You may detect the position of the person who is out.
In the embodiment described above, an area that divides the arrangement of an object such as a product is detected. However, the area to be divided is a predetermined shape area (shelf area) as in the first embodiment, or as in the second embodiment. A straight line (shelf line) is included. Further, the shape of the area to be divided is not limited to the quadrangle as in the first embodiment, and may be any shape.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。   Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention.

１ 画像取得部
２ 物体認識部
３ 区切り検出部
１００ 商品検出装置
１０１ 画像取得部
１０２ 商品認識部
１０３ 棚段数取得部
１０４ 棚特定部
１０５ 商品位置検出部
１０６ 商品情報データベース
１０７ 仮棚ライン推定部
１０８ ゴンドラ検出部
２００ ゴンドラ什器
２０１ 棚
２０２ 商品
２１０ カメラ
３００ ゴンドラ什器画像
３０１ 棚領域
３０２ 商品検出領域
４０１ 仮棚ライン
４０２ 棚ライン DESCRIPTION OF SYMBOLS 1 Image acquisition part 2 Object recognition part 3 Separation detection part 100 Product detection apparatus 101 Image acquisition part 102 Product recognition part 103 Shelf level acquisition part 104 Shelf identification part 105 Product position detection part 106 Product information database 107 Temporary shelf line estimation part 108 Gondola Detection unit 200 Gondola fixture 201 Shelf 202 Product 210 Camera 300 Gondola fixture image 301 Shelf area 302 Product detection region 401 Temporary shelf line 402 Shelf line

Claims (21)

物体を撮像した入力画像を取得する画像取得部と、
前記入力画像に含まれる棚に配置されている前記物体を認識する物体認識部と、
前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体が配置されている前記棚の領域を検出する区切り検出部と、
を備える検出装置。 An image acquisition unit for acquiring an input image obtained by imaging an object;
An object recognition unit for recognizing the object arranged on a shelf included in the input image;
Based on the arrangement relationship of the recognized object in the input image, a delimiter detection unit that detects an area of the shelf in which the object is arranged ;
A detection device comprising: 前記配置関係は、前記認識された物体の配置位置または配置方向の関係である、
請求項１に記載の検出装置。 The arrangement relationship is a relationship of an arrangement position or an arrangement direction of the recognized object .
The detection device according to claim 1. 前記物体認識部は、前記入力画像に含まれる複数の前記物体を認識し、
前記区切り検出部は、前記認識された複数の物体の前記入力画像中の配置位置の差分に基づいて、前記棚の領域を検出する、
請求項１に記載の検出装置。 The object recognition unit recognizes a plurality of the objects included in the input image;
The delimiter detection unit detects an area of the shelf based on a difference between arrangement positions of the recognized plurality of objects in the input image;
The detection device according to claim 1. 前記区切り検出部は、前記複数の物体の配置位置の差分が閾値よりも大きい領域を、前記棚の領域であると判定する、
請求項３に記載の検出装置。 The delimiter detection unit determines that an area where the difference between the arrangement positions of the plurality of objects is larger than a threshold is an area of the shelf .
The detection device according to claim 3 . 前記区切り検出部は、前記複数の物体の配置位置の差分が大きい順に前記棚の領域を検出する、
請求項３に記載の検出装置。 The delimiter detection unit detects the shelf region in descending order of the difference between the arrangement positions of the plurality of objects.
The detection device according to claim 3 . 前記区切り検出部は、入力される棚の段数に応じた前記棚の領域を検出する、
請求項３乃至５のいずれか一項に記載の検出装置。 The delimiter detection unit detects the shelf area according to the input shelf number .
The detection device according to any one of claims 3 to 5 . 前記複数の物体の配置位置の差分は、前記物体のそれぞれの上端または下端の配置位置の差分であり、
前記検出する棚の領域は、前記物体の上端より上、または前記物体の下端より下の領域である、
請求項３乃至６のいずれか一項に記載の検出装置。 The difference between the arrangement positions of the plurality of objects is a difference between the arrangement positions of the upper end or the lower end of each of the objects,
The area of the shelf to be detected is an area above the upper end of the object or below the lower end of the object.
The detection device according to any one of claims 3 to 6 . 前記複数の物体の配置位置の差分は、前記物体のそれぞれの右端または左端の配置位置の差分であり、
前記検出する棚の領域は、前記物体の右端より右、または前記物体の左端より左の領域である、
請求項３乃至６のいずれか一項に記載の検出装置。 The difference between the arrangement positions of the plurality of objects is a difference between the arrangement positions of the right end or the left end of each of the objects,
The area of the shelf to be detected is an area on the right from the right end of the object or on the left from the left end of the object
The detection device according to any one of claims 3 to 6 . 前記区切り検出部は、前記認識された物体の前記入力画像中の配置方向に沿った物体ラインに基づいて、前記棚の領域を検出する、
請求項１に記載の検出装置。 The separation detection unit detects an area of the shelf based on an object line along an arrangement direction of the recognized object in the input image;
The detection device according to claim 1. 前記物体認識部は、前記入力画像に含まれる複数の前記物体を認識し、
前記区切り検出部は、前記認識された複数の物体の前記物体ラインのパラメータを投票空間に投票した投票結果に基づいて、前記棚の領域を検出する、
請求項９に記載の検出装置。 The object recognition unit recognizes a plurality of the objects included in the input image;
The delimiter detection unit detects a region of the shelf based on a voting result obtained by voting a parameter of the object line of the plurality of recognized objects in a voting space;
The detection device according to claim 9 . 前記区切り検出部は、前記投票空間のうち投票数が閾値よりも大きい場合、該当するパラメータを前記棚の領域のパラメータであると判定する、
請求項１０に記載の検出装置。 The delimiter detection unit determines that the corresponding parameter is a parameter of the shelf area when the number of votes in the voting space is larger than a threshold value,
The detection device according to claim 10 . 前記区切り検出部は、前記投票空間のうち投票数が大きい順に対応して、該当するパラメータを前記棚の領域のパラメータであると判定する、
請求項１１に記載の検出装置。 The delimiter detection unit determines that the corresponding parameter is a parameter of the shelf area corresponding to the voting space in descending order of votes.
The detection device according to claim 11 . 前記物体ラインは、前記認識された物体の上端、下端、右端または左端を通るラインである、
請求項９乃至１２のいずれか一項に記載の検出装置。 The object line is a line passing through an upper end, a lower end, a right end or a left end of the recognized object.
The detection device according to any one of claims 9 to 12 . 前記検出された棚の領域に対する前記物体の位置を検出する物***置検出部を備える、
請求項１乃至１３のいずれか一項に記載の検出装置。 An object position detecting unit for detecting the position of the object with respect to the detected shelf area;
The detection device according to any one of claims 1 to 13 . 前記物***置検出部は、前記物体の前記棚上の位置を検出する、
請求項１４に記載の検出装置。 Before Symbol object position detector detects the position on the shelf of the object,
The detection device according to claim 14 . 前記検出した物体の棚上の位置に基づいて、前記棚を備えるゴンドラの端部を検出するゴンドラ検出部を備える、
請求項１５に記載の検出装置。 A gondola detection unit for detecting an end of the gondola including the shelf based on the position of the detected object on the shelf;
The detection device according to claim 15 . 前記検出した棚の領域に基づいて、前記棚を備えるゴンドラの端部を検出するゴンドラ検出部を備える、
請求項１乃至１４のいずれか一項に記載の検出装置。 Based on the area before Symbol detected shelves, comprising a gondola detector for detecting the end of the gondola with the shelf,
The detection device according to any one of claims 1 to 14 . 前記区切り検出部は、前記認識された物体の種類に基づいて、前記棚の領域を検出する、
請求項１乃至１７のいずれか一項に記載の検出装置。 The delimiter detection unit detects the shelf area based on the recognized object type;
The detection device according to any one of claims 1 to 17 . 前記入力画像は、前記棚の一部を含む複数の画像を合成した画像である、  The input image is an image obtained by combining a plurality of images including a part of the shelf.
請求項１乃至１８のいずれか一項に記載の検出装置。  The detection device according to any one of claims 1 to 18. 物体を撮像した入力画像を取得し、
前記入力画像に含まれる棚に配置されている前記物体を認識し、
前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体が配置されている前記棚の領域を検出する、
検出方法。 Obtain an input image that captures the object,
Recognizing the object placed on a shelf included in the input image;
Detecting an area of the shelf on which the object is arranged based on an arrangement relationship in the input image of the recognized object;
Detection method. 物体を撮像した入力画像を入力し、
前記入力画像に含まれる棚に配置されている前記物体を認識し、
前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体が配置されている前記棚の領域を検出する、
検出処理をコンピュータに実行させるための検出プログラム。 Input an input image that captures the object,
Recognizing the object placed on a shelf included in the input image;
Detecting an area of the shelf on which the object is arranged based on an arrangement relationship in the input image of the recognized object;
A detection program for causing a computer to execute detection processing.

Images