JP2021096635A - Image processing system, image processing method, and program - Google Patents
Image processing system, image processing method, and program Download PDFInfo
- Publication number
- JP2021096635A JP2021096635A JP2019227385A JP2019227385A JP2021096635A JP 2021096635 A JP2021096635 A JP 2021096635A JP 2019227385 A JP2019227385 A JP 2019227385A JP 2019227385 A JP2019227385 A JP 2019227385A JP 2021096635 A JP2021096635 A JP 2021096635A
- Authority
- JP
- Japan
- Prior art keywords
- category
- product
- region
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 169
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 230000009471 action Effects 0.000 description 3
- 235000013405 beer Nutrition 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、店舗での棚割管理を支援する技術に関する。 The present invention relates to a technique for supporting shelving allocation management in a store.
陳列棚等に配置された商品の画像をコンピュータを用いて解析することによって、棚割業務を効率的に行う技術が研究されている。 Research is being conducted on a technique for efficiently performing shelving allocation work by analyzing images of products placed on display shelves or the like using a computer.
上述した技術の一例が、例えば、下記特許文献1に開示されている。具体的には、下記特許文献1に、画像内の物品それぞれの文字情報および当該文字情報の位置情報に基づいて照合対象のデータを絞り込み、棚割管理業務での画像処理速度を向上させる技術が開示されている。
An example of the above-mentioned technique is disclosed in, for example,
コンピュータを用いて商品を認識する際、商品の画像特徴量を使って商品を認識する。店舗で扱う商品の中には、例えば容量(サイズ)が異なる等、様々なバリエーションを有する商品も存在し得る。コンピュータは、そのような商品のバリエーションを区別して、個々の商品を認識する必要がある。しかしながら、パッケージデザインはバリエーションによって変化が乏しいことが多く、画像上の特徴が類似し易い。その結果、コンピュータが商品のバリエーションを混同してしまい、商品の認識(区別)精度が低下し得る。 When recognizing a product using a computer, the product is recognized using the image feature amount of the product. Among the products handled in the store, there may be products having various variations such as different capacities (sizes). Computers need to distinguish between variations of such products and recognize individual products. However, the package design often has little change depending on the variation, and the features on the image tend to be similar. As a result, the computer may confuse the variation of the product, and the accuracy of product recognition (distinguishing) may decrease.
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、様々なバリエーションを有する商品について、そのバリエーションを精度よく識別する技術を提供することである。 The present invention has been made in view of the above problems. One of the objects of the present invention is to provide a technique for accurately identifying the variations of products having various variations.
本発明の画像処理装置は、
画像において物体が存在する領域を検出する物体検出手段と、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段と、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段と、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示処理手段と、
を備える。
The image processing apparatus of the present invention
An object detection means that detects an area where an object exists in an image,
A category specifying means for specifying the category to which the object belongs using the detected shape of the region, and
A product identification means for identifying a product based on the reference data of the product corresponding to the specified category and the feature amount obtained from the area.
A display processing means for outputting an output image including information indicating the detected position of the region and the product identification result to the display device, and
To be equipped.
本発明の画像処理方法は、
コンピュータが、
画像において物体が存在する領域を検出し、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定し、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別し、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する、
ことを含む。
The image processing method of the present invention
The computer
Detects the area where the object exists in the image,
The category to which the object belongs is identified by using the detected shape of the region.
The product is identified based on the reference data of the product corresponding to the specified category and the feature amount obtained from the area.
An output image including information indicating the detected position of the region and the product identification result is output to the display device.
Including that.
本発明のプログラムは、
コンピュータを、
画像において物体が存在する領域を検出する物体検出手段、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示出力手段、
として機能させる。
The program of the present invention
Computer,
An object detection means that detects an area where an object exists in an image,
A category identifying means for identifying the category to which the object belongs using the detected shape of the region,
A product identification means for identifying a product based on the reference data of the product corresponding to the specified category and the feature amount obtained from the area.
A display output means for outputting an output image including information indicating the detected position of the region and the product identification result to the display device.
To function as.
本発明によれば、様々なバリエーションを有する商品について、そのバリエーションを精度よく識別する技術が提供される。 According to the present invention, there is provided a technique for accurately identifying variations of products having various variations.
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。また、図中の矢印の向きは、情報の流れを分かり易くするためのものであり、特に説明のない限り通信の方向(一方向通信/双方向通信)を限定しない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all drawings, similar components are designated by the same reference numerals, and description thereof will be omitted as appropriate. Further, unless otherwise specified, in each block diagram, each block represents a configuration of a functional unit, not a configuration of a hardware unit. Further, the direction of the arrow in the figure is for making the flow of information easy to understand, and does not limit the direction of communication (one-way communication / two-way communication) unless otherwise specified.
[第1実施形態]
<機能構成>
図1は、第1実施形態における画像処理装置10の機能構成を例示する図である。図1に示されるように、本実施形態の画像処理装置10は、物体検出部110、カテゴリ特定部120、商品識別部130、および表示処理部140を有する。
[First Embodiment]
<Functional configuration>
FIG. 1 is a diagram illustrating a functional configuration of the
物体検出部110は、処理対象の画像(例えば、商品が陳列されている棚の画像)を取得し、その画像において物体(商品)が存在する領域を検出する。物体検出部110は、例えば、複数の教師データを用いて機械学習を繰り返すことによって構築された検出器(学習モデル)を用いて、画像の中から物体が存在する領域を検出することができる。ここで、教師データは、複数の物体が写る学習用の画像と当該画像における物体の位置を示すラベル情報とを組み合わせて構成される。検出器は、このような教師データを用いた機械学習の繰り返しの中で、個々の物体の境界を判別するためのパラメータ(特徴量)を学習する。
The
カテゴリ特定部120は、物体検出部110により検出された領域の形状を用いて当該領域に位置する物体が属するカテゴリを特定する。ここで「カテゴリ」とは、1つの商品として販売されるときの容量や数量(1パッケージ当たりの個数)のバリエーションを意味する。例えば、ビールのような飲料製品については、容量のバリエーション(350ml/500mlなど)や数量のバリエーション(単品/マルチパック)が存在する。ここで挙げたビールの例に限定されないが、本発明では、このような容量や数量に類するもののバリエーションが「カテゴリ」として設定され得る。
The
商品識別部130は、商品識別用の基準データと、物体検出部110により検出された領域から得られる画像特徴量とに基づいて、当該領域に位置する物体(商品)を識別する。一例として、商品識別部130は、物体検出部110により検出された領域から得られる画像特徴量と、商品を識別するために用意された各商品の基準データ(基準画像特徴量)とのマッチング処理を行って、当該領域に位置する物体(商品)を識別する。この場合、商品識別用の基準データは、例えば、画像処理装置10の記憶装置や外部のデータベースなどに記憶されている。ここで、商品識別部130は、物体検出部110により検出された領域から得られる画像特徴量とのマッチング処理で用いる商品の基準データを、当該領域に位置する物体のカテゴリに基づいて絞り込む。例えば、ある領域に位置する物体のカテゴリとして「X」というカテゴリが特定された場合、商品識別部130は、特定されたカテゴリ「X」に対応する商品の基準データをマッチング処理の対象データとして選択する。この例において、特定されたカテゴリ「X」とは異なるカテゴリに対応するその他の基準データはマッチング処理で使用されない。
The
表示処理部140は、図示されるように、出力画像を表示装置20に出力する。表示処理部140により出力される出力画像は、物体検出部110により検出された領域の位置と、商品識別部130による商品の識別結果と、を示す情報を少なくとも含む。
The
<作用・効果>
本実施形態では、商品の識別処理(マッチング処理)を行う前に、検出された物体の形状を用いて予めカテゴリが特定される。ここで、容量や数量のバリエーションが存在する商品について、統一された(類似する)デザインが採用されることが一般的である。つまり、パッケージデザインから得られる特徴量を用いて商品を識別する場合には、その商品の容量や数量などのバリエーションを誤って判別してしまう可能性を含んでいる。一方で、容量や数量が違う場合、外観の形状(サイズ)には明らかな差が生まれる。そのため、本実施形態の構成によれば、商品のカテゴリ(バリエーション)を精度よく判別することが可能となる。また、本実施形態の構成によれば、商品を識別するためのマッチング処理で使用する商品の基準データの数をカテゴリ特定結果に基づいて絞り込むことができるため、処理に要する時間を短縮する効果も見込める。
<Action / effect>
In the present embodiment, the category is specified in advance using the shape of the detected object before the product identification process (matching process) is performed. Here, it is common that a unified (similar) design is adopted for products having variations in capacity and quantity. That is, when a product is identified using the feature amount obtained from the package design, there is a possibility that variations such as the capacity and quantity of the product may be erroneously determined. On the other hand, if the capacity and quantity are different, there will be a clear difference in the shape (size) of the appearance. Therefore, according to the configuration of the present embodiment, it is possible to accurately discriminate the product category (variation). Further, according to the configuration of the present embodiment, the number of reference data of the products used in the matching process for identifying the products can be narrowed down based on the category identification result, so that the time required for the process can be shortened. You can expect it.
<ハードウエア構成例>
画像処理装置10は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、画像処理装置10がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
<Hardware configuration example>
The
図2は、画像処理装置10のハードウエア構成を例示するブロック図である。
FIG. 2 is a block diagram illustrating a hardware configuration of the
画像処理装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
The
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
The
プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
The
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
The
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は画像処理装置10の各機能(物体検出部110、カテゴリ特定部120、商品識別部130、表示処理部140など)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。
The
入出力インタフェース1050は、画像処理装置10と周辺機器とを接続するためのインタフェースである。周辺機器は、例えば、キーボードやマウスなどの入力機器、ディスプレイ(タッチパネルディスプレイ)やスピーカーなどの出力機器を含む。
The input /
ネットワークインタフェース1060は、画像処理装置10をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。画像処理装置10は、ネットワークインタフェース1060を介して、例えば、ユーザ端末2と通信可能に接続される。ここで、ユーザ端末2は、処理対象の画像を撮像する機能を有するカメラモジュールと、表示処理部140の出力画像を表示させる表示装置20とを有している。ユーザ端末2は、例えば、スマートフォン、タブレット端末、モバイルPCなどである。物体検出部110は、ネットワークインタフェース1060を介して、ユーザ端末2の撮像装置30で生成された処理対象の画像を取得することができる。また、表示処理部140は、ネットワークインタフェース1060を介して、ユーザ端末2の表示装置20に出力画像の描画データを送信することができる。
The
なお、図2に例示される構成はあくまで一例であり、画像処理装置10のハードウエアの構成は図2の例に制限されない。例えば、画像処理装置10の各機能が、スマートフォンやタブレット端末といったユーザ端末2に備えられていてもよい。この場合、画像処理装置10の各機能を実行するアプリケーション(プログラム)が、ユーザ端末2にインストールされる。これにより、ユーザ端末2が実質的に画像処理装置10と同等の装置となる。
The configuration illustrated in FIG. 2 is merely an example, and the hardware configuration of the
<処理の流れ>
図3は、第1実施形態の画像処理装置10によって実行される処理の流れを例示するフローチャートである。
<Processing flow>
FIG. 3 is a flowchart illustrating the flow of processing executed by the
物体検出部110は、商品陳列棚などの陳列スペースに配置された全てまたは一部の商品が写る画像を取得する(S102)。物体検出部110は、例えば、図4に例示されるような画像を取得する。図4は、物体検出部110が取得する画像の一例を示す図である。図4には、商品陳列棚の一部領域を撮影した場合の画像の一例が示されている。ここで、画像処理装置10がカメラ機能を有する装置(例えば、スマートフォンやタブレット端末など)である場合、物体検出部110は、カメラ機能を起動させて生成した画像を処理対象の画像として取得することができる。また、画像処理装置10とは別に設けられたカメラ機能を有する外部装置(例えば、図2の構成におけるユーザ端末2)が画像を生成する場合、物体検出部110は、ネットワークを介して当該外部装置によって生成された画像を取得することができる。
The
次に、物体検出部110は、取得された画像において物体が存在する領域を検出する(S104)。物体検出部110は、例えば、機械学習によって物体の領域を判別可能に構築された学習モデルを使って、個々の物体が位置する領域を検出する。図4に例示されるように、商品の陳列スペースを撮像した画像には、基本的に複数の物体(個々の商品)が存在し得る。そのため、S104の処理では、基本的に1つの画像から複数の領域が検出され得る。物体検出部110は、図4に例示されるような画像を解析した結果として得られる情報(処理結果情報、例:図5)を、メモリ1030やストレージデバイス1040などの記憶領域に記憶する。図5は、物体検出部110の処理によって記憶領域に記憶される処理結果情報の一例を示す図である。図5に例示される情報は、画像内で検出された個々の領域を識別するための情報(領域ID)と、画像座標系での当該領域の位置を示す情報(領域情報)とを含んでいる。なお、図5における「カテゴリ特定結果」および「商品識別結果」の列には、後述のカテゴリ特定部120の処理結果を示す情報および商品識別部130の処理結果を示す情報がそれぞれ格納される。
Next, the
次に、カテゴリ特定部120は、S104の処理で検出された領域の1つを、処理対象領域として選択する(S106)。そしてカテゴリ特定部120は、選択した処理対象領域の形状に基づいて、当該処理対象領域に位置する物体が属するカテゴリを特定する(S108)。カテゴリ特定部120は、処理対象領域に位置する物体のカテゴリの特定結果を用いて、記憶領域に記憶されている処理結果情報を更新する(例:図6)。図6は、カテゴリ特定部120の処理によって更新された処理結果情報の一例を示す図である。カテゴリ特定部120は、図6に例示されるように、処理対象領域に位置する物体のカテゴリとして特定したカテゴリを示す情報を、「カテゴリ特定結果」の欄に格納する。
Next, the
一例として、カテゴリ特定部120は、処理対象領域の高さ方向の大きさを用いて、当該処理対象領域に位置する物体のカテゴリを特定することができる。例えば、カテゴリ特定部120は、次のような処理を行う。まず、カテゴリ特定部120は、画像内での処理対象領域の位置を示す領域情報に基づいて、当該処理対象領域の高さ方向の大きさ(画素数)を算出する。次に、カテゴリ特定部120は、処理対象領域の高さ方向の大きさに対応するカテゴリを、領域の高さ方向の大きさとカテゴリとの対応関係を示す情報に基づいて特定する。ここで、画像内での領域の高さ方向の大きさとカテゴリとの対応関係は、例えば、想定される範囲で撮影位置を変えながら、商品(物体)の配置された陳列スペースを実際に撮影した結果に基づいて定めることができる。領域の高さ方向の大きさとカテゴリとの対応関係を示す情報は、カテゴリ特定部120がアクセス可能な記憶領域(例えば、メモリ1030やストレージデバイス1040など)に予め記憶されている。
As an example, the
他の一例として、カテゴリ特定部120は、処理対象領域の高さ方向の大きさと処理対象領域の幅方向の大きさの比率(アスペクト比)を用いて、当該処理対象領域に位置する物体のカテゴリを特定することもできる。例えば、カテゴリ特定部120は、画像内での処理対象領域の位置を示す領域情報に基づいて、当該処理対象領域の高さ方向の大きさおよび幅方向の大きさをそれぞれ算出する。さらに、カテゴリ特定部120は、高さ方向の大きさと幅方向の大きさを用いて、アスペクト比を算出する。そして、カテゴリ特定部120は、算出したアスペクト比に対応するカテゴリを、アスペクト比とカテゴリとの対応関係を示す情報に基づいて特定する。ここで、アスペクト比とカテゴリとの対応関係は、商品のサイズ(例えば、350ml缶のサイズやマルチパックの梱包サイズ)の情報を用いて定義することができる。アスペクト比とカテゴリとの対応関係を示す情報は、カテゴリ特定部120がアクセス可能な記憶領域(例えば、メモリ1030やストレージデバイス1040など)に予め記憶されている。
As another example, the
処理対象領域に位置する物体のカテゴリが特定された後、商品識別部130は、予め用意されている商品識別用の基準データと比較する画像特徴量を、処理対象領域から抽出する(S110)。ここで、商品識別用の基準データは、例えば図7に示されるような形式で、メモリ1030やストレージデバイス1040などの記憶領域に予め用意されている。図7は、商品識別用の基準データを含む商品情報の一例を示す図である。基準データは、商品画像または当該商品画像から抽出される画像特徴量である。
After the category of the object located in the processing target area is specified, the
また、商品識別部130は、S108の処理で特定された処理対象領域に位置する物体のカテゴリに基づいて、商品識別用の基準データ全ての中から当該カテゴリに対応する基準データを選択する(S112)。例えば、S108の処理において処理対象領域に位置する物体のカテゴリが「500ml」と特定されたとする。この場合に、商品識別部130は、図7に例示される基準データの中から、「500ml」のカテゴリに対応する基準データ(2、6、10および14行目のレコードに格納されている基準データ)を、マッチング処理で用いる基準データとして選択する。
Further, the
そして、商品識別部130は、カテゴリに基づいて選択した商品の基準データと、処理対象領域から得られた画像特徴量とを比較し、その類似度(マッチング処理で算出されるスコア)に基づいて当該領域に位置する物体(商品)を識別する(S114)。例えば、商品識別部130は、最も類似度の大きい基準データに紐付く商品IDを商品の識別結果として取得する。また、商品識別部130は、所定の閾値以上の類似度を示す基準データ(複数存在する場合は、その中で最も類似度の大きい基準データ)を特定し、その基準データに紐付く商品IDを商品の識別結果として取得するように構成されていてもよい。なお、所定の閾値以上の類似度を示す基準データが存在しない場合、商品識別部130は、単純に最も類似度の大きい基準データに紐付く商品IDを取得するようにしてもよいし、商品が識別できなかったことを示す情報を生成してもよい。そして、商品識別部130は、商品の識別結果を用いて、記憶領域に記憶されている処理結果情報を更新する(例:図8)。図8は、商品識別部130の処理によって更新された処理結果情報の一例を示す図である。商品識別部130は、図8に例示されるように、マッチング処理による識別結果(商品の識別)として特定したカテゴリを示す情報を、「カテゴリ特定結果」の欄に格納する。なお、本図における「−」は、商品が識別できなかったことを示す情報を意味している。
Then, the
S106からS114までの処理は、S104の処理で検出された全ての領域が処理対象領域として選択されるまで繰り返される。具体的には、処理対象領域として選択されていない領域が残っている場合(S116:YES)、未選択の領域の中から新たな処理対象領域が選択され、上述の処理が繰り返される。全ての領域が選択された場合(S116:NO)、表示処理部140は、各領域のマッチング処理の結果を用いて出力画像を生成し、当該出力画像を表示装置20に出力する(S118)。
The processing from S106 to S114 is repeated until all the regions detected in the processing of S104 are selected as the processing target regions. Specifically, when an unselected area remains as the processing target area (S116: YES), a new processing target area is selected from the unselected areas, and the above processing is repeated. When all the areas are selected (S116: NO), the
<出力画像の一例>
以下、表示処理部140によって出力される出力画像について、いくつか具体例をあげて説明する。図9から図11は、第1実施形態の表示処理部140が表示装置20に出力する出力画像の一例を示す図である。
<Example of output image>
Hereinafter, the output image output by the
図9の例において、表示処理部140は、例えば、物体が存在する領域を示す枠状の表示要素A1を処理対象の画像に重畳させて、物体が存在する位置を可視化した出力画像を生成している。このとき、表示処理部140は、記憶領域に記憶された領域情報に基づいて、個々の領域に対応する表示要素A1の表示位置(画像上での位置座標)を設定することができる。また、表示処理部140は、個々の領域の位置を示す表示要素A1の表示態様を、各領域に関するマッチング処理の結果に応じて設定することができる。図9の例では、表示処理部140は、表示要素A1の枠線の種類(実線/点線)によって、商品が識別できた領域(枠線が実線の領域)と商品が識別できなかった領域(枠線が点線の領域)とを区別可能にしている。このようにすることで、出力画像を確認する人物が、マッチング処理の成否を把握し易くなる。なお、表示処理部140は、枠線の種類に限らず、枠線の色、塗りつぶしパターンの種類などによって、商品が識別できた領域と商品が識別できなかった領域とを区別可能にしてもよい。
In the example of FIG. 9, the
また、図9に例示されるように、表示処理部140は、処理対象の画像において識別された商品を示す商品リストA2を出力画像に含めるようにしてもよい。表示処理部140は、商品識別部130による各領域のマッチング処理の結果に基づいて、商品リストA2を生成することができる。この場合において、表示処理部140は、商品リストA2上での選択操作に応じて、出力画像を更新するように構成されていてもよい。例えば、図10に例示されるように、商品リストA2上で選択された商品に対応する領域の表示要素A1を強調表示するように構成されていてもよい。図10の例では、商品リストA2上で「Cビール 缶350ml」を選択する入力が行われた状態が示されている。この場合、表示処理部140は、例えば、リスト上で選択された商品の識別情報に基づいて、記憶領域に記憶された情報(例:図8)から選択された商品に紐付く領域を特定する。そして、表示処理部140は、例えば、表示要素A1の枠線の色、枠線の太さ、枠線の種類、枠内の塗りつぶしの種類などを変更することで、特定した領域に対応する表示要素A1を強調表示する。このようにすることで、出力画像を確認する人物が、識別された各商品が画像上のどの位置に存在しているかを容易に把握できる。また、図10に例示されるように、表示処理部140は、商品リストA2の選択状態に応じて、選択された商品の情報を示す表示要素A3を画像上に更に表示するようにしてもよい。
Further, as illustrated in FIG. 9, the
また、表示処理部140は、同じ名称の商品かつ同じカテゴリに属する商品が連続して配置されている領域を1つの連続領域として認識し、その連続領域を示す表示要素B1と商品名およびカテゴリを示す表示要素B2を含む出力画像を生成してもよい(例:図11)。図11に例示されるような出力画像によっても、陳列スペースでの商品配置の詳細を容易に把握することができる。
Further, the
[第2実施形態]
本実施形態は、以下で説明する点を除き、第1実施形態と同様の構成を有する。
[Second Embodiment]
The present embodiment has the same configuration as the first embodiment except for the points described below.
図12に示されるように、本実施形態のカテゴリ特定部120は、処理対象領域に位置する物体(対象物体)の両隣に位置する2つの他の物体について特定されたカテゴリの情報を用いて、当該対象物体のカテゴリを設定する。図12は、第2実施形態のカテゴリ特定部120の機能を例示する図である。なお、図12において、点線の枠は処理対象領域を意味している。本実施形態のカテゴリ特定部120は、処理対象領域に位置する対象物体1201のカテゴリを特定する際、当該物体1201の両隣に位置する2つの他の物体(物体1202および物体1203)のカテゴリが特定済みであり、かつ、当該2つの他の物体のカテゴリが同一であるか否かを判定する。図12の例では、2つの他の物体(物体1202および物体1203)のカテゴリが特定済みであり、かつ、それらのカテゴリは同一である。この場合、カテゴリ特定部120は、物体1202および物体1203で共通しているカテゴリ(ここでは、「500ml、単品」)を、処理対象領域に位置する対象物体1201のカテゴリとして設定する。なお、物体1202および物体1203のカテゴリが同一でない場合には、カテゴリ特定部120は、第1実施形態で説明したように、処理対象領域の形状に基づいてその処理対象領域に位置する対象物体1201のカテゴリを特定することができる。
As shown in FIG. 12, the
<作用・効果>
本実施形態では、処理対象領域に位置する物体のカテゴリを特定する際、その物体の両隣に位置する2つの他の物体のカテゴリが特定済み、かつ、2つの他の物体のカテゴリが同一である場合、他の物体について特定されたカテゴリを処理対象領域に位置する物体のカテゴリとして設定する。例えば、本実施形態において、カテゴリ特定部120は、物体検出部110により検出された領域について、1つ飛ばしに領域の形状を用いたカテゴリ特定処理を行った後、残った領域について上述の処理を実行するように構成される。これにより、少なくとも一部の領域について、領域の形状を用いた処理よりも簡易な処理でカテゴリを特定でき、全体の処理時間の短縮が見込める。
<Action / effect>
In the present embodiment, when the category of the object located in the processing target area is specified, the categories of the two other objects located on both sides of the object have already been specified, and the categories of the two other objects are the same. In this case, the category specified for other objects is set as the category of the object located in the processing target area. For example, in the present embodiment, the
なお、本実施形態において、カテゴリ特定部120は、対象物体の両隣に位置する2つの他の物体のカテゴリを用いて当該対象物体のカテゴリを設定するモードを使用することを示す入力に応じて、上述の処理を実行するように構成されていてもよい。例えば、処理対象の画像が取得された場合に、カテゴリ特定部120は、図13に例示されるような画面を表示装置20に表示させ、当該画面を介して、2つの他の物体について特定されたカテゴリを用いるモードを使用する領域を指定する入力を受け付けるように構成される。図13は、2つの他の物体について特定されたカテゴリを用いるモードを使用する領域の設定入力を受け付ける画面の一例を示す図である。図13の例において、カテゴリ特定部120は、マウスやタッチパネルなどの入力装置を用いたユーザの入力操作に応じて、領域を指定する入力を受け付ける。ユーザの入力操作は、例えば、任意の領域を指定する操作や、棚板の位置などによって特定された部分領域(陳列棚の各段)の少なくともいずれか1つを選択する操作などである。図13に例示されるケースでは、カテゴリ特定部120は、商品陳列棚の真ん中の段に対応する領域を指定する入力操作を受け付け、当該領域を上記モードの対象領域として認識する。
In the present embodiment, the
このような構成によれば、ユーザが、処理対象の画像において本実施形態の処理を適用したい領域を任意に設定することができる。例えば、ユーザは、商品の配置パターンによって本実施形態の処理に適さない領域(同じカテゴリの商品が3つ以上連続して配置されていない領域など)を事前に除外することができる。 According to such a configuration, the user can arbitrarily set an area to which the processing of the present embodiment is to be applied to the image to be processed. For example, the user can exclude in advance an area unsuitable for the processing of the present embodiment (such as an area in which three or more products of the same category are not continuously arranged) depending on the arrangement pattern of the products.
[第3実施形態]
機械(画像処理装置10)による画像認識技術において、誤りを完全に排除することは現状難しい。最終的なアウトプットの精度を向上させるために、機械による判断が難しい部分については人の目で確認して修正する方法を採用することもあるが、本発明が対象とする陳列スペースの画像のように確認対象が多数存在する場合、人の目で1つ1つ確認していくことは非常に手間がかかる。本実施形態の画像処理装置10は、この課題を解決する構成を更に備える。
[Third Embodiment]
In the image recognition technology by a machine (image processing device 10), it is currently difficult to completely eliminate errors. In order to improve the accuracy of the final output, a method of visually confirming and correcting a part that is difficult to judge by a machine may be adopted, but the image of the display space targeted by the present invention may be adopted. When there are many confirmation targets, it is very troublesome to confirm each one with the human eye. The
<機能構成>
本実施形態の画像処理装置10は、以下で説明する点を除き、第1実施形態と同様の構成を有する。また、本実施形態の画像処理装置10は、第2実施形態で説明した機能を更に備えていてもよい。図14は、第3実施形態における画像処理装置10の機能構成を例示する図である。図14に示されるように、本実施形態の画像処理装置10は、識別誤り候補抽出部150を更に備えている点で、第1実施形態の構成と相違する。
<Functional configuration>
The
識別誤り候補抽出部150は、商品を誤って識別している可能性のある領域(以下、「候補領域」とも表記)を特定する。識別誤り候補抽出部150の具体的な動作例については、後述する。また、本実施形態の表示処理部140は、識別誤り候補抽出部150による候補領域の特定結果に基づいて、当該候補領域を識別可能にする表示要素を更に含む出力画像を表示する。
The identification error
<処理の流れ>
図15は、第3実施形態の画像処理装置10により実行される処理の流れを例示するフローチャートである。図15の例で示される処理は、図3のS116の判定処理が「NO」となった後、図3のS118の処理に代えて実行される。
<Processing flow>
FIG. 15 is a flowchart illustrating a flow of processing executed by the
物体検出部110によって検出された領域の全てが処理対象領域として選択された場合(S116:NO)、識別誤り候補抽出部150は、処理対象領域の中から候補領域を特定する(S202)。
When all the regions detected by the
一例として、識別誤り候補抽出部150は、商品識別部130によるマッチング処理の確信度(商品識別結果の確からしさ)に基づいて候補領域を特定するように構成されていてもよい。マッチング処理の確信度は、例えば、マッチング処理の結果として得られるスコア(類似度)の大きさに基づいて判断することができる。具体的には、識別誤り候補抽出部150は、マッチング処理の結果得られた類似度が高いほど当該マッチング処理の確信度が高いと判断できる。識別誤り候補抽出部150は、例えば各領域のマッチング処理の結果(類似度)が所定の閾値未満か否かを判定し、マッチング処理の結果として所定の閾値未満の類似度が得られた領域を候補領域として特定する。
As an example, the identification error
他の一例として、識別誤り候補抽出部150は、商品識別部130によるマッチング処理の結果から得られる商品の配列に基づいて候補領域を特定するように構成されていてもよい。例えば、識別誤り候補抽出部150は、商品のイレギュラーな配置を検出し、その商品に対応する領域を候補領域として特定することができる。具体的な例として、識別誤り候補抽出部150は、ある特定の商品だけフェイス数(商品の列の数)が異なっている状態を商品の識別結果から検出できた場合に、当該商品に対応する領域を候補領域として特定することができる。また、他の具体的な例として、識別誤り候補抽出部150は、ある第1のカテゴリ(例:500ml、単品)に属する商品が連続して配置されている領域において当該第1のカテゴリとは異なる第2のカテゴリ(例:マルチパック)に属する商品が突然現れるような状態を「商品のイレギュラーな配置」として検出し、その第2のカテゴリに属する商品に対応する領域を候補領域として特定することができる。
As another example, the identification error
そして、表示処理部140は、商品識別部130による各領域のマッチング処理の結果およびS202の処理における候補領域の特定結果を用いて出力画像を生成し、当該出力画像を表示装置20に出力する(S204)。
Then, the
<出力画像の一例>
図16は、第2実施形態の表示処理部140が表示装置20に出力する出力画像の一例を示す図である。図16の例において、表示処理部140は、表示要素B(斜線の塗りつぶしパターン)によって、商品を誤って識別している可能性のある領域をその他の領域と区別可能にしている。表示処理部140は、例えば、図17に例示されるような情報を用いて、出力画像を生成することができる。
<Example of output image>
FIG. 16 is a diagram showing an example of an output image output to the
図17は、画像処理装置10の各処理部の処理結果を示す情報の一例を示す図である。図17に例示される情報は、図5、6、および8と異なり、「候補領域フラグ」の列を更に有している。ここで、識別誤り候補抽出部150は、ある領域が候補領域として特定された場合に、当該領域の「候補領域フラグ」の列にその領域が候補領域であることを示す情報(本図の例では、「1(候補領域)」)を設定する。そして、表示処理部140は、候補領域フラグに「1(候補領域)」が設定されていか否かによって、各領域に対応する表示要素(例:枠状の表示要素)の表示態様を変更する。具体的には、表示処理部140は、候補領域として特定した領域に対して特定のマークを付与する、或いは、枠線の種類、枠線の色、枠線の太さ、枠内の塗りつぶしパターンの種類などを候補領域特有の態様に設定する。これにより、候補領域を区別可能な出力画像が生成される。そして、表示処理部140は、生成した出力画像を表示装置20に出力する。
FIG. 17 is a diagram showing an example of information showing a processing result of each processing unit of the
<作用・効果>
本実施形態では、商品を誤って識別している可能性のある領域(候補領域)を判別するための情報を含む出力画像が表示装置20に表示される。これにより、出力画像を確認する人物が、画像処理装置10による判断誤りの可能性がある領域を容易に見つけることができる。その結果、例えば誤りを修正するといった、最終的なアウトプットの精度を高める措置を効率的に行うことができる。
<Action / effect>
In the present embodiment, an output image including information for discriminating an area (candidate area) in which a product may be erroneously identified is displayed on the
以上、図面を参照して本発明の実施の形態について述べたが、本発明はこれらに限定されて解釈されるべきものではなく、本発明の要旨を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、改良等を行うことができる。実施形態に開示されている複数の構成要素は、適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよいし、異なる実施形態の構成要素を適宜組み合わせてもよい。 Although the embodiments of the present invention have been described above with reference to the drawings, the present invention should not be construed as being limited to these, and are based on the knowledge of those skilled in the art as long as they do not deviate from the gist of the present invention. Therefore, various changes and improvements can be made. The plurality of components disclosed in the embodiments can form various inventions by appropriate combinations. For example, some components may be deleted from all the components shown in the embodiment, or components of different embodiments may be combined as appropriate.
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。 Further, in the plurality of flowcharts used in the above description, a plurality of steps (processes) are described in order, but the execution order of the steps executed in each embodiment is not limited to the order of description. In each embodiment, the order of the illustrated steps can be changed within a range that does not hinder the contents. In addition, the above-described embodiments can be combined as long as the contents do not conflict with each other.
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
画像において物体が存在する領域を検出する物体検出手段と、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段と、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段と、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示処理手段と、
を備える画像処理装置。
2.
前記物体検出手段は、機械学習により構築された学習モデルを用いて、前記物体が存在する領域を検出する、
1.に記載の画像処理装置。
3.
前記カテゴリ特定手段は、前記物体に両隣に位置する2つの他の物体それぞれについて特定されたカテゴリが同一であった場合、前記物体のカテゴリを前記2つの他の物体と同一のカテゴリに設定する、
1.または2.に記載の画像処理装置。
4.
前記カテゴリ特定手段は、前記2つの他の物体のカテゴリを用いて前記物体のカテゴリを設定するモードを使用する入力に応じて、前記2つの他の物体のカテゴリを用いて前記物体のカテゴリを設定する処理を実行する、
3.に記載の画像処理装置。
5.
前記カテゴリ特定手段は、前記領域の高さ方向の大きさ、および、前記領域の高さ方向の大きさと前記領域の横方向の大きさとの比率の少なくとも一方を用いて、前記物体のカテゴリを特定する、
1.から4.のいずれか1つに記載の画像処理装置。
6.
商品を誤って識別している可能性のある候補領域を特定する識別誤り候補抽出手段を更に備え、
前記表示処理手段は、前記候補領域を識別可能とする表示要素を更に含む前記出力画像に重畳させる、
1.から5.のいずれか1つに記載の画像処理装置。
7.
前記識別誤り候補抽出手段は、前記識別結果の確信度に基づいて前記候補領域を特定する、
6.に記載の画像処理装置。
8.
前記識別誤り候補抽出手段は、前記識別結果から得られる商品の配列に基づいて前記候補領域を特定する、
6.に記載の画像処理装置。
9.
コンピュータが、
画像において物体が存在する領域を検出し、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定し、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別し、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する、
ことを含む画像処理方法。
10.
前記コンピュータが、機械学習により構築された学習モデルを用いて、前記物体が存在する領域を検出する、
ことを含む9.に記載の画像処理方法。
11.
前記コンピュータが、前記物体に両隣に位置する2つの他の物体それぞれについて特定されたカテゴリが同一であった場合、前記物体のカテゴリを前記2つの他の物体と同一のカテゴリに設定する、
ことを含む9.または10.に記載の画像処理方法。
12.
前記コンピュータが、前記2つの他の物体のカテゴリを用いて前記物体のカテゴリを設定するモードを使用する入力に応じて、前記2つの他の物体のカテゴリを用いて前記物体のカテゴリを設定する処理を実行する、
ことを含む11.に記載の画像処理方法。
13.
前記コンピュータが、前記領域の高さ方向の大きさ、および、前記領域の高さ方向の大きさと前記領域の横方向の大きさとの比率の少なくとも一方を用いて、前記物体のカテゴリを特定する、
ことを含む9.から12.のいずれか1つに記載の画像処理方法。
14.
前記コンピュータが、
商品を誤って識別している可能性のある候補領域を特定し、
前記表示処理手段は、前記候補領域を識別可能とする表示要素を更に含む前記出力画像に重畳させる、
ことを含む9.から13.のいずれか1つに記載の画像処理方法。
15.
前記コンピュータが、前記識別結果の確信度に基づいて前記候補領域を特定する、
ことを含む14.に記載の画像処理方法。
16.
前記コンピュータが、前記識別結果から得られる商品の配列に基づいて前記候補領域を特定する、
ことを含む14.に記載の画像処理方法。
17.
コンピュータを、
画像において物体が存在する領域を検出する物体検出手段、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示出力手段、
として機能させるためのプログラム。
18.
前記物体検出手段は、機械学習により構築された学習モデルを用いて、前記物体が存在する領域を検出する、
17.に記載のプログラム。
19.
前記カテゴリ特定手段は、前記物体に両隣に位置する2つの他の物体それぞれについて特定されたカテゴリが同一であった場合、前記物体のカテゴリを前記2つの他の物体と同一のカテゴリに設定する、
17.または18.に記載のプログラム。
20.
前記カテゴリ特定手段は、前記2つの他の物体のカテゴリを用いて前記物体のカテゴリを設定するモードを使用する入力に応じて、前記2つの他の物体のカテゴリを用いて前記物体のカテゴリを設定する処理を実行する、
19.に記載のプログラム。
21.
前記カテゴリ特定手段は、前記領域の高さ方向の大きさ、および、前記領域の高さ方向の大きさと前記領域の横方向の大きさとの比率の少なくとも一方を用いて、前記物体のカテゴリを特定する、
17.から20.のいずれか1つに記載のプログラム。
22.
前記コンピュータを、
商品を誤って識別している可能性のある候補領域を特定する識別誤り候補抽出手段として更に機能させ、
前記表示処理手段は、前記候補領域を識別可能とする表示要素を更に含む前記出力画像に重畳させる、
17.から21.のいずれか1つに記載のプログラム。
23.
前記識別誤り候補抽出手段は、前記識別結果の確信度に基づいて前記候補領域を特定する、
22.に記載のプログラム。
24.
前記識別誤り候補抽出手段は、前記識別結果から得られる商品の配列に基づいて前記候補領域を特定する、
22.に記載のプログラム。
Some or all of the above embodiments may also be described, but not limited to:
1. 1.
An object detection means that detects an area where an object exists in an image,
A category specifying means for specifying the category to which the object belongs using the detected shape of the region, and
A product identification means for identifying a product based on the reference data of the product corresponding to the specified category and the feature amount obtained from the area.
A display processing means for outputting an output image including information indicating the detected position of the region and the product identification result to the display device, and
An image processing device comprising.
2.
The object detection means detects a region where the object exists by using a learning model constructed by machine learning.
1. 1. The image processing apparatus according to.
3. 3.
When the category specified for each of the two other objects located adjacent to the object is the same, the category specifying means sets the category of the object to the same category as the two other objects.
1. 1. Or 2. The image processing apparatus according to.
4.
The category specifying means sets the category of the object by using the category of the two other objects in response to the input using the mode of setting the category of the object by using the category of the two other objects. Execute the process to
3. 3. The image processing apparatus according to.
5.
The category specifying means identifies the category of the object by using at least one of the height direction size of the region and the ratio of the height direction size of the region to the lateral size of the region. To do
1. 1. From 4. The image processing apparatus according to any one of the above.
6.
Further equipped with an identification error candidate extraction means for identifying a candidate area where a product may be erroneously identified,
The display processing means superimposes on the output image further including a display element that makes the candidate region identifiable.
1. 1. From 5. The image processing apparatus according to any one of the above.
7.
The identification error candidate extraction means identifies the candidate region based on the certainty of the identification result.
6. The image processing apparatus according to.
8.
The identification error candidate extraction means identifies the candidate region based on the sequence of products obtained from the identification result.
6. The image processing apparatus according to.
9.
The computer
Detects the area where the object exists in the image,
The category to which the object belongs is identified by using the detected shape of the region.
The product is identified based on the reference data of the product corresponding to the specified category and the feature amount obtained from the area.
An output image including information indicating the detected position of the region and the product identification result is output to the display device.
Image processing methods including that.
10.
The computer detects the region where the object exists by using a learning model constructed by machine learning.
Including that 9. The image processing method described in.
11.
When the computer has the same category specified for each of the two other objects located adjacent to the object, the category of the object is set to the same category as the two other objects.
Including that 9. Or 10. The image processing method described in.
12.
A process in which the computer sets the category of the object using the two other object categories in response to an input using a mode in which the computer sets the object category using the two other object categories. To execute,
Including 11. The image processing method described in.
13.
The computer identifies a category of the object using at least one of the height dimension of the region and the ratio of the height orientation of the region to the lateral magnitude of the region.
Including that 9. From 12. The image processing method according to any one of the above.
14.
The computer
Identify candidate areas that may have misidentified the product
The display processing means superimposes on the output image further including a display element that makes the candidate region identifiable.
Including that 9. To 13. The image processing method according to any one of the above.
15.
The computer identifies the candidate region based on the certainty of the identification result.
Including 14. The image processing method described in.
16.
The computer identifies the candidate region based on the sequence of goods obtained from the identification result.
Including 14. The image processing method described in.
17.
Computer,
An object detection means that detects an area where an object exists in an image,
A category identifying means for identifying the category to which the object belongs using the detected shape of the region,
A product identification means for identifying a product based on the reference data of the product corresponding to the specified category and the feature amount obtained from the area.
A display output means for outputting an output image including information indicating the detected position of the region and the product identification result to the display device.
A program to function as.
18.
The object detection means detects a region where the object exists by using a learning model constructed by machine learning.
17. The program described in.
19.
When the category specified for each of the two other objects located adjacent to the object is the same, the category specifying means sets the category of the object to the same category as the two other objects.
17. Or 18. The program described in.
20.
The category specifying means sets the category of the object by using the category of the two other objects in response to the input using the mode of setting the category of the object by using the category of the two other objects. Execute the process to
19. The program described in.
21.
The category specifying means identifies the category of the object by using at least one of the height direction size of the region and the ratio of the height direction size of the region to the lateral size of the region. To do
17. From 20. The program described in any one of.
22.
The computer
Further function as an identification error candidate extraction means to identify a candidate area where a product may be erroneously identified.
The display processing means superimposes on the output image further including a display element that makes the candidate region identifiable.
17. From 21. The program described in any one of.
23.
The identification error candidate extraction means identifies the candidate region based on the certainty of the identification result.
22. The program described in.
24.
The identification error candidate extraction means identifies the candidate region based on the sequence of products obtained from the identification result.
22. The program described in.
10 画像処理装置
1010 バス
1020 プロセッサ
1030 メモリ
1040 ストレージデバイス
1050 入出力インタフェース
1060 ネットワークインタフェース
110 物体検出部
120 カテゴリ特定部
130 商品識別部
140 表示処理部
150 識別誤り候補抽出部
2 ユーザ端末
20 表示装置
10
Claims (10)
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段と、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段と、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示処理手段と、
を備える画像処理装置。 An object detection means that detects an area where an object exists in an image,
A category specifying means for specifying the category to which the object belongs using the detected shape of the region, and
A product identification means for identifying a product based on the reference data of the product corresponding to the specified category and the feature amount obtained from the area.
A display processing means for outputting an output image including information indicating the detected position of the region and the product identification result to the display device, and
An image processing device comprising.
請求項1に記載の画像処理装置。 The object detection means detects a region where the object exists by using a learning model constructed by machine learning.
The image processing apparatus according to claim 1.
請求項1または2に記載の画像処理装置。 When the category specified for each of the two other objects located adjacent to the object is the same, the category specifying means sets the category of the object to the same category as the two other objects.
The image processing apparatus according to claim 1 or 2.
請求項3に記載の画像処理装置。 The category specifying means sets the category of the object by using the category of the two other objects in response to the input using the mode of setting the category of the object by using the category of the two other objects. Execute the process to
The image processing apparatus according to claim 3.
請求項1から4のいずれか1項に記載の画像処理装置。 The category specifying means identifies the category of the object by using at least one of the height direction size of the region and the ratio of the height direction size of the region to the lateral size of the region. To do
The image processing apparatus according to any one of claims 1 to 4.
前記表示処理手段は、前記候補領域を識別可能とする表示要素を更に含む前記出力画像に重畳させる、
請求項1から5のいずれか1項に記載の画像処理装置。 Further equipped with an identification error candidate extraction means for identifying a candidate area where a product may be erroneously identified,
The display processing means superimposes on the output image further including a display element that makes the candidate region identifiable.
The image processing apparatus according to any one of claims 1 to 5.
請求項6に記載の画像処理装置。 The identification error candidate extraction means identifies the candidate region based on the certainty of the identification result.
The image processing apparatus according to claim 6.
請求項6に記載の画像処理装置。 The identification error candidate extraction means identifies the candidate region based on the sequence of products obtained from the identification result.
The image processing apparatus according to claim 6.
画像において物体が存在する領域を検出し、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定し、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別し、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する、
ことを含む画像処理方法。 The computer
Detects the area where the object exists in the image,
The category to which the object belongs is identified by using the detected shape of the region.
The product is identified based on the reference data of the product corresponding to the specified category and the feature amount obtained from the area.
An output image including information indicating the detected position of the region and the product identification result is output to the display device.
Image processing methods including that.
画像において物体が存在する領域を検出する物体検出手段、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示出力手段、
として機能させるためのプログラム。 Computer,
An object detection means that detects an area where an object exists in an image,
A category identifying means for identifying the category to which the object belongs using the detected shape of the region,
A product identification means for identifying a product based on the reference data of the product corresponding to the specified category and the feature amount obtained from the area.
A display output means for outputting an output image including information indicating the detected position of the region and the product identification result to the display device.
A program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019227385A JP2021096635A (en) | 2019-12-17 | 2019-12-17 | Image processing system, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019227385A JP2021096635A (en) | 2019-12-17 | 2019-12-17 | Image processing system, image processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021096635A true JP2021096635A (en) | 2021-06-24 |
Family
ID=76431392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019227385A Pending JP2021096635A (en) | 2019-12-17 | 2019-12-17 | Image processing system, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021096635A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018191813A (en) * | 2017-05-15 | 2018-12-06 | 株式会社三洋物産 | Game machine |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009187482A (en) * | 2008-02-08 | 2009-08-20 | Nippon Sogo System Kk | Shelf allocation reproducing method, shelf allocation reproduction program, shelf allocation evaluating method, shelf allocation evaluation program, and recording medium |
JP2015210651A (en) * | 2014-04-25 | 2015-11-24 | サントリーシステムテクノロジー株式会社 | Merchandise identification system |
WO2018016214A1 (en) * | 2016-07-21 | 2018-01-25 | 日本電気株式会社 | Image processing device, image processing method, and program |
WO2019107157A1 (en) * | 2017-11-29 | 2019-06-06 | 株式会社Nttドコモ | Shelf-allocation information generating device and shelf-allocation information generating program |
-
2019
- 2019-12-17 JP JP2019227385A patent/JP2021096635A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009187482A (en) * | 2008-02-08 | 2009-08-20 | Nippon Sogo System Kk | Shelf allocation reproducing method, shelf allocation reproduction program, shelf allocation evaluating method, shelf allocation evaluation program, and recording medium |
JP2015210651A (en) * | 2014-04-25 | 2015-11-24 | サントリーシステムテクノロジー株式会社 | Merchandise identification system |
WO2018016214A1 (en) * | 2016-07-21 | 2018-01-25 | 日本電気株式会社 | Image processing device, image processing method, and program |
WO2019107157A1 (en) * | 2017-11-29 | 2019-06-06 | 株式会社Nttドコモ | Shelf-allocation information generating device and shelf-allocation information generating program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018191813A (en) * | 2017-05-15 | 2018-12-06 | 株式会社三洋物産 | Game machine |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11900316B2 (en) | Information processing apparatus, control method, and program | |
US10445870B2 (en) | Linear grouping of recognized items in an image | |
JP7147921B2 (en) | Image processing device, image processing method and program | |
JP7416292B2 (en) | Information processing device, information processing system, control method, and program | |
JP7501725B2 (en) | Image processing device, image processing method, and program | |
US9569851B2 (en) | Sequencing products recognized in a shelf image | |
US20130101205A1 (en) | Label detecting system, apparatus and method thereof | |
CN115619791B (en) | Article display detection method, device, equipment and readable storage medium | |
JPWO2019064925A1 (en) | Information processing equipment, information processing methods, and programs | |
JP2021096635A (en) | Image processing system, image processing method, and program | |
CN108111914B (en) | Video playing area identification method and device and media playing equipment | |
CN115359117A (en) | Commodity display position determining method, commodity display position determining device and readable storage medium | |
US11798210B2 (en) | Neural network based detection of image space suitable for overlaying media content | |
WO2023062724A1 (en) | Image analysis system, image analysis method and program | |
TWM644207U (en) | Multi-view smart shelf commodity display identification positioning notification system | |
CN114140776A (en) | Article distribution identification method and device, electronic equipment and readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231124 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240524 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240603 |