JP6887167B2 - Image processing system - Google Patents
Image processing system Download PDFInfo
- Publication number
- JP6887167B2 JP6887167B2 JP2019070140A JP2019070140A JP6887167B2 JP 6887167 B2 JP6887167 B2 JP 6887167B2 JP 2019070140 A JP2019070140 A JP 2019070140A JP 2019070140 A JP2019070140 A JP 2019070140A JP 6887167 B2 JP6887167 B2 JP 6887167B2
- Authority
- JP
- Japan
- Prior art keywords
- image information
- information
- plane
- generated
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
本発明は，画像処理システムに関する。 The present invention relates to an image processing system.
ある画像情報に，判定対象とする対象物が写っているかを判定することが求められる場合がある。たとえば商品の陳列棚を撮影した画像情報に，判定対象とする商品が写っているかを判定することで，その商品が陳列されていたかを判定する場合などがその一例としてあげられる。 It may be required to determine whether or not an object to be determined is reflected in a certain image information. For example, there is a case where it is determined whether or not the product to be determined is displayed in the image information obtained by photographing the display shelf of the product.
このように，画像情報に対象物が写っているかを判定する場合には，通常，処理対象となる画像情報と，対象物の画像情報との画像マッチング処理を実行することが一般的である。たとえば，下記特許文献１乃至特許文献３には，商品ごとの標本画像情報をもとに，店舗の陳列棚を撮影した画像情報に対して画像認識技術を用いることで商品の陳列状況を管理するシステムが開示されている。
In this way, when determining whether or not an object is reflected in the image information, it is common to execute an image matching process between the image information to be processed and the image information of the object. For example, in the following
しかし特許文献１乃至特許文献３などのいずれの技術においても，撮影した画像情報は２次元画像情報であり，また標本情報も２次元の画像情報である。そのため，２次元画像情報同士を単純に比較することとなる。しかし，撮影した画像情報において，対象物が必ずしも標本画像情報と同じ向きで写っているとは限らない。たとえば，商品の標本画像情報を撮影する際に，商品ラベルが正面に位置するように撮影するが，陳列されている商品は，たとえば客が商品を触ることで，商品ラベルが正面に向いていない状態となることもある。画像マッチング処理においては，画像特徴量の比較で行うことが一般的であるため，上記のような場合，撮影した画像情報と標本画像情報との画像マッチング処理の精度は著しく低下する。
However, in any of the techniques such as
そこで従来は，一つの対象物について，複数の角度から対象物を撮影した複数の標本画像情報をあらかじめ準備しておくことで，撮影した画像情報において，対象物が正面に向いていない場合に対応することが一般的であった。たとえば一つの対象物について，角度を１０度ずつ回転して撮影し，３６枚の標本画像情報を準備していた。 Therefore, conventionally, for one object, by preparing a plurality of sample image information obtained by photographing the object from a plurality of angles in advance, it is possible to deal with the case where the object is not facing the front in the photographed image information. It was common to do. For example, one object was photographed by rotating the angle by 10 degrees, and 36 sample image information was prepared.
しかしこのような場合，一つの対象物について多くの角度から標本画像情報を撮影しておく必要があり，撮影する枚数が多くなるほか，標本画像情報の増大，画像マッチング処理の処理時間，処理負荷の増大といった課題が発生することとなる。 However, in such a case, it is necessary to capture the sample image information from many angles for one object, which increases the number of images to be captured, increases the sample image information, the processing time of the image matching process, and the processing load. Will arise, such as an increase in the number of people.
そこで本発明者は，上記課題に鑑み，上記課題を解決する画像情報に対象物が写っているのを判定するための画像処理システムを発明した。 Therefore, in view of the above problems, the present inventor has invented an image processing system for determining that an object is reflected in the image information that solves the above problems.
第１の発明は，陳列棚を撮影した撮影画像情報とそれに対応する深さ情報とを用いて第１の平面展開画像情報を生成する画像情報処理部と，陳列棚に陳列される商品を撮影した対象物画像情報とそれに対応する深さ情報とを用いて，前記商品の標本情報を生成する標本情報処理部と，前記平面展開画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部と，を有しており，前記深さ情報は，撮影対象と撮影装置との距離情報であり，前記画像情報処理部は，前記撮影画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルが正対する位置になるように回転させ，前記回転させた３次元モデルの一部または全部について，平面に展開する前記第１の平面展開画像情報を生成し，前記標本情報処理部は，前記対象物画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する第２の平面展開画像情報を生成し，前記第２の平面展開画像情報を用いて，前記商品の標本情報を生成する，画像処理システムである。
The first invention is an image information processing unit that generates a first plane development image information using photographed image information obtained by photographing a display shelf and corresponding depth information, and photographs a product displayed on the display shelf. A sample information processing unit that generates sample information of the product using the object image information and the corresponding depth information, a part or all of the plane-expanded image information, and a part or part of the sample information. It has a matching processing unit that executes matching processing using all of them, and the depth information is distance information between a shooting target and a shooting device, and the image information processing unit has the shot image information. A 3D model is generated using the information and the corresponding depth information, and the generated 3D model is rotated so that the generated 3D model faces each other. The first plane-expanded image information developed in the above is generated, the sample information processing unit generates a three-dimensional model using the object image information and the corresponding depth information, and the generated three-dimensional No part of the model, to generate a second planar development image information developed in a plane, with the second planar development image information, and generates the sample information of the commodity, an image processing system.
本発明によって，標本情報の数を減らすことができる。また標本情報を減らせるので，マッチング処理の処理時間，処理負荷を軽減することができる。 According to the present invention, the number of sample information can be reduced. Moreover, since the sample information can be reduced, the processing time and processing load of the matching process can be reduced.
上述の発明において，前記画像情報処理部は，前記撮影画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルに前記撮影画像情報をテクスチャマッピングし，前記テクスチャマッピングした３次元モデルが正対する位置となるように視点方向を決定し，前記決定した視点方向からのテクスチャマッピングした３次元モデルから所定の領域を特定し，前記特定した所定の領域を平面に展開することで前記第１の平面展開画像情報を生成する，画像処理システムのように構成することができる。
In the invention described above, the image information processing unit, the captured image information and generates a 3-dimensional model by using the depth information corresponding thereto, the photographic image information texture mapping to three-dimensional model of the generated , The viewpoint direction is determined so that the texture-mapped three-dimensional model faces the position, a predetermined area is specified from the texture-mapped three-dimensional model from the determined viewpoint direction, and the specified predetermined area is defined. It can be configured like an image processing system that generates the first plane development image information by developing it on a plane.
撮影画像情報と深さ情報とを用いて平面展開画像情報を生成するには，本発明のような処理を実行することが好ましい。とくに，撮影画像情報から平面展開画像情報を生成する過程において，生成した３次元モデルが正対する位置となる視点方向で平面展開画像情報を生成するので，斜め方向から撮影している場合などであっても，それを正対位置にすることができ，正対位置からの平面展開画像情報とすることができる。そのため，標本情報とのマッチングが容易となるので，標本情報を減らすことができる。 In order to generate the plane development image information using the captured image information and the depth information, it is preferable to execute the process as in the present invention. In particular, in the process of generating the plane development image information from the captured image information, the plane development image information is generated in the viewpoint direction at which the generated 3D model faces the position, so that the case is taken from an oblique direction. However, it can be set to the facing position and can be used as the plane development image information from the facing position. Therefore, matching with the sample information becomes easy, and the sample information can be reduced.
上述の発明において，前記標本情報処理部は，前記対象物画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルに前記対象物画像情報をテクスチャマッピングし，前記テクスチャマッピングした３次元モデルから所定の領域を特定し，前記特定した所定の領域を平面に展開することで前記第２の平面展開画像情報を生成する，画像処理システムのように構成することができる。
In the above invention, the specimen processing unit generates a three-dimensional model by using the depth information and corresponding said object image information, texture the object image information into a three-dimensional model of the generated Configured like an image processing system that generates the second plane-expanded image information by mapping, specifying a predetermined region from the texture-mapped three-dimensional model, and expanding the identified predetermined region on a plane. can do.
対象物画像情報と深さ情報とを用いて平面展開画像情報を生成するには，本発明のような処理を実行することが好ましい。とくに対象物画像情報から平面展開画像情報を生成する過程において，３次元モデル化をした上で平面展開画像情報を生成し，それを用いて標本情報を生成しているので，標本情報の数を減らすことができる。 In order to generate the plane development image information using the object image information and the depth information, it is preferable to execute the process as in the present invention. In particular, in the process of generating the plane development image information from the object image information, the plane development image information is generated after three-dimensional modeling, and the sample information is generated using it. Can be reduced.
第４の発明は，陳列棚を撮影した画像情報とそれに対応する深さ情報とを用いて平面展開画像情報を生成する画像情報処理部と，前記平面展開画像情報の一部または全部と，あらかじめ記憶した商品の標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部と，を有しており，前記深さ情報は，撮影対象と撮影装置との距離情報であり，前記画像情報処理部は，前記画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルが正対する位置になるように回転させ，前記回転させた３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成する，画像処理システムである。
A fourth invention includes an image information processing unit that generates planar development image information using image information obtained by photographing a display shelf and the corresponding depth information, a part or all of the plane expansion image information, and a portion or all of the plane expansion image information in advance. It has a matching processing unit that executes matching processing using a part or all of the stored sample information of the product, and the depth information is distance information between the photographing target and the photographing device, and is described above. The image information processing unit generates a three-dimensional model using the image information and the corresponding depth information, rotates the generated three-dimensional model so that the generated three-dimensional model faces each other, and rotates the rotated three-dimensional model. This is an image processing system that generates plane-expanded image information that expands to a plane for part or all of the model.
本発明のように構成することでも，第１の発明と同様の技術的効果を得ることができる。すなわち，標本情報の数を減らすことができ，またマッチング処理の処理時間，処理負荷を軽減することができる。この場合，標本情報としては，第１の発明と同様に対象物画像情報を用いて３次元モデル化をした上で，それを平面展開した平面展開画像情報から生成した標本情報を用いてもよいし，従来と同様に，対象物画像情報から生成した標本情報であってもよい。そして標本情報とマッチングする画像情報について３次元モデル化をした上で生成した平面展開画像情報を用いるので，標本情報の数を従来よりも減らすことができる。 Even with the configuration as in the present invention, the same technical effect as in the first invention can be obtained. That is, the number of sample information can be reduced, and the processing time and processing load of matching processing can be reduced. In this case, as the sample information, the sample information generated from the plane-expanded image information obtained by modeling the object image information in a three-dimensional manner as in the first invention may be used. However, as in the conventional case, the sample information may be the sample information generated from the object image information. Then, since the plane-expanded image information generated after three-dimensional modeling of the image information matching with the sample information is used, the number of sample information can be reduced as compared with the conventional case.
本発明のプログラムをコンピュータに読み込ませて実行することで，第１の発明の画像処理システムを構成することができる。すなわち，コンピュータを，陳列棚を撮影した撮影画像情報とそれに対応する深さ情報とを用いて第１の平面展開画像情報を生成する画像情報処理部，陳列棚に陳列される商品を撮影した対象物画像情報とそれに対応する深さ情報とを用いて，前記商品の標本情報を生成する標本情報処理部，前記平面展開画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部，として機能させる画像処理プログラムであって，前記深さ情報は，撮影対象と撮影装置との距離情報であり，前記画像情報処理部は，前記撮影画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルが正対する位置になるように回転させ，前記回転させた３次元モデルの一部または全部について，平面に展開する前記第１の平面展開画像情報を生成し，前記標本情報処理部は，前記対象物画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する第２の平面展開画像情報を生成し，前記第２の平面展開画像情報を用いて，前記商品の標本情報を生成する，画像処理プログラムである。
By loading the program of the present invention into a computer and executing it, the image processing system of the first invention can be configured. That is, the computer is an image information processing unit that generates the first plane-expanded image information by using the photographed image information obtained by photographing the display shelf and the corresponding depth information, and the object in which the product displayed on the display shelf is photographed. Using the object image information and the corresponding depth information, the sample information processing unit that generates the sample information of the product, a part or all of the plane-expanded image information, and a part or all of the sample information. An image processing program that functions as a matching processing unit that executes matching processing using the image processing unit. The depth information is distance information between a photographing target and a photographing device, and the image information processing unit is the photographed image information. A 3D model is generated using the information and the corresponding depth information, and the generated 3D model is rotated so that the generated 3D model faces each other. The first plane-expanded image information developed in the above is generated, the sample information processing unit generates a three-dimensional model using the object image information and the corresponding depth information, and the generated three-dimensional No part of the model, to generate a second planar development image information developed in a plane, with the second planar development image information, and generates the sample information of the commodity, which is an image processing program.
本発明のプログラムをコンピュータに読み込ませて実行することで，第４の発明の画像処理システムを構成することができる。すなわち，
コンピュータを，陳列棚を撮影した画像情報とそれに対応する深さ情報とを用いて平面展開画像情報を生成する画像情報処理部，前記平面展開画像情報の一部または全部と，あらかじめ記憶した商品の標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部，として機能させる画像処理プログラムであって，前記深さ情報は，撮影対象と撮影装置との距離情報であり，前記画像情報処理部は，前記画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルを前記撮影対象が正対する位置になるように回転させ，前記回転させた３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成する，画像処理プログラムである。
By loading and executing the program of the present invention in a computer, the image processing system of the fourth invention can be configured. That is,
A computer, an image information processing unit that generates plane development image information using image information obtained by photographing a display shelf and the corresponding depth information, a part or all of the plane development image information, and a product stored in advance. An image processing program that functions as a matching processing unit that executes matching processing using part or all of the sample information. The depth information is distance information between an imaging target and an imaging device, and the image. The information processing unit generates a three-dimensional model using the image information and the corresponding depth information, rotates the generated three-dimensional model so that the image shooting target faces the position, and rotates the generated three-dimensional model. This is an image processing program that generates plane-expanded image information that expands on a plane for a part or all of the three-dimensional model.
本発明の画像処理システムを用いることによって，マッチング処理で用いる標本情報の数を減らすことができる。そのため，従来のように，対象物を多くの角度から撮影しておく必要がなくなり，また撮影負担を減らすことができる。また，一つの対象物に対する標本情報を減らすことができ，マッチング処理の処理時間，処理負荷を軽減することができる。 By using the image processing system of the present invention, the number of sample information used in the matching process can be reduced. Therefore, it is not necessary to shoot the object from many angles as in the conventional case, and the burden of shooting can be reduced. In addition, the sample information for one object can be reduced, and the processing time and processing load of matching processing can be reduced.
本発明の画像処理システム１の全体の処理機能の一例のブロック図を図１に示す。画像処理システム１は，管理端末２と入力端末３とを用いる。
FIG. 1 shows a block diagram of an example of the overall processing function of the
管理端末２は，画像処理システム１の中心的な処理機能を実現するコンピュータである。また，入力端末３は，画像情報，深さ情報または深さマップを取得する端末である。たとえば店舗の陳列棚を撮影するとともに，その深さ情報または深さマップを取得する端末である。また，後述するマッチング処理の標本とする商品などの対象物を撮影するととともに，その深さ情報または深さマップを取得する端末である。
The
画像処理システム１における管理端末２，入力端末３は，コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。
The
コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。
When the computer is provided with a touch panel display, the
タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。
The touch panel display is a device in which the functions of the
入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。入力端末３は，撮影装置で可視光などによる画像情報（後述する撮影画像情報または対象物画像情報）を撮影するほか，撮影対象と撮影装置との距離情報（深さ情報）を２次元情報として取得する。深さ情報がマッピングされた情報を，本明細書では深さマップとよぶ。深さマップは，撮影画像情報に対応しており，撮影画像情報に写っている物までの深さ情報が，撮影画像情報と対応する位置にマッピングされている。深さマップは，少なくとも撮影画像情報に対応する範囲をメッシュ状に区切り，そのメッシュごとに深さ情報が与えられている。メッシュの縦，横の大きさは，取得できる深さ情報の精度に依存するが，メッシュの縦，横の大きさが小さいほど精度が上げられる。通常は，１ｍｍから数ｍｍの範囲であるが，１ｍｍ未満，あるいは１ｃｍ以上であってもよい。
The
深さ情報を取得する場合，撮影対象の撮影の際に，特定の波長の光線，たとえば赤外線を照射してそれぞれの方向からの反射光の量や反射光が到達するまでの時間を計測することで撮影対象までの距離情報（深さ情報）を取得する，あるいは特定の波長の光線，たとえば赤外線のドットパターンを照射し，反射のパターンから撮影対象までの距離情報（深さ情報）を計測するもののほか，ステレオカメラの視差を利用する方法があるが，これらに限定されない。なお，深さ情報が撮影装置（三次元上の一点）からの距離で与えられる場合には，かかる深さ情報を，撮影装置の撮影面（平面）からの深さ情報に変換をしておく。このように深さ情報を取得するための装置（深さ検出装置）を入力端末３は備えていてもよい。
When acquiring depth information, it is necessary to measure the amount of reflected light from each direction and the time until the reflected light arrives by irradiating light rays of a specific wavelength, for example, infrared rays, when shooting the object to be photographed. Acquires distance information (depth information) to the shooting target, or irradiates a light beam of a specific wavelength, for example, an infrared dot pattern, and measures the distance information (depth information) from the reflection pattern to the shooting target. In addition to the above, there are methods that utilize the parallax of a stereo camera, but the method is not limited to these. If the depth information is given by the distance from the photographing device (one point on three dimensions), the depth information is converted into the depth information from the photographing surface (plane) of the photographing device. .. The
画像情報と深さ情報とはその位置関係が対応をしている。図５では，陳列棚を撮影対象として撮影した画像情報と深さ情報による深さマップとの対応関係を示している。図５（ａ）が撮影した画像情報，図５（ｂ）がそれに対応する深さマップを模式的に示した図である。 The positional relationship between the image information and the depth information corresponds. FIG. 5 shows the correspondence between the image information taken with the display shelf as the shooting target and the depth map based on the depth information. FIG. 5 (a) is a diagram schematically showing image information taken, and FIG. 5 (b) is a diagram schematically showing a corresponding depth map.
本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する視点方向を決定する処理を省略することもできる。その場合，視点方向を決定する処理をしていない画像情報に対する処理を実行することができる。また，管理端末２における機能の一部または全部を入力端末３で実行してもよい。
Each means in the present invention has only a logical distinction in its function, and may form the same area physically or substantially. The processing order of the processing in each means of the present invention may be changed as appropriate. In addition, a part of the processing may be omitted. For example, the process of determining the viewpoint direction, which will be described later, can be omitted. In that case, it is possible to execute processing on the image information that has not been processed to determine the viewpoint direction. Further, a part or all of the functions in the
画像処理システム１は，標本情報処理部２０と標本情報記憶部２１と画像情報処理部２２と画像情報記憶部２３とマッチング処理部２４とを有する。
The
標本情報処理部２０は，後述するマッチング処理部２４におけるマッチング処理の際に，対象物が画像情報に写っているかを比較するための，対象物の標本情報に対する処理を実行する。たとえば標本とする対象物として陳列棚の棚段に陳列されている商品とする場合，その商品を標本情報とするための処理を実行する。
The sample
標本情報処理部２０は，入力端末３で撮影した，標本とする対象物の画像情報（対象物画像情報）の入力を受け付け，後述する標本情報記憶部２１に記憶させる。この際に，対象物に対して正対した位置で，かつ影がないように撮影されることが好ましい。
The sample
また，標本情報処理部２０は，入力端末３で撮影した画像情報（対象物画像情報）に対する深さ情報や深さマップの入力を受け付け，対象物画像情報に対応づけて，後述する標本情報記憶部２１に記憶させる。なお，入力端末３から深さマップではなく，深さ情報を受け付けた場合には，それをマッピングして深さマップを生成する。
Further, the sample
対象物画像情報と深さ情報，深さマップは，対象物画像情報を撮影する際に同時に撮影，情報が取得され，その情報を標本情報処理部２０で入力を受け付けるようにすることが好ましい。
It is preferable that the object image information, the depth information, and the depth map are photographed and the information is acquired at the same time when the object image information is photographed, and the sample
標本情報処理部２０は，対象物画像情報と深さマップに基づいて３次元モデルに変換をする。すなわち，対象物画像情報と深さマップとは対応しているので，まず深さマップにおける深さ情報に基づいて３次元モデルに変換をし，そこに撮影画像情報を対応づけてテクスチャマッピングをする。図６に対象物画像情報と深さマップに基づく３次元モデル化の処理の一例を示す。なお，図６では飲料のペットボトルを３次元モデル化する場合を示している。図６（ａ）は対象物画像情報である。標本情報処理部２０は，同時に深さマップを取得しているので，深さマップにおける各メッシュの深さ情報に基づいて，３次元モデルに変換をする。そして深さマップにおける各メッシュの位置に，撮影画像情報の対応する画素の色情報などを貼り付けるテクスチャマッピングをすることで，図６（ｂ）乃至（ｄ）のように３次元モデル化をすることができる。図６（ｂ）は左方向からの視点，図６（ｃ）は正面からの視点，図６（ｄ）は右方向からの視点を示している。
The sample
標本情報処理部２０は，対象物画像情報と深さマップに基づいて，対象物の３次元モデルを生成すると，それを平面展開する平面展開処理を実行する。平面展開とは，３次元モデルを平面（２次元）に展開することを意味する。３次元モデルを平面展開する方法はさまざまな方法があり，限定するものではない。
When the sample
平面展開の方法の一例としては，３次元モデルの内側に投影の中心を定め，そこから投影をすることで，平面に展開する方法がある。標本情報処理部２０における平面展開の処理の一例を図７を用いて説明する。図７（ａ）は対象物としてのペットボトルを撮影した画像情報であり，その上面図は，略六角形状になっている。なお実際の形状はより細かく凹凸があるが，ここでは説明のため，六角形で示す。そして，図７（ａ）の画像情報をその深さマップを用いて３次元モデル化した場合に，上方から見た場合の位置関係が図７（ｂ）である。この場合，撮影装置（カメラ）の陰になっている箇所の深さ情報は存在しないので，図７（ｂ）に示すように，上方から見た場合，空白がある。そして，平面展開する対象物の任意の箇所に投影の中心軸を特定する。たとえば対象物が陳列棚に陳列される商品であって，その形状が箱形，袋型ではなく，円柱型，ボトル型などの表面が平面ではなく規則的な曲面の場合には，対象物の横幅とその表面の形状から，回転軸の中心点を求め，投影の中心軸として特定する。なお，投影の中心軸を特定するためには，上記のように限らず，任意の方法であってよい。投影の中心軸を特定した状態が図７（ｃ）である。そして，特定した投影の中心軸から，対象物の表面を，任意に設定した投影面に投影する。これを模式的に示すのが図７（ｄ）である。なお，図７（ｄ）のように，対象物の面と投影面ととの位置が一致しない場合，その離間する距離に応じた投影結果の画像情報の縦横の大きさを，適宜の縮尺率によって調整する。一方，図７（ｅ）のように，対象物の面と投影面との位置を一致させる場合には，その縮尺率の調整処理は設けなくてもよい。なお，図７（ｂ）乃至（ｅ）は，いずれも上方からの図である。
As an example of the plane expansion method, there is a method of expanding to a plane by defining the center of projection inside the three-dimensional model and projecting from there. An example of the plane expansion process in the sample
標本情報処理部２０は，このような平面展開の処理を行うことで，対象物の３次元モデルを２次元（平面）に展開し，その画像情報（平面展開画像情報）に変換することができる。なお，上述では，投影による処理で３次元モデルから平面展開画像情報に変換する処理を行ったが，平面展開処理において，３次元モデルから平面展開画像情報に変換する処理はほかの処理によってもよい。
By performing such plane expansion processing, the sample
標本情報処理部２０は，平面展開画像情報の全部または一部を用いて標本情報を生成する。すなわち，平面展開画像情報の全部または一部について特定した特徴領域における特徴量を抽出し，それを当該対象物の標本情報として特定する。なお，標本情報としては特徴量のほか，平面展開画像情報そのものの全部または一部であってもよいし，後述するマッチング処理で用いる類似性の算出に必要となる情報であれば，ほかの指標に基づく情報であってもよい。
The sample
なお標本情報処理部２０は，一つの対象物について一つの標本情報を生成してもよいし，一つの対象物について複数の角度，たとえば商品を正対化して撮影する場合に，写らない位置にある表面を写すため，正面，背面，上面，下面，両側面程度の角度からの標本情報を生成してもよい。
Note that the sample
標本情報記憶部２１は，対象物ごとに，対象物画像情報，深さ情報，深さマップ，対象物の３次元モデルなどを記憶している。また対象物の識別情報，たとえば商品名などの名称，型番，商品コード（ＪＡＮコード）などを対応づけて記憶していることが好ましい。
The sample
画像情報処理部２２は，入力端末３で撮影した画像情報（撮影画像情報）の入力を受け付け，後述する画像情報記憶部２３に記憶させる。たとえば店舗の陳列棚の撮影画像情報の入力を受け付け，画像情報記憶部２３に記憶させる。入力端末３からは，撮影画像情報のほか，撮影日時，撮影対象を示す情報，たとえば店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図８に，撮影画像情報の一例を示す。図８では，陳列棚に３段の棚段があり，そこに商品が陳列されている撮影画像情報である。
The image
また画像情報処理部２２は，入力端末３で撮影した画像情報（撮影画像情報）に対する深さ情報や深さマップの入力を受け付け，撮影画像情報に対応づけて，後述する画像情報記憶部２３に記憶させる。たとえば店舗の陳列棚に対する深さ情報や深さマップの入力を受け付け，店舗の陳列棚を撮影した撮影画像情報に対応づけて，画像情報記憶部２３に記憶させる。図９に，深さ情報をマッピングした深さマップの一例を模式的に示す。なお，入力端末３から深さマップではなく，深さ情報を受け付けた場合には，それをマッピングして深さマップを生成する。
Further, the image
撮影画像情報と深さ情報，深さマップは，撮影画像情報を撮影する際に同時に撮影，情報が取得され，その情報を画像情報処理部２２で入力を受け付けるようにすることが好ましい。
It is preferable that the captured image information, the depth information, and the depth map are captured and the information is acquired at the same time when the captured image information is captured, and the image
画像情報処理部２２は，撮影画像情報と深さマップに基づいて３次元モデルに変換をする。すなわち，撮影画像情報と深さ情報とは対応しているので，まず深さ情報を３次元モデルに変換をし，そこに撮影画像情報を対応づけてテクスチャマッピングをする。撮影画像情報と深さマップとに基づく３次元モデルへの変換は，標本情報処理と同様の処理を実行すればよい。
The image
なお，画像情報処理部２２は，撮影対象を撮影する際に，複数枚で撮影した場合，それを一つの画像情報に合成するスティッチング処理を実行してもよい。スティッチング処理は，３次元モデル化の前であってもよいし，３次元モデル化の後であってもよい。３次元モデル化の前のスティッチング処理，３次元モデル化の後のスティッチング処理のいずれも公知の手法を用いることもできる。
Note that the image
３次元モデル化の前に行う場合には，各撮影画像情報間で対応点を検出することでスティッチング処理を実行する。この際に，撮影画像情報同士で対応点が特定できるので，特定した対応点の位置に対応する深さマップ同士も同様に対応づける。これによって，３次元モデル化の前にスティッチング処理を実行できる。 If it is performed before the three-dimensional modeling, the stitching process is executed by detecting the corresponding points between the captured image information. At this time, since the corresponding points can be specified between the captured image information, the depth maps corresponding to the positions of the specified corresponding points are also associated with each other in the same manner. This allows stitching to be performed before 3D modeling.
また，３次元モデル化の後に行う場合には，２つの３次元モデルにおける凹凸形状の類似性を深さ情報から特定し，形状が類似（深さ情報に基づく凹凸のパターンが所定範囲内に含まれている）している領域内において，その領域に対応する，当該３次元モデルの元となった撮影画像情報同士で対応点を検索することで，３次元モデル化の後にスティッチング処理を実行できる。これを模式的に示すのが図１０である。図１０（ａ）および（ｂ）は横に並ぶ棚段を撮影した撮影画像情報であり，図１０（ｃ）は図１０（ａ）に基づく３次元モデル，図１０（ｄ）は図１０（ｂ）に基づく３次元モデルである。この場合，図１１に示すように，たとえば撮影画像情報において，スティッチング処理のための基準１０１，たとえば棚段を写り込むように撮影をしておけば，その基準１０１が同一の視点方向になるように３次元モデルを回転する。そして深さ情報に基づく凹凸形状の類似を判定する。そして特定した類似する領域１００内における対応点を検索することで，スティッチング処理を実行できる。図１１（ａ）は図１０（ａ）の３次元モデルを，図１０（ｂ）と同一の視点方向となるように回転させた状態である。そして図１１（ａ）と図１１（ｂ）の破線領域１００が，深さ情報に基づいて判定した凹凸形状の類似の領域１００である。また，一点鎖線領域１０１が，同一の視点方向になるように３次元モデルを回転させるための基準とする棚段である。なお基準１０１とするものは撮影対象によって任意に特定することができるが、好ましくは２以上の直線で構成されるものであることがよい。
In addition, when performing after 3D modeling, the similarity of the uneven shape in the two 3D models is specified from the depth information, and the shapes are similar (the pattern of the unevenness based on the depth information is included in the predetermined range. The stitching process is executed after the 3D modeling by searching for the corresponding points between the captured image information that is the source of the 3D model that corresponds to that area. it can. This is schematically shown in FIG. 10 (a) and 10 (b) are photographed image information obtained by photographing the shelves arranged side by side, FIG. 10 (c) is a three-dimensional model based on FIG. 10 (a), and FIG. 10 (d) is FIG. 10 (d). It is a three-dimensional model based on b). In this case, as shown in FIG. 11, for example, in the captured image information, if the
以上のような処理を実行することで，３次元モデル化の前または後のいずれであってもスティッチング処理を実行することができる。また，複数枚の撮影画像情報を用いない場合にはスティッチング処理は実行しなくてもよい。 By executing the above processing, the stitching processing can be executed either before or after the three-dimensional modeling. Further, when the information of a plurality of captured images is not used, the stitching process may not be executed.
画像情報処理部２２は，３次元モデル化処理を実行した後，撮影対象とした３次元モデルが正対する位置となるように，その視点方向を決定する処理を実行する。たとえば撮影対象が商品の陳列棚やそこにある商品である場合，陳列棚や商品が正対する位置（正面となる位置）になるように視点方向を決定する。
After executing the three-dimensional modeling process, the image
視点方向を決定する処理としては，３次元モデルにおける基準が，正対する位置となるためのあらかじめ定めた条件を充足するように視点方向を決定すればよい。基準および条件は撮影対象などに応じて任意に設定することができる。たとえば陳列棚を撮影する際には，陳列棚の棚段の前面１０２を基準とし，条件としては，陳列棚の複数の棚段の前面１０２がいずれも水平となり，かつ互いに垂直の位置となるように，視点を撮影範囲の上下左右で中央に移動させることで，実現できる。棚段の前面１０２は，通常，商品の陳列棚を撮影した場合，陳列棚の前面が一番手前に位置する（もっとも前に位置している）ので３次元モデルの深さ情報から棚段の前面１０２を特定することができる。この処理を模式的に示すのが図１２である。図１２（ａ）は陳列棚を撮影した撮影画像情報であり，図１２（ｂ）はその陳列棚の深さマップにおいて，深さ情報を白黒の濃度で表現した図であり（黒の場合が手前に位置する（深さ情報の値が小さい）），図１２（ｃ）は深さマップに基づく３次元モデルであり，深さ情報を色に変換したものである。そして画像情報処理部２２は，深さ情報に基づいて陳列棚の棚段の前面を特定し，その棚段が上述の条件を充足するように視点方向を決定する。また視点方向の決定処理で用いた基準と，上述の３次元モデル化後のスティッチング処理における基準とは同一の基準を用いてもよい。たとえばいずれの場合も陳列棚の棚段の前面を基準として用いることができる。
As a process for determining the viewpoint direction, the viewpoint direction may be determined so that the reference in the three-dimensional model satisfies a predetermined condition for the position to face each other. The standard and conditions can be arbitrarily set according to the shooting target and the like. For example, when taking a picture of a display shelf, the
図１２（ｃ）ではわかりやすさのため，撮影画像情報をテクスチャマッピングする前の状態で処理をする場合を示しているが，テクスチャマッピングをした後の３次元モデルに対して視点方向の決定処理を実行してもよい。なお，視点方向の決定処理は，上述に限らず，任意の処理で実現することができる。 For the sake of clarity, FIG. 12C shows the case where the captured image information is processed in the state before the texture mapping, but the viewpoint direction determination processing is executed for the 3D model after the texture mapping. You may. The process of determining the viewpoint direction is not limited to the above, and can be realized by any process.
なお，もともと撮影画像情報が正対した位置から撮影されているなどの場合には，視点方向の決定処理は実行しなくてもよい。 If the captured image information is originally captured from a position facing it, the viewpoint direction determination process does not have to be executed.
画像情報処理部２２は，３次元モデルが正対する位置に視点方向を決定すると，標本情報とマッチング処理を実行するための所定領域（これを「フェイス領域」という場合がある）を特定する。たとえば商品の陳列棚を撮影した撮影画像情報であって，標本情報が商品である場合，フェイス領域として，陳列棚に陳列されている商品の領域を特定する。
When the image
フェイス領域の特定方法はさまざまな方法があり，標本情報の特性に合わせて任意に設定することができる。標本情報が商品であって，陳列棚を撮影した撮影画像情報から商品の領域を特定する場合には，たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，フェイス領域を特定する。また，商品のカテゴリや商品の形態によって，任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイス領域に対して，担当者による修正入力を受け付けてもよい。さらに，担当者からフェイス領域の位置の入力を受け付けるのでもよい。 There are various methods for specifying the face area, which can be arbitrarily set according to the characteristics of the sample information. When the sample information is a product and the area of the product is specified from the photographed image information obtained by photographing the display shelf, for example, the product and the product in the area between the shelves of the display shelf (shelf area). By identifying the narrow and narrow shadows that occur between the product, identifying the repeating pattern of the image, identifying the step on the upper side of the package, specifying the division position based on restrictions such as the same product width, etc. Identify the face area. In addition, any method can be adopted depending on the category of the product and the form of the product, and the method is not limited to the above. In addition, a correction input by the person in charge may be accepted for the automatically specified face area. Further, the person in charge may input the position of the face area.
また３次元モデルにおいて所定条件を充足する面の位置と範囲を特定し，その面と，あらかじめ定めた標本情報の表面モデルのタイプに応じた条件を充足するかをマッチングし，条件を充足する面をフェイス領域として特定する。たとえば上述と同様に，標本情報が商品であり，陳列棚を撮影した撮影画像情報から３次元モデルを生成し，商品のフェイス領域を特定する処理の場合には，以下のような処理が実行できる。 In addition, in the 3D model, the position and range of the surface that satisfies the predetermined conditions are specified, and the surface is matched with the surface that satisfies the conditions according to the type of the surface model of the predetermined sample information, and the surface that satisfies the conditions. Is specified as the face area. For example, as described above, in the case where the sample information is a product, a three-dimensional model is generated from the photographed image information obtained by photographing the display shelf, and the face area of the product is specified, the following processing can be executed. ..
まず，微細な凹凸を除外するために高周波をフィルタアウトした上で，垂直に近い，正対した一定以上の面積を持つ面，直立した円筒の面，全体に凸のゆがんだ多面体の領域の面を検出し，３次元空間内の位置と範囲を特定する。たとえば，深さ情報が一定の範囲内であり，法線が安定して正面を向いていれば平面，深さ情報について垂直方向の相関性が強く，水平方向に凸であれば円筒，水平方向および垂直方向のいずれも凸，または法線が安定していなければ凸のゆがんだ多面体の領域の面のように特定をする。そして，検出した各面をラベリングをする。図１３では５つの面を検出し，それぞれ１から５のラベリングをした状態を示している。そして検出した面について，たとえば深さ情報の平均値などに基づいて，最前面から，順に最前面からの距離（これをレベルとする）を算出する。そして算出したレベルに基づいて，各面の前後関係を特定する。図１３では，１，２の面のレベルは０ｃｍであり，３，４の面のレベルは３ｃｍ，５の面のレベルは２０ｃｍのように算出をする。そして，最前面が１，２の面，その次に奥に位置するのが３，４の面，最背面が５の面として，５つの面の前後関係を特定する。
First, after filtering out high frequencies to exclude fine irregularities, a surface that is close to vertical and has an area above a certain level facing each other, an upright cylindrical surface, and a surface of a polyhedral region that is convex and distorted as a whole. Is detected, and the position and range in the three-dimensional space are specified. For example, if the depth information is within a certain range and the normal is stable and faces the front, there is a strong vertical correlation between the plane and depth information, and if it is convex in the horizontal direction, it is cylindrical and horizontal. And in either the vertical direction, it is specified as a plane in the region of a convex or distorted polyhedron if the normal is not stable. Then, each detected surface is labeled. FIG. 13 shows a state in which five surfaces are detected and labeled from 1 to 5 respectively. Then, for the detected surface, the distance from the foreground (this is used as the level) is calculated in order from the foreground based on, for example, the average value of the depth information. Then, based on the calculated level, the context of each surface is specified. In FIG. 13, the level of the
そして画像情報処理部２２は，このように特定した面の前後関係を用いて，面の種別を特定する。すなわち，最前面であって，深さマップにある狭い横長の平面を，棚板の前面および商品タグ面，最背面を棚段の後板面，また，棚段の前面と深さ情報が同一または近接（一定範囲，たとえば数ｃｍ以内）しており，中空にある垂直の長方形は商品タグの面として特定をする。そして，好ましくは，それ以外の面を商品面（商品が陳列される可能性のある面）として特定をする。したがって，図１３の例では，１，２の面を棚板の前面および商品タグ面，３，４の面を商品面，５の面を棚体の後板面として特定をする。
Then, the image
このように特定した商品面において，いずれかのタイミングにおいて入力を受け付けた商品のパッケージタイプに基づいて，対応する処理を実行する。パッケージタイプとしては，缶，瓶（ペットボトルを含む。以下同様），缶と瓶の併存，箱物，吊るし商品などがあるが，それらに限定をするものではない。 On the product side specified in this way, the corresponding process is executed based on the package type of the product for which input is accepted at any timing. Package types include cans, bottles (including PET bottles; the same applies hereinafter), coexistence of cans and bottles, boxes, hanging products, etc., but are not limited to these.
パッケージタイプが缶または瓶であった場合，一定の大きさの範囲内にある円筒の領域を缶または瓶のフェイス領域として特定する。これを模式的に示すのが，図１４および図１５である。図１４はパッケージタイプが缶の場合を示すイメージ図であり，図１５はパッケージタイプが瓶の場合を示すイメージ図である。 If the package type is a can or bottle, identify the area of the cylinder within a certain size as the face area of the can or bottle. This is schematically shown in FIGS. 14 and 15. FIG. 14 is an image diagram showing the case where the package type is a can, and FIG. 15 is an image diagram showing the case where the package type is a bottle.
パッケージタイプが缶と瓶の併存であった場合，一定の大きさの範囲内に円筒があり，上方に小さな円筒がない領域を缶のフェイス領域，一定の大きさの範囲内に円筒があり，上方に小さな円筒がある領域を瓶のフェイス領域として特定をする。 When the package type is a coexistence of a can and a bottle, there is a cylinder within a certain size range, the area where there is no small cylinder above is the face area of the can, and there is a cylinder within a certain size range. The area with a small cylinder above is specified as the face area of the bottle.
パッケージタイプが箱物であった場合，一定の大きさの範囲内にある垂直の長方形の平面の領域を箱物のフェイス領域として特定をする。これを模式的に示すのが図１６である。 If the package type is a box, the area of the vertical rectangular plane within a certain size range is specified as the face area of the box. This is schematically shown in FIG.
また，パッケージタイプが吊るし商品であった場合，一定のサイズの範囲内にあり，中空に浮いた長方形の平面または凹凸面の領域を，吊るし商品のフェイス領域として特定をする。これを模式的に示すのが図１７である。 If the package type is a hanging product, the area of a rectangular flat surface or uneven surface that is within a certain size range and floats in the air is specified as the face area of the hanging product. This is schematically shown in FIG.
なお，画像情報処理部２２は，パッケージタイプの選択を受け付けずフェイス領域を特定してもよい。この場合，商品面の領域と，パッケージタイプごとの判定処理をそれぞれ実行することで，フェイス領域としての条件が成立するかを判定する。そして，フェイス領域を構成する面が存在する場合には，その面が構成するフェイス領域を特定し，あらかじめ定められたパッケージタイプの優先条件に基づいて，フェイス領域がどのようなパッケージタイプであるかを特定する。
The image
３次元モデルからフェイス領域を特定する処理は，標本情報のカテゴリや形状などによって任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイス領域に対して，担当者による修正入力を受け付けてもよい。さらに，担当者からフェイス領域の位置の入力を受け付けるのでもよい。 The process of specifying the face region from the three-dimensional model can adopt any method depending on the category and shape of the sample information, and is not limited to the above. In addition, a correction input by the person in charge may be accepted for the automatically specified face area. Further, the person in charge may input the position of the face area.
さらに画像情報処理部２２は，深層学習（ディープラーニング）を用いてフェイス領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記３次元モデルを入力し，その出力値に基づいて，フェイス領域を特定してもよい。また学習モデルとしては，さまざまな３次元モデルにフェイス領域を与えたものを用いることができる。
Further, the image
画像情報処理部２２は，以上のように特定したフェイス領域を切り出す。フェイス領域を切り出すとは，３次元モデルから特定したフェイス領域を実際に切り出してもよいし，後述の処理の処理対象としてその領域を設定することも含まれる。
The image
フェイス領域を切り出す場合には，上述の各処理で特定したフェイス領域をそのまま切り出してもよいし，複数の方法によりフェイス領域の特定を行い，各方法で特定したフェイス領域の結果を用いて切り出す対象とするフェイス領域を特定してもよい。たとえば，３次元モデルから所定条件を充足する面の位置と範囲を特定し，標本情報の表面モデルのタイプに応じた条件を充足するかをマッチングしてフェイス領域を特定する方法と，深層学習によりフェイス領域を特定する方法とを行い，あらかじめ定めた演算によって，最終的に切り出す対象とするフェイス領域を特定してもよい。切り出すフェイス領域の特定方法は，上記に限定するものではなく，任意に設定することができる。 When cutting out the face area, the face area specified by each of the above processes may be cut out as it is, or the face area may be specified by a plurality of methods and the target to be cut out using the result of the face area specified by each method. The face area to be used may be specified. For example, a method of specifying the position and range of a surface that satisfies a predetermined condition from a three-dimensional model, matching whether the condition corresponding to the type of the surface model of the sample information is satisfied, and specifying the face region, and deep learning You may specify the face area to be finally cut out by performing a method of specifying the face area and performing a predetermined calculation. The method for specifying the face area to be cut out is not limited to the above, and can be set arbitrarily.
画像情報処理部２２は，画像情報処理部２２において切り出したフェイス領域について，標本情報処理部２０と同様の平面展開処理を実行し，平面展開画像情報を生成する。
The image
画像情報記憶部２３は，入力端末３から受け付けた撮影画像情報，深さ情報や深さマップ，撮影日時，画像情報識別情報，３次元モデル，平面展開画像情報などを対応づけて記憶する。撮影画像情報とは，本発明の処理対象となる画像情報であればよい。歪み補正処理などの撮影画像情報に対する補正処理が実行された後の画像情報も撮影画像情報に含まれる。
The image
マッチング処理部２４は，撮影画像情報に対する平面展開画像情報を生成した後，通常の２次元画像のマッチング処理と同様に，その平面展開画像情報の全部または一部と，標本情報の全部または一部とのマッチング処理を実行する。たとえば撮影画像情報に対する平面展開画像情報において，標本情報とマッチング処理を行う特徴領域を特定し，その特徴領域の特徴量を抽出する。そして抽出した特徴量と，標本情報の特徴量とのマッチング処理を実行することで，撮影画像情報に対する平面展開画像情報の全部または一部と，標本情報との類似性を判定し，撮影画像情報に含まれる対象物を判定する。
After generating the plane-expanded image information for the captured image information, the matching
なおマッチング処理としては，特徴領域を特定せずにそのまま特徴量を抽出し，標本情報の特徴量とマッチング処理を実行してもよい。また特徴量以外の方法によりマッチング処理を行ってもよい。さらに，画像情報処理部２２は，深層学習（ディープラーニング）を用いて標本情報とのマッチング処理を実行してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記撮影画像情報に対する平面展開画像情報の全部または一部を入力し，その出力値に基づいて，類似する標本情報を特定してもよい。学習モデルとしては，さまざまな平面展開画像情報に標本情報を与えたものを用いることができる。
As the matching process, the feature amount may be extracted as it is without specifying the feature area, and the feature amount of the sample information and the matching process may be executed. Further, the matching process may be performed by a method other than the feature amount. Further, the image
以上のような処理を実行することで，撮影画像情報に写っている対象物を判定し，対象物の識別情報を出力することができる。 By executing the above processing, it is possible to determine the object in the captured image information and output the identification information of the object.
なお，標本情報とする対象物の平面展開画像情報における特徴領域，撮影画像情報に対する平面展開画像情報における特徴領域としては，任意の箇所を特定することができる。たとえば，それぞれの平面展開画像情報からラベル部分を特定し，背景画像的な要素は無視し，商品名，メーカーロゴ，定格表示，キャッチコピーなどを特徴領域とすることができるが，特徴領域は，標本情報とする対象物の特性に応じて任意に設定することができる。 It should be noted that any location can be specified as the feature area in the plane-expanded image information of the object to be the sample information and the feature area in the plane-expanded image information with respect to the captured image information. For example, the label part can be specified from each plane development image information, the background image element can be ignored, and the product name, maker logo, rating display, catch phrase, etc. can be set as the feature area. It can be arbitrarily set according to the characteristics of the object to be sample information.
つぎに本発明の画像処理システム１を用いた処理プロセスの一例を図３および図４のフローチャートを用いて説明する。
Next, an example of the processing process using the
まず標本情報を生成する処理を図３のフローチャートを用いて説明する。 First, the process of generating sample information will be described with reference to the flowchart of FIG.
標本情報を生成する場合，背景や底面が無地の場所に，対象物を載置し，対象物に正対した位置で，かつ影がないように，入力端末３で対象物を撮影する。この際に，対象物の画像情報（対象物画像情報）と深さマップとを取得する。そして標本情報処理部２０は，入力端末３から，対象物画像情報と深さマップとの入力を受け付け，標本情報記憶部２１に記憶させる（Ｓ１００）。なお，対象物画像情報に影などのノイズが写り込んでいる場合には適宜，それを除去する処理を実行する。
When generating sample information, the object is placed in a place where the background and the bottom surface are plain, and the object is photographed by the
そして標本情報処理部２０は，入力を受け付けた対象物画像情報と深さマップとに基づいて，対象物の３次元モデルを生成する（Ｓ１１０）。このように生成した３次元モデルに対して，平面展開処理を実行し，対象物画像情報に対する平面展開画像情報を生成する（Ｓ１２０）。標本情報処理部２０は，対象物画像情報に対する平面展開情報の一部を特徴領域として特定する（Ｓ１３０）。たとえば対象物画像情報が図６（ａ）の場合，平面展開画像情報から特定した特徴領域の一例を図１８に示す。図１８では，対象物がペットボトルの場合に，その平面展開画像情報からラベルの領域を特徴領域として特定した状態を示している。なお，一つの平面展開画像情報から一または複数の特徴領域を特定する。
Then, the sample
そして標本情報処理部２０は，特定した特徴領域から特徴量を抽出し（Ｓ１４０），それを当該対象物の標本情報として特定する。このように特定した標本情報を標本情報記憶部２１に，当該対象物の対象物画像情報などに対応づけて記憶させる（Ｓ１５０）。また当該対象物の識別情報も，対応づけて記憶させる。
Then, the sample
以上のような処理を実行することで，標本情報を標本情報記憶部２１に記憶させることができる。
By executing the above processing, the sample information can be stored in the sample
つぎに，撮影画像情報に写っている対象物を判定する処理を図４のフローチャートを用いて説明する。以下の説明では，店舗の陳列棚を撮影し，その陳列棚に写っている対象物を判定することで，店舗における商品の陳列状況を特定する場合を説明する。 Next, the process of determining the object reflected in the captured image information will be described with reference to the flowchart of FIG. In the following description, a case will be described in which the display status of products in a store is specified by photographing the display shelves of the store and determining the objects shown on the display shelves.
店舗の陳列棚を撮影した撮影画像情報，深さマップは，入力端末３から入力され，管理端末２の画像情報処理部２２でそれらの入力を受け付け，画像情報記憶部２３に記憶させる（Ｓ２００）。また，撮影日時，店舗識別情報，撮影画像情報の識別情報の入力を受け付けて，画像情報記憶部２３に記憶させる。
The photographed image information and the depth map obtained by photographing the display shelves of the store are input from the
画像情報処理部２２は，入力を受け付けた撮影画像情報と深さマップとに基づいて，撮影対象とした陳列棚の３次元モデルを生成する（Ｓ２１０）。このように生成した３次元モデルに対して，画像情報処理部２２は，撮影対象とした陳列棚の３次元モデルが正対する位置となるように，その視点方向を決定する（Ｓ２２０）。
The image
そして画像情報処理部２２は，撮影対象とした陳列棚の３次元モデルが正対する位置となる視点方向を決定したので，陳列棚に陳列されている商品の領域をフェイス領域として特定し，特定したフェイス領域を切り出すフェイス処理を実行する（Ｓ２３０）。
Then, the image
そして切り出したフェイス領域について，平面展開画像情報を生成し，画像情報記憶部２３に記憶させる（Ｓ２４０）。 Then, plane development image information is generated for the cut out face area and stored in the image information storage unit 23 (S240).
以上のように撮影画像情報に対する平面展開画像情報を生成すると，マッチング処理部２４は，撮影画像情報に対する平面展開画像情報において，標本情報とマッチング処理を行う特徴領域を特定し（Ｓ２５０），その特徴領域の特徴量を抽出する（Ｓ２６０）。そして抽出した特徴量と，標本情報の特徴量とのマッチング処理を実行することで（Ｓ２７０），撮影画像情報に対する平面展開画像情報の全部または一部と，標本情報との類似性を判定し，撮影画像情報に含まれる対象物を判定する。判定した対象物の識別情報を，管理端末２は，表示装置７２に表示する，紙に出力するなど，適宜の出力処理を実行する。
When the plane-expanded image information for the captured image information is generated as described above, the matching
上述の実施例１では，対象物画像情報，撮影画像情報のいずれも３次元モデル化し，その後，平面展開画像情報を生成して，特徴領域同士の比較を行う処理としていたが，対象物画像情報，撮影画像情報のいずれかのみについて，３次元モデル化して平面展開画像情報を生成するようにしてもよい。この場合，平面展開画像情報の特徴領域と，従来通りの対象物画像情報，撮影画像情報，あるいはそれらに対して適宜の台形補正処理などの適宜の補正処理が施された画像情報における特徴領域との比較を行ってもよい。なお，補正処理を施した対象物画像情報，撮影画像情報も，「対象物画像情報」，「撮影画像情報」に含むものとする。 In Example 1 described above, both the object image information and the captured image information are three-dimensionally modeled, and then the plane development image information is generated to compare the feature areas. However, the object image information , Only one of the captured image information may be three-dimensionally modeled to generate the plane development image information. In this case, the feature area of the plane-developed image information and the feature area of the conventional object image information, the photographed image information, or the image information to which appropriate correction processing such as trapezoidal correction processing is performed. May be compared. The corrected object image information and photographed image information are also included in the "object image information" and "photographed image information".
たとえば，対象物画像情報について，実施例１と同様に，３次元モデル化して平面展開画像情報を生成し，その平面展開画像情報における特徴領域を特定してその特徴量を算出することで標本情報を生成しておく。撮影画像情報については，平面展開画像情報を生成せずに，２次元の撮影画像情報またはその補正した画像情報，あるいは３次元モデル化をした状態において，標本情報とマッチング処理を実行する。このような処理によっても，撮影画像情報における対象物が正対していない場合であっても，マッチング処理を実行することができ，従来よりも標本情報の数を減らすことができる。 For example, the sample information is obtained by three-dimensionally modeling the object image information in the same manner as in the first embodiment to generate the plane development image information, specifying the feature region in the plane development image information, and calculating the feature amount. Is generated. Regarding the captured image information, the sample information and the matching process are executed in the state where the two-dimensional captured image information or its corrected image information or the three-dimensional model is performed without generating the plane development image information. Even with such processing, matching processing can be executed even when the objects in the captured image information do not face each other, and the number of sample information can be reduced as compared with the conventional case.
また，撮影画像情報について，実施例１と同様に，３次元モデル化して，平面展開画像情報を生成し，その平面展開画像情報における特徴領域を特定してその特徴量を算出する。一方，対象物画像情報は従来と同様に，正対した状態で撮影をしておき，２次元の対象物画像情報またはその補正した画像情報から標本情報をそのまま従来と同様に生成する。そして上述のように平面展開画像情報における特徴領域の特徴量と，標本情報の特徴量とを比較してマッチング処理を実行する。このような処理によっても，撮影画像情報における対象物が正対していない場合であっても，マッチング処理を実行することができ，従来よりも標本情報の数を減らすことができる。 Further, the captured image information is three-dimensionally modeled in the same manner as in the first embodiment, the plane development image information is generated, the feature area in the plane development image information is specified, and the feature amount is calculated. On the other hand, the object image information is photographed in a facing state as in the conventional case, and the sample information is generated as it is from the two-dimensional object image information or the corrected image information as in the conventional case. Then, as described above, the matching process is executed by comparing the feature amount of the feature area in the plane-developed image information with the feature amount of the sample information. Even with such processing, matching processing can be executed even when the objects in the captured image information do not face each other, and the number of sample information can be reduced as compared with the conventional case.
上述の実施例１，実施例２では，撮影画像情報から３次元モデル化をした後にフェイス領域を特定する処理としていたが，撮影画像情報から従来の技術を用いてフェイス領域を特定し，特定したフェイス領域を３次元モデル化するようにしてもよい。 In the above-mentioned Examples 1 and 2, the process of specifying the face region after three-dimensional modeling from the captured image information was performed, but the face region was specified and specified by using the conventional technique from the captured image information. The face region may be modeled in three dimensions.
上述の各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。 The above-mentioned treatments are not limited to the order described in the specification of the present invention, and can be appropriately changed as long as the object is achieved.
また，本発明の画像処理システム１は，店舗の陳列棚を撮影した撮影画像情報から，陳列棚に陳列した商品を対象物として，その商品の陳列状況を特定する場合に有効であるが，それに限定するものではない。すなわち，ある撮影対象物を撮影した場合に，その所望の対象物が写っている領域を撮影した画像情報から特定する際に，広く用いることができる。
Further, the
本発明の画像処理システム１を用いることによって，マッチング処理で用いる標本情報の数を減らすことができる。そのため，従来のように，対象物を多くの角度から撮影しておく必要がなくなり，また撮影負担を減らすことができる。また，一つの対象物に対する標本情報を減らすことができ，マッチング処理の処理時間，処理負荷を軽減することができる。
By using the
１：画像処理システム
２：管理端末
３：入力端末
２０：標本情報処理部
２１：標本情報記憶部
２２：画像情報処理部
２３：画像情報記憶部
２４：マッチング処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
1: Image processing system 2: Management terminal 3: Input terminal 20: Specimen information processing unit 21: Specimen information storage unit 22: Image information processing unit 23: Image information storage unit 24: Matching processing unit 70: Arithmetic device 71: Storage device 72: Display device 73: Input device 74: Communication device
Claims (6)
陳列棚に陳列される商品を撮影した対象物画像情報とそれに対応する深さ情報とを用いて，前記商品の標本情報を生成する標本情報処理部と，
前記平面展開画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部と，を有しており，
前記深さ情報は，撮影対象と撮影装置との距離情報であり，
前記画像情報処理部は，
前記撮影画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，
前記生成した３次元モデルが正対する位置になるように回転させ，
前記回転させた３次元モデルの一部または全部について，平面に展開する前記第１の平面展開画像情報を生成し，
前記標本情報処理部は，
前記対象物画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，
前記生成した３次元モデルの一部または全部について，平面に展開する第２の平面展開画像情報を生成し，
前記第２の平面展開画像情報を用いて，前記商品の標本情報を生成する，
ことを特徴とする画像処理システム。 An image information processing unit that generates the first plane development image information using the photographed image information obtained by photographing the display shelf and the corresponding depth information, and the image information processing unit.
A sample information processing unit that generates sample information of the product using the image information of the object obtained by photographing the product displayed on the display shelf and the corresponding depth information.
It has a part or all of the plane development image information and a matching processing unit that executes a matching process using a part or all of the sample information.
The depth information is distance information between the shooting target and the shooting device.
The image information processing unit
A three-dimensional model is generated using the captured image information and the corresponding depth information.
Rotate the generated 3D model so that it faces the opposite position.
For a part or all of the rotated three-dimensional model, the first plane development image information to be developed on a plane is generated.
The sample information processing unit
A three-dimensional model is generated using the object image information and the corresponding depth information.
For a part or all of the generated three-dimensional model, a second plane-expanded image information to be expanded on a plane is generated.
Using the second plane development image information , sample information of the product is generated.
An image processing system characterized by this.
前記撮影画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，
前記生成した３次元モデルに前記撮影画像情報をテクスチャマッピングし，
前記テクスチャマッピングした３次元モデルが正対する位置となるように視点方向を決定し，
前記決定した視点方向からのテクスチャマッピングした３次元モデルから所定の領域を特定し，
前記特定した所定の領域を平面に展開することで前記第１の平面展開画像情報を生成する，
ことを特徴とする請求項１に記載の画像処理システム。 The image information processing unit
A three-dimensional model is generated using the captured image information and the corresponding depth information.
The captured image information is texture-mapped to the generated three-dimensional model, and the photographed image information is texture-mapped.
The viewpoint direction is determined so that the texture-mapped 3D model faces the opposite position.
A predetermined area is specified from the texture-mapped three-dimensional model from the determined viewpoint direction.
The first plane-expanded image information is generated by expanding the specified predetermined region on a plane.
The image processing system according to claim 1.
前記対象物画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，
前記生成した３次元モデルに前記対象物画像情報をテクスチャマッピングし，
前記テクスチャマッピングした３次元モデルから所定の領域を特定し，
前記特定した所定の領域を平面に展開することで前記第２の平面展開画像情報を生成する，
ことを特徴とする請求項１または請求項２に記載の画像処理システム。 The sample information processing unit
A three-dimensional model is generated using the object image information and the corresponding depth information.
The object image information is texture-mapped to the generated three-dimensional model, and the object image information is texture-mapped.
A predetermined area is specified from the texture-mapped three-dimensional model, and the area is specified.
The second plane-expanded image information is generated by expanding the specified predetermined region on a plane.
The image processing system according to claim 1 or 2, wherein the image processing system is characterized by the above.
前記平面展開画像情報の一部または全部と，あらかじめ記憶した商品の標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部と，を有しており，
前記深さ情報は，撮影対象と撮影装置との距離情報であり，
前記画像情報処理部は，
前記画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，
前記生成した３次元モデルが正対する位置になるように回転させ，
前記回転させた３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成する，
ことを特徴とする画像処理システム。 An image information processing unit that generates planar development image information using image information obtained by photographing display shelves and corresponding depth information, and
It has a matching processing unit that executes a matching process using a part or all of the plane development image information and a part or all of the sample information of the product stored in advance.
The depth information is distance information between the shooting target and the shooting device.
The image information processing unit
A three-dimensional model is generated using the image information and the corresponding depth information.
Rotate the generated 3D model so that it faces the opposite position.
Generates plane-expanded image information that expands into a plane for a part or all of the rotated three-dimensional model.
An image processing system characterized by this.
陳列棚を撮影した撮影画像情報とそれに対応する深さ情報とを用いて第１の平面展開画像情報を生成する画像情報処理部，
陳列棚に陳列される商品を撮影した対象物画像情報とそれに対応する深さ情報とを用いて，前記商品の標本情報を生成する標本情報処理部，
前記平面展開画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部，として機能させる画像処理プログラムであって，
前記深さ情報は，撮影対象と撮影装置との距離情報であり，
前記画像情報処理部は，
前記撮影画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，
前記生成した３次元モデルが正対する位置になるように回転させ，
前記回転させた３次元モデルの一部または全部について，平面に展開する前記第１の平面展開画像情報を生成し，
前記標本情報処理部は，
前記対象物画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，
前記生成した３次元モデルの一部または全部について，平面に展開する第２の平面展開画像情報を生成し，
前記第２の平面展開画像情報を用いて，前記商品の標本情報を生成する，
ことを特徴とする画像処理プログラム。 Computer,
Image information processing unit that generates the first plane development image information using the photographed image information obtained by photographing the display shelf and the corresponding depth information,
A sample information processing unit that generates sample information of the product by using the image information of the object obtained by photographing the product displayed on the display shelf and the corresponding depth information.
An image processing program that functions as a matching processing unit that executes matching processing using a part or all of the plane development image information and a part or all of the sample information.
The depth information is distance information between the shooting target and the shooting device.
The image information processing unit
A three-dimensional model is generated using the captured image information and the corresponding depth information.
Rotate the generated 3D model so that it faces the opposite position.
For a part or all of the rotated three-dimensional model, the first plane development image information to be developed on a plane is generated.
The sample information processing unit
A three-dimensional model is generated using the object image information and the corresponding depth information.
For a part or all of the generated three-dimensional model, a second plane-expanded image information to be expanded on a plane is generated.
Using the second plane development image information , sample information of the product is generated.
An image processing program characterized by this.
陳列棚を撮影した画像情報とそれに対応する深さ情報とを用いて平面展開画像情報を生成する画像情報処理部，
前記平面展開画像情報の一部または全部と，あらかじめ記憶した商品の標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部，として機能させる画像処理プログラムであって，
前記深さ情報は，撮影対象と撮影装置との距離情報であり，
前記画像情報処理部は，
前記画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，
前記生成した３次元モデルを前記撮影対象が正対する位置になるように回転させ，
前記回転させた３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成する，
ことを特徴とする画像処理プログラム。 Computer,
Image information processing unit that generates planar development image information using image information obtained by photographing display shelves and corresponding depth information,
An image processing program that functions as a matching processing unit that executes matching processing using a part or all of the plane development image information and a part or all of the sample information of a product stored in advance.
The depth information is distance information between the shooting target and the shooting device.
The image information processing unit
A three-dimensional model is generated using the image information and the corresponding depth information.
The generated three-dimensional model is rotated so that the imaging target faces the position.
Generates plane-expanded image information that expands into a plane for a part or all of the rotated three-dimensional model.
An image processing program characterized by this.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019070140A JP6887167B2 (en) | 2019-04-01 | 2019-04-01 | Image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019070140A JP6887167B2 (en) | 2019-04-01 | 2019-04-01 | Image processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020170265A JP2020170265A (en) | 2020-10-15 |
| JP6887167B2 true JP6887167B2 (en) | 2021-06-16 |
Family
ID=72745931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019070140A Active JP6887167B2 (en) | 2019-04-01 | 2019-04-01 | Image processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6887167B2 (en) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012138023A (en) * | 2010-12-27 | 2012-07-19 | Maxell Finetech Ltd | Vein image acquisition device, authentication information storage system and personal authentication system |
| JP2015072608A (en) * | 2013-10-03 | 2015-04-16 | 独立行政法人産業技術総合研究所 | State estimation device and state estimation method |
| JP6318557B2 (en) * | 2013-11-11 | 2018-05-09 | 日本電気株式会社 | POS terminal device, POS system, image processing method and program |
| JP6222345B2 (en) * | 2014-03-20 | 2017-11-01 | 日本電気株式会社 | POS terminal device, POS system, image processing method and program |
| JP6322603B2 (en) * | 2015-06-23 | 2018-05-09 | 東芝テック株式会社 | Image processing apparatus, image processing program, and display status determination apparatus |
| JP6523925B2 (en) * | 2015-11-10 | 2019-06-05 | 株式会社日立製作所 | Authentication apparatus using biometric information and authentication method |
| JP6440043B1 (en) * | 2017-06-27 | 2018-12-19 | 株式会社マーケットヴィジョン | Product identification system |
| JP6458239B1 (en) * | 2017-08-29 | 2019-01-30 | 株式会社マーケットヴィジョン | Image recognition system |
-
2019
- 2019-04-01 JP JP2019070140A patent/JP6887167B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020170265A (en) | 2020-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nishida et al. | Procedural modeling of a building from a single image | |
| JP5778237B2 (en) | Backfill points in point cloud | |
| US9275277B2 (en) | Using a combination of 2D and 3D image data to determine hand features information | |
| CN108734087B (en) | Object automatic identification method and system, shopping equipment and storage medium | |
| US9740914B2 (en) | Face location detection | |
| WO2020134528A1 (en) | Target detection method and related product | |
| CN108269266A (en) | Segmentation image is generated using Markov random field optimization | |
| JP2001283224A (en) | Face collating method, recording medium stored with the collating method and face collator | |
| WO2012061945A1 (en) | System and method for object searching using spatial data | |
| EP4254349A2 (en) | Methods for generating a dataset of corresponding images for machine vision learning | |
| Brown et al. | Restoring 2D content from distorted documents | |
| US9147279B1 (en) | Systems and methods for merging textures | |
| JP6541920B1 (en) | INFORMATION PROCESSING APPARATUS, PROGRAM, AND INFORMATION PROCESSING METHOD | |
| JP2016179534A (en) | Information processor, information processing method, program | |
| US20170064284A1 (en) | Producing three-dimensional representation based on images of a person | |
| WO2022021782A1 (en) | Method and system for automatically generating six-dimensional posture data set, and terminal and storage medium | |
| JP2003115042A (en) | Method for evaluating three-dimensional shape model and method and device for generating the model | |
| US20240062345A1 (en) | Method, apparatus, and computer-readable medium for foreground object deletion and inpainting | |
| CN114766042A (en) | Target detection method, device, terminal equipment and medium | |
| Papadaki et al. | Accurate 3D scanning of damaged ancient Greek inscriptions for revealing weathered letters | |
| CN114219958B (en) | Multi-view remote sensing image classification method, device, equipment and storage medium | |
| WO2021046773A1 (en) | Facial anti-counterfeiting detection method and apparatus, chip, electronic device and computer-readable medium | |
| US11080920B2 (en) | Method of displaying an object | |
| JP6887167B2 (en) | Image processing system | |
| JP6788877B2 (en) | Image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200420 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200615 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200615 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200623 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200624 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200722 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200728 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201214 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210219 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210325 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210406 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210510 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6887167 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |