JP6688277B2 - プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 - Google Patents

プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 Download PDF

Info

Publication number
JP6688277B2
JP6688277B2 JP2017252177A JP2017252177A JP6688277B2 JP 6688277 B2 JP6688277 B2 JP 6688277B2 JP 2017252177 A JP2017252177 A JP 2017252177A JP 2017252177 A JP2017252177 A JP 2017252177A JP 6688277 B2 JP6688277 B2 JP 6688277B2
Authority
JP
Japan
Prior art keywords
image
uniform
generated
teacher data
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017252177A
Other languages
English (en)
Other versions
JP2019117577A (ja
Inventor
洋介 坂本
洋介 坂本
海明 松原
海明 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017252177A priority Critical patent/JP6688277B2/ja
Priority to CN201811553131.7A priority patent/CN110008806B/zh
Priority to US16/226,767 priority patent/US10733705B2/en
Publication of JP2019117577A publication Critical patent/JP2019117577A/ja
Application granted granted Critical
Publication of JP6688277B2 publication Critical patent/JP6688277B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、プログラム、学習処理方法、学習モデル、データ構造、学習装置、データ構造、および物体認識装置に関する。
近年、車両を自動的に制御することについての研究が進められている。車両を自動的に制御する際に重要となるのが、車両の走行に合わせてリアルタイムに車両周辺の物体を認識することである。例えば、車両に搭載されているカメラによる撮像画像を用いて、車両周辺の物体を認識する技術について研究および実用化が進められている。この技術に関連して、車両に搭載されているカメラによる撮像画像に基づいて予め用意された学習モデルにより物体を認識するとともに、撮像画像をそのまま学習用の画像として使用して学習モデルを更新する技術が知られている（例えば、特許文献１参照）。
また、認識装置による認識範囲を広げることや、車両周辺の認識精度を高めることも、車両を自動的に制御する際に重要となる。例えば、広角レンズを用いることにより認識範囲を広げることが可能となる。また、魚眼レンズを用いることにより車両の遠くよりも近くの物体の画像が拡大され、物体の認識精度が向上する。
特開２００７−３２８６３１号公報
しかしながら、このようなレンズにより撮影された撮像画像では、光学的な作用によって被写体に歪みが生じている。よって、従来の技術では、歪みが生じている撮像画像をそのまま学習用の画像として使用するため、学習処理の精度が低下する場合があった。
本発明は、このような事情を考慮してなされたものであり、学習処理の精度を向上させることができるプログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置を提供することを目的の一つとする。
（１）：コンピュータに、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成させ、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成させ、前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換させ、前記歪画像に前記関連情報が付与された第２教師データを生成させ、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成させる、プログラム。
（２）：（１）において、前記第１撮像画像および前記第２撮像画像は、魚眼レンズを備える撮像部により撮像された画像である。
（３）：（１）または（２）において、前記コンピュータに、さらに、前記均等画像において前記対象物体の画像領域を矩形の枠を用いて設定させる。
（４）：（３）において、前記コンピュータに、さらに、前記均等画像を前記歪画像に変換させるとともに、前記矩形の枠の形状を前記矩形の枠が設定されている前記均等画像の位置に応じた歪みのある形状に変換させる。
（５）：コンピュータが、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、前記第２教師データに基づいて、機械学習により、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する、学習処理方法。
（６）：コンピュータが、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成することによって、生成された学習モデル。
（７）：コンピュータが、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成することによって、生成された学習モデルを規定する情報を含むデータ構造。
（８）：撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成する画像補正部と、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成する第１教師データ生成部と、前記第１教師データ生成部により生成された前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成する第２教師データ生成部と、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する学習モデル生成部と、を備える学習装置。
（９）：コンピュータが、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成することによって、生成された学習モデルを用いて物体を認識する物体認識装置。
（１０）：（９）において、前記所定の歪みが生じる撮像部により撮像された第３撮像画像に含まれる前記対象物体を、歪みが補正されていない前記第３撮像画像に基づいて認識する認識部を備える。
（１）〜（１０）によれば、学習処理の精度を向上させることができる。
実施形態に係る学習処理装置１００の構成図である。 実施形態に係る物体認識装置２００の構成図である。 学習処理装置１００による処理の流れの一例を示すフローチャートである。 学習処理装置１００による処理により用いられる画像の一例を示す図である。 分割した領域ごとに学習モデルを生成する場合の一例について説明するための参考図である。
以下、図面を参照し、本発明のプログラム、学習処理方法、学習モデル、学習装置、および物体認識装置の実施形態について説明する。
［学習処理装置］
図１は、実施形態に係る学習処理装置１００の構成図である。学習処理装置１００は、撮像画像に基づいて学習モデルを生成する装置である。学習処理装置１００は、例えば、通信部１０１と、入力部１０２と、表示部１０３と、接続部１０４と、学習処理部１１０と、記憶部１５０とを備える。
通信部１０１は、例えば、ＮＩＣ（Network Interface Card）などの通信インターフェースを含む。入力部１０２は、キーボード、マウス等である。表示部１０３は、ＬＣＤ（Liquid Crystal Display）等である。接続部１０４は、学習処理装置１００と外部装置と接続するハードウェアであって、例えば、ＵＳＢコネクタ等である。記憶部１５０は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などのフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などである。
記憶部１５０には、例えば、撮像画像１５１、均等画像１５２、第１教師データ１５４、第２教師データ１５５、学習モデル１５６などが格納される。撮像画像１５１は、所定のカメラにより撮像された撮像画像のデータであって、学習モデルを生成する際に用いられる入力データである。撮像画像は、例えば広角レンズや魚眼レンズを備えるカメラにより撮像された画像であって、所定の歪みが生じている画像である。所定の歪みは、レンズのタイプに応じて予め決定されている。均等画像１５２、第１教師データ１５４、第２教師データ１５５、および学習モデル１５６は、学習処理部１１０により生成される情報であって、学習処理部１１０の説明において合わせて説明する。
学習処理部１１０は、例えば、データ取得部１１１と、画像補正部１１２と、物体検出部１１３と、第１教師データ生成部１１４と、第２教師データ生成部１１５と、学習モデル生成部１１６とを備える。これらの構成は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
データ取得部１１１は、通信部１０１を用いて外部装置から受信した情報や、接続部１０４を介して接続された外部装置から入力された情報を、記憶部１５０に記憶させる。例えば、データ取得部１１１は、外部装置から受信した（あるいは入力された）撮像画像の画像データを、撮像画像１５１として記憶部１５０に記憶させる。
画像補正部１１２は、撮像画像１５１に基づいて、撮像画像の歪みを補正した画像（歪みが補正されて圧縮率が均等に近い状態になっているため、以下、均等画像と記す）を生成し、均等画像１５２として記憶部１５０に記憶させる。撮像画像の歪みを補正する処理については、種々の手法を用いることができる。例えば、予め求められている画素間の対応関係（圧縮率等）を示す情報を用いて、撮像画像の歪みを補正することができる。
物体検出部１１３は、画像補正部１１２により生成された均等画像から、対象物体を検出する。物体検出部１１３は、例えば、予め決められた対象物体の画像特徴を示す情報に基づいて、均等画像内に含まれる対象物体を検出する。対象物体には、例えば、ビルや標識等の構造物や、歩行者（大人、子供、老人等を区別してもよい）、動物等が含まれる。また、物体検出部１１３は、検出結果を第１教師データ生成部１１４に出力する。
第１教師データ生成部１１４は、物体検出部１１３による検出結果に基づいて、アノテーションを実行し、第１教師データを生成する。アノテーションとは、画像内に含まれる対象物体を含む画像領域を指定（例えば、対象物体の周囲に枠を設定）し、アノテーション情報を生成して画像に関連付ける処理である。アノテーション情報は、指定された画像領域に含まれる対象物体に関する関連情報であって、例えば、種別ラベル、メタ情報、画像内位置情報等が含まれる。なお、ここに記載したアノテーション情報の内容は一例であり、アノテーションによりこれら全ての情報を付与しなくてもよく、これらの情報の一部を適宜追加あるいは削除してもよい。種別ラベルとは、物体の種別等を示す情報である。物体の種別には、例えば、建物、人物、車両などが含まれる。また、種別ラベルは、物体の種別ごとにさらに細かい項目が設定されてもよく、例えば、物体の色、形状、大きさ、高さ、性別、年齢、車種などを示す情報が含まれてもよい。メタ情報は、例えば、撮像時の環境（天候、場所など）や、レンズの種類、絞りやシャッタースピード等の撮像条件などを示す情報である。画像内位置情報は、全体画像内に対する指定された画像領域の位置を示す情報であって、例えば、設定された枠の四隅を示す情報や、フレームＩＤ等を含む。
例えば、第１教師データ生成部１１４は、対象物体を含む画像領域を囲む位置に枠を設定することにより、画像内に含まれる対象物体を含む画像領域を指定する。なお、第１教師データ生成部１１４は、複数の対象物体が検出された場合、一つの均等画像に対して複数の枠を設定してもよい。枠が設定された均等画像を、以下、枠付き均等画像と記す。枠の形状は、例えば、矩形や矩形に近い図形である。矩形に近い図形は、向かい合う辺がそれぞれ平行であり、隣り合う辺が直行する関係の図形であって、角がラウンド形状等の図形を含む。枠により囲まれた画像領域を、以下、物体画像領域と記す。第１教師データ生成部１１４は、例えば、対象物体の全てを含み、且つ、物体画像領域の面積が最小となるように、均等画像上に枠を設定する。第１教師データ生成部１１４は、枠付き均等画像に対して、アノテーション情報が関連付けられた第１教師データを生成し、第１教師データ１５４として記憶部１５０に記憶させる。
なお、物体検出部１１３による対象物体の検出の処理、第１教師データ生成部１１４によるアノテーション等の処理は、人により行われてもよい。例えば、入力部１０２を用いて操作者により均等画像上において対象画像を囲むように枠が設定されることや、入力部１０２を用いて操作者によりアノテーション情報に相当する情報が入力されること等によりなされる。
第２教師データ生成部１１５は、学習モデルを生成する際に用いられる教師データである第２教師データを生成する。第２教師データ生成部１１５は、生成した第２教師データを、第２教師データ１５５として記憶部１５０に記憶させる。第２教師データ生成部１１５は、例えば、アノテーション情報が付与されたままの第１教師データに含まれる枠付き均等画像を所定の歪みのある画像（以下、歪画像と記す）に変換して、第２教師データを生成する。つまり、第２教師データは、歪画像にアノテーション情報が付与されたデータである。歪画像に生じている所定の歪みは、撮像画像において生じている歪みと同じ歪みである。枠付き均等画像を歪みのある画像に変換する際、第２教師データ生成部１１５は、枠付き均等画像に設定されている枠の形状を、枠付き均等画像における位置に応じた歪みであって、歪画像と同じ歪みのあるものに変換する。
学習モデル生成部１１６は、機械学習により、所定の歪みが生じている撮像画像を入力すると撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する。学習モデル生成部１１６は、記憶部１５０に格納されている撮像画像１５１と第２教師データ１５５とに基づいて学習モデルを生成する。なお、学習モデルの生成手法については、種々の手法を用いることができる。例えば、ディープラーニングを採用する場合、学習モデル生成部１１６は、複数層のニューロン構造を予め設定しておき、最適なパラメータをバックプロパゲーションなどの手法で探索することで、学習モデルを生成する。学習モデル生成部１１６は、生成した学習モデルを、学習モデル１５６として記憶部１５０に記憶させる。
［物体認識装置］
図２は、実施形態に係る物体認識装置２００の構成図である。物体認識装置２００は、例えば、車両に搭載される車載装置の一部である。物体認識装置２００は、例えば、撮像部２０２と、接続部２０４と、物体認識部２１０と、記憶部２５０とを備える。
撮像部２０２は、歪みが生じている画像を撮像する撮像部であって、例えば、広角レンズや魚眼レンズを備える。撮像部２０２は、例えば、学習処理装置１００において学習モデルを生成する際に用いられた撮像画像を撮像したカメラと同じ種類のものである。撮像部２０２は、撮像により得られた撮像画像データを物体認識部２１０に出力する。接続部２０４は、物体認識装置と外部装置と接続するハードウェアである。記憶部２５０は、ＲＡＭやＲＯＭ、ＳＳＤなどのフラッシュメモリ、ＨＤＤなどである。記憶部２５０には、例えば、学習モデル２５１などが格納される。
物体認識部２１０は、例えば、データ取得部２１１と、認識部２１２とを備える。これらの構成は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。データ取得部２１１は、接続部２０４を介して接続された外部装置から入力された学習モデルを、学習モデル２５１として記憶部１５０に記憶させる。また、データ取得部２１１は、撮像部２０２から出力された撮像画像データを認識部２１２に出力する。
認識部２１２は、学習モデルを用いて、撮像部２０２から出力された撮像画像データに基づく物体認識処理を行う。つまり、認識部２１２は、撮像画像に含まれる対象物体を、歪みが補正されていない撮像画像に基づいて認識する。
［学習処理のフローチャート］
以下、図３を参照して、学習処理装置１００による処理の流れの一例について説明する。図３は、学習処理装置１００による処理の流れの一例を示すフローチャートである。また、図４を参照して、学習処理装置１００による処理により用いられる画像についても合わせて説明する。図４は、学習処理装置１００による処理により用いられる画像の一例を示す図である。以下の処理の前提として、複数の撮像画像が記憶部１５０に格納されているものとする。
まず、画像補正部１１２が、記憶部１５０から一つの撮像画像を読み出し、読み出した撮像画像の歪みを補正して、均等画像を生成する（ステップＳ１０１）。例えば、画像補正部１１２が、図４（ａ）に示す撮像画像ｉｍｇＡに対して歪みを補正し、図４（ｂ）に示す均等画像ｉｍｇＢを生成する。
次いで、物体検出部１１３は、均等画像から対象物体を検出し、検出結果を第１教師データ生成部１１４に出力する（ステップＳ１０３）。例えば、物体検出部１１３は、撮像画像ｉｍｇＡから構造物と歩行者を対象物体として検出する。次いで、第１教師データ生成部１１４は、図４（ｃ）に示す枠付き均等画像ｉｍｇＣのように、物体検出部１１３により検出された構造物に枠Ｆ１を設定し、検出された歩行者に枠Ｆ２を設定する（ステップＳ１０５）。なお、図示では、一棟の構造物と一人の歩行者に対して枠が設定されている例を示すが、全ての対象物体に対して枠が設定されてもよい。
次いで、第１教師データ生成部１１４は、物体検出部１１３により検出された各対象物体を示す種別ラベルと、撮像画像ｉｍｇＡが撮影された時の環境等を示すメタ情報と、設定された枠Ｆ１，Ｆ２の四隅の座標値を示す画像内位置情報とを生成する（ステップＳ１０７）。第１教師データ生成部１１４は、生成した種別ラベル、メタ情報、および画像内位置情報等（つまり、アノテーション情報）を、ステップＳ１０５において枠Ｆ１，Ｆ２が設定された枠付き均等画像ｉｍｇＣに付与し、第１教師データを生成する（ステップＳ１０９）。
次いで、第２教師データ生成部１１５は、第１教師データに含まれる枠付き均等画像を歪みのある歪画像に変換して第２教師データを生成する（ステップＳ１０９）。例えば、第２教師データ生成部１１５は、アノテーション情報が付与されたままで、図４（ｃ）に示す枠付き均等画像ｉｍｇＣを図４（ｄ）に示す歪みのある歪画像ｉｍｇＤに変換し、第２教師データを生成する（ステップＳ１１１）。
以上説明した本実施形態の学習処理装置１００によれば、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成する画像補正部１１２と、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成する第１教師データ生成部１１４と、前記第１教師データ生成部１１４により生成された前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成する第２教師データ生成部１１５と、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する学習モデル生成部１１６と、を備えることにより、学習処理の精度を向上させることができる。
また、枠を設定する処理を物体検出部１１３（あるいは人）が行う際に、歪みが生じている画像においては対象物体も歪んでいるため、矩形の枠を設定することが困難であった。しかし、補正後の均等画像を用いることにより、矩形の枠の設定を簡単にすることができる。
また、生成された学習モデルを用いて物体を認識する際に、魚眼レンズや広角レンズ等により撮像された画像に対して歪みを補正する処理を実行しなくて済むことにより、物体を認識する際の認識速度を向上させることができる。
また、図４（ｃ）（ｄ）に示す通り、均等画像と歪画像とを比較すると、画像内の中心付近に存在する物体（例えば歩行者）は、歪画像の方が均等画像に比べて大きい。一方、画像内の外側付近に存在する物体（例えば構造物）は、歪画像の方が均等画像に比べて細長くなっている。このように、両画像における同じ対象物体であっても、その形状やピクセルサイズが異なる。よって、均等画像に基づく第１教師データに基づいて学習モデルを生成した場合に比べて、第２教師データに基づいて学習モデルを生成することにより、物体認識装置２００による認識精度を向上させることができる。特に、歩行者の認識精度を向上させることができる。
上記実施形態は、以下のように表現することができる。
記憶装置と、
前記記憶装置に格納されたプログラムを実行するハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、
画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、
前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、
前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する、
ように構成されている学習処理装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、学習処理装置１００は、均等画像を所定の領域に分割して、分割した領域ごとに学習モデルを生成してもよい。図５は、分割した領域ごとに学習モデルを生成する場合の一例について説明するための参考図である。図５に示す通り、画像補正部１１２が、撮像画像ｉｍｇＡの歪みを補正して均等画像ｉｍｇＢを生成する。画像補正部１１２が、均等画像ｉｍｇＢを予め決められた分割領域に分割して、複数の均等画像ｉｍｇＢ（Ｌ）、ｉｍｇＢ（Ｃ）、ｉｍｇＢ（Ｒ）を生成する。均等画像ｉｍｇＢ（Ｌ）は均等画像ｉｍｇＢの左側の領域（以下、第１領域）を含む画像であり、均等画像ｉｍｇＢ（Ｃ）は均等画像ｉｍｇＢの中央部分（以下、第２領域）を含む画像であり、均等画像ｉｍｇＢ（Ｒ）は均等画像ｉｍｇＢの右側の領域（以下、第３領域）を含む画像である。物体検出部１１３は、均等画像ｉｍｇＢ（Ｌ）、ｉｍｇＢ（Ｃ）、ｉｍｇＢ（Ｒ）のそれぞれから対象物体を検出する。
そして、第１教師データ生成部１１４は、均等画像ｉｍｇＢ（Ｌ）、ｉｍｇＢ（Ｃ）、ｉｍｇＢ（Ｒ）のそれぞれに基づいて第１教師データを生成する。例えば、第１教師データ生成部１１４は、検出した対象物体を囲むように枠Ｆ１１，Ｆ１２，Ｆ１３を設定して枠付き均等画像ｉｍｇＣ（Ｌ）、ｉｍｇＣ（Ｃ）、ｉｍｇＣ（Ｒ）と、各対象物体についてのアノテーション情報とを生成し、第１教師データを生成する。第２教師データ生成部１１５は、枠付き均等画像ｉｍｇＣ（Ｌ）、ｉｍｇＣ（Ｃ）、ｉｍｇＣ（Ｒ）を所定の歪みのある歪画像ｉｍｇＤ（Ｌ）、ｉｍｇＤ（Ｃ）、ｉｍｇＤ（Ｒ）に変換して、第２教師データとする。学習モデル生成部１１６は、歪画像ｉｍｇＤ（Ｌ）に基づいて第１学習モデルを生成し、歪画像ｉｍｇＤ（Ｃ）に基づいて第２学習モデルを生成し、歪画像ｉｍｇＤ（Ｒ）に基づいて第３学習モデルを生成する。そして、物体認識装置２００は、撮像画像の第１領域については、第１学習モデルを用いて物体認識を行う。また、物体認識装置２００は、撮像画像の第２領域については第２学習モデルを用いて、撮像画像の第３領域については第３学習モデルを用いて、それぞれ物体認識を行う。こうすることにより、学習精度をさらに向上させることができる。
所定の歪みが生じている画像を撮像する撮像部は、例えば、広角レンズや魚眼レンズを備えるカメラであって、画像内の位置に応じて圧縮率が異なるレンズを備えるものということもできる。また、画像補正部１１２は、この圧縮率が均等となるような補正処理を行う。
１００…学習処理装置、１０１…通信部、１０２…入力部、１０３…表示部、１０４…接続部、１１０…学習処理部、１１１…データ取得部、１１２…画像補正部、１１３…物体検出部、１１４…第１教師データ生成部、１１５…第２教師データ生成部、１１６…学習モデル生成部、１５０…記憶部、１５１…撮像画像、１５２…均等画像、１５４…第１教師データ、１５５…第２教師データ、１５６…学習モデル、２００…物体認識装置、２０２…撮像部、２０４…接続部、２１０…物体認識部、２１１…データ取得部、２１２…認識部、２５０…記憶部、２５１…学習モデル

Claims (9)

  1. コンピュータに、
    撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成させ、
    前記均等画像の一部であってそれぞれ異なる領域を含む複数の分割均等画像を生成させ、
    画像内に含まれる対象物体の画像領域が設定されている前記複数の分割均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを、前記複数の分割均等画像のそれぞれについて生成させ、
    前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換させ、前記歪画像に前記関連情報が付与された第２教師データを、前記複数の分割均等画像のそれぞれについて生成させ、
    前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを、前記複数の分割均等画像のそれぞれについて生成させる、
    プログラム。
  2. 前記第１撮像画像および前記第２撮像画像は、魚眼レンズを備える撮像部により撮像された画像である、
    請求項１に記載のプログラム。
  3. 前記コンピュータに、さらに、
    前記均等画像において前記対象物体の画像領域を矩形の枠を用いて設定させる、
    請求項１または２に記載のプログラム。
  4. 前記コンピュータに、さらに、
    前記均等画像を前記歪画像に変換させるとともに、前記矩形の枠の形状を前記矩形の枠が設定されている前記均等画像の位置に応じた歪みのある形状に変換させる、
    請求項３に記載のプログラム。
  5. コンピュータが、
    撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、
    前記均等画像の一部であってそれぞれ異なる領域を含む複数の分割均等画像を生成し、
    画像内に含まれる対象物体の画像領域が設定されている前記複数の分割均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを、前記複数の分割均等画像のそれぞれについて生成し、
    前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを、前記複数の分割均等画像のそれぞれについて生成し、
    前記第２教師データに基づいて、機械学習により、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを、前記複数の分割均等画像のそれぞれについて生成する、
    学習処理方法。
  6. コンピュータが、
    撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、
    前記均等画像の一部であってそれぞれ異なる領域を含む複数の分割均等画像を生成し、
    画像内に含まれる対象物体の画像領域が設定されている前記複数の分割均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを、前記複数の分割均等画像のそれぞれについて生成し、
    前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを、前記複数の分割均等画像のそれぞれについて生成し、
    前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを、前記複数の分割均等画像のそれぞれについて生成する、
    ことによって、生成された学習モデル。
  7. 撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、前記均等画像の一部であってそれぞれ異なる領域を含む複数の分割均等画像を生成する画像補正部と、
    画像内に含まれる対象物体の画像領域が設定されている前記複数の分割均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを、前記複数の分割均等画像のそれぞれについて生成する第１教師データ生成部と、
    前記第１教師データ生成部により生成された前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを、前記複数の分割均等画像のそれぞれについて生成する第２教師データ生成部と、
    前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを、前記複数の分割均等画像のそれぞれについて生成する学習モデル生成部と、
    を備える学習装置。
  8. コンピュータが、
    撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、
    前記均等画像の一部であってそれぞれ異なる領域を含む複数の分割均等画像を生成し、
    画像内に含まれる対象物体の画像領域が設定されている前記複数の分割均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを、前記複数の分割均等画像のそれぞれについて生成し、
    前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを、前記複数の分割均等画像のそれぞれについて生成し、
    前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを、前記複数の分割均等画像のそれぞれについて生成する、
    ことによって、生成された学習モデルを用いて物体を認識する物体認識装置。
  9. 前記所定の歪みが生じる撮像部により撮像された第３撮像画像に含まれる前記対象物体を、歪みが補正されていない前記第３撮像画像に基づいて認識する認識部を備える、
    請求項８に記載の物体認識装置。
JP2017252177A 2017-12-27 2017-12-27 プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 Expired - Fee Related JP6688277B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017252177A JP6688277B2 (ja) 2017-12-27 2017-12-27 プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
CN201811553131.7A CN110008806B (zh) 2017-12-27 2018-12-18 信息处理装置、学习处理方法、学习装置及物体识别装置
US16/226,767 US10733705B2 (en) 2017-12-27 2018-12-20 Information processing device, learning processing method, learning device, and object recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017252177A JP6688277B2 (ja) 2017-12-27 2017-12-27 プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置

Publications (2)

Publication Number Publication Date
JP2019117577A JP2019117577A (ja) 2019-07-18
JP6688277B2 true JP6688277B2 (ja) 2020-04-28

Family

ID=66950477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017252177A Expired - Fee Related JP6688277B2 (ja) 2017-12-27 2017-12-27 プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置

Country Status (3)

Country Link
US (1) US10733705B2 (ja)
JP (1) JP6688277B2 (ja)
CN (1) CN110008806B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612812B (zh) * 2019-02-22 2023-11-03 富士通株式会社 目标物检测方法、检测装置和电子设备
JP7445856B2 (ja) * 2019-09-30 2024-03-08 パナソニックＩｐマネジメント株式会社 物体認識装置、物体認識システムおよび物体認識方法
WO2021099942A1 (en) * 2019-11-18 2021-05-27 Immervision Inc. Using imager with on-purpose controlled distortion for inference or training of an artificial intelligence neural network
US11531554B2 (en) * 2019-12-10 2022-12-20 Salesforce.Com, Inc. Automated hierarchical tuning of configuration parameters for a multi-layer service
CN111046819B (zh) * 2019-12-18 2023-09-05 浙江大华技术股份有限公司 一种行为识别处理方法及装置
WO2021171444A1 (ja) * 2020-02-26 2021-09-02 オリンパス株式会社 教師データ生成装置、教師データ生成方法、記録装置及び記録方法
CN115244573A (zh) * 2020-03-09 2022-10-25 奥林巴斯株式会社 图像记录***和图像记录方法
JP2021149801A (ja) * 2020-03-23 2021-09-27 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP2022049261A (ja) 2020-09-16 2022-03-29 キヤノン株式会社 情報処理装置及び情報処理方法
US20220253988A1 (en) * 2021-02-05 2022-08-11 Motorola Solutions, Inc. Device, method and system for identifying objects in warped images from a fisheye camera

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
JP4748442B2 (ja) * 2005-03-30 2011-08-17 カシオ計算機株式会社 撮像装置及びそのプログラム
US7613357B2 (en) * 2005-09-20 2009-11-03 Gm Global Technology Operations, Inc. Method for warped image object recognition
DE602006021225D1 (de) * 2005-11-11 2011-05-19 Sony Corp Bildverarbeitungseinrichtung, bildverarbeitungsverfahren, programm dafür und das programm enthaltendes aufzeichnungsmedium
JP2007328631A (ja) 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置
JP4807170B2 (ja) * 2006-07-10 2011-11-02 株式会社ニコン パターン検出方法、パターン検出プログラム、パターン検出装置、及び撮像装置
JP4924896B2 (ja) * 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
US9667887B2 (en) * 2009-11-21 2017-05-30 Disney Enterprises, Inc. Lens distortion method for broadcast video
JP4779041B2 (ja) * 2009-11-26 2011-09-21 株式会社日立製作所 画像撮影システム、画像撮影方法、および画像撮影プログラム
JP5739722B2 (ja) * 2011-04-26 2015-06-24 株式会社日立情報通信エンジニアリング 物体認識方法及び認識装置
JP2013214947A (ja) * 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP6036601B2 (ja) * 2013-08-09 2016-11-30 株式会社デンソー 画像処理装置及び画像処理方法
JP2015130632A (ja) * 2014-01-08 2015-07-16 株式会社リコー 画像処理装置、送受信システム、画像処理方法、およびプログラム
US10652466B2 (en) * 2015-02-16 2020-05-12 Applications Solutions (Electronic and Vision) Ltd Method and device for stabilization of a surround view image
JP2016171526A (ja) * 2015-03-13 2016-09-23 株式会社東芝 画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラム
JP6568374B2 (ja) * 2015-03-27 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN104994281B (zh) * 2015-06-30 2017-09-19 广东欧珀移动通信有限公司 一种人脸畸变校正的方法及终端
FR3041134B1 (fr) * 2015-09-10 2017-09-29 Parrot Drone avec camera a visee frontale dont les parametres de controle, notamment l'autoexposition, sont rendus independant de l'attitude.
JP6723512B2 (ja) * 2015-12-22 2020-07-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
EP3444781B1 (en) * 2016-01-15 2020-03-18 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US10484621B2 (en) * 2016-02-29 2019-11-19 Gopro, Inc. Systems and methods for compressing video content
JP6942940B2 (ja) * 2016-03-14 2021-09-29 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
EP3446281A1 (en) * 2016-04-21 2019-02-27 OSRAM GmbH Training method and detection method for object recognition
WO2017217411A1 (ja) * 2016-06-17 2017-12-21 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体
JP2018026104A (ja) * 2016-08-04 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ アノテーション付与方法、アノテーション付与システム及びプログラム
CN107689027A (zh) * 2016-08-04 2018-02-13 松下电器（美国）知识产权公司 注释赋予方法、注释赋予***以及存储有程序的记录介质
JP6888950B2 (ja) * 2016-12-16 2021-06-18 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置、外界認識装置
CN108009475A (zh) * 2017-11-03 2018-05-08 东软集团股份有限公司 驾驶行为分析方法、装置、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
US20190197669A1 (en) 2019-06-27
US10733705B2 (en) 2020-08-04
CN110008806B (zh) 2022-11-08
CN110008806A (zh) 2019-07-12
JP2019117577A (ja) 2019-07-18

Similar Documents

Publication Publication Date Title
JP6688277B2 (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
CN107886074B (zh) 一种人脸检测方法以及人脸检测***
JP6961797B2 (ja) プレビュー写真をぼかすための方法および装置ならびにストレージ媒体
EP3477931A1 (en) Image processing method and device, readable storage medium and electronic device
WO2017190646A1 (zh) 一种人脸图像处理方法和装置、存储介质
US20150205997A1 (en) Method, apparatus and computer program product for human-face features extraction
US20110211233A1 (en) Image processing device, image processing method and computer program
CN110378837B (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
JP4738469B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN111771226A (zh) 电子设备、其图像处理方法及计算机可读记录介质
JP2008234654A (ja) 目標画像検出方法及び画像検出装置
JP2014089626A (ja) 画像検出装置及び制御プログラム並びに画像検出方法
RU2012145349A (ru) Способ и устройство обработки изображений для устранения артефактов глубины
KR102199094B1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
KR20180054808A (ko) 이미지들 내의 움직임 검출
JP6157165B2 (ja) 視線検出装置及び撮像装置
WO2019061659A1 (zh) 人脸图像眼镜去除方法、装置及存储介质
CN111753782A (zh) 一种基于双流网络的假脸检测方法、装置及电子设备
CN112836653A (zh) 人脸隐私化方法、设备、装置及计算机存储介质
CN110503002B (zh) 一种人脸检测方法和存储介质
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
US11605220B2 (en) Systems and methods for video surveillance
JP2012068948A (ja) 顔属性推定装置およびその方法
JP5201184B2 (ja) 画像処理装置及びプログラム
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200403

R150 Certificate of patent or registration of utility model

Ref document number: 6688277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees