JP6873342B2 - 背景モデル生成装置、背景モデル生成プログラム、及び背景モデル生成方法 - Google Patents

背景モデル生成装置、背景モデル生成プログラム、及び背景モデル生成方法 Download PDF

Info

Publication number
JP6873342B2
JP6873342B2 JP2020570313A JP2020570313A JP6873342B2 JP 6873342 B2 JP6873342 B2 JP 6873342B2 JP 2020570313 A JP2020570313 A JP 2020570313A JP 2020570313 A JP2020570313 A JP 2020570313A JP 6873342 B2 JP6873342 B2 JP 6873342B2
Authority
JP
Japan
Prior art keywords
background model
image
pixel
background
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020570313A
Other languages
English (en)
Other versions
JPWO2020161888A1 (ja
Inventor
嵩久 榎本
嵩久 榎本
士人 新井
士人 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020161888A1 publication Critical patent/JPWO2020161888A1/ja
Application granted granted Critical
Publication of JP6873342B2 publication Critical patent/JP6873342B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

この発明は、背景の固定された映像から背景モデルを生成する、背景モデル生成装置、背景モデル生成プログラム及び背景モデル生成方法に関するものである。
従来から、監視映像で人物が検出されていないシーンから定期的に背景画像を更新する技術が知られている。具体例としては、特許文献1では、監視映像から背景映像を取得し、定期的に背景画像を更新する技術が公開されている。具体的には、特許文献1では、人物が映像中に出現すると背景画像の更新を中断することにより、人物が背景に含まれずに背景画像を更新することができる。
特開2007−300531号公報 特開2011−028686号公報
しかし、特許文献1の技術では、駅又は市街地等、高頻度で人が映像に映り込む場合に長時間背景を更新することができず、その間の背景の照明条件の変化に対応できないという課題がある。また、定期的な背景画像の更新を続ける必要があるため、背景画像の更新処理に係る処理負荷は高い。
また、特許文献2では、背景画像と入力画像を比較し、日照条件によって生じる高輝度領域と低輝度領域を区別した上で対象物検知する技術が公開されている。特許文献2では、あらかじめ対象物が映っていない背景画像を取得し、背景画像の輝度分布から高輝度領域と低輝度領域を記憶する。特許文献2では、入力画像に対して高輝度領域を基準とした補正と低輝度領域を基準とした補正を施し、それぞれで得られた結果の平均画像及び前記背景画像を利用して対象物を検出することができる。
しかし、特許文献2の技術でも、背景画像の更新を続ける必要があるため、背景画像の更新に係る処理負荷は高い。また、特許文献2では、使用する背景画像は1枚のため、局所的に日照又は影が発生し、背景画像として適切でない領域が含まれる場合があるという課題がある。
本発明は、
背景画像の更新処理に係る負荷を低減できるようにすること、及び
映像中に背景画像として適切でない領域が含まれる場合に、分類処理を実施して前記領域に係る画素を除外することを目的とする。
この発明の背景モデル生成装置は、
画像を取得する画像取得部と、
前記画像取得部が取得した画像の画素に係る値に基づいて、分類条件に従って前記画素を分類する画素分類部と、
前記画素分類部が分類した画素から前記画像取得部が取得した画像に係る背景画像と同一又は類似の画像である背景モデルを生成する背景モデル生成部とを備える。
本発明によれば、映像から取得した少なくとも1の画像を利用して背景モデルを生成でき、前記背景モデルは更新することなく背景画像として利用することができるので、背景画像の更新に係る処理負荷を低減できる。また、映像中に背景画像として適切でない領域が含まれる場合において、画素に係る分類処理を実施することにより前記領域に係る画素を除外できる。
実施の形態1に係る背景モデル生成装置10の構成図。 実施の形態1に係る背景モデル生成装置10のハードウェア構成図。 実施の形態1に係る背景モデル生成装置10の動作を示すフローチャート。 実施の形態1に係る画素分類部102及び背景モデル生成部103の構成図。 実施の形態1に係る画素分類部102及び背景モデル生成部103の動作を示すフローチャート。 実施の形態1及び実施の形態3に係る処理の具体例。 実施の形態1に係る背景モデル生成装置10の変形例のハードウェア構成図。 実施の形態2に係る背景モデル生成装置10の構成図。 実施の形態2に係る背景モデル生成装置10の動作を示すフローチャート。 実施の形態3に係る画素分類部102の構成図。 実施の形態3に係る画素分類部102の動作を示すフローチャート。 実施の形態4に係る処理概要図。 実施の形態4に係る応用例の処理概要図。
実施の形態1.
以下、本実施の形態について、図面を参照しながら詳細に説明する。
***構成の説明***
図1は、本実施の形態に係る背景モデル生成装置10の構成図である。
本図に示されるように、背景モデル生成装置10は、画像取得部101、画素分類部102、背景モデル生成部103、及びパラメータ保存用ストレージ105を備える。
画像取得部101は、背景の固定された映像から少なくとも1の画像を取得する。画素分類部102は、前記画像取得部101が取得した画像の画素に係る値に基づく分類条件に従って前記画像の画素を分類する。背景モデル生成部103は、前記画像取得部101が取得した画像に係る背景画像と同一又は類似の画像である背景モデルを生成する。パラメータ保存用ストレージ105は、画素分類部102の分類条件の設定に用いるパラメータである分類条件設定用パラメータを記憶する。
画像取得部101、画素分類部102、及び背景モデル生成部103の機能は、ソフトウェアである背景モデル生成プログラムにより実現される。
さらに、背景モデル生成装置10は、画素分類部102において使用する分類条件設定用パラメータを保存するパラメータ保存用ストレージ105を備える。
映像は、画像の集合からなる映像ストリームのことである。即ち、映像は1以上の画像から成る画像の集合を表す。
画像は、映像が映像ストリームを示す場合においては映像ストリームの各フレームのことである。
画像は、映像ストリームを構成する単位である。画像は、複数の画素からなる。
ある画素についての画素に係る値とは、
その画素から取得できる値、
その画素から取得できる少なくとも1の値とその画素の周辺に位置する少なくとも1の画素から取得できる値を合成した値、
その画素の周辺に位置する画素のいずれかの画素から取得できる値、及び
その画素の周辺に位置する少なくとも1の画素から取得できる複数の値を合成した値のいずれかの値である。
また、画素に係る値を代表画素値とも呼ぶ。
図2は、本実施の形態に係る背景モデル生成装置10のハードウェア構成図である。
背景モデル生成装置10は、図2に示す一般的なコンピュータ100から構成され、プロセッサ111、メモリ112、記憶装置113、入力インタフェース114、及び出力インタフェース115等のハードウェアを備える。
画像取得部101、画素分類部102、及び背景モデル生成部103は、プロセッサ111及びメモリ112から構成される。パラメータ保存用ストレージ105は、記憶装置113から構成される。
プロセッサ111は、データバス(信号線)を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ111は、演算処理を行うIC(Integrated Circuit)である。プロセッサ111は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
メモリ112は、データを一時的に記憶する記憶装置である。メモリ112は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。メモリ112は、プロセッサ111の演算結果を保持する。
記憶装置113は、データを不揮発的に保管する記憶装置である。記憶装置113は、具体例としては、HDD(Hard Disk Drive)である。また、記憶装置113は、メモリカード、SD(Secure Digital、登録商標)メモリカード、CF(Compact Flash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)等の可搬記録媒体であってもよい。
入力インタフェース114は、各種機器が接続され、各種機器のデータが入力されるポートである。図2では、入力インタフェース114にはカメラ20が接続され、カメラ20から映像が入力される。なお、接続の形態としては、有線接続及び無線接続がある。
出力インタフェース115は、各種機器が接続され、各種機器へデータが出力されるポートである。なお、接続の形態としては、有線接続及び無線接続がある。背景モデル生成装置10は、背景モデル生成装置10が生成した背景モデルを、出力インタフェース115を介して出力することができる。
記憶装置113は、背景モデル生成装置10の各機能構成要素の機能を実現する背景モデル生成プログラムを記憶している。前記プログラムは、プロセッサ111によりメモリ112に読み込まれた後でプロセッサ111に読み込まれ、プロセッサ111によって実行される。これにより、背景モデル生成装置10の各機能構成要素の機能が実現される。
記憶装置113は、OS(Operating System)を記憶している。プロセッサ111はOSの実行及び背景モデル生成プログラムの実行をする。なお、背景モデル生成プログラムの一部又は全部が、OSに組み込まれていてもよい。
また、背景モデル生成装置10は、生成した背景モデルを記憶装置113に保存する場合がある。
背景モデル生成プログラム及びOSは、メモリ112に記憶されていてもよい。
図2では、プロセッサ111は、1つだけ示されているが、背景モデル生成装置10は、プロセッサ111を代替する複数のプロセッサを備えていてもよい。具体例としては、背景モデル生成装置10は、別途、画像処理プロセッサを備えてもよい。これらの複数のプロセッサは、背景モデル生成プログラム及びOSの実行を分担する。
背景モデル生成プログラムにより利用、処理、又は出力されるデータ、情報、信号、及び変数値は、メモリ112、記憶装置113、又はプロセッサ111内のレジスタ若しくはキャッシュメモリに記憶される。
背景モデル生成プログラムは、画像取得部101、画素分類部102、及び背景モデル生成部103の各部の「部」を「処理」、「手順」あるいは「工程」と読み替えた各処理、各手順あるいは各工程をコンピュータに実行させるプログラムである。
また、背景モデル生成方法は、コンピュータである背景モデル生成装置10が背景モデル生成プログラムを実行することにより行われる方法である。背景モデル生成プログラムは、コンピュータ読み取り可能な記録媒体に格納されて提供してもよいし、プログラムプロダクトとして提供されてもよい。
***動作の説明***
以下、本実施の形態における背景モデル生成装置10の動作について説明する。背景モデル生成装置10の動作は、背景モデル生成方法に相当する。背景モデル生成方法の手順は、背景モデル生成プログラムの手順に相当する。
図3は、本実施の形態に係る背景モデル生成装置10の動作を示すフローチャートである。
(ステップS101:画像取得処理)
画像取得部101は、背景モデル生成装置10に入力された背景の固定された映像から少なくとも1の画像を取得する画像取得処理を実施する。
具体的には、画像取得部101は、入力インタフェース114を介して、カメラ20で撮影された映像から少なくとも1の画像を取得する。なお、カメラ20で撮影した映像は、記憶装置113に記憶してもよく、記憶しなくてもよい。
(ステップS102:画素分類処理)
画素分類部102は、画像取得部101が取得した全ての画像に係る全ての画素に対して、画素に係る値に基づいて画素を分類する画素分類処理を実施する。分類処理においては分類条件を利用し、前記分類条件は、パラメータ保存用ストレージ105から取得した分類条件設定用パラメータに基づき設定する。
(ステップS103:背景モデル生成処理)
背景モデル生成部103は、画素分類部102によって背景画素として分類された画素を利用して、背景モデルを生成する背景モデル生成処理を実施する。なお、背景になり得る値を示したテキストファイル又はバイナリファイルを生成してもよい。また、本ステップで生成したものを記憶装置113に記憶してもよい。
***画素分類部102及び背景モデル生成部103の構成の説明***
図4は、本実施の形態における画素分類部102及び背景モデル生成部103の構成図である。
画素分類部102は、記憶装置113から分類条件設定用パラメータを取得する条件取得部121と、画像取得部101が取得した画像から画素に係る値を取得する値選定部122と、値選定部122において選定した画素に係る値を判定する値判定部123を備える。
背景モデル生成部103は、画素分類部102において背景画素として分類された画素を使用して背景モデルに係る各画素を生成する画素生成部131と、画素生成部131において生成した画素に基づき背景モデル画像を生成する画像生成部132を備える。
***画素分類部102及び背景モデル生成部103の動作の説明***
図5は、本実施の形態における画素分類部102及び背景モデル生成部103の動作を示すフローチャートである。
(ステップS121:条件取得処理)
条件取得部121は、パラメータ保存用ストレージ105から分類条件設定用パラメータを取得する。
具体的には、分類条件設定用パラメータには、背景と認められる最小値Tmin(x,y)及び背景と認められる最大値Tmax(x,y)があり、条件取得部121は、背景と認められる最小値Tmin(x,y)及び背景と認められる最大値Tmax(x,y)を分類条件に係る境界値として取得する。ここで、x及びyは画像上の位置座標に対応する変数である。
パラメータ保存用ストレージ105は、分類条件設定用パラメータを画素の位置座標(x,y)毎に異なる値を記憶してもよく、1対だけ記憶して全ての画素に対して同一の分類条件を適用してもよい。また、パラメータ保存用ストレージ105は、画素の位置座標(x,y)の値に基づいて画素の集合を生成し、前記集合毎に分類条件設定用パラメータを記憶して前記集合毎に異なる分類条件を適用してもよい。
(ステップS122:値選定処理)
値選定部122は、画像取得部101が取得した全ての画像に係る全ての画素V(x,y)について、画素に係る値v(x,y)を選定する。ここで、添え字のtは画像に係る時刻を表す。つまり、V(x,y)は、時刻tにおける画像の位置座標(x,y)における画素を表す。
画素は、HSV表色系、RGB表色系、XYZ表色系、Lab表色系、あるいは、別の表色系の値を有する。
ここでは、画素に係る値は、具体例としては、画素値をHSV表色系で表現した際の明度Vの値であるものとする。
値選定部122は、画素V(x,y)の画素に係る値v(x,y)として、明度Vの値を選定する。
(ステップS123:値判定処理)
値判定部123は、画像取得部101が取得した全ての画像に係る全ての画素を、値選定部122において選定した画素に係る値と、条件取得部121において取得した分類条件設定用パラメータとの関係に基づいて判定する。
具体的には、値判定部123は、式1、式2、及び式3に示す、画素V(x,y)の分類条件に基づいて判定する。画素に係る値v(x,y)が、背景と認められる最小値Tmin(x,y)以上であり、且つ、背景と認められる最大値Tmax(x,y)以下(式1)であるとき、画素V(x,y)は背景画素として分類される。一方、画素に係る値v(x,y)が、背景と認められる最小値Tmin(x,y)より小さい(式2)又は背景と認められる最大値Tmax(x,y)より大きい(式3)とき、画素V(x,y)は非背景画素として分類される。
min(x,y)≦v(x,y)≦Tmax(x,y)・・・(式1)
(x,y)<Tmin(x,y)・・・(式2)
max(x,y)<v(x,y)・・・(式3)
(ステップS131:画素生成処理)
画素生成部131は、画素分類部102が分類した背景画素を利用し、背景モデルに係る背景画素である背景モデル画素を生成する。
具体例としては、画素生成部131は、背景画素に係る位置座標(x,y)が同一である画素を集めて集合を生成し、前記集合毎に前記集合に属する画素の画素値の平均値を算出し、前記平均値を持つ背景モデル画素を生成する。なお、画素生成部131は、画像取得部101が1画像のみ取得したとき等、前記集合に属する画素が1しかない場合、1画像の画素の画素値を前記平均値とする。
(ステップS132:画像生成処理)
画像生成部132は、前記背景モデル画素を使用して背景モデルに係る画像を生成する。なお、背景になり得る値を示したテキストファイル又はバイナリファイルを生成してもよい。また、本ステップで生成したものを記憶装置113に記憶してもよい。
***実施の形態1の特徴***
この実施の形態の背景モデル生成装置は、画角の固定された長時間映像から画像を取得する画像取得部101と、映像の画素値を分類条件に従って振り分ける画素分類部102と、振り分けられた画素値から背景モデルを生成する背景モデル生成部103とを備えることを特徴とする。
また、この実施の形態により、日照の変化等背景の見え方変化を含む長時間映像から背景画素を抽出し、背景モデルを生成することができる。
***実施の形態1の効果の説明***
図6は、本実施の形態における処理の具体例であり、本図を参照して本実施の形態に係る効果を具体的に説明する。
本図は、背景モデル生成装置10が、カメラ20が同じ地点を8時から20時まで撮影した映像であって、日照変化により照明条件が変化する映像に基づき、明度の高い領域の画素のみから成る背景モデルである高明度背景モデル61を生成する流れを示している。
画像(8:00)51は朝8時における画像、画像(12:00)52は昼12時おける画像、画像(16:00)53は夕方16時における画像、画像(20:00)54は夜20時における画像であり、いずれの画像も前記映像に基づいて画像取得部101が取得したものである。また、画像(8:00)51及び画像(12:00)52は、日向の領域である日向領域及び日陰の領域である日陰領域を含み、画像(16:00)53における網掛けは夕日によって赤みを帯びている領域である夕焼け領域を表し、画像(20:00)54における網掛けは日照がないことにより暗闇となっている領域である暗闇領域を表す。
なお、画像(8:00)51、画像(12:00)52、画像(16:00)53、及び画像(20:00)54は、前記映像から画像取得部101が取得した画像のうち代表的な画像であり、背景モデル生成装置10が高明度背景モデル61を生成する際には前記代表的な画像以外の画像も使用している。
画素分類部102は、画素に係る値としてHSV表色系の明度Vを選定し、
パラメータ保存用ストレージ105は、明度Vの高い画素を背景画素と分類できるような前記背景と認められる最小値Tmin(x,y)及び前記背景と認められる最大値Tmax(x,y)を記憶することにより、
背景モデル生成装置10は、高明度背景モデル61を生成する。
なぜならば、画素分類部102は、画像(8:00)51及び画像(12:00)52に含まれるような日陰領域に係る画素、画像(16:00)53に含まれるような夕焼け領域に係る画素並びに画像(20:00)54に含まれるような暗闇領域に係る画素を非背景画素として分類し、画像(8:00)51及び画像(12:00)52に含まれるような日向領域に係る画素のみを背景画素として分類するためである。
以上のように、本実施の形態によれば、背景モデル生成装置10は、映像から取得した少なくとも1の画像を利用して背景モデルを生成でき、前記背景モデルは更新することなく背景画像として利用することができるので、背景画像の更新処理に係る負荷を軽減できる。また、映像中に背景画像として適切でない領域が含まれる場合において、画素分類部102が画素分類処理を実施することにより前記領域に係る画素を除外できる。ここで、背景画像として適切でない領域とは、背景モデルの生成目的に鑑みて適切でない領域のことであり、前記具体例においては、明度Vの低い画素を含む領域のことである。
<変形例1>
本実施の形態の背景モデル生成装置10では、入力装置として、カメラ20を対象とするように構成されているが、RGBカメラに限定されるものではない。具体例としては、サーマルカメラ(Thermal Camera)又はデプスカメラ(Depth Camera)を入力装置としてもよい。
<変形例2>
本実施の形態の背景モデル生成装置10には、1台のカメラのみ接続されている。しかし、背景モデル生成装置10にカメラが複数台接続されていてもよい。本変形例では、背景モデル生成装置10は、1のカメラにつき1の背景モデルを生成する。
<変形例3>
本実施の形態の背景モデル生成装置10は、カメラから入力された映像を使用している。しかし、背景モデル生成装置10が使用する背景の固定された映像は、記憶装置113に記憶された映像であってもよい。前記映像の具体例としては、カメラで撮影した映像若しくはこれを加工した映像、アニメーション映像、又は、CG(Computer Graphics)映像がある。
本変形例における背景モデル生成装置10は、記憶装置113に映像を記憶しており、また、入力インタフェース114を備える必要がない。
<変形例4>
前記変形例3では、記憶装置113に1の背景の固定された映像が記憶されている。しかし、記憶装置113に複数の背景の固定された映像が記憶されており、それぞれの映像に対応する複数の背景モデルを生成してもよい。
本変形例では、背景モデル生成装置10は、1の映像につき1の背景モデルを生成する。
<変形例5>
本実施の形態の画像取得部101は、図3に示すように、ステップS101が完了した後でステップS102を実行し、ステップS102が完了した後でステップS103を実行することとなっているが、各ステップに係る処理の一部を実行してから次のステップに係る処理の一部を実行し、その後前のステップに戻ってもよい。
具体例としては、ステップS101において取得した画像の枚数が所定値に達する度にステップS102を実施し、その後ステップS101に戻ってもよい。また、ステップS102において画像の位置座標(x,y)毎に分類処理を行い、所定の個数の位置座標(x,y)に係る分類処理を終える度にステップS103を実施し、その後ステップS102に戻ってもよい。
<変形例6>
本実施の形態の画素分類部102は、図5に示すように、ステップS121が完了した後で、ステップS122及びステップS123を画像取得部101が取得した全ての画像に係る全ての画素分繰り返すこととなっている。しかし、ステップS121に係る処理を一部実行した後でステップS122及びステップS123に係る処理の少なくとも一方の一部を実行し、その後ステップS121に戻ってもよい。
また、ステップS122に係る処理を複数画素分実施してからステップS123に係る処理を実行し、ステップS122に戻ってもよい。
<変形例7>
本実施の形態の背景モデル生成部103は、図5に示すように、ステップS131に係る処理を背景モデルの全ての画素分繰り返し実行し、その後ステップS132を実行する。しかし、ステップS131に係る処理を背景モデルの一部の画素分実行してからステップS132に係る処理の一部を実行し、その後ステップS131に戻ってもよい。
<変形例8>
本実施の形態では、背景モデル生成装置10は、背景モデル生成装置10が生成した背景モデルを外部の装置に出力することができるが、前記背景モデルを外部の装置に出力することができなくてもよい。本変形例において、背景モデル生成装置10は、出力インタフェース115を備える必要がない。
<変形例9>
本実施の形態では、画像取得部101が取得した画像の解像度と、背景モデルの解像度は同じである。しかし、両者の解像度は異なってもよい。
具体例としては、背景モデルの解像度が画像取得部101の取得した画像の解像度よりも高い場合は、背景モデル生成部103が画素の分割処理を実行すればよい。また、背景モデルの解像度が画像取得部101の取得した画像の解像度よりも低い場合は、背景モデル生成部103が画素の集約処理を実行すればよい。
<変形例10>
本実施の形態では、前記背景と認められる最小値Tmin(x,y)及び前記背景と認められる最大値Tmax(x,y)は、記憶装置113に記憶されている。しかし、これらの値は背景モデル生成プログラムに組み込まれていてもよく、背景モデル生成装置のユーザーが任意に設定できるようにしてもよい。
本変形例では、記憶装置113は分類条件設定用パラメータを記憶する必要がなくなり、また、画素分類部102において条件取得部121が存在する必要がなくなる。
<変形例11>
本実施の形態では、記憶装置113は、前記背景と認められる最小値Tmin(x,y)及び前記背景と認められる最大値Tmax(x,y)を記憶している。しかし、記憶装置113は、これらの値のうち一方のみを記憶してもよい。
前記背景と認められる最小値Tmin(x,y)のみを用意した場合においては、画素分類部102において、画素V(x,y)に係る値であるv(x,y)と背景と認められる最小値Tmin(x,y)の関係に基づいて判定することとなる。
具体的には、画素分類部102は、式4及び式5に示す、画素V(x,y)の分類条件に基づいて判定する。
画素に係る値v(x,y)が、背景と認められる最小値Tmin(x,y)以上(式4)であるとき、画素V(x,y)は背景画素として分類される。一方、画素に係る値v(x,y)が、背景と認められる最小値Tmin(x,y)より小さい(式5)とき、画素V(x,y)は非背景画素として分類される。
min(x,y)≦v(x,y)・・・(式4)
(x,y)<Tmin(x,y)・・・(式5)
また、前記背景と認められる最大値Tmax(x,y)のみを用意した場合においては、画素分類部102において、画素V(x,y)に係る値であるv(x,y)と背景と認められる最大値Tmax(x,y)の関係に基づいて判定することとなる。
具体的には、画素分類部102は、式6及び式7に示す、画素V(x,y)の分類条件に基づいて判定する。
画素に係る値v(x,y)が、背景と認められる最大値Tmax(x,y)以下(式6)であるとき、画素V(x,y)は背景画素として分類される。一方、画素に係る値v(x,y)が、背景と認められる最大値Tmax(x,y)より大きい(式7)とき、画素V(x,y)は非背景画素として分類される。
(x,y)≦Tmax(x,y)・・・(式6)
max(x,y)<v(x,y)・・・(式7)
<変形例12>
本実施の形態では、各機能構成要素をソフトウェアで実現する場合を説明した。しかし、変形例として、各機能構成要素はハードウェアで実現されてもよい。
図7を参照して、本変形例に係る背景モデル生成装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、背景モデル生成装置10は、プロセッサ111に代えて、電子回路116を備える。あるいは、図示しないが、背景モデル生成装置10は、プロセッサ111、メモリ112、及び記憶装置113に代えて、電子回路116を備える。電子回路116は、各機能構成要素(及びメモリ112と記憶装置113)との機能とを実現する専用の電子回路である。ここで、電子回路は処理回路と呼ぶこともある。
電子回路116は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路116で実現してもよいし、各機能構成要素を複数の電子回路116に分散させて実現してもよい。
あるいは、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
前述したプロセッサ111とメモリ112と記憶装置113と電子回路116とを、総称して「プロセッシングサーキットリー」という。つまり、各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
実施の形態2.
以下、前述した実施の形態と異なる点について、図面を参照しながら説明する。
***構成の説明***
図8は、本実施の形態に係る背景モデル生成装置10の構成図である。
本図に示されるように、背景モデル生成装置10は、画像取得部101と画素分類部102の間に検出処理部104を備える。検出処理部104は、画像取得部101が取得した画像内に移動体の少なくとも一部が表示されている場合に前記移動体が含まれる画像内の領域を検出し、前記領域に係る画素を除外する。
移動体は、経時的に位置を変更する生物及び無生物のことである。
検出処理部104は、プロセッサ111及びメモリ112から構成される。
***動作の説明***
図9は、本実施の形態における背景モデル生成装置10の動作を示すフローチャートである。
(ステップS104:検出処理)
検出処理部104は、画像取得部101が取得した全ての画像に対して、画像内に移動体の少なくとも一部が表示されている場合に、前記移動体が含まれる画像内の領域を検出する処理及び前記領域に係る画素を画素分類部102に係る分類対象から除外する処理を実行する。
検出処理部104の前記領域を検出する処理には、任意の技術を用いることができる。具体例としては、機械学習による物体検出技術を使ってもよい。
(ステップS102:画素分類処理)
画素分類部102は、画像取得部101が取得した全ての画像に係る全ての画素のうち検出処理部104が除外した画素を除いた画素に対して、画素分類処理を実行する。
***実施の形態2の特徴***
実施の形態1では、画像取得部101で取得した画像に人又は自動車等の移動体が映り込んでいた場合、その移動体の領域の画素も背景画素として分類されてしまうことがある。一方、実施の形態2では、背景モデル生成装置10の、画像取得部101と画素分類部102の間に、画像取得部101で取得した画像中の移動体を検知する処理部を設けることで、移動体の領域を除外した背景モデルを生成することを特徴とする。
***実施の形態2の効果の説明***
本実施の形態によれば、検出処理部104が、画像取得部101が取得した画像内に移動体の少なくとも一部が表示されている場合に前記移動体が含まれる画像内の領域を検出し、前記領域に係る画素を除外する。そのため、移動体を含まない背景モデルを生成できる。
また、ステップS104で画像中の移動体領域を画素値分類の対象画素から除外することによって、ステップS102で移動体の往来が多い映像でも背景画素のみを正確に分類し、移動体の含まれない背景モデルを作成できる。具体的には、駅又は市街地のように、日照による見え方変化があり、且つ、人又は自動車等移動体の往来も多い場所でも背景モデルを生成できる。生成した背景モデルを前景の映っている入力画像と比較することで、より高精度に背景の照明条件の変化を考慮した前景抽出が可能である。
<変形例13>
本実施形態における画像取得部101は、図9に示すように、ステップS101が完了してからステップS104を実行し、ステップS104が完了してからステップS102を実行し、ステップS102が完了してからステップS103を実行する。しかし、各ステップの一部を実行してから次のステップの一部を実行し、その後1以上前のステップに戻ってもよい。
実施の形態3.
以下、前述した実施の形態と異なる点について、図面を参照しながら説明する。
***構成の説明***
図10は、本実施の形態における画素分類部102の構成図である。
画素分類部102は、値選定部122、条件設定部124、及び値判定部123を備える。
条件設定部124は、分類条件に係る境界値を動的に設定する。
動的とは、背景モデル生成装置10の作動中に値を自動的に設定すること又は変動させることを意味する。
***動作の説明***
図11は、本実施の形態における画素分類部102の動作を示すフローチャートである。
(ステップS124:条件設定処理)
条件設定部124は、画像取得部101が取得した画像の画素の位置座標毎に、分類条件に係る境界値を設定する。
条件設定部124の分類条件に係る境界値の設定方法の具体例を、以下に示す。
式8から式11は、背景と認められる最大値Tmax(x,y)と背景と認められる最小値Tmin(x,y)の算出に係る式である。時刻0から時刻nまでの位置座標(x,y)における画素(v(x,y)、v(x,y)、...、v(x,y))の最大値をvmax(x,y)、最小値をvmin(x,y)とする(式8、式9)。画素分類部102で、n枚の画像から抽出したn個の画素に係る値の上位20%に該当する画素に係る値を持つ画素を背景画素と分類する場合、背景と認められる最大値Tmax(x,y)は式10のようになり、背景と認められる最小値Tmin(x,y)は式11のようになる。
max(x,y)=maxV∈{vt(x,y)}V(x,y)・・・(式8)
min(x,y)=minV∈{vt(x,y)}V(x,y)・・・(式9)
max(x,y)=vmax(x,y)・・・(式10)
min(x,y)=vmax(x,y)−(vmax(x,y)−vmin(x,y))×0.2・・・(式11)
具体例としては、前記背景と認められる最大値Tmax(x,y)及び前記背景と認められる最小値Tmin(x,y)に基づき画素を分類したとき、画素に係る値v(x,y)をHSV表色系の明度Vの値とした場合、境界値を事前に設定することなく図6で示した高明度背景モデル61を生成することが可能である。
条件設定部124は、分類条件に係る境界値の算出に式10又は式11を使用せず、任意の式を採用しても良い。具体例としては、式10及び式11では、画素に係る値の最大値及び最小値を基準に境界値を設定したが、画素に係る値の出現度に基づいて設定してもよい。また、式10及び式11は、上位20%の画素に係る値を持つ画素を背景画素とするための式であるが、上位、中位、及び下位のいずれでもよく、また割合も任意の値を採用してよい。
また、条件設定部124は、画像取得部101が取得した画像の一部のみを利用して分類条件を設定してもよい。
(ステップS123:値判定処理)
値判定部123は、画像取得部101が取得した全ての画像に係る全ての画素を、値選定部122において選定した画素に係る値と、条件設定部124が設定した分類条件との関係に基づいて判定する。
***実施の形態3の特徴の説明***
実施の形態1及び実施の形態2では、パラメータ保存用ストレージ105は、画素分類部102における分類条件に係る境界値を記憶しておく必要がある。
また、地面又は建造物等異なる色の背景領域に対して、その領域ごとに境界値を設定することは非常に困難である。実施の形態3では、画素分類の条件となる境界値を、自動的に変動させて画素を分類することを特徴とする。
***実施の形態3の効果の説明***
本実施の形態によれば、パラメータ保存用ストレージ105が事前に画素分類部102における背景と認められる最大値Tmax(x,y)及び背景と認められる最小値Tmin(x,y)を記憶しなくても、画素分類部102は、画素を分類することができる。
そのため、本実施の形態における背景モデル生成装置10は、パラメータ保存用ストレージ105に境界値を記憶していなくても、図6に示すような高明度背景モデル61を生成できる。
また、本実施の形態によれば、画素分類部102は、分類条件に係る境界値を動的に設定することによって、画素ごとに適切な境界値を自動で設定することができる。具体例としては、画素分類部102は、日向であっても明度が高くなりにくい黒い壁又は床等の背景領域についても、日向領域に係る背景画素として分類することができる。
<変形例14>
本実施の形態における画素分類部102は、図11に示すように、ステップS122が完了した後でステップS124を実行し、ステップS124が完了した後でステップS123を実行することとなっているが、各ステップに係る処理の一部を実行してから次のステップに係る処理の一部を実行し、その後1つ又は2つ前のステップに戻ってもよい。
また、パラメータ保存用ストレージ105は、一度背景モデルを作成したときに使用した分類条件に係る値を記憶しておき、別の背景モデルを作成する際に、パラメータ保存用ストレージ105が記憶している前記値を使用してもよい。
実施の形態4.
以下、前述した実施の形態と異なる点について、図面を参照しながら説明する。
***構成の説明***
本実施の形態における背景モデル生成装置10の構成は、実施の形態1、実施の形態2、又は実施の形態3に係る構成と同じである。
***動作の説明***
本実施の形態では、
画素分類部102は、複数の分類条件に従って1の画素を分類し、
背景モデル生成部103は、前記複数の分類条件に対応する複数の背景モデルを生成する。
図12は、本実施の形態における処理概要図であり、本図を参照して、本実施の形態における画素分類部102及び背景モデル生成部103が実行する処理を説明する。
本図は、本実施の形態に係る処理の例であり、画像取得部101が取得した画像の画素を、画素分類部102が条件1、条件2、及び条件3に従って分類し、背景モデル生成部103が3種類の背景モデルを生成する流れを示したものである。
条件1は、実施の形態3で説明したHSV表色系の明度Vの値の上位20%を背景画素とする分類条件である。条件2は、HSV表色系の明度Vの値の下位20%を背景画素とする分類条件である。条件3は、RGB表色系の赤色成分Rの値の上位20%を背景画素とする分類条件である。
背景モデル生成部103は、
画素分類部102の条件1で分類された画素から高明度背景モデル61を、
条件2で分類された画素から明度の低い領域の画素のみから成る背景モデルである低明度背景モデル62を、
条件3で分類された画素から夕焼け領域の画素のみから成る背景モデルである夕焼け背景モデル63を生成する。
なお、画像(8:00)51、画像(12:00)52、画像(16:00)53、及び画像(20:00)54は、デジタルビデオカメラで撮影した映像から画像取得部101が取得した画像のイメージであるため、前記画像に係る風景を肉眼で観察した場合とは見え方が異なる。具体的には、画像(8:00)51及び画像(12:00)52については、露出等を日向領域に合わせた画像であるために、日陰領域が肉眼で観察した場合に比べて著しく暗く映っている。また、画像(20:00)54は、デジタルビデオカメラのISO(International Organization for Standardization)感度を高い値に設定している等の理由により、夜に屋外で撮影した画像であるものの、画像(8:00)51及び画像(12:00)52における日陰領域に係る画素よりもHSV表色系の明度Vが高い画素で構成されている。
高明度背景モデル61の生成過程については、実施の形態1において説明したものと同様であるのでここでは説明しない。ここでは、低明度背景モデル62及び夕焼け背景モデル63の生成過程を説明する。
画素分類部102は、条件2によって、明度の低い領域を背景画素として分類する。即ち、画素分類部102は、画像(8:00)51及び画像(12:00)52については、木の影に係る画素を背景画素として分類し、日向領域に係る画素を非背景画素として分類する。また、画素分類部102は、画像(20:00)54については、全ての画素を背景画素として分類する。そのため、背景モデル生成装置10は、低明度背景モデル62を生成する。
画素分類部102は、条件3によって、赤みを帯びた画素を背景画素として分類する。即ち、画素分類部102は、画像(16:00)53については、全ての画素を背景画素として分類し、画像(8:00)51、画像(12:00)52、及び画像(20:00)54については、全ての画素を非背景画素として分類する。そのため、背景モデル生成装置10は、夕焼け背景モデル63を生成する。
本実施の形態における背景モデル生成装置10は、画素分類条件と生成する背景モデルの数を任意で設定でき、画素分類条件の種類についても実施の形態3で述べたように、任意で設定してよい。具体例としては、画素分類条件にHSV表色系の値を用いても良いし、RGB表色系、XYZ表色系、及びLab表色系のいずれかを用いても良いし、別の表色系を用いても良い。また、複数の表色系を組み合わせて画素分類部102に係る分類条件を生成しても良い。さらに、表色系に限らず、画像の取得時間又は周辺画素も含むテクスチャ特徴量等、任意の要素を条件に設定しても良い。
***実施の形態4の特徴の説明***
実施の形態1から実施の形態3では、背景モデル生成装置10は、1つの分類条件を設定し、1つの背景モデルを生成していた。しかし、背景の照明条件の変化に幅広く対応するためには、高明度背景モデル又は日陰領域のみから成る背景モデルである低明度背景モデル等、複数の背景モデルを用意することが有効である。そこで実施の形態4における背景モデル生成装置10では、画素分類の条件を複数設定し、複数に分類した画素から複数の背景モデルを生成することを特徴とする。
また、背景モデル生成装置10が複数の分類条件に従って分類した画素から複数の背景モデルを生成することによって、背景の照明条件の変化に幅広く対応することができることを特徴とする。
***実施の形態4の効果の説明***
本実施の形態によれば、背景モデル生成装置10は、複数の分類条件に従って分類した画素から複数の背景モデルを生成することができる。
生成した複数の背景モデルの利用先は、具体例としては、日照変化を含む映像における前景抽出が挙げられる。具体的には、複数の背景モデルとの差分による各前景抽出画像の論理積をとることで、日照変化を含む映像であっても、精度良く前景を抽出することができる。
図13は、本実施の形態に係る応用例であり、本図を用いて複数の背景モデルを用いて入力画像に映る前景(人)領域を抽出する流れを表す。
入力画像50には、人が映っており、それによる影が生じている。入力画像50と高明度背景モデル61との差分である差分画像71と、入力画像50と低明度背景モデル64との差分である差分画像72を生成し、差分画像71と差分画像72の論理積をとることで人領域のみを抽出した前景画像80を得ることができる。
ここで、差分画像71及び差分画像72においては、入力画像50との差分がある領域を白で表しており、差分のない領域を黒で表している。そのため、差分画像71においては、入力画像50の人、人の影、及び木の影に係る領域が白で表されており、差分画像72においては、入力画像50の人及び日向に係る領域が白で表されている。
また、差分画像71の差分のない領域(黒い領域)及び差分画像72の差分のある領域(白い領域)は日向領域であることがわかる。このように、高明度背景モデル61又は低明度背景モデル64等、背景の照明条件ごとに背景モデルを生成することにより、画像中の背景領域の状態を判定することも可能となる。
***他の実施の形態***
実施の形態2において、画像取得部101と画素分類部102の間に検出処理部104を備える背景モデル生成装置10を説明したが、検出処理部104で行われる移動体が含まれる画像内の領域を検出する手法は、必要に応じて種々に変更が可能である。
実施の形態3において、画素分類部102が分類条件に係る境界値を動的に変更することを説明したが、画素分類部102は、境界値の算出式を必要に応じて種々に変更できる。
実施の形態4において、画素分類部102が分類条件を複数設定し、背景モデル生成部103が背景モデルを複数生成することを説明したが、画素分類部102は任意の数の分類条件を設定でき、背景モデル生成部103は任意の数の背景モデルを生成できる。また、分類条件及び生成する背景モデルの数は、必要に応じて種々に変更が可能である。
前述した各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態は実施の形態1から実施の形態4で示したものに限定されるものではなく、必要に応じて種々の変更が可能である。
10 背景モデル生成装置、20 カメラ、50 入力画像、51 画像(8:00)、52 画像(12:00)、53 画像(16:00)、54 画像(20:00)、61 高明度背景モデル、62 低明度背景モデル、63 夕焼け背景モデル、64 低明度背景モデル、71 差分画像、72 差分画像、80 前景画像、100 コンピュータ、101 画像取得部、102 画素分類部、103 背景モデル生成部、104 検出処理部、105 パラメータ保存用ストレージ、111 プロセッサ、112 メモリ、113 記憶装置、114 入力インタフェース、115 出力インタフェース、116 電子回路、121 条件取得部、122 値選定部、123 値判定部、124 条件設定部、131 画素生成部、132 画像生成部。

Claims (7)

  1. 画像を取得する画像取得部と、
    前記画像取得部が取得した画像の画素に係る値に基づいて、分類条件に従って前記画素を分類する画素分類部と、
    前記画素分類部が分類した画素から前記画像取得部が取得した画像に係る背景画像と同一又は類似の画像である背景モデルを生成する背景モデル生成部と、
    を備え
    前記画素分類部は、複数の分類条件に従って1の画素を分類し、
    前記背景モデル生成部は、前記複数の分類条件の分類条件毎に背景モデルを生成する背景モデル生成装置。
  2. 前記画像取得部は、映像から少なくとも1の画像を取得し、
    前記画素分類部は、前記画像取得部が取得した画像の画素に係る値が背景と認められる最小値以上かつ背景と認められる最大値以下である前記値に対応する画素を背景画素として分類し、
    前記背景モデル生成部は、前記背景画素の位置座標に基づいて前記背景画素の集合を生成し、前記集合毎に前記集合に属する画素を使用して背景モデル画素を生成し、前記背景モデル画素を前記背景モデル画素に係る前記集合に対応する位置座標の画素とすることにより背景モデルを生成する請求項1に記載の背景モデル生成装置。
  3. 前記画素分類部は、前記画素に係る値として画素の明るさに係る値を用いる請求項1又は請求項2に記載の背景モデル生成装置。
  4. 前記画像取得部が取得した複数の画像内の経時的に位置を変更する物体の少なくとも一部が表示されている領域を検出する検出処理部を備え、
    前記検出処理部は、検出した領域に係る画素を前記画素分類部に係る分類対象から除外する請求項1から請求項3のいずれか1項に記載の背景モデル生成装置。
  5. 前記画素分類部は、動的に分類条件を変更する請求項1から請求項4のいずれか1項に記載の背景モデル生成装置。
  6. 画像取得部が画像を取得し、
    画素分類部が、前記画像取得部が取得した画像の画素値に基づいて、分類条件に従って前記画素を分類し、
    背景モデル生成部が、前記画素分類部が分類した画素から前記画像取得部が取得した画像に係る背景画像と同一又は類似の画像である背景モデルを生成し、
    前記画素分類部は、複数の分類条件に従って1の画素を分類し、
    前記背景モデル生成部は、前記複数の分類条件の分類条件毎に背景モデルを生成する背景モデル生成方法。
  7. コンピュータに、
    画像取得部が画像を取得する処理と、
    画素分類部が、前記画像取得部が取得した画像の画素値に基づいて、分類条件に従って前記画素を分類する処理と、
    背景モデル生成部が、前記画素分類部が分類した画素から前記画像取得部が取得した画像に係る背景画像と同一又は類似の画像である背景モデルを生成する処理とを実行させ
    前記画素分類部は、複数の分類条件に従って1の画素を分類し、
    前記背景モデル生成部は、前記複数の分類条件の分類条件毎に背景モデルを生成する背景モデル生成プログラム。
JP2020570313A 2019-02-08 2019-02-08 背景モデル生成装置、背景モデル生成プログラム、及び背景モデル生成方法 Active JP6873342B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/004634 WO2020161888A1 (ja) 2019-02-08 2019-02-08 背景モデル生成装置、背景モデル生成プログラム、及び背景モデル生成方法

Publications (2)

Publication Number Publication Date
JPWO2020161888A1 JPWO2020161888A1 (ja) 2021-04-01
JP6873342B2 true JP6873342B2 (ja) 2021-05-19

Family

ID=71948124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020570313A Active JP6873342B2 (ja) 2019-02-08 2019-02-08 背景モデル生成装置、背景モデル生成プログラム、及び背景モデル生成方法

Country Status (2)

Country Link
JP (1) JP6873342B2 (ja)
WO (1) WO2020161888A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3037469B2 (ja) * 1991-07-29 2000-04-24 日本電信電話株式会社 物体像の抽出処理方法
JP2002099909A (ja) * 2000-09-25 2002-04-05 Hitachi Kokusai Electric Inc 侵入物体検出画像処理方法及び装置
US8280106B2 (en) * 2007-09-29 2012-10-02 Samsung Electronics Co., Ltd. Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
JP6054771B2 (ja) * 2013-02-22 2016-12-27 Kddi株式会社 背景モデル構築装置、背景モデル構築方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2020161888A1 (ja) 2021-04-01
WO2020161888A1 (ja) 2020-08-13

Similar Documents

Publication Publication Date Title
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
JP4234195B2 (ja) 画像分割方法および画像分割システム
JP6159298B2 (ja) 複数スケールの規格化された相互相関を用いた、hdr画像処理におけるゴーストアーティファクトの検出および除去方法
CN108668093B (zh) Hdr图像的生成方法及装置
JP5458905B2 (ja) 画像におけるシャドーの検知装置および検知方法
KR101954851B1 (ko) 메타데이터 기반 영상 처리 방법 및 장치
JP6312714B2 (ja) 陰影検出および減衰のためのマルチスペクトル撮像システム
US10528820B2 (en) Colour look-up table for background segmentation of sport video
US8577170B2 (en) Shadow detection in a single image
US20170323465A1 (en) Image processing apparatus, image processing method, and storage medium
Li et al. A multi-scale fusion scheme based on haze-relevant features for single image dehazing
CN112969005A (zh) 用于处理图像的方法和***
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
CN106815587B (zh) 图像处理方法及装置
CN111127476A (zh) 一种图像处理方法、装置、设备及存储介质
CN111311556B (zh) 手机缺陷位置识别方法及设备
WO2013114803A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
CN113052923B (zh) 色调映射方法、装置、电子设备和存储介质
JP5338762B2 (ja) ホワイトバランス係数算出装置及びプログラム
JP6873342B2 (ja) 背景モデル生成装置、背景モデル生成プログラム、及び背景モデル生成方法
JP2020135653A (ja) 映像補正装置及びそのプログラム
JP2006186983A (ja) カラー画像の露出補正方法
JP5050141B2 (ja) カラー画像の露出評価方法
CN111080543A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN113225486B (zh) 拍摄画面的处理方法、装置、设备和介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201222

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210420

R150 Certificate of patent or registration of utility model

Ref document number: 6873342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250