JP6856481B2 - フレーム同期装置及び周波数差検知方法 - Google Patents

フレーム同期装置及び周波数差検知方法 Download PDF

Info

Publication number
JP6856481B2
JP6856481B2 JP2017179786A JP2017179786A JP6856481B2 JP 6856481 B2 JP6856481 B2 JP 6856481B2 JP 2017179786 A JP2017179786 A JP 2017179786A JP 2017179786 A JP2017179786 A JP 2017179786A JP 6856481 B2 JP6856481 B2 JP 6856481B2
Authority
JP
Japan
Prior art keywords
frame
difference
storage unit
video signal
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017179786A
Other languages
English (en)
Other versions
JP2019057770A (ja
Inventor
幸弘 菅原
幸弘 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2017179786A priority Critical patent/JP6856481B2/ja
Publication of JP2019057770A publication Critical patent/JP2019057770A/ja
Application granted granted Critical
Publication of JP6856481B2 publication Critical patent/JP6856481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Synchronizing For Television (AREA)
  • Television Systems (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Description

本発明の実施形態は、フレーム同期装置及び周波数差検知方法に関する。
放送局は、発信源から映像信号を受信する。発信源から送られる映像信号と、放送局内の基準同期信号との間にはわずかな周波数差が存在するため、放送局では、フレームシンクロナイザを用いて、映像信号を局内の基準同期に同期させる。フレームシンクロナイザは、内蔵されたデュアルポートのフレームメモリに、発信源から送信された映像信号をそれ自身の周波数で書き込み、基準同期の周波数で読み出しを行う。フレームシンクロナイザは、映像信号の書き込みが基準同期による読み出しを追い越しそうになったとき、フレームスキップを行う。フレームスキップとは、フレームメモリから1フレーム分飛び越してフレームを読み出すことである。反対に、読み出しが書き込みを追い越しそうになったとき、フレームシンクロナイザは、フレームリピートを行う。フレームリピートとは、フレームメモリから1フレーム分繰り返してフレームを読み出すことである。フレームスキップ及びフレームリピートを行うことにより、フレームシンクロナイザは、発信源の周波数と基準同期の周波数差を吸収する。
フレームシンクロナイザに入力される映像信号は、しばしば異なる発信源から送信された映像信号に切り替えられる。一般に、入力信号の切り替えが行われた直後は、入力映像信号と基準同期の周波数差がわからないため、フレームスキップ又はフレームリピートを行うタイミングの判定を行うことができない。したがって、周波数差を検知するまでの間にフレームシンクロナイザの出力に不体裁が生じる可能性があった。
特開2009−88654号公報 特開2008−154011号公報
本発明が解決しようとする課題は、映像信号の切替えから、映像信号と局内の基準同期信号の周波数差を検知するまでの時間を短縮することができるフレーム同期装置及び周波数差検知方法を提供することである。
実施形態のフレーム同期装置は、フレーム記憶部と、算出部とを持つ。フレーム記憶部は、入力された映像信号のフレームを随時書き込み、書き込まれたフレームを随時読み出して出力する。算出部は、フレーム記憶部へのフレームの書込位置とフレーム記憶部からのフレームの読出位置との差分を、1フレームの読み出しに要する時間よりも短い時間間隔で算出し、算出した差分が変化するまでにかかった時間に基づいて、前記読出位置の更新に用いられる同期信号と映像信号との周波数差を算出する。
実施形態の放送システムの構成例を示す図。 実施形態の同期制御部の詳細な構成例を示す図。 実施形態の同期制御部の処理を示すフロー図。 実施形態の映像信号切替後のフレームメモリを示す図。
以下、実施形態のフレーム同期装置及び周波数差検知方法を、図面を参照して説明する。
図1は、実施形態の放送システム1の構成例を示す図である。放送局は、スイッチャ2とフレームシンクロナイザ3とを有する。P箇所(Pは1以上の整数)の発信源Aそれぞれは、放送局に映像信号Bを出力する。同図では、p番目(pは1以上P以下の整数)の発信源をA(p)と記載し、発信源A(p)から出力される映像信号Bを映像信号B(p)と記載している。スイッチャ2は、入力された操作に従って、受信した映像信号B(1)〜B(P)のうちいずれかをフレームシンクロナイザ3に出力する。スイッチャ2からの出力を、映像信号Xと記載する。
フレームシンクロナイザ3は、フレーム同期装置の一例である。フレームシンクロナイザ3は、フレームメモリ31と、同期分離書込制御部32と、同期分離読出制御部33と、同期制御部34とを備える。
フレームメモリ31は、フレーム記憶部の一例である。フレームメモリ31は、映像信号Xに含まれる2以上のフレームを、フレーム単位で記憶するリングバッファである。フレームメモリ31は、入力された映像信号Xのフレームを受信した順に随時書き込み、書き込まれたフレームを随時読み出して出力する。フレームメモリ31は、同期分離書込制御部32の制御により、映像信号Xを、その映像信号X自体の周波数で書き込む。また、フレームメモリ31は、記憶した2以上のフレームのうちの最も古くに記憶されたフレームから順に読み出す。読み出されたフレームメモリは、映像信号X’としてフレームシンクロナイザ3の外部に出力される。フレームメモリ31へのフレームの書込位置をWP(Write Pointer)、フレームメモリ31からのフレームの読出位置をRP(Read Pointer)と記載する。
同期分離書込制御部32は、映像信号Xに含まれる同期信号を抽出する。同期分離書込制御部32は、抽出した同期信号に基づいてWPを更新する。これにより、フレームメモリ31は、映像信号Xを、その映像信号X自体の周波数で書き込むことができる。同期分離読出制御部33は、放送局内の基準同期信号に基づいてクロックを発生させ、発生させたクロックに基づいてRPを更新する。これにより、フレームメモリ31は、放送局内の基準同期信号の周波数に基づいてフレームを読み出すことができる。
同期制御部34は、算出部の一例である。算出部は、RPとWPの差分を随時算出し、差分が変化するまでにかかった時間に基づいて、映像信号Xの周波数と、RPの更新に用いられる同期信号の周波数との周波数差を算出する。RPの更新に用いられる同期信号は、局内の基準同期信号又は基準同期信号から生成されたクロックである。この同期信号の周波数を、同期信号周波数と記載する。
図2は、同期制御部34の詳細な構成例を示す図である。同期制御部34は、記憶部341と、周波数差検知部342と、スキップ/リピート制御部343とを備える。
記憶部341は、各種データを記憶する。記憶部341は、差分変化フラグ記憶部3411と、差分記憶部3412と、クロック数記憶部3413とを備える。差分変化フラグ記憶部3411は、差分変化フラグを記憶する。差分変化フラグは、映像信号の切替後、ポインタ差分の変化が検出されたか否かを示す。本実施形態では、差分変化フラグの値「0」は、映像信号の切替後にポインタ差分の変化がまだ検出されていないことを表し、値「1」は、映像信号の切替後にポインタ差分の変化が検出済みであることを表す。差分記憶部3412は、ポインタ差分を記憶する。クロック数記憶部3413は、クロック数カウンタを記憶する。クロック数カウンタは、ポインタ差分が変化するまでにかかるクロック数の計測値を示す。
周波数差検知部342は、差分算出部3421と、差分変化時間計測部3422と、差分変化検出部3423と、周波数偏差算出部3424とを備える。差分算出部3421は、ポインタ差分を随時算出する。具体的には、差分算出部3421は、同期分離読出制御部33が発生させるクロックごとに、つまり、RPが更新されるごとにポインタ差分を算出する。差分変化時間計測部3422は、ポインタ差分の変化が発生するまでの時間を計測する。本実施形態では、差分変化時間計測部3422は、この時間をクロック数により計測する。差分変化検出部3423は、ポインタ差分が変化したか否かを検出する。周波数偏差算出部3424は、ポインタ差分が変化するまでにかかった時間に基づいて、映像信号Xの周波数と同期信号周波数との周波数偏差を算出する。
映像信号Xの周波数と同期信号周波数との周波数偏差がx[ppm]であるとき、(1/x)×10クロックを周期として、RPとWPとの差分が変化する。したがって、ポインタ差分が変化する周期に基づいて、周波数偏差を計算することが可能である。ポインタ差分が変化するまでにクロック数Tがかかった場合、周波数偏差は(1/T)×10[ppm]である。
スキップ/リピート制御部343は、現在のポインタ差分及び周波数偏差算出部3424が算出した周波数偏差に基づいて、フレームスキップ又はフレームリピートを実行するタイミングを算出する。スキップ/リピート制御部343は、算出したタイミングにおいてフレームスキップ又はフレームリピートを行うよう、同期分離読出制御部33に指示する。同期分離読出制御部33は、フレームスキップが指示された場合、所定数のフレーム、具体的には、1フレーム分を飛び越してフレームを読み出すようRPを設定する。また、同期分離読出制御部33は、フレームリピートが指示された場合、フレームメモリ31から所定数のフレーム、具体的には、1フレーム分を繰り返し読み出すようRPを設定する。
一般に、異なる発信源から出力される映像信号の周波数は完全に同一ではない。そのため、放送局でフレームシンクロナイザ3の入力である映像信号Xが、映像信号B(p)から映像信号B(q)に切り換えられた場合(q≠p、p及びqは1以上P以下の整数)、映像信号Xの周波数と同期信号周波数との周波数偏差を計算し直す必要がある。
図3は、同期制御部34の処理フローである。同期制御部34は、映像信号Xが切り替わったことを検出し、割り込みルーチンとして同図に示す処理フローを開始する。
差分変化検出部3423は、差分変化フラグ記憶部3411に記憶される差分変化フラグに、まだポインタ差分が検出されていないことを表す「0」を設定する(ステップS105)。差分算出部3421は、現在のRPの値とWPの値との差分であるポインタ差分を算出し、差分記憶部3412に書き込む(ステップS110)。差分変化時間計測部3422は、クロック数記憶部3413に記憶されるクロック数カウンタに「0」を設定して初期化する(ステップS115)。
同期分離読出制御部33が基準同期信号に基づいてクロックを発生すると、差分変化時間計測部3422は、このクロックの発生を検出する(ステップS120)。差分変化時間計測部3422は、クロック数記憶部3413に記憶されるクロック数カウンタの値を、1を加算した値に更新する(ステップS125)。差分算出部3421は、クロック発生後のRPの値とWPの値との差分であるポインタ差分を算出する(ステップS130)。差分変化検出部3423は、ステップS130において算出したポインタ差分と、差分記憶部3412に記憶されるポインタ差分とを比較し、ポインタ差分に変化があったか否かを判定する(ステップS135)。差分変化検出部3423が、ポインタ差分に変化はないと判定した場合(ステップS135:NO)、周波数差検知部342は、ステップS120からの処理を繰り返す。
差分変化検出部3423は、ポインタ差分に変化があったと判定した場合(ステップS135:YES)、ステップS140の判定処理を行う。すなわち、差分変化検出部3423は、差分変化フラグ記憶部3411に記憶される差分変化フラグの値に基づいて、映像信号切替後の最初の差分変化であるか否かを判定する(ステップS140)。差分変化検出部3423は、差分変化フラグの値が「0」であり、最初の差分変化であると判定した場合(ステップS140:YES)、差分変化フラグの値を「1」に書き換える(ステップS145)。周波数差検知部342は、ステップS110からの処理を繰り返す。
一方、差分変化検出部3423は、差分変化フラグの値が「1」である場合、映像信号切替後に差分変化が検出済みであると判定する(ステップS140:NO)。周波数偏差算出部3424は、クロック数記憶部3413に記憶されるクロック数カウンタの値を読み出す。周波数偏差算出部3424は、読み出したクロック数カウンタの値が示す時間に基づいて、映像信号Xの周波数と、同期信号周波数との周波数偏差を算出する(ステップS150)。スキップ/リピート制御部343は、ステップS150において算出された周波数偏差と、現在のポインタ差分とに基づいて、フレームスキップ又はフレームリピートを行うタイミングを算出する(ステップS155)。
なお、同期制御部34は、ステップS155の後、ステップS110からの処理を繰り返してもよい。
図4は、映像信号切替後のフレームメモリ31を示す図である。同図を用いて、図3の処理の具体例を説明する。
時刻tにおいて映像信号Xが切り替わると、図3の処理が開始される。差分変化検出部3423は、差分変化フラグに「0」を設定する(図3のステップS105)。差分算出部3421は、時刻tにおけるRPとWPの差分であるポインタ差分Dを算出し、差分記憶部3412に書き込む(図3のステップS110)。差分変化時間計測部3422は、クロック数カウンタに「0」を設定する(図3のステップS115)。
差分変化時間計測部3422は、クロックの発生を検出すると(図3のステップS120)、クロック数カウンタの値に1を加算する(図3のステップS125)。差分算出部3421は、ポインタ差分を算出する(図3のステップS130)。差分変化検出部3423は、前回算出したポインタ差分Dと変化がないと判定する(ステップS135:NO)。同期制御部34は、クロックが発生する度に、クロック数の更新、ポインタ差分の算出、ポインタ差分の変化の有無の判定を繰り返す。
時刻tからmクロック経過した時刻tにおいて、ポインタ差分DがD+1又はD−1になると、差分変化検出部3423は、ポインタ差分に変化ありと判定する(図3のステップS135:YES)。差分変化検出部3423は、映像信号切替後の最初の差分変化であると判定し(図3のステップS140:YES)、差分変化フラグの値を「1」に書き換える(図3のステップS145)。差分算出部3421は、ポインタ差分Dを差分記憶部3412に書き込む(図3のステップS110)。差分変化時間計測部3422は、クロック数カウンタの現在値「m」をリセットし、「0」を設定する(図3のステップS115)。同期制御部34は、クロックが発生する度に、クロック数の更新、ポインタ差分の算出、ポインタ差分の変化の有無の判定を繰り返す。
時刻tからnクロック経過した時刻tにおいて、ポインタ差分DがD+1又はD−1になると、差分変化検出部3423は、ポインタ差分に変化ありと判定する(図3のステップS135:YES)。差分変化検出部3423は、映像信号の切替後に差分変化が検出済みであると判定する(図3ステップS140:NO)。よって、RPとWPとの距離が変化する周期は、クロック数カウンタの現在値が示すnクロックであることが分かる。周波数偏差算出部3424は、映像信号Xの周波数と同期信号周波数との周波数偏差を、(1/n)×10と算出する(ステップS150)。このように、フレームシンクロナイザ3は、映像信号Xの入力が切り替わってからm+nクロックで周波数偏差を求めることが可能である。
RPとWPの距離が離れるとき(すなわちD=D+1のとき)、周波数偏差は正であるため、書き込みが読み出しを追い越さないようにフレームスキップを行う必要がある。反対に、RPとWPが近づくとき(すなわちD=D−1のとき)、周波数偏差は負であるため、読み出しが書き込みを追い越さないようにフレームリピートを行う必要がある。スキップ/リピート制御部343は、周波数偏差が正である場合は、フレームスキップを行い、周波数偏差が負である場合は、フレームリピートを行うよう、同期分離読出制御部33に指示する。同期分離読出制御部33は、スキップ/リピート制御部343からの指示に従って、フレームスキップ又はフレームリピートを行う。
従来のフレームシンクロナイザは、フレームメモリからフレーム先頭を読み出す時に、RPとWPの差を取り、1フレーム前の差と現在の差との変化を見ることで周波数差の計算を行っていた。従って、周波数差を検知するためには、フレーム先頭のRPが2回現れる必要があった。映像信号の切り替えが行われるタイミングによっては、最初にフレームの先頭を読み出すまでに約1フレーム分の時間がかかる。そのため、入力される映像信号が切り替わってから周波数差を検知し、正常にフレームスキップ/リピートの判定が可能になるまで最大で約2フレーム分の時間が必要な場合があった。また、フレームスキップ/リピートも、フレーム先頭で実行していた。
一方、本実施形態では周波数偏差を高速に検知できるため、フレームシンクロナイザ3は、フレーム先頭に限らず周波数偏差が求められると、直ちにフレームスキップ/リピートを実行することができる。従って、フレームシンクロナイザ3は、出力に不体裁が生じる可能性がある期間を大幅に短縮することができる。例えば、m≦(1/n)×10クロック、n=(1/10)×10クロック、1フレーム=1125ライン×2200サンプルであるとする。周波数偏差が10[ppm]である場合、従来では入力が切り替わってから正常にフレームスキップ/リピートの判定ができるまで最大約2フレームの時間かかっていた。これに対し、フレームシンクロナイザ3は、100ライン以内でフレームスキップ/リピートの判定が可能となる。
以上説明した少なくともひとつの実施形態によれば、同期制御部34を持つことにより、入力が異なる発信源からの映像信号に切り替わった場合でも、出力映像に不体裁が生じる可能性がある期間を短くすることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…放送システム、2…スイッチャ、3…フレームシンクロナイザ、31…フレームメモリ、32…同期分離書込制御部、33…同期分離読出制御部、34…同期制御部、341…記憶部、342…周波数差検知部、343…スキップ/リピート制御部、3411…差分変化フラグ記憶部、3412…差分記憶部、3413…クロック数記憶部、3421…差分算出部、3422…差分変化時間計測部、3423…差分変化検出部、3424…周波数偏差算出部

Claims (5)

  1. 入力された映像信号のフレームを随時書き込み、書き込まれた前記フレームを随時読み出して出力するフレーム記憶部と、
    前記フレーム記憶部へのフレームの書込位置と前記フレーム記憶部からのフレームの読出位置との差分を、1フレームの読み出しに要する時間よりも短い時間間隔で算出し、算出した前記差分が変化するまでにかかった時間に基づいて、前記読出位置の更新に用いられる同期信号と前記映像信号との周波数差を算出する算出部と、
    を備えるフレーム同期装置。
  2. 前記算出部は、前記読出位置の更新タイミングごとに前記書込位置と前記読出位置との差分を算出する、
    請求項1に記載のフレーム同期装置。
  3. 前記算出部は、映像信号の切替によって、前記書込位置と前記読出位置との差分の算出を開始する、
    請求項1又は請求項2に記載のフレーム同期装置。
  4. 前記算出部により算出された前記周波数差に基づいて、前記フレーム記憶部から所定数のフレームを飛び越して読み出すフレームスキップ又は前記フレーム記憶部から所定数のフレームを繰り返し読み出すフレームリピートを行うタイミングを制御する制御部をさらに備える、
    請求項1から請求項3のいずれか一項に記載のフレーム同期装置。
  5. フレーム記憶部に入力された映像信号のフレームを随時書き込むフレーム書込ステップと、
    前記フレーム記憶部に書き込まれた前記フレームを随時読み出して出力するフレーム読出ステップと、
    前記フレーム記憶部へのフレームの書込位置と前記フレーム記憶部からのフレームの読出位置との差分を、1フレームの読み出しに要する時間よりも短い時間間隔で算出する差分算出ステップと、
    前記差分が変化するまでにかかった時間に基づいて、前記読出位置の更新に用いられる同期信号と前記映像信号との周波数差を算出する算出ステップと、
    を有する周波数差検知方法。
JP2017179786A 2017-09-20 2017-09-20 フレーム同期装置及び周波数差検知方法 Active JP6856481B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017179786A JP6856481B2 (ja) 2017-09-20 2017-09-20 フレーム同期装置及び周波数差検知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017179786A JP6856481B2 (ja) 2017-09-20 2017-09-20 フレーム同期装置及び周波数差検知方法

Publications (2)

Publication Number Publication Date
JP2019057770A JP2019057770A (ja) 2019-04-11
JP6856481B2 true JP6856481B2 (ja) 2021-04-07

Family

ID=66106599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017179786A Active JP6856481B2 (ja) 2017-09-20 2017-09-20 フレーム同期装置及び周波数差検知方法

Country Status (1)

Country Link
JP (1) JP6856481B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3879547B2 (ja) * 2002-03-18 2007-02-14 三菱電機株式会社 データ同期化装置
JP4322478B2 (ja) * 2002-06-28 2009-09-02 株式会社東芝 テレビジョン放送番組中継送出システムとそのテレビジョン放送信号受信処理装置及びこのテレビジョン放送信号受信処理装置で使用される信号処理制御方法
JP4047316B2 (ja) * 2003-09-25 2008-02-13 キヤノン株式会社 フレームレート変換装置、それに用いられる追い越し予測方法、表示制御装置及び映像受信表示装置
JP2008022326A (ja) * 2006-07-13 2008-01-31 Kddi Corp 非同期ネットワークのデータ伝送方法およびシステム
CN104380650B (zh) * 2012-05-31 2017-08-01 松下知识产权经营株式会社 时钟转换电路、影像处理***、以及半导体集成电路

Also Published As

Publication number Publication date
JP2019057770A (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
US8842793B2 (en) Communication circuit and method of adjusting sampling clock signal
JP5508819B2 (ja) 受信装置
TW201301124A (zh) 對於由一資料串流中所重新產生之時脈訊號之調整
CN108156500B (zh) 多媒体数据时间修正方法、计算机装置、计算机可读存储介质
JP5791828B2 (ja) 中継装置及び通信システム及び中継方法
JP6856481B2 (ja) フレーム同期装置及び周波数差検知方法
US11689347B2 (en) Communication apparatus, communication system, communication method, and computer readable medium
JP2012005025A (ja) 表示装置及び表示システム
KR101076109B1 (ko) 패턴 삽입을 이용한 수신 데이터의 스큐 보정 방법 및 그 장치
JP2015012400A (ja) 画像処理装置
KR20170125405A (ko) 시각 동기 장치 및 시각 동기 시스템
US9654114B2 (en) Transmission circuit, integrated circuit, and parallel-to-serial conversion method
JP6788996B2 (ja) 半導体装置、映像表示システムおよび映像信号出力方法
JP5598551B2 (ja) データ受信回路、情報処理装置、データ受信プログラムおよびデータ受信方法
US9565380B2 (en) Data processor and data processing method including a decision circuit that compares input pixel data to defective pixel data
US20180325363A1 (en) Capsule endoscope
JP4706593B2 (ja) パケット信号受信装置
CN102752478B (zh) 一种场同步信号处理方法及控制电路
US11979678B2 (en) Sound processing apparatus, sound processing method, and storage medium
CN111193570A (zh) 指令执行的方法、装置、***、介质和电子设备
JP6385057B2 (ja) 制御装置及び制御方法
JP5229577B2 (ja) 計測システム
JP2010212763A (ja) データ再生装置
KR100328822B1 (ko) 마우스 제어기의 노이즈 제거장치
JP2017103698A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210318

R150 Certificate of patent or registration of utility model

Ref document number: 6856481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150