JP2016051926A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2016051926A JP2016051926A JP2014174494A JP2014174494A JP2016051926A JP 2016051926 A JP2016051926 A JP 2016051926A JP 2014174494 A JP2014174494 A JP 2014174494A JP 2014174494 A JP2014174494 A JP 2014174494A JP 2016051926 A JP2016051926 A JP 2016051926A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- encoding
- temporal
- bit rate
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】 動画像を構成するフレームを時間的階層に分類するとともに各フレームに時間的階層の識別子を付与して各フレームを所定の量子化パラメータに基づいて符号化する符号化手段と、符号化対象のフレームに付与された時間的階層の識別子に基づいて、当該符号化対象のフレームの属する時間的階層に関する情報を取得する第1の取得手段と、前記第1の取得手段によって取得された時間的階層に関する情報に基づいて、前記符号化対象のフレームの符号化パラメータとして決定する決定手段と、を有し、前記符号化手段は、前記決定手段によって決定された符号化パラメータを用いて、前記符号化対象のフレームを符号化することを特徴とする。
【選択図】 図8
Description
[実施形態1]
以下、本実施形態に係る画像処理装置について、図面を参照して説明する。まず、本実施形態における画像処理システムの構成について、図8を用いて説明する。図8は、撮影した動画像に対応する動画像データを、通信経路を介して送信し、これを受信した側で表示を行うための動画像送受信システムの機能ブロック図であり、動画像送信装置800(画像処理装置)と動画像受信装置810とを含む。尚、図8の各処理部(801〜803、811〜813)は1つの物理的な回路(ハードウェア)によって構成されていてもよいし、複数の回路で構成されていてもよい。また、いくつかの処理部を統合して1つの回路としてもよい。
上述した実施形態1では、図3において、所定の閾値以下のTemporal IDが付与されたフレーム(図4のフレーム401)で発生したビットレートの超過量を直後のフレーム(図4のフレーム402)で調整する制御である。本実施形態では、発生したビットレートの超過量を、所定の閾値より大きい階層に属するフレームの、Temporal IDに応じて分配することで平均ビットレートを調整する。本実施形態に係る動画像送受信システムの構成に関しては、実施形態1と同じ構成を利用できるため、ここでの説明を省略する。
図8に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。以下、図10を用いて本実施形態について説明する。図10は、上記各実施形態に係る画像処理システムに適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
実施形態1及び実施形態2では、Temporal ID=0である低フレームレート層のみ(第1の閾値以下のTemporal IDを持つフレームのみ)、符号化時のビットレートが実効伝送レートを超えることを許容したが、これに限定されるものではない。例えば、Temporal ID=0、1からなる中間フレームレート層のフレームのみ(第2の閾値以下の時間階層識別子を持つフレームのみ)、符号化時のビットレートが実効伝送レートを超えることを許容してもよい。この場合はその他のフレームの符号化時にその超過量を調整するように制御することが可能である。
同様に予測ブロックサイズや符号化ブロックサイズを決定するアルゴリズムを加えてよい。
801 撮像部
802 符号化部
803 ネットワーク送信部
Claims (14)
- 動画像を構成するフレームを時間的階層に分類するとともに各フレームに時間的階層の識別子を付与して各フレームを所定の量子化パラメータに基づいて符号化する符号化手段と、
符号化対象のフレームに付与された時間的階層の識別子に基づいて、当該符号化対象のフレームの属する時間的階層に関する情報を取得する第1の取得手段と、
前記第1の取得手段によって取得された時間的階層に関する情報に基づいて、前記符号化対象のフレームの符号化パラメータを決定する決定手段と、
を有し、
前記符号化手段は、前記決定手段によって決定された符号化パラメータを用いて、前記符号化対象のフレームを符号化することを特徴とする画像処理装置。 - 前記決定手段は、時間的階層に関する情報に基づいて、符号化対象のフレームの属する時間的階層が所定の閾値より小さい場合に、画質を優先にした第1の符号化パラメータを前記符号化対象のフレームの符号化パラメータとして決定することを特徴とする請求項1に記載の画像処理装置。
- さらに、前記符号化対象のフレームより前に符号化された過去のフレームに関する符号化履歴から、当該過去のフレームの符号化後のデータ量、及び当該過去のフレームを符号化する際に用いた過去の符号化パラメータを取得する第2の取得手段を有し、
前記決定手段は、前記第1の取得手段によって取得された時間的階層に関する情報と、前記第2の取得手段によって取得された前記過去のフレームの符号化後のデータ量及び前記過去のフレームの符号化パラメータとに基づいて、前記符号化対象のフレームを符号化するのに用いる符号化パラメータを決定することを特徴とする請求項1又は請求項2に記載の画像処理装置。 - 前記決定手段は、時間的階層に関する情報に基づいて、符号化対象のフレームの属する時間的階層が前記所定の閾値より大きい場合であって、前記第2の取得手段によって取得された過去のフレームの符号化後のデータ量に基づく第1のビットレートが、符号化されたフレームを転送する通信経路の第2のビットレートより大きい場合に、前記第1のビットレートと前記第2のビットレートとに基づいて、第2の符号化パラメータを前記符号化対象のフレームの符号化パラメータとして決定することを特徴とする請求項3に記載の画像処理装置。
- 前記決定手段は、時間的階層に関する情報に基づいて、符号化対象のフレームの属する時間的階層が前記所定の閾値より大きい場合であって、前記第2の取得手段によって取得された過去のフレームの符号化後のデータ量に基づく第1のビットレートが、符号化されたフレームを転送する通信経路の第2のビットレートより小さい場合に、前記第2の取得手段によって取得された前記過去のフレームの符号化パラメータに基づいて、第3の符号化パラメータを前記符号化対象のフレームの符号化パラメータを決定することを特徴とする請求項3又は請求項4に記載の画像処理装置。
- 前記第2の符号化パラメータは、前記第1の符号化パラメータよりも大きいことを特徴とする請求項4又は請求項5に記載の画像処理装置。
- 前記符号化パラメータは量子化パラメータを含むことを特徴とする、請求項1又は請求項2に記載の画像処理装置。
- 前記決定手段は、前記動画像を構成するフレームのうち、時間的階層の識別子が所定の閾値より小さい第1のフレームの符号化時のビットレートが目標の値を超えた場合に、時間的階層の識別子が前記所定の閾値より大きい第2のフレームの符号化時のビットレートが前記目標の値を超えないように、前記第2のフレームの符号化パラメータを決定することを特徴とする請求項1乃至請求項7のいずれか一項に記載の画像処理装置。
- 前記決定手段は、前記動画像を構成するフレームのうち、時間的階層の識別子が所定の閾値より小さいフレームの符号化時のビットレートが目標の値を超えた場合に、超えた分のデータ量に関する情報を前記時間的階層の識別子に基づいて重み付けした結果に基づいて、時間的階層の識別子が前記所定の閾値より大きい第2のフレームの符号化パラメータを決定することを特徴とする請求項2乃至請求項8のいずれか一項に記載の画像処理装置。
- さらに、前記符号化対象のフレームが属するフレーム群をビットレート制御するための制御方法を設定する設定手段を有し、
前記設定手段は、符号化された前記符号化対象のフレームを転送する通信経路の実行伝送レートに基づき階層ごとにビットレートを制御する方法、目標の画質に基づいて階層ごとにビットレートを制御する方法、符号化されたデータを記憶する記録手段の子pく可能な残容量に基づいて階層ごとにビットレートを制御する方法、符号化された前記符号化対象のフレームを転送する際の送信バッファの蓄積量に基づいてビットレートを制御する方法のうち、少なくともいずれかを前記制御方法として設定することを特徴とする請求項1乃至請求項9のいずれか一項に記載の画像処理装置。 - 前記決定手段は、前記第1の取得手段によって取得された時間的階層に関する情報に基づいて、前記符号化対象のフレームを符号化するためのビットレート制御の方法を決定し、当該ビットレート制御の方法に基づいて、前記符号化対象のフレームを符号化するための符号化パラメータを決定することを特徴とする請求項1乃至請求項10のいずれか一項に記載の画像処理装置。
- 前記ビットレート制御の方法は、前記符号化対象のフレームを符号化後に送信するための通信経路の実効伝送レートに基づいてビットレートを制御する方法、ユーザによる指示によって設定された目標画質に基づいてビットレートを制御する方法、前記符号化対象のフレームを符号化した符号データを記録する記録媒体の残容量に基づいてビットレートを制御する方法のうち少なくともいずれかであることを特徴とする請求項11に記載の画像処理装置。
- 動画像を構成するフレームを時間的階層に分類するとともに各フレームに時間的階層の識別子を付与して各フレームを所定の量子化パラメータに基づいて符号化する符号化工程と、
符号化対象のフレームに付与された時間的階層の識別子に基づいて、当該符号化対象のフレームの属する時間的階層に関する情報を取得する第1の取得工程と、
前記第1の取得工程によって取得された時間的階層に関する情報に基づいて、前記符号化対象のフレームの符号化パラメータとして決定する決定工程と、
を有し、
前記符号化工程は、前記決定工程によって決定された符号化パラメータを用いて、前記符号化対象のフレームを符号化することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至請求項12のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014174494A JP6497874B2 (ja) | 2014-08-28 | 2014-08-28 | 画像処理装置、画像処理方法、及びプログラム |
US14/835,013 US10129551B2 (en) | 2014-08-28 | 2015-08-25 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014174494A JP6497874B2 (ja) | 2014-08-28 | 2014-08-28 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016051926A true JP2016051926A (ja) | 2016-04-11 |
JP2016051926A5 JP2016051926A5 (ja) | 2017-09-07 |
JP6497874B2 JP6497874B2 (ja) | 2019-04-10 |
Family
ID=55404100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014174494A Active JP6497874B2 (ja) | 2014-08-28 | 2014-08-28 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10129551B2 (ja) |
JP (1) | JP6497874B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021515470A (ja) * | 2018-02-26 | 2021-06-17 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 選択的な量子化パラメータ送信 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003515987A (ja) * | 1999-11-23 | 2003-05-07 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ハイブリッドな時間的/snr的微細粒状スケーラビリティビデオ符号化 |
US20090003439A1 (en) * | 2007-06-26 | 2009-01-01 | Nokia Corporation | System and method for indicating temporal layer switching points |
JP2009182442A (ja) * | 2008-01-29 | 2009-08-13 | Univ Of Fukui | 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置 |
JP2009540629A (ja) * | 2006-03-03 | 2009-11-19 | ヴィドヨ,インコーポレーテッド | スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 |
JP2010028516A (ja) * | 2008-07-22 | 2010-02-04 | Nec Corp | 映像配信システム、映像配信装置、映像受信装置、映像配信方法、映像受信方法及びプログラム |
JP2012199961A (ja) * | 2005-09-27 | 2012-10-18 | Qualcomm Inc | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
JP2013070411A (ja) * | 2007-04-17 | 2013-04-18 | Thomson Licensing | マルチビュー・ビデオ符号化のための仮想参照デコーダ |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3519722B2 (ja) | 1997-03-17 | 2004-04-19 | 松下電器産業株式会社 | データ処理方法及びデータ処理装置 |
EP1938618A2 (en) | 2005-09-29 | 2008-07-02 | Thomson Research Funding Corporation | Method and apparatus for constrained variable bit rate (vbr) video encoding |
JP2010011154A (ja) | 2008-06-27 | 2010-01-14 | Pioneer Electronic Corp | 画像生成装置及び画像再生装置 |
US9036567B2 (en) * | 2010-02-03 | 2015-05-19 | Qualcomm Incorporated | Logical channel mapping for increased utilization of transmission resources |
CN103200399B (zh) | 2012-01-04 | 2016-08-31 | 北京大学 | 基于可伸缩视频编码的控制视频质量波动的方法及装置 |
-
2014
- 2014-08-28 JP JP2014174494A patent/JP6497874B2/ja active Active
-
2015
- 2015-08-25 US US14/835,013 patent/US10129551B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003515987A (ja) * | 1999-11-23 | 2003-05-07 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ハイブリッドな時間的/snr的微細粒状スケーラビリティビデオ符号化 |
JP2012199961A (ja) * | 2005-09-27 | 2012-10-18 | Qualcomm Inc | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
JP2009540629A (ja) * | 2006-03-03 | 2009-11-19 | ヴィドヨ,インコーポレーテッド | スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 |
JP2013070411A (ja) * | 2007-04-17 | 2013-04-18 | Thomson Licensing | マルチビュー・ビデオ符号化のための仮想参照デコーダ |
US20090003439A1 (en) * | 2007-06-26 | 2009-01-01 | Nokia Corporation | System and method for indicating temporal layer switching points |
JP2009182442A (ja) * | 2008-01-29 | 2009-08-13 | Univ Of Fukui | 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置 |
JP2010028516A (ja) * | 2008-07-22 | 2010-02-04 | Nec Corp | 映像配信システム、映像配信装置、映像受信装置、映像配信方法、映像受信方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
MISKA M. HANNUKSELA SRIKANTH MANCHENAHALLY GOPALAKRISHNA NOKIA RESEARCH CENTER VISIOKATU 1, 33720 TA: "Indication of the temporal structure of coded video sequences[online]", JCTVC-H JCTVC-H0423, JPN6018014168, 10 February 2012 (2012-02-10), ISSN: 0003782567 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021515470A (ja) * | 2018-02-26 | 2021-06-17 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 選択的な量子化パラメータ送信 |
Also Published As
Publication number | Publication date |
---|---|
US20160065977A1 (en) | 2016-03-03 |
JP6497874B2 (ja) | 2019-04-10 |
US10129551B2 (en) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6463041B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CA2975904C (en) | Method and system for smart adaptive video streaming driven by perceptual quality-of-experience estimations | |
JP5724038B2 (ja) | カメラおよび背景の動きに基づく、参照フレームバッファの適応的設定 | |
KR101809306B1 (ko) | 낮은 레이턴시 레이트 제어 시스템 및 방법 | |
US9215466B2 (en) | Joint frame rate and resolution adaptation | |
US8542734B2 (en) | Multi-view video encoding apparatus and method | |
JP4755093B2 (ja) | 画像符号化方法および画像符号化装置 | |
US20210400233A1 (en) | Encoding method, image encoder and image transmission system | |
JP5766877B2 (ja) | 類似度、視覚的品質、および関心に基づくフレーム符号化選択 | |
US6333948B1 (en) | Video coding apparatus, video coding method and storage medium containing video coding program | |
US20120195356A1 (en) | Resource usage control for real time video encoding | |
JP2011512047A (ja) | メタデータを使用してより低い複雑さの複数ビットレートビデオ符号化を実行する方法及び装置 | |
JP2012170042A (ja) | 画像符号化装置と画像復号装置およびその方法とプログラム | |
US9351004B2 (en) | Multiview video coding reference picture selection under a one reference picture constraint | |
US20180184089A1 (en) | Target bit allocation for video coding | |
JP2007124587A (ja) | 動画像符号化装置、及びフェードシーン検出装置 | |
JP7449941B2 (ja) | 異なる圧縮レベルでのビデオコーディングのためのサイド情報 | |
US20120195364A1 (en) | Dynamic mode search order control for a video encoder | |
US20110299605A1 (en) | Method and apparatus for video resolution adaptation | |
JP2006148409A (ja) | フレームレート変換方法 | |
JP6497874B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2011216986A (ja) | 映像送信システム、送信装置及び中継装置 | |
JP2012015603A (ja) | 画像処理装置及び画像映像処理方法 | |
JP6999633B2 (ja) | ビデオ記録システム内の複数のカメラの間での適応的ストレージ | |
JP4857243B2 (ja) | 画像符号化装置及びその制御方法、コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180920 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190118 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190312 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6497874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |