JP6978634B1 - パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング - Google Patents
パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング Download PDFInfo
- Publication number
- JP6978634B1 JP6978634B1 JP2021527100A JP2021527100A JP6978634B1 JP 6978634 B1 JP6978634 B1 JP 6978634B1 JP 2021527100 A JP2021527100 A JP 2021527100A JP 2021527100 A JP2021527100 A JP 2021527100A JP 6978634 B1 JP6978634 B1 JP 6978634B1
- Authority
- JP
- Japan
- Prior art keywords
- target display
- luminance
- function
- dynamic range
- tmax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 73
- 230000008569 process Effects 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 70
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010027146 Melanoderma Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2007—Display of intermediate tones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/005—Adapting incoming signals to the display format of the display terminal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Picture Signal Circuits (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本願は、ともに2018年9月17日付けで出願された米国仮出願第62/732,123号および欧州特許出願第18194858.9号に基づく優先権を主張するものであり、各出願の開示内容を全て本願に援用する。
本発明は、広く画像に関する。より詳細には、本発明のある実施形態は、パワー制限ディスプレイ(power−limiting displays)における、ハイダイナミックレンジ(HDR)画像および映像信号についての第1のダイナミックレンジから第2のダイナミックレンジへのディスプレイマッピングに関する。
本明細書において、用語「ダイナミックレンジ」(DR)は、人間の視覚システム(HVS)が画像においてある範囲の強度(または明るさ:intensity)(例えば、輝度、ルマ)(例えば、最暗のグレー(黒)から最明の白(ハイライト)まで)を知覚する能力に関連し得る。この意味では、DRはシーン−リファード(scene−referred)の強度に関する。DRはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、DRは、ディスプレイ−リファード(display−referred)の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても(例えば、区別なく)使用できるものとする。
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。
パワー制限ディスプレイにおいてハイダイナミックレンジ(HDR)画像を第1のダイナミックレンジから第2のダイナミックレンジへマッピングする方法を、本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
本明細書に記載の実施形態例は、画像を、あるダイナミックレンジから第2のダイナミックレンジの画像へマッピングするための方法に関する。第1の実施形態において、装置は、ターゲットディスプレイにて第1のダイナミックレンジから第2のダイナミックレンジへマッピングされる入力画像の入力メタデータと、ターゲットディスプレイのAPL関数(APL関数はターゲットディスプレイにおける平均画像レベル(APL)入力の関数としてのターゲットディスプレイにおける出力輝度を決定する)と、ターゲットディスプレイの最小輝度レベル(Tmin)と、ターゲットディスプレイのリファレンス最大輝度レベル(Tmax_ref)とを受信する。本装置は、ターゲットディスプレイの最小輝度レベルと、ターゲットディスプレイのリファレンス最大輝度レベルと、入力メタデータとに基づき(すなわち、APL関数を無視することにより)、ターゲットディスプレイのリファレンス中間輝度レベルを決定する。本装置はまた、入力メタデータと、ターゲットディスプレイのAPL関数とに基づき、ターゲットディスプレイの輝度値対最大輝度候補値(Tmax_c)関数(fT(Tmax_c))を決定する。ここで輝度対Tmax_c関数は、トーンマッピングアルゴリズムにおける最大輝度レベル候補入力の関数としての、ターゲットディスプレイにおける出力中間輝度を決定する。ターゲットディスプレイの適応的な最大輝度レベル(Tmax_o)に基づくアンカーポイントを有するトーンマッピング曲線に対し、本装置は、fT(Tmax_c)の出力がターゲットディスプレイのリファレンス中間輝度レベルに対してより近くなるときの最大輝度候補の値に基づき、Tmax_oを決定する。
HDR信号の映像符号化
図1は、従来の映像供給パイプライン(100)のプロセス例を示しており、映像のキャプチャから映像コンテンツの表示までの、様々な段を示している。画像生成ブロック(105)を用い、映像フレームのシーケンス(102)をキャプチャまたは生成する。映像フレームは、デジタル的にキャプチャされるか(例えばデジタルカメラにより)またはコンピュータによって生成(例えばコンピュータアニメーションを用いて)されることにより、映像データ(107)が得られる。あるいは映像フレーム(102)は、銀塩カメラによってフィルム上に取得されてもよい。フィルムがデジタルフォーマットに変換されることによって、映像データ(107)が得られる。プロダクションフェーズ(110)において、映像データ(107)は編集され、映像プロダクションストリーム(112)を得る。
その開示内容が全て本願に援用される、A.BallestadおよびA.Kostinによる米国特許第8,593,480号「Method and apparatus for image data transformation」(本明細書中で‘480特許と呼ぶ)において、発明者らは、ミッドトーンの自由パラメータと3つのアンカーポイントとを用いて一意に決定されることが可能なパラメータ化シグモイド関数を使用する、画像変換マッピングを提案した。このような関数の一例を、図2に示す。
・x1からx3までの値は、入力画像の構成画素を記述する可能性がある値の範囲を表す。これらの値は、特定の原色(R、G、もしくはB)の明度レベルであってもよいし、または、当該画素の全体的な輝度レベル(例えばYCbCr表現におけるY成分)であってもよい。典型的には、これらの値は、コンテンツを制作するために用いられるディスプレイがサポートする最暗(黒色点)および最明(白色点)のレベル(「マスタリングディスプレイ」(125)の限界点)に対応する。しかし、いくつかの実施形態において、リファレンスディスプレイの特性が未知の場合、これらの値は、入力画像における最小値および最大値(例えばR、G、またはB、輝度などの)を表してもよく、画像メタデータを介して受信されるか、または受信器において算出されることが可能である。
・y1からy3までの値は、出力画像の構成画素を記述する可能性がある値の範囲を表す(再び、原色の明度レベルまたは全体的な輝度レベルのいずれか)。典型的には、これらの値は、目当ての出力ディスプレイがサポートする最暗(黒色点)および最明(白色点)のレベル(「ターゲットディスプレイ」(140)の限界点)に対応する。
・値x1を有する任意の入力画素は、値y1を有する出力画素へマッピングされるように制約され、値x3を有する任意の入力画素は、値y3を有する出力画素へマッピングされるように制約される。
・x2およびy2の値は、画像のある「ミッドレンジ」(平均またはミッドトーンレベルの)要素のためのアンカーポイントとして用いられる、入力から出力への特定のマッピングを表す。例えば、このミッドレンジは、算術平均(arithmetic mean or average)を表してもよいし、幾何平均を表してもよいし、または関心のある何らかの他の値(例えば皮膚の色)を表してもよい。x2およびy2の具体的な選択に際しては幅広い範囲が可能であり、‘480特許は、これらのパラメータをどのように選択し得るかについて、いくつかの代替法を教示している。
T=(x-x1)/(x2-x1)
である。
y=(2T3-3T2+1)y1+(T3-2T2+T)(x2-x1)m1+
+(-2T3+3T2)y2+(T3-T2)(x2-x1)m2. (3)
入力信号の平均画像レベル(APL)が増加するに連れて、今日の市場におけるディスプレイの大半は薄暗くなっていく。これは殆どの場合、パワー制限または寿命の問題に起因している。多数の明るい画素が存在する場合、当該画像を表示するために必要とされるパワーの総量は増大するので、典型的には画像に亘っての平均輝度を低減することにより、画素群にパワーを分配しなければならない。従来のディスプレイマネジメントプロセス(135)において、典型的には、一定のターゲット最大輝度レベル(Tmax)が想定されている。このようなマッピングは、制作意図を正確には表現しないことがある。なぜならば、画像が過度に明るい場合、当該ディスプレイによってサポートされる実際のTmax値はより低くなると言え、それゆえに、表示される画像はより暗くなるからである。本発明において、TVのパワー制限特性をもまた考慮に入れることによってTmaxを決定するための、新しい方法を提案する。提案される方式は、通常はパワー制限の無いリファレンスディスプレイ(125)において生成された画像によってキャプチャされる制作意図に、より忠実にマッチするピクチャを与える。
各ディスプレイモデルは、各自のパワー制限特性を有する。あるディスプレイのパワー制限特性を特徴付けるために、APL入力毎の当該ディスプレイの輝度を測定し得る。これは、画像全体が一つの符号値へ設定された、一組のテストパターンを用いて求められる。例えば、完全なる赤表示、緑表示、または青表示は、33%APLと考えられる。これらのテストパターンは、0〜100%の範囲に在ることができる。APL百分率入力の関数としてのディスプレイ輝度(単位ニト)の測定値の一例を、図4に与える。
図5は、ある実施形態による、適応的な出力Tmax値を生成するためのプロセスの一例を表している。ステップ505において、入力メタデータSmin、Smid、およびSmaxと、ターゲットディスプレイ特性とにアクセスすることにより、本プロセスは開始される。ターゲットディスプレイ特性は、入力APLの関数(例えば図4に示したAPL関数)としてのディスプレイの輝度と、パワー制限を想定しないTminおよびリファレンスTmax値(Tmin_refおよびTmax_refと表記する)とを含み得る。本プロセスの目標は、Tmaxを設定するための最良値を特定することであり、これにより、入力データ(例えば132)をターゲットディスプレイ(140)へマッピングする際に制作意図が維持されるように、ディスプレイマネジメントマッピング関数(例えば220または300)が導出されることになる。
cutoff(i) = DM_CalcCuttoff(Smin,Smid,Smax,TminPQ,TmaxPQ_c(i));
Tmid_c(i) = Smid - (Smid-min(Smid, TmaxPQ_c(i)-min((Smax-Smid),TmaxPQ_c(i)-cutoff(i)))) + (max(Smid, TminPQ+min((Smid-Smin), cutoff(i)-TminPQ))-Smid) (4)
である。TmaxPQ、TminPQ、およびTmaxPQ_c(i)は、線形輝度値Tmax、Tmin、およびTmax_c(i)に対応するPQ符号化輝度値を表しており、SMPTE ST 2084を用いてPQ輝度へ変換されたものである。関数min()およびmax()は、それぞれ、その引数のうちの最小値および最大値を出力する。例えば、b>aならばmin(a,b)=aであり、a<bならばmax(a,b)=bである。
ある実施形態において、関数DM_CalcCuttoff()は、以下のように定義される。
cutoff = DM_CalcCuttoff(SMin,SMid,SMax,TminPQ,TmaxPQ)
% Set the offset curve parameters
preservationHead = 0.1;
preservationTail = 0.02;
rollStart = 0.1;
% Calculate the offset curve parameters
converge = TminPQ + rollStart;
minPt = min(TminPQ,SMin);
maxPt = max(TmaxPQ,SMax);
tgtMax = max(converge,TmaxPQ-preservationHead);
tgtMin = min(converge,TminPQ + preservationTail);
STC = maxPt - converge;
TTC = tgtMax - converge;
SBC = converge - minPt;
TBC = converge - tgtMin;
maxMinSlope = max(0,3*(converge-tgtMin)./(converge-minPt));
maxMaxSlope = max(0,3*(tgtMax-converge)/(maxPt-converge));
slopeMid = min([maxMinSlope,maxMaxSlope,(TmaxPQ-TminPQ)./0.5,1]);
slopeMin = min([maxMinSlope,1,(TBC/SBC)^2]);
slopeMax = min([maxMaxSlope,1,(TTC/STC)^2]);
%Top Rolloff
slope = [slopeMid,slopeMax];
points = [converge,converge;maxPt,tgtMax];
T = (SMid-points(1,1)) / (points(2,1)-points(1,1));
cutoff = (SMid>converge) .* ((2*T.^3 - 3*T.^2 + 1)*points(1,2) + (T.^3 - 2*T.^2 + T)*(points(2,1)-points(1,1))*slope(1) + (-2*T.^3 + 3*T.^2)*points(2,2) + (T.^3 - T.^2)*(points(2,1)-points(1,1))*slope(2));
%Bottom Rolloff
slope = [slopeMin,slopeMid];
points = [minPt,tgtMin;converge,converge];
T = (SMid-points(1,1)) / (points(2,1)-points(1,1));
cutoff = cutoff + (SMid<=converge) .* ((2*T.^3 - 3*T.^2 + 1)*points(1,2) + (T.^3 - 2*T.^2 + T)*(points(2,1)-points(1,1))*slope(1) + (-2*T.^3 + 3*T.^2)*points(2,2) + (T.^3 - T.^2)*(points(2,1)-points(1,1))*slope(2));
end
APL_c(i) = L2BT1886(PQ2L(Tmid_c(i)), PQ2L(TmaxPQ_c(i)), (5)
PQ2L(TminPQ), 2.2, 1);
である。ここで関数PQ2L(x)は、xをPQ輝度から線形輝度へ変換する。関数L2BT1886()は、線形輝度をガンマへ変換するものであり、以下のように表現され得る。
function V = L2BT1886(L,a,b,g,computeab)
% Converts luminance to BT1886
if exist('computeab') && computeab
% Consider that a and b are actually tmax and tmin
assert(g>1,'Invalid Gamma');
Tmax = a; Tmin = b;
a = (Tmax.^(1/g)-Tmin.^(1/g)).^g;
b = Tmin.^(1/g) / (Tmax.^(1/g) - Tmin.^(1/g));
end
% SMPTE definition
V = power(max(0,L / a), 1/g) - b;
end
注記:式(5)を用いることは、ターゲットディスプレイのAPL応答を算出するために入力パッチ(input patches)はディスプレイによってBT.1886(ガンマ)へ変換されたものと、想定している。そうでない場合の実施形態においては、本ステップを、ターゲットディスプレイのAPL応答を算出するために用いられている適切なEOTF関数によって置き換えることができる。
Tmax_c(i) → Tmid_c(i) → APL_c(i) → L(i)=fA(APL_c(i)) (6)
というマッピングがあり、これを用いることにより、輝度値対Tmax候補値関数(またはルックアップテーブルなど)L(i)=fT(Tmax_c(i))を生成する。このようなマッピングの一例を、図6にプロット610として示す。
cutoff = DM_CalcCuttoff(Smin,Smid,Smax,TminPQ,TmaxPQ);
Tmid_ref = Smid - (Smid-min(Smid, TmaxPQ-min((Smax-Smid), TmaxPQ -cutoff))) + (max(Smid, TminPQ+min((Smid-Smin), cutoff-TminPQ))- Smid); (7)
として算出され得る。ある実施形態において、ステップ520は、ステップ510および515における演算の一部であってもよい。
Tmax_ref → Tmid_ref → L_ref=PQ2L(Tmid_ref) (8)
がある。このようなマッピングの一例を、直線620として図6に示す。
となる値である。ステップ525に記したように、これは、fT(Tmax_c)がリファレンス中間輝度レベル値L=L_refと交差するときのTmax_c値に相当する。例えば、図6(650ニトTVについて生成されている)において、交点(625)は、Tmax_o=600ニトという出力Tmax値に対応する。実装の観点からは、fT(Tmax_c)が典型的にはTmax_c(i)点の有限集合を用いて決定されるものとすると、欠けているfT()値は、既知の補間手法を用いて導出され得る。
ある実施形態において、ターゲットディスプレイのAPL特性に基づき最適な出力TmidおよびTmax値を解き求める代わりに、あたかもパワー制限が無いかのように(例えばリファレンスTmid_refおよびTmax_ref値を用いることにより)トーンマッピング曲線を算出しておき、それから後処理ステップを適用することにより、APL特性に基づいて曲線を調整してもよい。例えば、ある実施形態において、パワー調整Pファクタを所与のものとして、Tmidは以下のように調整され得る。すなわち、
X=(Tmid_ref-TminPQ)/(TmaxPQ-TminPQ),
Y= XP, (9)
Tmid=Y*(TmaxPQ-TminPQ)+TminPQ
であり、ここで、先述のようにTminPQおよびTmaxPQは、PQドメインにおいて表現された、ターゲットディスプレイのリファレンス最小輝度値およびリファレンス最大輝度値を表す。
P_c(i) → Tmid_c(i) → APL_c(i) → L(i)=fA(APL_c(i)) (10)
で置き換えられた。
となるP_c値である。これは、fP(P_c)がL=L_ref値と交差するときのP_c値に相当する。
(11)
として調整し得る。必要ならば、冪関数(power function)を適用する前に、式(9)と同様に、入力xが[0,1]に収まるようにトーンマッピング曲線を先ず正規化するべきである。
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)または他のコンフィギュラブルまたはプログラマブルロジックデバイス(PLD)、離散時間またはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)などの集積回路(IC)デバイス、および/または、このようなシステム、デバイスまたはコンポーネントを1つ以上含む装置、を用いて実施し得る。このコンピュータおよび/またはICは、本明細書に記載のようなマッピング方法に関する命令を行い、制御し、または実行し得る。このコンピュータおよび/またはICは、本明細書に記載のバンディングアーチファクトを低減することに関する様々なパラメータまたは値のいずれを演算してもよい。これらの画像および映像ダイナミックレンジ拡張実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
パワー制限ディスプレイにおいて第1のダイナミックレンジから第2のダイナミックレンジへ画像をマッピングすることに関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる1組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
1. 1つ以上のプロセッサを備える装置において、パワー制限ディスプレイのトーンマッピング曲線に対するアンカーポイントを決定するための方法であって、
ターゲットディスプレイにて第1のダイナミックレンジから第2のダイナミックレンジへマッピングされる入力画像の、入力メタデータを受信する工程と、
前記ターゲットディスプレイのAPL関数を受信する工程であって、前記APL関数は、前記ターゲットディスプレイにおける平均画像レベル(APL)入力の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
前記ターゲットディスプレイの最小輝度レベルと、前記ターゲットディスプレイのリファレンス最大輝度レベルとを、受信する工程と、
前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルと、前記入力メタデータとに基づき、前記ターゲットディスプレイのリファレンス中間輝度レベルを決定する工程と、
前記入力メタデータと、前記ターゲットディスプレイの前記APL関数とに基づき、前記ターゲットディスプレイの輝度値対最大輝度候補値(Tmax_c)関数を決定する工程であって、前記輝度値対Tmax_c値関数は、前記ターゲットディスプレイにおける最大輝度候補レベル入力の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
前記輝度値対Tmax_c値関数の出力が前記ターゲットディスプレイの前記リファレンス中間輝度レベルに対してより近くなるときのTmax_c値に基づき、前記ターゲットディスプレイの出力最大輝度レベルを決定する工程と、
を包含する方法。
2. 前記入力メタデータは、Smin、Smid、およびSmax値を含み、ここでSminは、前記入力画像の最小輝度画素値を表し、Smidは、前記入力画像の中間または平均輝度画素値を表し、Smaxは、前記入力画像の最大輝度画素値を表す、EEE1に記載の方法。
3. 前記入力画像を前記ターゲットディスプレイへマッピングするトーンマッピング曲線において、前記トーンマッピング曲線の第1のアンカーポイントは、前記Smin値と、前記ターゲットディスプレイの前記最小輝度レベルとを含み、前記トーンマッピング曲線の第2のアンカーポイントは、前記Smax値と、前記ターゲットディスプレイの前記出力最大輝度レベルとを含む、EEE2に記載の方法。
4. 前記ターゲットディスプレイの前記リファレンス中間輝度レベルを決定する工程は、
前記入力メタデータと、前記ターゲットディスプレイの前記最小輝度レベルと、前記リファレンス最大輝度レベルとに基づき、前記ターゲットディスプレイの中間リファレンスPQ輝度値を生成する工程と、
PQ輝度から線形輝度へのマッピング関数を用いることにより、前記中間リファレンスPQ輝度を線形中間輝度レベルへ変換する工程と、
を含む、EEE1〜3のいずれかに記載の方法。
5. 前記ターゲットディスプレイの前記輝度値対Tmax_c値関数を決定する工程は、
一組の、2つ以上の最大輝度候補値を決定する工程と、
前記一組の最大輝度候補値の中の最大輝度候補値(Tmax_c(i))につき、
前記入力メタデータと、前記ターゲットディスプレイの前記最小輝度レベルと、前記最大輝度候補レベルとに基づき、前記ターゲットディスプレイの中間輝度候補値を生成する工程と、
前記ターゲットディスプレイの前記中間輝度候補値と前記APL関数とに基づき、前記Tmax_c(i)値に対する出力輝度レベルを生成する工程と、
を含む、EEE1〜4のいずれかに記載の方法。
6. 1つ以上のプロセッサを備える装置において、ターゲットディスプレイのパワー制限特性に応じてトーンマッピング曲線を適応させるパワーファクタを決定するための方法であって、
ターゲットディスプレイにて第1のダイナミックレンジから第2のダイナミックレンジへマッピングされる入力画像の、入力メタデータを受信する工程と、
前記ターゲットディスプレイのAPL関数を受信する工程であって、前記APL関数は、前記ターゲットディスプレイにおける平均画像レベル(APL)入力の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
前記ターゲットディスプレイの最小輝度レベルと、前記ターゲットディスプレイのリファレンス最大輝度レベルとを、受信する工程と、
前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルと、前記入力メタデータとに基づき、前記ターゲットディスプレイのリファレンス中間輝度レベルを決定する工程と、
前記入力メタデータと、前記ターゲットディスプレイの前記APL関数とに基づき、前記ターゲットディスプレイの輝度値対Pファクタ候補値(P_c)関数を決定する工程であって、前記輝度値対P_c値関数は、パワーファクタ候補の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
前記輝度値対P_c値関数の出力が前記ターゲットディスプレイの前記リファレンス中間輝度レベルに対してより近くなるときのパワーファクタ候補の値に基づき、前記ターゲットディスプレイの出力パワーファクタを決定する工程と、
を包含する方法。
7. 前記入力メタデータは、Smin、Smid、およびSmax値を含み、ここでSminは、前記入力画像の最小輝度画素値を表し、Smidは、前記入力画像の中間または平均輝度画素値を表し、Smaxは、前記入力画像の最大輝度画素値を表す、EEE6に記載の方法。
8. 前記ターゲットディスプレイの前記リファレンス中間輝度レベルを決定する工程は、
前記入力メタデータと、前記ターゲットディスプレイの前記最小輝度レベルと、前記リファレンス最大輝度レベルとに基づき、前記ターゲットディスプレイの中間リファレンスPQ輝度値を生成する工程と、
PQ輝度から線形輝度へのマッピング関数を用いることにより、前記中間リファレンスPQ輝度を線形中間輝度レベルへ変換する工程と、
を含む、EEE6またはEEE7に記載の方法。
9. 前記ターゲットディスプレイの前記輝度値対P_c値関数を決定する工程は、
一組の、2つ以上のパワーファクタ候補値を決定する工程と、
前記一組のパワーファクタ候補値の中のパワーファクタ候補値(P_c(i))につき、
前記入力メタデータと、前記ターゲットディスプレイの前記最小輝度レベルと、前記最大輝度レベルと、前記パワーファクタ候補値とに基づき、前記ターゲットディスプレイの中間輝度候補値を生成する工程と、
前記ターゲットディスプレイの前記中間輝度候補値と前記APL関数とに基づき、前記P_c(i)値に対する出力輝度レベルを生成する工程と、
を含む、EEE6〜8のいずれかに記載の方法。
10. さらに、
前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルと、前記入力メタデータとに基づき、前記入力画像を前記ターゲットディスプレイへマッピングする第1のトーンマッピング曲線を決定する工程と、
前記出力パワーファクタに基づき、前記第1のトーンマッピング曲線を調整する工程と、
を含む、EEE6〜9のいずれかに記載の方法。
11. 前記第1のトーンマッピング曲線を調整する工程は、前記第1のトーンマッピング曲線に対する全ての入力値につき、前記第1のトーンマッピング曲線の出力を、前記出力パワーファクタ乗にする工程を含む、EEE10に記載の方法。
12. EEE1〜11のいずれかに記載の方法を1つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。
13. プロセッサを備えており、かつ、EEE1〜11のいずれかに記載の方法を実行するように構成された装置。
Claims (10)
- 第1のアンカーポイントと第2のアンカーポイントとを有するトーンマッピング曲線を用いて、ディスプレイマッピングされた画像を生成するための方法であって、
前記トーンマッピング曲線を用いてターゲットディスプレイにて第1のダイナミックレンジから第2のダイナミックレンジへマッピングされる入力画像の、入力メタデータを受信する工程であって、前記入力メタデータは、前記入力画像の最小輝度画素値Sminと、前記入力画像の中間または平均輝度画素値Smidと、前記入力画像の最大輝度画素値Smaxとを含む、工程と、
前記ターゲットディスプレイの平均画像レベル(APL)関数を受信する工程であって、前記APL関数は、前記ターゲットディスプレイにおけるAPL入力の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
前記ターゲットディスプレイの最小輝度レベルTminと、前記ターゲットディスプレイのリファレンス最大輝度レベルTmax_refとを、受信する工程と、
Smin,Tminを前記第1のアンカーポイントとし、かつ、Smax,Tmax_refを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへSmidをマッピングすることにより、前記ターゲットディスプレイのリファレンス中間輝度レベルTmid_refを決定する工程と、
Smin,Tminを前記第1のアンカーポイントとし、かつ、Smax,Tmax_cを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへSmidをマッピングすることにより決定された前記ターゲットディスプレイの中間輝度レベルTmidに対応するAPL入力における前記APL関数の出力として、前記ターゲットディスプレイの輝度対最大輝度候補レベル(Tmax_c)関数を決定する工程と、
前記輝度対Tmax_c関数の出力が前記ターゲットディスプレイの前記リファレンス中間輝度レベルTmid_refに対してより近くなるときのTmax_c値に基づき、前記ターゲットディスプレイの出力最大輝度レベルTmaxを決定する工程と、
Smin,Tminを前記第1のアンカーポイントとし、かつ、Smax,Tmaxを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへ前記入力画像をマッピングする工程と、
を包含する方法。 - 前記ターゲットディスプレイの前記リファレンス中間輝度レベルを決定する工程は、
前記入力画像の前記中間または平均輝度画素値と、前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルとに基づき、前記ターゲットディスプレイの中間リファレンスPQ輝度値を生成する工程と、
PQ輝度から線形輝度へのマッピング関数を用いることにより、前記中間リファレンスPQ輝度を線形中間輝度レベルへ変換する工程と、
を含む、請求項1に記載の方法。 - 前記ターゲットディスプレイの前記輝度対Tmax_c関数を決定する工程は、
一組の、2つ以上の最大輝度候補値を決定する工程と、
前記一組の最大輝度候補値の中の最大輝度候補値(Tmax_c(i))につき、
前記入力画像の前記中間または平均輝度画素値と、前記ターゲットディスプレイの前記最小輝度レベルと、前記最大輝度候補値とに基づき、前記ターゲットディスプレイの中間輝度候補値を生成する工程と、
前記ターゲットディスプレイの前記中間輝度候補値と前記APL関数とに基づき、前記Tmax_c(i)値に対する輝度を生成する工程と、
を含む、請求項1または2に記載の方法。 - 第1のアンカーポイントと第2のアンカーポイントとを有するトーンマッピング曲線を用いて、ディスプレイマッピングされた画像を生成するための方法であって、
前記トーンマッピング曲線を用いてターゲットディスプレイにて第1のダイナミックレンジから第2のダイナミックレンジへマッピングされる入力画像の、入力メタデータを受信する工程であって、前記入力メタデータは、前記入力画像の最小輝度画素値Sminと、前記入力画像の中間または平均輝度画素値Smidと、前記入力画像の最大輝度画素値Smaxとを含む、工程と、
前記ターゲットディスプレイの平均画像レベル(APL)関数を受信する工程であって、前記APL関数は、前記ターゲットディスプレイにおけるAPL入力の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
前記ターゲットディスプレイの最小輝度レベルTminと、前記ターゲットディスプレイのリファレンス最大輝度レベルTmax_refとを、受信する工程と、
Smin,Tminを前記第1のアンカーポイントとし、かつ、Smax,Tmax_refを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへSmidをマッピングすることにより、前記ターゲットディスプレイのリファレンス中間輝度レベルTmid_refを決定する工程と、
Smin,Tminを前記第1のアンカーポイントとし、かつ、Smax,Tmax_refを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへSmidをマッピングすることにより決定された前記ターゲットディスプレイの中間輝度レベルTmidに対応するAPL入力における前記APL関数の出力として、前記ターゲットディスプレイの輝度対パワーファクタ候補(P_c)関数を決定する工程であって、Tmidは前記パワーファクタ候補P_cを用いて調整される、工程と
前記輝度対P_c関数の出力が前記ターゲットディスプレイの前記リファレンス中間輝度レベルTmid_refに対してより近くなるときのP_c値に基づき、前記ターゲットディスプレイの出力パワーファクタPを決定する工程と、
Smin,Tminを第1のアンカーポイントとし、かつ、Smax,Tmax_refを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへ前記入力画像をマッピングする工程であって、前記トーンマッピング曲線は前記出力パワーファクタPを用いて調整される、工程と、
を包含する方法。 - 前記ターゲットディスプレイの前記リファレンス中間輝度レベルを決定する工程は、
前記入力画像の前記中間または平均輝度画素値と、前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルとに基づき、前記ターゲットディスプレイの中間リファレンスPQ輝度値を生成する工程と、
PQ輝度から線形輝度へのマッピング関数を用いることにより、前記中間リファレンスPQ輝度を線形中間輝度レベルへ変換する工程と、
を含む、請求項4に記載の方法。 - 前記ターゲットディスプレイの前記輝度対P_c関数を決定する工程は、
一組の、2つ以上のパワーファクタ候補値を決定する工程と、
前記一組のパワーファクタ候補値の中のパワーファクタ候補値(P_c(i))につき、
前記入力画像の前記中間または平均輝度画素値と、前記ターゲットディスプレイの前記最小輝度レベルと、前記最大輝度レベルと、前記パワーファクタ候補値とに基づき、前記ターゲットディスプレイの中間輝度候補値を生成する工程と、
前記ターゲットディスプレイの前記中間輝度候補値と前記APL関数とに基づき、前記P_c(i)値に対する輝度を生成する工程と、
を含む、請求項4または5に記載の方法。 - さらに、
前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルと、前記入力メタデータとに基づき、前記入力画像を前記ターゲットディスプレイへマッピングする第1のトーンマッピング曲線を決定する工程と、
前記出力パワーファクタに基づき、前記第1のトーンマッピング曲線を調整する工程と、
を含む、請求項4から6のいずれかに記載の方法 - 前記第1のトーンマッピング曲線を調整する工程は、前記第1のトーンマッピング曲線の出力を、前記出力パワーファクタ乗にする工程を含む、請求項7に記載の方法。
- 請求項1から8のいずれかに記載の方法を1つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。
- プロセッサを備えており、かつ、請求項1から8のいずれかに記載の方法を実行するように構成された装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862732123P | 2018-09-17 | 2018-09-17 | |
EP18194858.9 | 2018-09-17 | ||
US62/732,123 | 2018-09-17 | ||
EP18194858 | 2018-09-17 | ||
PCT/US2019/051419 WO2020060980A1 (en) | 2018-09-17 | 2019-09-17 | Display mapping for high dynamic range images on power-limiting displays |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6978634B1 true JP6978634B1 (ja) | 2021-12-08 |
JP2022500969A JP2022500969A (ja) | 2022-01-04 |
Family
ID=68063081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021527100A Active JP6978634B1 (ja) | 2018-09-17 | 2019-09-17 | パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング |
Country Status (6)
Country | Link |
---|---|
US (1) | US11361699B2 (ja) |
EP (1) | EP3853809A1 (ja) |
JP (1) | JP6978634B1 (ja) |
KR (1) | KR102287095B1 (ja) |
CN (1) | CN112703529B (ja) |
WO (1) | WO2020060980A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4028987A4 (en) * | 2020-05-08 | 2022-10-12 | Huawei Technologies Co., Ltd. | ENCODER, DECODER, SYSTEM AND METHOD FOR DETERMINING TONE MAPPING CURVE PARAMETERS |
JP7218339B2 (ja) * | 2020-10-29 | 2023-02-06 | レノボ・シンガポール・プライベート・リミテッド | 画素駆動制御装置及び画素駆動制御方法 |
US11348470B1 (en) | 2021-01-07 | 2022-05-31 | Rockwell Collins, Inc. | Apparent video brightness control and metric |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293265A (ja) | 2004-03-31 | 2005-10-20 | Canon Inc | 画像処理装置及び方法 |
US7782405B2 (en) * | 2004-12-02 | 2010-08-24 | Sharp Laboratories Of America, Inc. | Systems and methods for selecting a display source light illumination level |
US8179363B2 (en) | 2007-12-26 | 2012-05-15 | Sharp Laboratories Of America, Inc. | Methods and systems for display source light management with histogram manipulation |
US8223113B2 (en) | 2007-12-26 | 2012-07-17 | Sharp Laboratories Of America, Inc. | Methods and systems for display source light management with variable delay |
US8531379B2 (en) | 2008-04-28 | 2013-09-10 | Sharp Laboratories Of America, Inc. | Methods and systems for image compensation for ambient conditions |
US8416179B2 (en) | 2008-07-10 | 2013-04-09 | Sharp Laboratories Of America, Inc. | Methods and systems for color preservation with a color-modulated backlight |
US9330630B2 (en) | 2008-08-30 | 2016-05-03 | Sharp Laboratories Of America, Inc. | Methods and systems for display source light management with rate change control |
TWI538473B (zh) * | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
US9514508B2 (en) | 2011-12-08 | 2016-12-06 | Dolby Laboratories Licensing Corporation | Mapping for display emulation based on image characteristics |
CN105009580B (zh) * | 2013-02-21 | 2017-09-29 | 杜比实验室特许公司 | 高动态范围视频的显示管理 |
KR102317035B1 (ko) | 2014-12-19 | 2021-10-25 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
MX359721B (es) | 2015-01-19 | 2018-10-08 | Dolby Laboratories Licensing Corp | Gestión de pantalla para video de alta gama dinámica. |
CN105989169B (zh) * | 2015-03-05 | 2020-01-31 | 联想(北京)有限公司 | 图像显示方法和图像显示装置 |
WO2016182307A1 (ko) * | 2015-05-11 | 2016-11-17 | 삼성전자 주식회사 | 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 |
US10140694B2 (en) | 2015-08-31 | 2018-11-27 | Lg Electronics Inc. | Image display apparatus |
KR20230173225A (ko) * | 2016-10-05 | 2023-12-26 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 소스 색 볼륨 정보 메시징 |
US10244244B2 (en) | 2016-10-26 | 2019-03-26 | Dolby Laboratories Licensing Corporation | Screen-adaptive decoding of high dynamic range video |
CN110192223B (zh) * | 2017-01-10 | 2020-12-01 | 杜比实验室特许公司 | 高动态范围图像的显示映射 |
CN110337667B (zh) * | 2017-02-15 | 2023-09-08 | 杜比实验室特许公司 | 高动态范围图像的色调曲线映射 |
WO2018152063A1 (en) * | 2017-02-15 | 2018-08-23 | Dolby Laboratories Licensing Corporation | Tone curve mapping for high dynamic range images |
-
2019
- 2019-09-17 CN CN201980060374.3A patent/CN112703529B/zh active Active
- 2019-09-17 US US17/276,752 patent/US11361699B2/en active Active
- 2019-09-17 WO PCT/US2019/051419 patent/WO2020060980A1/en unknown
- 2019-09-17 JP JP2021527100A patent/JP6978634B1/ja active Active
- 2019-09-17 EP EP19774039.2A patent/EP3853809A1/en active Pending
- 2019-09-17 KR KR1020217011447A patent/KR102287095B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
CN112703529A (zh) | 2021-04-23 |
US11361699B2 (en) | 2022-06-14 |
EP3853809A1 (en) | 2021-07-28 |
JP2022500969A (ja) | 2022-01-04 |
US20220044615A1 (en) | 2022-02-10 |
WO2020060980A1 (en) | 2020-03-26 |
CN112703529B (zh) | 2022-05-31 |
KR102287095B1 (ko) | 2021-08-06 |
KR20210046832A (ko) | 2021-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6738972B2 (ja) | ハイダイナミックレンジ画像のためのトーン曲線マッピング | |
CN107925770B (zh) | 用于高动态范围信号的信号整形 | |
US10140953B2 (en) | Ambient-light-corrected display management for high dynamic range images | |
TWI671710B (zh) | 用於高動態範圍影像之色調曲線映射 | |
JP6085011B2 (ja) | 画像データ変換のための方法及び装置 | |
CN110192223B (zh) | 高动态范围图像的显示映射 | |
US20190320191A1 (en) | Chroma Reshaping for High Dynamic Range Images | |
JP6845946B2 (ja) | ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法 | |
JP6978634B1 (ja) | パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング | |
US10332481B2 (en) | Adaptive display management using 3D look-up table interpolation | |
US11792532B2 (en) | Picture metadata for high dynamic range video | |
CA3233103A1 (en) | Multi-step display mapping and metadata reconstruction for hdr video | |
CN118020090A (zh) | 用于hdr视频的多步骤显示映射和元数据重建 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210517 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6978634 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |