JP6819702B2 - テレビジョン装置、携帯電話機、再生装置、カメラ及び方法 - Google Patents
テレビジョン装置、携帯電話機、再生装置、カメラ及び方法 Download PDFInfo
- Publication number
- JP6819702B2 JP6819702B2 JP2019004264A JP2019004264A JP6819702B2 JP 6819702 B2 JP6819702 B2 JP 6819702B2 JP 2019004264 A JP2019004264 A JP 2019004264A JP 2019004264 A JP2019004264 A JP 2019004264A JP 6819702 B2 JP6819702 B2 JP 6819702B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- horizontal
- vertical
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 243
- 238000001914 filtration Methods 0.000 claims description 303
- 238000012545 processing Methods 0.000 claims description 261
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 238000004891 communication Methods 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 239000004065 semiconductor Substances 0.000 claims description 3
- 210000003127 knee Anatomy 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 description 176
- 230000015654 memory Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 34
- 238000013139 quantization Methods 0.000 description 25
- 230000005540 biological transmission Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 230000002441 reversible effect Effects 0.000 description 14
- 239000000872 buffer Substances 0.000 description 13
- 239000012536 storage buffer Substances 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 101000974007 Homo sapiens Nucleosome assembly protein 1-like 3 Proteins 0.000 description 5
- 102100022398 Nucleosome assembly protein 1-like 3 Human genes 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002040 relaxant effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- HMUNWXXNJPVALC-UHFFFAOYSA-N 1-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C(CN1CC2=C(CC1)NN=N2)=O HMUNWXXNJPVALC-UHFFFAOYSA-N 0.000 description 1
- WZFUQSJFWNHZHM-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)CC(=O)N1CC2=C(CC1)NN=N2 WZFUQSJFWNHZHM-UHFFFAOYSA-N 0.000 description 1
- CONKBQPVFMXDOV-QHCPKHFHSA-N 6-[(5S)-5-[[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]methyl]-2-oxo-1,3-oxazolidin-3-yl]-3H-1,3-benzoxazol-2-one Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C[C@H]1CN(C(O1)=O)C1=CC2=C(NC(O2)=O)C=C1 CONKBQPVFMXDOV-QHCPKHFHSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
1.装置の概要
1−1.画像符号化装置
1−2.画像復号装置
2.既存の手法の説明
2−1.デブロックフィルタの基本的な構成
2−2.既存の手法における処理間の依存関係
3.第1の実施例
3−1.デブロックフィルタの構成例
3−2.判定条件の変形例
3−3.処理の流れ
4.第2の実施例
4−1.デブロックフィルタの構成例
4−2.処理の流れ
4−3.LCUごとの処理の例
5.第3の実施例
5−1.概略
5−2.デブロックフィルタの構成例
5−3.処理の順序の例
5−4.処理の流れ
6.様々なコーデックへの適用
6−1.マルチビューコーデック
6−2.スケーラブルコーデック
7.応用例
8.まとめ
まず、図1及び図2を用いて、本明細書で開示する技術を適用可能な一例としての装置の概要を説明する。本明細書で開示する技術は、例えば、画像符号化装置及び画像復号装置に適用可能である。
図1は、一実施形態に係る画像符号化装置10の構成の一例を示すブロック図である。図1を参照すると、画像符号化装置10は、A/D(Analogue to Digital)変換部11、並べ替えバッファ12、減算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、レート制御部18、逆量子化部21、逆直交変換部22、加算部23、デブロックフィルタ24a、フレームメモリ25、セレクタ26、イントラ予測部30、動き探索部40、及びモード選択部50を備える。
図2は、一実施形態に係る画像復号装置60の構成の一例を示すブロック図である。図2を参照すると、画像復号装置60は、蓄積バッファ61、可逆復号部62、逆量子化部63、逆直交変換部64、加算部65、デブロックフィルタ24b、並べ替えバッファ67、D/A(Digital to Analogue)変換部68、フレームメモリ69、セレクタ70及び71、イントラ予測部80、並びに動き補償部90を備える。
[2−1.デブロックフィルタの基本的な構成]
一般的に、H.264/AVC又はHEVCなどの既存の画像符号化方式におけるデブロックフィルタによる処理は、フィルタリング要否判定処理及びフィルタリング処理という2種類の処理を含む。以下、HEVCを例にとって、これら2つの処理について説明する。
フィルタリング要否判定処理は、入力画像内のブロックの境界ごとにデブロックフィルタを適用すべきか否かを判定する処理である。ブロックの境界は、左右に隣接するブロック間の垂直境界と、上下に隣接するブロック間の水平境界とを含む。JCTVC−A119では、8×8画素のブロックサイズが最小の処理単位である。例えば、16×16画素のマクロブロック内には4つの8×8画素のブロックが存在し、ブロックごとに1つの(左の)垂直境界及び1つの(上の)水平境界、即ち合計で4+4=8個の境界が判定の対象となる。なお、本明細書において、マクロブロックとの用語は、HEVCの文脈における符号化単位(CU:Coding Unit)をも含むものとする。
−条件A:
(A1)ブロックBa若しくはBbがイントラ予測モードである;
(A2)ブロックBa若しくはBbが非ゼロの直交変換係数を有する;又は
(A3)|MVAx−MVBx|≧4若しくは|MVAy−MVBy|≧4
−条件B:
|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|<β
−条件A1:ブロックBa又はBbがイントラ予測モードである
ある境界についてデブロックフィルタを適用すべきと判定されると、垂直境界については当該境界の左右の画素、水平境界については当該境界の上下の画素に、フィルタリング処理が行われる。輝度成分については、画素値に応じてフィルタ強度が強(strong)フィルタと弱(weak)フィルタとの間で切り替えられ得る。
−強度選択・・・1行ごと(又は1列ごと)にフィルタ強度を選択。以下の条件C1〜C3が全て満たされる場合には強フィルタ、いずれか1つでも満たされない場合には弱フィルタが選択される:
(C1)d<(β>>2)
(C2)(|p3j−p0j|+|q0j−q3j|)<(β>>3)
(C3)|p0j−q0j|<((5tC+1)>>1)
ここで、jは、垂直境界については行、水平境界については列のインデックスである。また、d=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|である。
Δ=Clip(−tC,tC,(13(q0j−p0j)+4(q1j−p1j)−5(q2j−p2j)+16)>>5))
p0j=Clip0−255(p0j+Δ)
q0j=Clip0−255(q0j−Δ)
p1j=Clip0−255(p1j+Δ/2)
q1j=Clip0−255(q1j−Δ/2)
p0j=Clip0−255((p2j+2p1j+2p0j+2q0j+q1j+4)>>3)
q0j=Clip0−255((p1j+2p0j+2q0j+2q1j+q2j+4)>>3)
p1j=Clip0−255((p2j+p1j+p0j+q0j+2)>>2)
q1j=Clip0−255((p0j+q0j+q1j+q2j+2)>>2)
p2j=Clip0−255((2p3j+3p2j+p1j+p0j+q0j+4)>>3)
q2j=Clip0−255((p0j+q0j+q1j+3q2j+2q3j+4)>>3)
Δ=Clip(−tC,tC,((((q0j−p0j)<<2)+p1j−q1j+4)>>3))
p0j=Clip0−255(p0j+Δ)
q0j=Clip0−255(q0j−Δ)
ここで、説明のために、図6に示したように、16×16画素のサイズを有するマクロブロックMBx(MB0、MB1…)の左上の垂直境界をVx,0、中央上の垂直境界をVx,1、左下の垂直境界をVx,2、中央下の垂直境界をVx,3、左上の水平境界をHx,0、右上の水平境界をHx,1、左中央の水平境界をHx,2、右中央の水平境界をHx,3、と表すものとする。また、例えば境界Zについてのフィルタリング要否判定処理をJZ、フィルタリング処理をFZなどと表すものとする。
[3−1.デブロックフィルタの構成例]
本節では、図1に示した画像符号化装置10のデブロックフィルタ24a及び図2に示した画像復号装置60のデブロックフィルタ24bの第1の実施例に係る構成の一例を説明する。なお、デブロックフィルタ24a及びデブロックフィルタ24bの構成は、共通であってよい。従って、これ以降の説明では、特に両者を区別する必要が無い場合には、デブロックフィルタ24a及びデブロックフィルタ24bをデブロックフィルタ24と総称する。
本実施例においても、デブロックフィルタ24による処理は、上述したフィルタリング要否判定処理及びフィルタリング処理という2種類の処理を含む。但し、デブロックフィルタ24は、垂直境界及び水平境界の一方についてのフィルタリング要否判定処理において、複数のマクロブロックにわたって、デブロックフィルタへの入力画像の画素値を判定のために使用する。それにより、例えば垂直境界が水平境界よりも先に処理さる場合には、デブロックフィルタ24は、あるブロックの垂直境界についてのフィルタリング要否判定処理を、隣りのブロックの水平境界についてのフィルタリング処理を待つことなく実行することができる。また、水平境界が垂直境界よりも先に処理さる場合には、デブロックフィルタ24は、あるブロックの水平境界についてのフィルタリング要否判定処理を、隣りのブロックの垂直境界についてのフィルタリング処理を待つことなく実行することができる。従って、マクロブロック間での処理の依存関係が緩和される。
図12は、上述した並列処理を実現する第1の実施例に係るデブロックフィルタ24の詳細な構成の一例を示すブロック図である。図12を参照すると、デブロックフィルタ24は、垂直判定ブロック110、水平判定ブロック114、水平フィルタリングブロック130、垂直フィルタリングブロック140及び並列化制御部150を有する。
垂直判定ブロック110は、複数の垂直境界判定部112−1〜112−nを含む。各垂直境界判定部112には、デブロックフィルタ24への入力画像、及びフィルタリングの要否の判定のために使用される判定情報が供給される。
水平フィルタリングブロック130は、複数の水平フィルタリング部132−1〜132−nを含む。各水平フィルタリング部132には、入力画像及び垂直判定ブロック110からの各垂直境界についての判定結果が供給される。
水平判定ブロック114は、複数の水平境界判定部116−1〜116−nを含む。各水平境界判定部116には、水平フィルタリングブロック130によるフィルタリング後の画素値、及びフィルタリングの要否の判定のために使用される判定情報が供給される。
垂直フィルタリングブロック140は、複数の垂直フィルタリング部142−1〜142−nを含む。各垂直フィルタリング部142には、水平フィルタリングブロック130によるフィルタリング後の画素値及び水平判定ブロック114からの各水平境界についての判定結果が供給される。
図13は、各垂直境界判定部112及び各水平境界判定部116のさらに詳細な構成の一例を示すブロック図である。図13を参照すると、各判定部は、タップ構築部121、演算部122、閾値比較部123、歪み評価部124及びフィルタリング判定部125を含む。
図12に示した並列化制御部150は、垂直判定ブロック110及び水平判定ブロック114におけるフィルタリング要否判定処理の並列度、並びに水平フィルタリングブロック130及び垂直フィルタリングブロック140におけるフィルタリング処理の並列度を制御する。
前項では、各垂直境界判定部112は、図4に示した既存の手法のように、ブロックの3番目及び6番目の行の画素を参照して、各ブロックの垂直境界についてのフィルタリングの要否を判定する、と説明した。同様に、各水平境界判定部116は、ブロックの3番目及び6番目の列の画素を参照して、各ブロックの水平境界についてのフィルタリングの要否を判定する、と説明した。このような場合には、既存の装置に実装されているフィルタリング要否判定処理の判定条件を変えることなく、本実施例に係る構成を容易に実現することができる。
図17は、判定の手法の第1及び第2の例をそれぞれ説明するための説明図である。第1及び第2の例では、垂直境界についてのフィルタリング要否判定処理(特に、輝度成分の判定条件Bの判定)において、各ブロックの1番目から8番目までの全ての行L1〜L8の画素が参照される。水平境界についてのフィルタリング要否判定処理においても、各ブロックの1番目から8番目までの全ての列の画素が参照される。
・輝度成分(Luma)の判定条件・・・条件A及び条件Bがいずれも真なら適用
−条件A:
(A1)ブロックBa若しくはBbがイントラ予測モードである;
(A2)ブロックBa若しくはBbが非ゼロの直交変換係数を有する;又は
(A3)|MVAx−MVBx|≧4若しくは|MVAy−MVBy|≧4
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p27−2p17+p07|+|q27−2q17+q07|
iD1=|p21−2p11+p01|+|q21−2q11+q01|+|p26−2p16+p06|+|q26−2q16+q06|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|
iD3=|p23−2p13+p03|+|q23−2q13+q03|+|p24−2p14+p04|+|q24−2q14+q04|
iDave=(iD0+iD1+iD2+iD3)>>2
とした場合に、iDave<β
第2の例において、輝度成分の判定条件Bは、次のように定義され得る:
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p27−2p17+p07|+|q27−2q17+q07|
iD1=|p21−2p11+p01|+|q21−2q11+q01|+|p26−2p16+p06|+|q26−2q16+q06|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|
iD3=|p23−2p13+p03|+|q23−2q13+q03|+|p24−2p14+p04|+|q24−2q14+q04|
とした場合に、
iD0<β かつ iD1<β かつ iD2<β かつ iD3<β
図18は、判定の手法の第3及び第4の例をそれぞれ説明するための説明図である。第3及び第4の例では、垂直境界についてのフィルタリング要否判定処理(特に、輝度成分の判定条件Bの判定)において、各ブロックの4つの行L1、L3、L6及びL8の画素が参照される。水平境界についてのフィルタリング要否判定処理においても、各ブロックの4つの列の画素が参照される。
・輝度成分(Luma)の判定条件・・・条件A及び条件Bがいずれも真なら適用
−条件A:
(A1)ブロックBa若しくはBbがイントラ予測モードである;
(A2)ブロックBa若しくはBbが非ゼロの直交変換係数を有する;又は
(A3)|MVAx−MVBx|≧4若しくは|MVAy−MVBy|≧4
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p27−2p17+p07|+|q27−2q17+q07|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|
iDave=(iD0+iD2)>>1
とした場合に、iDave<β
第4の例において、輝度成分の判定条件Bは、次のように定義され得る:
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p27−2p17+p07|+|q27−2q17+q07|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|
とした場合に、
iD0<β かつ iD2<β
図19は、判定の手法の第5及び第6の例をそれぞれ説明するための説明図である。第5及び第6の例では、垂直境界についてのフィルタリング要否判定処理において、各ブロックの4つの行L1、L3、L5及びL7の画素が参照される。水平境界についてのフィルタリング要否判定処理においても、各ブロックの4つの列の画素が参照される。
・輝度成分(Luma)の判定条件・・・条件A及び条件Bがいずれも真なら適用
−条件A:
(A1)ブロックBa若しくはBbがイントラ予測モードである;
(A2)ブロックBa若しくはBbが非ゼロの直交変換係数を有する;又は
(A3)|MVAx−MVBx|≧4若しくは|MVAy−MVBy|≧4
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p26−2p16+p06|+|q26−2q16+q06|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p24−2p14+p04|+|q24−2q14+q04|
iDave=(iD0+iD2)>>1
とした場合に、iDave<β
第6の例において、輝度成分の判定条件Bは、次のように定義され得る:
−条件B:
iD0=|p20−2p10+p00|+|q20−2q10+q00|+|p26−2p16+p06|+|q26−2q16+q06|
iD2=|p22−2p12+p02|+|q22−2q12+q02|+|p24−2p14+p04|+|q24−2q14+q04|
とした場合に、
iD0<β かつ iD2<β
次に、図20及び図21を用いて、デブロックフィルタ24による処理の流れを説明する。
[4−1.デブロックフィルタの構成例]
本節では、デブロックフィルタ24の第2の実施例に係る構成の一例を説明する。
本実施例では、デブロックフィルタ24は、各ブロックの垂直境界についてのフィルタリング要否判定処理を、当該ブロックが属するマクロブロック内の他のブロックへのデブロックフィルタの適用を待つことなく実行する。また、デブロックフィルタ24は、各ブロックの水平境界についてのフィルタリング要否判定処理を、当該ブロックが属するマクロブロック内の他のブロックへのデブロックフィルタの適用を待つことなく実行する。これにより、マクロブロック内での処理の依存関係が緩和される。
図23は、上述した並列処理を実現する第2の実施例に係るデブロックフィルタ24の詳細な構成の一例を示すブロック図である。図23を参照すると、デブロックフィルタ24は、垂直判定ブロック210、水平判定ブロック214、水平フィルタリングブロック130、垂直フィルタリングブロック140及び並列化制御部150を有する。
垂直判定ブロック210は、複数の垂直境界判定部212−1〜212−nを含む。各垂直境界判定部212は、各ブロックの垂直境界についてデブロックフィルタを適用すべきか否かを、当該ブロックが属するマクロブロック内の他のブロックへのデブロックフィルタの適用を待つことなく実行する。そして、各垂直境界判定部212は、各垂直境界についての判定結果を示す情報(例えば、“1”がデブロックフィルタを適用すべきとの判定結果を示す二値情報)を、水平フィルタリングブロック130へ出力する。
水平判定ブロック214は、複数の水平境界判定部216−1〜216−nを含む。各水平境界判定部216は、各ブロックの水平境界についてデブロックフィルタを適用すべきか否かを、当該ブロックが属するマクロブロック内の他のブロックへのデブロックフィルタの適用を待つことなく実行する。そして、各水平境界判定部216は、各水平境界についての判定結果を示す情報を、垂直フィルタリングブロック140へ出力する。
図24は、第2の実施例におけるデブロックフィルタ24による処理の流れの一例を示すフローチャートである。図24を参照すると、まず、垂直境界判定部212−1〜212−nは、入力画像内の1つの注目マクロブロックに含まれる全ての垂直境界について、フィルタリングの要否を並列的に判定する(ステップS202)。また、水平境界判定部214−1〜214−nは、当該注目マクロブロックに含まれる全ての水平境界について、フィルタリングの要否を並列的に判定する(ステップS204)。これらステップS202及びステップS204もまた並列的に行われる。
上述したように、本明細書で説明される様々な実施例に係る技術は、HEVCの符号化単位(CU)に基づく処理として実現されてもよい。HEVCにおいて、サイズの最も大きい符号化単位はLCU(Largest Coding Unit)と呼ばれ、例えば64×64画素のLCUが選択可能である。選択可能な最小のCUのサイズは、8×8画素である。画像の符号化及び復号に際しては、通常、ピクチャ(又はスライス)の左上のLCUを起点とし、ラスタスキャンの順序に従って、LCUごとに処理が行われる。そこで、本項では、デブロックフィルタ24におけるこのようなLCUごとの処理の例について説明する。
[5−1.概略]
第1及び第2の実施例では、デブロックフィルタの既存の処理の順序が変更され、処理の並列度が高められる。特に、第1の実施例では、フィルタリングの要否の判定に際してデブロックフィルタへの入力画像の画素値をより広く活用することで、処理の依存関係が緩和される。本節で説明する第3の実施例では、このような考え方がさらに拡張される。即ち、第3の実施例では、垂直境界及び水平境界の双方についてのフィルタリング処理においてデブロックフィルタへの入力画素値をフィルタリングすることで、処理のさらなる並列化を図る。
図28は、第3の実施例に係るデブロックフィルタ24の詳細な構成の一例を示すブロック図である。図28を参照すると、デブロックフィルタ24は、ラインメモリ308、判定ブロック310、水平フィルタリングブロック330、垂直フィルタリングブロック340、並列化制御部150及び計算部360を有する。
以下、本実施例においてデブロックフィルタ24により実現可能な処理の順序の2つの例を説明する。ここでも、一例として、32×32画素のサイズを有する画像がデブロックフィルタに入力されるものとする。当該入力画像は、それぞれ16×16画素のサイズを有する4つのマクロブロックMB0〜MB3を含む。
まず、比較のために、垂直境界についてのフィルタリング処理と水平境界についてのフィルタリング処理との間の依存関係が残っている場合の処理の順序を図32に示す。図32において、第1ステップでは、4つのマクロブロックMB0〜MB3の全ての垂直境界及び全ての水平境界についてのフィルタリング要否判定処理JV0,0〜JV3,3及びJH0,0〜JH3,3が並列的に実行される。次に、第2ステップでは、4つのマクロブロックMB0〜MB3の16個の垂直境界についてのフィルタリング処理FV0,0〜FV3,3が実行される。次に、第3ステップでは、4つのマクロブロックMB0〜MB3の16個の水平境界についてのフィルタリング処理FH0,0〜FH3,3が実行される。その後、第4ステップでは、水平境界についてのフィルタリング処理後の各画素値が、デブロックフィルタ24からの出力用のメモリへ格納される。
上述した第1の例は並列度を最大限に高める例である一方、本実施例においても、デブロックフィルタ24は、マクロブロックごとの処理を実現することもできる。
図36は、第3の実施例に係るデブロックフィルタによる処理の流れの一例を示すフローチャートである。また、図37は、図36に示した画素値計算処理の流れの一例を示すフローチャートである。
本開示に係る技術は、画像の符号化及び復号に関連する様々なコーデックに適用可能である。本節では、本開示に係る技術がマルチビューコーデック及びスケーラブルコーデックにそれぞれ適用される例について説明する。
マルチビューコーデックは、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図38は、マルチビューコーデックについて説明するための説明図である。図38を参照すると、3つの視点においてそれぞれ撮影される3つのビューのフレームのシーケンスが示されている。各ビューには、ビューID(view_id)が付与される。これら複数のビューのうちいずれか1つのビューが、ベースビュー(base view)に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図38の例では、ビューIDが“0”であるビューがベースビューであり、ビューIDが“1”又は“2”である2つのビューがノンベースビューである。これらマルチビューの画像データを符号化する際、ベースビューのフレームについての符号化情報に基づいてノンベースビューのフレームを符号化することにより、全体としての符号化ストリームのデータサイズが圧縮され得る。
スケーラブルコーデックは、いわゆる階層符号化を実現するための画像符号化方式である。図41は、スケーラブルコーデックについて説明するための説明図である。図41を参照すると、空間解像度、時間解像度又は画質の異なる3つのレイヤのフレームのシーケンスが示されている。各レイヤには、レイヤID(layer_id)が付与される。これら複数のレイヤのうち、最も解像度(又は画質)の低いレイヤが、ベースレイヤ(base layer)である。ベースレイヤ以外のレイヤは、エンハンスメントレイヤと呼ばれる。図41の例では、レイヤIDが“0”であるレイヤがベースレイヤであり、レイヤIDが“1”又は“2”である2つのレイヤがエンハンスメントレイヤである。これらマルチレイヤの画像データを符号化する際、ベースレイヤのフレームについての符号化情報に基づいてエンハンスメントレイヤのフレームを符号化することにより、全体としての符号化ストリームのデータサイズが圧縮され得る。
上述した実施形態に係る画像符号化装置10及び画像復号装置60は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。
図44は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。
図45は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
図46は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。
図47は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
ここまで、図1〜図47を用いて、一実施形態に係る画像符号化装置10及び画像復号装置60のデブロックフィルタの3つの実施例について詳しく説明した。これら3つの実施例によれば、既存の手法において存在していたデブロックフィルタの処理の依存関係が緩和される。それにより、デブロックフィルタの適用に際しての処理の並列度を高めることが可能となる。その結果、デブロックフィルタの多大な処理量を原因とする遅延又はデータレートの低下を回避し、処理を高速化することができる。また、画像のサイズ又は実装環境の制約などの様々な条件に応じてデブロックフィルタの処理の並列度及び順序を柔軟に設定することも可能となる。
112,212 第1判定部(垂直境界判定部)
116,216 第2判定部(水平境界判定部)
132 水平フィルタリング部
142 垂直フィルタリング部
150 並列化制御部
Claims (27)
- 放送信号を復調するチューナと、
前記チューナにより復調された前記放送信号を映像のビットストリームと音声のビットストリームとに逆多重化する逆多重化部と、
前記逆多重化部により逆多重化された前記映像のビットストリームを復号処理して、復号画像を生成する復号部と、
前記復号部により生成された復号画像を対象として、符号化単位に含まれるブロックの間の垂直境界に対する水平方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記垂直境界に並列的に、複数の前記水平方向のデブロックフィルタの間で垂直方向のデブロックフィルタに伴う処理の依存関係の無い状態で適用する水平フィルタリング部と、
前記水平フィルタリング部によりデブロックフィルタが適用された画素を含む画像を対象として、前記符号化単位に含まれるブロックの間の水平境界に対する垂直方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記水平境界に並列的に適用する垂直フィルタリング部と、
前記水平方向のデブロックフィルタと垂直方向のブロックフィルタが適用された画像を映像として表示デバイスに表示させる映像信号処理部と、
を備える、テレビジョン装置。 - 前記映像を、前記表示デバイスを用いて表示する表示部を
さらに備える、請求項1に記載のテレビジョン装置。 - 前記映像信号処理部は、前記水平方向のデブロックフィルタと垂直方向のブロックフィルタが適用された前記画像にノイズ除去を行って、前記映像として前記表示デバイスに表示させる、
請求項2に記載のテレビジョン装置。 - 前記映像信号処理部は、GUI(Graphical User Interface)画像を生成して前記映像に重畳させる、
請求項2に記載のテレビジョン装置。 - 前記映像のビットストリームをネットワーク経由で受信する外部インタフェース部をさらに備え、
前記復号部は、前記外部インタフェース部により受信された前記映像のビットストリームを復号する、
請求項4に記載のテレビジョン装置。 - コンピュータが、
放送信号を復調することと、
復調された前記放送信号を映像のビットストリームと音声のビットストリームとに逆多重化することと、
逆多重化された前記映像のビットストリームを復号処理して、復号画像を生成することと、
生成された復号画像を対象として、符号化単位に含まれるブロックの間の垂直境界に対する水平方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記垂直境界に並列的に、複数の前記水平方向のデブロックフィルタの間で垂直方向のデブロックフィルタに伴う処理の依存関係の無い状態で適用することと、
デブロックフィルタが適用された画素を含む画像を対象として、前記符号化単位に含まれるブロックの間の水平境界に対する垂直方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記水平境界に並列的に適用することと、
前記水平方向のデブロックフィルタと垂直方向のブロックフィルタが適用された画像を映像として表示デバイスに表示させることと、
を含む、方法。 - 無線信号を、アンテナを介して受信する通信部と、
前記通信部により受信された前記無線信号を映像のビットストリームと音声のビットストリームとに逆多重化する逆多重化部と、
前記逆多重化部により逆多重化された前記映像のビットストリームを復号処理して、復号画像を生成する復号部と、
前記復号部により生成された復号画像を対象として、符号化単位に含まれるブロックの間の垂直境界に対する水平方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記垂直境界に並列的に、複数の前記水平方向のデブロックフィルタの間で垂直方向のデブロックフィルタに伴う処理の依存関係の無い状態で適用する水平フィルタリング部と、
前記水平フィルタリング部によりデブロックフィルタが適用された画素を含む画像を対象として、前記符号化単位に含まれるブロックの間の水平境界に対する垂直方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記水平境界に並列的に適用する垂直フィルタリング部と、
前記水平方向のデブロックフィルタと垂直方向のブロックフィルタが適用された画像を映像として表示デバイスに表示させる映像信号処理部と、
を備える、携帯電話機。 - 前記映像を、前記表示デバイスを用いて表示する表示部を
さらに備える、請求項7に記載の携帯電話機。 - 前記通信部は、前記無線信号を周波数変換する、
請求項8に記載の携帯電話機。 - 被写体を撮像して画像データを生成する撮像部と、
前記撮像部により生成された前記画像データを符号化処理する符号化部と、
をさらに備える、請求項9に記載の携帯電話機。 - 前記符号化部により生成されたビットストリームを読み書き可能な記憶媒体に書き込む記録部と、
前記記憶媒体に記録された前記ビットストリームを読み出す再生部と、
をさらに備え、
前記復号部は、前記再生部により読み出された前記ビットストリームを復号処理する、
請求項10に記載の携帯電話機。 - 前記記憶媒体を更に備える、
請求項11に記載の携帯電話機。 - コンピュータが、
無線信号を、アンテナを介して受信することと、
受信された前記無線信号を映像のビットストリームと音声のビットストリームとに逆多
重化することと、
逆多重化された前記映像のビットストリームを復号処理して、復号画像を生成することと、
生成された復号画像を対象として、符号化単位に含まれるブロックの間の垂直境界に対する水平方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記垂直境界に並列的に、複数の前記水平方向のデブロックフィルタの間で垂直方向のデブロックフィルタに伴う処理の依存関係の無い状態で適用することと、
デブロックフィルタが適用された画素を含む画像を対象として、前記符号化単位に含まれるブロックの間の水平境界に対する垂直方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記水平境界に並列的に適用することと、
前記水平方向のデブロックフィルタと垂直方向のブロックフィルタが適用された画像を映像として表示デバイスに表示させることと、
を含む、方法。 - 記憶媒体からビットストリームを読み出す読み出し部と、
前記読み出し部から読み出された前記ビットストリームを復号処理して、復号画像を生成する復号部と、
前記復号部により生成された復号画像を対象として、符号化単位に含まれるブロックの間の垂直境界に対する水平方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記垂直境界に並列的に、複数の前記水平方向のデブロックフィルタの間で垂直方向のデブロックフィルタに伴う処理の依存関係の無い状態で適用する水平フィルタリング部と、
前記水平フィルタリング部によりデブロックフィルタが適用された画素を含む画像を対象として、前記符号化単位に含まれるブロックの間の水平境界に対する垂直方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記水平境界に並列的に適用する垂直フィルタリング部と、
前記水平方向のデブロックフィルタと垂直方向のブロックフィルタが適用された画像を映像として表示デバイスに表示させる表示制御部と、
を備える再生装置。 - ネットワークと接続するネットワークインタフェース部と、
前記ネットワークインタフェース部を介して受信した前記ビットストリームを前記記憶媒体に書き込む書き込み部と、
をさらに備える、
請求項14に記載の再生装置。 - 前記記憶媒体を更に備える、
請求項15に記載の再生装置。 - 前記記憶媒体は、ハードディクスである、
請求項16に記載の再生装置。 - 前記記憶媒体は、半導体メモリである、
請求項16に記載の再生装置。 - 前記記憶媒体は、光ディスクである、
請求項16に記載の再生装置。 - コンピュータが、
記憶媒体からビットストリームを読み出すことと、
前記記憶媒体から読み出された前記ビットストリームを復号処理して、復号画像を生成することと、
生成された復号画像を対象として、符号化単位に含まれるブロックの間の垂直境界に対する水平方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記垂直境界に並列的に、複数の前記水平方向のデブロックフィルタの間で垂直方向のデブロックフィルタに伴う処理の依存関係の無い状態で適用することと、
デブロックフィルタが適用された画素を含む画像を対象として、前記符号化単位に含まれるブロックの間の水平境界に対する垂直方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記水平境界に並列的に適用することと、
前記水平方向のデブロックフィルタと垂直方向のブロックフィルタが適用された画像映像として表示デバイスに表示させることと、
を含む、方法。 - 結像面に結像した光学像を光電変換によって電気信号として画像信号に変換するイメージセンサと、
前記イメージセンサにより変換された前記画像信号に対してカメラ信号処理を行って画像データを生成するカメラ信号処理部と、
前記カメラ信号処理部により生成された画像を符号化する際にローカル復号されたローカル復号画像を対象として、符号化単位に含まれるブロックの間の垂直境界に対する水平方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記垂直境界に並列的に、複数の前記水平方向のデブロックフィルタの間で垂直方向のデブロックフィルタに伴う処理の依存関係の無い状態で適用する水平フィルタリング部と、
前記水平フィルタリング部によりデブロックフィルタが適用された画素を含む画像を対象として、前記符号化単位に含まれるブロックの間の水平境界に対する垂直方向のブロックフィルタを、複数の前記符号化単位にまたがって複数の前記水平境界に並列的に適用する垂直フィルタリング部と、
前記水平方向のデブロックフィルタと垂直方向のブロックフィルタが適用された画素を含む画像を用いて、符号化対象となる符号化対象画像を符号化する符号化部と、
を備える、カメラ。 - 前記カメラ信号処理部は、前記画像信号に対して、ニー補正、ガンマ補正、または、色補正を前記カメラ信号処理として行う、
請求項21に記載のカメラ。 - 前記符号化部により生成されたビットストリームを記憶媒体に書き込む書き込み部
をさらに備える、
請求項22に記載のカメラ。 - ネットワークと接続するネットワークインタフェース部を
さらに備え、
前記書き込み部は、前記ネットワークインタフェース部を介して受信した前記ビットストリームを前記記憶媒体に書き込む、
請求項23に記載のカメラ。 - 前記記憶媒体をさらに備える、
請求項24に記載のカメラ。 - 前記記憶媒体は、SSD(Solid State Drive)である、
請求項25に記載のカメラ。 - コンピュータが、
結像面に結像した光学像を光電変換によって電気信号として画像信号に変換することと、
変換された前記画像信号に対してカメラ信号処理を行って画像データを生成することと、
生成された画像を符号化する際にローカル復号されたローカル復号画像を対象として、符号化単位に含まれるブロックの間の垂直境界に対する水平方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記垂直境界に並列的に、複数の前記水平方向のデブロックフィルタの間で垂直方向のデブロックフィルタに伴う処理の依存関係の無い状態で適用することと、
デブロックフィルタが適用された画素を含む画像を対象として、前記符号化単位に含まれるブロックの間の水平境界に対する垂直方向のデブロックフィルタを、複数の前記符号化単位にまたがって複数の前記水平境界に並列的に適用することと、
前記水平方向のデブロックフィルタと垂直方向のブロックフィルタが適用された画素を含む画像を用いて、符号化対象となる符号化対象画像を符号化することと、
を含む、方法。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010272907 | 2010-12-07 | ||
JP2010272907 | 2010-12-07 | ||
JP2011004392 | 2011-01-12 | ||
JP2011004392 | 2011-01-12 | ||
JP2011045651 | 2011-03-02 | ||
JP2011045651 | 2011-03-02 | ||
JP2011117558 | 2011-05-26 | ||
JP2011117558 | 2011-05-26 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017173731A Division JP6471786B2 (ja) | 2010-12-07 | 2017-09-11 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019083545A JP2019083545A (ja) | 2019-05-30 |
JP6819702B2 true JP6819702B2 (ja) | 2021-01-27 |
Family
ID=46207096
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012547834A Active JP6011342B2 (ja) | 2010-12-07 | 2011-12-02 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2016142995A Active JP6213626B2 (ja) | 2010-12-07 | 2016-07-21 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2017173731A Active JP6471786B2 (ja) | 2010-12-07 | 2017-09-11 | 画像処理装置及び画像処理方法 |
JP2019004264A Active JP6819702B2 (ja) | 2010-12-07 | 2019-01-15 | テレビジョン装置、携帯電話機、再生装置、カメラ及び方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012547834A Active JP6011342B2 (ja) | 2010-12-07 | 2011-12-02 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2016142995A Active JP6213626B2 (ja) | 2010-12-07 | 2016-07-21 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2017173731A Active JP6471786B2 (ja) | 2010-12-07 | 2017-09-11 | 画像処理装置及び画像処理方法 |
Country Status (17)
Country | Link |
---|---|
US (7) | US9912967B2 (ja) |
EP (4) | EP3582498A1 (ja) |
JP (4) | JP6011342B2 (ja) |
KR (6) | KR102117800B1 (ja) |
CN (6) | CN106791877B (ja) |
AU (1) | AU2011339461B2 (ja) |
BR (4) | BR122020013150B1 (ja) |
CA (1) | CA2815817C (ja) |
CO (1) | CO6720978A2 (ja) |
ES (1) | ES2753587T3 (ja) |
MX (2) | MX2013006130A (ja) |
MY (1) | MY174587A (ja) |
PH (2) | PH12015501384A1 (ja) |
RU (3) | RU2578665C2 (ja) |
TW (4) | TWI578761B (ja) |
WO (1) | WO2012077608A1 (ja) |
ZA (2) | ZA201303963B (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7295609B2 (en) | 2001-11-30 | 2007-11-13 | Sony Corporation | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
JP5359657B2 (ja) * | 2009-07-31 | 2013-12-04 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
JP5914962B2 (ja) | 2010-04-09 | 2016-05-11 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに、記録媒体 |
EP2559241A1 (de) | 2010-04-14 | 2013-02-20 | Siemens Enterprise Communications GmbH & Co. KG | Verfahren zum deblocking-filtern |
TWI600318B (zh) | 2010-05-18 | 2017-09-21 | Sony Corp | Image processing apparatus and image processing method |
US8849052B2 (en) | 2010-06-04 | 2014-09-30 | Sony Corporation | Image processing apparatus and method |
EP3748963B1 (en) | 2010-12-07 | 2022-03-02 | Sony Group Corporation | Image processing device and image processing method |
PH12015501384A1 (en) | 2010-12-07 | 2015-09-28 | Sony Corp | Image processing device and image processing method |
JP5741076B2 (ja) | 2010-12-09 | 2015-07-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP5884313B2 (ja) | 2011-01-18 | 2016-03-15 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
RU2609094C2 (ru) | 2011-02-10 | 2017-01-30 | Сони Корпорейшн | Устройство и способ обработки изображений |
CN106534872B (zh) | 2011-03-11 | 2019-05-17 | 索尼公司 | 图像处理装置和方法 |
TWI530161B (zh) | 2011-06-07 | 2016-04-11 | Sony Corp | Image processing apparatus and method |
JP5907367B2 (ja) | 2011-06-28 | 2016-04-26 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
RU2607243C2 (ru) | 2011-06-28 | 2017-01-10 | Сони Корпорейшн | Устройство обработки изображений и способ обработки изображений |
PL2754295T3 (pl) | 2011-09-09 | 2018-07-31 | Sun Patent Trust | Wykorzystanie decyzji o niskim stopniu złożoności do filtrowania deblokującego |
TWI581623B (zh) * | 2012-04-06 | 2017-05-01 | Sony Corp | Image processing apparatus and method, program, and recording medium |
KR20160053988A (ko) * | 2013-10-25 | 2016-05-13 | 미디어텍 인크. | 전송 동기화 이벤트에 따라 압축된 픽처의 전송을 제어하는 방법 및 장치 |
US10038919B2 (en) | 2014-05-29 | 2018-07-31 | Apple Inc. | In loop chroma deblocking filter |
CN105451025B (zh) * | 2014-07-31 | 2019-03-01 | 富士通株式会社 | 图像处理方法以及装置 |
US11477484B2 (en) * | 2015-06-22 | 2022-10-18 | Qualcomm Incorporated | Video intra prediction using hybrid recursive filters |
KR102437742B1 (ko) * | 2016-08-21 | 2022-08-29 | 엘지전자 주식회사 | 영상 부호화/복호화 방법 및 이를 위한 장치 |
TWI833248B (zh) * | 2017-04-06 | 2024-02-21 | 美商松下電器(美國)知識產權公司 | 解碼方法及編碼方法 |
CN110290384A (zh) * | 2018-03-19 | 2019-09-27 | 华为技术有限公司 | 图像滤波方法、装置及视频编解码器 |
JP7155568B2 (ja) | 2018-03-26 | 2022-10-19 | 東洋製罐グループホールディングス株式会社 | 金属加工物 |
CN113170206A (zh) * | 2018-11-02 | 2021-07-23 | 索尼集团公司 | 图像处理装置和图像处理方法 |
US20220078416A1 (en) * | 2019-02-27 | 2022-03-10 | Sony Group Corporation | Image processing device and image processing method |
CN113545041A (zh) * | 2019-03-07 | 2021-10-22 | 数字洞察力有限公司 | 图像编码/解码方法和设备 |
CN109905709B (zh) * | 2019-03-21 | 2021-05-07 | 南京威翔科技有限公司 | 一种基于流水线重组方式的去方块滤波方法 |
CN110213579A (zh) * | 2019-06-11 | 2019-09-06 | 上海富瀚微电子股份有限公司 | 双核心计算单元实现环路滤波的方法 |
JP2022542855A (ja) * | 2019-07-19 | 2022-10-07 | エルジー エレクトロニクス インコーポレイティド | フィルタリングを用いた画像符号化/復号化方法、装置、及びビットストリームを伝送する方法 |
CN111314579B (zh) * | 2020-02-21 | 2021-10-15 | 苏州浪潮智能科技有限公司 | 一种图像垂直滤波处理的方法及芯片 |
KR20210125657A (ko) | 2020-04-08 | 2021-10-19 | 삼성디스플레이 주식회사 | 표시장치 |
KR20210130891A (ko) | 2020-04-22 | 2021-11-02 | 삼성디스플레이 주식회사 | 표시 장치 |
Family Cites Families (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63105586A (ja) | 1986-10-23 | 1988-05-10 | Matsushita Electric Ind Co Ltd | テレビジヨン信号処理方法 |
JPH0832030B2 (ja) * | 1986-10-21 | 1996-03-27 | ソニー株式会社 | ブロツク符号化された画像信号の復号装置 |
EP0897222A4 (en) * | 1997-02-10 | 2007-07-25 | Sony Corp | PROCESS AND EQUIPMENT FOR DATA PROCESSING |
US6125201A (en) | 1997-06-25 | 2000-09-26 | Andrew Michael Zador | Method, apparatus and system for compressing data |
KR100269125B1 (ko) * | 1997-10-25 | 2000-10-16 | 윤덕용 | 양자화효과감소를위한영상데이터후처리방법및장치 |
MXPA01001705A (es) | 1998-08-19 | 2004-09-06 | Urecoats Technologies Inc | Composiciones de reticula elastomerica inetrpenetrante de poliuretano bituminoso. |
JP4254017B2 (ja) * | 2000-03-10 | 2009-04-15 | ソニー株式会社 | 画像符号化装置及び方法 |
US7295609B2 (en) | 2001-11-30 | 2007-11-13 | Sony Corporation | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
JP4404639B2 (ja) | 2002-02-15 | 2010-01-27 | ソニー株式会社 | 脚式移動ロボットの脚装置並びに脚式移動ロボットの制御方法 |
JP4114494B2 (ja) | 2002-03-07 | 2008-07-09 | セイコーエプソン株式会社 | 画像処理装置及び画像処理プログラム、並びに画像処理方法 |
US7620109B2 (en) * | 2002-04-10 | 2009-11-17 | Microsoft Corporation | Sub-pixel interpolation in motion estimation and compensation |
JP3743384B2 (ja) * | 2002-04-19 | 2006-02-08 | ソニー株式会社 | 画像符号化装置及び方法、並びに画像復号装置及び方法 |
US8116379B2 (en) * | 2004-10-08 | 2012-02-14 | Stmicroelectronics, Inc. | Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard |
JP4270125B2 (ja) | 2004-12-16 | 2009-05-27 | ソニー株式会社 | データ処理装置、画像処理装置、それらの方法およびプログラム |
KR100843196B1 (ko) | 2004-12-17 | 2008-07-02 | 삼성전자주식회사 | H.264/avc 비디오 디코더의 디블록킹 필터 |
KR100679035B1 (ko) * | 2005-01-04 | 2007-02-06 | 삼성전자주식회사 | 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더 |
US7792385B2 (en) | 2005-01-25 | 2010-09-07 | Globalfoundries Inc. | Scratch pad for storing intermediate loop filter data |
JP2006270851A (ja) | 2005-03-25 | 2006-10-05 | Victor Co Of Japan Ltd | 画像符号化装置及び画像復号装置 |
TWI264951B (en) * | 2005-05-19 | 2006-10-21 | Cheertek Inc | Deblock filter method for applying on video encoding/decoding and the apparatus thereof |
JP4825524B2 (ja) * | 2006-01-31 | 2011-11-30 | 株式会社東芝 | 動画像復号装置および動画像復号方法 |
CN101076124B (zh) * | 2006-05-18 | 2010-09-08 | 北京大学深圳研究生院 | 去块滤波器 |
US8542744B2 (en) * | 2006-05-19 | 2013-09-24 | Altera Corporation | Methods and apparatus for providing a scalable deblocking filtering assist function within an array processor |
JP4712642B2 (ja) | 2006-08-17 | 2011-06-29 | 富士通セミコンダクター株式会社 | デブロッキングフィルタ、画像符号化装置および画像復号化装置 |
US9014280B2 (en) * | 2006-10-13 | 2015-04-21 | Qualcomm Incorporated | Video coding with adaptive filtering for motion compensated prediction |
US8111760B2 (en) * | 2006-11-16 | 2012-02-07 | Texas Instruments Incorporated | Deblocking filters |
US20080123750A1 (en) * | 2006-11-29 | 2008-05-29 | Michael Bronstein | Parallel deblocking filter for H.264 video codec |
US20080159407A1 (en) * | 2006-12-28 | 2008-07-03 | Yang Nick Y | Mechanism for a parallel processing in-loop deblock filter |
US8204129B2 (en) * | 2007-03-27 | 2012-06-19 | Freescale Semiconductor, Inc. | Simplified deblock filtering for reduced memory access and computational complexity |
CN101472177B (zh) * | 2007-12-27 | 2013-03-06 | 宝利微电子***控股公司 | 一种块效应检测方法 |
GB0807804D0 (en) * | 2008-04-29 | 2008-06-04 | Imagination Tech Ltd | Interlaced video edge filtering |
US20090304086A1 (en) | 2008-06-06 | 2009-12-10 | Apple Inc. | Method and system for video coder and decoder joint optimization |
JP2010014513A (ja) | 2008-07-03 | 2010-01-21 | Fuji Electric Holdings Co Ltd | はんだフラックス中の金属成分分析方法 |
JPWO2010035403A1 (ja) * | 2008-09-25 | 2012-02-16 | パナソニック株式会社 | フィルタ装置およびフィルタ方法 |
US8861586B2 (en) * | 2008-10-14 | 2014-10-14 | Nvidia Corporation | Adaptive deblocking in a decoding pipeline |
JP2010136245A (ja) * | 2008-12-08 | 2010-06-17 | Toshiba Corp | 動画像処理装置及び方法 |
JP2010141513A (ja) * | 2008-12-10 | 2010-06-24 | Toshiba Corp | 演算装置及び動画像符号化装置 |
US8611435B2 (en) * | 2008-12-22 | 2013-12-17 | Qualcomm, Incorporated | Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding |
JP5087016B2 (ja) * | 2009-01-19 | 2012-11-28 | キヤノン株式会社 | 符号化装置及びその制御方法、コンピュータプログラム |
JP5359657B2 (ja) | 2009-07-31 | 2013-12-04 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
JP5344238B2 (ja) | 2009-07-31 | 2013-11-20 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
US20110123121A1 (en) * | 2009-10-13 | 2011-05-26 | Sony Corporation | Method and system for reducing blocking artefacts in compressed images and video signals |
JP5914962B2 (ja) | 2010-04-09 | 2016-05-11 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに、記録媒体 |
EP2547108A4 (en) * | 2010-04-13 | 2014-07-02 | Samsung Electronics Co Ltd | VIDEO CODING METHOD AND VIDEO CODING DEVICE WITH PRECODING UNITS BASED ON CODING UNITS FOLLOWING A TREE STRUCTURE AND VIDEO CODING METHOD AND VIDEO ENCODING DEVICE WITH PRECODING UNITS BASED ON CODING UNITS DEFINED ACCORDING TO A TREE STRUCTURE |
CN102860009A (zh) | 2010-04-13 | 2013-01-02 | 松下电器产业株式会社 | 编码失真除去方法、编码方法、解码方法、编码失真除去装置、编码装置、及解码装置 |
TWI600318B (zh) | 2010-05-18 | 2017-09-21 | Sony Corp | Image processing apparatus and image processing method |
US8805100B2 (en) * | 2010-06-03 | 2014-08-12 | Sharp Kabushiki Kaisha | Filter device, image decoding device, image encoding device, and filter parameter data structure |
US8849052B2 (en) | 2010-06-04 | 2014-09-30 | Sony Corporation | Image processing apparatus and method |
PH12015501384A1 (en) * | 2010-12-07 | 2015-09-28 | Sony Corp | Image processing device and image processing method |
EP3748963B1 (en) | 2010-12-07 | 2022-03-02 | Sony Group Corporation | Image processing device and image processing method |
JP5741076B2 (ja) | 2010-12-09 | 2015-07-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
EP2664149B1 (en) * | 2011-01-14 | 2016-11-16 | Telefonaktiebolaget LM Ericsson (publ) | Deblocking filtering |
RU2609094C2 (ru) | 2011-02-10 | 2017-01-30 | Сони Корпорейшн | Устройство и способ обработки изображений |
CN106534872B (zh) | 2011-03-11 | 2019-05-17 | 索尼公司 | 图像处理装置和方法 |
TWI530161B (zh) | 2011-06-07 | 2016-04-11 | Sony Corp | Image processing apparatus and method |
JP5907367B2 (ja) | 2011-06-28 | 2016-04-26 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
AU2013281946B2 (en) | 2012-06-29 | 2017-03-02 | Sony Group Corporation | Decoding device, and decoding method |
-
2011
- 2011-12-02 PH PH12015501384A patent/PH12015501384A1/en unknown
- 2011-12-02 BR BR122020013150-0A patent/BR122020013150B1/pt not_active IP Right Cessation
- 2011-12-02 KR KR1020197022352A patent/KR102117800B1/ko active IP Right Grant
- 2011-12-02 AU AU2011339461A patent/AU2011339461B2/en active Active
- 2011-12-02 KR KR1020207013244A patent/KR102216571B1/ko active IP Right Grant
- 2011-12-02 RU RU2013125500/07A patent/RU2578665C2/ru active
- 2011-12-02 KR KR1020187016187A patent/KR101958611B1/ko active IP Right Grant
- 2011-12-02 PH PH12018501811A patent/PH12018501811A1/en unknown
- 2011-12-02 BR BR122020013143-8A patent/BR122020013143B1/pt not_active IP Right Cessation
- 2011-12-02 ES ES11846900T patent/ES2753587T3/es active Active
- 2011-12-02 CN CN201710072285.3A patent/CN106791877B/zh active Active
- 2011-12-02 EP EP19186704.3A patent/EP3582498A1/en active Pending
- 2011-12-02 RU RU2016105596A patent/RU2702219C2/ru active
- 2011-12-02 CN CN201180057796.9A patent/CN103229505B/zh active Active
- 2011-12-02 EP EP19186698.7A patent/EP3582497A1/en active Pending
- 2011-12-02 BR BR112013013516-6A patent/BR112013013516B1/pt active IP Right Grant
- 2011-12-02 CN CN201310654537.5A patent/CN103716632B/zh active Active
- 2011-12-02 MX MX2013006130A patent/MX2013006130A/es active IP Right Grant
- 2011-12-02 US US13/991,007 patent/US9912967B2/en active Active
- 2011-12-02 WO PCT/JP2011/077954 patent/WO2012077608A1/ja active Application Filing
- 2011-12-02 CN CN201710072281.5A patent/CN106658026B/zh active Active
- 2011-12-02 KR KR1020187016184A patent/KR101962591B1/ko active IP Right Grant
- 2011-12-02 CN CN201710072287.2A patent/CN106791878B/zh active Active
- 2011-12-02 EP EP11846900.6A patent/EP2651129B1/en active Active
- 2011-12-02 CA CA2815817A patent/CA2815817C/en active Active
- 2011-12-02 MY MYPI2013002075A patent/MY174587A/en unknown
- 2011-12-02 KR KR1020137013868A patent/KR101868651B1/ko active IP Right Grant
- 2011-12-02 KR KR1020197007962A patent/KR102007626B1/ko active IP Right Grant
- 2011-12-02 CN CN201710072283.4A patent/CN106713934B/zh active Active
- 2011-12-02 JP JP2012547834A patent/JP6011342B2/ja active Active
- 2011-12-02 EP EP19186682.1A patent/EP3582496B1/en active Active
- 2011-12-02 BR BR122020013166-7A patent/BR122020013166B1/pt not_active IP Right Cessation
- 2011-12-05 TW TW104111488A patent/TWI578761B/zh active
- 2011-12-05 TW TW104111489A patent/TWI578762B/zh active
- 2011-12-05 TW TW100144704A patent/TWI514892B/zh active
- 2011-12-05 TW TW104111487A patent/TWI565300B/zh active
-
2013
- 2013-05-29 CO CO13131784A patent/CO6720978A2/es active IP Right Grant
- 2013-05-30 ZA ZA2013/03963A patent/ZA201303963B/en unknown
- 2013-05-31 MX MX2014012150A patent/MX336566B/es unknown
- 2013-07-19 US US13/946,707 patent/US9088786B2/en active Active
-
2016
- 2016-07-21 JP JP2016142995A patent/JP6213626B2/ja active Active
- 2016-12-30 US US15/395,445 patent/US9998766B2/en active Active
- 2016-12-30 US US15/395,471 patent/US10003827B2/en active Active
-
2017
- 2017-05-02 ZA ZA2017/03025A patent/ZA201703025B/en unknown
- 2017-09-11 JP JP2017173731A patent/JP6471786B2/ja active Active
-
2018
- 2018-04-04 US US15/929,006 patent/US10334279B2/en active Active
-
2019
- 2019-01-15 JP JP2019004264A patent/JP6819702B2/ja active Active
- 2019-05-06 US US16/403,620 patent/US10785504B2/en active Active
- 2019-08-13 RU RU2019125559A patent/RU2019125559A/ru unknown
-
2020
- 2020-08-13 US US16/992,138 patent/US11381846B2/en active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6819702B2 (ja) | テレビジョン装置、携帯電話機、再生装置、カメラ及び方法 | |
JP6471787B2 (ja) | 画像処理装置及び画像処理方法 | |
AU2015255186B2 (en) | Image Processing Device and Image Processing Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190128 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201214 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6819702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |