JP6906324B2 - 符号化装置、符号化方法、及び、プログラム - Google Patents
符号化装置、符号化方法、及び、プログラム Download PDFInfo
- Publication number
- JP6906324B2 JP6906324B2 JP2017029229A JP2017029229A JP6906324B2 JP 6906324 B2 JP6906324 B2 JP 6906324B2 JP 2017029229 A JP2017029229 A JP 2017029229A JP 2017029229 A JP2017029229 A JP 2017029229A JP 6906324 B2 JP6906324 B2 JP 6906324B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- complexity
- image quality
- quantization parameter
- quality mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
符号化対象画像の静止画を構成する各ブロックの画像の特徴として、画像の複雑度を複数の段階で検出する検出手段と、
前記符号化対象画像を符号化するための複数の画質モードのうちから選択された画質モードを設定する設定手段と、
前記各ブロックについて、前記検出された複雑度の段階および設定された前記画質モードに基づき、量子化パラメータを決定する決定手段と、
前記各ブロックについて、イントラ予測を行って差分画像を生成する生成手段と、
差分画像を直交変換して変換係数を生成する生成手段と、
前記決定された量子化パラメータを用いて、前記変換係数を量子化する量子化手段を含む、前記符号化対象画像を符号化する符号化手段と
を備え、
前記複数の画質モードは、画質の高い順に第1の画質モード、第2の画質モード、第3の画質モードを含み、
前記画像の複雑度は、複雑度の低い順に、第1の段階、第2の段階、第3の段階を含み、
前記検出手段は、前記各ブロックの画像の特徴としてエッジを更に検出し、
前記決定手段は、前記エッジが検出された場合の量子化パラメータを、前記設定された画質モードにおける前記複雑度が前記第1の段階の場合の量子化パラメータよりも大きく、かつ、該複雑度が前記第2の段階の場合の量子化パラメータよりも小さくなるように決定する。
図1は、発明の実施形態に対応する符号化装置の構成例を示すブロック図である。ここでは、HEVC符号化方式を実現する符号化装置100を例に示してある。これ以降の実施形態の説明では符号化装置100についてデジタルカメラを例に挙げて説明するが、符号化装置100の実施形態はデジタルカメラに限定されるものではない。例えば符号化装置100は、パーソナルコンピュータ、携帯電話、スマートフォン、PDA、タブレットデバイス、デジタルビデオカメラ、携帯型メディアプレーヤなどの撮像機能や録音機能を有する任意の情報処理装置、撮像装置、情報生成装置、或いは、データ生成装置とすることができる。以下、図1を参照して、まず、符号化装置100における動画記録時の動作について説明する。
撮影される画像はレンズ101を通して、撮像部102に入力される。レンズ101は、例えば、光学レンズユニットと絞り・ズーム・フォーカスなど制御する光学系を含んで構成される。また、撮像部102は、光学レンズユニットを経て導入された光(映像)を電気的な映像信号に変換するための撮像素子などで構成される。撮像素子としては、一般的には、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)が利用される。撮像部102は、レンズ101で結像された被写体光を撮像素子により電気信号に変換し、ノイズ低減処理などを行い、デジタル画素データを画像データとして出力する。本実施形態の符号化装置100では、画像データは、DCF(Design Rule for Camera File system)の規格に従って、記録媒体112に記録される。本実施形態では、符号化装置100としてデジタルカメラを例に説明しているため撮像部102が構成要素として含まれているが、符号化装置100は必ずしも撮像部102を含んで構成されていなくても良い。
式(1)により、発生符号量が多く、Qstep_preが大きい値になった場合であっても、activityが低周波成分が多いことを示す場合にはQstepの値は小さい値に修正され、低周波成分において画質劣化が目立たないように量子化ステップサイズが調整される。また、式(1)により、発生符号量が少なくQstep_preが小さい値になった場合であっても、activityが高周波成分が多いことを示す場合にはQstepの値は大きい値に修正され、高周波成分が多い場合には多少の画質劣化は問題とならないため、画像の特徴を考慮して符号量を削減することができる。このようにして決定した量子化ステップサイズ(Qstep)を量子化部109に出力する。また、量子化ステップサイズ(Qstep)は、量子化パラメータqPに変換されて、符号化ストリームのヘッダに含まれる。
次に、静止画記録時の動作について説明する。静止画記録時においては、符号化を行う画像は1枚しかないためイントラ・インター予測部106ではイントラ予測のみが行われる。静止画記録における量子化制御について説明する。動画記録時には、目標符号量に合うように量子化ステップサイズQstepが決定される。
上述の実施形態1では、画像の特徴として分散値を用いる場合を説明した。これに対し、本実施形態では、ブロックごとの画像の特徴として分散値ではなく周波数成分を用いる場合について説明する。ここでは、主に実施形態1との差異について説明する。静止画の符号化時に、特徴検出部107は周波数変換を行い画素ブロックを周波数成分に変換する。周波数変換の方法としてはDCT(Discrete Cosine Transform)やアダマール変換などが挙げられる。ここでは周波数変換の方法としてアダマール変換を用いて説明を行うが、周波数成分に変換できるものであれば、どのような周波数変換方法を用いてもよい。
本実施形態では、ブロックごとの画像の特徴検出として複雑度に加え、エッジ検出も行う場合について説明する。ここでは、主に上記実施形態との差異について説明する。本実施形態に対応する量子化制御処理では、静止画の符号化時に、図2のS202において特徴検出部107は、分散値を用いた複雑度の検出に加え、エッジ検出を行う。エッジとは、例えば背景部分と被写体部分の境界部分や、平坦な画像から複雑な画像へと空間的に急激に変化している部分を指す。エッジ検出方法には公知の様々な方法があるが、本実施形態ではどのようなエッジ検出方法を用いてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (9)
- 符号化対象画像の静止画を構成する各ブロックの画像の特徴として、画像の複雑度を複数の段階で検出する検出手段と、
前記符号化対象画像を符号化するための複数の画質モードのうちから選択された画質モードを設定する設定手段と、
前記各ブロックについて、前記検出された複雑度の段階および設定された前記画質モードに基づき、量子化パラメータを決定する決定手段と、
前記各ブロックについて、イントラ予測を行って差分画像を生成する生成手段と、
前記差分画像を直交変換して変換係数を生成する生成手段と、
前記決定された量子化パラメータを用いて、前記変換係数を量子化する量子化手段を含む、前記符号化対象画像を符号化する符号化手段と
を備え、
前記複数の画質モードは、画質の高い順に第1の画質モード、第2の画質モード、第3の画質モードを含み、
前記画像の複雑度は、複雑度の低い順に、第1の段階、第2の段階、第3の段階を含み、
前記検出手段は、前記各ブロックの画像の特徴としてエッジを更に検出し、
前記決定手段は、前記エッジが検出された場合の量子化パラメータを、前記設定された画質モードにおける前記複雑度が前記第1の段階の場合の量子化パラメータよりも大きく、かつ、該複雑度が前記第2の段階の場合の量子化パラメータよりも小さくなるように決定することを特徴とする符号化装置。 - 前記画像の複雑度は、前記各ブロックに含まれる画素の分散値として検出されることを特徴とする請求項1に記載の符号化装置。
- 前記画像の複雑度は、前記各ブロックに含まれる画素が有する高周波成分の強度として検出されることを特徴とする請求項1に記載の符号化装置。
- 前記決定手段は、前記複雑度が高くなるほど、値が大きくなるように前記量子化パラメータを決定することを特徴とする請求項1から3のいずれか1項に記載の符号化装置。
- 前記決定手段は、前記複数の段階のうち中間の段階を基準として、複雑度が高くなるほど値を前記中間の複雑度に対して与えられる値よりも大きくし、複雑度が低くなるほど値を前記中間の複雑度に対して与えられる値よりも小さくするように、前記量子化パラメータを決定することを特徴とする請求項1から3のいずれか1項に記載の符号化装置。
- 前記決定手段は、エッジが検出されたブロックについて、前記複雑度に基づく量子化パラメータよりも、エッジ検出に基づく量子化パラメータを優先することにより、前記量子化パラメータを決定することを特徴とする請求項1から5のいずれか1項に記載の符号化装置。
- 前記決定手段は、前記静止画について固定的に割り当てられる量子化パラメータの値を変更した値を選択することにより、前記量子化パラメータを決定することを特徴とする請求項1から6のいずれか1項に記載の符号化装置。
- 符号化対象画像の静止画を構成する各ブロックの画像の特徴として、画像の複雑度を複数の段階で検出する工程と、
前記符号化対象画像を符号化するための複数の画質モードのうちから選択された画質モードを設定する工程と、
前記各ブロックについて、前記検出された複雑度の段階および設定された前記画質モードに基づき、量子化パラメータを決定する工程と、
前記各ブロックについて、イントラ予測を行って差分画像を生成する工程と、
前記差分画像を直交変換して変換係数を生成する工程と、
前記決定された量子化パラメータを用いて、前記変換係数を量子化して、前記符号化対象画像を符号化する工程と
を含み、
前記複数の画質モードは、画質の高い順に第1の画質モード、第2の画質モード、第3の画質モードを含み、
前記画像の複雑度は、複雑度の低い順に、第1の段階、第2の段階、第3の段階を含み、
前記検出する工程では、前記各ブロックの画像の特徴としてエッジを更に検出し、
前記決定する工程では、前記エッジが検出された場合の量子化パラメータを、前記設定された画質モードにおける前記複雑度が前記第1の段階の場合の量子化パラメータよりも大きく、かつ、該複雑度が前記第2の段階の場合の量子化パラメータよりも小さくなるように決定することを特徴とする符号化方法。 - コンピュータを請求項1から7のいずれか1項に記載の符号化装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017029229A JP6906324B2 (ja) | 2017-02-20 | 2017-02-20 | 符号化装置、符号化方法、及び、プログラム |
US15/895,508 US10630982B2 (en) | 2017-02-20 | 2018-02-13 | Encoding apparatus, encoding method, and non-transitory computer-readable storage medium for performing encoding with quantization parameters according to a feature of an image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017029229A JP6906324B2 (ja) | 2017-02-20 | 2017-02-20 | 符号化装置、符号化方法、及び、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018137542A JP2018137542A (ja) | 2018-08-30 |
JP2018137542A5 JP2018137542A5 (ja) | 2020-04-02 |
JP6906324B2 true JP6906324B2 (ja) | 2021-07-21 |
Family
ID=63168143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017029229A Active JP6906324B2 (ja) | 2017-02-20 | 2017-02-20 | 符号化装置、符号化方法、及び、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10630982B2 (ja) |
JP (1) | JP6906324B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7016660B2 (ja) * | 2017-10-05 | 2022-02-07 | キヤノン株式会社 | 符号化装置、その制御方法、および制御プログラム、並びに撮像装置 |
US10812797B2 (en) * | 2018-02-05 | 2020-10-20 | Tencent America LLC | Method, apparatus and medium for decoding or encoding using a low-complexity transform |
WO2023210594A1 (ja) * | 2022-04-27 | 2023-11-02 | ヌヴォトンテクノロジージャパン株式会社 | 画像符号化装置及び画像符号化方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8363717B2 (en) * | 2005-05-17 | 2013-01-29 | Canon Kabushiki Kaisha | Image processing apparatus |
US8064517B1 (en) * | 2007-09-07 | 2011-11-22 | Zenverge, Inc. | Perceptually adaptive quantization parameter selection |
JP5427785B2 (ja) * | 2007-09-28 | 2014-02-26 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビデオ圧縮技法及びビデオ伝達技法 |
US8363719B2 (en) * | 2007-10-29 | 2013-01-29 | Canon Kabushiki Kaisha | Encoding apparatus, method of controlling thereof, and computer program |
US9473792B2 (en) * | 2009-11-06 | 2016-10-18 | Texas Instruments Incorporated | Method and system to improve the performance of a video encoder |
US8428381B2 (en) * | 2010-06-04 | 2013-04-23 | Altek Corporation | Image compression method with variable quantization parameter |
TWI603611B (zh) * | 2011-12-21 | 2017-10-21 | Jvc Kenwood Corp | Motion picture encoding apparatus, motion picture encoding method, and recording medium for moving picture encoding program |
JP6226578B2 (ja) * | 2013-06-13 | 2017-11-08 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム |
US10097851B2 (en) * | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
US10091507B2 (en) * | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
-
2017
- 2017-02-20 JP JP2017029229A patent/JP6906324B2/ja active Active
-
2018
- 2018-02-13 US US15/895,508 patent/US10630982B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018137542A (ja) | 2018-08-30 |
US10630982B2 (en) | 2020-04-21 |
US20180241996A1 (en) | 2018-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210203949A1 (en) | Image encoding apparatus and image decoding apparatus, methods of controlling the same, and non-transitory computer-readable storage medium | |
JP6906324B2 (ja) | 符号化装置、符号化方法、及び、プログラム | |
JP2015115903A (ja) | 撮像装置、撮像装置の制御方法、コンピュータプログラム | |
JP2015050661A (ja) | 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム | |
JP2016021731A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
US10003801B2 (en) | Image capturing apparatus that encodes and method of controlling the same | |
US20230122782A1 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and non-transitory computer-readable storage medium | |
KR20180099369A (ko) | 비디오 비트율 제어 방법, 및 이를 이용한 영상 부호화 방법 및 장치 | |
WO2016171006A1 (ja) | 符号化装置および符号化方法、並びに、復号装置および復号方法 | |
JP2009081830A (ja) | 動画像圧縮符号化における符号化処理方法及び符号化処理装置 | |
JP2015023498A (ja) | 画像符号化装置、画像符号化方法およびプログラム | |
JP2023052939A (ja) | 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム | |
JP7256658B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
JP6269431B2 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
JP2018148379A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6200220B2 (ja) | 画像処理装置、符号化装置、復号装置、及びプログラム | |
JP2018032909A (ja) | 画像符号化装置及びその制御方法及び撮像装置及びプログラム | |
US10516896B2 (en) | Encoding device, encoding method, and storage medium | |
JP2014110509A (ja) | 画像符号化装置及び画像符号化方法 | |
JP2021072485A (ja) | 符号化装置、復号化装置、符号化方法、復号化方法、符号化プログラム及び復号化プログラム | |
JP2014090253A (ja) | 動画像符号化装置、動画像符号化方法およびプログラム | |
JP4626644B2 (ja) | 符号化装置、符号化方法、プログラム、及び、撮像装置 | |
KR100771138B1 (ko) | 촬영 장치 및 영상 보정 방법 | |
JP2008153802A (ja) | 動画像符号化装置及び動画像符号化プログラム | |
JP6574655B2 (ja) | 撮像装置および撮像装置における符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210104 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210629 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6906324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |