JP6916618B2 - 画像符号化装置及びその制御方法及びプログラム - Google Patents
画像符号化装置及びその制御方法及びプログラム Download PDFInfo
- Publication number
- JP6916618B2 JP6916618B2 JP2016247009A JP2016247009A JP6916618B2 JP 6916618 B2 JP6916618 B2 JP 6916618B2 JP 2016247009 A JP2016247009 A JP 2016247009A JP 2016247009 A JP2016247009 A JP 2016247009A JP 6916618 B2 JP6916618 B2 JP 6916618B2
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- block
- image
- interest
- target code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
撮像手段で撮像した動画像データを符号化する画像符号化装置であって、
前記動画像データにおける着目フレームの画像データを、予め設定されたブロック単位に、目標符号量に応じて決定される量子化パラメータに従って量子化する量子化手段と、
該量子化手段で得られた量子化後のデータを、前記ブロック単位に符号化する符号化手段と、
前記符号化手段により発生する符号量が、設定されたブロック目標符号量になるように前記量子化手段を制御する符号量制御手段とを有し、
前記符号量制御手段は、
前記着目フレームの画像と直前のフレームの画像の相関度を取得する取得手段と、
1フレームにおける先頭のブロックから最後のブロックに至る軸を水平軸、符号化データの積算量を表す軸を垂直軸とする座標空間において、予め設定されたフレーム目標符号量が示す位置が表す座標を通る符号量上限値を表す線分の傾きを、前記相関度に基づいて決定する第1の決定手段であって、前記相関度が大きければ前記線分の傾きが小さく、前記相関度が小さければ前記線分の傾きが大きくなるように前記線分の傾きを決定する第1の決定手段と、
予め設定された基準目標符号量と、着目ブロックの直前の符号化済みのブロックの複雑度とに基づき、前記着目ブロックの前記ブロック目標符号量を決定する第2の決定手段であって、前記着目ブロックの直前の符号化済みのブロックの複雑度が大きいときには前記着目ブロックの前記ブロック目標符号量が大きくなり、前記着目ブロックの直前の符号化済みのブロックの複雑度が小さいときには前記着目ブロックの前記ブロック目標符号量が小さくなるように前記着目ブロックの前記ブロック目標符号量を決定する第2の決定手段と、
前記着目フレームの先頭のブロックから前記直前のブロックまでの合計の符号量が、前記第1の決定手段で決定した前記線分が示す符号量を超えた場合、前記着目ブロックの前記ブロック目標符号量を、前記線分に沿うように変更する変更手段と、を有することを特徴とする。
図1は、第1の実施形態に係る画像符号化装置のブロック構成図である。図2は、図1の画像符号化部100に入力される画像データがラスタースキャン順であることを示す図である。図2のように、画像データは画素ライン単位で、ラスタ順に画像符号化部100へ供給され、圧縮符号化される。本実施形態では、1画素ライン単位で量子化パラメータを変更(更新)し、符号量制御を行う例を説明する。なお、画像データは撮像装置へ入力される画素値そのものでも、その画素値に何らかの処理を施したデータでも良い。
以上により符号量を制御する。
複雑度は、難易度を示す指標であり、画像が複雑であるほど大きく、平坦であるほど小さくなる値である。
X[i-1] = Qp[i-1] × S[i-1] … (1)
画像の難しいラインほど目標符号量を多く割り当て、易しいラインほど目標符号量を小さく割り当てることで、画質劣化度を意味するQpの変動を画面内で極力小さくすることができる。そこで、実施形態における目標符号量算出部110は、目標符号量設定部103で設定される画像の基準目標符号量Tn、複雑度設定部111で設定される画像複雑度Xn-1[i]及び、複雑度X[i-1]に従い、次に符号化する着目ラインの目標符号量T[i]を算出する。目標符号量の算出式は次式(2)の通りである。
T[i] = Tn × X[i-1] / Xn-1[i] …(2)
式(1)のように、複雑度は符号化しなければ算出できないフィードバック量であるため、次に符号化するラインの目標符号量は、1ライン前の複雑度、1フレーム前の第iラインの複雑度をフィードバック算出する。
量子化パラメータ算出方法の一つに、MPEG2 Test Model 5に示された公知技術がある。このTest Model 5を参照し、実施形態では、差分保持部114で保持された積算差分値ΣE[i-1]と量子化パラメータ保持部108で保持された基準量子化パラメータQpbaseを用いて、次のラインの量子化パラメータQp[i]を次式(3)として算出する。
Qp[i]=Qpbase + r ×ΣE[i-1] …(3)
なお、式中、rは制御感度を示し、大きいほど積算差分値に応じて急峻にQp[i]を変動させて符号量の制御性が良くなるパラメータである。
本実施形態におけるシーンチェンジは、1フレーム前の画像に対して着目フレームの画像難易度が乖離しているフレーム間の関係を指す。例えば、暗闇の中で動画像を撮影してN番目のフレームでフラッシュが炊かれた場合である。直前のN−1フレームでは暗闇で物体が視認できないような画像であったのに対し、Nフレームではフラッシュにより物体が視認できる画像になり、Nフレームの画像難易度はN−1フレームに対して十分に高くなる。
上記の理由で、実施形態における目標符号量変更部112は、符号量上限値を画像相関度に応じて適応的に変更することで、符号量制御性と画質劣化の抑制を両立させる。具体的には、目標符号量変更部112は、シーンチェンジの度合いに応じて、先に示した式(2)における1ライン当たりの基準となる目標符号量Tnを変更する。
図9に画像相関度に応じた符号量上限値の傾きの違いを示す。図9に示す座標空間において水平軸はラインの位置を示し、垂直軸は総符号量を示している。図9のように画像相関度が小さいほどライン単位の目標符号量を速い段階から変更し易く、画像相関度が大きいほど変更されづらいように符号量上限値を設定する。
図12は、第2の実施形態に係る画像符号化装置のブロック構成図である。本第2の実施形態は、符号量制御部で制御する対象が、画像データに対する離散ウェーブレット変換して得られた変換係数データであり、符号量制御部101は離散ウェーブレット変換により生成されるサブバンド毎に符号量制御を行う場合を想定したものである。なお、参照符号100〜115は、第1の実施形態における構成と同じとし、その説明は省略する。
図13は、離散ウェーブレット変換(DWT)に係る垂直、水平フィルタリングをそれぞれ3回実行した場合に得られるサブバンドを示している。
本第2の実施形態における符号量制御部101は、上記離散ウェーブレット変換により生成されるサブバンド毎に、符号量制御を行う。つまり、量子化設定部102は各サブバンドの基準量子化パラメータを設定する。また、目標符号量設定部103ではサブバンド目標符号量を設定する。そして、複雑度設定部111ではサブバンド毎に画像複雑度を設定する。そして、符号量制御部101はサブバンド毎に上記設定値に基づき、ライン(又はブロック)ごとの符号量制御を行う。
図14は、第3の実施形態に係る画像符号化装置のブロック構成図である。同図における参照符号100〜115は、第1の実施形態における構成と同じとし、その説明は省略する。
発生符号量保持部107は、直前のフレームのサブバンド毎の発生符号量積算量を保持する。或る1つのサブバンドに着目したとき、そのサブバンドの発生符号量積算量は所定のライン間隔で積算符号量を意味する。例えば、ライン間隔(ブロック数)を“8”とし、先頭ラインを第1ラインと定義する。この場合、発生符号量保持部107は、着目サブバンドの第1乃至8ラインの符号化データの合計量である積算符号量、第1乃至16ラインの積算符号量、第1乃至24ラインの積算符号量、…を保持する。以降、積算符号量として保持されるラインを符号量比較ラインと言う。
T’ [i] = (Tn-ΣS[i]) / (itotal-icheck) …(4)
ここで、icheckは、ライン目標符号量を変更し始めるラインまでのライン数である。
画像相関度変更部1417は、相関度判定部115で設定された画像相関度を、目標符号量が変更されたサブバンドの数に応じて変更する。本第3の実施形態では、画像相関度は符号量差分閾値を示す。
本第4の実施形態は、フィードバックパラメータである複雑度を変更することでラインの目標符号量の変更を行う。本第4の実施形態における装置構成は、第1の実施形態(図1)と同じである。
そこで、目標符号量変更部112では、着目ラインの目標符号量を変更する場合には、Xn-1に重みづけをすることでその目標符号量を変更する。変更後の目標符号量T’[i]を、次式(5)に示す。なお、α(≧1)は上記重み付けを行うための重み付け係数である。
T’[i] = Tn × X[i-1] / (Xn-1×α) … (5)
上記の式(5)を用いることにより、画面目標符号量に必ずしも収束はしないものの、ラインの目標符号量を変更することで発生符号量積算量は、変更しない場合よりも抑制され、かつ、複雑度は、式(1)で示されることから、αの値に応じて、Qpの大きさを調整可能である。Qpの大きさを調整できるため、より画質優先の符号量制御を行うことができる。
図15は、第5の実施形態に係る画像符号化装置のブロック構成図である。図示において、参照符号100〜115,1216は、第2の実施形態と同じであるので、その説明は省略する。
図16は、離散ウェーブレット変換(DWT)の垂直、水平フィルタリングをそれぞれ3回施した場合の各サブバンドの離散ウェーブレット変換前の画像が表す空間での同一画素位置の関係を示している。
目標符号量変更部112は、符号量上限値を、サブバンド合計符号量上限値として全サブバンドの発生符号量積算量に対して設定し、サブバンド発生符号量積算部1518で積算したサブバンド発生符号量積算量と比較する。サブバンド発生符号量積算量がサブバンド合計符号量上限値よりも大きければ各サブバンドの着目ラインの目標符号量T’[i]を、式(5)を用いて変更する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (10)
- 撮像手段で撮像した動画像データを符号化する画像符号化装置であって、
前記動画像データにおける着目フレームの画像データを、予め設定されたブロック単位に、目標符号量に応じて決定される量子化パラメータに従って量子化する量子化手段と、
該量子化手段で得られた量子化後のデータを、前記ブロック単位に符号化する符号化手段と、
前記符号化手段により発生する符号量が、設定されたブロック目標符号量になるように前記量子化手段を制御する符号量制御手段とを有し、
前記符号量制御手段は、
前記着目フレームの画像と直前のフレームの画像の相関度を取得する取得手段と、
1フレームにおける先頭のブロックから最後のブロックに至る軸を水平軸、符号化データの積算量を表す軸を垂直軸とする座標空間において、予め設定されたフレーム目標符号量が示す位置が表す座標を通る符号量上限値を表す線分の傾きを、前記相関度に基づいて決定する第1の決定手段であって、前記相関度が大きければ前記線分の傾きが小さく、前記相関度が小さければ前記線分の傾きが大きくなるように前記線分の傾きを決定する第1の決定手段と、
予め設定された基準目標符号量と、着目ブロックの直前の符号化済みのブロックの複雑度とに基づき、前記着目ブロックの前記ブロック目標符号量を決定する第2の決定手段であって、前記着目ブロックの直前の符号化済みのブロックの複雑度が大きいときには前記着目ブロックの前記ブロック目標符号量が大きくなり、前記着目ブロックの直前の符号化済みのブロックの複雑度が小さいときには前記着目ブロックの前記ブロック目標符号量が小さくなるように前記着目ブロックの前記ブロック目標符号量を決定する第2の決定手段と、
前記着目フレームの先頭のブロックから前記直前のブロックまでの合計の符号量が、前記第1の決定手段で決定した前記線分が示す符号量を超えた場合、前記着目ブロックの前記ブロック目標符号量を、前記線分に沿うように変更する変更手段と、
を有することを特徴とする画像符号化装置。 - 前記第1の決定手段は、
前記着目フレームと直前のフレームの輝度合計値との差、ヒストグラムの差、或いは、着目ブロックまでの符号量の差のいずれかに基づき、前記傾きを決定し、前記差が小さいときは前記傾きが大きくなり、前記差が大きいときは前記傾きが小さくなるように前記傾きを決定する、
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記第2の決定手段は、
前記着目ブロックを第iのブロックとし、直前の第i−1のブロックの符号化データの符号量をS[i-1]、前記第iのブロックを符号化する際に用いた量子化パラメータをQp[i-1]と定義したとき、前記複雑度を表すX[i-1]を次式により求める
X[i-1]=Qp[i-1]×S[i-1]
ことを特徴とする請求項1又は2に記載の画像符号化装置。 - 前記第2の決定手段は、
前記着目ブロックまでの発生符号量の積算量が、当該着目ブロックの位置の符号量上限値に達したら、複雑度を小さなるように修正することで、前記ブロック目標符号量を決定する
ことを特徴とする請求項1又は2に記載の画像符号化装置。 - 更に、前記動画像データにおける着目フレームの画像データを離散ウェーブレット変換する変換手段を有し、
前記量子化手段は、前記変換手段で得られた各サブバンドに対して量子化する
ことを特徴とする請求項2に記載の画像符号化装置。 - 前記符号量制御手段は画像相関度変更手段を有し、
当該画像相関度変更手段は、複数のサブバンドの内、符号量差分閾値を超えたサブバンドの数が多いほど画像相関度を小さく、少ないほど大きく変更する
ことを特徴とする請求項5に記載の画像符号化装置。 - 前記第2の決定手段は、予め設定されたブロック数の符号化を終えるたびに、前記ブロック目標符号量を決定する
ことを特徴とする請求項4に記載の画像符号化装置。 - 前記符号化手段は、全てのサブバンドにおける、画像が表す空間の同じ位置のブロックを並列に符号化し、
前記符号量制御手段は、1以上のサブバンドに対して量子化制御を行い、前記1以上のサブバンドごとにブロック目標符号量を決定すると共に、前記1以上のサブバンドにおける着目ブロックまでに発生した符号量の合計符号量に基づいて、各サブバンドにおける前記ブロック目標符号量を決定する
ことを特徴とする請求項5に記載の画像符号化装置。 - 撮像手段で撮像した動画像データを符号化する画像符号化装置の制御方法であって、
前記動画像データにおける着目フレームの画像データを、予め設定されたブロック単位に、目標符号量に応じて決定される量子化パラメータに従って量子化する量子化工程と、
該量子化工程で得られた量子化後のデータを、前記ブロック単位に符号化する符号化工程と、
前記符号化工程により発生する符号量が、設定されたブロック目標符号量になるように前記量子化工程を制御する符号量制御工程とを有し、
前記符号量制御工程は、
前記着目フレームの画像と直前のフレームの画像の相関度を取得する取得工程と、
1フレームにおける先頭のブロックから最後のブロックに至る軸を水平軸、符号化データの積算量を表す軸を垂直軸とする座標空間において、予め設定されたフレーム目標符号量が示す位置が表す座標を通る符号量上限値を表す線分の傾きを、前記相関度に基づいて決定する第1の決定工程であって、前記相関度が大きければ前記線分の傾きが小さく、前記相関度が小さければ前記線分の傾きが大きくなるように前記線分の傾きを決定する第1の決定工程と、
予め設定された基準目標符号量と、着目ブロックの直前の符号化済みのブロックの複雑度とに基づき、前記着目ブロックの前記ブロック目標符号量を決定する第2の決定工程であって、前記着目ブロックの直前の符号化済みのブロックの複雑度が大きいときには前記着目ブロックの前記ブロック目標符号量が大きくなり、前記着目ブロックの直前の符号化済みのブロックの複雑度が小さいときには前記着目ブロックの前記ブロック目標符号量が小さくなるように前記着目ブロックの前記ブロック目標符号量を決定する第2の決定工程と、
前記着目フレームの先頭のブロックから前記直前のブロックまでの合計の符号量が、前記第1の決定工程で決定した前記線分が示す符号量を超えた場合、前記着目ブロックの前記ブロック目標符号量を、前記線分に沿うように変更する変更工程と、
を有することを特徴とする画像符号化装置の制御方法。 - コンピュータが読み込み実行することで、前記コンピュータに請求項9に記載の方法の各工程を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016247009A JP6916618B2 (ja) | 2016-12-20 | 2016-12-20 | 画像符号化装置及びその制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016247009A JP6916618B2 (ja) | 2016-12-20 | 2016-12-20 | 画像符号化装置及びその制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018101907A JP2018101907A (ja) | 2018-06-28 |
JP6916618B2 true JP6916618B2 (ja) | 2021-08-11 |
Family
ID=62714508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016247009A Active JP6916618B2 (ja) | 2016-12-20 | 2016-12-20 | 画像符号化装置及びその制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6916618B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112235576B (zh) * | 2020-11-16 | 2024-04-30 | 北京世纪好未来教育科技有限公司 | 编码方法、装置、电子设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008187571A (ja) * | 2007-01-31 | 2008-08-14 | Sony Corp | 情報処理装置および方法、並びにプログラム |
KR101172430B1 (ko) * | 2007-08-17 | 2012-08-08 | 삼성전자주식회사 | 비트율 제어 방법 및 그 장치 |
-
2016
- 2016-12-20 JP JP2016247009A patent/JP6916618B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018101907A (ja) | 2018-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5173837B2 (ja) | ビデオ符号器性能を向上させる適応フィルタリング | |
US8218082B2 (en) | Content adaptive noise reduction filtering for image signals | |
JP4794987B2 (ja) | 映像信号処理装置 | |
US11082707B2 (en) | Encoding method and apparatus, image processing system, and computer-readable storage medium | |
US11012698B2 (en) | Image encoding apparatus and method for controlling the same | |
EP1821548B1 (en) | Method for pre-suppressing image noise. | |
US10776956B2 (en) | Image coding apparatus, image decoding apparatus, image coding method, image decoding method, and non-transitory computer-readable storage medium | |
JP6857973B2 (ja) | 画像符号化装置及びその制御方法 | |
JP6857970B2 (ja) | 画像符号化装置及びその制御方法 | |
US11082698B2 (en) | Image capturing apparatus having a function for encoding raw image control method therof, and non-transitory computer-readable storage medium | |
US11140392B2 (en) | Image encoding apparatus, image decoding apparatus, control methods thereof, and non- transitory computer-readable storage medium | |
JP7001383B2 (ja) | 符号化装置、符号化方法、及び、プログラム | |
JP6806466B2 (ja) | 画像符号化装置及びその制御方法 | |
JP6916618B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
US10142604B2 (en) | Imaging apparatus and control method thereof | |
US20170155902A1 (en) | Image encoding apparatus and method of controlling the same | |
US20230133895A1 (en) | Image encoding apparatus and method for controlling the same and non-transitory computer-readable storage medium | |
JP6593417B2 (ja) | 画像圧縮装置、及びプログラム | |
JP6966936B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
JP7016660B2 (ja) | 符号化装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2018011120A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
JP7321237B2 (ja) | 画像符号化装置、画像符号化方法、プログラム | |
JP7469865B2 (ja) | 画像処理装置および画像処理方法 | |
JP2020109923A (ja) | 画像符号化装置及びその制御方法及びプログラム | |
JP2022077438A (ja) | 符号化装置及び方法、撮像装置、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210716 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6916618 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |