JP2009055440A - 画像符号化装置および画像符号化プログラム - Google Patents
画像符号化装置および画像符号化プログラム Download PDFInfo
- Publication number
- JP2009055440A JP2009055440A JP2007221354A JP2007221354A JP2009055440A JP 2009055440 A JP2009055440 A JP 2009055440A JP 2007221354 A JP2007221354 A JP 2007221354A JP 2007221354 A JP2007221354 A JP 2007221354A JP 2009055440 A JP2009055440 A JP 2009055440A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- image
- temporary
- reduced image
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】本符号化における最適な圧縮条件を抽出し、符号化性能の向上を実現することのできる画像符号化装置を得る。
【解決手段】縮小・分配手段1は、入力画像の縮小画像を生成し、仮符号化手段2に送る。仮符号化手段2は、各仮符号化器2−1,2−2,…,2−nにより、縮小画像を複数の圧縮条件で仮符号化する。符号化制御手段3は、仮符号化手段2の仮符号化結果である歪み量や符号量のデータに基づき、入力画像にとっての最良な圧縮条件を決定する。本符号化手段5は、符号化制御手段3によって決定された圧縮条件で入力画像を符号化し、圧縮データを出力する。
【選択図】図1
【解決手段】縮小・分配手段1は、入力画像の縮小画像を生成し、仮符号化手段2に送る。仮符号化手段2は、各仮符号化器2−1,2−2,…,2−nにより、縮小画像を複数の圧縮条件で仮符号化する。符号化制御手段3は、仮符号化手段2の仮符号化結果である歪み量や符号量のデータに基づき、入力画像にとっての最良な圧縮条件を決定する。本符号化手段5は、符号化制御手段3によって決定された圧縮条件で入力画像を符号化し、圧縮データを出力する。
【選択図】図1
Description
この発明は、画像符号化における圧縮条件や画像の加工方法を適正に決定する画像符号化装置および画像符号化プログラムに関するものである。
一般に、画像符号化において、本番の符号化(以下、本符号化という)の前に仮の符号化(以下、仮符号化という)を実施し、その結果を用いて適正な符号化パラメータを決定する2パスエンコード方式が知られている。従来、このような画像符号化を行う画像符号化装置として、入力画像の複雑度を事前解析し、解析結果に基づいて画像に割り当てる符号量を制御する装置があった(例えば、特許文献1参照)。
しかしながら、上記のような従来の画像符号化装置では、事前解析において複数の異なる圧縮条件を比較評価する手段を持たないため、GOP(Group of Pictures)の構造やピクチャ構成といった符号化データの構造を最適化し、圧縮性能の大幅な向上を図ることは困難であった。
この発明は上記のような課題を解決するためになされたもので、本符号化における最適な圧縮条件を抽出し、符号化性能の向上を実現することのできる画像符号化装置およびそのプログラムを得ることを目的とする。
この発明に係る画像符号化装置は、入力画像を縮小した縮小画像を複数の圧縮条件で仮符号化する仮符号化手段と、仮符号化結果に基づいて、入力画像に対する圧縮条件を決定する符号化制御手段と、符号化制御手段が決定した圧縮条件に従って入力画像の本符号化を行う本符号化手段を備えたものである。
この発明の画像符号化装置は、縮小画像を複数の圧縮条件で仮符号化した結果に基づいて入力画像の本符号化する圧縮条件を決定するようにしたので、本符号化における最適な圧縮条件を抽出し、符号化性能の向上を実現することができる。
実施の形態1.
図1は、この発明の実施の形態1による画像符号化装置を示す構成図である。
図において、画像符号化装置は、縮小・分配手段1、仮符号化手段2、符号化制御手段3、遅延手段4、本符号化手段5を備えている。縮小・分配手段1は、画像符号化装置に入力された動画像(入力画像)のサイズを縮小し、縮小画像を生成する縮小手段と、この縮小画像を仮符号化手段2に分配する分配手段とからなる手段である。仮符号化手段2は、複数の仮符号化器2−1,2−2,…,2−nを備え、縮小・分配手段1から出力された縮小画像を、仮符号化器2−1,2−2,…,2−nが、それぞれ異なる圧縮条件で仮符号化を行い、符号化によって発生した歪み量や符号量などの情報を符号化制御手段3へ出力する手段である。仮符号化器2−1,2−2,…,2−nは、例えばエンコーダユニットから構成され、MPEG−2やH.264/AVCなどの圧縮方式に準じた動作を行う符号化器である。
図1は、この発明の実施の形態1による画像符号化装置を示す構成図である。
図において、画像符号化装置は、縮小・分配手段1、仮符号化手段2、符号化制御手段3、遅延手段4、本符号化手段5を備えている。縮小・分配手段1は、画像符号化装置に入力された動画像(入力画像)のサイズを縮小し、縮小画像を生成する縮小手段と、この縮小画像を仮符号化手段2に分配する分配手段とからなる手段である。仮符号化手段2は、複数の仮符号化器2−1,2−2,…,2−nを備え、縮小・分配手段1から出力された縮小画像を、仮符号化器2−1,2−2,…,2−nが、それぞれ異なる圧縮条件で仮符号化を行い、符号化によって発生した歪み量や符号量などの情報を符号化制御手段3へ出力する手段である。仮符号化器2−1,2−2,…,2−nは、例えばエンコーダユニットから構成され、MPEG−2やH.264/AVCなどの圧縮方式に準じた動作を行う符号化器である。
符号化制御手段3は、仮符号化手段2が出力した歪み量や符号量のデータを集計し、入力画像にとっての最良な圧縮条件を決定する手段である。遅延手段4は、入力画像の各フレームを一旦図示しないメモリに蓄積し、符号化制御手段3が最良の圧縮条件を決定するまでの期間メモリ上で遅延させた後、本符号化手段5へ出力する手段である。本符号化手段5は、符号化制御手段3が導出した圧縮条件を用いて、MPEG−2やH.264/AVC等に準拠した画像符号化を行う手段である。
仮符号化手段2と本符号化手段5は連動して動作するものとする。例えば、GOPを構成するフレームの枚数や、各GOPの先頭や末尾となるフレームの位置を仮符号化と本符号化で一致させ、仮符号化情報から最良の圧縮条件を見出すための処理をGOP毎に実施するものとする。また、各フレームのピクチャコーディングタイプ(Iピクチャ、Pピクチャ、Bピクチャの別)を仮符号化と本符号化で一致させ、本符号化に近い動作条件のもと、仮符号化を行うものとする。
尚、画像符号化装置は、例えばコンピュータを用いて実現し、上記の縮小・分配手段1〜本符号化手段5として、それぞれの機能に対応するソフトウェアと、これを実行するためのCPUやメモリ等のハードウェアによって構成してもよい。あるいは、上記の縮小・分配手段1〜本符号化手段5の一部または全体をハードウェアによって構成してもよい。
以下、実施の形態1の動作について説明する。
先ず、縮小・分配手段1における縮小画像の生成方法について説明する。
●[縮小画像の生成方法1(低解像度化手法)]
入力画像の画素を間引いて低解像度の縮小画像を生成する(図2(a)参照)。
●[縮小画像の生成方法2(切り出し手法1)]
入力画像の一部のエリアを切り出す(図2(b)参照)。
●[縮小画像の生成方法3(切り出し手法2)]
入力画像から小エリアを複数箇所切り出し、それらを1フレームとして合成する(図2(c)参照)。
先ず、縮小・分配手段1における縮小画像の生成方法について説明する。
●[縮小画像の生成方法1(低解像度化手法)]
入力画像の画素を間引いて低解像度の縮小画像を生成する(図2(a)参照)。
●[縮小画像の生成方法2(切り出し手法1)]
入力画像の一部のエリアを切り出す(図2(b)参照)。
●[縮小画像の生成方法3(切り出し手法2)]
入力画像から小エリアを複数箇所切り出し、それらを1フレームとして合成する(図2(c)参照)。
生成方法2または生成方法3を用いる場合、切り出し位置をフレームやGOPなどの単位で適応的に変更可能とする。切り出し位置は、縮小画像の中に入力画像の特徴的な絵柄や信号成分を含むように選択する。その一方法として、画像認識の手法を用い、人物などの被写体を検出し、その位置を切り出しの対象とする。また別の方法として、入力画像を複数のエリアに分割した後、エリア毎に信号周波数分布や色分布を求め、周波数分布や色分布が平均的なエリアや、極端な偏りがある特異なエリアを見つけ出して切り出しの対象とする。
時刻によって切り出し位置を変更させることも有効であり、フレームやGOPといった単位で意図的に切り出し位置を変えていくことで、偏りのない仮符号化結果を得ることができる。
切り出し方法として、上記の生成方法3を用いる場合は、必ずしも1枚のフレームから小エリアを切り出すのではなく、図3のように複数のフレームから切り出して合成しても良い。複数フレームに跨る縮小画像を生成しておけば、1フレームの仮符号化によって複数フレーム分の評価をまとめて実施できるという効果が得られる。
縮小画像の生成方法や、生成方法2、3を用いる場合の切り出し位置は、仮符号化手段2における仮符号化器2−1,2−2,…,2−n毎に任意に選択可能とする。例えば、仮符号化器2−1で生成方法1、仮符号化器2−2で生成方法2、仮符号化器2−3では生成方法3を用いることとし、縮小・分配手段1では、各仮符号化器2−1,2−2,…,2−nで扱う縮小画像を個別に生成・分配する。このように、仮符号化器毎に異なる縮小画像を扱うことで、試行できる符号化条件の種類が増加し、多種の動作条件の中から真に最適な圧縮条件を求めることが可能となる。また、縮小画像の生成方法をフレームやGOPなどの単位で変更しても構わない。当然ながら、各仮符号化器2−1,2−2,…,2−nに共通の縮小画像を入力することも可能とする。
次に、仮符号化手段2及び符号化制御手段3の動作を説明する。
仮符号化手段2における各仮符号化器2−1,2−2,…,2−nは、それぞれ異なる圧縮条件で仮符号化を行う。以下に、仮符号化として試行する圧縮条件の例を示す。
仮符号化手段2における各仮符号化器2−1,2−2,…,2−nは、それぞれ異なる圧縮条件で仮符号化を行う。以下に、仮符号化として試行する圧縮条件の例を示す。
●[仮符号化で試行する圧縮条件の例1]
各仮符号化器2−1,2−2,…,2−nに共通の縮小画像を入力し、仮符号化器毎にIピクチャやPピクチャの挿入周期を変えて圧縮を行う。符号化制御手段3は、各仮符号化器2−1,2−2,…,2−nにおける符号化結果を比較し、画像歪み及び符号量が最小となるIピクチャ及びPピクチャの周期を求める。
各仮符号化器2−1,2−2,…,2−nに共通の縮小画像を入力し、仮符号化器毎にIピクチャやPピクチャの挿入周期を変えて圧縮を行う。符号化制御手段3は、各仮符号化器2−1,2−2,…,2−nにおける符号化結果を比較し、画像歪み及び符号量が最小となるIピクチャ及びPピクチャの周期を求める。
●[仮符号化で試行する圧縮条件の例2]
各仮符号化器2−1,2−2,…,2−nに共通の縮小画像を入力し、一部の仮符号化器ではフレーム構造で符号化を行い、他の仮符号化器はフィールド構造で符号化を行う。符号化制御手段3は、各仮符号化器2−1,2−2,…,2−nにおける仮符号化結果を比較し、画像歪み及び符号量が最小となるピクチャ構造を求める。
各仮符号化器2−1,2−2,…,2−nに共通の縮小画像を入力し、一部の仮符号化器ではフレーム構造で符号化を行い、他の仮符号化器はフィールド構造で符号化を行う。符号化制御手段3は、各仮符号化器2−1,2−2,…,2−nにおける仮符号化結果を比較し、画像歪み及び符号量が最小となるピクチャ構造を求める。
●[仮符号化で試行する圧縮条件の例3]
各仮符号化器2−1,2−2,…,2−nに共通の縮小画像を入力し、仮符号化器毎に動き補償予測の適用エリアの範囲を変えて圧縮を行う。符号化制御手段3は、各仮符号化器2−1,2−2,…,2−nの符号化結果を比較し、画像歪み及び符号量が最小となる動き補償予測範囲を求める。
各仮符号化器2−1,2−2,…,2−nに共通の縮小画像を入力し、仮符号化器毎に動き補償予測の適用エリアの範囲を変えて圧縮を行う。符号化制御手段3は、各仮符号化器2−1,2−2,…,2−nの符号化結果を比較し、画像歪み及び符号量が最小となる動き補償予測範囲を求める。
●[仮符号化で試行する圧縮条件の例4]
各仮符号化器2−1,2−2,…,2−nに共通の縮小画像を入力し、仮符号化器毎にイントラ符号化の使用率を変えて圧縮を行う。符号化制御手段3は、各仮符号化器2−1,2−2,…,2−nの符号化結果を比較し、画像歪み及び符号量が最小となるイントラ符号化の使用率を求める。
各仮符号化器2−1,2−2,…,2−nに共通の縮小画像を入力し、仮符号化器毎にイントラ符号化の使用率を変えて圧縮を行う。符号化制御手段3は、各仮符号化器2−1,2−2,…,2−nの符号化結果を比較し、画像歪み及び符号量が最小となるイントラ符号化の使用率を求める。
●[仮符号化で試行する圧縮条件の例5]
上述した縮小画像の生成方法1(低解像化手法)で生成した縮小画像を扱う仮符号化器(以下、仮符号化器Aとする)と、縮小画像の生成方法2または3(切り出し手法)で生成した縮小画像を扱う仮符号化器(以下、仮符号化器Bとする)をそれぞれ用意し、仮符号化器Aの動き補償予測の結果と、仮符号化器Bの動き補償予測の結果を比較することで動きの粗さを測定する。当該測定結果によって本符号化における動き補償予測の実施精度を決定する。
上述した縮小画像の生成方法1(低解像化手法)で生成した縮小画像を扱う仮符号化器(以下、仮符号化器Aとする)と、縮小画像の生成方法2または3(切り出し手法)で生成した縮小画像を扱う仮符号化器(以下、仮符号化器Bとする)をそれぞれ用意し、仮符号化器Aの動き補償予測の結果と、仮符号化器Bの動き補償予測の結果を比較することで動きの粗さを測定する。当該測定結果によって本符号化における動き補償予測の実施精度を決定する。
例えば、仮符号化器Aと仮符号化器Bの結果における動きベクトルの形状が類似であれば、大きな単位での動きが存在するものとし、大きなブロックサイズでの動き補償予測が有利と判断する。仮符号化器Aと仮符号化器Bの結果で、動きベクトルの形状が異なっていれば、仮符号化器Aでは追従困難な微小単位の動きが存在するものとし、小サイズブロックによる動き補償予測が有利と判断する。尚、動きベクトルの類似度を判断する場合、仮符号化器Aで生成した動きベクトルに縮小率に基づく補正を加える。例えば、縮小画像のサイズが水平方向、垂直方向とも元画像の1/2の場合、動きベクトルの水平方向及び垂直方向をそれぞれ2倍する。
●[仮符号化で試行する圧縮条件の例6]
各仮符号化器2−1,2−2,…,2−nに共通の縮小画像を入力し、仮符号化器毎に量子化スケールを変えて圧縮を行う。符号化制御手段3は、各仮符号化器2−1,2−2,…,2−nの符号化結果を比較し、符号量が目標値に最も近くなる最良の量子化スケール値を決定する。
各仮符号化器2−1,2−2,…,2−nに共通の縮小画像を入力し、仮符号化器毎に量子化スケールを変えて圧縮を行う。符号化制御手段3は、各仮符号化器2−1,2−2,…,2−nの符号化結果を比較し、符号量が目標値に最も近くなる最良の量子化スケール値を決定する。
尚、符号化制御手段3は、上記の圧縮条件の例1〜6を組み合わせた結果を比較し、最適な圧縮条件を決定するようにしてもよい。また、各仮符号化器2−1,2−2,…,2−nは、本符号化手段5で用いる符号化器と同一のものである必要はなく、縮小画像を符号化するために十分な機能及び性能を備えたものであれば良いものとする。また、入力画像の全フレームを仮符号化器2−1,2−2,…,2−nで処理する必要はないため、本符号化よりも低速度で動作する符号化器であっても良い。
画像歪み及び符号量の評価方法には例えば下記の評価尺度を用い、これを最小とする圧縮条件を最適とみなす。
(評価値)=D+λ×R
式中のDは符号化によって生じる画像歪みの大きさを表す尺度であり、符号化後の画像と原画との差分信号の二乗和などを代入する。Rは各圧縮条件で符号化した際に生じる符号量を表す。λは0以上の実数とする。
(評価値)=D+λ×R
式中のDは符号化によって生じる画像歪みの大きさを表す尺度であり、符号化後の画像と原画との差分信号の二乗和などを代入する。Rは各圧縮条件で符号化した際に生じる符号量を表す。λは0以上の実数とする。
仮符号化手段2と本符号化手段5では扱う画像サイズが異なる上、仮符号化で扱う縮小画像と本符号化で扱う画像では周波数特性なども異なるため、仮符号化で算出した符号量が小さいからといって本符号化にとって最適な圧縮条件とは限らない。そこで、符号化制御手段3では、仮符号化と本符号化の違いを補間するために符号量の補正を行うものとする。即ち、符号化制御手段3は、圧縮条件の評価において、縮小画像による仮符号化で求めた符号量を補正したデータを用いる。
以下に符号量Rを補正式の例を示す。
R=(仮符号化で出力された符号量)×(縮小率)×(補正係数)
上式において、(縮小率)は、例えば元の入力画像が1920×1080画素サイズ、縮小画像が720×480画素サイズの場合は(720×480)÷(1920×1080)=1/6とする。また、(補正係数)は、一つの方法として、図4に示すような元画像の周波数分布と縮小画像の周波数分布の違いによって代入する値を決定する。図4において、(a)は元画像の2次元周波数分布、(b)〜(d)は、縮小画像の2次元周波数分布である。
即ち、元画像の2次元周波数分布(図4(a)参照)と縮小画像の2次元周波数分布(図4(b)〜(d)参照)を求め、図4(b)のように、両者の傾斜角度が等しければ補正係数を1とし、図4(c)のように縮小画像が元画像に比べて角度が急であれば補正係数を大きくし、図4(d)のように角度が緩やかであれば補正係数を小さくするようなアルゴリズムを用いる。
R=(仮符号化で出力された符号量)×(縮小率)×(補正係数)
上式において、(縮小率)は、例えば元の入力画像が1920×1080画素サイズ、縮小画像が720×480画素サイズの場合は(720×480)÷(1920×1080)=1/6とする。また、(補正係数)は、一つの方法として、図4に示すような元画像の周波数分布と縮小画像の周波数分布の違いによって代入する値を決定する。図4において、(a)は元画像の2次元周波数分布、(b)〜(d)は、縮小画像の2次元周波数分布である。
即ち、元画像の2次元周波数分布(図4(a)参照)と縮小画像の2次元周波数分布(図4(b)〜(d)参照)を求め、図4(b)のように、両者の傾斜角度が等しければ補正係数を1とし、図4(c)のように縮小画像が元画像に比べて角度が急であれば補正係数を大きくし、図4(d)のように角度が緩やかであれば補正係数を小さくするようなアルゴリズムを用いる。
尚、2次元の周波数分布ではなく、画像信号の水平方向や垂直方向、あるいは時間方向における1次元の周波数分布を用いても良い。また、周波数分布の傾斜角度により補正係数を操作する以外に、周波数の平均値や分散値を元画像と縮小画像のそれぞれで求め、元画像と縮小画像との平均値や分散値の大小に基づいて補正係数を決定しても良い。
符号化制御手段3によって、入力画像に対する最適な圧縮条件が求められると、本符号化手段5は、符号化制御手段3から出力された圧縮条件に基づき、遅延手段4によって一定時間保持されている入力画像の符号化を行い、圧縮データとして出力する。
以上のように、実施の形態1の画像符号化装置によれば、入力画像の縮小画像を生成する縮小手段と、縮小画像を複数の圧縮条件で仮符号化する仮符号化手段と、仮符号化結果に基づいて、入力画像に対する圧縮条件を決定する符号化制御手段と、符号化制御手段が決定した圧縮条件に従って入力画像の本符号化を行う本符号化手段を備えたので、本符号化における最適な圧縮条件を抽出することができ、符号化性能の向上を実現することができる。
また、実施の形態1の画像符号化装置によれば、仮符号化手段は、複数のエンコーダユニットによって構成され、これらエンコーダユニットによって複数の圧縮条件の仮符号化を行うようにしたので、複数の圧縮条件の仮符号化を効率よく実施することができる。
また、実施の形態1の画像符号化装置によれば、縮小手段は、入力画像の低解像度化または入力画像の一部のエリアを切り出すことで縮小画像を生成するようにしたので、種々の条件での縮小画像を得ることができ、従って、偏りのない仮符号化結果を得ることができる。
また、実施の形態1の画像符号化装置によれば、縮小手段は、入力画像から複数の小エリアを切り出し、これら切り出したエリアを合成したフレームを縮小画像として生成するようにしたので、種々の条件での縮小画像を得ることができ、従って、偏りのない仮符号化結果を得ることができる。
また、実施の形態1の画像符号化装置によれば、縮小手段は、入力画像の複数のフレームから複数の小エリアを切り出し、これら切り出したエリアを合成して縮小画像を生成するようにしたので、種々の条件での縮小画像を得ることができ、従って、偏りのない仮符号化結果を得ることができる。
また、実施の形態1の画像符号化装置によれば、縮小手段は、入力画像を低解像度化して縮小画像を生成する方法と、入力画像から複数の小エリアを切り出し、これら小エリアを合成して縮小画像を生成する方法とを仮符号化に対応して選択すると共に、切り出した小エリアを合成して縮小画像を生成する方法を選択した場合は切り出し位置を仮符号化に対応して選択するようにしたので、種々の条件での縮小画像を得ることができ、従って、偏りのない仮符号化結果を得ることができる。
また、実施の形態1の画像符号化装置によれば、縮小手段は、入力画像を低解像度化して縮小画像を生成する方法と、入力画像から複数の小エリアを切り出し、これら小エリアを合成して縮小画像を生成する方法とをフレームまたはGOPの単位で選択すると共に、切り出した小エリアを合成して縮小画像を生成する方法を選択した場合は切り出し位置をフレームまたはGOPの単位で選択するようにしたので、種々の条件での縮小画像を得ることができ、従って、偏りのない仮符号化結果を得ることができる。
また、実施の形態1の画像符号化装置によれば、縮小手段は、入力画像から複数の小エリアを切り出し、これら小エリアを合成して縮小画像を生成する場合、小エリアの切り出し位置を画像の周波数分布または色分布によって適応的に変更するようにしたので、種々の条件での縮小画像を得ることができ、従って、偏りのない仮符号化結果を得ることができる。
また、実施の形態1の画像符号化装置によれば、仮符号化手段は、縮小画像におけるIピクチャまたはPピクチャの挿入周期を変えた条件で仮符号化を行うようにしたので、種々の条件で仮符号化を行うことができ、従って、偏りのない仮符号化結果を得ることができる。
また、実施の形態1の画像符号化装置によれば、仮符号化手段は、フレーム構造とフィールド構造の条件で仮符号化を行うようにしたので、種々の条件で仮符号化を行うことができ、従って、偏りのない仮符号化結果を得ることができる。
また、実施の形態1の画像符号化装置によれば、仮符号化手段は、動き補償予測の適用エリアの範囲を変えた条件で仮符号化を行うようにしたので、種々の条件で仮符号化を行うことができ、従って、偏りのない仮符号化結果を得ることができる。
また、実施の形態1の画像符号化装置によれば、仮符号化手段は、イントラ符号化の使用率を変えた条件で仮符号化を行うようにしたので、種々の条件で仮符号化を行うことができ、従って、偏りのない仮符号化結果を得ることができる。
また、実施の形態1の画像符号化装置によれば、仮符号化手段は、量子化スケールを変えた条件で仮符号化を行うようにしたので、種々の条件で仮符号化を行うことができ、従って、偏りのない仮符号化結果を得ることができる。
また、実施の形態1の画像符号化装置によれば、符号化制御手段は、入力画像を低解像度化して生成した縮小画像と、入力画像から複数の小エリアを切り出し、これら小エリアを合成して生成した縮小画像とを、それぞれ仮符号化手段で仮符号化した結果に基づいて動きの粗さを特定し、特定した結果に基づいて本符号化における動き補償予測の実施単位を決定するようにしたので、適正な動き補償予測を行うことができ、符号化性能を更に向上させることができる。
また、実施の形態1の画像符号化装置によれば、符号化制御手段は、圧縮条件の評価において、縮小画像による仮符号化で求めた符号量を補正したデータを用いるようにしたので、適正な圧縮条件をより精度よく求めることができ、符号化性能を更に向上させることができる。
また、実施の形態1の画像符号化プログラムによれば、画像符号化を行うコンピュータを、入力画像の縮小画像を生成する縮小手段と、縮小画像を複数の圧縮条件で仮符号化する仮符号化手段と、仮符号化結果に基づいて、入力画像に対する圧縮条件を決定する符号化制御手段と、符号化制御手段が決定した圧縮条件に従って入力画像の本符号化を行う本符号化手段として機能させるようにしたので、本符号化における最適な圧縮条件を抽出することができ、符号化性能の向上を実現することのできる画像符号化装置をコンピュータ上に実現させることができる。
実施の形態2.
図5は、この発明の実施の形態2に係る画像符号化装置の構成を示すブロック図である。
実施の形態2の画像符号化装置は、縮小・分配手段1、仮符号化手段2a、符号化制御手段3、遅延手段4、本符号化手段5からなり、仮符号化手段2a以外は実施の形態1の構成と同様である。実施の形態2の仮符号化手段2aは、仮符号化器が1台または実施の形態1の仮符号化手段2に比べて少数台で構成されている。そして、仮符号化手段2aは、用いる符号化器を1台または少数台とする代わりに、異なる仮符号化を時分割で実施するよう構成されている。
図5は、この発明の実施の形態2に係る画像符号化装置の構成を示すブロック図である。
実施の形態2の画像符号化装置は、縮小・分配手段1、仮符号化手段2a、符号化制御手段3、遅延手段4、本符号化手段5からなり、仮符号化手段2a以外は実施の形態1の構成と同様である。実施の形態2の仮符号化手段2aは、仮符号化器が1台または実施の形態1の仮符号化手段2に比べて少数台で構成されている。そして、仮符号化手段2aは、用いる符号化器を1台または少数台とする代わりに、異なる仮符号化を時分割で実施するよう構成されている。
図6に、本実施の形態において仮符号化手段2aで扱う縮小画像を示す。
図示のように、仮符号化手段2aに入力される縮小画像は、生成した縮小画像またはその一部を複製し、それらを一面に並べた形の合成画像を仮符号化の対象とする。この例では、エリア#1として縮小画像のオリジナルを、エリア#2としてその複製1、エリア#3では複製2、エリア#4では複製3といったように四つのエリアからなる縮小画像とする。
図示のように、仮符号化手段2aに入力される縮小画像は、生成した縮小画像またはその一部を複製し、それらを一面に並べた形の合成画像を仮符号化の対象とする。この例では、エリア#1として縮小画像のオリジナルを、エリア#2としてその複製1、エリア#3では複製2、エリア#4では複製3といったように四つのエリアからなる縮小画像とする。
仮符号化手段2aにおける1台または少数台の符号化器が、時分割によりオリジナルのエリア(エリア#1)及び各複製エリア(エリア#2〜#4)をそれぞれ異なる圧縮条件で符号化し、各エリアで発生する画像歪み及び符号量を符号化制御手段3へ出力する。符号化制御手段3では、これらの値を比較評価することで、最適な圧縮条件を導出する。符号化制御手段3からの条件に応じて本符号化手段5が本符号化を行うのは実施の形態1と同様である。
あるいは、縮小画像の形式は実施の形態1と同様のものとし、仮符号化手段において、エンコーダデバイスのスレッディング処理によって仮想的に複数台の仮符号化器が存在するかのごとく動作させる方法を用いても良い。
以上のように、実施の形態2の画像符号化装置によれば、仮符号化手段は、仮符号化を時分割処理で行うようにしたので、実施の形態1と同様の効果が得られると共に、仮符号化手段の構成を簡素化することができる。
また、実施の形態2の画像符号化装置によれば、仮符号化手段は、縮小画像またはその一部を複製し、それらを一面に並べた形の合成画像を仮符号化の対象として、各エリアを異なる圧縮条件で仮符号化するようにしたので、仮符号化を時分割で行う際の効率を向上させることができる。
1 縮小・分配手段、2,2a 仮符号化手段表示部、2−1,2−2,…,2−n 仮符号化器、3 符号化制御手段、4 遅延手段、5 本符号化手段。
Claims (18)
- 入力画像の縮小画像を生成する縮小手段と、
前記縮小画像を複数の圧縮条件で仮符号化する仮符号化手段と、
前記仮符号化結果に基づいて、前記入力画像に対する圧縮条件を決定する符号化制御手段と、
前記符号化制御手段が決定した圧縮条件に従って前記入力画像の本符号化を行う本符号化手段を備えた画像符号化装置。 - 仮符号化手段は、複数のエンコーダユニットによって構成され、これらエンコーダユニットによって複数の圧縮条件の仮符号化を行うことを特徴とする請求項1記載の画像符号化装置。
- 縮小手段は、入力画像の低解像度化または当該入力画像の一部のエリアを切り出すことで縮小画像を生成することを特徴とする請求項1または請求項2記載の画像符号化装置。
- 縮小手段は、入力画像から複数の小エリアを切り出し、これら切り出したエリアを合成したフレームを縮小画像として生成することを特徴とする請求項1または請求項2記載の画像符号化装置。
- 縮小手段は、入力画像の複数のフレームから複数の小エリアを切り出し、これら切り出したエリアを合成して縮小画像を生成することを特徴とする請求項1または請求項2記載の画像符号化装置。
- 縮小手段は、入力画像を低解像度化して縮小画像を生成する方法と、当該入力画像から複数の小エリアを切り出し、これら小エリアを合成して縮小画像を生成する方法とを仮符号化に対応して選択すると共に、前記切り出した小エリアを合成して縮小画像を生成する方法を選択した場合は切り出し位置を仮符号化に対応して選択することを特徴とする請求項1または請求項2記載の画像符号化装置。
- 縮小手段は、入力画像を低解像度化して縮小画像を生成する方法と、当該入力画像から複数の小エリアを切り出し、これら小エリアを合成して縮小画像を生成する方法とをフレームまたはGOPの単位で選択すると共に、前記切り出した小エリアを合成して縮小画像を生成する方法を選択した場合は切り出し位置をフレームまたはGOPの単位で選択することを特徴とする請求項1または請求項2または請求項6記載の画像符号化装置。
- 縮小手段は、入力画像から複数の小エリアを切り出し、これら小エリアを合成して縮小画像を生成する場合、前記小エリアの切り出し位置を画像の周波数分布または色分布によって適応的に変更することを特徴とする請求項1から請求項7のうちのいずれか1項記載の画像符号化装置。
- 仮符号化手段は、縮小画像におけるIピクチャまたはPピクチャの挿入周期を変えた条件で仮符号化を行うことを特徴とする請求項1から請求項8のうちのいずれか1項記載の画像符号化装置。
- 仮符号化手段は、フレーム構造とフィールド構造の条件で仮符号化を行うことを特徴とする請求項1から請求項8のうちのいずれか1項記載の画像符号化装置。
- 仮符号化手段は、動き補償予測の適用エリアの範囲を変えた条件で仮符号化を行うことを特徴とする請求項1から請求項10のうちのいずれか1項記載の画像符号化装置。
- 仮符号化手段は、イントラ符号化の使用率を変えた条件で仮符号化を行うことを特徴とする請求項1から請求項11のうちのいずれか1項記載の画像符号化装置。
- 仮符号化手段は、量子化スケールを変えた条件で仮符号化を行うことを特徴とする請求項1から請求項11のうちのいずれか1項記載の画像符号化装置。
- 符号化制御手段は、入力画像を低解像度化して生成した縮小画像と、当該入力画像から複数の小エリアを切り出し、これら小エリアを合成して生成した縮小画像とを、それぞれ仮符号化手段で仮符号化した結果に基づいて動きの粗さを特定し、当該特定した結果に基づいて本符号化における動き補償予測の実施単位を決定することを特徴とする請求項1または請求項2記載の画像符号化装置。
- 符号化制御手段は、圧縮条件の評価において、縮小画像による仮符号化で求めた符号量を補正したデータを用いることを特徴とする請求項1から請求項14のうちのいずれか1項記載の画像符号化装置。
- 仮符号化手段は、仮符号化を時分割処理で行うことを特徴とする請求項1から請求項15のうちのいずれか1項記載の画像符号化装置。
- 仮符号化手段は、縮小画像またはその一部を複製し、それらを一面に並べた形の合成画像を仮符号化の対象として、各エリアを異なる圧縮条件で仮符号化することを特徴とする請求項16記載の画像符号化装置。
- 画像符号化を行うコンピュータを、
入力画像の縮小画像を生成する縮小手段と、
前記縮小画像を複数の圧縮条件で仮符号化する仮符号化手段と、
前記仮符号化結果に基づいて、前記入力画像に対する圧縮条件を決定する符号化制御手段と、
前記符号化制御手段が決定した圧縮条件に従って前記入力画像の本符号化を行う本符号化手段として機能させるための画像符号化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007221354A JP2009055440A (ja) | 2007-08-28 | 2007-08-28 | 画像符号化装置および画像符号化プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007221354A JP2009055440A (ja) | 2007-08-28 | 2007-08-28 | 画像符号化装置および画像符号化プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009055440A true JP2009055440A (ja) | 2009-03-12 |
Family
ID=40506080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007221354A Pending JP2009055440A (ja) | 2007-08-28 | 2007-08-28 | 画像符号化装置および画像符号化プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009055440A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6444576A (en) * | 1987-08-12 | 1989-02-16 | Matsushita Electric Ind Co Ltd | Arithmetic circuit |
JP2013258465A (ja) * | 2012-06-11 | 2013-12-26 | Nippon Hoso Kyokai <Nhk> | 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム |
WO2015118841A1 (ja) * | 2014-02-10 | 2015-08-13 | 日本電気株式会社 | 映像符号化装置、映像符号化方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05191651A (ja) * | 1992-01-13 | 1993-07-30 | Toshiba Corp | 画像符号化装置 |
JPH09284767A (ja) * | 1996-02-13 | 1997-10-31 | Fuji Film Micro Device Kk | 画像圧縮システムおよび画像圧縮方法 |
JP2002016912A (ja) * | 2000-06-28 | 2002-01-18 | Mitsubishi Electric Corp | 動画像符号化装置 |
JP2006229659A (ja) * | 2005-02-18 | 2006-08-31 | Fujitsu Ltd | 動画像圧縮方法及び装置並びにプログラム |
-
2007
- 2007-08-28 JP JP2007221354A patent/JP2009055440A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05191651A (ja) * | 1992-01-13 | 1993-07-30 | Toshiba Corp | 画像符号化装置 |
JPH09284767A (ja) * | 1996-02-13 | 1997-10-31 | Fuji Film Micro Device Kk | 画像圧縮システムおよび画像圧縮方法 |
JP2002016912A (ja) * | 2000-06-28 | 2002-01-18 | Mitsubishi Electric Corp | 動画像符号化装置 |
JP2006229659A (ja) * | 2005-02-18 | 2006-08-31 | Fujitsu Ltd | 動画像圧縮方法及び装置並びにプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6444576A (en) * | 1987-08-12 | 1989-02-16 | Matsushita Electric Ind Co Ltd | Arithmetic circuit |
JP2013258465A (ja) * | 2012-06-11 | 2013-12-26 | Nippon Hoso Kyokai <Nhk> | 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム |
WO2015118841A1 (ja) * | 2014-02-10 | 2015-08-13 | 日本電気株式会社 | 映像符号化装置、映像符号化方法およびプログラム |
JPWO2015118841A1 (ja) * | 2014-02-10 | 2017-03-23 | 日本電気株式会社 | 映像符号化装置、映像符号化方法およびプログラム |
US10116944B2 (en) | 2014-02-10 | 2018-10-30 | Nec Corporation | Video encoding device, video encoding method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11546627B2 (en) | Moving picture decoding method and moving picture encoding method | |
JP7268599B2 (ja) | 情報処理装置および方法 | |
KR101791858B1 (ko) | 화상 부호화장치, 화상 부호화방법 및 기록 매체, 화상복호장치, 화상복호방법 및 기록 매체 | |
US7460042B2 (en) | Encoding circuit, decoding circuit, encoder circuit, decoder circuit, and CABAC processing method | |
JPH08256266A (ja) | 画像符号化方式 | |
WO2012096150A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
CN101584215A (zh) | 综合空时预测 | |
JP6837110B2 (ja) | 動画像復号方法 | |
JP2006148419A (ja) | 画像符号化装置,画像符号化方法,画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP2009055440A (ja) | 画像符号化装置および画像符号化プログラム | |
JP2006518157A (ja) | オブジェクトベースの動き補償の方法及び装置 | |
KR101331052B1 (ko) | 스테레오 매칭 결과를 개선하는 장치, 상기 장치를 이용한 스테레오 매칭 결과를 개선 방법 및 스테레오 매칭 결과를 수신하는 시스템 | |
JP2010278519A (ja) | 動きベクトル検出装置 | |
JP5043849B2 (ja) | ビデオシーケンスにおける可変形状動き推定 | |
JP2007151062A (ja) | 画像符号化装置、画像復号装置及び画像処理システム | |
WO2012128209A1 (ja) | 画像符号化装置、画像復号装置、プログラムおよび符号化データ | |
JP4373423B2 (ja) | 映像符号化方法,映像符号化装置,映像符号化プログラムおよびその記録媒体 | |
US20130208807A1 (en) | Method for coding and method for reconstruction of a block of an image sequence and corresponding devices | |
JP7027044B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム | |
JP3734488B2 (ja) | 画像符号化装置 | |
JP5222878B2 (ja) | イントラ予測装置、符号化器、復号器及びプログラム | |
JP2009272969A (ja) | 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法 | |
US20230245425A1 (en) | Image processing apparatus, image processing method and storage medium | |
JP2020028067A (ja) | 画像符号化装置、画像復号装置、及びプログラム | |
Karthik Ganesh et al. | RETRACTED ARTICLE: Development of video compression using EWNS linear transformation and un-repetition simulated contrary based resurgence procedure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120104 |