JPH08294127A - 画像圧縮装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像圧縮装置において、画面を構成する各オ
ブジェクトの速度を認識し、速度の速いオブジェクトは
画質を落し、速度が速いオブジェクトは更新するフレー
ムの数を減らすことにより、高圧縮率を実現する。 【構成】 入力部２１から入力されたオブジェクトの画
像情報及び位置情報は、最初のフレームに対しては、そ
のまま圧縮され、また、位置情報は記憶部２２、画像情
報は画像記憶部２５に記憶される。２つめ以降のフレー
ムでは、出力部から画像が出力された時に、位置情報が
記憶部２２に記憶され、画像情報が画像記憶部２５に格
納される。さらに、位置比較部２３に入力された位置情
報から差分値を計算し、差分値が小さい場合は出力部２
４から画像情報を出力しないようにし、差分値が大きい
場合は画像圧縮部２６で圧縮する際に画質を落して高圧
縮にする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、オブジェクト毎に圧縮
率を変化させ高圧縮を実現する画像圧縮装置に関するも
のである。

【０００２】

【従来の技術】近年、次世代の画像圧縮技術としてMPEG
4標準規格の議論が進んでいる。MPEG4の実現案として、
階層別圧縮方法が提案されている。

【０００３】これは、画像を背景となる部分と動きを持
つものにわけ、それぞれをオブジェクトと定義し、最初
のフレームに対してその画像情報全体を送り、以降のフ
レームでは背景以外のオブジェクトの差分情報のみを送
るものである。図を用いて、従来の画像圧縮装置につい
て具体的に説明する。

【０００４】図９は、サンプルとなる動画の最初から４
フレームを表している。画面は、背景となる「山」と、
遅い速度で画面上を移動する「人」と、速い速度で移動
する「車」から構成される。

【０００５】画像は、動きのまとまったオブジェクト毎
に入力され、それぞれが、画像情報と画面上の位置の情
報からなる。

【０００６】図７は、従来の画像圧縮装置を表してい
る。３１はオブジェクト毎に画像情報と位置情報を入力
する入力部で、３２は各オブジェクトの前のフレームで
の画像情報を記憶する画像記憶部で、３３は前フレーム
での画像情報及び現フレームの画像情報を用いて画像を
圧縮する画像圧縮部である。

【０００７】最初のフレームでは、入力された画像情報
はそのままオブジェクトに対応する画像記憶部３２に記
憶され、画像圧縮部３３で圧縮されて出力する。

【０００８】２つ目のフレーム以降では、背景の画像情
報は出力されない。それ以外のオブジェクトに関して
は、前のフレームで画像記憶部３３に格納された画像情
報と今の画像情報の差分を圧縮して画像圧縮情報を出力
する。

【０００９】この様子を図８の圧縮データ図を使って説
明する。最初のフレームにおいては、背景、人、車が、
それぞれ、４単位のデータ量に圧縮される(位置情報は
微小なのでこのチャートでは無視している)。それに続
くフレームでは、背景は静止しているので出力しない
が、それ以外の人と車に関しては前フレームの画像との
差分を送るので、最初のフレームよりは小さい量のデー
タを出力することになる。ここでは、それぞれ、２単位
のデータ量に圧縮されるとしている。

【００１０】したがって、従来例の画像圧縮装置であれ
ば、４フレーム分の動画が、２４単位のデータ量に圧縮
できることになる。

【００１１】

【発明が解決しようとする課題】上記従来の画像圧縮装
置の構成では、各オブジェクトの持つ位置情報の差分、
すなわち、画面に対する速度というものが考慮されてお
らず、速度の速いものに対しても遅いものに対しても、
動きのあるオブジェクトは均一に圧縮している。

【００１２】また、カメラがパンするような画面に対し
ては背景自体も移動するので、この圧縮方法では高い圧
縮は望めない。

【００１３】本発明は、上記問題点を解決するために、
オブジェクトの動き情報に基づいたより高圧縮な画像圧
縮装置を提供することを目的とする。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、オブジェクトの画像情報とともに入力さ
れる位置情報の差分値を用い、その差分値にしたがって
画像出力のオンオフを制御し、差分値が大きいオブジェ
クトは多くのフレームで画像情報を出力し、位置差分値
が小さいオブジェクトは、画像情報を出力するフレーム
を間引く。

【００１５】また、同じく位置情報の差分値を用いて、
画像圧縮する際に、差分値が大きいオブジェクトは目に
見える感度(動体視力)が低下するという特性を利用し
て、画質を落す(量子化を粗くする)代わりにより高圧縮
にする方法を用いる。

【００１６】具体的に説明すると、本発明の画像圧縮装
置は、画面上で同一動きをするオブジェクト毎に圧縮す
る装置であって、オブジェクトの位置情報と画像情報を
入力する入力部と、前記オブジェクトの位置情報を保持
する複数の記憶部と、前記入力部からの位置情報と前記
記憶部に格納されている位置情報の差分を計算する位置
比較部と、前記オブジェクトの画像情報と位置情報を出
力する出力部と、前記出力部から出力された画像情報を
格納する複数の画像記憶部と、前記出力部から出力され
た画像情報と前記画像記憶部からの出力を入力とし画像
圧縮をする画像圧縮部と、前記画像圧縮部から出力され
た画像圧縮情報と前記出力部から出力された位置情報を
出力する画像出力部を備え、最初のフレームにおいて
は、画面を構成する前記オブジェクト毎に、前記入力部
から入力された位置情報と画像情報を前記記憶部に格納
し、前記画像情報を前記出力部から出力し、前記出力部
から出力された画像情報を前記画像記憶部に格納し、か
つ、前記画像圧縮部で圧縮された画像圧縮情報を前記画
像出力部に出力し、前記出力部から出力された位置情報
を前記画像出力部に出力し、２つめ以降のフレームに対
しては、画面を構成する前記オブジェクト毎に、前記入
力部から入力された位置情報と前記記憶部に格納されて
いる位置情報の差分を前記位置比較部で計算し、その差
分値が一定値より大きい場合に、前記入力部から入力さ
れた画像情報を前記出力部から出力し、前記出力部から
出力されたオブジェクトの画像情報が記憶されている前
記画像記憶部の内容と該画像情報とから画像を圧縮し前
記画像出力部に画像圧縮情報を出力し、前記記憶部の内
容を読み出した後に、前記出力部から出力された画像情
報を前記画像記憶部に格納し、前記出力部から出力され
た位置情報を前記画像出力部に出力することを特徴とす
るものである。

【００１７】また、画面上で同一動きをするオブジェク
ト毎に圧縮する装置であって、オブジェクトの位置情報
と画像情報を入力する入力部と、前記オブジェクトの位
置情報を保持する複数の記憶部と、前記入力部からの位
置情報と前記記憶部に格納されている位置情報の差分を
計算する位置比較部と、前記オブジェクトの画像情報と
位置情報を出力する出力部と、前記出力部から出力され
た画像情報を格納する複数の画像記憶部と、前記出力部
から出力された画像情報と前記画像記憶部からの出力を
入力とし画像圧縮をする画像圧縮部と、前記画像圧縮部
から出力された画像圧縮情報と前記出力部から出力され
た位置情報を出力する画像出力部を備え、最初のフレー
ムにおいては、画面を構成する前記オブジェクト毎に、
前記入力部から入力された位置情報と画像情報を前記記
憶部に格納し、前記画像情報を前記出力部から出力し、
前記出力部から出力された画像情報を前記画像記憶部に
格納し、かつ、前記画像圧縮部で圧縮された画像圧縮情
報を前記画像出力部に出力し、前記出力部から出力され
た位置情報を前記画像出力部に出力し、２つめ以降のフ
レームに対しては、画面を構成する前記オブジェクト毎
に、前記入力部から入力された位置情報と前記記憶部に
格納されている位置情報の差分を前記位置比較部で計算
し、その差分値を前記画像圧縮部に出力し、前記入力部
から入力された画像情報を前記出力部から出力し、前記
出力部から出力されたオブジェクトの画像情報が記憶さ
れている前記画像記憶部の内容と該画像情報とを入力と
し、前記位置比較部からの差分情報に基づいた圧縮率
で、画像を圧縮し前記画像出力部に画像圧縮情報を出力
し、前記記憶部の内容を読み出した後に、前記出力部か
ら出力された画像情報を前記画像記憶部に格納し、前記
出力部から出力された位置情報を前記画像出力部に出力
することを特徴とするものである。

【００１８】さらに上記に加え、２つめ以降のフレーム
に対しては、画面を構成する前記オブジェクト毎に、前
記入力部から入力された位置情報と前記記憶部に格納さ
れている位置情報の差分を前記位置比較部で計算し、そ
の差分値が一定値より大きい場合にのみ、前記入力部か
ら入力された画像情報を前記出力部から出力することを
特徴とするものである。

【００１９】

【作用】本発明によれば、オブジェクトの画像情報とと
もに入力される位置情報の差分値を用い、その差分値に
したがって画像出力のオンオフを制御し、差分値が大き
いオブジェクトは多くのフレームで画像情報を出力し、
位置差分値が小さいオブジェクトは、画像情報を出力す
るフレームを間引くようにしたので、動きの小さいオブ
ジェクトの画像情報を送らないことによって、より高圧
縮な画像圧縮装置が提供できる。

【００２０】また、位置情報の差分値を用い、画像圧縮
する際に、差分値が大きいオブジェクトは目に見える感
度(動体視力)が低下するという特性を利用して 、画質
を落す(量子化を粗くする)ようにするので、その分、よ
り高い圧縮率が得られる。

【００２１】また、上記両方の特徴から、動きの遅いオ
ブジェクトの画像を送らないこと及び動きの速いオブジ
ェクトに対しては画質を落すことの両メリットにより、
従来例よりもより高い圧縮率の画像圧縮装置が得られ
る。

【００２２】また、いずれの発明においても、背景を区
別して圧縮しているのではなく、背景は動きが極めて遅
いオブジェクトだと認識しているので、画面がパンする
ような動画でも背景の圧縮は可能となる。

【００２３】

【実施例】以下本発明の実施例の画像圧縮装置につい
て、図面を参照しながら説明する。

【００２４】図１は本発明の実施例１における画像圧縮
装置の概略構成図を示すものである。

【００２５】図１において、１は画像情報及び位置情報
を入力する入力部、２はオブジェクト毎の位置情報を記
憶する記憶部、３は記憶部２に記憶されている位置情報
と入力部１から入力された位置情報からその差分をとる
位置比較部、４は入力部１からの画像情報及び位置情報
を入力とし、位置比較部３から出力される差分値にした
がって、該情報を出力の制御を行なう出力部、５はオブ
ジェクト毎の画像情報を記憶する画像記憶部、６は画像
記憶部５に格納されている画像情報と出力部４から出力
されてくる画像情報から圧縮した画像情報を生成する画
像圧縮部、７は圧縮された画像圧縮情報及び位置情報を
出力する画像出力部である。

【００２６】最初のフレームでは、入力された位置情報
はオブジェクトに対応した記憶部２に格納され、また画
像情報は出力部４を経て、オブジェクトに対応した画像
記憶部５に格納される。さらに、該画像情報は、画像圧
縮部６で圧縮され、画像出力部７より出力される。

【００２７】２つ目のフレーム以降では、各オブジェク
トに対し、その位置情報と記憶部２に格納されている前
の位置情報の差分をとり、その差分値が一定以上の場合
は、出力部４から画像情報を出力し、かつ、記憶部２の
内容を新しい位置情報で書き直す。しかし、差分値が一
定値以下の場合は、記憶部２の書き替え及び出力部４か
らの出力のいずれも行なわない。つまり、移動の割合が
少ないオブジェクトは移動値が大きくなるまで画像の更
新を行なわなくても、画面全体の画質に与える影響は少
ないと考えられる。

【００２８】この様子を図４の圧縮データ図を使って説
明する。最初のフレームにおいては、従来例と同様に、
背景、人、車が、それぞれ、４単位のデータ量に圧縮さ
れる。それに続くフレームでは、背景は静止しているの
で出力せず、人と車に関しては出力を行なう。しかし、
車の速度に比べ人の速度(移動値)は小さいので、人の画
像は２フレーム毎に更新するようにする。

【００２９】更新のための画像圧縮情報は、従来例と同
じ２単位のデータ量であるが、人のオブジェクトに対す
るデータ量を少なくできるので、実施例１の画像圧縮装
置であれば、４フレーム分の動画が、２０単位(従来例
では２４単位)のデータ量に圧縮できることになる。

【００３０】図２は本発明の実施例２における画像圧縮
装置の概略構成図を示すものである。

【００３１】図２において、１１は画像情報及び位置情
報を入力する入力部、１２はオブジェクト毎の位置情報
を記憶する記憶部、１３は記憶部１２に記憶されている
位置情報と入力部１１から入力された位置情報からその
差分をとる位置比較部、 １４は入力部１１からの画像
情報及び位置情報を出力する出力部、１５はオブジェク
ト毎の画像情報を記憶する画像記憶部、１６は画像記憶
部１５に格納されている画像情報と出力部１４から出力
されてくる画像情報を位置比較部１３から出力される差
分値を元に圧縮する画像圧縮部、１７は圧縮された画像
圧縮情報及び位置情報を出力する画像出力部である。

【００３２】最初のフレームでは、入力された位置情報
はオブジェクトに対応した記憶部１２に格納され、また
画像情報は出力部１４を経て、オブジェクトに対応した
画像記憶部１５に格納される。さらに、該画像情報は、
画像圧縮部１６で圧縮され、画像出力部１７から出力さ
れる。

【００３３】２つ目のフレーム以降では、各オブジェク
トに対し、その位置情報と記憶部１２に格納されている
前の位置情報の差分をとり、その差分値にしたがって、
画像圧縮部１６での画像圧縮の圧縮率に変化をつける。

【００３４】つまり、一般に人間の動体に対する視覚の
感度は低いので、差分値が大きいオブジェクトは、速度
が速いと考え、 そういうオブジェクトの圧縮は画質を
落して高圧縮にする。しかし、速度が遅いオブジェクト
は画質優先で圧縮するので、画面全体の画質に与える影
響は少ないと考えられる。

【００３５】この様子を図５の圧縮データ図を使って説
明する。最初のフレームにおいては、従来例と同様に、
背景、人、車が、それぞれ、４単位のデータ量に圧縮さ
れる。それに続くフレームでは、背景は静止しているの
で出力せず、人と車に関しては出力を行なう。しかし、
車の速度は人の速度よりも速いので、従来２単位のデー
タに圧縮していたものを１単位で圧縮するようにする。

【００３６】つまり、車の画像の更新のための画像圧縮
情報が従来例の半分になるので、実施例２の画像圧縮装
置であれば、４フレーム分の動画が、２１単位(従来例
では２４単位)のデータ量に圧縮できることになる。

【００３７】図３は本発明の実施例３における画像圧縮
装置の概略構成図を示すものである。

【００３８】図３において、２１は画像情報及び位置情
報を入力する入力部、２２はオブジェクト毎の位置情報
を記憶する記憶部、２３は記憶部２２に記憶されている
位置情報と入力部２１から入力された位置情報からその
差分をとる位置比較部、２４は入力部２１からの画像情
報及び位置情報を入力とし、位置比較部２３から出力さ
れる差分値にしたがって、該情報を出力の制御を行なう
出力部、２５はオブジェクト毎の画像情報を記憶する画
像記憶部、２６は画像記憶部２５に格納されている画像
情報と出力部２４から出力されてくる画像情報を位置比
較部２３から出力される差分値を元に圧縮する画像圧縮
部、２７は圧縮された画像圧縮情報及び位置情報を出力
する画像出力部である。

【００３９】最初のフレームでは、入力された位置情報
はオブジェクトに対応した記憶部２２に格納され、また
画像情報は出力部２４を経て、オブジェクトに対応した
画像記憶部２５に格納される。さらに、該画像情報は、
画像圧縮部２６で圧縮され、画像出力部２７から出力さ
れる。

【００４０】２つ目のフレーム以降では、各オブジェク
トに対し、その位置情報と記憶部２に格納されている前
の位置情報の差分をとり、その差分値が一定以上の場合
は、出力部４から画像情報を出力し、かつ、記憶部２の
内容を新しい位置情報で書き直す。しかし、差分値が一
定値以下の場合は、記憶部２の書き替え及び出力部４か
らの出力のいずれも行なわない。また、位置比較部１２
から出力された差分値にしたがって、画像圧縮部１６で
の画像圧縮の圧縮率に変化をつける。

【００４１】つまり、実施例３は実施例１及び実施例２
の効果の相乗効果を得られる。この様子を図６の圧縮デ
ータ図を使って説明する。

【００４２】最初のフレームにおいては、従来例と同様
に、背景、人、車が、それぞれ、４単位のデータ量に圧
縮される。それに続くフレームでは、車は速度が高いの
で１単位のデータで圧縮され、人は速度が遅いので２フ
レーム毎に更新される。

【００４３】実施例３の画像圧縮装置であれば、４フレ
ーム分の動画が、１７単位(従来例では２４単位)のデー
タ量に圧縮できることになる。

【００４４】

【発明の効果】本発明は、上記した構成により、オブジ
ェクトの位置の差分、すなわち、画面に対する速度に従
って、速度の速いオブジェクトの画質を落して高圧縮を
実現し、また、速度の遅いオブジェクトは画像を更新す
るフレームを減らすことによりデータ量の削減を行なう
ものである。

【００４５】また、従来、背景がパンするような画像に
対しては、背景の圧縮が難しかったが、本発明では背景
認識を必要とせず、速度の遅いオブジェクトととらえる
ので、同じ圧縮方法で高い圧縮率を得ることができる。

【図面の簡単な説明】

【図１】本発明の実施例１における画像圧縮装置の概略
構成図

【図２】本発明の実施例２における画像圧縮装置の概略
構成図

【図３】本発明の実施例３における画像圧縮装置の概略
構成図

【図４】本発明の実施例１における圧縮データ図

【図５】本発明の実施例２における圧縮データ図

【図６】本発明の実施例３における圧縮データ図

【図７】従来例の画像圧縮装置の概略構成図

【図８】従来例の圧縮データ図

【図９】従来例及び本発明を説明するための動画例を示
す図

【符号の説明】 １，１１，２１ 入力部 ２，１２，２２ 記憶部 ３，１３，２３ 位置比較部 ４，１４，２４ 出力部 ５，１５，２５ 画像記憶部 ６，１６，２６ 画像圧縮部 ７，１７，２７ 画像出力部

Claims (3)

【特許請求の範囲】
1. 【請求項１】画面上で同一動きをするオブジェクト毎に
   圧縮する装置において、 オブジェクトの位置情報と画像情報を入力する入力部
   と、 前記オブジェクトの位置情報を保持する複数の記憶部
   と、 前記入力部からの位置情報と前記記憶部に格納されてい
   る位置情報の差分を計算する位置比較部と、 前記オブジェクトの画像情報と位置情報を出力する出力
   部と、 前記出力部から出力された画像情報を格納する複数の画
   像記憶部と、 前記出力部から出力された画像情報と前記画像記憶部か
   らの出力を入力とし画像圧縮をする画像圧縮部と、 前記画像圧縮部から出力された画像圧縮情報と前記出力
   部から出力された位置情報を出力する画像出力部を備
   え、 最初のフレームにおいては、 画面を構成する前記オブジェクト毎に、前記入力部から
   入力された位置情報と画像情報を前記記憶部に格納し、 前記画像情報を前記出力部から出力し、 前記出力部から出力された画像情報を前記画像記憶部に
   格納し、 かつ、前記画像圧縮部で圧縮された画像圧縮情報を前記
   画像出力部に出力し、 前記出力部から出力された位置情報を前記画像出力部に
   出力し、２つめ以降のフレームに対しては、 画面を構成する前記オブジェクト毎に、前記入力部から
   入力された位置情報と前記記憶部に格納されている位置
   情報の差分を前記位置比較部で計算し、 その差分値が一定値より大きい場合に、前記入力部から
   入力された画像情報を前記出力部から出力し、 前記出力部から出力されたオブジェクトの画像情報が記
   憶されている前記画像記憶部の内容と該画像情報とから
   画像を圧縮し前記画像出力部に画像圧縮情報を出力し、 前記記憶部の内容を読み出した後に、前記出力部から出
   力された画像情報を前記画像記憶部に格納し、 前記出力部から出力された位置情報を前記画像出力部に
   出力することを特徴とする画像圧縮装置。
2. 【請求項２】画面上で同一動きをするオブジェクト毎に
   圧縮する装置において、 オブジェクトの位置情報と画像情報を入力する入力部
   と、 前記オブジェクトの位置情報を保持する複数の記憶部
   と、 前記入力部からの位置情報と前記記憶部に格納されてい
   る位置情報の差分を計算する位置比較部と、 前記オブジェクトの画像情報と位置情報を出力する出力
   部と、 前記出力部から出力された画像情報を格納する複数の画
   像記憶部と、 前記出力部から出力された画像情報と前記画像記憶部か
   らの出力を入力とし画像圧縮をする画像圧縮部と、 前記画像圧縮部から出力された画像圧縮情報と前記出力
   部から出力された位置情報を出力する画像出力部を備
   え、 最初のフレームにおいては、 画面を構成する前記オブジェクト毎に、前記入力部から
   入力された位置情報と画像情報を前記記憶部に格納し、 前記画像情報を前記出力部から出力し、 前記出力部から出力された画像情報を前記画像記憶部に
   格納し、 かつ、前記画像圧縮部で圧縮された画像圧縮情報を前記
   画像出力部に出力し、 前記出力部から出力された位置情報を前記画像出力部に
   出力し、２つめ以降のフレームに対しては、 画面を構成する前記オブジェクト毎に、前記入力部から
   入力された位置情報と前記記憶部に格納されている位置
   情報の差分を前記位置比較部で計算し、 その差分値を前記画像圧縮部に出力し、 前記入力部から入力された画像情報を前記出力部から出
   力し、 前記出力部から出力されたオブジェクトの画像情報が記
   憶されている前記画像記憶部の内容と該画像情報とを入
   力とし、前記位置比較部からの差分情報に基づいた圧縮
   率で、画像を圧縮し前記画像出力部に画像圧縮情報を出
   力し、 前記記憶部の内容を読み出した後に、前記出力部から出
   力された画像情報を前記画像記憶部に格納し、 前記出力部から出力された位置情報を前記画像出力部に
   出力することを特徴とする画像圧縮装置。
3. 【請求項３】請求項２の画像圧縮装置において、 ２つめ以降のフレームに対しては、 画面を構成する前記オブジェクト毎に、前記入力部から
   入力された位置情報と前記記憶部に格納されている位置
   情報の差分を前記位置比較部で計算し、 その差分値が一定値より大きい場合にのみ、 前記入力部から入力された画像情報を前記出力部から出
   力することを特徴とする画像圧縮装置。