JP2004289600A - 画像符号化装置、画像符号化方法及びプログラム - Google Patents
画像符号化装置、画像符号化方法及びプログラム Download PDFInfo
- Publication number
- JP2004289600A JP2004289600A JP2003080398A JP2003080398A JP2004289600A JP 2004289600 A JP2004289600 A JP 2004289600A JP 2003080398 A JP2003080398 A JP 2003080398A JP 2003080398 A JP2003080398 A JP 2003080398A JP 2004289600 A JP2004289600 A JP 2004289600A
- Authority
- JP
- Japan
- Prior art keywords
- image
- shooting mode
- search
- mode
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Studio Devices (AREA)
Abstract
【課題】従来より精度のよく動き予測が行うことが可能な画像符号化装置、画像符号化方法及びプログラムを提供することを目的とする。
【解決手段】撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを動き補償予測部103に入力し、動画像の撮影モードを制御部113に入力し、制御部113で撮影モードに応じて動き予測のための探索範囲を変更し、動き補償予測部103で画像ブロックと相関の高い参照画像ブロックを探索する。
【選択図】 図1
【解決手段】撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを動き補償予測部103に入力し、動画像の撮影モードを制御部113に入力し、制御部113で撮影モードに応じて動き予測のための探索範囲を変更し、動き補償予測部103で画像ブロックと相関の高い参照画像ブロックを探索する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は画像符号化装置、画像符号化方法及びプログラムに関し、特に撮影モードに応じて符号化処理を変更することに関するものである。
【0002】
【従来の技術】
図9は、従来の技術を用いた画像符号化装置を表すブロック図である。図9において、901はレンズや撮像素子を含み映像を撮影する撮像部、902はガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を実行する画像信号処理部、903はブロック・インターリーブされた入力画像を符号化して符号量を圧縮する画像符号化処理部、904は磁気テープやメモリカードなどの記録媒体へ符号化データを記録する記録部、905は撮影者により操作され撮影モードを設定するための撮影モード選択部である。
【0003】
画像符号化処理部903から出力される符号化データは、一般的に静止画撮影時と動画撮影時とでは符号化方式が異なる。静止画撮影時には、CD−ROMやハードディスク等の蓄積媒体に静止画像を保存・表示するための符号化方式としてISO(International TelecommunicationUnion:国際標準化機構)により標準化されたJPEG(Joint Photographic Coding Experts Group)方式が広く用いられている。また、動画撮影時には、同様な蓄積媒体に保存・表示したり、通信路を介して放送、または双方向通信したりするための符号化方式としてISOにより標準化されたMPEG(Moving Picture Coding Experts Group)方式が広く用いられている。
【0004】
前記撮影モード選択部905によって選択設定できる撮影モードとしては、高速で移動する被写体を撮影する場合に適したスポーツモード、暗い室内などで強い光が当てられた被写体を撮影する場合に適したスポットライトモード、日差しの強い明るい屋外などでの撮影に適したサーフ&スノーモード、人物の特に顔を撮影する場合に適したポートレートモードなどがある。
【0005】
スポーツモードとは、走っている人物など動きの速いスポーツシーンなどで、シャッタ速度を速くすることで、動きの速い被写体をブレなくシャープに撮影することが可能となる撮影モードである。スポットライトモードとは、ステージや結婚式場などスポットライトで照明されたシーンでも、被写体が白とびすることなく適正露出で撮影することが可能となる撮影モードである。サーフ&スノーモードとは、海辺やゲレンデなど背景が明るい場所でも、被写体が暗く写るのを防ぎ適性露出で撮影することが可能となる撮影モードである。ポートレートモードとは、人物だけが浮き立つように被写体深度を浅くして背景をぼかして撮影することが可能となる撮影モードである。これら撮影モードを撮影者が撮影モード選択部905で選択設定することによって、撮影の意図を画像信号処理部902から出力される画像データに反映させることが可能となる。
【0006】
【発明が解決しようとする課題】
前記従来の画像符号化装置においては、撮影モードを選択設定することによって撮影者の意図が画像信号処理部902から出力される画像データに反映されるが、画像符号化処理部903での符号化処理には反映されず、撮影モードにかかわらず静止画・動画入力データは同じ条件で符号化処理されることになる。
【0007】
特に、撮影モードが、移動する被写体を撮影するモードであるとき、動き予測が精度よく行えないという問題点があった。
【0008】
そこで本発明は、従来より精度のよく動き予測が行うことが可能な画像符号化装置、画像符号化方法及びプログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る画像符号化装置は、撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを入力する画像入力手段と、前記動画像の撮影モードを入力する撮影モード入力手段と、前記画像ブロックと相関の高い参照画像ブロックを探索する動き予測手段と、前記撮影モードに応じて、動き予測のための探索範囲を変更することを特徴とする。
【0010】
また、上記の目的を達成するために本発明に係る画像符号化方法は、撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを入力する画像入力工程と、前記動画像の撮影モードを入力する撮影モード入力工程と、前記画像ブロックと相関の高い参照画像ブロックを探索する動き予測工程と、前記撮影モードに応じて、動き予測のための探索範囲を変更することを特徴とする。
【0011】
【発明の実施の形態】
[実施例1]
以下、本発明の第1の実施形態を図面とともに説明する。図1は、本発明を適用した画像符号化装置の実施形態を表わすブロック図である。図1において、101はレンズや撮像素子を含み映像を撮影する撮像部、102はガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を実行する画像信号処理部、103は予測対象画像ブロックと最も一致する参照画像ブロックを予測し動きベクトルを生成する動き補償予測部、104は離散コサイン変換などの直交変換を行う直交変換部、105は直交変換係数を量子化行列などで除算し情報量を削減する量子化部、106はハフマン符号などで可変長符号化することにより一層情報量を削減するエントロピー符号化部、107は変動する単位時間あたりに発生する符号量を時間軸上で平滑化するバッファ部、108は磁気テープやメモリカードなどの記録媒体へ符号化データを記録する記録部、109は参照画像を再構成するために量子化部105により量子化された直交変換係数を逆量子化する逆量子化部、110は逆量子化部109により生成された逆量子化後直交変換係数を逆直交変換する逆直交変換部、111はバッファ部107の占有率を監視し符号化データがあふれたり空になったりしないように制御する符号量制御部、112は撮影者により操作され撮影モードを設定するための撮影モード選択部、113は撮影モード選択部112で選択された撮影モードに応じて動き補償予測部103を制御する制御部、114は撮影者により操作され静止画または動画を選択する符号化モード選択部である。
【0012】
図2は、通常、動き補償予測部103が行う動き予測方法を表わす図である。
また図3は、撮影モードに応じて制御部113が動き補償予測部103に行う制御の手順を表すフローチャートである。さらに図4は、撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う動き予測方法を表わす図である。上記画像符号化装置の実施形態における動作形態について、その符号化処理に係わる一連の動作、特に撮影モード選択部112に設定された撮影モードに応じて制御部113が動き補償予測部103への制御を変更する方法を中心に図1、図2、図3、図4を用いて説明する。
【0013】
まず始めに、撮影された画像データが符号化データとして記録されるまでの流れについて、符号化モード選択部114で動画符号化モードが選択された場合について図1を用いて簡単に説明する。
【0014】
撮像部101より入力された画像データは、撮影モード選択部112に設定された撮影モードに応じて画像信号処理部102によりガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を施される。そして撮影モード選択部112に設定された撮影モードに応じて動き補償予測部103は予測対象画像ブロックと最も一致する参照画像ブロックを予測し動きベクトルを生成する。
その後、直交変換部104、量子化部105、エントロピー符号化部106により一連の符号化処理を施された後、バッファ部107に一時蓄えられ、最終的に符号化データは記憶部108により磁気テープやメモリカードなどの記録媒体へ記録される。磁気テープへの書き込みは一定のデータレートで行われる一方、エントロピー符号化部106から出力される符号化データのレートは一定でないので、符号量制御部111は量子化部105を制御することにより符号化データがバッファ部107からあふれたり逆に空になったりしないようにしている。一方、動き補償予測部103で用いられる再構成画像を生成するために、量子化部105により量子化された直交変換係数は逆量子化部109で逆量子化され、さらに逆直交変換部110により逆直交変換される。
【0015】
次に、通常、動き補償予測部103が行う動き予測方法について図2を用いて説明する。
【0016】
図2(a)と(b)は撮影者の前を高速に横切る自動車を撮影した動画シーケンスから抜き出した連続する画像であり、図2(b)は(a)よりも時間的に後のものである。図2(a)の中央に描かれている四角は、図2(b)の中央に描かれている四角で表される予測対象画像ブロックと最も一致する参照画像ブロックを探索する際の範囲を表している。この例の場合は自動車の速度が速いため、図2(b)の予測対象画像ブロック中多くを閉める「A」とマークされた自動車の後部窓は、図2(a)に示される探索範囲には含まれておらず、結果的に精度のよい予測ができない。
【0017】
次に、撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う動き予測方法について図3、図4を用いて説明する。
【0018】
撮影者により撮影開始が指示されると(S101)、制御部113は符号化モード選択部114に設定されている符号化モードを調べる(S102)。符号化モードが動画符号化モードであった場合は撮影モード選択部112に設定されている撮影モードを調べ、それ以外の場合は終了する(S103)。撮影モードがスポーツモードであった場合は、動き補償予測部103に対して動き予測探索範囲を水平方向へ拡張するように制御し(S104)、動き予測をして(S105)終了する。
【0019】
図4(a)と(b)は図2と同じ動画シーケンスに対して異なる動き予測探索範囲を適用したものである。図4(a)の中央に描かれている水平方向に拡張された四角は、図4(b)の中央に描かれている四角で表される予測対象画像ブロックと最も一致する参照画像ブロックを探索する際の範囲を表している。この例の場合は自動車の速度が速いにも関わらず、図4(b)の予測対象画像ブロック中多くを閉める「A」とマークされた自動車の後部窓が、図4(a)に示される探索範囲に含まれており、結果的に精度のよい予測が可能となっている。
【0020】
ここで、図4(a)で適用した探索範囲は図2(a)で適用した探索範囲に対して水平方向へ拡張されてはいるが、その面積は同じであることに注意されたい。すなわち、探索範囲を全探索する場合の計算量には変化が無いにも関わらず、精度のよい予測が行えていることになる。
【0021】
[実施例2]
以下、本発明の第2の実施形態を図面とともに説明する。本発明を適用した画像符号化装置の実施形態を表わすブロック図は図1と同様である。
【0022】
図5は、通常、動き補償予測部103が行う簡略化した動き予測方法を適用する動画シーケンス中の2つの連続する画像を表した図である。図6は、通常、動き補償予測部103が行う簡略化した動き予測方法を表わす図である。また図7は、撮影モードに応じて制御部113が動き補償予測部103に行う制御の手順を表すフローチャートである。さらに図8は、撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う簡略化した動き予測方法を表わす図である。
【0023】
以後、上記画像符号化装置の実施形態における動作形態について、その符号化処理に係わる一連の動作、特に撮影モード選択部112に設定された撮影モードに応じて制御部113が動き補償予測部103への制御を変更する方法を中心に図1、図5、図6、図7、図8を用いて説明する。
【0024】
まず始めに、通常、動き補償予測部103が行う探索範囲を全探索するよりも簡略化した動き予測方法について図5、図6を用いて説明する。
【0025】
図5(a)と(b)は撮影者の前を高速に横切る自動車を撮影した動画シーケンスから抜き出した連続する画像であり、図5(b)は(a)よりも時間的に後のものである。図5(a)の中央に描かれている四角は、図5(b)の中央に描かれている四角で表される予測対象画像ブロックと最も一致する参照画像ブロックを探索する際の範囲を表している。この例の場合は、図5(b)の予測対象画像ブロック中多くを閉める「B」とマークされた自動車の後部窓は、図5(a)に示される探索範囲の右最端部に含まれていることに注意されたい。
【0026】
図6は、Kogaらによって発表された三段探索と呼ばれるよく知られた簡略化動き予測方式を水平方向(−8〜+8)、垂直方向(−8〜+8)の探索範囲に適用して、図5で示された2つの連続する画像において動きベクトルが決定される様子を表している。動きベクトルの水平、垂直成分の符号は、時間的に前の画像の右側および下側から予測する場合を正とする。図中▲1▼で表現される第一段では、中央をゼロベクトルとして、水平方向4画素、垂直方向4画素おきの解像度で9箇所探索点を設けその中で最も予測対象画像ブロックと一致する参照画像ブロックを探索する。図6では、黒く塗りつぶされた▲1▼が探索の結果選ばれた探索点である。第二段では、第一段で求められた探索点の周囲を水平方向2画素、垂直方向2画素おきの解像度で同様に探索を行う。黒く塗りつぶされた▲2▼が探索結果である。第三段では、第二段で求められた探索点の周囲をさらに水平方向1画素、垂直方向1画素おきの解像度で同様に探索を行い、最も予測対象画像ブロックと一致する参照画像ブロックとして座標(水平7,垂直2)の探索点が選ばれている。この段階で動きベクトルが決定され、図の中央から黒く塗りつぶされた▲3▼へ延びる矢印で表されている。
【0027】
ここで説明した図5で示された連続する画像に対して通常の動き補償予測部103が行う簡略化した動き予測方法では、最終的に得られた動きベクトルはもっとも精度が高い予測結果である探索範囲の右最端部までは達しておらず、その分予測精度が低くなっていることに注意されたい。
【0028】
次に、撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う簡略化した動き予測方法について図7、図8を用いて説明する。
【0029】
撮影者により撮影開始が指示されると(S201)、制御部113は符号化モード選択部114に設定されている符号化モードを調べる(S202)。符号化モードが動画符号化モードであった場合は撮影モード選択部112に設定されている撮影モードを調べ、それ以外の場合は終了する(S203)。撮影モードがスポーツモードであった場合は、簡略化した動き予測方式で段階的に行われる探索の際に用いられるいくつかの探索点同士の水平方向距離を拡張するように動き補償予測部103を制御し(S204)、動き予測をして(S205)終了する。
【0030】
図8は、図6の例と同様に図5に示された動画シーケンス中の2つの連続する画像に対して、やはりKogaらの三段探索を水平方向(−8〜+8)、垂直方向(−8〜+8)の探索範囲に適用して、動きベクトルが決定される様子を表しているが、第一段での探索点位置が図6とは異なる。図8では第一段で適用される9箇所の探索点の内、6点はその座標が水平方向へ1画素分拡張されていることに注意されたい。図6と図8の各段階での探索結果比較を表1に示す。
【0031】
【表1】
【0032】
表1では、垂直成分に関しては各段階で違いは見られないが、水平成分に関しては各段階で異なる探索点が選ばれているのが分かる。この結果より、図5で示された連続する2つの画像に対して、撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う簡略化した動き予測方法では、最終的に得られた動きベクトルはもっとも精度が高い予測結果である探索範囲の右最端部に達しており、図6において通常の動き予測方法により得られた動きベクトルよりも精度の高い予測が行われたことに注意されたい。
【0033】
なお、本実施例では、三段探索中の第一段においてのみ撮影モードに応じて探索点の水平方向への拡張を行ったが、本発明は第二段および第三段において撮影モードに応じて探索点の水平方向への拡張を行ってもよい。
【0034】
また、本実施例では、簡略化された動き予測方法としてKogaらの三段探索を用いて、撮影モードに応じて探索点の水平方向への拡張を行うことを説明してきたが、本発明はその他の簡略化された動き予測方法においてもその効果を発揮できる。
【0035】
[他の実施形態]
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0036】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0037】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0038】
上記実施例では、水平方向に被写体が動いている場合に、水平方向に探索範囲を拡張したが、方向は水平方向に限定されず、例えば、垂直方向、斜め方向であってもよい。垂直方向の例としては、垂直方向に被写体が動いている場合に垂直方向に探索範囲を拡張する。また、探索点間の距離を拡張する方向も同様に、水平方向に限定されず、例えば垂直方向であってもよい。
【0039】
また、上記実施例では、撮影者の意図が反映された符号化処理を行うために各種撮影モードに応じて符号化処理を変更するので、その結果として画質を向上させたり、記録される符号量を少なくし記録時間の長時間化を図ったりする効果がある。
【0040】
【発明の効果】
以上説明から明らかなように、本発明では、撮影モードに応じて、動き予測のための探索範囲を変更するので、従来より精度のよい動き予測が行える。
【図面の簡単な説明】
【図1】本発明を適用した画像符号化装置の実施形態を表わすブロック図である。
【図2】通常、動き補償予測部103が行う動き予測方法を表わす図である。
【図3】撮影モードに応じて制御部113が動き補償予測部103に行う制御の手順を表すフローチャートである。
【図4】撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う動き予測方法を表わす図である。
【図5】通常、動き補償予測部103が行う簡略化した動き予測方法を適用する動画シーケンス中の2つの連続する画像を表した図である。
【図6】通常、動き補償予測部103が行う簡略化した動き予測方法を表わす図である。
【図7】撮影モードに応じて制御部113が動き補償予測部103に行う制御の手順を表すフローチャートである。
【図8】撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う簡略化した動き予測方法を表わす図である。
【図9】従来の技術を用いた画像符号化装置を表すブロック図である。
【発明の属する技術分野】
本発明は画像符号化装置、画像符号化方法及びプログラムに関し、特に撮影モードに応じて符号化処理を変更することに関するものである。
【0002】
【従来の技術】
図9は、従来の技術を用いた画像符号化装置を表すブロック図である。図9において、901はレンズや撮像素子を含み映像を撮影する撮像部、902はガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を実行する画像信号処理部、903はブロック・インターリーブされた入力画像を符号化して符号量を圧縮する画像符号化処理部、904は磁気テープやメモリカードなどの記録媒体へ符号化データを記録する記録部、905は撮影者により操作され撮影モードを設定するための撮影モード選択部である。
【0003】
画像符号化処理部903から出力される符号化データは、一般的に静止画撮影時と動画撮影時とでは符号化方式が異なる。静止画撮影時には、CD−ROMやハードディスク等の蓄積媒体に静止画像を保存・表示するための符号化方式としてISO(International TelecommunicationUnion:国際標準化機構)により標準化されたJPEG(Joint Photographic Coding Experts Group)方式が広く用いられている。また、動画撮影時には、同様な蓄積媒体に保存・表示したり、通信路を介して放送、または双方向通信したりするための符号化方式としてISOにより標準化されたMPEG(Moving Picture Coding Experts Group)方式が広く用いられている。
【0004】
前記撮影モード選択部905によって選択設定できる撮影モードとしては、高速で移動する被写体を撮影する場合に適したスポーツモード、暗い室内などで強い光が当てられた被写体を撮影する場合に適したスポットライトモード、日差しの強い明るい屋外などでの撮影に適したサーフ&スノーモード、人物の特に顔を撮影する場合に適したポートレートモードなどがある。
【0005】
スポーツモードとは、走っている人物など動きの速いスポーツシーンなどで、シャッタ速度を速くすることで、動きの速い被写体をブレなくシャープに撮影することが可能となる撮影モードである。スポットライトモードとは、ステージや結婚式場などスポットライトで照明されたシーンでも、被写体が白とびすることなく適正露出で撮影することが可能となる撮影モードである。サーフ&スノーモードとは、海辺やゲレンデなど背景が明るい場所でも、被写体が暗く写るのを防ぎ適性露出で撮影することが可能となる撮影モードである。ポートレートモードとは、人物だけが浮き立つように被写体深度を浅くして背景をぼかして撮影することが可能となる撮影モードである。これら撮影モードを撮影者が撮影モード選択部905で選択設定することによって、撮影の意図を画像信号処理部902から出力される画像データに反映させることが可能となる。
【0006】
【発明が解決しようとする課題】
前記従来の画像符号化装置においては、撮影モードを選択設定することによって撮影者の意図が画像信号処理部902から出力される画像データに反映されるが、画像符号化処理部903での符号化処理には反映されず、撮影モードにかかわらず静止画・動画入力データは同じ条件で符号化処理されることになる。
【0007】
特に、撮影モードが、移動する被写体を撮影するモードであるとき、動き予測が精度よく行えないという問題点があった。
【0008】
そこで本発明は、従来より精度のよく動き予測が行うことが可能な画像符号化装置、画像符号化方法及びプログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る画像符号化装置は、撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを入力する画像入力手段と、前記動画像の撮影モードを入力する撮影モード入力手段と、前記画像ブロックと相関の高い参照画像ブロックを探索する動き予測手段と、前記撮影モードに応じて、動き予測のための探索範囲を変更することを特徴とする。
【0010】
また、上記の目的を達成するために本発明に係る画像符号化方法は、撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを入力する画像入力工程と、前記動画像の撮影モードを入力する撮影モード入力工程と、前記画像ブロックと相関の高い参照画像ブロックを探索する動き予測工程と、前記撮影モードに応じて、動き予測のための探索範囲を変更することを特徴とする。
【0011】
【発明の実施の形態】
[実施例1]
以下、本発明の第1の実施形態を図面とともに説明する。図1は、本発明を適用した画像符号化装置の実施形態を表わすブロック図である。図1において、101はレンズや撮像素子を含み映像を撮影する撮像部、102はガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を実行する画像信号処理部、103は予測対象画像ブロックと最も一致する参照画像ブロックを予測し動きベクトルを生成する動き補償予測部、104は離散コサイン変換などの直交変換を行う直交変換部、105は直交変換係数を量子化行列などで除算し情報量を削減する量子化部、106はハフマン符号などで可変長符号化することにより一層情報量を削減するエントロピー符号化部、107は変動する単位時間あたりに発生する符号量を時間軸上で平滑化するバッファ部、108は磁気テープやメモリカードなどの記録媒体へ符号化データを記録する記録部、109は参照画像を再構成するために量子化部105により量子化された直交変換係数を逆量子化する逆量子化部、110は逆量子化部109により生成された逆量子化後直交変換係数を逆直交変換する逆直交変換部、111はバッファ部107の占有率を監視し符号化データがあふれたり空になったりしないように制御する符号量制御部、112は撮影者により操作され撮影モードを設定するための撮影モード選択部、113は撮影モード選択部112で選択された撮影モードに応じて動き補償予測部103を制御する制御部、114は撮影者により操作され静止画または動画を選択する符号化モード選択部である。
【0012】
図2は、通常、動き補償予測部103が行う動き予測方法を表わす図である。
また図3は、撮影モードに応じて制御部113が動き補償予測部103に行う制御の手順を表すフローチャートである。さらに図4は、撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う動き予測方法を表わす図である。上記画像符号化装置の実施形態における動作形態について、その符号化処理に係わる一連の動作、特に撮影モード選択部112に設定された撮影モードに応じて制御部113が動き補償予測部103への制御を変更する方法を中心に図1、図2、図3、図4を用いて説明する。
【0013】
まず始めに、撮影された画像データが符号化データとして記録されるまでの流れについて、符号化モード選択部114で動画符号化モードが選択された場合について図1を用いて簡単に説明する。
【0014】
撮像部101より入力された画像データは、撮影モード選択部112に設定された撮影モードに応じて画像信号処理部102によりガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を施される。そして撮影モード選択部112に設定された撮影モードに応じて動き補償予測部103は予測対象画像ブロックと最も一致する参照画像ブロックを予測し動きベクトルを生成する。
その後、直交変換部104、量子化部105、エントロピー符号化部106により一連の符号化処理を施された後、バッファ部107に一時蓄えられ、最終的に符号化データは記憶部108により磁気テープやメモリカードなどの記録媒体へ記録される。磁気テープへの書き込みは一定のデータレートで行われる一方、エントロピー符号化部106から出力される符号化データのレートは一定でないので、符号量制御部111は量子化部105を制御することにより符号化データがバッファ部107からあふれたり逆に空になったりしないようにしている。一方、動き補償予測部103で用いられる再構成画像を生成するために、量子化部105により量子化された直交変換係数は逆量子化部109で逆量子化され、さらに逆直交変換部110により逆直交変換される。
【0015】
次に、通常、動き補償予測部103が行う動き予測方法について図2を用いて説明する。
【0016】
図2(a)と(b)は撮影者の前を高速に横切る自動車を撮影した動画シーケンスから抜き出した連続する画像であり、図2(b)は(a)よりも時間的に後のものである。図2(a)の中央に描かれている四角は、図2(b)の中央に描かれている四角で表される予測対象画像ブロックと最も一致する参照画像ブロックを探索する際の範囲を表している。この例の場合は自動車の速度が速いため、図2(b)の予測対象画像ブロック中多くを閉める「A」とマークされた自動車の後部窓は、図2(a)に示される探索範囲には含まれておらず、結果的に精度のよい予測ができない。
【0017】
次に、撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う動き予測方法について図3、図4を用いて説明する。
【0018】
撮影者により撮影開始が指示されると(S101)、制御部113は符号化モード選択部114に設定されている符号化モードを調べる(S102)。符号化モードが動画符号化モードであった場合は撮影モード選択部112に設定されている撮影モードを調べ、それ以外の場合は終了する(S103)。撮影モードがスポーツモードであった場合は、動き補償予測部103に対して動き予測探索範囲を水平方向へ拡張するように制御し(S104)、動き予測をして(S105)終了する。
【0019】
図4(a)と(b)は図2と同じ動画シーケンスに対して異なる動き予測探索範囲を適用したものである。図4(a)の中央に描かれている水平方向に拡張された四角は、図4(b)の中央に描かれている四角で表される予測対象画像ブロックと最も一致する参照画像ブロックを探索する際の範囲を表している。この例の場合は自動車の速度が速いにも関わらず、図4(b)の予測対象画像ブロック中多くを閉める「A」とマークされた自動車の後部窓が、図4(a)に示される探索範囲に含まれており、結果的に精度のよい予測が可能となっている。
【0020】
ここで、図4(a)で適用した探索範囲は図2(a)で適用した探索範囲に対して水平方向へ拡張されてはいるが、その面積は同じであることに注意されたい。すなわち、探索範囲を全探索する場合の計算量には変化が無いにも関わらず、精度のよい予測が行えていることになる。
【0021】
[実施例2]
以下、本発明の第2の実施形態を図面とともに説明する。本発明を適用した画像符号化装置の実施形態を表わすブロック図は図1と同様である。
【0022】
図5は、通常、動き補償予測部103が行う簡略化した動き予測方法を適用する動画シーケンス中の2つの連続する画像を表した図である。図6は、通常、動き補償予測部103が行う簡略化した動き予測方法を表わす図である。また図7は、撮影モードに応じて制御部113が動き補償予測部103に行う制御の手順を表すフローチャートである。さらに図8は、撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う簡略化した動き予測方法を表わす図である。
【0023】
以後、上記画像符号化装置の実施形態における動作形態について、その符号化処理に係わる一連の動作、特に撮影モード選択部112に設定された撮影モードに応じて制御部113が動き補償予測部103への制御を変更する方法を中心に図1、図5、図6、図7、図8を用いて説明する。
【0024】
まず始めに、通常、動き補償予測部103が行う探索範囲を全探索するよりも簡略化した動き予測方法について図5、図6を用いて説明する。
【0025】
図5(a)と(b)は撮影者の前を高速に横切る自動車を撮影した動画シーケンスから抜き出した連続する画像であり、図5(b)は(a)よりも時間的に後のものである。図5(a)の中央に描かれている四角は、図5(b)の中央に描かれている四角で表される予測対象画像ブロックと最も一致する参照画像ブロックを探索する際の範囲を表している。この例の場合は、図5(b)の予測対象画像ブロック中多くを閉める「B」とマークされた自動車の後部窓は、図5(a)に示される探索範囲の右最端部に含まれていることに注意されたい。
【0026】
図6は、Kogaらによって発表された三段探索と呼ばれるよく知られた簡略化動き予測方式を水平方向(−8〜+8)、垂直方向(−8〜+8)の探索範囲に適用して、図5で示された2つの連続する画像において動きベクトルが決定される様子を表している。動きベクトルの水平、垂直成分の符号は、時間的に前の画像の右側および下側から予測する場合を正とする。図中▲1▼で表現される第一段では、中央をゼロベクトルとして、水平方向4画素、垂直方向4画素おきの解像度で9箇所探索点を設けその中で最も予測対象画像ブロックと一致する参照画像ブロックを探索する。図6では、黒く塗りつぶされた▲1▼が探索の結果選ばれた探索点である。第二段では、第一段で求められた探索点の周囲を水平方向2画素、垂直方向2画素おきの解像度で同様に探索を行う。黒く塗りつぶされた▲2▼が探索結果である。第三段では、第二段で求められた探索点の周囲をさらに水平方向1画素、垂直方向1画素おきの解像度で同様に探索を行い、最も予測対象画像ブロックと一致する参照画像ブロックとして座標(水平7,垂直2)の探索点が選ばれている。この段階で動きベクトルが決定され、図の中央から黒く塗りつぶされた▲3▼へ延びる矢印で表されている。
【0027】
ここで説明した図5で示された連続する画像に対して通常の動き補償予測部103が行う簡略化した動き予測方法では、最終的に得られた動きベクトルはもっとも精度が高い予測結果である探索範囲の右最端部までは達しておらず、その分予測精度が低くなっていることに注意されたい。
【0028】
次に、撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う簡略化した動き予測方法について図7、図8を用いて説明する。
【0029】
撮影者により撮影開始が指示されると(S201)、制御部113は符号化モード選択部114に設定されている符号化モードを調べる(S202)。符号化モードが動画符号化モードであった場合は撮影モード選択部112に設定されている撮影モードを調べ、それ以外の場合は終了する(S203)。撮影モードがスポーツモードであった場合は、簡略化した動き予測方式で段階的に行われる探索の際に用いられるいくつかの探索点同士の水平方向距離を拡張するように動き補償予測部103を制御し(S204)、動き予測をして(S205)終了する。
【0030】
図8は、図6の例と同様に図5に示された動画シーケンス中の2つの連続する画像に対して、やはりKogaらの三段探索を水平方向(−8〜+8)、垂直方向(−8〜+8)の探索範囲に適用して、動きベクトルが決定される様子を表しているが、第一段での探索点位置が図6とは異なる。図8では第一段で適用される9箇所の探索点の内、6点はその座標が水平方向へ1画素分拡張されていることに注意されたい。図6と図8の各段階での探索結果比較を表1に示す。
【0031】
【表1】
【0032】
表1では、垂直成分に関しては各段階で違いは見られないが、水平成分に関しては各段階で異なる探索点が選ばれているのが分かる。この結果より、図5で示された連続する2つの画像に対して、撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う簡略化した動き予測方法では、最終的に得られた動きベクトルはもっとも精度が高い予測結果である探索範囲の右最端部に達しており、図6において通常の動き予測方法により得られた動きベクトルよりも精度の高い予測が行われたことに注意されたい。
【0033】
なお、本実施例では、三段探索中の第一段においてのみ撮影モードに応じて探索点の水平方向への拡張を行ったが、本発明は第二段および第三段において撮影モードに応じて探索点の水平方向への拡張を行ってもよい。
【0034】
また、本実施例では、簡略化された動き予測方法としてKogaらの三段探索を用いて、撮影モードに応じて探索点の水平方向への拡張を行うことを説明してきたが、本発明はその他の簡略化された動き予測方法においてもその効果を発揮できる。
【0035】
[他の実施形態]
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0036】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0037】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0038】
上記実施例では、水平方向に被写体が動いている場合に、水平方向に探索範囲を拡張したが、方向は水平方向に限定されず、例えば、垂直方向、斜め方向であってもよい。垂直方向の例としては、垂直方向に被写体が動いている場合に垂直方向に探索範囲を拡張する。また、探索点間の距離を拡張する方向も同様に、水平方向に限定されず、例えば垂直方向であってもよい。
【0039】
また、上記実施例では、撮影者の意図が反映された符号化処理を行うために各種撮影モードに応じて符号化処理を変更するので、その結果として画質を向上させたり、記録される符号量を少なくし記録時間の長時間化を図ったりする効果がある。
【0040】
【発明の効果】
以上説明から明らかなように、本発明では、撮影モードに応じて、動き予測のための探索範囲を変更するので、従来より精度のよい動き予測が行える。
【図面の簡単な説明】
【図1】本発明を適用した画像符号化装置の実施形態を表わすブロック図である。
【図2】通常、動き補償予測部103が行う動き予測方法を表わす図である。
【図3】撮影モードに応じて制御部113が動き補償予測部103に行う制御の手順を表すフローチャートである。
【図4】撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う動き予測方法を表わす図である。
【図5】通常、動き補償予測部103が行う簡略化した動き予測方法を適用する動画シーケンス中の2つの連続する画像を表した図である。
【図6】通常、動き補償予測部103が行う簡略化した動き予測方法を表わす図である。
【図7】撮影モードに応じて制御部113が動き補償予測部103に行う制御の手順を表すフローチャートである。
【図8】撮影モードに応じて変更される制御部113の制御により動き補償予測部103が行う簡略化した動き予測方法を表わす図である。
【図9】従来の技術を用いた画像符号化装置を表すブロック図である。
Claims (9)
- 撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを入力する画像入力手段と、
前記動画像の撮影モードを入力する撮影モード入力手段と、
前記画像ブロックと相関の高い参照画像ブロックを探索する動き予測手段と、前記撮影モードに応じて、動き予測のための探索範囲を変更することを特徴とする画像符号化装置。 - 前記撮影モードは、第1の撮影モードと所定方向に移動する被写体を撮影する第2の撮影モードを有し、
前記撮影モード入力手段に前記第2の撮影モードが入力された場合、前記第1の撮影モードが入力された場合より、前記動き予測手段の探索範囲を前記所定方向に拡張することを特徴とする請求項1に記載の画像符号化装置。 - 前記動き予測手段は、所定数の探索点を探索して前記画像ブロックと相関の高い参照画像ブロックを探索するものであり、前記撮影モードに応じて、前記探索点間の距離を変更することを特徴とする請求項1に記載の画像符号化装置。
- 第1の撮影モードが入力された場合の探索範囲と、第2の撮影モードが入力された場合の探索範囲は同じであることを特徴とする請求項2に記載の画像符号化装置。
- 撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを入力する画像入力工程と、
前記動画像の撮影モードを入力する撮影モード入力工程と、
前記画像ブロックと相関の高い参照画像ブロックを探索する動き予測工程と、前記撮影モードに応じて、動き予測のための探索範囲を変更することを特徴とする画像符号化方法。 - 前記撮影モードは、第1の撮影モードと所定方向に移動する被写体を撮影する第2の撮影モードを有し、
前記撮影モード入力手段に前記第2の撮影モードが入力された場合、前記第1の撮影モードが入力された場合より、前記動き予測手段の探索範囲を前記所定方向に拡張することを特徴とする請求項1に記載の画像符号化方法。 - 前記動き予測工程は、所定数の探索点を探索して前記画像ブロックと相関の高い参照画像ブロックを探索するものであり、前記撮影モードに応じて、前記探索点間の距離を変更することを特徴とする請求項1に記載の画像符号化方法。
- 第1の撮影モードが入力された場合の探索範囲と、第2の撮影モードが入力された場合の探索範囲は同じであることを特徴とする請求項2に記載の画像符号化方法。
- 請求項6〜9のいずれか1項に記載の画像符号化方法を実行するコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003080398A JP2004289600A (ja) | 2003-03-24 | 2003-03-24 | 画像符号化装置、画像符号化方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003080398A JP2004289600A (ja) | 2003-03-24 | 2003-03-24 | 画像符号化装置、画像符号化方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004289600A true JP2004289600A (ja) | 2004-10-14 |
Family
ID=33294262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003080398A Withdrawn JP2004289600A (ja) | 2003-03-24 | 2003-03-24 | 画像符号化装置、画像符号化方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004289600A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007033543A (ja) * | 2005-07-22 | 2007-02-08 | Fujifilm Holdings Corp | 撮影装置 |
-
2003
- 2003-03-24 JP JP2003080398A patent/JP2004289600A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007033543A (ja) * | 2005-07-22 | 2007-02-08 | Fujifilm Holdings Corp | 撮影装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8494306B2 (en) | Method and an apparatus for creating a combined image | |
KR100810310B1 (ko) | 조도차가 다른 영상의 재구성 장치 및 방법 | |
JP4799438B2 (ja) | 画像記録装置、画像記録方法、画像符号化装置、及びプログラム | |
CN1212018C (zh) | 和摄像机组合的视频记录/再现装置及其记录控制方法 | |
RU2512130C2 (ru) | Устройство и способ получения изображений с более высоким разрешением во встроенном устройстве | |
US8615140B2 (en) | Compression of image data in accordance with depth information of pixels | |
JP2007134991A (ja) | 画像信号処理装置、撮像装置、および画像信号処理方法 | |
JPH10271530A (ja) | 画像データ圧縮符号化装置およびその方法ならびにディジタルカメラ | |
US7729543B2 (en) | Imaging apparatus | |
US8705628B2 (en) | Method and device for compressing moving image | |
JP2019021968A (ja) | 画像符号化装置及びその制御方法 | |
JP2017224939A (ja) | 撮像装置 | |
JP2007134788A (ja) | 画像処理装置及びプログラム | |
KR20090066192A (ko) | 기록 장치, 기록 방법, 재생 장치, 재생 방법, 및프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
JP4157003B2 (ja) | 画像処理装置 | |
JP4310282B2 (ja) | 画像符号化装置および符号化方法 | |
JP2004289600A (ja) | 画像符号化装置、画像符号化方法及びプログラム | |
JP2000092499A (ja) | 画像符号化制御装置、画像符号化制御方法及び記憶媒体 | |
JP2007049449A (ja) | 画像記録装置 | |
JP5165084B2 (ja) | 画像符号化装置 | |
JP2003241071A (ja) | 撮像装置及びその自動合焦方法 | |
JP4872571B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2884092B2 (ja) | スチルビデオカメラにおける画像変換装置 | |
JP4356982B2 (ja) | 画像処理装置及び方法 | |
JP4969371B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060606 |