JP4335779B2

JP4335779B2 - 符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法

Info

Publication number: JP4335779B2
Application number: JP2004314874A
Authority: JP
Inventors: 竜志大塚
Original assignee: Fujitsu Semiconductor Ltd
Current assignee: Fujitsu Semiconductor Ltd
Priority date: 2004-10-28
Filing date: 2004-10-28
Publication date: 2009-09-30
Anticipated expiration: 2024-10-28
Also published as: JP2006129093A; US20060093231A1; US7457360B2

Description

この発明は、符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法に関し、特にＭＰＥＧ規格で動画像データをリアルタイムで符号化して圧縮する符号化技術に関する。

ＭＰＥＧ−２規格等の応用製品では、画像データの符号化をリアルタイムに行いながら、一定のビットレートに収める必要がある。予め画像データを符号化しておき、発生情報量の推移を見てから、本番の符号化を行う２パス方式の符号化処理では、ビットレートの割り当てを正確に行うことができる。しかし、この２パス方式は、ムービーカメラのようにリアルタイムに符号化を行う必要がある場合には、適さない。

一般に、リアルタイムに符号化を行う場合の符号化処理は、次のようにして行われる。まず、符号化開始時（録画開始時）に発生情報量をある程度予測して１番目のピクチャの符号化を行う。そして、その結果として発生した情報量に基づいて、２番目のピクチャの割り当て情報量を調整して符号化する。３番目のピクチャについては、１番目および２番目のピクチャの符号化により発生した情報量に基づいて、割り当て情報量を調整して符号化する。このように、常にそれまでに符号化したピクチャの発生情報量に基づいてフィードバック制御を行いながら、徐々に入力映像と発生情報量の関係を学習し、適切な情報量割り当てになるようにしている。

ところで、ＭＰＥＧ−２規格により符号化されたビットストリームのように、ビットレートに応じてデータ長が変わる主データを含むビットストリームのビットレートを変更する情報量変換回路として、ビットストリームから主データを切り出す手段と、切り出した主データを目標ビットレートに応じて変換して変換後の主データを出力する手段と、変換前の主データに代えて変換後の主データをビットストリームに戻す手段と、を有する回路が提案されている（例えば、特許文献１参照。）。この特許文献１の発明は、既にＭＰＥＧ規格により符号化されたビットストリームを再符号化することにより圧縮率を高めるものであり、本発明とは異なる。

また、可変ビットレート符号化方法として、画像シーケンスを一定の量子化ステップサイズを用いて符号化し、このシーケンスの平均ビットレートが要求される特定のステップサイズの制約を満たしていないビット流を発生する分析工程と、予め定めた目標ビットレートに基づいてビット流を符号化するために用いられる量子化ステップサイズを予測する予測工程と、分析工程および予測工程を少なくとも１回繰り返してステップサイズの一層精密な評価を得る工程と、以前の全てのフレームについての累積的なビットレートを累積的な予測したビットレートと比較し、目標ビットレートが整合するようにステップサイズを調整する最終制御工程とを備える方法が提案されている（例えば、特許文献２参照。）。この特許文献２の発明は、分析工程と予測工程を何回か繰り返し行ってビットストリームを生成するものであり、本発明とは異なる。

特開平７−３１２７５６号公報特表２００１−５０１４２９号公報

従来のフィードバック制御を行いながら、徐々に入力映像と発生情報量の関係を学習する従来方法では、符号化の開始から安定状態になるまでに数〜数十ピクチャを必要とする。つまり、符号化を開始してしばらくの間は、発生情報量の割り当てに対する学習ができていない状態となる。そのため、録画開始から安定状態になるまでは、画質が悪かったり、必要とする画質に対して十分過ぎるビットレートを割り当ててしまい、無駄に情報量を費やすという問題点がある。また、録画開始時の最初のピクチャに対して、目標情報量に近い情報量を発生させるために、符号化パラメータをどのように設定すればよいかということについての解決手段はない。

そこで、本来の録画開始時点よりも早めにエンコードを開始して学習を行い、学習が済んで安定状態となった時点からビットストリームを記録媒体に記録する方法がある。しかし、この方法では、本番の録画開始前からエンコーダを動かしておく必要があるため、消費電力の無駄が多くなってしまう。そのため、例えばバッテリ駆動のムービーカメラ等のように、消費電力をできるだけ抑えたい場合には、適さない。

この発明は、上述した従来技術による問題点を解消するため、録画開始前に低消費電力で学習を行い、その学習結果に基づいて録画開始時に適切に符号化を行うことができる符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、この符号化装置は、録画開始前から、入力された画像データに基づいて、実際の符号化を行わないで画像情報を取得する第１の学習と、実際の符号化を行って画像情報を取得する第２の学習とを行う機能を有するプリ符号化手段と、前記プリ符号化手段により得られて学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化手段とを備え、前記プリ符号化手段は、入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求める画像入力手段と、現在の画像データと過去の画像データに基づいて画像の動きベクトルを求める動き探索手段と、種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群を備え、前記プリ符号化手段は、前記デーブル群の中から、前記画像入力手段により得られた現在の画像の明るさ、色合いおよび絵柄の複雑さと、前記動き探索手段により得られた動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを前記第１の学習結果とし、さらに、前記プリ符号化手段は、前記動き探索手段により得られた動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求める動き補償手段と、前記動き補償手段により得られた画像データの差分を符号化して発生情報量を求める発生情報量取得手段とを備え、前記プリ符号化手段は、前記動き補償手段から絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記動き補償手段により得られた画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを前記第２の学習結果とする。

また、この録画装置は、録画開始前から、入力された画像データに基づいて、実際の符号化を行わないで画像情報を取得する第１の学習と、実際の符号化を行って画像情報を取得する第２の学習を行う機能を有するプリ符号化手段と、前記プリ符号化手段により得られた学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化手段と、録画開始前に前記符号化手段により符号化された画像データを記録する記録手段とを備え、前記プリ符号化手段は、入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求める画像入力手段と、現在の画像データと過去の画像データに基づいて画像の動きベクトルを求める動き探索手段と、種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群を備え、前記プリ符号化手段は、前記テーブル群の中から、前記画像入力手段により得られた現在の画像の明るさ、色合いおよび絵柄の複雑さと、前記動き探索手段により得られた動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを前記第１の学習結果とし、さらに、前記プリ符号化手段は、前記動き探索手段により得られた動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求める動き補償手段と、前記動き補償手段により得られた画像データの差分を符号化して発生情報量を求める発生情報量取得手段とを備え、前記プリ符号化手段は、前記動き補償手段から絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記動き補償手段により得られた画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを前記第２の学習結果とする。

また、この符号化方法は、録画開始前から、入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求めるとともに、現在の画像データと過去の画像データに基づいて画像の動きベクトルを求め、予め設けられた、種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群の中から、現在の画像の明るさ、色合いおよび絵柄の複雑さと、動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを、実際の符号化を行わないで画像情報を取得する第１の学習結果とするプリ符号化工程と、前記プリ符号化工程により得られた前記第１の学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化工程とを含み、前記プリ符号化工程は、前記動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求め、絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを、実際の符号化を行って画像情報を取得する第２の学習結果とする。

また、この録画方法は、録画開始前から、入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求めるとともに、現在の画像データと過去の画像データに基づいて画像の動きベクトルを求め、予め設けられた、種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群の中から、現在の画像の明るさ、色合いおよび絵柄の複雑さと、動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを、実際の符号化を行わないで画像情報を取得する第１の学習結果とするプリ符号化工程と、前記プリ符号化工程により得られた学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化工程と、録画開始時に前記符号化工程で符号化された画像データを記録する記録工程とを含み、前記プリ符号化工程は、前記動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求め、絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを、実際の符号化を行って画像情報を取得する第２の学習結果とする。

この発明によれば、画面全体の明るさと色合い、画面の細かい絵柄か平坦な絵柄か、動きの激しさや乱雑さ、およびある符号化パラメータ（例えば、量子化スケール）で符号化した場合に、どれ位の符号量になるかの相関、という限定的な情報に基づいて学習を行うので、録画開始前に低消費電力で学習を行い、その学習結果に基づいて録画開始時の符号化パラメータを適切に選択することができる。従って、録画開始時に適切な画質で符号化を行うことができる。また、必要とする画質に対して必要かつ十分なビットレートを割り当てることができるので、情報量が無駄に費やされるのを防ぐことができる。

本発明によれば、録画開始前に低消費電力で学習を行い、録画開始時に適切に符号化を行うことができる符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法が得られるという効果を奏する。

以下に添付図面を参照して、この発明にかかる符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法の好適な実施の形態を詳細に説明する。ここでは、本発明を、例えばＭＰＥＧ−２規格により画像データを符号化して録画するムービーカメラに適用した例を説明する。

図１は、実施の形態にかかるムービーカメラの構成を示すブロック図である。図１に示すように、ムービーカメラ１は、レンズ部１１、ＣＣＤやＣＭＯＳ等の固体撮像素子よりなるイメージセンサ１２、画像処理回路１３、録画開始前のプリ符号化手段と録画時の符号化手段を兼ねる符号化装置２、記録手段を構成するテープやディスク等の記録装置１４、ＲＯＭやＥＥＰＲＯＭ等の不揮発性メモリ１９、および種々のシーンに対する符号化パラメータと発生情報量との関係を表す複数のテーブルよりなる発生情報量テーブル群１０を備えている。

発生情報量テーブル群１０は、予め不揮発性メモリ１９に記憶されている。符号化装置２は、録画開始前のプリエンコードによる学習結果を記憶するＲＡＭ等の書き込み可能なメモリ（ＲＡＭ）２１を備えている。また、ムービーカメラ１は、ズームやフォーカス等の操作を行ったり、録画の開始／停止を操作するための各種操作ボタン１５、手ぶれ補正を行うための情報を出力するジャイロセンサ１６、ファインダ部１７およびアラーム部１８を備えている。

録画時には、レンズ部１１より入力した光信号は、イメージセンサ１２で光電変換されて電気信号となる。その電気信号は、画像処理回路１３で処理される。画像処理回路１３は、ズームやオートフォーカスや手ぶれ補正やオート露出等の種々の制御を行うための情報に基づいて画像処理を行う。画像処理された画像データＤは、符号化装置２およびファインダ部１７に送られる。符号化装置２は、画像データＤを例えばＭＰＥＧ−２規格に基づいて符号化し、ビットストリームを生成する。そのビットストリームは、記録装置１４に記録される。

一方、使用者により録画ボタンが押される前、すなわち録画開始前には、符号化装置２は、画像処理回路１３から出力された画像データＤに基づいてプリエンコードによる学習を行う。プリエンコードによる学習は、例えばムービーカメラ１の電源がカメラモードで投入されたとき、あるいは電源が投入されたムービーカメラ１が再生モードからカメラモードに変更されたときに実行される。また、プリエンコードによる学習は、画像処理回路１３からプリエンコード再実行トリガ信号Ｓ１が入力されたときに実行される。

プリエンコードによる学習内容の詳細については後述する。符号化装置２は、学習が終了すると、アラーム部１８にプリエンコード完了信号Ｓ２を出力する。それによって、アラーム部１８は、使用者に学習終了を知らせる音やファインダ部１７内のメッセージ等のアラームを発する。なお、学習が終了する前に使用者が録画を開始しようとしたときにアラームが発せられる構成としてもよい。

次に、プリエンコード再実行トリガ信号Ｓ１の発生タイミングについて説明する。ムービーカメラ１の場合、使用者がムービーカメラ１の向きを変えたり、ズームインやズームアウト等の何らかの操作を行わない限り、入力画像が大きく変化することはあまりない。従って、ムービーカメラ１の電源がカメラモードで投入された時点、あるいはムービーカメラ１のモードがカメラモードに切り替わった時点から録画開始の直前に至るまで、継続してプリエンコードによる学習を行っている必要はない。

そこで、本実施の形態では、電源投入時またはモード切り替え時にプリエンコードを行って学習が完了した後は、入力画像が大きく変化した場合にプリエンコード再実行トリガ信号Ｓ１を発生して、プリエンコードによる学習を再び実行すればよい。入力画像が大きく変化しない状態では、プリエンコードによる学習を再実行する必要はない。

入力画像が大きく変化する場合として、例えば（１）使用者がズームやフォーカス等の操作を行ったことによって画面に変化が起こったことを検出した場合、（２）手ぶれ補正等の情報の変化からムービーカメラ１の向きが変わったことを検出した場合（手ぶれによる向きの変化を除く）、（３）オートフォーカスの情報の変化から被写体が動いたことを検出した場合、（４）オート露出の情報の変化から被写体の明るさが変化したことを検出した場合が挙げられる。画像処理回路１３は、上述した（１）〜（４）の情報を処理しているので、これらの情報に基づいてプリエンコード再実行トリガ信号Ｓ１を生成し、発することができる。

また、使用者が意図的にプリエンコードによる学習を開始させることができるトリガを備えていてもよい。このようなトリガとして、例えば録画ボタンの半押し等を利用してもよい。この場合、使用者が録画ボタンを半押ししたときにプリエンコードによる学習を開始し、その学習が完了したときにそのことをアラーム部１８により使用者に知らせる構成とすれば、使用者は、学習完了を確認してから録画を開始することができる。学習完了前に録画ボタンが押し込まれた場合、すなわち録画が開始された場合には、予め設定されている符号化パラメータの値（デフォルト値）で録画を開始すればよい。このデフォルト値は、例えば不揮発性メモリ１９に格納されている。

図２は、符号化装置２の構成を示すブロック図である。図２に示すように、符号化装置２は、画像入力部２４、メモリ２５、動き探索部２９、動き補償部３０、直交変換部３１、量子化部３２、可変長符号化部３３、逆量子化部３４、逆直交変換部３５、全体制御部３６および前記メモリ２１（以下、学習結果格納用メモリ２１とする）を備えている。

メモリ２５は、画像データＤを一時的に記憶するＲＡＭ等のメモリであり、原画像記憶領域２６、参照画像記憶領域２７および再生画像記憶領域２８を有する。画像入力部２４、動き探索部２９および動き補償部３０は、それぞれプリ符号化手段の画像入力手段、動き探索手段および動き補償手段を構成する。また、直交変換部３１、量子化部３２および可変長符号化部３３は、プリ符号化手段の発生情報量取得手段を構成する。

画像データＤは、画像データ入力端子４１を介して画像入力部２４に入力される。可変長符号化部３３で生成されたビットストリームは、ビットストリーム出力端子４４から出力される。プリエンコード再実行トリガ信号Ｓ１は、プリエンコード再実行トリガ信号入力端子４２を介して全体制御部３６に入力される。全体制御部３６は、発生情報量テーブル入力端子４３を介して発生情報量テーブル群１０を参照する。全体制御部３６は、プリエンコード完了信号出力端子４５からプリエンコード完了信号Ｓ２を出力する。

次に、プリエンコードによる学習内容について説明する。特に限定しないが、ここでは、学習によって符号化パラメータの一つである量子化スケールを調整する場合を例にして説明する。量子化スケールは、発生情報量の増減に大きな影響を及ぼすパラメータである。図３は、学習処理実行時のムービーカメラ１の主要部におけるデータの流れを説明するためのブロック図である。図４は、第一段階の学習処理を示すフローチャートである。

図５は、量子化スケールと平均発生情報量との関係を表すテーブル（以下、量子化スケール−平均発生情報量テーブルとする）の一例を示す図である。図６は、第二段階の学習処理を示すフローチャートである。図７は、アクティビティと平均発生情報量との関係を表すテーブル（以下、アクティビティ−平均発生情報量テーブルとする）の一例を示す図である。ここで、アクティビティとは、絵柄の乱雑さのことである。

図３および図４に示すように、第一段階の学習処理が開始されると、まず、画像入力部２４は、画像処理回路１３（図１参照）から送られてきた画像データＤに対して単純な間引き処理を行う。また、画像入力部２４は、画面全体の明るさと色合いの情報、および画面が細かい絵柄であるか平坦な絵柄であるかという情報を得る。画像入力部２４は、電力を消費する各種フィルタ処理や、４：２：２を４：２：０にするフォーマット変換等を行わない。画像入力部２４で処理された画像データは、原画像データＤ１としてメモリ２５の原画像記憶領域２６に書き込まれる。

ただし、時間フィルタ処理のうち、前フレームとの同一画素位置の差分累積を求める機能は、有効となっている。そして、画面に変化がほとんどない場合には、これ以降の処理の実行をスキップする構成となっている。これによって、消費電力の削減を図ることができる。また、画像入力部２４は、入力された画像データＤに対して、全画面ではなく、画面の一部、例えば画面の上、中、下、左、中および右のそれぞれ一部の領域５１に限定して、画像データＤの取り込みを行う。これによって、メモリ２５に対するアクセス処理が削減される。

画像入力部２４での処理が完了したら（ステップＳ１：Ｙｅｓ）、全体制御部３６は、画像入力部２４から現在の画像、すなわち原画像の明るさと色合い平均、絵柄の複雑さの平均値情報Ｉ１を読み出す（ステップＳ２）。次いで、動き探索部２９は、原画像記憶領域２６に記憶されている原画像のデータＤ２と、参照画像記憶領域２７に記憶されている参照画像、すなわち前フレームの画像のデータＤ３とのパタンマッチングを行い、動きベクトルを求める。その際、画像入力部２４で取り込まれた原画像の一部の領域５１の中の１個または数個のマクロブロックと、それに対応する参照画像のマクロブロックとが、マクロブロックごとに比較される。

動き探索部２９での処理が完了したら（ステップＳ３：Ｙｅｓ）、全体制御部３６は、動き探索部２９から動きベクトルの平均値と動きベクトルの絶対値の平均値の情報Ｉ２を読み出す（ステップＳ４）。動きベクトルの絶対値の平均値の大小は、動きの激しさの大小に対応している。また、動きベクトルの絶対値の平均値から動きベクトルの平均値を引いた値の大小は、動きの乱雑さの大小に対応している。

次いで、全体制御部３６は、不揮発性メモリ１９に記憶されている発生情報量テーブル群１０を参照し、様々なシーンごとの分類データの中から、原画像の明るさ、色合いおよび絵柄の複雑さ、動きの激しさ、動きの乱雑さの値と近い組み合わせのものを選択する。そして、その選択したシーンについての量子化スケール−平均発生情報量テーブルを第一段階の学習結果として取得する（ステップＳ５）。以下の説明では、この第一段階の学習結果とした量子化スケール−平均発生情報量テーブルを第１のテーブルとする。

ここで、量子化スケール−平均発生情報量テーブルについて説明する。図５は、例えばシーン１〜４の４種類のシーンに対して、量子化スケールの値を変えた場合の平均発生情報量の変化をグラフ化して表したものである。図５に示すように、量子化スケールの値が同じでも、シーンによって発生情報量が異なる。このため、録画開始時の最初のシーンがどのようなシーンであるかわからない状態で、例えば、録画開始時に量子化スケールの値を１０に設定して符号化する場合、目標情報量が１０００であれば、図５のシーン３では、発生情報量がほぼ目標情報量と同じになる。

それに対して、シーン１やシーン２では、目標情報量に対して発生情報量が少なすぎるので、フィードバック制御により量子化スケールの値を小さくして、発生情報量を増やす必要がある。一方、シーン４では、目標情報量に対して発生情報量が多すぎるので、発生情報量を減らすため、量子化スケールの値を大きくする必要がある。このように、シーンによって量子化スケールの値と発生情報量との関係が一様でないため、一般に、録画開始時に最適な量子化スケールの値を完全に把握するのは困難である。

そこで、本実施の形態では、画面全体の明るさと色合い、画面が細かい絵柄であるか平坦な絵柄であるか、動きの激しさや乱雑さ等の情報を種々変えて組み合わせた複数のパターンに対して、予め種々の量子化スケールの値で符号化を行っておく。その結果得られた量子化スケールの値と発生情報量との関係を、図５に示すようなシーン１〜４の関係の形で経験的情報（発生情報量テーブル群１０）として蓄積する。

そして、プリエンコードによる第一段階の学習の際に、入力画像を経験的情報（発生情報量テーブル群１０）と照らし合わせることによって、入力画像がどの系列に近いかということをおおよそ推定する。ここまでの第一段階の学習が終了した時点で、発生情報量が十分に目標情報量に近くなるような量子化スケールの値を推定することができる。従って、学習時の消費電力をできるだけ少なくする必要がある場合には、第一段階の学習が終了した時点で、全体の学習を終了させる構成としてもよい。第一段階の学習だけでよい場合には、符号化装置２の画像入力部２４と動き探索部２９のみを動作させればよい。

学習時の消費電力に余裕がある場合、あるいは量子化スケールの値をより一層、高精度に推定する必要がある場合には、上述した第一段階の学習に続いて、次に説明する第二段階の学習を行う。図３および図６に示すように、第二段階の学習処理が開始されると、まず、全体制御部３６は、第一段階の学習結果である第１のテーブルに基づいて、録画開始時の発生情報量が目標発生情報量となる可能性の高い量子化スケール（値）を選択する（ステップＳ１１）。そして、符号化の対象となるマクロブロックをサンプル・マクロブロックの１つに設定する（ステップＳ１２）。

動き補償部３０は、動き探索部２９から動きベクトル情報Ｉ３を得るとともに、原画像記憶領域２６に記憶されている原画像のうちのサンプル・マクロブロックの画像データＤ４と、参照画像記憶領域２７に記憶されている参照画像のうちの対応するマクロブロックの画像データＤ５を得る。そして、動き補償部３０は、動きベクトル情報Ｉ３に基づいて、参照画像のマクロブロックの画像データＤ５から現在の対応するマクロブロックの画像データを予測し、この予測した画像（予測画像とする）のデータと原画像のサンプル・マクロブロックの画像データＤ４との差分を求める。

直交変換部３１は、動き補償部３０により求められた差分データＤ６に対して直交変換を行う。量子化部３２は、直交変換後のデータＤ７に対して量子化を行う。これらの処理によって、視覚的に目立たない高周波領域のデータが削減される。可変長符号化部３３は、ステップＳ１１で選択した量子化スケールの値を用いて、実際に量子化後のデータＤ８を符号化する。ただし、ここでは、最終的なビットストリームのデータ量を確定するだけであり、実際のビットストリームは不要であるので、可変長符号化部３３は、ビットストリームを出力しない。

また、逆量子化部３４および逆直交変換部３５は、動作しない。従って、動き補償部３０による再生画像の生成は行われない。このように、符号化装置２（図２参照）の一部の機能ブロックのみを動作させることによって、第二段階の学習時の消費電力を削減することができる。全体制御部３６は、動き補償部３０からアクティビティの値Ｉ４を読み出すとともに、可変長符号化部３３から発生情報量の値Ｉ５を読み出し（ステップＳ１３）、その値Ｉ６を第二段階学習結果データ２０の一部として学習結果格納用メモリ２１に蓄積する。

続いて、可変長符号化部３３は、ステップＳ１１で選択した量子化スケールの値の１／２の値を求め、その求めた値を用いて、量子化後のデータＤ８を符号化する。全体制御部３６は、可変長符号化部３３から発生情報量の値Ｉ５を読み出し（ステップＳ１４）、その値Ｉ６を第二段階学習結果データ２０の一部として学習結果格納用メモリ２１に蓄積する。同様にして、ステップＳ１１で選択した量子化スケールの値の２倍の値を用いて、量子化後のデータＤ８を符号化し、そのときの発生情報量の値Ｉ６を読み出し（ステップＳ１５）、第二段階学習結果データ２０の一部として学習結果格納用メモリ２１に蓄積する。

なお、学習の高精度化による画質向上と消費電力との間にはトレードオフの関係があるので、ステップＳ１４およびステップＳ１５の一方または両方を省略し、経験的な推定値を用いるようにしてもよい。また、より高い精度を必要とする場合には、ステップＳ１１で選択した量子化スケールの値に対して、２倍と１／２倍以外にも細かく倍率を設定してもよい。

すべてのサンプル・マクロブロックについて上述したステップＳ１３〜Ｓ１５までの処理が終了するまで（ステップＳ１６：Ｎｏ）、順次、符号化対象のマクロブロックを次のサンプル位置に設定し（ステップＳ１８）、ステップＳ１３〜Ｓ１５の処理を繰り返す。そして、すべてのサンプル・マクロブロックについて処理が終了したら（ステップＳ１６：Ｙｅｓ）、ステップＳ１１で選択した量子化スケールの値、その１／２およびその２倍の各値についてのアクティビティ−平均発生情報量テーブルを第二段階の学習結果として取得し（ステップＳ１７）、第二段階の学習を終了する。アクティビティ−平均発生情報量テーブルは、第２のテーブルに相当する。

ここで、アクティビティ−平均発生情報量テーブルについて説明する。図７は、あるシーンに対して、画面内の何箇所かのサンプル・マクロブロックについてアクティビティと平均発生情報量の変化をグラフ化して表したものである。このような学習結果を得ることによって、本番の各マクロブロックの符号化を行う際には、マクロブロックのアクティビティから、実際に符号化する前の段階で発生情報量を予測することが可能となる。

第一段階の学習結果に基づいて選択した量子化スケールの値では発生情報量と目標情報量との差が大きい場合には、量子化スケールの値をマクロブロック単位で微調整することによって、目標情報量への収束を速めることができる。また、フォーカスが合っている部分等、画面の特定の注目部分に対して特に画質を向上させることを目的として量子化スケールの値を調整する場合には、発生情報量がどの程度、増加するかということを予測することができるので、録画開始時の発生情報量を高精度に制御することが可能となる。

次に、プリエンコードによる学習を行うことによる電力削減効果について説明する。この電力削減効果は、全画面に対して、画像入力部２４での画像取り込み範囲をどれ位に絞るかということと、その取り込まれた画像のうち、動き探索処理および符号化処理するマクロブロックをどれ位に限定するかということに依存する。

一例として、画面の上、中、下、左、中、右の９個のマクロブロックについて、動き探索範囲を左右±３２画素で上下±１６画素程度に限定した場合、プリエンコード時の対象画像は、おおよそ１８４３２ピクセル（＝（３２×２×３）×（１６×２×３）ピクセル）となる。これは、通常のテレビジョンの画面に相当するＭＰ＠ＭＬの場合の３４５６００ピクセル（＝７２０×４８０ピクセル）の約５％となる。従って、消費電力もその程度の割合となる。

ただし、一部のマクロブロックに対して学習を行う場合には、全画面の全マクロブロックに対して学習を行う場合に比べて、学習精度が劣る可能性がある。従って、必要とする学習精度と求める電力削減とのバランスに基づいて、画像入力部２４で取り込む画像の範囲と、動き探索処理および符号化処理するマクロブロックの数を設定すればよい。

次に、録画開始後の通常の符号化処理について説明する。図８は、録画開始後の符号化処理を説明するためのブロック図である。録画開始時には、上述したプリエンコードによる学習結果に基づいて、適当な量子化スケールを選択し、符号化を開始する。録画開始後、画像入力部２４は、画像処理回路１３（図１参照）から送られてきた画像データＤに対して各種空間フィルタ処理、時間フィルタ処理および４：２：２を４：２：０にするフォーマット変換等を行う。画像入力部２４で処理された画像データは、原画像データＤ９としてメモリ２５の原画像記憶領域２６に書き込まれる。

次いで、動き探索部２９は、原画像記憶領域２６に記憶されている原画像のデータＤ１０と、参照画像記憶領域２７に記憶されている参照画像のデータＤ１１とのパタンマッチングを、マクロブロックごとに行い、動きベクトルを求める。動き補償部３０は、動き探索部２９から動きベクトル情報Ｉ７を得るとともに、原画像記憶領域２６に記憶されている原画像のマクロブロックのデータＤ１２と、参照画像記憶領域２７に記憶されている参照画像の対応するマクロブロックのデータＤ１３を得る。

そして、動き補償部３０は、動きベクトル情報Ｉ７に基づいて、参照画像のマクロブロックの画像データＤ５から予測画像のマクロブロックのデータを生成し、その予測画像のマクロブロックのデータと原画像のマクロブロックのデータＤ１２との差分を求める。この差分を求める処理をマクロブロックごとに行う。続いて、直交変換部３１において、動き補償部３０により求められた差分データＤ１４に対して直交変換を行い、量子化部３２において、直交変換後のデータＤ１５に対して量子化を行うことによって、視覚的に目立たない高周波領域のデータを削減する。

高周波領域が削減されたデータＤ１６は、可変長符号化部３３において符号化され、ビットストリームに割り当てられる。この段階で、最終的なデータ量が確定する。また、逆量子化部３４において、符号化前のデータＤ１６の逆量子化処理を行い、逆直交変換部３５において、逆量子化されたデータＤ１７に対して逆直交変換を行う。そして、動き補償部３０は、逆直交変換されたデータＤ１８を用いて、再生画像のデータを生成する。生成された再生画像のデータＤ１９は、メモリ２５の再生画像記憶領域２８に記憶される。この記憶された再生画像のデータＤ１９は、次のフレームでの符号化処理において、参照画像として用いられる。

以上説明したように、実施の形態によれば、画面全体の明るさと色合い、画面が細かい絵柄か平坦な絵柄か、動きの激しさや乱雑さ、および符号化する際の量子化スケールの値と発生情報量との相関、という限定的な情報に基づいて学習を行うので、本番の符号化処理と同様に全画面でエンコードを行うことにより学習を実施する場合の消費電力と比べれば、はるかに少ない消費量で学習を行うことができる。また、符号化前のフレームメモリを多数有し、そこに多くの画像データを予め蓄積しておいて、学習が完了してから本番の符号化を開始する、という準２パス方式で符号化する場合には、多大な回路の増大を招くが、実施の形態によれば、回路の増大を招くことなく、学習を行うことができる。従って、安定して本番のエンコードを開始することができる。

以上において本発明は、上述した実施の形態に限定されるものではなく、種々変更可能である。例えば、プリエンコードによる学習によって量子化スケール以外の符号化パラメータ、あるいは量子化スケールとそれ以外の符号化パラメータとの組み合わせを調整するようにしてもよい。また、実施の形態では、ムービーカメラを例にして説明したが、本発明は、動画像の録画機能を有するデジタルカメラや、動画像の録画機能を有するカメラ付き携帯電話等にも適用可能である。さらに、本発明は、ＭＰＥＧ−２規格に基づいて動画像を符号化する場合に限定されるものではなく、その他の規格に基づいて動画像を符号化する場合にも適用可能である。

（付記１）録画開始前から、入力された画像データに基づいて学習を行うプリ符号化手段と、
前記プリ符号化手段により得られた学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化手段と、
を備えることを特徴とする符号化装置。

（付記２）前記プリ符号化手段は、入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求める画像入力手段と、現在の画像データと過去の画像データに基づいて画像の動きベクトルを求める動き探索手段と、種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群を備えており、
前記プリ符号化手段は、前記テーブル群の中から、前記画像入力手段により得られた現在の画像の明るさ、色合いおよび絵柄の複雑さと、前記動き探索手段により得られた動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを学習結果とすることを特徴とする付記１に記載の符号化装置。

（付記３）前記プリ符号化手段は、前記動き探索手段により得られた動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求める動き補償手段と、前記動き補償手段により得られた画像データの差分を符号化して発生情報量を求める発生情報量取得手段を備えており、
前記プリ符号化手段は、前記動き補償手段から絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記動き補償手段により得られた画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを新たな学習結果とすることを特徴とする付記２に記載の符号化装置。

（付記４）録画開始前から、入力された画像データに基づいて学習を行うプリ符号化手段と、
前記プリ符号化手段により得られた学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化手段と、
録画開始時に前記符号化手段により符号化された画像データを記録する記録手段と、
を備えることを特徴とする録画装置。

（付記５）前記プリ符号化手段は、入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求める画像入力手段と、現在の画像データと過去の画像データに基づいて画像の動きベクトルを求める動き探索手段と、種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群を備えており、
前記プリ符号化手段は、前記テーブル群の中から、前記画像入力手段により得られた現在の画像の明るさ、色合いおよび絵柄の複雑さと、前記動き探索手段により得られた動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを学習結果とすることを特徴とする付記４に記載の録画装置。

（付記６）前記プリ符号化手段は、前記動き探索手段により得られた動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求める動き補償手段と、前記動き補償手段により得られた画像データの差分を符号化して発生情報量を求める発生情報量取得手段を備えており、
前記プリ符号化手段は、前記動き補償手段から絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記動き補償手段により得られた画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを新たな学習結果とすることを特徴とする付記５に記載の録画装置。

（付記７）録画開始前から、入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求めるとともに、現在の画像データと過去の画像データに基づいて画像の動きベクトルを求め、予め設けられた、種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群の中から、現在の画像の明るさ、色合いおよび絵柄の複雑さと、動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを学習結果とするプリ符号化工程と、
前記プリ符号化工程により得られた学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化工程と、
を含むことを特徴とする符号化方法。

（付記８）前記プリ符号化工程は、前記動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求め、絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを新たな学習結果とすることを特徴とする付記７に記載の符号化方法。

（付記９）録画開始前から、入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求めるとともに、現在の画像データと過去の画像データに基づいて画像の動きベクトルを求め、予め設けられた、種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群の中から、現在の画像の明るさ、色合いおよび絵柄の複雑さと、動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを学習結果とするプリ符号化工程と、
前記プリ符号化工程により得られた学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化工程と、
録画開始時に前記符号化工程で符号化された画像データを記録する記録工程と、
を含むことを特徴とする録画方法。

（付記１０）前記プリ符号化工程は、前記動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求め、絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを新たな学習結果とすることを特徴とする付記９に記載の録画方法。

（付記１１）前記画像入力手段は、入力された画像データに対して間引き処理を行い、前記プリ符号化手段は、前記画像入力手段により間引きされた画像データを用いて録画開始前の学習を行うことを特徴とする付記１〜３のいずれか一つに記載の符号化装置。

（付記１２）前記プリ符号化手段は、現在の画像データと過去の画像データの同一画素位置に変化がほとんどない場合に、継続して録画開始前の学習を停止することを特徴とする付記１〜３のいずれか一つに記載の符号化装置。

（付記１３）前記プリ符号化手段は、録画開始前の一画面のうちの一部の領域の画像データに基づいて学習を行うことを特徴とする付記１〜３のいずれか一つに記載の符号化装置。

（付記１４）前記画像入力手段は、入力された画像データに対して間引き処理を行い、前記プリ符号化手段は、前記画像入力手段により間引きされた画像データを用いて録画開始前の学習を行うことを特徴とする付記４〜６のいずれか一つに記載の録画装置。

（付記１５）前記プリ符号化手段は、現在の画像データと過去の画像データの同一画素位置に変化がほとんどない場合に、継続して録画開始前の学習を停止することを特徴とする付記４〜６のいずれか一つに記載の録画装置。

（付記１６）前記プリ符号化手段は、録画開始前の一画面のうちの一部の領域の画像データに基づいて学習を行うことを特徴とする付記４〜６のいずれか一つに記載の録画装置。

（付記１７）前記プリ符号化工程では、入力された画像データに対して間引き処理を行い、その間引きされた画像データを用いて録画開始前の学習を行うことを特徴とする付記７または８に記載の符号化方法。

（付記１８）前記プリ符号化工程では、現在の画像データと過去の画像データの同一画素位置に変化がほとんどない場合に、継続して録画開始前の学習を停止することを特徴とする付記７または８に記載の符号化方法。

（付記１９）前記プリ符号化工程では、録画開始前の一画面のうちの一部の領域の画像データに基づいて学習を行うことを特徴とする付記７または８に記載の符号化方法。

（付記２０）前記プリ符号化工程では、入力された画像データに対して間引き処理を行い、その間引きされた画像データを用いて録画開始前の学習を行うことを特徴とする付記９または１０に記載の録画方法。

（付記２１）前記プリ符号化工程では、現在の画像データと過去の画像データの同一画素位置に変化がほとんどない場合に、継続して録画開始前の学習を停止することを特徴とする付記９または１０に記載の録画方法。

（付記２２）前記プリ符号化工程では、録画開始前の一画面のうちの一部の領域の画像データに基づいて学習を行うことを特徴とする付記９または１０に記載の録画方法。

以上のように、本発明にかかる符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法は、ＭＰＥＧ規格による画像データの圧縮技術に有用であり、特に、ＭＰＥＧ−２規格に基づいて画像データを圧縮して記録するムービーカメラ、動画像の録画機能を有するデジタルカメラおよび動画像の録画機能を有するカメラ付き携帯電話等に適している。

実施の形態にかかるムービーカメラの構成を示すブロック図である。符号化装置の構成を示すブロック図である。学習処理実行時のデータの流れを説明するためのブロック図である。第一段階の学習処理を示すフローチャートである。量子化スケール−平均発生情報量テーブルの一例を示す図である。第二段階の学習処理を示すフローチャートである。アクティビティ−平均発生情報量テーブルの一例を示す図である。録画開始後の符号化処理を説明するためのブロック図である。

符号の説明

Ｄ画像データ
２符号化装置
１４記録装置
２４画像入力部
２９動き探索部
３０動き補償部
３１直交変換部
３２量子化部
３３可変長符号化部

Claims

録画開始前から、入力された画像データに基づいて、実際の符号化を行わないで画像情報を取得する第１の学習と、実際の符号化を行って画像情報を取得する第２の学習とを行う機能を有するプリ符号化手段と、
前記プリ符号化手段により得られて学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化手段とを備え、
前記プリ符号化手段は、
入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求める画像入力手段と、
現在の画像データと過去の画像データに基づいて画像の動きベクトルを求める動き探索手段と、
種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群を備え、
前記プリ符号化手段は、前記デーブル群の中から、前記画像入力手段により得られた現在の画像の明るさ、色合いおよび絵柄の複雑さと、前記動き探索手段により得られた動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを前記第１の学習結果とし、
さらに、前記プリ符号化手段は、
前記動き探索手段により得られた動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求める動き補償手段と、
前記動き補償手段により得られた画像データの差分を符号化して発生情報量を求める発生情報量取得手段とを備え、
前記プリ符号化手段は、前記動き補償手段から絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記動き補償手段により得られた画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを前記第２の学習結果とすることを特徴とする符号化装置。
録画開始前から、入力された画像データに基づいて、実際の符号化を行わないで画像情報を取得する第１の学習と、実際の符号化を行って画像情報を取得する第２の学習を行う機能を有するプリ符号化手段と、
前記プリ符号化手段により得られた学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化手段と、
録画開始前に前記符号化手段により符号化された画像データを記録する記録手段とを備え、
前記プリ符号化手段は、
入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求める画像入力手段と、
現在の画像データと過去の画像データに基づいて画像の動きベクトルを求める動き探索手段と、
種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群を備え、
前記プリ符号化手段は、前記テーブル群の中から、前記画像入力手段により得られた現在の画像の明るさ、色合いおよび絵柄の複雑さと、前記動き探索手段により得られた動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを前記第１の学習結果とし、
さらに、前記プリ符号化手段は、
前記動き探索手段により得られた動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求める動き補償手段と、
前記動き補償手段により得られた画像データの差分を符号化して発生情報量を求める発生情報量取得手段とを備え、
前記プリ符号化手段は、前記動き補償手段から絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記動き補償手段により得られた画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを前記第２の学習結果とすることを特徴とする録画装置。
録画開始前から、入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求めるとともに、現在の画像データと過去の画像データに基づいて画像の動きベクトルを求め、予め設けられた、種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群の中から、現在の画像の明るさ、色合いおよび絵柄の複雑さと、動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを、実際の符号化を行わないで画像情報を取得する第１の学習結果とするプリ符号化工程と、
前記プリ符号化工程により得られた前記第１の学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化工程とを含み、
前記プリ符号化工程は、前記動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求め、絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを、実際の符号化を行って画像情報を取得する第２の学習結果とすることを特徴とする符号化方法。
録画開始前から、入力された画像データに基づいて現在の画像の明るさ、色合いおよび絵柄の複雑さを求めるとともに、現在の画像データと過去の画像データに基づいて画像の動きベクトルを求め、予め設けられた、種々のシーンに対する符号化パラメータと発生情報量との関係を表すテーブル群の中から、現在の画像の明るさ、色合いおよび絵柄の複雑さと、動きベクトルの組み合わせに近い第１のテーブルを選択し、その第１のテーブルを、実際の符号化を行わないで画像情報を取得する第１の学習結果とするプリ符号化工程と、
前記プリ符号化工程により得られた学習結果に基づいて決定された符号化パラメータを用いて録画対象の画像データを符号化する符号化工程と、
録画開始時に前記符号化工程で符号化された画像データを記録する記録工程とを含み、
前記プリ符号化工程は、前記動きベクトルに基づいて過去の画像データから現在の画像データを予測し、その予測した現在の画像データと実際の現在の画像データとの差分を求め、絵柄の乱雑さの値を読み出すとともに、前記第１のテーブルに基づいて一つ以上の符号化パラメータの値を選択し、その選択した符号化パラメータの値を用いて、前記画像データの差分を符号化して発生情報量を取得し、その取得した発生情報量に基づいて絵柄の乱雑さと発生情報量との関係を表す第２のテーブルを、実際の符号化を行って画像情報を取得する第２の学習結果とすることを特徴とする録画方法。