JP2007172250A - 画像メモリ管理装置、画像メモリ管理方法、およびそのプログラム - Google Patents

Abstract

【課題】 局所画像の追跡やオプティカルフローの計測を行う場合に、ダブルバッファやトリプルバッファで画像の入力処理を行う画像処理装置を提供する。
【解決手段】
本発明は、リアルタイムで画像処理を行う装置において、フレーム毎に順次切換入力を行う画像処理で、論理メモリ番号から物理メモリ番号へ変換を行うテーブルと各物理メモリ番号の参照数を保持するテーブルと未使用物理メモリ番号の保持リスト等を設け、動的に物理メモリの割当を行う画像処理装置に関する。
【選択図】図１

Description

本発明は、リアルタイムで画像処理を行う技術において、フレーム毎に順次切換入力を行う画像処理装置において、論理メモリのアドレスから物理メモリのアドレスへ変換を行うテーブルと各物理メモリの参照数を保持するテーブルと未使用物理メモリ番号の保持リスト等を設けておき、動的に物理メモリの割当を行う技術に関する。

近年におけるＬＳＩ（Large Scale Integration ）の性能向上により、カメラから入力される毎秒３０フレームの画像に対し、リアルタイムで局所的な画像追跡やオプティカルフロー抽出等の画像処理を行う装置を実現することが可能となってきている。局所画像追跡とは追跡対象がどの位置に存在するかを各フレームで計算をする処理、オプティカルフローの抽出はあるフレームでのある点が次のフレームではどの位置に移動したかを順次抽出する処理であり、画像認識等で使用される画像処理である（例えば、非特許文献１参照）。

これら局所画像追跡やオプティカルフローの計測を行う場合には、画像入力用画像メモリ一つと画像処理用画像メモリ一つを順次切り替えるダブルバッファ方式、画像入力用画像メモリ一つと画像処理用画像メモリ二つを順次切り替えるトリプルバッファ方式など、一つの画像入力用メモリと、一つあるいは複数の画像処理用メモリを使用する方式をとる。こうした画像入力方式では、画像入力メモリにカメラから入力される画像データを書き込み、画面全体の入力が完了したらそのメモリは画像処理用メモリとして使用し、他のメモリを画像入力用メモリとして使用するなど、画像入力メモリと画像処理用メモリを順繰りに変えて処理を行う。

図１４は、従来のトリプルバッファ入力時のメモリ切り換えの状態を模式的に示したものである。カメラによって撮影されたフレーム画像に対し、複数の画像メモリの内三つの画像メモリをトリプルバッファとして用い、画像入力処理と画像処理の二つの処理プロセスを処理するケースを示している。

画像処理のプログラムからは、論理メモリのアドレス（ＬＡ）によって、画像メモリの指定を行い、各画像メモリにアクセスする。現在画像を入力する入力用メモリとしてＬＡ＝０、１フレーム前に入力された画像を保持する画像処理用メモリとしてＬＡ＝１、２フレーム前に入力された画像を保持する画像処理用メモリとしてＬＡ＝２がそれぞれ対応している。

状態１では、入力処理によって、入力された画像データは画像メモリ１に蓄えられ、画像メモリ３には１フレーム前の画像、画像メモリ２には２フレーム前の画像が蓄積され、画像処理用のメモリとして使用される。１フレーム経過後には、ＦＩＦＯ（First-In First-Out：先入れ先出し）にしたがって状態２に切り替わり、入力画像データは、入力処理によって画像メモリ２に蓄積され、画像メモリ１には１フレーム前の画像、また画像メモリ３には２フレーム前の画像が蓄積され、画像処理用の画像メモリとして使用される。さらに、２フレーム経過後には、状態３に切り替わり、入力画像データは、入力処理によって画像メモリ３に蓄積され、画像メモリ１には１フレーム前の画像、また画像メモリ３には２フレーム前の画像が蓄積され、画像処理用の画像メモリとして使用される。このような入力処理方法をとることによって、画像入力用のメモリと画像演算用のメモリを順繰りに変えていくことで、毎フレーム画像を入力しながら入力が完了した画像を演算処理することが可能となる。

しかしながら、従来の方法では、これらの画像メモリの切り替えには、固定されたメモリの範囲の中で画像の切り替えを行うため、メモリ番号が一周すると画像メモリのデータは新しい入力画像で上書きされることとなる。したがって、画像処理を毎フレーム行う処理を継続しつつ、ある入力画像を保存したい場合や処理時間の長い処理を行う場合には、入力メモリとして使用しているメモリではないメモリに一旦画像データをコピーする必要がある。こうしたデータのコピーは、メモリバスを占有するため処理時間に大きな影響を及ぼす等の問題を抱える。
岡田他、「オプティカルフローと距離情報に基づく動物体の追跡」信学論（Ｄ−２）、Ｖｏｌ．Ｊ８０−Ｄ−２、Ｎｏ．６、ｐ１５３０、１９９７年６月

上記問題点を解決するため、本発明では、画像メモリを使用しているか否かの情報を保持する手段と、使用していないメモリから新規メモリの割り当てを動的に行う手段を提供することによって、画像データを保護したい場合においてはテーブルの情報を更新するだけで大きな画像データのコピーを行う必要がない手段を提供する。

第一の発明は、カメラで撮影したフレーム画像が逐次取り込まれる複数の画像メモリを管理する画像メモリ管理装置であって、プログラムが指定する論理メモリの論理アドレスを前記画像メモリの物理アドレスに変換し、前記物理アドレスに当該変換の有効性を示す有効ビットを付与したアドレス変換テーブルを定義するアドレス変換手段と、前記物理アドレスを参照している論理メモリの数が保持された参照数テーブルをもとに空となった物理アドレスを未使用リストとして抽出する空メモリ抽出手段と、前記フレーム画像を入力する際に、前記未使用リストから読み出した物理アドレスの画像メモリを画像入力用のメモリとして割り付けるメモリ割付手段と、を有することを特徴とする画像メモリ管理装置に関する。

すなわち、第一の発明によれば、アドレス変換手段が、論理メモリのアドレスと物理メモリのアドレスとを対応付け、かつその変換が有効か否かを示す情報として有効ビットを付与したアドレス変換テーブルを定義し、空メモリ抽出手段が、画像メモリの物理アドレスを参照している論理メモリの数を保持する参照数テーブルから未使用の画像メモリのアドレスを抽出して未使用リストを作り、メモリ割付手段が、未使用リストから読み出した画像メモリを画像入力メモリとして割り付ける構成をとることにより、次々に入力されるフレーム画像に対し、画像メモリを動的に割り付けることが可能となり、画像処理の高速化が実現される。

第二の発明は、前記メモリ割付手段は、ある論理アドレスに対して新規に画像メモリを割り付ける場合、前記未使用リストから一つの物理アドレスを読み出し、読み出した当該物理アドレスによって前記論理アドレスに対応する物理アドレスを更新し、かつ有効ビットを使用状態に更新することを特徴とする上記第一の発明に記載の画像メモリ管理装置に関する。

すなわち、第二の発明によれば、プログラムが指定するある論理アドレスへの新規の画像メモリ割り付けにおいて、未使用リストから、例えば、ＦＩＦＯ（First-In First-Out：先入れ先出し）のルールにしたがって古いフレーム画像が蓄えられた画像メモリの順番に物理アドレスを読み出して、当該論理アドレスに対応した物理アドレスを置き換える構成とすることによって次々に入力されるフレーム画像に対し、動的に画像メモリを割り付けることが可能となり、画像処理の高速化を図ることができる。

第三の発明は、前記メモリ割付手段は、ある論理アドレスの情報を別の論理アドレスへ複写する場合、前記アドレス変換テーブルの複写先の前記論理アドレスにおいて、複写元の物理アドレスを複写し、同時に当該変換が有効である状態に更新することを特徴とする上記第一の発明に記載の画像メモリ管理装置に関する。

すなわち、第三の発明によれば、アドレス変換テーブルにおいて、ある論理アドレスの情報を別の論理アドレスに複写する構成とすることにより、画像メモリに蓄えられた画像データを保存しておきたいときに、随時複写することが可能となり、従来、問題とされていた大きな画像データのコピーを行う必要がなく、画像処理の高速化に寄与する。

本発明によれば以下の効果が生じる。
（１）アドレス変換手段が、論理メモリのアドレスと物理メモリのアドレスとを対応付け、かつその変換が有効か否かを示す情報として有効ビットを付与したアドレス変換テーブルを定義し、抽出手段が、物理メモリのアドレスを参照している論理メモリの数を保持する参照テーブルから未使用の物理メモリのアドレス抽出して未使用リストを作り、メモリ割付手段が、未使用リストから読み出した画像メモリを画像入力メモリとして割り付ける構成をとることにより、次々に入力されるフレーム画像に対し、画像メモリを動的に割り付けることが可能となり、画像処理の高速化が実現される。
（２）プログラムが指定するある論理アドレスへの新規の画像メモリ割り付けにおいて、未使用リストから、例えば、ＦＩＦＯ（先入れ先出し）のルールにしたがって古いフレーム画像が蓄えられた画像メモリの順番に物理アドレスを読み出して、当該論理アドレスに対応した物理アドレスを置き換える構成とすることによって次々に入力されるフレーム画像に対し、動的に画像メモリを割り付けることが可能となり、画像処理の高速化を図ることができる。
（３）アドレス変換テーブルにおいて、ある論理アドレスの情報を別の論理アドレスに複写する構成とすることにより、画像メモリに蓄えられた画像データを保存しておきたいときに、随時複写することが可能となり、従来、問題とされていた大きな画像データのコピーを行う必要がなく、画像処理の高速化に寄与する。画像をコピーする必要がなくなる結果、処理性能が向上する。ハイビジョン画像のように巨大な画像で、1 画面のコピーに全体５０％のメモリ帯域を使用する場合、約２倍の性能向上が見込まれる。

以上、物理メモリの新規割り当ての決定、マルチバッファの情報の更新、画像物理メモリの解放等の処理において、少ないハードウエア資源で高速な処理が実現できる。また、大量の画像データをコピーする必要がなくなる結果、処理性能が大きく向上する。

以下、図面にもとづいて本発明の実施形態を説明する。

図１は、本発明の実施の形態になる画像メモリ管理装置の一基本構成例を示す。画像処理装置０は、カメラ６から次々に入力されて来る画像データを入力インタフェース４を介して取得し、その画像データについて動的にメモリインタフェース５を介して画像メモリ３に割り付けを行う画像メモリ管理装置１と、画像メモリ３に保持された画像データをメモリインタフェース５を介して演算処理する画像演算処理部２と、メモリ管理で使用するアドレス変換テーブル１０１、未使用リスト１０２、および参照数テーブル１０３のテーブル類を保持する記憶部１００とから構成される。また、画像メモリ管理装置１、画像演算処理部２、および画像メモリ３は、メモリバス７を介して処理データの転送が行われる。なお、テーブル類を保持する記憶部１００としては、キャッシュ等の二次メモリを想定しているが、これに限定されず、画像メモリ３の一部を充当することであってもよい。

また、画像メモリ管理装置１は、図示していないが、ＣＰＵ（Central Processing Unit ）、メモリを有するコンピュータであり、その画像メモリ管理プログラムを内蔵し、アドレス変換手段１１、データ取得手段１２、空メモリ抽出手段１３、およびメモリ割付手段１４の各手段をコンピュータに実行させ、画像メモリ３の管理を行うものである。

図２は、本発明の実施の形態になるアドレス変換テーブルのデータ構成例を示す。アドレス変換テーブル１０１は、論理アドレスに対応する物理アドレスと、その変換が有効か否かを示す情報としての有効ビットの項目からなるテーブルであり、本実施例では、８画面分の画像メモリを持つ構成になっており、物理アドレスは０−７、論理アドレスは０−１５まで持つ構成としている。

図３は、本発明の実施の形態になる未使用リストのデータ構成例を示す。未使用リスト１０２は、空きとなった画像メモリ３の物理アドレスがＦＩＦＯ構成で保持されており、入力された順に出力される。

図４は、本発明の実施の形態になる参照数テーブルのデータ構成例を示す。参照数テーブル１０３は、各物理アドレスが参照されている論理メモリの数を保持するテーブルである。

以上のテーブル類を使用して、画像メモリ管理装置１におけるフレーム画像の入力処理の流れを以下の図５〜８に示す。

図５は、本発明の実施の形態になるトリプルバッファを例とした場合の入力開始の状態を示す。トリプルバッファ入力開始時のアドレス変換テーブル１０１、未使用リスト１０２、および参照数テーブル１０３の初期設定状態が示されている。アドレス変換テーブル１０１には、論理アドレス０のメモリを画像入力用メモリとして、論理アドレス１のメモリを画像処理用メモリ１として、論理アドレス２のメモリを画像入力用メモリ２に割り付けられている。未使用リスト１０２には、３から７までの５つの画像メモリの物理アドレスが登録されている。そして、参照数テーブル１０３には、物理アドレス０から２までには１が、３から７までには０が登録されている。

図６は、本発明の実施の形態になるトリプルバッファを例とした場合における１フレーム経過後の状態を示す。図６は、図５の入力開始の状態から、時間が経過して１フレーム分の画像入力が終わった場合における、アドレス変換テーブル１０１、未使用リスト１０２、および参照数テーブル１０３の更新処理の状態を示したものである。

まず、画像処理用メモリ２（論理アドレス２）として使用していた物理アドレスは使用されなくなるため、画像メモリの解放を行う。つぎに、次フレームの処理においては、画像処理用メモリ２（論理アドレス２）には、画像処理用メモリ１（論理アドレス１）で使用していた画像メモリを、画像処理用メモリ１（論理アドレス１）には画像入力用メモリ（論理アドレス０）で使用していた画像メモリを使用するので、アドレス変換テーブル１０１内の該当エントリ内容の移動を行う。最後に、入力用メモリ（論理アドレス０）に新しい物理メモリが必要となるので、新規に画像メモリを割り付ける。以下に、さらに具体的にその処理手順について説明する。
（１）画像メモリの解放：画像処理用メモリ２（論理アドレス２）で使用していた物理アドレス２は使用しなくなるので、アドレス変換テーブル１０１の論理アドレス２のエントリは変換が無効である状態に更新する。そして、参照数テーブル１０３の物理アドレス２の参照数を１減分する。この場合、参照数は０となり、物理アドレス２は未使用状態となるので、未使用リスト１０２に空きメモリとして物理アドレス２を登録する。
（２）アドレス変換テーブル１０１内の該当エントリ内容の移動：画像処理用メモリ２（論理アドレス２）には、画像処理用メモリ１（論理アドレス１）で使用していた物理アドレスを移動する。まず、アドレス変換テーブル１０１の論理アドレス２のエントリには、物理アドレス１をコピーし、その変換が有効である状態に更新する。そして、アドレス変換テーブル１０１の論理アドレス１のエントリには、変換が無効である状態に更新する。画像処理用メモリ１（論理アドレス１）には画像入力用メモリ（論理アドレス０）で使用していた物理アドレスを移動するので、同様に、アドレス変換テーブル１０１の論理アドレス１のエントリには、物理アドレス０をコピーし、その変換が有効である状態に更新する。そして、アドレス変換テーブル１０１の論理アドレス０のエントリは、変換が無効である状態に更新する。
（３）新規物理メモリの割り付け：画像入力用メモリ（論理アドレス０）には、未使用リスト１０２から物理アドレス３を読み出す。物理アドレス３は、未使用リスト１０２から削除される。そして、アドレス変換テーブル１０１の論理アドレス０のエントリには、未使用リスト１０２から読み出した物理アドレス３を書き込み、その変換が有効である状態に更新する。さらに、参照数テーブル１０３の物理アドレス３の参照数を１にする。

上記の手順にしたがって、アドレス変換テーブル１０１、未使用リスト１０２、および参照数テーブル１０３を更新することによって、フレーム切り替え時に発生する画像入力用メモリへの新規メモリの割り付け、画像処理用メモリの更新を行うことができる。

図７は、本発明の実施の形態になるアドレス変換テーブル内の論理アドレス間における情報コピーの例（ＬＡ＝２の物理メモリをＬＡ＝６に設定）を示す。画像処理用メモリ２（論理アドレス２）で使用していたメモリを後の処理のために保存する場合の例を示している。画像処理用メモリ２（論理アドレス２）で使用していたメモリを保存するために論理アドレス６を保存用のメモリとして使用する。論理アドレス６には、論理アドレス２で使用していた物理アドレスを使用するので、アドレス変換テーブル１０１の論理アドレス６のエントリには、物理アドレス１をコピーし、その変換が有効である状態に更新する。そして、参照数テーブル１０３の物理アドレス１の参照数を１増分し、２に更新する。

図８は、本発明の実施の形態になるコピー設定されたトリプルバッファにおける画像入力更新の例を示す。上記図７で説明したように、論理アドレスの割り付けを行うことによって、図８に示すように、次のフレームの更新時における画像処理用メモリ２（論理アドレス２）の画像メモリ解放で物理アドレス１を未使用リスト１０２に登録されなくなるようにすることができる。なぜなら、画像メモリ解放時に、参照数テーブル１０３の物理アドレス１の参照数を１減分した結果では、参照数２から１へと変更になるが、参照数が０ではないために空きメモリの登録は行えないからである。

このように、論理アドレス６に登録した物理アドレス１のメモリは、論理アドレス６に対する物理アドレス解放を行うまでは、フレーム更新による画像入力用メモリと画像処理用メモリの更新から保護することができる。また、この論理アドレスが必要でなくなった場合には、論理アドレス６に対する物理アドレスの解放を行うことによって、空きメモリとして未使用リスト１０３に登録することができる。

以上、画像メモリにフレーム毎に順次切り替えて入力処理を行う場合において、フレーム更新時に保護したい画像メモリ以外からメモリの新規割り当てを行い、画像入力用メモリと画像処理用メモリの更新を行うことが可能となり、画像データのコピーを不要とすることができる。

さらに、以下図９〜１３を用いて、画像メモリはトリプルバッファとした場合を例に取り上げ、本発明の動作フローを説明する。

図９は、本発明の実施の形態になるメモリ管理装置における全体の処理フロー（トリプルバッファのケース）を示す。まず、ステップＳ１〜Ｓ３において、論理メモリ０〜２に対し新規メモリの割り付け処理を行う（割付処理の詳細フローは図１０にて後述）。以上でトリプルバッファの入力開始の初期状態が設定され、以下のステップＳ４〜Ｓ８の各処理プロセスによって当該論理アドレスの内容が更新されつつ、フレーム画像の入力処理が行われる。

ステップＳ４において、カメラ６から取り込んだ１フレーム分の画像を画像メモリ３に保持するため、例えば、ＦＩＦＯ（先入れ先出し）のルールにしたがい、トリプルバッファで使用する画像メモリ３の論理アドレス（論理アドレス０〜２）に対応する所定の物理アドレスを開放→移動→割付の以下の入力処理を行う。

ステップＳ５において、アドレス変換テーブル１０１内の最も古い画像が保持された論理アドレス２を開放し、ステップＳ６において、開放された論理アドレス２に論理アドレス１の情報（物理アドレス情報）を移動する。つぎに、ステップＳ７において、当該論理アドレス１には、論理アドレス０の情報を移動する。こうして入力メモリとして画像データの受け口を段取りした段階で、ステップＳ８において、論理アドレス０に新規メモリとして、未使用リスト１０３を参照して空のメモリの割付処理を行う。

以下続けて、ステップＳ４に戻って、次のフレーム画像の入力処理に入る。なお、ステップＳ９は、必要時に複写を行っておく処理であり、論理アドレス６に論理アドレス２の情報を複写フレーム画像の入力処理に先立って（または）合間に実行される。

図１０は、本発明の実施の形態になる新規メモリの割付処理フローを示す。まず、ステップＳ１１において、未使用リスト１０２に保持された画像メモリ３の物理アドレスを読み出し、ステップＳ１２において、読み出した物理アドレスを未使用リスト１０２から削除する。

つぎに、ステップＳ１３において、論理アドレスから物理アドレスへ変換するアドレス変換テーブル１０１を更新する。すなわち、アドレス変換テーブル１０１の有効ビットを有効（使用状態）とし、所定の論理アドレスの情報を未使用リスト１０２から読み出した該当物理アドレスに書き換える。

さらに、ステップＳ１４で、参照数テーブル１０３における、該当物理アドレスが参照されている論理メモリ数を１にする。

図１１は、本発明の実施の形態になるメモリ開放の処理フローを示す。まず、ステップＳ２１において、論理アドレスから物理アドレスへ変換するアドレス変換テーブル１０１を更新する。すなわち、アドレス変換テーブル１０１の有効ビットを無効（未使用状態）とする。そして、ステップＳ２２において、該当物理アドレスが参照されている参照数テーブル１０３の論理メモリ数を１つ減ずる。

つぎに、ステップＳ２３において、該当物理アドレスの参照数が０の状態を判定する。参照数が０でなければ、本処理は終了し、参照数が０であるときには、ステップＳ２４において、未使用リスト１０２に該当物理アドレスを追加する。

図１２は、本発明の実施の形態になるメモリの移動に伴うアドレス情報更新の処理フローを示す。まず、ステップＳ３１において、移動元の論理アドレスから物理アドレスへ変換するアドレス変換テーブル１０１を更新する。すなわち、アドレス変換テーブル１０１の有効ビットを無効（未使用状態）とする。つぎに、ステップＳ３２において、移動先の論理アドレスから物理アドレスへ変換するアドレス変換テーブル１０１を更新する。すなわち、アドレス変換テーブル１０１の有効ビットを有効（使用状態）とし、移動元から読み出した該当物理アドレスに書き換える。

図１３は、本発明の実施の形態になるメモリのコピーに伴うアドレス情報更新の処理フローを示す。まず、ステップＳ４１において、移動先の論理アドレスから物理アドレスへ変換するアドレス変換テーブル１０１を更新する。すなわち、アドレス変換テーブル１０１の有効ビットを有効（使用状態）とし、移動元から読み出した該当物理アドレスに更新する。つぎに、ステップＳ４２において、該当物理アドレスを参照している参照数テーブル１０３の論理メモリ数を１に増分する。

以上述べてきた本発明の実施の態様は、以下の付記に示す通りである。
（付記１） カメラで撮影したフレーム画像が逐次取り込まれる複数の画像メモリを管理する画像メモリ管理装置であって、
プログラムが指定する論理メモリの論理アドレスを前記画像メモリの物理アドレスに変換し、前記物理アドレスに当該変換の有効性を示す有効ビットを付与したアドレス変換テーブルを定義するアドレス変換手段と、
前記物理アドレスを参照している論理メモリの数が保持された参照数テーブルをもとに空となった物理アドレスを未使用リストとして抽出する空メモリ抽出手段と、
前記フレーム画像を入力する際に、前記未使用リストから読み出した物理アドレスの画像メモリを画像入力用のメモリとして割り付けるメモリ割付手段と、
を有することを特徴とする画像メモリ管理装置。
（付記２） 前記メモリ割付手段は、ある論理アドレスに対して新規に画像メモリを割り付ける場合、前記未使用リストから一つの物理アドレスを読み出し、読み出した当該物理アドレスによって前記論理アドレスに対応する物理アドレスを更新し、かつ有効ビットを使用状態に更新することを特徴とする付記１に記載の画像メモリ管理装置。
（付記３） 前記メモリ割付手段は、ある論理アドレスに対する物理メモリを解放する場合、当該論理アドレスに対する物理アドレスの変換を無効とする状態に更新し、前記参照テーブルにおいて、当該物理アドレスを参照している論理メモリ数を減分し、前記論理メモリ数が０である時には、前記未使用リストに当該物理アドレスを追加することを特徴とする付記１に記載の画像メモリ管理装置。
（付記４） 前記メモリ割付手段は、ある論理アドレスの情報を別の論理アドレスへ移動する場合、移動元において物理アドレスへの変換が無効である状態に有効ビットを更新し、移動先において移動元の物理アドレスを複写し、当該変換が有効である状態に有効ビットを更新することを特徴とする付記１に記載の画像メモリ管理装置。
（付記５） 前記メモリ割付手段は、ある論理アドレスの情報を別の論理アドレスへ複写する場合、前記アドレス変換テーブルの複写先の前記論理アドレスにおいて、複写元の物理アドレスを複写し、同時に当該変換変換が有効である状態に更新することを特徴とする付記１に記載の画像メモリ管理装置。
（付記６） 前記フレーム画像のメモリバッファとしてＮ個のバッファを使用する場合、前記メモリ割付手段は、フレーム更新時に、Ｎ−１番目の画像演算処理用の画像メモリを解放し、Ｎ−２番目の画像演算処理用の画像メモリにＮ−３番目の画像メモリの情報を移動し、続いてＮ−３番目の画像演算処理用の画像メモリにＮ−４番目の画像メモリの情報を移動した後に、入力用メモリとして新規画像メモリを割り付けることを特徴とする付記１乃至５のいずれかに記載の画像メモリ管理装置。
（付記７） カメラで撮影したフレーム画像が逐次取り込まれる複数の画像メモリを管理する画像メモリ管理方法であって、
プログラムが指定する論理メモリの論理アドレスを前記画像メモリの物理アドレスに変換し、前記物理アドレスに当該変換の有効性を示す有効ビットを付与したアドレス変換テーブルを定義するアドレス変換ステップと、
前記物理アドレスを参照している論理メモリの数が保持された参照数テーブルをもとに空となった物理アドレスを未使用リストとして抽出する空メモリ抽出ステップと、
前記フレーム画像を入力する際に、前記未使用リストから読み出した物理アドレスの画像メモリを画像入力用のメモリとして割り付けるメモリ割付ステップと、
を有することを特徴とする画像メモリ管理方法。
（付記８） カメラで撮影したフレーム画像が逐次取り込まれる複数の画像メモリを管理する画像メモリ管理プログラムであって、
コンピュータに、
プログラムが指定する論理メモリの論理アドレスを前記画像メモリの物理アドレスに変換し、前記物理アドレスに当該変換の有効性を示す有効ビットを付与したアドレス変換テーブルを定義するアドレス変換ステップと、
前記物理アドレスを参照している論理メモリの数が保持された参照数テーブルをもとに空となった物理アドレスを未使用リストとして抽出する空メモリ抽出ステップと、
前記フレーム画像を入力する際に、前記未使用リストから読み出した物理アドレスの画像メモリを画像入力用のメモリとして割り付けるメモリ割付ステップと、
を実行させる画像メモリ管理プログラム。

本発明の実施の形態になる画像メモリ管理装置の一基本構成例を示す図である。 本発明の実施の形態になるアドレス変換テーブルのデータ構成例を示す図である。 本発明の実施の形態になる未使用リストのデータ構成例を示す図である。 本発明の実施の形態になる参照数テーブルのデータ構成例を示す図である。 本発明の実施の形態になるトリプルバッファを例とした場合の入力開始の状態を示す図である。 本発明の実施の形態になるトリプルバッファを例とした場合における１フレーム経過後の状態を示す図である。 本発明の実施の形態になるアドレス変換テーブル内の論理アドレス間における情報コピーの例（ＬＡ＝２の物理メモリをＬＡ＝６に設定）を示す図である。 本発明の実施の形態になるコピー設定されたトリプルバッファにおける画像入力更新の例を示す図である。 本発明の実施の形態になるメモリ管理装置における全体の処理フロー（トリプルバッファのケース）を示す図である。 本発明の実施の形態になる新規メモリの割付処理フローを示す図である。 本発明の実施の形態になるメモリ開放の処理フローを示す図である。 本発明の実施の形態になるメモリの移動に伴うアドレス情報更新の処理フローを示す図である。 本発明の実施の形態になるメモリのコピーに伴うアドレス情報更新の処理フローを示す図である。 従来のトリプルバッファ入力時のメモリ切り換えを示す図である。

符号の説明

０ 画像処理装置
１ 画像メモリ管理装置
２ 画像演算処理部
３ 画像メモリ
４ 入力インタフェース
５ メモリインタフェース
６ カメラ
７ メモリバス
１１ アドレス変換手段
１２ データ取得手段
１３ 空メモリ抽出手段
１４ メモリ割付手段
１００ 記憶部
１０１ アドレス変換テーブル
１０２ 未使用リスト
１０３ 参照数テーブル

Claims (5)

1. カメラで撮影したフレーム画像が逐次取り込まれる複数の画像メモリを管理する画像メモリ管理装置であって、
   プログラムが指定する論理メモリの論理アドレスを前記画像メモリの物理アドレスに変換し、前記物理アドレスに当該変換の有効性を示す有効ビットを付与したアドレス変換テーブルを定義するアドレス変換手段と、
   前記物理アドレスを参照している論理メモリの数が保持された参照数テーブルをもとに空となった物理アドレスを未使用リストとして抽出する空メモリ抽出手段と、
   前記フレーム画像を入力する際に、前記未使用リストから読み出した物理アドレスの画像メモリを画像入力用のメモリとして割り付けるメモリ割付手段と、
   を有することを特徴とする画像メモリ管理装置。
2. 前記メモリ割付手段は、ある論理アドレスに対して新規に画像メモリを割り付ける場合、前記未使用リストから一つの物理アドレスを読み出し、読み出した当該物理アドレスによって前記論理アドレスに対応する物理アドレスを更新し、かつ有効ビットを使用状態に更新することを特徴とする請求項１に記載の画像メモリ管理装置。
3. 前記メモリ割付手段は、ある論理アドレスの情報を別の論理アドレスへ複写する場合、前記アドレス変換テーブルの複写先の前記論理アドレスにおいて、複写元の物理アドレスを複写し、同時に当該変換が有効である状態に更新することを特徴とする請求項１に記載の画像メモリ管理装置。
4. カメラで撮影したフレーム画像が逐次取り込まれる複数の画像メモリを管理する画像メモリ管理方法であって、
   プログラムが指定する論理メモリの論理アドレスを前記画像メモリの物理アドレスに変換し、前記物理アドレスに当該変換の有効性を示す有効ビットを付与したアドレス変換テーブルを定義するアドレス変換ステップと、
   前記物理アドレスを参照している論理メモリの数が保持された参照数テーブルをもとに空となった物理アドレスを未使用リストとして抽出する空メモリ抽出ステップと、
   前記フレーム画像を入力する際に、前記未使用リストから読み出した物理アドレスの画像メモリを画像入力用のメモリとして割り付けるメモリ割付ステップと、
   を有することを特徴とする画像メモリ管理方法。
5. カメラで撮影したフレーム画像が逐次取り込まれる複数の画像メモリを管理する画像メモリ管理プログラムであって、
   コンピュータに、
   プログラムが指定する論理メモリの論理アドレスを前記画像メモリの物理アドレスに変換し、前記物理アドレスに当該変換の有効性を示す有効ビットを付与したアドレス変換テーブルを定義するアドレス変換ステップと、
   前記物理アドレスを参照している論理メモリの数が保持された参照数テーブルをもとに空となった物理アドレスを未使用リストとして抽出する空メモリ抽出ステップと、
   前記フレーム画像を入力する際に、前記未使用リストから読み出した物理アドレスの画像メモリを画像入力用のメモリとして割り付けるメモリ割付ステップと、
   を実行させる画像メモリ管理プログラム。
   

Images