以下、本発明に係る実施例1について図面を参照して説明する。
図14は、実施例1の画像記録再生装置を適応しうるパーソナルコンピュータ等の情報処理装置のハードウェア構成図である。
図14に示すように、該装置は、CPU1と、主記憶2と、補助記憶装置3と、入力装置4と、表示装置5と、画像入力装置6と、画像取り込み装置12と、圧縮画像再生装置9とを有して構成される。そして、画像入力装置6以外の各構成要素は、バス10によって接続され、各構成要素間で、必要な情報が伝送可能に構成されている。
また、画像入力装置6は、画像取り込み装置12に接続され、画像入力装置6から画像取り込み装置12に映像情報を伝送可能なように構成されている。画像取り込み装置12は、バスを介して接続されるCPU1等により構成されるPC等の情報処理装置21に装着されるか、図22に示すように画像入力装置6に内蔵される構成とする。尚、図22に示された画像取り込み装置は、CCDカメラ56が内蔵されているほかは図15に示した画像取り込み装置12と同様の構成である。
主記憶2は、ワークエリアとして機能したり、必要なプログラムを格納するための手段であり、前者に対してはRAM、後者に対してはROM等によって実現できる。補助記憶装置3は、該装置の動作を制御するためのプログラムや圧縮された動画像等を保存しておく手段であり、例えば、フレキシブルディスク、ハードディスク、メモリカードやDVDなどによって実現できる。入力装置4は、必要な命令や情報入力するための手段であり、例えば、キーボードや、マウス等のポインティングデバイスによって実現できる。表示装置5は、圧縮された動画像の再生表示等の各種の情報を表示する手段であり、例えば、CRT、ELディスプレイ、プラズマディスプレイ、液晶ディスプレイ等によって実現できる。
画像入力装置6は、上述した従来技術における画像入力装置22と同様に、アナログの動画像(映像)を入力する手段であり、ビデオカメラ、VTR、テレビジョン、TVチューナー等によって実現される。画像取り込み装置12は、上記画像入力装置6から入力されるアナログの動画像をデジタル化し、かつデジタル化した動画像を圧縮するための手段である。圧縮(符号化)手段としては、例えば、高圧縮率かつ高画質での再生が可能なMPEG(Moving Picture Experts Group)等によって実現される。また、「ポイント図解式最新MPEG教科書」、P28〜P29、マルチメディア通信研究会編、アスキー出版局に記載されている圧縮技術でも実現できる。MPEG圧縮技術の詳細は、「ポイント図解式最新MPEG教科書」、P89〜P165、マルチメディア通信研究会編、アスキー出版局に記載されている。
圧縮画像再生装置9は、上記画像取り込み装置12における圧縮技術を用いて圧縮された動画像を再生して、表示装置5に再生画像を表示する手段であり、例えば、該圧縮技術がMPEGであれば、MPEGデコーダによって実現できる。
また、CPU1は、主記憶2や補助記憶装置3に、予め格納されているプログラムに従って所定の動作を行う。
次に、図15に、画像取り込み装置12のブロック構成図を示す。
図15に示すように、画像取り込み装置12は、動画入力インターフェース部50と、フレームメモリ51と、動画圧縮部52と、ビデオデコーダ53とを有して構成される。
ビデオデコーダ53は、画像入力装置6に接続されており、画像入力装置6から入力されるアナログの動画像をデジタル化して出力する。例えば、画像入力装置6から入力されるアナログの動画像がNTSC形式の信号であれば、ビデオデコーダ53は、NTSCデコーダとして実現できる。この場合、NTSC形式のインターレース信号における奇数フィールド信号と偶数フィールド信号とをデジタル化して時系列的に出力する。この出力された動画像は、動画圧縮部52と動画入力インターフェース部50とに同時に入力される。尚、画像入力装置6から画像取り込み装置12へ出力される信号がアナログ信号ではなくデジタル信号である場合、画像取り込み装置12にはビデオデコーダ53が不要である。
画像圧縮部52は、ビデオデコーダ53から出力されるデジタル化された動画像をMPEGなどの圧縮技術を用いて圧縮する。そして、圧縮した動画像を動画入力インターフェース部50に出力する。例えば、圧縮技術がMPEGであれば、圧縮された動画像はMPEGストリームということになる。
フレームメモリ51は、ビデオデコーダ53でデジタル化された動画像の少なくとも1画面(フレーム)分の画像を保持するためのものであり、動画入力インターフェース部50に接続される。
動画入力インターフェース部50は、バス10に接続されており、ビデオデコーダ53から入力されるデジタルの動画像を一度フレームメモリ51に格納し、さらに、フレームメモリ51に格納した画像を、バス10を通して主記憶2あるいは補助記憶装置3あるいは表示装置5にDMA転送する。これと同時に画像圧縮部52から入力される圧縮された動画像も、バス10を通して主記憶2あるいは補助記憶装置3にDMA転送する。
次に、図16に、動画入力インターフェース部50のブロック構成図を示す。
図16に示すように、動画入力インターフェース部50は、バス入出力部60と、DMA転送制御部61と、色変換部62と、スケーリング部63と、ビデオ信号入出力部64と、圧縮画像入出力部65とを有して構成される。
バス入出力部60は、一般的に情報処理装置などで採用されているPCIやISAなどのバスのプロトコルに従って実現され、バス10にデータを流したり、バス10に流れているデータを取得する。
圧縮画像入出力部65は、動画圧縮部52からあらかじめ決められたプロトコルにしたがって入力されるデータをDMA転送制御部61に出力する。
ビデオ信号入出力部64は、ビデオデコーダ53から入力されるデジタル化された動画像をフレームメモリ51に格納する。ビデオデコーダ53がNTSCデコーダの場合、動画像すなわちインターレース信号における奇数フィールドデータと偶数フィールドデータとは時系列的に入力され、さらに、ビデオデコーダ53からは、現在入力されているデータが奇数フィールドデータか偶数フィールドデータかを示す信号も送られてくるので、該信号にしたがって、各々のフィールドデータをフレームメモリ51内のあらかじめ決められた領域に別々に格納する。また、フレームメモリ51に1画面分のデータ(奇数フィールドデータと偶数フィールドデータとを合わせたデータ)しか格納できない場合は、以前格納した各々のフィールドデータに上書きして格納する。
スケーリング部63は、フレームメモリ51から1画面分の奇数フィールドデータと1画面分の偶数フィールドデータを順次取り出し、あらかじめ決められた大きさにスケーリングして色変換部62に出力する。
色変換部62は、スケーリング部63から入力されるデータをあらかじめ決められた色フォーマットに変換してDMA転送制御部61に出力する。通常、NTSC信号の画像データにおける色フォーマットはYUV形式であり、フレームメモリ51にはYUV形式のデータが格納される。しかしながら、主記憶2や表示装置5に転送されるべきデータの色フォーマットはRGB形式であることが多い。したがって、色変換部62は、少なくともYUV形式からRGB形式に変換する機能を有する。
DMA転送制御部61は、色変換部62から入力されるデータと圧縮画像入出力部65から入力される圧縮された動画像とを、バス入出力部60とバス10とを介して、主記憶2あるいは補助記憶装置3あるいは表示装置5にDMA転送する。また、ビデオデコーダ53と動画圧縮部52とは非同期に動作するため、色変換部62と圧縮画像入出力部65とから同時にデータが入力されることがある。この場合、圧縮画像入出力部65からの圧縮された動画像を優先的にDMA転送する。圧縮された動画像は一部でもデータが欠落するとデータ全体が意味をなさなくなるためである。
図17に動画入力インターフェース部50が有するレジスタ構成の一例を示す。
レジスタは、少なくとも、入力解像度301と、出力解像度302と、色フォーマット303と、転送先アドレス304とから構成される。
入力解像度301は、ビデオデコーダ53から入力されるデータの解像度を指定する。出力解像度302は、バス10上に出力されるデータの解像度を指定する。色フォーマット303は、バス10上に出力されるデータの色フォーマットを指定する。転送先アドレス304は、バス10上に出力されたデータが最終的に転送される、CPU1がアドレッシング可能なアドレスを指定する。
また、各々のレジスタは、奇数フィールドデータ310と、偶数フィールドデータ320と、圧縮動画像330とに個別に用意されている。ただし、圧縮動画像330に対しては転送先アドレス304のみである。各レジスタにあらかじめ設定された値にしたがって、動画入力インターフェース部50は動作することになる。また、各レジスタに値を設定するのは、画像取り込み装置12を駆動するためのプログラムであり、該プログラムは主記憶2や補助記憶装置3に格納され、CPU1によって実行される。ユーザは、該プログラムを介して、所望の設定値を各レジスタに設定することになる。
次に、画像取り込み装置12における各レジスタの設定値と動作について、図18を用いて説明する。ここでは、各レジスタの設定値が図17に示す内容である場合について説明する。
図18において、領域1と領域2は主記憶2上に個別に確保された領域である。領域3は、一般的な表示装置が有するVRAM(表示用メモリ)上の一部である。VRAMに格納されているデータがCRTなどに表示されることになる。領域3は、例えば、動画像をウィンドウ内に表示する場合、該ウィンドウの表示領域に対応するVRAM上の領域である。
図17において、奇数フィールドデータ310の転送先アドレス304のレジスタの内容は領域2の先頭アドレスを、偶数フィールドデータ320の転送先アドレス304のレジスタの内容は領域3の先頭アドレスを、圧縮動画像330の転送先アドレス304のレジスタの内容は領域1の先頭アドレスをそれぞれ指し示しているとすると、奇数フィールドデータと圧縮動画像は主記憶2へ、偶数フィールドデータは表示装置5へ転送されることになる。
奇数フィールドデータ310についてみると、入力解像度301のレジスタの内容が640×240であり、出力解像度302のレジスタの内容が160×120であるので、スケーリング部63は、横方向に1/4、縦方向に1/2にそれぞれ縮小する。さらに、色フォーマット303のレジスタの内容がRGB24であるので、色変換部62は、YUV形式のデータをR、G、B成分とも8ビットずつで表現されるRGB形式に変換する。そして、DMA転送制御部61が、スケーリングされ、色変換された奇数フィールドデータを、転送先アドレス304のレジスタの内容が指し示す領域2に転送する。
偶数フィールドデータ320についてみると、入力解像度301のレジスタの内容が640×240であり、出力解像度302のレジスタの内容が320×240であるので、スケーリング部63は、横方向に1/2に縮小する。縦方向には拡大・縮小せずそのままである。さらに、色フォーマット303のレジスタの内容がRGB8であるので、色変換部62は、YUV形式のデータをR、G、B各成分合わせて8ビットで表現されるRGB形式に変換する。そして、DMA転送制御部61が、スケーリングされ、色変換された偶数フィールドデータを、転送先アドレス304のレジスタの内容が指し示す領域3に転送する。
圧縮動画像330についてみると、動画圧縮部52から送られてくる圧縮された動画像を転送先アドレス304のレジスタの内容が指し示す領域1に転送する。
以上のように、画像取り込み装置12は、ビデオカメラやVTRなどから入力される動画像を奇数フィールドデータと偶数フィールドデータとに分割し、情報処理装置における異なる装置や領域にそれぞれ転送可能である。これと同時に、上記入力される動画像を圧縮したデータをも情報処理装置における異なる装置や領域に転送可能である。さらに、奇数フィールドデータと偶数フィールドデータとは、それぞれ異なる大きさ、色フォーマットに変換しての転送が可能である。また、転送先アドレス304のレジスタの設定値によっては、奇数フィールドデータと偶数フィールドデータとを同じ装置や領域に転送可能であり、この場合、上記入力される動画像そのままのイメージで記録あるいは表示されることになる。
次に、図2に、実施例1の画像記録再生装置における機能ブロック図を示す。
図2において、101は、実施例1の画像記録再生装置における各機能ブロックを制御する制御手段、102は、非圧縮画像の解析を行う機能を有する非圧縮画像解析手段、103は、非圧縮画像と圧縮画像とを対応づける情報を生成する機能を有する対応情報生成手段、104は、圧縮動画像を再生表示する機能を有する圧縮画像再生装置であり、これらの機能ブロックは、主記憶2あるいは補助記憶装置3に格納されているプログラムを、CPU1が実行することによって実現される。
次に、本発明の画像記憶再生装置の動作について図面を参照して説明する。
以下、高圧縮率かつ高画質での再生が可能な圧縮技術としてMPEG、デジタル化された動画像から抽出する情報としてシーンの変化を例として説明するが、これらに制限されるものではない。
図3は、制御手段101の処理内容を示すフローチャートである。本処理を実現するプログラムは、主記憶2や補助記憶装置3に格納されており、何らかの事象、例えば、入力装置4を使用して入力されるユーザからの指示等を契機に、CPU1によってプログラムが実行される。
図3に示すように、制御手段101は、まず、動画像の取り込みを開始する(ステップ121)。具体的には、画像取り込み装置12を駆動するためのプログラムを実行し、ユーザが入力装置4などを介して入力した値をレジスタに設定したり、主記憶2上にワークエリアを確保するなどの、動画像を取得するための準備を行う。また、説明する例として、レジスタの設定値は図17に示す通りとし、したがって、図18に示すように各データが転送されることになる。つまり、上記主記憶2上のワークエリアには領域1及び領域2が含まれる。
次に、制御手段101は、画像入力装置6から入力され、画像取り込み装置12においてデジタル化された非圧縮画像を取得し、上記領域2に格納する(ステップ122)。このとき、上記領域2に格納されるデータは奇数フィールドデータであり、画像取り込み装置12によって自動的にDMA転送されている。さらに、奇数フィールドデータが転送されるのと同時に、画像入力装置6から入力され、画像取り込み装置12によってMPEG圧縮された動画像が領域1に、偶数フィールドデータが領域3にそれぞれ転送されている。
続いて、非圧縮画像解析手段102を起動してシーンが変化したかどうかを検出する(ステップ123)。そして、動画像の取り込みが継続しているならば、ステップ122とステップ123を繰り返し実行する(ステップ124)。非圧縮画像解析手段102の処理内容の詳細は後述する。
ステップ124において、例えば、ユーザからの指示等で動画像の取り込みが終了しているならば、画像入力装置6から入力され、画像取り込み装置12においてデジタル化されMPEG圧縮された動画像(主記憶2上の領域1に格納されている)を補助記憶装置3に格納する(ステップ125)。このとき、画像取り込み装置12において行われる圧縮は、ステップ122からステップ124までの処理、即ち非圧縮画像の解析処理を実行されている間に、非圧縮画像の圧縮を同時に行われているため、制御手段101全体の処理速度は低下することがない。さらに、ステップ122において取り込まれた非圧縮動画像を圧縮するのではなく、画像入力装置6から入力された動画像を圧縮(この圧縮処理は非圧縮画像の解析処理中に行われる)しているため、非圧縮画像を入力し、その後圧縮する上述した従来技術とは異なる。
そして、制御手段101は、対応情報生成手段103を起動して、シーンが変化した時刻での非圧縮画像と、圧縮動画像における該時刻の画像とを対応づける情報を生成する(ステップ126)。対応情報生成手段103の処理内容の詳細は後述する。
最後に、圧縮画像再生装置104を起動して、例えば、ユーザが指示する時刻からの上記圧縮動画像の再生表示を行い(ステップ127)、制御手段101の処理が継続しているならば、ステップ121に戻り処理を繰り返す(ステップ128)。ステップ128において、例えば、ユーザからの終了指示等がある場合は、制御手段101の処理を終了する。圧縮画像再生装置104の処理内容の詳細は後述する。
図4は、非圧縮画像解析手段102の処理内容を示すフローチャートである。本処理を実現するプログラムは、主記憶2や補助記憶装置3に格納されており、CPU1によってプログラムが実行される。 図4に示すように、非圧縮画像解析手段102は、制御手段101におけるステップ122において上記領域2に格納された非圧縮画像の内容と、ステップ122からステップ124までの繰り返し処理において、現在の処理以前に上記領域2に格納された非圧縮画像の内容とを比較する(ステップ131)。このとき、上述した従来技術と同様に、2つの非画像を画素単位で比較してその差分を計算し、全画素での差分の総和を求めることで比較が行われる。そして、シーンが変化したかを判定する(ステップ132)。このとき、上記差分の総和が予め決められたしきい値より大きいとシーンが変化したと判定できる。
ステップ132において、シーンが変化したと判定された場合には、シーンが変化した非圧縮画像の、動画像取り込み開始時点からの時刻を取得し(ステップ133)、該時刻を上記ワークエリアに格納して(ステップ134)、処理を終了する。このとき、動画像取り込み開始時点からの時刻は以下のように取得できる。すなわち、上述した画像取り込み装置12を駆動するためのプログラムが、動画像取り込み開始時点から取り込んだ画像の数(時間的な問題で取り込めなかった画像の数も含む)を返す機能があれば、それを取得する。そして、画像入力装置6から入力される動画像がNTSCフォーマットであれば、そのフレームレートは29.97フレーム/秒であるので、上記画像の数を30で割った商が該時刻となる。また、上述した画像取り込み装置12を駆動するためのプログラムが、動画像取り込み開始時点から取り込んだ画像の数を返す機能がない場合は、動画像取り込み開始時点から1/29.97秒(動画像がNTSCフォーマットの場合)間隔のタイマーを起動して、取り込んだ画像の数をカウントしておけばよい。
ステップ132において、シーンが変化したと判定されなければ、現在の処理以前に上記領域2に格納された非圧縮画像を上記領域2から削除して(ステップ135)、処理を終了する。また、シーンが変化するということの具体例は後述する。
図5は、対応情報生成手段103の処理内容を示すフローチャートである。本処理を実現するプログラムは、主記憶2や補助記憶装置3に格納されており、CPUIによってプログラムが実行される。
図5に示すように、対応情報生成手段103は、まず、一連の動画像の取り込みでシーンの変化が存在したかどうかを判定し(ステップ141)、存在しなければ処理を終了する。シーンの変化が存在したかどうかは、非圧縮画像解析手段102の処理の中でカウンタを設けて、非圧縮画像解析手段102におけるステップ132においてシーンが変化したと判定された場合に該カウンタをインクリメントすれば、カウンタが1以上であるかどうかを調べることで、シーンの変化が存在するかどうかを判定できる。
ステップ141において、シーンの変化が存在すると判定された場合には、非圧縮画像解析手段102におけるステップ134において格納された時刻を1つだけ上記ワークエリアから取得し(ステップ142)、ステップ125において補助記憶装置3に格納されたMPEG圧縮動画像中の該時刻と同時刻の画像(位置)を算出する(ステップ143)。このときの算出方法を図6を用いて説明する。
図6(a)は、例として、制御手段101におけるステップ122において取り込まれる非圧縮動画像の一部を時系列に並べたものであり、紙面の左から右に向かって時間が進行していくと仮定する。つまり、非圧縮画像A1からA9の中で、A1が時間的に一番早く取り込まれた画像である。また、A1からA4までは物体aが移動している情報を示しており、同じシーンであるといえる。しかしながら、A4からA5は該物体aが画像内から消え、新たに物体bがA5の画像内に現れる。これは、シーンの変化といえる。同様に、A6とA7との間でシーンが変化する。つまり、非圧縮画像解析手段102におけるステップ132においては、A5及びA7の解析を行っているときにシーンが変化したと判定することになる。
図6(b)は、制御手段101におけるステップ125において取り込まれるMPEG圧縮動画像の一部を時系列(原画面順)に並べたものであり、紙面の左から右に向かって時間が進行していくと仮定する。つまり、圧縮画像B1からP2の中で、B1が時間的に一番早く取り込まれ、MPEG符号化された画像である。さらに、A1とB1、A2とB2、A3と11、A4とB3、A5とB4、A6とP1、A7とB5、A8とB6、A9とP2とは、時間的に一致する画像である。非圧縮画像と圧縮画像は、画像入力装置6から入力された同一の画像をもとにしているので、例えば、A1の内容と、B1を復号化したときの画像の内容とは一致する。ここで、I、P、BはMPEGにおけるIピクチャ、Pピクチャ、Bピクチャをそれぞれ表現するものである。実際の符号化方式の詳細は、「ポイント図解式最新MPEG教科書」、P89〜P165、マルチメディア通信研究会編、アスキー出版局に記載されている。
図6(c)は、制御手段101におけるステップ125において取り込まれるMPEG圧縮動画像の一部を、実際に補助記憶装置3に格納されている順番(ビットストリーム順)に並べたものである。図6(b)と図6(c)の同一記号は同一内容を示す。従い、例えば図6(b)の先頭のB1と図6(c)の2番目のB1とは同一内容のデータである。また、11をGOPの先頭と仮定する。
さて、ステップ142において取得した時刻が非圧縮画像A5が取り込まれた時刻(これをT1とする)であったとすると、MPEG圧縮動画像中のT1と同時刻の画像はB4であるので、ステップ143では、B4の位置を算出することになる。以下に、算出方法を示す。
MPEGビットストリーム中には各GOPの先頭にヘッダ情報が格納されており、該ヘッダ情報には、各GOPの先頭の画像の、ビットストリームの先頭からの時刻(これをTCとする)が含まれる。従って、各GOPのTCを調べることによって、T1が含まれるGOP(これをG1とする)を特定することができる。つまり、図6(c)におけるMPEGビットストリーム(G1)中のB1の時刻がTCとなる。また、該ヘッダ情報には、動画像のフレームレート(これをPRとする)が含まれる。さらに、各画像にもヘッダ情報が格納されており、該ヘッダ情報には、各画像が含まれるGOP(Group Of Picture :MPEGビットストリームをランダムアクセスするための構造)の先頭からのフレーム番号(これをTRとする)が含まれる。従って、PR(PICTURE RATE :シーケンス層の画像の表示周期を表す)とTR(TEMPORAL REFERENCE:ピクチャ層のピクチャ一貫のNoでGOPの頭でリセットされる1024の余り)を乗じた結果がG1の先頭からの時刻(これをT2とする)となる。そして、TC+T2=T1となる画像(B4)を探すことで算出できるのである。以上はビデオデータに関して述べたものであるが、音声に関しても同様に算出することができる。
また、後述する圧縮画像再生装置104の能力によっては、GOPの途中あるいはBピクチャからの再生が不可能なものもあり、そのため、B4の代わりに、GOPの先頭のB1あるいは11、あるいはB4の近傍であるP1等とすることも考えられる。
さて、図5の説明に戻り、続いて対応情報生成手段103は、ステップ143において算出した様々な情報から、図7に示す対応テーブル200を作成する(ステップ144)。すでに対応テーブル200が作成されていたならば、対応テーブル200にエントリを追加する。
図7に、対応テーブル200の内容を示す。対応テーブル200は、非圧縮画像と圧縮画像とを関連付けるものであり、主記憶2や補助記憶装置3に格納される。さらに、各GOPの先頭に格納されているヘッダ情報には、ユーザデータ領域として、自由な情報を格納するための領域があり、対応テーブル200を該領域に格納することも考えられる。
対応テーブル200は、ID210、非圧縮画像へのポインタ220、圧縮ファイル名230、タイムコード240、インデックス250の各項目を有し、例えば、シーンが変化した直後あるいは近辺の画像に対して、上記項目に対応したデータセットの集まりによって構成される。また、対応テーブル200を上記ユーザデータ領域に格納する場合は、対応テーブル200は、少なくとも、非圧縮画像へのポインタ220及びインデックス250で構成されればよい。
ID210には、シーン変化1つ1つに与えられる識別子が設定され、識別子は、本画像記録再生装置内で、固有に与えられる数字データである。非圧縮画像へのポインタ220には、主記憶2に格納されている非圧縮画像(制御手段101におけるステップ122において格納されたもの)を指示するポインタが設定される。また、非圧縮画像へのポインタ220の内容は、ユーザが入力するコメント等、シーンの変化が特定できるものであれば何でもよい。圧縮ファイル名230には、制御手段101におけるステップ125において、補助記憶装置3に格納された圧縮動画像のファイル名が設定される。タイムコード240には、シーンが変化した画像を含むGOPのヘッダ情報に存在する、該GOPの先頭の画像のビットストリームの先頭からの時刻が設定される。これは、上述したTCに相当する。インデックス250には、上記シーンが変化した画像の、該GOP内でのインデックス(フレーム番号)が設定される(インデックスは0から始まる)。
例えば、図6で示した例においては、図8に示すような対応テーブル200'が構成される。図6(a)における、シーンが変化した直後の画像A5とA7それぞれのデータセットが301と302である。データセット301において、非圧縮画像へのポインタ220の設定値は、主記憶2に格納されている非圧縮画像A5の主記憶2上のアドレス、データセット302において、非圧縮画像へのポインタ220の設定値は、主記憶2に格納されている非圧縮画像A7の主記憶2上のアドレスである。
さて、図5の説明に戻り、最後に対応情報生成手段103は、他にシーンの変化が存在する場合には、ステップ142に戻り処理を繰り返す(ステップ145)。他にシーンの変化が存在しない場合には、処理を終了する。他にシーンの変化が存在するかどうかは、上述したカウンタを調べればよい。
図9は、圧縮画像再生装置104の処理内容を示すフローチャートである。本処理を実現するプログラムは、主記憶2や補助記憶装置3に格納されており、CPU1によってプログラムが実行される。
図9に示すように、圧縮画像再生装置104は、まず、対応情報生成手段103において生成した対応テーブル200の内容に従って、各種情報を表示装置5に一覧表示する(ステップ151)。このとき、対応テーブル200におけるID210の内容及び非圧縮画像へのポインタ220が指示する非圧縮画像を表示する。また、対応テーブル200における圧縮ファイル名230も一緒に表示してもよい。例えば、ステップ151において、表示装置5に表示される例を図19に示す。
図19において、400は表示装置5が有する表示画面、410は対応テーブル200の内容を表示するウィンドウ、410a〜410iは、対応テーブル200における非圧縮画像へのポインタ220が指し示す主記憶2に格納されている非圧縮画像である。この場合、対応テーブル200には、少なくとも9エントリ存在する。
図9に戻り、圧縮画像再生装置104は、ユーザからの指示を待ち(ステップ152)、ユーザからの指示があるまで待機する(ステップ153)。このとき、ユーザからの指示(ステップ151において、一覧表示した非圧縮画像(410a〜410i)の中から1つの非圧縮画像を選択する指示)があると、該指示された非圧縮画像に対応する、圧縮動画像中の位置(再生位置)を特定できる(ステップ154)。この処理は、次のように行うことができる。
まず、該指示された非圧縮画像のID(対応テーブル200におけるID210の内容)をキーとして、対応テーブル200を検索する。その結果、該IDを持つデータセットを見つけることができる。そして、該データセットから、圧縮ファイル名230の内容と、タイムコード240の内容と、インデックス250の内容とを引き出すことによって、再生位置を特定できる。
次に、圧縮画像再生装置104は、上記圧縮ファイル名230の内容である圧縮動画像を、上記再生位置から再生して、表示装置5に表示する(ステップ155)。再生位置が確定した後の圧縮動画像の再生、及び表示装置5への表示方法は、すでに公知であるので、詳細な説明は省略する。例えば、ステップ155において、表示装置5に表示される例を図20に示す。
図20において、420は、上記圧縮ファイル名230の内容である圧縮動画像を、上記再生位置から再生、表示するウィンドウである。
最後に、圧縮画像再生装置104の処理が継続しているならば、ステップ151に戻り処理を繰り返す(ステップ156)。ステップ156において、例えば、ユーザからの終了指示等がある場合は、圧縮画像再生装置104の処理を終了する。
以上、本発明によれば、圧縮動画像の記録を行いながらシーンの変化などを検出でき、該圧縮動画像中のシーンの変化点と関連付けられるため、動画像の記録、再生が容易に行える画像記録再生装置を提供することができる。
また、本発明によれば、非圧縮動画像と圧縮動画像とを同時に情報処理装置に取り込む(記録)ことができ、さらに、非圧縮動画像を用いて解析した結果、非圧縮動画像中の任意の画像に対応する、圧縮動画像中の任意の画像を特定でき、さらに、これら2つの画像を関連付けることによって、ユーザなどによって指示された位置からの、圧縮動画像の頭出し再生が容易に行える、画像記録再生装置を提供することができる。
また、本発明によれば、非圧縮動画像と圧縮動画像とを同時に情報処理装置に取り込む場合、圧縮画像を優先的に取り込む画像記録再生装置を提供することができる。
また、本発明によれば、記録中のあるいは記録した非圧縮動画像から、圧縮動画像との関連情報を作成し、上記関連情報をもとに圧縮動画像を再生する、動画アルバムのような画像記録再生システムを提供することができる。
また、本発明によれば、非圧縮動画像を情報処理装置に取り込む場合、インターレース信号における奇数フィールドデータと偶数フィールドデータとに分けて取り込むことができ、さらに、奇数フィールドデータと偶数フィールドデータとで、同等のあるいは異なる大きさ及び色フォーマットで、同等のあるいは異なる領域、装置に転送できるので、例えば、入力する動画像を情報処理装置が具備する表示装置でモニタしながら、シーンの変化を検出可能な画像記録再生装置を提供することができる。
また、本実施例は、非圧縮動画像から抽出する情報としてシーンの変化を例に挙げたが、別な情報でも構わない。例えば、ユーザが検出したい画像情報を予め指定して、上記非圧縮画像解析手段102において、該画像情報に合致する画像を認識させるようにすれば、簡易な動画検索システムを構築することができる。
以上の説明では、画像取り込み装置12と圧縮画像再生装置9とを異なる装置として構成しているが、圧縮画像再生装置9を画像取り込み装置12に含めた画像取り込み再生装置13として構成としてもよい。このときの画像取り込み再生装置13のブロック構成を図21に示す。
図21に示すように、画像取り込み再生装置13は、動画入力インターフェース部50と、フレームメモリ51と、動画圧縮伸張部54と、ビデオデコーダエンコーダ55とを有して構成される。
ビデオデコーダエンコーダ55は、画像入力装置6に接続されており、画像入力装置6から入力されるアナログの動画像をデジタル化して出力する。例えば、画像入力装置6から入力されるアナログの動画像がNTSC形式の信号であれば、ビデオデコーダエンコーダ55は、NTSCデコーダとして実現できる。この場合、NTSC形式のインターレース信号における奇数フィールド信号と偶数フィールド信号とをデジタル化して時系列的に出力する。この出力された動画像は、動画圧縮伸張部54と動画入力インターフェース部50とに同時に入力される。
さらに、ビデオデコーダエンコーダ55には、TVモニタやVTRなどで実現される画像出力装置14が接続されており、ビデオデコーダエンコーダ55は、画像圧縮伸張部54で伸張された動画像、及び情報処理装置内の主記憶2あるいは補助記憶装置3あるいは表示装置5で保持されているデータを画像出力装置14に出力する。このとき、画像出力装置14がNTSC形式の信号を取り扱うものであれば、画像出力装置14に出力すべきデータをNTSC形式の信号に変換する。また、ビデオデコーダエンコーダ55は、ビデオデコーダとビデオエンコーダとに分割した構成としてもよい。
画像圧縮伸張部54は、ビデオデコーダエンコーダ55から出力されるデジタル化された動画像をMPEGなどの圧縮技術を用いて圧縮し、圧縮した動画像を動画入力インターフェース部50に出力する。さらに、動画入力インターフェース部50を介して送られてくる圧縮動画像を伸張し、ビデオデコーダエンコーダ55に出力、及びまたは、動画入力インターフェース部50のビデオ信号入出力部64(図16参照)に出力する。動画入力インターフェース部50のビデオ信号入出力部64に出力された動画像は、以上説明してきたように、主記憶2あるいは補助記憶装置3あるいは表示装置5にDMA転送される。
フレームメモリ51及び動画入力インターフェース部50は、図14に示したものと同様である。