JP3695352B2 - 画像取り込み装置、画像記録再生装置及び画像入力装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、入力される動画像を取り込み、記録、再生する装置に係り、特に、自由な場面（位置）からの動画像の再生を行う装置に関する。
【０００２】
【従来の技術】
従来の画像記録再生装置は、図１０に示す構成を有していた。
【０００３】
図１０に示すように、該画像記録再生装置は、情報処理装置２１と画像入力装置２２とから構成されている。画像入力装置２２は、アナログの動画像（映像）を入力するための手段であり、ビデオカメラやＶＴＲ、テレビジョン等で実現されている。ここでは、ビデオカメラの例を示した。情報処理装置２１は、画像入力装置２２から入力されるアナログの動画像をデジタル化するための手段と、該手段によってデジタル化された動画像を記録するための手段とを有し、画像入力装置２２から入力された動画像を記録するための装置である。
【０００４】
次に、図１０に示す装置構成を有する従来の画像記録再生装置の処理の概要を、図１１を用いて説明する。
【０００５】
図１１は、例えば、頭出し再生を行うために、画像入力装置２２から入力される連続した一連の画像（動画像）に対して、シーンが変化した個所を特定するための処理のフローチャートである。
【０００６】
該処理は、まず動画像の取り込みを開始し（ステップ５０１）、画像入力装置２２から入力される１フレーム、あるいは１フィールド分のアナログの画像をデジタル化する（ステップ５０２）。ここで、画像入力装置２２から入力される動画像は、ＮＴＳＣやＰＡＬ、ＳＥＣＡＭといった規格化されたフォーマットを持つものである。
【０００７】
次に、上記処理は、該デジタル化された画像を、情報処理装置２１が有する主記憶装置に格納する（ステップ５０３）。そして、該画像とその直前に格納された画像とを比較し（ステップ５０４）、シーンが変化したかどうかを判定する（ステップ５０５）。このとき、シーンが変化したかどうかの判定は、２つの画像を画素単位で比較してその差分を計算し、全画素での差分の総和を求めることで行われる。例えば、該総和が任意のしきい値を越えたならば、シーンが変化したと判定される。
【０００８】
ステップ５０５においてシーンが変化したと判定されたならば、該画像の動画像取り込み開始からの時刻を上記主記憶に格納する（ステップ５０６）。そして、取り込みが終了したかどうかを判定し（ステップ５０７）、終了していなければステップ５０２に戻り、処理を繰り返す。取り込みを終了していれば、一連の非圧縮動画像を情報処理装置２１が有する補助記憶装置に格納して（ステップ５０８）、処理を終了する。
【０００９】
この後、上記従来の画像記録再生装置は、シーンが変化した位置の画像を情報処理装置２１が有する表示装置に一覧表示し、ユーザが情報処理装置２１が有する入力装置から指示した一覧表示中の任意の画像に対応する、ステップ５０６において上記主記憶に格納された時刻を抽出し、ステップ５０８において上記補助記憶装置に保存した動画像を、該時刻に対応する画像（位置）から頭出し再生を行うのである。
【００１０】
また、特開平６−１３３３０５号公報には、動画像のシーン変化を自動的に抽出して、その情報を含めて該動画像を符号化する技術が開示されている。
【００１１】
また、動画像を表示装置などにリアルタイムに表示する技術が、ＣＱ出版社刊、インターフェース誌１９９６年４月号の第１０２ページから１０９ページに記載されている。
【００１２】
【発明が解決しようとする課題】
しかしながら、図１０に示したような従来技術では、非圧縮の一連の動画像を取り込んでシーンの変化を検出し、非圧縮のまま補助記憶装置に保存しているため、補助記憶装置に保存されるデータ量に関しては考慮されていない。
【００１３】
また、特開平６−１３３３０５号公報では、シーン変化の情報を圧縮した動画像に含めているので、再生前にはその都度、該動画像を最初から最後まで検索する必要があり、処理速度に関して考慮されていない。
【００１４】
また、インターフェース誌記載の技術は、動画像を表示装置に表示するとともに、該動画像を補助記憶装置などに記録することに関しては考慮されていない。
【００１５】
本発明の目的は、画像入力装置から入力される動画像を、非圧縮の動画像及び比較的高圧縮率かつ高画質での再生が可能な圧縮技術を用いて圧縮された動画像として、リアルタイムにかつ同時に情報処理装置に取り込む画像取り込み装置、及び画像取り込み装置を装着する画像記憶再生装置並びに画像入力装置を提供することにある。
【００１６】
また、上記非圧縮動画像をもとに得られた情報から、上記非圧縮動画像中の任意の画像と上記圧縮動画像中の任意の画像とを対応付けることによって、動画像の記録及び再生表示を容易に行うことを可能とする画像記録再生を行う画像記憶再生装置を提供することである。
【００１７】
さらに、その他の目的は、上記非圧縮の動画像を上記情報処理装置に取り込む場合、上記画像入力装置から入力されるインターレース信号における奇数フィールドデータと偶数フィールドデータとを、異なる大きさ及び色フォーマットに変換して、異なる領域あるいは装置に転送する画像取り込み装置、該画像取り込み装置を装着し、上記情報処理装置が具備する表示装置で上記画像入力装置から入力される動画像をモニタしながら、同時に該動画像の記録再生を行う画像記憶再生装置を提供することである。
【００１８】
【課題を解決するための手段】
本発明は、主記憶及び表示装置を備えた動画像を記録する画像記録再生装置に装着される画像取り込み装置において、アナログの動画像を入力し、該入力された動画像をデジタル化するビデオデコーダと、前記デジタル化された動画像を圧縮動画像に圧縮する動画圧縮部と、前記ビデオデコーダから出力されるデジタル化された動画像を前記主記憶及び前記表示装置へ転送すると同時に、前記動画圧縮部から出力される圧縮動画像を前記主記憶に転送する動画入力インターフェース部とを備えてなる画像取り込み装置である。
【００１９】
本発明は、主記憶及び表示装置を備えた動画像を記録する画像記録再生装置において、アナログの動画像を入力し、該入力された動画像をデジタル化するビデオデコーダと、前記デジタル化された動画像を圧縮動画像に圧縮する動画圧縮部と、前記ビデオデコーダから出力されるデジタル化された動画像を前記主記憶及び前記表示装置へ転送すると同時に、前記動画圧縮部から出力される圧縮動画像を前記主記憶に転送する動画入力インターフェース部とを備え、前記動画入力インターフェース部は、前記デジタル化された動画像をインターレース信号における２つのフィールド信号に分離し、一方のフィールド信号を前記主記憶に転送し、他方のフィールド信号を前記表示装置に転送し、前記表示装置は、前記動画入力インターフェース部から転送されたフィールド信号により動画を表示し、前記主記憶は、前記表示装置が動画を表示するのと同時に前記動画入力インターフェース部から転送されたフィールド信号を記憶することを特徴とする画像記録再生装置である。
【００２０】
さらに、好ましくは、上記画像記録再生装置は上記ビデオデコーダでデジタル化された動画像の少なくとも１画面分の画像を保持するフレームメモリを有し、動画入力インターフェース部は、上記ビデオデコーダから入力されるデジタルの動画像を奇数フィールドデータと偶数フィールドデータとに分けて上記フレームメモリに格納するビデオ信号入出力部と、上記フレームメモリから奇数フィールドデータと偶数フィールドデータとを順次取り出してスケーリングを行うスケーリング部と、上記スケーリング部から入力されるデータをあらかじめ決められた色フォーマットに変換する色変換部と、上記動画圧縮部からあらかじめ決められたプロトコルにしたがって入力されるデータを取り込む圧縮画像入出力部と、上記色変換部から入力されるデータと上記圧縮画像入出力部から入力される圧縮動画像とを上記主記憶あるいは上記表示装置に転送するDMA転送制御部と、一般的に情報処理装置に採用されているバスにデータを流したり、上記バスに流れているデータを取り込むバス入出力部とを有する。
【００２１】
また、好ましくは、上記画像取り込み手段で取り込まれた非圧縮の動画像をもとに任意の情報を抽出する情報抽出手段と、上記情報抽出手段から抽出された情報と上記画像取り込み手段から取り込まれた圧縮動画像とを対応付ける対応情報生成手段とを有し、上記情報抽出手段は、上記非圧縮画像取り込み装置から取り込まれた一連の非圧縮動画像の任意の時点での画像の、動画像取り込み開始からの時刻を抽出する機能を有し、上記対応情報生成手段は、上記圧縮画像取り込み装置から取り込まれた圧縮動画像中の、該時刻と同じ時刻を有する画像（位置）を抽出して対応づける機能を有する。
【００２２】
また、好ましくは、上記画像記録再生装置は、ユーザが指示を行うための入力装置と、上記圧縮動画像を再生するための圧縮画像再生装置とをさらに備え、上記圧縮画像再生装置は、上記入力手段から入力される指示を契機に上記対応づけられた画像、あるいは該画像の前後近辺の画像から、上記圧縮動画像の頭出し再生する機能を有することを特徴とする画像記録再生装置も考えられる。
【００２３】
また、好ましくは、上記画像取り込み装置と上記圧縮画像再生装置とを合わせた構成とすることも考えられる。
【００２４】
本発明における画像記録再生装置は、例えば、以下のような動作を行う。
ユーザが、上記入力手段から入力する何らかの指示を契機に、上記画像取り込み装置が上記画像入力装置から入力される動画像をデジタル化して非圧縮のまま取り込み、かつ上記画像入力装置から入力される動画像をデジタル化して高圧縮率かつ高画質での再生が可能な圧縮動画像に変換して取り込む。このとき、上記２つの動画像は、同一の映像ソースから生成され、同時にかつリアルタイムに取り込まれる。
【００２５】
そして、上記情報抽出手段は、例えば、シーンの変化を検出する場合には、少なくとも、上記非圧縮動画像を解析して得られるシーンが変化した直後の画像と、該画像の動画像取り込み開始からの時刻とを抽出し、上記対応情報生成手段は、少なくとも上記画像取り込み装置から取り込まれた圧縮動画像中の、該時刻と同じ時刻を有する画像（位置）を抽出して、上記２つの画像を対応づけるための対応情報を生成する。
【００２６】
また、上記非圧縮の動画像は奇数フィールドデータと偶数フィールドデータとに分けて各々上記主記憶及び上記表示装置に転送されるので、上記画像入力装置から入力される動画像を上記表示装置でモニタしながらシーンの変化の検出が可能となる。
【００２７】
さらに、上記表示装置は、上記シーンが変化した直後の画像を少なくとも表示し、ユーザが、上記入力手段によって該画像を指示した場合、上記圧縮画像再生装置は、該画像と上記対応情報とから、上記圧縮動画像中における頭出し再生を開始する画像を特定して再生を行う。
【００２８】
【発明の実施の形態】
以下、本発明に係る第一の実施の形態について図面を参照して説明する。
【００２９】
図１４は、第一の実施の形態の画像記録再生装置を適応しうるパーソナルコンピュータ等の情報処理装置のハードウェア構成図である。
【００３０】
図１４に示すように、該装置は、ＣＰＵ１と、主記憶２と、補助記憶装置３と、入力装置４と、表示装置５と、画像入力装置６と、画像取り込み装置１２と、圧縮画像再生装置９とを有して構成される。そして、画像入力装置６以外の各構成要素は、バス１０によって接続され、各構成要素間で、必要な情報が伝送可能に構成されている。
【００３１】
また、画像入力装置６は、画像取り込み装置１２に接続され、画像入力装置６から画像取り込み装置１２に映像情報を伝送可能なように構成されている。画像取り込み装置１２は、バスを介して接続されるＣＰＵ１等により構成されるPC等の情報処理装置２１に装着されるか、図２２に示すように画像入力装置６に内蔵される構成とする。尚、図２２に示された画像取り込み装置は、ＣＣＤカメラ５６が内蔵されているほかは図１５に示した画像取り込み装置１２と同様の構成である。
【００３２】
主記憶２は、ワークエリアとして機能したり、必要なプログラムを格納するための手段であり、前者に対してはＲＡＭ、後者に対してはＲＯＭ等によって実現できる。補助記憶装置３は、該装置の動作を制御するためのプログラムや圧縮された動画像等を保存しておく手段であり、例えば、フロッピーディスク、ハードディスク、メモリカードやＤＶＤなどによって実現できる。入力装置４は、必要な命令や情報入力するための手段であり、例えば、キーボードや、マウス等のポインティングデバイスによって実現できる。表示装置５は、圧縮された動画像の再生表示等の各種の情報を表示する手段であり、例えば、ＣＲＴ、ＥＬディスプレイ、プラズマディスプレイ、液晶ディスプレイ等によって実現できる。
【００３３】
画像入力装置６は、上述した従来技術における画像入力装置２２と同様に、アナログの動画像（映像）を入力する手段であり、ビデオカメラ、ＶＴＲ、テレビジョン、ＴＶチューナー等によって実現される。画像取り込み装置１２は、上記画像入力装置６から入力されるアナログの動画像をデジタル化し、かつデジタル化した動画像を圧縮するための手段である。圧縮（符号化）手段としては、例えば、高圧縮率かつ高画質での再生が可能なＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等によって実現される。また、「ポイント図解式最新ＭＰＥＧ教科書」、Ｐ２８〜Ｐ２９、マルチメディア通信研究会編、アスキー出版局に記載されている圧縮技術でも実現できる。ＭＰＥＧ圧縮技術の詳細は、「ポイント図解式最新ＭＰＥＧ教科書」、Ｐ８９〜Ｐ１６５、マルチメディア通信研究会編、アスキー出版局に記載されている。
【００３４】
圧縮画像再生装置９は、上記画像取り込み装置１２における圧縮技術を用いて圧縮された動画像を再生して、表示装置５に再生画像を表示する手段であり、例えば、該圧縮技術がＭＰＥＧであれば、ＭＰＥＧデコーダによって実現できる。
【００３５】
また、ＣＰＵ１は、主記憶２や補助記憶装置３に、予め格納されているプログラムに従って所定の動作を行う。
【００３６】
次に、図１５に、画像取り込み装置１２のブロック構成図を示す。
【００３７】
図１５に示すように、画像取り込み装置１２は、動画入力インターフェース部５０と、フレームメモリ５１と、動画圧縮部５２と、ビデオデコーダ５３とを有して構成される。
【００３８】
ビデオデコーダ５３は、画像入力装置６に接続されており、画像入力装置６から入力されるアナログの動画像をデジタル化して出力する。例えば、画像入力装置６から入力されるアナログの動画像がＮＴＳＣ形式の信号であれば、ビデオデコーダ５３は、ＮＴＳＣデコーダとして実現できる。この場合、ＮＴＳＣ形式のインターレース信号における奇数フィールド信号と偶数フィールド信号とをデジタル化して時系列的に出力する。この出力された動画像は、動画圧縮部５２と動画入力インターフェース部５０とに同時に入力される。尚、画像入力装置６から画像取り込み装置１２へ出力される信号がアナログ信号ではなくデジタル信号である場合、画像取り込み装置１２にはビデオデコーダ５３が不要である。
【００３９】
画像圧縮部５２は、ビデオデコーダ５３から出力されるデジタル化された動画像をＭＰＥＧなどの圧縮技術を用いて圧縮する。そして、圧縮した動画像を動画入力インターフェース部５０に出力する。例えば、圧縮技術がＭＰＥＧであれば、圧縮された動画像はＭＰＥＧストリームということになる。
【００４０】
フレームメモリ５１は、ビデオデコーダ５３でデジタル化された動画像の少なくとも１画面（フレーム）分の画像を保持するためのものであり、動画入力インターフェース部５０に接続される。
【００４１】
動画入力インターフェース部５０は、バス１０に接続されており、ビデオデコーダ５３から入力されるデジタルの動画像を一度フレームメモリ５１に格納し、さらに、フレームメモリ５１に格納した画像を、バス１０を通して主記憶２あるいは補助記憶装置３あるいは表示装置５にＤＭＡ転送する。これと同時に画像圧縮部５２から入力される圧縮された動画像も、バス１０を通して主記憶２あるいは補助記憶装置３にＤＭＡ転送する。
【００４２】
次に、図１６に、動画入力インターフェース部５０のブロック構成図を示す。
【００４３】
図１６に示すように、動画入力インターフェース部５０は、バス入出力部６０と、ＤＭＡ転送制御部６１と、色変換部６２と、スケーリング部６３と、ビデオ信号入出力部６４と、圧縮画像入出力部６５とを有して構成される。
【００４４】
バス入出力部６０は、一般的に情報処理装置などで採用されているＰＣＩやＩＳＡなどのバスのプロトコルに従って実現され、バス１０にデータを流したり、バス１０に流れているデータを取得する。
【００４５】
圧縮画像入出力部６５は、動画圧縮部５２からあらかじめ決められたプロトコルにしたがって入力されるデータをＤＭＡ転送制御部６１に出力する。
【００４６】
ビデオ信号入出力部６４は、ビデオデコーダ５３から入力されるデジタル化された動画像をフレームメモリ５１に格納する。ビデオデコーダ５３がＮＴＳＣデコーダの場合、動画像すなわちインターレース信号における奇数フィールドデータと偶数フィールドデータとは時系列的に入力され、さらに、ビデオデコーダ５３からは、現在入力されているデータが奇数フィールドデータか偶数フィールドデータかを示す信号も送られてくるので、該信号にしたがって、各々のフィールドデータをフレームメモリ５１内のあらかじめ決められた領域に別々に格納する。また、フレームメモリ５１に１画面分のデータ（奇数フィールドデータと偶数フィールドデータとを合わせたデータ）しか格納できない場合は、以前格納した各々のフィールドデータに上書きして格納する。
【００４７】
スケーリング部６３は、フレームメモリ５１から１画面分の奇数フィールドデータと１画面分の偶数フィールドデータを順次取り出し、あらかじめ決められた大きさにスケーリングして色変換部６２に出力する。
【００４８】
色変換部６２は、スケーリング部６３から入力されるデータをあらかじめ決められた色フォーマットに変換してＤＭＡ転送制御部６１に出力する。通常、ＮＴＳＣ信号の画像データにおける色フォーマットはＹＵＶ形式であり、フレームメモリ５１にはＹＵＶ形式のデータが格納される。しかしながら、主記憶２や表示装置５に転送されるべきデータの色フォーマットはＲＧＢ形式であることが多い。したがって、色変換部６２は、少なくともＹＵＶ形式からＲＧＢ形式に変換する機能を有する。
【００４９】
ＤＭＡ転送制御部６１は、色変換部６２から入力されるデータと圧縮画像入出力部６５から入力される圧縮された動画像とを、バス入出力部６０とバス１０とを介して、主記憶２あるいは補助記憶装置３あるいは表示装置５にＤＭＡ転送する。また、ビデオデコーダ５３と動画圧縮部５２とは非同期に動作するため、色変換部６２と圧縮画像入出力部６５とから同時にデータが入力されることがある。この場合、圧縮画像入出力部６５からの圧縮された動画像を優先的にＤＭＡ転送する。圧縮された動画像は一部でもデータが欠落するとデータ全体が意味をなさなくなるためである。
【００５０】
図１７に動画入力インターフェース部５０が有するレジスタ構成の一例を示す。
【００５１】
レジスタは、少なくとも、入力解像度３０１と、出力解像度３０２と、色フォーマット３０３と、転送先アドレス３０４とから構成される。
【００５２】
入力解像度３０１は、ビデオデコーダ５３から入力されるデータの解像度を指定する。出力解像度３０２は、バス１０上に出力されるデータの解像度を指定する。色フォーマット３０３は、バス１０上に出力されるデータの色フォーマットを指定する。転送先アドレス３０４は、バス１０上に出力されたデータが最終的に転送される、ＣＰＵ１がアドレッシング可能なアドレスを指定する。
【００５３】
また、各々のレジスタは、奇数フィールドデータ３１０と、偶数フィールドデータ３２０と、圧縮動画像３３０とに個別に用意されている。ただし、圧縮動画像３３０に対しては転送先アドレス３０４のみである。各レジスタにあらかじめ設定された値にしたがって、動画入力インターフェース部５０は動作することになる。また、各レジスタに値を設定するのは、画像取り込み装置１２を駆動するためのプログラムであり、該プログラムは主記憶２や補助記憶装置３に格納され、ＣＰＵ１によって実行される。ユーザは、該プログラムを介して、所望の設定値
を各レジスタに設定することになる。
【００５４】
次に、画像取り込み装置１２における各レジスタの設定値と動作について、図１８を用いて説明する。ここでは、各レジスタの設定値が図１７に示す内容である場合について説明する。
【００５５】
図１８において、領域１と領域２は主記憶２上に個別に確保された領域である。領域３は、一般的な表示装置が有するＶＲＡＭ（表示用メモリ）上の一部である。ＶＲＡＭに格納されているデータがＣＲＴなどに表示されることになる。領域３は、例えば、動画像をウィンドウ内に表示する場合、該ウィンドウの表示領域に対応するＶＲＡＭ上の領域である。
【００５６】
図１７において、奇数フィールドデータ３１０の転送先アドレス３０４のレジスタの内容は領域２の先頭アドレスを、偶数フィールドデータ３２０の転送先アドレス３０４のレジスタの内容は領域３の先頭アドレスを、圧縮動画像３３０の転送先アドレス３０４のレジスタの内容は領域１の先頭アドレスをそれぞれ指し示しているとすると、奇数フィールドデータと圧縮動画像は主記憶２へ、偶数フィールドデータは表示装置５へ転送されることになる。
【００５７】
奇数フィールドデータ３１０についてみると、入力解像度３０１のレジスタの内容が６４０×２４０であり、出力解像度３０２のレジスタの内容が１６０×１２０であるので、スケーリング部６３は、横方向に１／４、縦方向に１／２にそれぞれ縮小する。さらに、色フォーマット３０３のレジスタの内容がＲＧＢ２４であるので、色変換部６２は、ＹＵＶ形式のデータをＲ、Ｇ、Ｂ成分とも８ビットずつで表現されるＲＧＢ形式に変換する。そして、ＤＭＡ転送制御部６１が、スケーリングされ、色変換された奇数フィールドデータを、転送先アドレス３０４のレジスタの内容が指し示す領域２に転送する。
【００５８】
偶数フィールドデータ３２０についてみると、入力解像度３０１のレジスタの内容が６４０×２４０であり、出力解像度３０２のレジスタの内容が３２０×２４０であるので、スケーリング部６３は、横方向に１／２に縮小する。縦方向には拡大・縮小せずそのままである。さらに、色フォーマット３０３のレジスタの内容がＲＧＢ８であるので、色変換部６２は、ＹＵＶ形式のデータをＲ、Ｇ、Ｂ各成分合わせて８ビットで表現されるＲＧＢ形式に変換する。そして、ＤＭＡ転送制御部６１が、スケーリングされ、色変換された偶数フィールドデータを、
転送先アドレス３０４のレジスタの内容が指し示す領域３に転送する。
【００５９】
圧縮動画像３３０についてみると、動画圧縮部５２から送られてくる圧縮された動画像を転送先アドレス３０４のレジスタの内容が指し示す領域１に転送する。
【００６０】
以上のように、画像取り込み装置１２は、ビデオカメラやＶＴＲなどから入力される動画像を奇数フィールドデータと偶数フィールドデータとに分割し、情報処理装置における異なる装置や領域にそれぞれ転送可能である。これと同時に、上記入力される動画像を圧縮したデータをも情報処理装置における異なる装置や領域に転送可能である。さらに、奇数フィールドデータと偶数フィールドデータとは、それぞれ異なる大きさ、色フォーマットに変換しての転送が可能である。また、転送先アドレス３０４のレジスタの設定値によっては、奇数フィールドデータと偶数フィールドデータとを同じ装置や領域に転送可能であり、この場合、上記入力される動画像そのままのイメージで記録あるいは表示されることになる。
【００６１】
次に、図２に、第一の実施の形態の画像記録再生装置における機能ブロック図を示す。
【００６２】
図２において、１０１は、第一の実施の形態の画像記録再生装置における各機能ブロックを制御する制御手段、１０２は、非圧縮画像の解析を行う機能を有する非圧縮画像解析手段、１０３は、非圧縮画像と圧縮画像とを対応づける情報を生成する機能を有する対応情報生成手段、１０４は、圧縮動画像を再生表示する機能を有する圧縮画像再生装置であり、これらの機能ブロックは、主記憶２あるいは補助記憶装置３に格納されているプログラムを、ＣＰＵ１が実行することによって実現される。
【００６３】
次に、本発明の画像記憶再生装置の動作について図面を参照して説明する。
【００６４】
以下、高圧縮率かつ高画質での再生が可能な圧縮技術としてＭＰＥＧ、デジタル化された動画像から抽出する情報としてシーンの変化を例として説明するが、これらに制限されるものではない。
【００６５】
図３は、制御手段１０１の処理内容を示すフローチャートである。本処理を実現するプログラムは、主記憶２や補助記憶装置３に格納されており、何らかの事象、例えば、入力装置４を使用して入力されるユーザからの指示等を契機に、ＣＰＵ１によってプログラムが実行される。
【００６６】
図３に示すように、制御手段１０１は、まず、動画像の取り込みを開始する（ステップ１２１）。具体的には、画像取り込み装置１２を駆動するためのプログラムを実行し、ユーザが入力装置４などを介して入力した値をレジスタに設定したり、主記憶２上にワークエリアを確保するなどの、動画像を取得するための準備を行う。また、説明する例として、レジスタの設定値は図１７に示す通りとし、したがって、図１８に示すように各データが転送されることになる。つまり、上記主記憶２上のワークエリアには領域１及び領域２が含まれる。
【００６７】
次に、制御手段１０１は、画像入力装置６から入力され、画像取り込み装置１２においてデジタル化された非圧縮画像を取得し、上記領域２に格納する（ステップ１２２）。このとき、上記領域２に格納されるデータは奇数フィールドデータであり、画像取り込み装置１２によって自動的にＤＭＡ転送されている。さらに、奇数フィールドデータが転送されるのと同時に、画像入力装置６から入力され、画像取り込み装置１２によってＭＰＥＧ圧縮された動画像が領域１に、偶数フィールドデータが領域３にそれぞれ転送されている。
【００６８】
続いて、非圧縮画像解析手段１０２を起動してシーンが変化したかどうかを検出する（ステップ１２３）。そして、動画像の取り込みが継続しているならば、ステップ１２２とステップ１２３を繰り返し実行する（ステップ１２４）。非圧縮画像解析手段１０２の処理内容の詳細は後述する。
【００６９】
ステップ１２４において、例えば、ユーザからの指示等で動画像の取り込みが終了しているならば、画像入力装置６から入力され、画像取り込み装置１２においてデジタル化されＭＰＥＧ圧縮された動画像（主記憶２上の領域１に格納されている）を補助記憶装置３に格納する（ステップ１２５）。このとき、画像取り込み装置１２において行われる圧縮は、ステップ１２２からステップ１２４までの処理、即ち非圧縮画像の解析処理を実行されている間に、非圧縮画像の圧縮を同時に行われているため、制御手段１０１全体の処理速度は低下することがない。さらに、ステップ１２２において取り込まれた非圧縮動画像を圧縮するのではなく、画像入力装置６から入力された動画像を圧縮（この圧縮処理は非圧縮画像の解析処理中に行われる）しているため、非圧縮画像を入力し、その後圧縮する上述した従来技術とは異なる。
【００７０】
そして、制御手段１０１は、対応情報生成手段１０３を起動して、シーンが変化した時刻での非圧縮画像と、圧縮動画像における該時刻の画像とを対応づける情報を生成する（ステップ１２６）。対応情報生成手段１０３の処理内容の詳細は後述する。
【００７１】
最後に、圧縮画像再生装置１０４を起動して、例えば、ユーザが指示する時刻からの上記圧縮動画像の再生表示を行い（ステップ１２７）、制御手段１０１の処理が継続しているならば、ステップ１２１に戻り処理を繰り返す（ステップ１２８）。ステップ１２８において、例えば、ユーザからの終了指示等がある場合は、制御手段１０１の処理を終了する。圧縮画像再生装置１０４の処理内容の詳細は後述する。
【００７２】
図４は、非圧縮画像解析手段１０２の処理内容を示すフローチャートである。本処理を実現するプログラムは、主記憶２や補助記憶装置３に格納されており、ＣＰＵ１によってプログラムが実行される。 図４に示すように、非圧縮画像解析手段１０２は、制御手段１０１におけるステップ１２２において上記領域２に格納された非圧縮画像の内容と、ステップ１２２からステップ１２４までの繰り返し処理において、現在の処理以前に上記領域２に格納された非圧縮画像の内容とを比較する（ステップ１３１）。このとき、上述した従来技術と同様に、２つの非画像を画素単位で比較してその差分を計算し、全画素での差分の総和を求めることで比較が行われる。そして、シーンが変化したかを判定する（ステップ１３２）。このとき、上記差分の総和が予め決められたしきい値より大きいとシーンが変化したと判定できる。
【００７３】
ステップ１３２において、シーンが変化したと判定された場合には、シーンが変化した非圧縮画像の、動画像取り込み開始時点からの時刻を取得し（ステップ１３３）、該時刻を上記ワークエリアに格納して（ステップ１３４）、処理を終了する。このとき、動画像取り込み開始時点からの時刻は以下のように取得できる。すなわち、上述した画像取り込み装置１２を駆動するためのプログラムが、動画像取り込み開始時点から取り込んだ画像の数（時間的な問題で取り込めなかった画像の数も含む）を返す機能があれば、それを取得する。そして、画像入力装置６から入力される動画像がＮＴＳＣフォーマットであれば、そのフレームレートは２９．９７フレーム／秒であるので、上記画像の数を３０で割った商が該時刻となる。また、上述した画像取り込み装置１２を駆動するためのプログラムが、動画像取り込み開始時点から取り込んだ画像の数を返す機能がない場合は、動画像取り込み開始時点から１／２９．９７秒（動画像がＮＴＳＣフォーマットの場合）間隔のタイマーを起動して、取り込んだ画像の数をカウントしておけばよい。
【００７４】
ステップ１３２において、シーンが変化したと判定されなければ、現在の処理以前に上記領域２に格納された非圧縮画像を上記領域２から削除して（ステップ１３５）、処理を終了する。また、シーンが変化するということの具体例は後述する。
【００７５】
図５は、対応情報生成手段１０３の処理内容を示すフローチャートである。本処理を実現するプログラムは、主記憶２や補助記憶装置３に格納されており、ＣＰＵＩによってプログラムが実行される。
【００７６】
図５に示すように、対応情報生成手段１０３は、まず、一連の動画像の取り込みでシーンの変化が存在したかどうかを判定し（ステップ１４１）、存在しなければ処理を終了する。シーンの変化が存在したかどうかは、非圧縮画像解析手段１０２の処理の中でカウンタを設けて、非圧縮画像解析手段１０２におけるステップ１３２においてシーンが変化したと判定された場合に該カウンタをインクリメントすれば、カウンタが１以上であるかどうかを調べることで、シーンの変化が存在するかどうかを判定できる。
【００７７】
ステップ１４１において、シーンの変化が存在すると判定された場合には、非圧縮画像解析手段１０２におけるステップ１３４において格納された時刻を１つだけ上記ワークエリアから取得し（ステップ１４２）、ステップ１２５において補助記憶装置３に格納されたＭＰＥＧ圧縮動画像中の該時刻と同時刻の画像（位置）を算出する（ステップ１４３）。このときの算出方法を図６を用いて説明する。
【００７８】
図６（ａ）は、例として、制御手段１０１におけるステップ１２２において取り込まれる非圧縮動画像の一部を時系列に並べたものであり、紙面の左から右に向かって時間が進行していくと仮定する。つまり、非圧縮画像Ａ１からＡ９の中で、Ａ１が時間的に一番早く取り込まれた画像である。また、Ａ１からＡ４までは物体ａが移動している情報を示しており、同じシーンであるといえる。しかしながら、Ａ４からＡ５は該物体ａが画像内から消え、新たに物体ｂがＡ５の画像内に現れる。これは、シーンの変化といえる。同様に、Ａ６とＡ７との間でシーンが変化する。つまり、非圧縮画像解析手段１０２におけるステップ１３２においては、Ａ５及びＡ７の解析を行っているときにシーンが変化したと判定することになる。
【００７９】
図６（ｂ）は、制御手段１０１におけるステップ１２５において取り込まれるＭＰＥＧ圧縮動画像の一部を時系列（原画面順）に並べたものであり、紙面の左から右に向かって時間が進行していくと仮定する。つまり、圧縮画像Ｂ１からＰ２の中で、Ｂ１が時間的に一番早く取り込まれ、ＭＰＥＧ符号化された画像である。さらに、Ａ１とＢ１、Ａ２とＢ２、Ａ３と１１、Ａ４とＢ３、Ａ５とＢ４、Ａ６とＰ１、Ａ７とＢ５、Ａ８とＢ６、Ａ９とＰ２とは、時間的に一致する画像である。非圧縮画像と圧縮画像は、画像入力装置６から入力された同一の画像をもとにしているので、例えば、Ａ１の内容と、Ｂ１を復号化したときの画像の内容とは一致する。ここで、Ｉ、Ｐ、ＢはＭＰＥＧにおけるＩピクチャ、Ｐピクチャ、Ｂピクチャをそれぞれ表現するものである。実際の符号化方式の詳細は、「ポイント図解式最新ＭＰＥＧ教科書」、Ｐ８９〜Ｐ１６５、マルチメディア通信研究会編、アスキー出版局に記載されている。
【００８０】
図６（ｃ）は、制御手段１０１におけるステップ１２５において取り込まれるＭＰＥＧ圧縮動画像の一部を、実際に補助記憶装置３に格納されている順番（ビットストリーム順）に並べたものである。図６（ｂ）と図６（ｃ）の同一記号は同一内容を示す。従い、例えば図６（ｂ）の先頭のＢ１と図６（ｃ）の２番目のＢ１とは同一内容のデータである。また、１１をＧＯＰの先頭と仮定する。
【００８１】
さて、ステップ１４２において取得した時刻が非圧縮画像Ａ５が取り込まれた時刻（これをＴ１とする）であったとすると、ＭＰＥＧ圧縮動画像中のＴ１と同時刻の画像はＢ４であるので、ステップ１４３では、Ｂ４の位置を算出することになる。以下に、算出方法を示す。
【００８２】
ＭＰＥＧビットストリーム中には各ＧＯＰの先頭にヘッダ情報が格納されており、該ヘッダ情報には、各ＧＯＰの先頭の画像の、ビットストリームの先頭からの時刻（これをＴＣとする）が含まれる。従って、各ＧＯＰのＴＣを調べることによって、Ｔ１が含まれるＧＯＰ（これをＧ１とする）を特定することができる。つまり、図６（ｃ）におけるＭＰＥＧビットストリーム（Ｇ１）中のＢ１の時刻がＴＣとなる。また、該ヘッダ情報には、動画像のフレームレート（これをＰＲとする）が含まれる。さらに、各画像にもヘッダ情報が格納されており、該ヘッダ情報には、各画像が含まれるＧＯＰ（Group Of Picture :MPEGビットストリームをランダムアクセスするための構造）の先頭からのフレーム番号（これをＴＲとする）が含まれる。従って、ＰＲ(PICTURE RATE :シーケンス層の画像の表示周期を表す)とＴＲ(TEMPORAL REFERENCE：ピクチャ層のピクチャ一貫のNoでGOPの頭でリセットされる１０２４の余り)を乗じた結果がＧ１の先頭からの時刻（これをＴ２とする）となる。そして、ＴＣ＋Ｔ２＝Ｔ１となる画像（Ｂ４）を探すことで算出できるのである。以上はビデオデータに関して述べたものであるが、音声に関しても同様に算出することができる。
【００８３】
また、後述する圧縮画像再生装置１０４の能力によっては、ＧＯＰの途中あるいはＢピクチャからの再生が不可能なものもあり、そのため、Ｂ４の代わりに、ＧＯＰの先頭のＢ１あるいは１１、あるいはＢ４の近傍であるＰ１等とすることも考えられる。
【００８４】
さて、図５の説明に戻り、続いて対応情報生成手段１０３は、ステップ１４３において算出した様々な情報から、図７に示す対応テーブル２００を作成する（ステップ１４４）。すでに対応テーブル２００が作成されていたならば、対応テーブル２００にエントリを追加する。
【００８５】
図７に、対応テーブル２００の内容を示す。対応テーブル２００は、非圧縮画像と圧縮画像とを関連付けるものであり、主記憶２や補助記憶装置３に格納される。さらに、各ＧＯＰの先頭に格納されているヘッダ情報には、ユーザデータ領域として、自由な情報を格納するための領域があり、対応テーブル２００を該領域に格納することも考えられる。
【００８６】
対応テーブル２００は、ＩＤ２１０、非圧縮画像へのポインタ２２０、圧縮ファイル名２３０、タイムコード２４０、インデックス２５０の各項目を有し、例えば、シーンが変化した直後あるいは近辺の画像に対して、上記項目に対応したデータセットの集まりによって構成される。また、対応テーブル２００を上記ユーザデータ領域に格納する場合は、対応テーブル２００は、少なくとも、非圧縮画像へのポインタ２２０及びインデックス２５０で構成されればよい。
【００８７】
ＩＤ２１０には、シーン変化１つ１つに与えられる識別子が設定され、識別子は、本画像記録再生装置内で、固有に与えられる数字データである。非圧縮画像へのポインタ２２０には、主記憶２に格納されている非圧縮画像（制御手段１０１におけるステップ１２２において格納されたもの）を指示するポインタが設定される。また、非圧縮画像へのポインタ２２０の内容は、ユーザが入力するコメント等、シーンの変化が特定できるものであれば何でもよい。圧縮ファイル名２３０には、制御手段１０１におけるステップ１２５において、補助記憶装置３に格納された圧縮動画像のファイル名が設定される。タイムコード２４０には、シーンが変化した画像を含むＧＯＰのヘッダ情報に存在する、該ＧＯＰの先頭の画像のビットストリームの先頭からの時刻が設定される。これは、上述したＴＣに相当する。インデックス２５０には、上記シーンが変化した画像の、該ＧＯＰ内でのインデックス（フレーム番号）が設定される（インデックスは０から始まる）。
【００８８】
例えば、図６で示した例においては、図８に示すような対応テーブル２００’が構成される。図６（ａ）における、シーンが変化した直後の画像Ａ５とＡ７それぞれのデータセットが３０１と３０２である。データセット３０１において、非圧縮画像へのポインタ２２０の設定値は、主記憶２に格納されている非圧縮画像Ａ５の主記憶２上のアドレス、データセット３０２において、非圧縮画像へのポインタ２２０の設定値は、主記憶２に格納されている非圧縮画像Ａ７の主記憶２上のアドレスである。
【００８９】
さて、図５の説明に戻り、最後に対応情報生成手段１０３は、他にシーンの変化が存在する場合には、ステップ１４２に戻り処理を繰り返す（ステップ１４５）。他にシーンの変化が存在しない場合には、処理を終了する。他にシーンの変化が存在するかどうかは、上述したカウンタを調べればよい。
【００９０】
図９は、圧縮画像再生装置１０４の処理内容を示すフローチャートである。本処理を実現するプログラムは、主記憶２や補助記憶装置３に格納されており、ＣＰＵ１によってプログラムが実行される。
【００９１】
図９に示すように、圧縮画像再生装置１０４は、まず、対応情報生成手段１０３において生成した対応テーブル２００の内容に従って、各種情報を表示装置５に一覧表示する（ステップ１５１）。このとき、対応テーブル２００におけるＩＤ２１０の内容及び非圧縮画像へのポインタ２２０が指示する非圧縮画像を表示する。また、対応テーブル２００における圧縮ファイル名２３０も一緒に表示してもよい。例えば、ステップ１５１において、表示装置５に表示される例を図１９に示す。
【００９２】
図１９において、４００は表示装置５が有する表示画面、４１０は対応テーブル２００の内容を表示するウィンドウ、４１０ａ〜４１０ｉは、対応テーブル２００における非圧縮画像へのポインタ２２０が指し示す主記憶２に格納されている非圧縮画像である。この場合、対応テーブル２００には、少なくとも９エントリ存在する。
【００９３】
図９に戻り、圧縮画像再生装置１０４は、ユーザからの指示を待ち（ステップ１５２）、ユーザからの指示があるまで待機する（ステップ１５３）。このとき、ユーザからの指示（ステップ１５１において、一覧表示した非圧縮画像（４１０ａ〜４１０ｉ）の中から１つの非圧縮画像を選択する指示）があると、該指示された非圧縮画像に対応する、圧縮動画像中の位置（再生位置）を特定できる（ステップ１５４）。この処理は、次のように行うことができる。
【００９４】
まず、該指示された非圧縮画像のＩＤ（対応テーブル２００におけるＩＤ２１０の内容）をキーとして、対応テーブル２００を検索する。その結果、該ＩＤを持つデータセットを見つけることができる。そして、該データセットから、圧縮ファイル名２３０の内容と、タイムコード２４０の内容と、インデックス２５０の内容とを引き出すことによって、再生位置を特定できる。
【００９５】
次に、圧縮画像再生装置１０４は、上記圧縮ファイル名２３０の内容である圧縮動画像を、上記再生位置から再生して、表示装置５に表示する（ステップ１５５）。再生位置が確定した後の圧縮動画像の再生、及び表示装置５への表示方法は、すでに公知であるので、詳細な説明は省略する。例えば、ステップ１５５において、表示装置５に表示される例を図２０に示す。
【００９６】
図２０において、４２０は、上記圧縮ファイル名２３０の内容である圧縮動画像を、上記再生位置から再生、表示するウィンドウである。
【００９７】
最後に、圧縮画像再生装置１０４の処理が継続しているならば、ステップ１５１に戻り処理を繰り返す（ステップ１５６）。ステップ１５６において、例えば、ユーザからの終了指示等がある場合は、圧縮画像再生装置１０４の処理を終了する。
【００９８】
以上、本発明によれば、圧縮動画像の記録を行いながらシーンの変化などを検出でき、該圧縮動画像中のシーンの変化点と関連付けられるため、動画像の記録、再生が容易に行える画像記録再生装置を提供することができる。
【００９９】
また、本発明によれば、非圧縮動画像と圧縮動画像とを同時に情報処理装置に取り込む（記録）ことができ、さらに、非圧縮動画像を用いて解析した結果、非圧縮動画像中の任意の画像に対応する、圧縮動画像中の任意の画像を特定でき、さらに、これら２つの画像を関連付けることによって、ユーザなどによって指示された位置からの、圧縮動画像の頭出し再生が容易に行える、画像記録再生装置を提供することができる。
【０１００】
また、本発明によれば、非圧縮動画像と圧縮動画像とを同時に情報処理装置に取り込む場合、圧縮画像を優先的に取り込む画像記録再生装置を提供することができる。
【０１０１】
また、本発明によれば、記録中のあるいは記録した非圧縮動画像から、圧縮動画像との関連情報を作成し、上記関連情報をもとに圧縮動画像を再生する、動画アルバムのような画像記録再生システムを提供することができる。
【０１０２】
また、本発明によれば、非圧縮動画像を情報処理装置に取り込む場合、インターレース信号における奇数フィールドデータと偶数フィールドデータとに分けて取り込むことができ、さらに、奇数フィールドデータと偶数フィールドデータとで、同等のあるいは異なる大きさ及び色フォーマットで、同等のあるいは異なる領域、装置に転送できるので、例えば、入力する動画像を情報処理装置が具備する表示装置でモニタしながら、シーンの変化を検出可能な画像記録再生装置を提供することができる。
【０１０３】
また、本実施の形態は、非圧縮動画像から抽出する情報としてシーンの変化を例に挙げたが、別な情報でも構わない。例えば、ユーザが検出したい画像情報を予め指定して、上記非圧縮画像解析手段１０２において、該画像情報に合致する画像を認識させるようにすれば、簡易な動画検索システムを構築することができる。
【０１０４】
以上の説明では、画像取り込み装置１２と圧縮画像再生装置９とを異なる装置として構成しているが、圧縮画像再生装置９を画像取り込み装置１２に含めた画像取り込み再生装置１３として構成としてもよい。このときの画像取り込み再生装置１３のブロック構成を図２１に示す。
【０１０５】
図２１に示すように、画像取り込み再生装置１３は、動画入力インターフェース部５０と、フレームメモリ５１と、動画圧縮伸張部５４と、ビデオデコーダエンコーダ５５とを有して構成される。
【０１０６】
ビデオデコーダエンコーダ５５は、画像入力装置６に接続されており、画像入力装置６から入力されるアナログの動画像をデジタル化して出力する。例えば、画像入力装置６から入力されるアナログの動画像がＮＴＳＣ形式の信号であれば、ビデオデコーダエンコーダ５５は、ＮＴＳＣデコーダとして実現できる。この場合、ＮＴＳＣ形式のインターレース信号における奇数フィールド信号と偶数フィールド信号とをデジタル化して時系列的に出力する。この出力された動画像は、動画圧縮伸張部５４と動画入力インターフェース部５０とに同時に入力される。
【０１０７】
さらに、ビデオデコーダエンコーダ５５には、ＴＶモニタやＶＴＲなどで実現される画像出力装置１４が接続されており、ビデオデコーダエンコーダ５５は、画像圧縮伸張部５４で伸張された動画像、及び情報処理装置内の主記憶２あるいは補助記憶装置３あるいは表示装置５で保持されているデータを画像出力装置１４に出力する。このとき、画像出力装置１４がＮＴＳＣ形式の信号を取り扱うものであれば、画像出力装置１４に出力すべきデータをＮＴＳＣ形式の信号に変換する。また、ビデオデコーダエンコーダ５５は、ビデオデコーダとビデオエンコーダとに分割した構成としてもよい。
【０１０８】
画像圧縮伸張部５４は、ビデオデコーダエンコーダ５５から出力されるデジタル化された動画像をＭＰＥＧなどの圧縮技術を用いて圧縮し、圧縮した動画像を動画入力インターフェース部５０に出力する。さらに、動画入力インターフェース部５０を介して送られてくる圧縮動画像を伸張し、ビデオデコーダエンコーダ５５に出力、及びまたは、動画入力インターフェース部５０のビデオ信号入出力部６４（図１６参照）に出力する。動画入力インターフェース部５０のビデオ信号入出力部６４に出力された動画像は、以上説明してきたように、主記憶２あるいは補助記憶装置３あるいは表示装置５にＤＭＡ転送される。
【０１０９】
フレームメモリ５１及び動画入力インターフェース部５０は、図１４に示したものと同様である。
【０１１０】
次に、第二の実施の形態について図面を参照して説明する。
【０１１１】
図１は、第二の実施の形態の画像記録再生装置を適応しうるパーソナルコンピュータ等の情報処理装置のハードウェア構成図である。
【０１１２】
図１に示すように、該装置は、ＣＰＵ１と、主記憶２と、補助記憶装置３と、入力装置４と、表示装置５と、画像入力装置６と、非圧縮画像取り込み装置７と、圧縮画像取り込み装置８と、圧縮画像再生装置９とを有して構成される。そして、画像入力装置６以外の各構成要素は、バス１０によって接続され、各構成要素間で、必要な情報が伝送可能に構成されている。
【０１１３】
また、画像入力装置６は、非圧縮画像取り込み装置７と圧縮画像取り込み装置８とに接続され、画像入力装置６から非圧縮画像取り込み装置７と圧縮画像取り込み装置８とに、同一の情報を同時に伝送可能なように構成されている。
【０１１４】
第二の実施の形態の画像記録再生装置における機能ブロック図は、図２に示した第一の実施の形態における機能ブロック図と同様である。
【０１１５】
非圧縮動画像は非圧縮画像取り込み装置７から取り込まれ、圧縮動画像は圧縮画像取り込み装置８から取り込まれるが、非圧縮画像取り込み装置７と圧縮画像取り込み装置８とは、ともに画像入力装置６接続されているため、同一の（映像）情報が入力されるので、第二の実施の形態の処理は、第一の実施の形態の処理と本質的に変わるものではない。
【０１１６】
非圧縮画像取り込み装置７を、画像取り込み装置１２の構成から画像圧縮部５２を取り除いた構成とすれば、第一の実施の形態と同等の機能を実現することができる。さらに、圧縮画像取り込み装置８と分離した構成としているので、システム構築において、比較的自由度の高い画像記録再生装置を提供することができる。
【０１１７】
次に、第三の実施の形態について図面を参照して説明する。
【０１１８】
第一あるいは第二の実施の形態では、非圧縮画像と圧縮画像とをリアルタイムにかつ同時に取り込むが、非圧縮画像のみをリアルタイムに取り込み、シーンの変化を検出しながら、検出に使った非圧縮画像を圧縮するような構成にしてもよい。この場合、画像記憶装置を適応しうる情報処理装置のハードウェア構成を図１２に示す構成とし、制御手段１０１を図１３に示すように変更（制御手段１０１’）すればよい。
【０１１９】
図１２において、画像圧縮装置１１以外は図１に示す構成要素と同じである。上記画像圧縮装置は、ＣＰＵ１から渡される非圧縮動画像を、例えば、ＭＰＥＧ圧縮して主記憶２あるいは補助記憶装置３に格納するための装置である。
【０１２０】
図１３に示すように、制御手段１０１’は、まず、動画像の取り込みを開始する（ステップ１６１）。具体的には、非圧縮画像取り込み装置７を駆動するためのそれぞれのプログラムを実行し、主記憶２上にワークエリアを確保するなどの、動画像を取得するための準備を行う。
【０１２１】
次に、制御手段１０１’は、画像入力装置６から入力され、非圧縮画像取り込み装置７においてデジタル化された非圧縮画像を取得し、上記ワークエリアに格納する（ステップ１６２）。続いて、非圧縮画像解析手段１０２を起動してシーンが変化したかどうかを検出する（ステップ１６３）。さらに、上記ワークエリアに格納された非圧縮画像を上記画像圧縮装置１１を用いて圧縮する（ステップ１６４）。そして、動画像の取り込みが継続しているならば、ステップ１６２とステップ１６４を繰り返し実行する（ステップ１６５）。
【０１２２】
ステップ１６５において、例えば、ユーザからの指示等で動画像の取り込みが終了しているならば、上記画像圧縮装置１１においてＭＰＥＧ圧縮された動画像を取得し、上記ワークエリアあるいは補助記憶装置３に格納する（ステップ１６６）。
【０１２３】
そして、制御手段１０１’は、対応情報生成手段１０３を起動して、シーンが変化した時刻での非圧縮画像と、圧縮動画像における該時刻の画像とを対応づける情報を生成する（ステップ１６７）。
【０１２４】
最後に、圧縮画像再生装置１０４を起動して、例えば、ユーザが指示する時刻からの上記圧縮動画像の再生表示を行い（ステップ１６８）、制御手段１０１’の処理が継続しているならば、ステップ１６１に戻り処理を繰り返す（ステップ１６９）。ステップ１６９において、例えば、ユーザからの終了指示等がある場合は、制御手段１０１’の処理を終了する。
【０１２５】
以上、第三の実施の形態によれば、例えば、非圧縮画像取り込み装置７によって画像入力装置６から入力されるデータを奇数フィールドデータと偶数フィールドデータとに分け、奇数フィールドデータをＹＵＶ形式の色フォーマットで主記憶２に転送し、偶数フィールドデータを表示装置５に表示可能な色フォーマットに変換して表示装置５に転送し、さらに、ＹＵＶ形式の奇数フィールドデータを画像圧縮装置１１に入力して圧縮すれば、比較的安価な画像記録再生装置を提供することができる。
【０１２６】
画像圧縮装置１１は従来技術を適用可能であり、従来技術の画像圧縮装置１１は、通常ＹＵＶ形式のデータを入力されるべきものが多い。また、画像圧縮装置１１をソフトウェアで実現すれば、非圧縮動画像を表示装置５に表示しながら、ＹＵＶ形式の色フォーマットのデータを主記憶２に転送する機能は非常に有効である。
【０１２７】
【発明の効果】
本発明によれば、非圧縮動画像と圧縮動画像とを同時に情報処理装置に取り込む（記録する）ことができ、さらに、非圧縮動画像を用いて解析した結果、非圧縮動画像中の任意の画像に対応する、圧縮動画像中の任意の画像を特定でき、さらに、これら２つの画像を関連付けることによって、ユーザ等によって指示された位置からの、圧縮動画像の頭出し再生が容易に行える、画像記録再生装置を提供することができる。
【０１２８】
さらに、上記画像入力装置から入力される動画像を、非圧縮の動画像及び比較的高圧縮率かつ高画質での再生が可能な圧縮技術を用いて圧縮された動画像として、リアルタイムにかつ同時に上記情報処理装置に取り込む場合、上記圧縮された動画像を優先的に取り込む画像記録再生装置を提供することができる。
【０１２９】
さらに、上記非圧縮の動画像を上記情報処理装置に取り込む場合、上記画像入力装置から入力されるインターレース信号における奇数フィールドデータと偶数フィールドデータとを、同等のあるいは異なる大きさ及び色フォーマットに変換して、同等のあるいは異なる領域あるいは装置に転送することで、上記情報処理装置が具備する表示装置で上記画像入力装置から入力される動画像をモニタしながら、同時に該動画像を記録する画像記録再生装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第二の実施の形態における画像記録再生装置のハードウェア構成図。
【図２】本発明の第一の実施の形態における画像記録再生装置の機能ブロック図。
【図３】本発明の第一の実施の形態における制御手段の処理フローチャート。
【図４】本発明の第一の実施の形態における非圧縮画像解析手段の処理フローチャート。
【図５】本発明の第一の実施の形態における対応情報生成手段の処理フローチャート。
【図６】本発明の第一の実施の形態における対応情報の生成方法を示す説明図。
【図７】本発明の第一の実施の形態における対応テーブルのデータ構成を示す説明図。
【図８】本発明の第一の実施の形態における対応テーブルのデータ構成を示す説明図。
【図９】本発明の第一の実施の形態における圧縮画像再生装置の処理フローチャート。
【図１０】従来技術における画像記録再生装置の構成図。
【図１１】従来技術における画像記録再生装置の処理フローチャート。
【図１２】本発明の第三の実施の形態における画像記録再生装置のハードウェア構成図。
【図１３】本発明の第三の実施の形態における制御手段の処理フローチャート。
【図１４】本発明の第一の実施の形態における画像記録再生装置のハードウェア構成図。
【図１５】本発明の第一の実施の形態における画像取り込み装置のハードウェア構成図。
【図１６】本発明の第一の実施の形態における動画入力インターフェース部のハードウェア構成図。
【図１７】本発明の第一の実施の形態における画像取り込み装置のレジスタの構成図。
【図１８】本発明の第一の実施の形態における画像取り込み装置の動作の説明図。
【図１９】本発明の第一の実施の形態における圧縮動画像再生時の画面構成図。
【図２０】本発明の第一の実施の形態における圧縮動画像再生時の画面構成図。
【図２１】本発明の第一の実施の形態における画像取り込み装置のハードウェア構成図。
【図２２】本発明の第一の実施の形態における画像取り込み装置を内蔵した画像入力装置の構成図。
【符号の説明】
１…ＣＰＵ、２…主記憶、３…補助記憶装置、４…入力装置、５…表示装置、６…画像入力装置、９…圧縮画像再生装置、１０…バス、１２…画像取り込み装置。

Claims (20)

1. 主記憶及び表示装置を備えた動画像を記録する画像記録再生装置に装着される画像取り込み装置において、
   デジタル化された動画像を入力し、該入力した動画像を圧縮動画像に圧縮する動画圧縮部と、
   前記デジタル化された動画像を前記主記憶及び前記表示装置へ転送すると共に、前記動画圧縮部から出力される圧縮動画像を前記主記憶に転送する動画入力インターフェース部とを備えてなる画像取り込み装置。
2. 請求項１に記載の画像取り込み装置において、
   アナログ信号の動画像を入力し、該入力された動画像をデジタル化するビデオデコーダを有することを特徴とする画像取り込み装置。
3. 請求項２に記載の画像取り込み装置において、
   前記動画入力インターフェース部は、前記デジタル化された動画像に比べ前記圧縮動画像を優先的に転送することを特徴とする画像取り込み装置。
4. 請求項３に記載の画像取り込み装置において、
   前記動画入力インターフェース部は、前記デジタル化された動画像をインターレース信号における２つのフィールド信号に分離し、該分離された２つのフィールド信号を前記主記憶及び前記表示装置へ別々に転送することを特徴とする画像取り込み装置。
5. 請求項４に記載の画像取り込み装置において、
   前記動画入力インターフェース部は、前記２つのフィールド信号を異なる解像度または色フォーマットで転送する機能を有することを特徴とする画像取り込み装置。
6. 請求項５に記載の画像取り込み装置において、
   前記ビデオデコーダでデジタル化された動画像を前記動画入力インターフェースを介して入力され、該入力された動画像の少なくとも一画面分のデータを保持するフレームメモリと、
   前記ビデオデコーダでデジタル化された動画像を圧縮する画像圧縮部とを有し、
   前記動画入力インターフェース部は、前記ビデオデコーダから出力されるデジタル化された動画像を構成する奇数フィールドと偶数フィールドを時系列的に入力し、前記フレームメモリへ出力するビデオ信号入出力部と、前記フレームメモリから奇数フィールドと偶数フィールドのデータを順次取り出し、所定の大きさにスケーリングするスケーリング部と、前記スケーリング部から出力されたスケーリングされた動画像のデータを所定の色フォーマットに変換する色変換部と、前記色変換部により色変換された動画像のデータと前記動画圧縮部により圧縮された動画像データとを該圧縮された動画像のデータを優先してＤＭＡ転送するＤＭＡ転送制御部と、前記主記憶が接続されるバスと前記ＤＭＡ転送制御部との間でデータ転送を行うバス入出力部とを有することを特徴とする画像取り込み装置。
7. 主記憶と、表示装置と、デジタル化された動画像を圧縮動画像に圧縮する動画圧縮部と、前記デジタル化された動画像を前記主記憶及び前記表示装置へ転送すると共に、前記動画圧縮部から出力される圧縮動画像とを前記主記憶に転送する動画入力インターフェース部とを有する画像取り込み装置とを備え、
   前記動画入力インターフェース部は、前記デジタル化された動画像をインターレース信号における２つのフィールド信号に分離し、一方のフィールド信号を前記主記憶に転送し、他方のフィールド信号を前記表示装置に転送と共に、前記圧縮動画像を前記主記憶に転送し、
   前記表示装置は、前記動画入力インターフェース部から転送されたフィールド信号により動画を表示し、
   前記主記憶は、前記表示装置が動画を表示するのと共に前記動画入力インターフェース部から転送されたフィールド信号を記憶することを特徴とする画像記録再生装置。
8. 請求項７に記載の画像記憶再生装置において、
   前記画像取り込み装置は、アナログ信号の動画像を入力し、該入力された動画像をデジタル化するビデオデコーダを有することを特徴とする画像記憶再生装置。
9. 請求項８に記載の画像記憶再生装置において、
   前記動画入力インターフェース部は、前記２つのフィールド信号を異なる解像度または色フォーマットで転送することを特徴とする画像記録再生装置。
10. 請求項９に記載の画像記憶再生装置において、
    前記動画入力インターフェース部は、前記デジタル化された動画像に比べ前記圧縮動画像を優先的に転送することを特徴とする画像記録再生装置。
11. 請求項１０に記載の画像記憶再生装置において、
    前記ビデオデコーダでデジタル化された動画像を前記動画入力インターフェースを介して入力され、該入力された動画像の少なくとも一画面分のデータを保持するフレームメモリと、
    前記ビデオデコーダでデジタル化された動画像を圧縮する画像圧縮部とを有し、
    前記動画入力インターフェース部は、前記ビデオデコーダから出力されるデジタル化された動画像を構成する奇数フィールドと偶数フィールドを時系列的に入力し、前記フレームメモリへ出力するビデオ信号入出力部と、前記フレームメモリから奇数フィールドと偶数フィールドのデータを順次取り出し、所定の大きさにスケーリングするスケーリング部と、前記スケーリング部から出力されたスケーリングされた動画像のデータを所定の色フォーマットに変換する色変換部と、前記色変換部により色変換された動画像のデータと前記動画圧縮部により圧縮された動画像データとを該圧縮された動画像のデータを優先してＤＭＡ転送するＤＭＡ転送制御部と、前記主記憶が接続されるバスと前記ＤＭＡ転送制御部との間でデータ転送を行うバス入出力部とを有することを特徴とする画像記録再生装置。
12. 請求項１０に記載の画像記憶再生装置において、
    前記ビデオデコーダによりデジタル化された動画像のデータを前記動画入力インターフェース部を介して入力され、該入力された非圧縮動画像を解析し該解析の結果、前記入力された動画像にシーンの変化があった場合には、前記非圧縮画像にシーンの変化のあった時刻動画取り込み開始時点からの時刻を取得し、一方前記動画圧縮部により圧縮された動画のデータから前記非圧縮画像から取得したシーンの変化した時刻に対応する動画像のデータを特定し、該特定された動画像のデータとシーンが変化した時点での前記非圧縮画像との対応関係を示す情報を生成する対応情報生成手段とを有することを特徴とする画像記憶再生装置。
13. 主記憶及びまたは表示装置を備えた動画像を記録する画像記録再生装置において、
    アナログの動画像を入力するための画像入力装置と、
    アナログの動画像を表示するための画像出力装置と、
    前記画像入力装置から入力された動画像をデジタル化し、さらに、前記主記憶に格納されているデータあるいは前記表示装置に表示されているデータをアナログ化するビデオデコーダエンコーダと、
    前記デジタル化された動画像を圧縮動画像に圧縮し、さらに、圧縮されている動画像を伸長する動画圧縮伸長部と、
    前記デジタル化された動画像と前記圧縮動画像とを前記主記憶及びまたは前記表示装置に同時に転送し、さらに、前記主記憶に格納されているデータあるいは前記表示装置に表示されているデータを取り込む動画入力インターフェースとを備え、
    前記取り込まれたデータが圧縮動画像ならば、前記動画圧縮伸長部で伸長した後、前記ビデオデコーダエンコーダでアナログ化して前記画像出力装置で表示し、前記取り込まれたデータが非圧縮動画像ならば、前記ビデオデコーダエンコーダでアナログ化して前記画像出力装置で表示する機能を有することを特徴とする画像記録再生装置。
14. メモリに接続されるバスに接続可能で、前記バスへデータ転送可能な画像取り込み装置において、
    複数のフレームを含むビデオ信号を、外部装置から受ける入力装置と、
    前記ビデオ信号の一部を前記主記憶装置に記憶させるために、第１のカラーフォーマットで前記ビデオ信号の一部を前記バスへ出力すると共に、前記ビデオ信号の他部を前記表示装置に表示させるために、前記第１のカラーフォーマットと異なる第２のカラーフォーマットで前記ビデオ信号の他部を前記バスへ出力する制御装置とを備えた画像取り込み装置。
15. 前記第１のカラーフォーマットは、YUV形式を含み、
    前記第２のカラーフォーマットは、RGB形式を含む請求項１４に記載の画像取り込み装置。
16. 前記ビデオ信号の一部は、前記ビデオ信号のインターレース信号における奇数フィールドデータと偶数フィールドデータとのうちの一方を含み、
    前記ビデオ信号の他部は、前記奇数フィールドデータと前記偶数フィールドデータとのうちの他方を含む請求項１４に記載の画像取り込み装置。
17. 前記ビデオ信号の一部と前記ビデオ信号の他部とを独立にスケーリングするスケーリング部を備えた請求項１４に記載の画像取り込み装置。
18. 前記制御装置は、前記ビデオ信号の一部及び前記ビデオ信号の他部をDMA転送する請求項１４に記載の画像取り込み装置。
19. 前記ビデオ信号の一部は、圧縮されたビデオ信号を含み、
    前記ビデオ信号の他部は、非圧縮のビデオ信号を含む請求項１４に記載の画像取り込み装置。
20. 前記ビデオ信号の一部は、MPEG形式で圧縮されたビデオ信号を含む請求項１４に記載の画像取り込み装置。

Images