JP4720544B2 - 画像処理装置および方法、プログラム記録媒体、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、プログラム記録媒体、並びにプログラムに関し、特に、画像に加える処理と、画像の特徴量とを対応付けて記憶させることで、画像を再生させるたびに、所定の処理を加えた画像を再現できるようにするとき、画像に加える所定の処理を容易に編集できるようにした画像処理装置および方法、プログラム記録媒体、並びにプログラムに関する。

画像を手軽に処理するための技術が普及しつつある。

従来、ビデオカメラなどで撮像された画像を編集するには、オリジナルの画像データを再生させながら、各種の処理を加える操作を実行し、処理結果となる画像を別の記録媒体に記録させるといったリニア編集が主流であった。

また、上述のようなリニア編集の場合、オリジナルの画像データがCOPY ONCEの場合、一度VTR（Video Tape Recorder）に記録したものを再生し、さらに編集した映像については記録できないという問題があった。

そこで、画像を編集させるための処理を指示する操作を記憶させる方法が提案されている（特許文献１参照）。

特開２００３−２０２９４４号公報

しかしながら、リニア編集の場合、画像と、その画像の時間を示すタイムコードとを同時に通信することでタイムコードに合わせて編集することができるが、民生用のVTRなどではタイムコードはVTR内部にあり、タイムコードを外部に伝えることは事実上できない状態であり、画像と、画像を編集させるための処理を指示する操作とを同期させることができないため、操作を単に記憶させるようにしても、正確に画像の再生に同期しつつ、画像に処理を加えて表示させることは困難であった。

また、画像を編集する際、複数の編集内容を比較したい場合、複数の編集結果を同一の表示装置で表示させて比較することはできないため、使用者の思い通りに編集するには、相当な編集経験を経て得られるであろう熟練した技術が必要とされるため、編集操作そのものが煩雑であるにも関わらず、思い通りに編集することができないことがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、オリジナルの画像データに処理を加えることなく、画像に加える処理と、画像の特徴量とを対応付けて記憶させることで、画像を再生させるたびに、画像に対して正確に所定の処理を加えて再現できるようにするときに画像への処理内容を容易に編集できるようにするものである。

本発明の一側面の画像処理装置は、画像より特徴量を抽出する特徴量抽出手段と、前記画像に対して処理を加えるための設定情報を設定する設定手段と、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録手段と、前記データ記録媒体の特徴量と、前記特徴量抽出手段により抽出された特徴量とを同期させる同期手段と、前記同期手段により前記データ記録媒体の特徴量と、前記特徴量抽出手段により抽出された特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報を読み出す読出手段と、前記読出手段により読み出された設定情報に基づいて、前記画像に対して処理を反映させる反映手段と、前記反映手段により前記画像に対して処理が反映された画像を表示する表示画像、または、そのままの前記画像に前記読出手段により読み出された設定情報を示すオブジェクトを合成した表示画像を生成する表示画像生成手段と、前記読出手段により読み出された設定情報を、前記反映手段、または、前記表示画像生成手段に選択的に供給する選択手段とを含み、前記選択手段により前記反映手段に選択的に設定情報が供給されるとき、前記反映手段は、前記画像に対して処理を反映させ、前記表示画像生成手段は、前記反映手段により前記画像に対して処理が反映された画像からなる表示画像を生成し、前記選択手段により前記表示画像生成手段に選択的に設定情報が供給されるとき、前記表示画像生成手段は、そのままの前記画像に、前記選択手段により選択的に供給された設定情報を示すオブジェクトを合成して表示画像を生成し、前記設定情報は、自身が編集中の情報であるか否かを示す情報を含み、前記設定情報に編集中であることを示す情報が含まれている場合、前記反映手段は、前記画像をそのまま前記表示画像生成手段に供給し、前記表示画像生成手段は、前記反映手段より供給された画像に、前記読出手段により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成し、または、前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択手段は、前記読出手段により読み出された設定情報を前記反映手段にのみ選択的に供給し、前記反映手段は、前記読出手段により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成手段は、前記反映手段により前記画像に対して処理が反映された画像を表示画像とする。

前記特徴量抽出手段には、前記画像を構成する所定領域の画素の画素値の加算値を特徴量として抽出させるようにすることができる。

前記画像に対する処理を指定するための操作をする操作手段をさらに含ませるよにすることができ、前記設定手段には、前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定させ、前記記録手段には、前記画像の特徴量に対応付けて前記操作内容を前記データ記録媒体に記録させるようにすることができる。

前記設定情報には、自身が編集中の情報であるか否かを示す情報を含ませるようにすることができる。

前記設定情報に編集中であることを示す情報が含まれている場合、前記反映手段には、前記画像をそのまま前記表示画像生成手段に供給させるようにすることができ、前記表示画像生成手段には、前記反映手段より供給された画像に、前記読出手段により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成させるようにすることができる。

前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択手段には、前記読出手段により読み出された設定情報を前記反映手段にのみ選択的に供給させるようにすることができ、前記反映手段には、前記読出手段により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成手段は、前記反映手段により前記画像に対して処理が反映された画像を表示画像とするようにさせることができる。

前記同期手段には、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量と前記検索位置特徴量とを順次比較する比較手段とを含ませるようにすることができ、前記比較結果が一致した場合、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記特徴量抽出手段により抽出された特徴量とが同期したものとみなすようにさせることができる。

本発明の一側面の画像処理方法は、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップと、前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とを同期させる同期ステップと、前記同期ステップの処理により前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させる反映ステップと、前記反映ステップの処理により前記画像に対して処理が反映された画像を表示する表示画像、または、そのままの前記画像に前記読出ステップの処理により読み出された設定情報を示すオブジェクトを合成した表示画像を生成する表示画像生成ステップと、前記読出ステップの処理により読み出された設定情報を、前記反映ステップの処理、または、前記表示画像生成ステップの処理に使用できるように選択的に供給する選択ステップとを含み、前記選択ステップの処理により前記反映ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記反映ステップの処理は、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像からなる表示画像を生成し、前記選択ステップの処理により前記表示画像生成ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記表示画像生成ステップの処理は、そのままの前記画像に、前記選択ステップの処理により選択的に供給された設定情報を示すオブジェクトを合成して表示画像を生成し、前記設定情報は、自身が編集中の情報であるか否かを示す情報を含み、前記設定情報に編集中であることを示す情報が含まれている場合、前記反映ステップの処理は、前記画像をそのまま前記表示画像生成ステップの処理で使用するために供給し、前記表示画像生成ステップの処理は、前記反映ステップの処理で供給された画像に、前記読出ステップの処理により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成し、または、前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択ステップの処理は、前記読出ステップの処理により読み出された設定情報を前記反映ステップの処理でのみ選択的に供給し、前記反映ステップの処理は、前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像を表示画像とする。

本発明の一側面のプログラム記録媒体のプログラムは、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップと、前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とを同期させる同期ステップと、前記同期ステップの処理により前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させる反映ステップと、前記反映ステップの処理により前記画像に対して処理が反映された画像を表示する表示画像、または、そのままの前記画像に前記読出ステップの処理により読み出された設定情報を示すオブジェクトを合成した表示画像を生成する表示画像生成ステップと、前記読出ステップの処理により読み出された設定情報を、前記反映ステップの処理、または、前記表示画像生成ステップの処理に使用できるように選択的に供給する選択ステップとを含む処理をコンピュータに実行させ、前記選択ステップの処理により前記反映ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記反映ステップの処理は、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像からなる表示画像を生成し、前記選択ステップの処理により前記表示画像生成ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記表示画像生成ステップの処理は、そのままの前記画像に、前記選択ステップの処理により選択的に供給された設定情報を示すオブジェクトを合成して表示画像を生成し、前記設定情報は、自身が編集中の情報であるか否かを示す情報を含み、前記設定情報に編集中であることを示す情報が含まれている場合、前記反映ステップの処理は、前記画像をそのまま前記表示画像生成ステップの処理で使用するために供給し、前記表示画像生成ステップの処理は、前記反映ステップの処理で供給された画像に、前記読出ステップの処理により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成し、または、前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択ステップの処理は、前記読出ステップの処理により読み出された設定情報を前記反映ステップの処理でのみ選択的に供給し、前記反映ステップの処理は、前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像を表示画像とする。

本発明の一側面のプログラムは、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップと、前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とを同期させる同期ステップと、前記同期ステップの処理により前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させる反映ステップと、前記反映ステップの処理により前記画像に対して処理が反映された画像を表示する表示画像、または、そのままの前記画像に前記読出ステップの処理により読み出された設定情報を示すオブジェクトを合成した表示画像を生成する表示画像生成ステップと、前記読出ステップの処理により読み出された設定情報を、前記反映ステップの処理、または、前記表示画像生成ステップの処理に使用できるように選択的に供給する選択ステップとを含む処理をコンピュータに実行させ、前記選択ステップの処理により前記反映ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記反映ステップの処理は、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像からなる表示画像を生成し、前記選択ステップの処理により前記表示画像生成ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記表示画像生成ステップの処理は、そのままの前記画像に、前記選択ステップの処理により選択的に供給された設定情報を示すオブジェクトを合成して表示画像を生成し、前記設定情報は、自身が編集中の情報であるか否かを示す情報を含み、前記設定情報に編集中であることを示す情報が含まれている場合、前記反映ステップの処理は、前記画像をそのまま前記表示画像生成ステップの処理で使用するために供給し、前記表示画像生成ステップの処理は、前記反映ステップの処理で供給された画像に、前記読出ステップの処理により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成し、または、前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択ステップの処理は、前記読出ステップの処理により読み出された設定情報を前記反映ステップの処理でのみ選択的に供給し、前記反映ステップの処理は、前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像を表示画像とする。

本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、画像より特徴量が抽出され、前記画像に対して処理を加えるための設定情報が設定され、前記画像の特徴量に対応付けて前記設定情報がデータ記録媒体に記録され、前記データ記録媒体の特徴量と、抽出された特徴量とが同期され、前記データ記録媒体の特徴量と、抽出された特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報が読み出され、読み出された設定情報に基づいて、前記画像に対して処理が反映され、前記画像に対して処理が反映された画像を表示する表示画像、または、そのままの前記画像に読み出された設定情報を示すオブジェクトが合成された表示画像が生成され、読み出された設定情報が、前記画像を反映させるため、または、前記設定情報を示すオブジェクトが合成された表示画像を生成させるためかのいずれかに使用されるために選択的に供給され、前記画像に反映させるために選択的に設定情報が供給されるとき、前記画像に対して処理が反映され、前記画像に対して処理が反映された画像からなる表示画像が生成され、前記設定情報を示すオブジェクトが合成された表示画像を生成させるために選択的に設定情報が供給されるとき、そのままの前記画像に、選択的に供給された設定情報を示すオブジェクトが合成された表示画像が生成され、前記設定情報には、自身が編集中の情報であるか否かを示す情報が含まれ、前記設定情報に編集中であることを示す情報が含まれている場合、前記画像がそのまま供給され、供給された画像に、読み出された設定情報により処理を施す範囲を示すウィンドウがオブジェクトとして合成され表示画像が生成されるか、または、前記設定情報に編集中であることを示す情報が含まれていない場合、読み出された設定情報が選択的に供給され、読み出された設定情報に基づいて、前記画像に対して処理が反映され、前記画像に対して処理が反映された画像が表示画像とされる。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の一側面によれば、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して所定の処理を加えて再現するための所定の処理の編集を容易にすることが可能となる。

また、本発明の一側面によれば、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して所定の処理を加えて再現するための所定の処理の編集を視覚的に認識しやすくすることが可能となり、結果として編集を容易にすることが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の一側面の画像処理装置は、画像より特徴量を抽出する特徴量抽出手段（例えば、図４の特徴量抽出手段４１）と、前記画像に対して処理を加えるための設定情報を設定する設定手段（例えば、図４の設定情報決定部４６）と、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録手段（例えば、図４の特徴量設定情報記録部６１）と、前記データ記録媒体の特徴量と、前記特徴量抽出手段により抽出された特徴量とを同期させる同期手段（例えば、図４の同期検出部４２）と、前記同期手段により前記データ記録媒体の特徴量と、前記特徴量抽出手段により抽出された特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報を読み出す読出手段（例えば、図４の特徴量設定情報読出部６３）と、前記読出手段により読み出された設定情報に基づいて、前記画像に対して処理を反映させる反映手段（例えば、図４の反映部４９）と、前記反映手段により前記画像に対して処理が反映された画像を表示する表示画像、または、そのままの前記画像に前記読出手段により読み出された設定情報を示すオブジェクトを合成した表示画像を生成する表示画像生成手段（例えば、図４の表示画像生成部５０）と、前記読出手段により読み出された設定情報を、前記反映手段、または、前記表示画像生成手段に選択的に供給する選択手段（例えば、図４の選択部４７）とを含み、前記選択手段により前記反映手段に選択的に設定情報が供給されるとき、前記反映手段は、前記画像に対して処理を反映させ、前記表示画像生成手段は、前記反映手段により前記画像に対して処理が反映された画像からなる表示画像を生成し、前記選択手段により前記表示画像生成手段に選択的に設定情報が供給されるとき、前記表示画像生成手段は、そのままの前記画像に、前記選択手段により選択的に供給された設定情報を示すオブジェクトを合成して表示画像を生成し、前記設定情報は、自身が編集中の情報であるか否かを示す情報を含み、前記設定情報に編集中であることを示す情報が含まれている場合、前記反映手段は、前記画像をそのまま前記表示画像生成手段に供給し、前記表示画像生成手段は、前記反映手段より供給された画像に、前記読出手段により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成し、または、前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択手段は、前記読出手段により読み出された設定情報を前記反映手段にのみ選択的に供給し、前記反映手段は、前記読出手段により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成手段は、前記反映手段により前記画像に対して処理が反映された画像を表示画像とする。

前記特徴量抽出手段（例えば、図４の特徴量抽出手段４１）には、前記画像を構成する所定領域の画素の画素値の加算値を特徴量として抽出させるようにすることができる。

前記画像に対する処理を指定するための操作をする操作手段（例えば、図４のリモートコントローラ１４）をさらに含ませるよにすることができ、前記設定手段（例えば、図４の設定情報決定部４６）には、前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定させ、前記記録手段には、前記画像の特徴量に対応付けて前記操作内容を前記データ記録媒体に記録させるようにすることができる。

前記設定情報には、自身が編集中の情報であるか否かを示す情報を含ませるようにすることができる。

前記設定情報に編集中であることを示す情報が含まれている場合、前記反映手段（例えば、図４の反映部４９）には、前記画像をそのまま前記表示画像生成手段に供給させるようにすることができ、前記表示画像生成手段（例えば、図４の表示画像生成部５０）には、前記反映手段より供給された画像に、前記読出手段により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成させるようにすることができる。

前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択手段（例えば、図４の選択部４７）には、前記読出手段により読み出された設定情報を前記反映手段にのみ選択的に供給させるようにすることができ、前記反映手段（例えば、図４の反映部４９）には、前記読出手段により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成手段は、前記反映手段により前記画像に対して処理が反映された画像を表示画像とするようにさせることができる。

前記同期手段（例えば、図４の同期検出部４２）には、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段（例えば、図４の検索位置特徴量読出部１０４）と、前記特徴量抽出手段により抽出された特徴量と前記検索位置特徴量とを順次比較する比較手段（例えば、図４の比較部１０３）とを含ませるようにすることができ、前記比較結果が一致した場合、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記特徴量抽出手段により抽出された特徴量とが同期したものとみなすようにさせることができる。

本発明の一側面の画像処理方法は、画像より特徴量を抽出する特徴量抽出ステップ（例えば、図１１のフローチャートにおけるステップＳ３の処理）と、前記画像に対して処理を加えるための設定情報を設定する設定ステップ（例えば、図１１のフローチャートにおけるステップＳ５の処理）と、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップ（例えば、図１１のフローチャートにおけるステップＳ６の処理）と、前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とを同期させる同期ステップ（例えば、図１１のフローチャートにおけるステップＳ７の処理）と、前記同期ステップの処理により前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報を読み出す読出ステップ（例えば、図１１のフローチャートにおけるステップＳ８の処理）と、前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させる反映ステップ（例えば、図１１のフローチャートにおけるステップＳ２２の処理）と、前記反映ステップの処理により前記画像に対して処理が反映された画像を表示する表示画像、または、そのままの前記画像に前記読出ステップの処理により読み出された設定情報を示すオブジェクトを合成した表示画像を生成する表示画像生成ステップ（例えば、図１１のフローチャートにおけるステップＳ１２の処理）と、前記読出ステップの処理により読み出された設定情報を、前記反映ステップの処理、または、前記表示画像生成ステップの処理に使用できるように選択的に供給する選択ステップ（例えば、図１１のフローチャートにおけるステップＳ１０，Ｓ２１の処理）とを含み、前記選択ステップの処理により前記反映ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記反映ステップの処理は、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像からなる表示画像を生成し、前記選択ステップの処理により前記表示画像生成ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記表示画像生成ステップの処理は、そのままの前記画像に、前記選択ステップの処理により選択的に供給された設定情報を示すオブジェクトを合成して表示画像を生成し、前記設定情報は、自身が編集中の情報であるか否かを示す情報を含み、前記設定情報に編集中であることを示す情報が含まれている場合、前記反映ステップの処理は、前記画像をそのまま前記表示画像生成ステップの処理で使用するために供給し、前記表示画像生成ステップの処理は、前記反映ステップの処理で供給された画像に、前記読出ステップの処理により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成し、または、前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択ステップの処理は、前記読出ステップの処理により読み出された設定情報を前記反映ステップの処理でのみ選択的に供給し、前記反映ステップの処理は、前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像を表示画像とする。

まず、図１，図２を参照して、本発明を適用した画像処理装置の概念について説明する。本発明を適用した画像処理装置は、予め記録された画像に対して、使用者により指示された処理を施し表示する。このとき、画像処理装置は、画像の特徴量を抽出して、特徴量に対応付けて処理内容の情報を蓄積させる。さらに、画像処理装置は、予め記録された画像を再生するとき、この蓄積された処理内容の情報を読み出して、画像に処理を施し表示する。

より具体的には、画像処理装置２の動作は、大きく分けて記録モードと再生モードとの２つのモードからなる。

記録モードでは、図１で示されるように、画像処理装置２は、例えば、DVD（Digital Versatile Disc）などの動画像を含むコンテンツが予め記録されている記録メディア１からDVDプレーヤなどにより再生される画像を表示部３に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への処理として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置２は、操作内容に対応する設定情報を生成すると供に、設定情報に対応付けられた処理を画像に施して表示部３に表示させる。さらに、画像処理装置２は、画像より特徴量を抽出し、抽出した特徴量に対応付けて設定情報を操作履歴格納部４に蓄積させる。記録モードでの処理は、繰り返すことができるため、処理内容を編集することができる。したがって、記録モードでは、編集モードを含んでいると言える。

次に、再生モードでは、図２で示されるように、画像処理装置２は、動画像を含むコンテンツが予め記録されている記録メディア１からDVDプレーヤなどにより再生される画像を読み出すと供に、特徴量を抽出する。このとき、画像処理装置２は、操作履歴格納部４に特徴量に対応付けられて記録されている設定情報を、記録メディア１から読み出した画像の特徴量に同期して読み出すと供に、読み出した設定情報に基づいて、画像に処理を施し、表示部３に表示させる。

さらに、記録モード（編集モードを含む）においては、同一のタイミングで複数回数編集処理が繰り返されると、複数の編集操作を示す情報を再生モードで視覚的に認識できるように表示させ、再生された画像上の編集操作を示す情報を見ながら使用者が処理内容を決定する。

より具体的には、図３の上段で示される画像ＰＡが供給されてきた画像に、例えば、複数回数ズーム処理を加えた場合、画像処理装置２は、複数回数のズーム処理の操作を操作履歴格納部４に格納させ、そのいずれかが選択されるまでは、図３の中段で示されるように、複数回数操作されたズーム位置の情報をウィンドウＷ１乃至Ｗ３として画像ＰＢ上にオーバーラップさせて表示部３に表示させる。この処理により、使用者は、自らが編集を加えた位置を視覚的に認識することができる。さらに、いずれかのウィンドウが選択されると、図３の下段で示されるように、画像に加える処理が決定されて、対応するズーム処理が加えられた画像が表される。図３の下段においては、ウィンドウＷ２が選択されて、ズーム画像に処理が加えられた画像ＰＣが表示部３に表示されていることが示されている。また、このとき、操作履歴格納部４には、決定された処理に対応する編集操作に対応する設定情報のみが残される。

以上のような動作により、画像処理装置２は、予め記録された画像に対する処理内容のみを蓄積して、処理結果である画像を記録することなく、処理結果である画像を繰り返し再生できるようにすることができる。結果として、Copy Onceなどの複製回数に制限があるような予め記録された画像に対して、様々な画像処理を加えると言った加工処理を繰り返すことが可能となる。また、使用者は視覚的に複数の編集操作を認識することが可能となり、容易に思い通りの編集操作を実現させることが可能となる。

以下、図１，図２を参照して説明した画像処理装置２について詳細を説明する。

図４は、図１，図２の画像処理装置２に対応する画像処理装置１３の一実施の形態の構成を示した図である。

画像再生部１２は、図１，図２の記録メディア１に対応する記録メディア１１に予め所定の形式でエンコードされた状態で記録された画像をデコードし、順次画像として特徴量抽出部４１および遅延部４８に供給する。

特徴量抽出部４１は、画像再生部１２より順次供給されてくる画像の特徴量を抽出して、同期検出部４２、および蓄積ブロック４３の特徴量設定情報記録部６１に供給する。尚、特徴量抽出部４１の構成については、図５を参照して詳細を後述する。

リモートコントローラ１４は、キーやボタンなどから構成され、図１，図２で示されるように使用者が所望とする画像に対する処理の内容を指示するとき操作され、使用者の操作に応じて操作信号を発生すると供に、発生した操作信号に応じて赤外線などからなる発光パターンを生成し、画像処理装置１３の受光部４４に発光する。尚、リモートコントローラ１４については、図８を参照して、詳細を後述する。

受光部４４は、リモートコントローラ１４の発光パターンに基づいて、リモートコントローラ１４の操作信号に変換し、操作情報認識部４５に供給する。操作情報認識部４５は、受光部４４より供給されてくる操作信号に基づいて、使用者が所望とする画像への処理に対応付けられている操作情報を認識し、認識結果である操作信号を設定情報決定部４６に供給する。尚、蓄積ブロック４３は、リモートコントローラ１４からの操作情報に基づいて、オンまたはオフを制御することも可能であり、このため、操作情報認識部４５において、蓄積ブロック４３のオンまたはオフが制御される操作情報が認識された場合、操作情報認識部４５は、蓄積ブロック４３の動作をオンまたはオフに制御する。また、操作情報には、上述した操作信号に基づいて生成されるウィンドウを選択する操作も含まれているため、操作情報認識部４５は、ウィンドウを選択する操作である場合、その旨を通知する信号を発生し、選択部４７および表示画像生成部５０に供給する。

設定情報決定部４６は、操作情報認識部４５より供給されてくる操作情報に基づいて、後述する反映部４９に対して画像への処理内容を指示するための設定情報を決定し、特徴量設定情報記録部６１および選択部４７に供給する。設定情報決定部４６は、操作情報認識部４５より、上述した複数のウィンドウのうちの１つのウィンドウが選択され、同一の特徴量のタイミングで加えられる複数の処理のうちのいずれか１つが選択されたことを示す情報が供給された場合、選択されなかった処理に対応する設定情報を削除するように蓄積部４３の特徴量設定情報記録部６１に対して通知する。

蓄積ブロック４３の特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量と、設定情報決定部４６より供給されてくる設定情報とを対応付けて特徴量設定情報蓄積部６２（図１，図２の操作履歴格納部４に対応するもの）に蓄積させる。また、特徴量設定情報記録部６１は、上述した複数のウィンドウのうちの１つのウィンドウが選択され、同一の特徴量のタイミングで加えられる複数の処理のうちのいずれか１つが選択されたことにより、選択されなかった処理に対応する設定情報を削除するように通知された場合、対応する設定情報を特徴量設定情報蓄積部６２より削除する。

同期検出部４２は、特徴量設定情報蓄積部６２に蓄積されている特徴量（後述する検索位置特徴量）のうち、特徴量抽出部４１より供給されてくる画像再生部１２により再生されている画像の特徴量（後述する再生位置特徴量）を検索し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を特徴量設定情報読出部６３に供給する。尚、同期検出部４２の構成については、図７を参照して詳細を後述する。

特徴量設定情報読出部６３は、同期検出部４２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて、特徴量設定情報蓄積部６２に記憶されている設定情報を読み出し、選択部４７に供給する。同期位置として検出された特徴量に対応付けられた状態で、複数の設定情報が記憶されている場合、特徴量設定情報読出部６３は、その全ての設定情報を読み出す。すなわち、同一のタイミングで複数の処理が指定されて、操作履歴として残っている場合、特徴量設定情報読出部６３は、全ての設定情報を読み出して、選択部４７に供給する。

選択部４７は、設定情報決定部４６より設定情報が供給されてきた場合、仮に、同一のタイミングで特徴量設定情報読出部６３より設定情報が供給されることがあっても、設定情報決定部４６からの設定情報を反映部４９に供給する。また、選択部４７は、設定情報決定部４６より設定情報の供給がなく、特徴量設定情報読出部６３より設定情報が供給された場合、特徴量設定情報読出部６３より供給された設定情報を反映部４９に供給する。

操作情報認識部４５より画像に加える処理を最終的に決定したことが通知されてこない状態の場合、または、設定情報に、自らが最終的に決定されたことを示す情報が含まれていない場合、選択部４７は、設定情報決定部４６より設定情報が供給されてきているとき、設定情報を反映部４９に供給せず、表示画像生成部５０に供給する。さらに、選択部４７は、操作情報認識部４５より画像に加える処理を最終的に決定したことが通知されてきた場合、設定情報決定部４６からは、決定された処理に対応する設定情報のみが供給されてくるので、その設定情報を反映部４９に供給し、表示画像生成部５０に供給しない。

遅延部４８は、特徴量抽出部４１、同期検出部４２、蓄積ブロック４３、および、選択部４７の処理における遅延時間だけ、画像再生部１２より供給されてくる画像を一時的に記憶し、反映部４９に出力する。反映部４９は、選択部４７より設定情報が供給されてくる場合、遅延部４８より供給されてくる画像に対する処理を反映して、表示画像生成部５０に供給する。また、反映部４９は、選択部４７より設定情報が供給されてこない場合、遅延部４８より供給されてくる画像を、そのまま表示画像生成部５０に供給する。

表示画像生成部５０は、選択部４７より供給されてくる設定情報に基づいて、反映部４９より供給されてくる画像に対して、処理を加えて表示部１５に表示させる。具体的には、反映部４９より画像が供給され、選択部４７から何も供給されてこない場合、表示画像生成部５０は、反映部４９より供給される画像をそのまま表示部１５に表示させる。また、反映部４９より画像が供給され、選択部４７から設定情報が供給されてきた場合、表示画像生成部５０は、設定情報に含まれる、例えば、ズーム位置などの情報に基づいて、図３で示されるように、反映部４９からの画像にオーバーラップしてウィンドウを表示し、OSD（On Screen Display）形式の表示画面を生成して、表示部１５に表示させる。また、OSD形式の画像を表示する際、操作情報認識部４５よりウィンドウを選択する操作情報が供給されてきた場合、表示画像生成部５０は、選択されたウィンドウを識別できるようにOSD形式で表示する。

次に、図５を参照して、特徴量抽出部４１の詳細な構成について説明する。

DFF（D型フリップフロップ）８１は、直前の入力信号を記憶して、図示せぬクロック信号発生器からのクロック信号（clk）が入力されるタイミングで加算器８２に出力する。また、DFF８１は、入力信号が画像の信号のうち画像データ領域外のものであるとき、リセット信号が入力され入力信号が消去されて出力される。すなわち、画像信号は、図６で示されるように同期データ領域と画像データ領域から構成されているため、図中の水平方向のサンプルと垂直方向のラインの丸印の原点であるフレーム開始点Ｓから順次入力されてくる位置の情報に応じて、画像データ領域外の同期データの場合、リセット信号が入力され、同期データを構成する信号が、加算器８２に出力されない。つまり、DFF８１は、画像を構成する入力信号のうち、画像データ領域のデータのみをクロック信号に同期して加算器８２に供給する。

加算器８２は、DFF８１より供給されてくる信号と、DFF８３より供給されてくる信号とを加算してDFF８３に出力する。より詳細には、加算器８２は、DFF８１より供給されてくる信号と、DFF８３より供給されてくる信号との加算結果のうち、下位８ビットを抽出してDFF８３に供給する。

DFF８３は、加算器８２より供給されてくる信号を図示せぬクロック発生器より発生されるクロック信号（clk）が入力されるタイミングで加算器８２および出力部８４に供給する。また、DFF８３は、フレーム開始点（図中の水平方向のサンプルと垂直方向のラインの丸印の原点）Ｓの信号が入力される際、リセット信号が入力され入力信号が消去されて出力される。すなわち、DFF８３は、画像を構成する入力信号のうち、画像データ領域のデータのみが加算器８２により累積的に加算された値を出力部８４に供給する。

出力部８４は、1フレーム（または、1フィールド）の値がDFF８３より供給されてきたとき、その値をフレーム（または、そのフィールド）分の画像の特徴量として出力する。すなわち、出力部８４は、画像データ領域のデータのみが加算器８２により累積的に加算された値の下位８ビットをそのフレーム（または、そのフィールド）の特徴量として出力する。尚、特徴量は、画像を１フレーム単位で識別できる情報であればよいので、画像データ領域のデータのみ（画素値のみ）が累積的に加算された値の下位８ビットに限るものではなく、例えば、画像データ領域の中央近傍の所定領域内の画素値のみの加算結果をそのまま使用してもよい。

次に、図７を参照して、同期検出部４２の詳細な構成について説明する。

特徴量バッファ１０１−１乃至１０１−３は、供給されてきた特徴量を一時的に記憶すると供に、それまでに記憶していた特徴量を再生位置特徴量生成部１０２および後段の特徴量バッファ１０１−２，１０１−３に順次出力する。尚、特徴量バッファ１０１−３は、後段の特徴量バッファ１０１が存在しないため、再生位置特徴量生成部１０２にのみ出力する。再生位置特徴量生成部１０２は、特徴量バッファ１０１−１乃至１０１−３より供給されてくる最新の特徴量を含めた過去３フレーム分の特徴量を順次取得し、これを纏めて再生位置情報（再生位置特徴量）として生成し、比較部１０３に出力する。すなわち、再生位置特徴量生成部１０２は、再生位置を特定するための特徴量として最新のフレームから３フレーム前までの合計４個の特徴量を使用して、再生位置特徴量を生成する。

検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている特徴量を連続する４個ずつを順次読み出し、検索位置特徴量として比較部１０３および検出部１０５に供給する。比較部１０３は、再生位置特徴量生成部１０２より供給されてくる再生位置特徴量と、検索位置特徴量読出部１０４より順次供給されてくる検索位置特徴量とを比較する。比較部１０３は、再生位置特徴量と一致する検索位置特徴量を検索した場合、同期が検出されたとみなし、検出結果として同期が検出されたことを検出部１０５に通知する。検出部１０５は、比較部１０３より同期が検出されたとみなされたタイミングで、検索位置特徴量読出部１０４より供給されてきた検索位置特徴量を同期検出結果として出力する。

次に、図８を参照して、リモートコントローラ１４の詳細について説明する。

リモートコントローラ１４のボタン１２１は、蓄積ブロック４３のオンオフを切り替えるとき操作される。ボタン１２２は、決定ボタンであり、上述したウィンドウを操作することによりズーム位置、およびズーム倍率を決定するとき操作される。ボタン１２３，１２４は、選択ボタンであり、複数のウィンドウから１つのウィンドウを切り替えるとき、操作されるボタンである。ズームリング１２５は、図中の矢印ＡＢ方向に回転操作することができ、回転に応じたズーム倍率を設定することができる。ズーム位置スティック１２６は、スティック型の操作ポインタから構成されており、画像中でウィンドウの位置、すなわち、ズーム位置を移動させるとき操作される。

次に、図９，図１０を参照して、リモートコントローラ１４の操作に伴う具体的な処理内容について説明する。

リモートコントローラ１４により具体的には、図９で示されるように入力画像ＱＡに対して、ズーム処理が設定され、決定されず、編集中であると、ウィンドウＦ１（実線）が表示される。この状態において、ズーム位置スティック１２６が操作されることにより、操作に対応してウィンドウＦ１は移動し、例えば、ウィンドウＦ２（一点鎖線）に移動させることができる。また、ズームリング１２５が操作されると、ズーム倍率に対応してウィンドウＦ１の大きさが変更し、例えば、ウィンドウＦ３（点線）のように表示される。尚、各ウィンドウＦ１乃至Ｆ３には、中央位置が認識しやすいように、水平方向と垂直方向の中心位置に目盛りが付されている。

さらに、画像に加える処理を確定させるとき、ボタン１２２が操作されることにより、表示部１５には、図９の下段で示される画像ＱＣが表示されることになる。

以上の例においては、操作として加えられた処理の内容が１個であった場合、すなわち、ウィンドウが１個の場合について説明してきたが、例えば、複数の場合は、以下のような処理となる。

すなわち、図１０の中央の画像Ｐ１で示されるように、ウィンドウＲ１乃至Ｒ４（ウィンドウＲ１は実線、ウィンドウＲ２は点線、ウィンドウＲ３は１点鎖線、ウィンドウＲ４は２点鎖線）が表示されている場合、すなわち、４個の画像への処理が設定されていた場合、選択されているウィンドウは、太線で表示される。画像Ｐ１においては、ウィンドウＲ１が太線で示されている。また、各ウィンドウＲ１乃至Ｒ４には、記録１乃至４と表示されており、対応する操作に基づいた設定情報が設定されていることが示されている。

画像Ｐ１の状態において、ボタン１２３が操作されると、画像Ｐ２で示されるように、ウィンドウＲ２が太線で表示され、ウィンドウＲ２が選択されたことが示される。さらに、画像Ｐ２の状態において、ボタン１２３が操作されると、画像Ｐ３で示されるように、ウィンドウＲ３が太線で表示され、ウィンドウＲ３が選択されたことが示される。さらに、画像Ｐ３の状態において、ボタン１２３が操作されると、画像Ｐ４で示されるように、ウィンドウＲ４が太線で表示され、ウィンドウＲ４が選択されたことが示される。また、画像Ｐ４の状態において、ボタン１２３が操作されると、画像Ｐ１で示されるように、ウィンドウＲ１が太線で表示され、ウィンドウＲ１が選択されたことが示される。

画像Ｐ１の状態において、ボタン１２４が操作されると、画像Ｐ４で示されるように、ウィンドウＲ４が太線で表示され、ウィンドウＲ４が選択されたことが示される。さらに、画像Ｐ４の状態において、ボタン１２４が操作されると、画像Ｐ３で示されるように、ウィンドウＲ３が太線で表示され、ウィンドウＲ３が選択されたことが示される。また、画像Ｐ３の状態において、ボタン１２４が操作されると、画像Ｐ２で示されるように、ウィンドウＲ２が太線で表示され、ウィンドウＲ２が選択されたことが示される。さらに、画像Ｐ２の状態において、ボタン１２４が操作されると、画像Ｐ１で示されるように、ウィンドウＲ１が太線で表示され、ウィンドウＲ１が選択されたことが示される。

画像Ｐ１の状態において、ボタン１２２が操作されると、ウィンドウＲ１の設定情報に基づいて、画像Ｐ１がズーム画像として処理され、画像Ｐ５で示されるように表示される。

また、画像Ｐ１の状態において、ズームリング１２５およびズーム位置スティック１２６が操作されることによりウィンドウＲ１に対応する設定情報が操作されると、画像Ｐ６で示されるように、操作に対応してウィンドウＲ１からウィンドウＲ１’に変更されて表示される。

さらに、画像Ｐ６において、ウィンドウＲ１’が選択された状態で、ボタン１２２が操作されるとウィンドウＲ１’の設定情報が決定されて、ウィンドウＲ１’の設定情報に基づいて、画像Ｐ１が処理されて、画像Ｐ７で示されるように表示される。

以上の処理により、使用者は、自らが画像に対して処理を施そうとしているズーム位置とズーム倍率を視覚的に認識することができるので、編集結果としてイメージしている画像であるかを確認することが容易になるので、思い通りの編集操作を容易に実現させることが可能となる。

次に、図１１のフローチャートを参照して、図４の画像処理装置１３による画像処理について説明する。尚、以降の説明においては、リモートコントローラ１４のボタン１２１が操作されることにより、蓄積ブロック４３が、オンの状態に制御されていることが前提であるものとする。

ステップＳ１において、遅延部４８は新しい画像が画像再生部１２より供給されてきたか否かを判定し、新たな画像が供給されてくるまで、その処理を繰り返す。

例えば、画像再生部１２が記録メディア１１に記録されている画像を読み出し、遅延部４８が、新たな画像が供給されてきたと判定した場合、ステップＳ２において、遅延部４８は、供給されてきた画像を１フレーム分一時的に遅延させるために記憶する。尚、以降においては、画像を１フレーム単位で処理するものとして説明を進めるが、当然のことながら、画像は、１フレーム単位に限らず、例えば、１フィールド単位で処理するようにしても良い。

ステップＳ３において、特徴量抽出部４１は、特徴量抽出処理を実行し、画像再生部１２より供給されてきた１フレーム分の画像の特徴量を抽出する。すなわち、遅延部４８が、新たな画像を１フレーム分遅延させるために一時的に記憶するとき、同様に、１フレーム分の画像が特徴量抽出部４１にも供給されているため、同一のタイミングで、同一の画像が、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。

ここで、図１２のフローチャートを参照して、特徴量抽出処理について説明する。

ステップＳ３１において、DFF８３は、フレーム開始点Ｓ（図６）によりリセットされる。

ステップＳ３２において、未処理の画素が選択され、ステップＳ３３において、画像データ領域外であるか否かが判定される。より詳細には、例えば、ラスタスキャン順に１フレーム分の画像より未処理の画素が順次読み出され、画像データ領域外であるか否かが判定される。

図６で示されるように、最初の画素（フレーム開始点Ｓの画素）の場合、同期データに含まれるため画像データ領域外であるので、ステップＳ３５において、DFF８１はリセットされ、０を画素値として出力する。一方、ラスタスキャン順に処理対象となる画素が選択され、例えば、画像データ領域内である場合、ステップＳ３４において、DFF８１は、クロック信号の発生タイミングで画素値を加算器８２に供給する。

ステップＳ３６において、加算器８２は、入力された画素値と、DFF８３より供給されてくる信号とを加算してDFF８３に供給する。

ステップＳ３７において、DFF８３は、クロック信号の発生タイミングで加算器８２より供給されてきた加算結果の下位８ビットを加算器８２に戻す。このとき、DFF８３は、加算結果を出力部８４にも供給するが、出力部８４は、加算結果を出力しない。

ステップＳ３８において、未処理の画素があるか否かが判定され、未処理の画素がある場合、その処理は、ステップＳ３２に戻る。すなわち、１フレーム分の画素が全て処理されるまで、ステップＳ３２乃至Ｓ３８の処理が繰り返される。そして、１フレーム分の画素の全てが処理されたと判定された場合、ステップＳ３９において、出力部８４は、DFF８３より供給されてくる加算結果、すなわち、画像データ領域に属する画素値の累積加算結果の下位８ビットを１フレームの画像の特徴量として出力する。

以上の処理により、１フレーム分の画像信号より画像データ領域の全ての画素値の累積加算結果の下位８ビットが、そのフレームの特徴量として抽出されることになる。

ここで、図１１のフローチャートの説明に戻る。

ステップＳ４において、操作情報認識部４５は、リモートコントローラ１４が使用者により操作されて、画像の処理が指示されたか否かを判定する。例えば、表示部１５に表示されている画像を見ながら、使用者が、２倍のズーム処理を指示した場合、リモートコントローラ１４の発光パターンが受光部４４により受光され、受光部４４より受光した発光パターンに基づいた信号が、操作情報認識部４５に供給されることにより、操作情報認識部４５は、操作がなされたと判定し、その処理は、ステップＳ５に進む。

ステップＳ５において、操作情報認識部４５は、受光部４４より供給された信号に基づいて、操作情報を認識し、認識結果として設定情報決定部４６に供給する。設定情報決定部４６は、操作情報に基づいて、反映部４９に対しての画像に処理を施すための設定情報を決定し、特徴量設定情報記録部６１および選択部４７に供給する。すなわち、今の場合、２倍のズーム処理を画像に施すことが指示されているので、反映部４９に対して２倍のズーム処理を施す指示を出すための設定情報が決定されて、特徴量設定情報記録部６１および選択部４７に供給される。

ステップＳ６において、特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量を特徴量設定情報蓄積部６２に記録させると共に、その特徴量に対応付けて、設定情報決定部４６より供給されてくる設定情報を、特徴量設定情報蓄積部６２に記録させることで、特徴量と設定情報とを蓄積させる。より詳細には、図１３で示されるように、特徴量Ｃ１を所定のアドレスＡに記録させた場合、そのm倍のアドレス、すなわち、アドレスｍ×Ａに、特徴量Ｃ１に対応付けられた設定情報Ｅ１を記憶させる。尚、図１３においては、特徴量設定情報蓄積部６２の内部における特徴量と設定情報とが記憶されるアドレスの配置が示されている。

以降、特徴量設定情報記録部６１は、同様にして、特徴量Ｃ２をアドレスＢに記憶させるとき、対応する設定情報Ｅ２をｍ×Ｂに記憶させ、さらに、特徴量Ｃ３をアドレスＣに記憶させるとき、対応する設定情報Ｅ３をｍ×Ｃに記憶させる。このように特徴量に対応付けて設定情報を記憶させることにより、特徴量が決まれば、特徴量のアドレスから設定情報のアドレスが特定できるので、設定情報蓄積部６２内における特徴量毎の設定情報の検索をスムーズにすることが可能となる。尚、特徴量および設定情報は、同一の処理が連続して指定されている期間について連続して記録される。すなわち、例えば、図１３における特徴量Ｃ１乃至Ｃ３は、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の特徴量が連続的に記録されている。また、同様にして、設定情報についても、例えば、図１３における設定情報Ｅ１乃至Ｅ３は、特徴量Ｃ１乃至Ｃ３に対応付けられたアドレスから、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の設定情報が連続的に記録されている。

ステップＳ７において、同期検出部４２は、同期検出処理を実行して、再生中の画像の特徴量と、画像に処理を施すための設定情報が対応付けられている特徴量との同期を検出する。

ここで、図１４のフローチャートを参照して、同期検出処理について説明する。

ステップＳ４１において、同期検出部４２の再生位置特徴量生成部１０２は、特徴量抽出部４１より特徴量が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、ステップＳ３の特徴量抽出処理により特徴量が抽出されて、特徴量抽出部４１より今現在再生中の画像の特徴量が供給されてきた場合、その処理は、ステップＳ４２に進む。

ステップＳ４２において、検索位置特徴量読出部１０４は、検索位置の特徴量をカウントするためのカウンタｉを０に初期化する。

ステップＳ４３において、再生位置特徴量生成部１０２は、供給されてきた特徴量を取得すると供に、特徴量バッファ１０１−１乃至１０１−３にそれまで記憶していた特徴量を取得する。すなわち、特徴量バッファ１０１−１は、新たに特徴量が供給されてくると、それまでに記憶していた特徴量を、再生位置特徴量生成部１０２および特徴量バッファ１０１−２に供給する。同様に、特徴量バッファ１０１−２は、供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部１０２および特徴量バッファ１０１−３に供給する。さらに、特徴量バッファ１０１−３は、特徴量バッファ１０１−２より供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部１０２に供給する。結果として、再生位置特徴量生成部１０２には、最新のフレームの特徴量と、特徴量バッファ１０１−１乃至１０１−３にそれぞれ記憶されていた過去３フレーム分の特徴量が供給されてくることになる。そこで、再生位置特徴量生成部１０２は、再生中のフレームを含めた４フレーム分の特徴量を再生位置特徴量として比較部１０３に供給する。

ステップＳ４４において、検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている特徴量の先頭位置からｉ番目より連続する４フレームの特徴量を検索位置特徴量として読み出し比較部１０３および検出部１０５に供給する。

ステップＳ４５において、比較部１０３は、再生位置特徴量生成部１０２より供給されてきた再生中のフレームを含む過去３フレーム分の合計４個の特徴量からなる再生位置特徴量と、検索位置特徴量読出部１０４より供給されてきた、特徴量設定情報蓄積部６２に蓄積されている特徴量の先頭位置からｉ番目より連続する４フレームの特徴量からなる検索位置特徴量とを比較する。

ステップＳ４６において、比較部１０３は、比較結果に基づいて一致しているか否かを判定する。ステップＳ４６において、例えば、一致しないと判定された場合、ステップＳ４８において、検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている全ての特徴量について、再生位置特徴量と比較したか否かを判定する。例えば、ステップＳ４８において、全ての特徴量と比較していないと判定された場合、ステップＳ４９において、検索位置特徴量読出部１０４は、カウンタｉを１インクリメントし、その処理は、ステップＳ４４に戻る。すなわち、この処理により、再生位置特徴量と、検索位置特徴量が一致せず、かつ、蓄積されている全ての特徴量と比較されるまで、ステップＳ４４乃至Ｓ４６，Ｓ４８，Ｓ４９の処理が繰り返され、順次１フレーム間隔でずれながら、連続する４フレーム分の特徴量からなる検索位置特徴量と、再生位置特徴量との比較が繰り返される。

すなわち、検索位置特徴量とは、例えば、図１５の右上部で示されるように、特徴量抽出部４１より順次蓄積されている特徴量のうち、今の場合、連続する４個の特徴量の塊である。尚、図１５においては、図中の縦長の長方形状のマスは、１フレーム分の特徴量を示しており、斜線部のＧ１，Ｇ２は同一の連続する特徴量が配置されていることを示している。また、再生位置特徴量とは、図１５の右下部で示されているように、特徴量抽出部４１より供給されてくる再生中の特徴量を含めた連続する４フレーム分の特徴量の塊である。

例えば、図１５で示されるように再生位置特徴量Ｇ２で示されるような場合、検索位置特徴量Ｇ０と比較する場合、同一ではないので、同期位置としては検出されない。さらに、蓄積されている全ての特徴量との比較がされていないので、カウンタｉが１インクリメントされて、検索位置特徴量Ｇ０’と再生位置特徴量Ｇ２とが比較される。このように、検索位置特徴量が図中の右方向に１フレーム間隔でずれながら、再生位置特徴量Ｇ２との比較が繰り返される。

ステップＳ４６において、例えば、再生位置特徴量Ｇ２と検索位置特徴量Ｇ１とが比較されるような場合、検索位置特徴量Ｇ１が再生位置特徴量Ｇ２と同一の構成となっているため、一致したと判定され、ステップＳ４７において、比較部１０３は、一致したことを検出部１０５に通知する。検出部１０５は、この通知に基づいて、今現在検索位置特徴量読出部１０４より供給されている検索位置特徴量の先頭位置、すなわち、先頭位置からｉ番目の特徴量を同期位置情報として特徴量設定情報読出部６３に供給する。

一方、ステップＳ４８において、蓄積されている全ての検索位置特徴量との比較が終了したと判定された場合、ステップＳ５０において、検出部１０５は、再生位置特徴量と一致する検索位置特徴量が存在せず、同期しないことを出力する。

以上の処理により、特徴量設定情報蓄積部６２に蓄積されている特徴量と、再生中の画像の特徴量とを同期させることが可能となる。すなわち、同期検出部４２は、再生中のフレームの特徴量のみを、特徴量設定情報蓄積部６２に蓄積されている特徴量と比較することで、偶然に特徴量が一致してしまうことで、間違った位置で同期が検出される可能性を低減させるために、現在再生されているフレームの特徴量のみではなく、再生されているフレームを含む過去３フレーム分の４フレームで比較することにより正確に同期検出を実施している。また、このように特徴量を使用することにより、各フレーム単位でのタイムコードの代わりに特徴量を設定することが可能となり、タイムコードを使用することなく、フレーム単位での同期検出を行うことが可能となる。

ここで、図１１のフローチャートの説明に戻る。

ステップＳ８において、特徴量設定情報読出部６２は、同期位置情報に基づいて、対応付けて特徴量設定情報蓄積部６２に蓄積されている全ての設定情報を読み出し選択部４７に供給する。

ステップＳ９において、選択部４７は、特徴量設定情報読出部６２より供給されてきた設定情報を表示画像生成部５０に供給する。より詳細には、この時点で、設定情報には自らが決定されていることを示す情報、すなわち、編集中ではないことを示す情報が含まれておらず、また、操作情報認識部４５からもいずれかの設定情報を決定する情報が供給されてこないため、選択部４７は、特徴量設定情報読出部６２より供給されてきた設定情報を、反映部４９にではなく、表示画像生成部５０に供給する。

ステップＳ１０において、表示画像生成部５０は、選択部４７より供給されてきた設定情報に基づいて、処理を示す画像を生成する。すなわち、例えば、設定情報が４個送られてきた場合、図１０の画像Ｐ１で示されるように、ウィンドウＲ１乃至Ｒ４を生成する。

ステップＳ１１において、反映部４９は、選択部４７より設定情報が送られてこないので遅延部４８に記憶されている画像をそのまま表示画像生成部５０に供給する。

ステップＳ１２において、表示画像生成部５０は、反映部４９より供給されてくる画像に、ステップＳ９の処理で生成したウィンドウをOSD形式で合成して表示画像を生成し、表示部１５に表示させる。すなわち、例えば、遅延部４８に図１０の画像Ｐ１で示される星の画像が供給されてきた場合、画像Ｐ１にウィンドウＲ１乃至Ｒ４をOSD形式の表示画像とするように合成し、表示部１５に表示させる。

ステップＳ１３において、画像処理の終了が指示されたか否かが判定され、終了が指示された場合、その処理は、終了する。一方、終了が指示されていない場合、その処理は、ステップＳ１に戻る。

一方、ステップＳ４において、操作されたと判定された場合、その処理は、ステップＳ１４に進み、同期検出部４２は、同期検出処理を実行し、同期位置情報を特徴量設定情報読出部６３に供給する。尚、同期検出処理については、図１４のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。

ステップＳ１５において、特徴量設定情報読出部６３は、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。例えば、図１４のフローチャートのステップＳ４７の処理により同期位置情報が供給されてきた場合、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されていることになるので、その処理は、ステップＳ１６に進む。

ステップＳ１６において、特徴量設定情報読出部６３は、同期した特徴量に対応付けられた設定情報が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。すなわち、特徴量は、設定情報がない状態でも特徴量設定情報蓄積部６２に蓄積することが可能であるので、この処理により、特徴量に対応付けられた設定情報の有無が判定される。

ステップＳ１６において、例えば、特徴量に対応付けられた設定情報が蓄積されていないと判定された場合、ステップＳ１７において、特徴量設定情報読出部６３は、選択部４７に対して設定情報を供給しない。この処理により、選択部４７は、設定情報決定部４６および特徴量設定情報読出部６３のいずれからも設定情報の供給がない状態となるため、反映部４９に対して処理を指定する設定情報が供給されないことになる。また、選択部４７は、表示画像生成部５０に対しても設定情報を供給しないことになる。

結果として、ステップＳ１８において、表示画像生成部５０には、反映部４９より遅延部４８に一時的に記憶された１フレーム分の画像が、そのままの状態で供給されることになり、さらに、ウィンドウも生成されないので、遅延部４８に一時的に記憶された１フレーム分の画像が、そのままの状態で表示部１５に表示させる。

一方、ステップＳ１６において、例えば、特徴量に対応付けられた設定情報が蓄積されていると判定された場合、ステップＳ１９において、特徴量設定情報読出部６３は、特徴量設定情報蓄積部６２より、同期位置情報の特徴量に対応付けて蓄積されている設定情報を読み出し選択部４７に供給する。

ステップＳ２０において、選択部４７は、編集中であるか、すなわち、設定情報を決定する処理がなされているか否かを判定する。より具体的には、選択部４７は、設定情報に含まれている決定が指示されたことを示す情報、すなわち、編集中ではないことを示す情報が含まれているか否かを判定する。ステップＳ２０において、設定情報に決定が指示されたことを示す情報、すなわち、編集中ではないと判定された場合、その処理は、ステップＳ２１に進む。

ステップＳ２１において、選択部４７は、特徴量設定情報読出部６３より供給されてきた、決定が指示されている設定情報を反映部４９に供給する。

ステップＳ２２において、反映部４９は、遅延部４８に記憶されている画像に対して、選択部４７より供給されてきた設定情報に基づいて、処理を加えて、使用者からの指示内容に応じた処理を反映させて、表示画像生成部５０に供給する。

ステップＳ２３において、表示画像生成部５０は、選択部４７より設定情報が供給されてきていないので、反映部４９より供給されてきた画像を、そのまま表示部１５に表示させる。

すなわち、決定が指示されている設定情報については、遅延部４８により遅延されていた画像が反映部４９により、設定情報に基づいた処理が反映された画像が、表示部１５に表示される。

ステップＳ２０において、編集中である、すなわち、設定情報に決定を指示する情報が含まれていない場合、ステップＳ２４において、選択部４７は、操作情報認識部４５よりいずれかの設定情報を決定する操作情報が供給されてきたか否かを判定し、供給されてきていない場合、その処理は、ステップＳ９に進む。すなわち、OSD形式の画像が表示されることになる。

一方、ステップＳ２４において、いずれかの設定情報を決定する操作情報が供給されてきた場合、ステップＳ２５において、設定情報決定部４６は、決定された操作情報に基づいて、決定が指示された設定情報を残し、それ以外の設定情報を削除するように特徴量設定情報記録部６１に指示する。特徴量設定情報記録部６１は、特徴量設定情報蓄積部６２に、その時点のタイミングの特徴量に対応付けられて蓄積されている設定情報のうち、決定が指示された設定情報を残し、それ以外の設定情報を削除する。そして、処理は、ステップＳ２１に進む。

以上の処理により、図１６で示されるような処理が可能となる。

すなわち、図１６における状態Ａで示される最初の状態で、記録メディア１１に記録されたビデオが時刻ｔ０乃至ｔ１で再生されるとき、時刻ｔ１１乃至ｔ１２のタイミングでリモートコントローラ１４が操作されて、ステップＳ１乃至Ｓ１３の処理が繰り返されてズーム処理が指示されると、操作中の時刻Ｔ０において、図１６の状態Ａで示される右図の画像Ｐ１１で示されるように、時刻ｔ１１乃至ｔ１２の操作により指示されたズーム処理を示す設定情報に対応付けられたウィンドウＲ１１（実線）が入力された画像に対してオーバーラップするようにOSD形式の表示画像が生成されて表示部１５に表示される。

その後、時刻ｔ１乃至ｔ２のタイミングで早送りされ、時刻ｔ２乃至ｔ３で再生中の時刻ｔ１３乃至ｔ１４において、リモートコントローラ１４が操作されるものとする。

この処理の後、時刻ｔ３において、時刻ｔ２１まで巻き戻しが指示され、図１６の状態Ｂで示される状態において、その後、時刻ｔ２１乃至ｔ２２まで再生されるとき、時刻ｔ１１乃至ｔ１２において、状態Ａでリモートコントローラ１４により指示された設定情報が同期して読み出されるため、時刻Ｔ１において、図中の右部の画像Ｐ１２で示されるように、ウィンドウＲ１１が表示される。さらに、時刻ｔ３１乃至ｔ３２の期間でリモートコントローラ１４が操作されて、ステップＳ１乃至Ｓ１３の処理が繰り返されてズーム処理が指示されると、設定情報が蓄積されることにより、ウィンドウＲ１２（点線）が表示される。

この処理の後、時刻ｔ２２において、時刻ｔ４１まで巻き戻しが指示され、図１６の状態Ｃで示される状態において、その後、時刻ｔ４１乃至ｔ４２まで再生されるとき、時刻ｔ５１乃至ｔ５２において、リモートコントローラ１４により指示された設定情報が同期して読み出されるが、時刻Ｔ２においては、ウィンドウＲ１２は、時刻ｔ４１乃至ｔ４３までの表示であるため、表示がなく、図中の右部の画像Ｐ１３で示されるように、ウィンドウＲ１１が表示される。さらに、時刻ｔ５１乃至ｔ５２の期間でリモートコントローラ１４が操作されて、ステップＳ１乃至Ｓ１３の処理が繰り返されてズーム処理が指示されると、設定情報が蓄積されることにより、ウィンドウＲ１３（一点鎖線）が表示される。

その後、時刻ｔ４２において、時刻ｔ１まで巻き戻され、図１６の状態Ｄで示される状態において、時刻ｔ１乃至ｔ３でビデオの全体が再生される場合、一切リモートコントローラ１４による操作がないとき、ステップＳ１乃至４，Ｓ１４乃至Ｓ１６，Ｓ１９，Ｓ２０，Ｓ２４，Ｓ９乃至Ｓ１３の処理が繰り返されて、時刻ｔ６１乃至ｔ６２において、状態Ａのｔ２１乃至ｔ２２の期間で、リモートコントローラ１４により指示された設定情報が同期して読み出されるため、時刻Ｔ３において、図中の右部の画像Ｐ１４で示されるように、ウィンドウＲ１１（実線）が表示される。また、時刻ｔ７１乃至ｔ７２において、状態Ｂのｔ３１乃至ｔ３２の期間で、リモートコントローラ１４により指示された設定情報が同期して読み出されるため、時刻Ｔ３において、図中の右部の画像Ｐ１４で示されるように、ウィンドウＲ１２（点線）が表示される。さらに、時刻ｔ８１乃至ｔ８２において、状態Ｃのｔ４１乃至ｔ４２の期間で、リモートコントローラ１４により指示された設定情報が同期して読み出されるため、時刻Ｔ３において、図中の右部の画像Ｐ１４で示されるように、ウィンドウＲ１３（一点鎖線）が表示される。また、時刻ｔ６３乃至ｔ６４において、状態Ａのｔ１３乃至ｔ１４の期間で、リモートコントローラ１４により指示された設定情報が同期して読み出される。尚、時刻Ｔ３においては、時刻ｔ６３乃至ｔ６４の期間は含まれないので、図中の右部の画像Ｐ１４には表示されていない。

状態Ｄの後、リモートコントローラ１４が操作されて、例えば、ウィンドウＲ１２が選択されると、ステップＳ１乃至４，Ｓ１４乃至Ｓ１６，Ｓ１９，Ｓ２０，Ｓ２４，Ｓ２５，Ｓ２２，Ｓ２３の処理が繰り返されて、図１６の状態Ｅで示される状態において、時刻ｔ１まで巻き戻され、時刻ｔ１乃至ｔ３でビデオの全体が再生されると、その後の時刻ｔ６１乃至ｔ７１の期間で、状態Ａの時刻ｔ１１乃至ｔ１２において、リモートコントローラ１４により指示された設定情報が同期して読み出され、時刻ｔ７１乃至ｔ７２の期間では、状態Ａの時刻ｔ１１乃至ｔ１２において指示された設定情報ではなく（図中の斜線部）、状態Ｂの時刻ｔ３１乃至ｔ３２において、リモートコントローラ１４により指示された設定情報が同期して読み出され、時刻ｔ７２乃至ｔ６２の期間で、状態Ａの時刻ｔ１１乃至１２において、リモートコントローラ１４により指示された設定情報が同期して読み出される。

したがって、時刻Ｔ３においては、状態Ｅの図中の右部の画像Ｐ１５で示されるように、ウィンドウＲ１２がズーム処理された画像が表示部１５に表示される。

尚、図１６においては、状態Ａにおいて、上段が１順目のビデオの再生タイミングを示しており、下段が、リモートコントローラ１４の操作タイミングを示している。また、図１６の状態Ｂにおいては、上段が2順目のビデオの再生タイミングを示しており、中段が、状態Ａにおけるリモートコントローラ１４の操作に基づいて設定された設定情報が同期されて反映されるタイミングを示しており、下段が、リモートコントローラ１４の操作タイミングを示している。さらに、図１６の状態Ｃにおいては、上段が３順目のビデオの再生タイミングを示しており、上から２段目が、状態Ａにおけるリモートコントローラ１４の操作に基づいて設定された設定情報が同期されて反映されるタイミングを示しており、上から３段目が、状態Ｂにおけるリモートコントローラ１４の操作に基づいて設定された設定情報が同期されて反映されるタイミングを示しており、下段が、リモートコントローラ１４の操作タイミングを示している。また、図１６の状態Ｄにおいては、上段が４順目のビデオの再生タイミングを示しており、上から２段目が、状態Ａにおけるリモートコントローラ１４の操作に基づいて設定された設定情報が同期されて反映されるタイミングを示しており、上から３段目が、状態Ｂにおけるリモートコントローラ１４の操作に基づいて設定された設定情報が同期されて反映されるタイミングを示しており、上から４段目が、状態Ｃにおけるリモートコントローラ１４の操作に基づいて設定された設定情報が同期されて反映されるタイミングを示している。さらに、図１６の状態Ｅにおいては、状態Ｄで決定操作がなされた後の処理であって、上段が５順目のビデオの再生タイミングを示しており、上から２段目が、状態Ａにおけるリモートコントローラ１４の操作に基づいて設定された設定情報が同期されて反映されるタイミングを示しており、上から３段目が、状態Ｂにおけるリモートコントローラ１４の操作に基づいて設定された設定情報が同期されて反映されるタイミングを示している。

以上によれば、画像に対して加える複数の処理について、同一の画像内でウィンドウとして表示することにより、複数の処理を同時に認識することが可能となり、それらの比較を視覚的に容易にすることができるので、使用者の思い通りの編集を容易に実現させるようにすることが可能となる。

尚、特徴量は、以上においては、１フレーム分の画像信号中の画像データ領域の画素値の積算値を用いる例について説明してきたが、それ以外の特徴量であってもよく、例えば、動きベクトル（全画面動きとローカル動き）、特定の波形パターンがどれだけ出現するかを示す値、縮小画像における画素値の積算値、画像の特定部分の画素値の積算値、これらを複数フレーム分用いた値、または、これらの複数の特徴量の組み合わせなどであってもよい。

また、設定情報については、ズーム倍率を例にして説明してきたが、それ以外の情報であってもよく、例えば、ズーム位置（中心位置）、もしくはズーム位置とズーム倍率との組み合わせなどのズームパラメータ、明るさ、コントラスト、ガンマ補正、DRC（Digital Reality Creation）パレット値（解像度設定値、およびノイズ設定値）などの画質設定パラメータ、または、音量、音声切替（使用言語の切り替え）などの音声パラメータなどを用いるようにしてもよい。

さらに、以上においては、ズーム位置とズーム倍率を示す設定情報を示す例としてウィンドウを表示させる例について説明してきたが、設定情報を画像内で視覚的に表示できればよいので、その他の画像への処理については、処理内容がわかるオブジェクトを画像内に表示するようにしてもよい。

以上のごとく、本発明の一側面の画像処理装置および方法、並びにプログラムによれば、画像より特徴量を抽出し、前記画像に対して処理を加えるための設定情報を設定し、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録し、前記データ記録媒体の特徴量と、抽出された特徴量とを同期し、前記データ記録媒体の特徴量と、抽出した特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報を読み出し、読み出した設定情報に基づいて、前記画像に対して処理を反映し、前記画像に対して処理が反映された画像に、読み出した設定情報を示すオブジェクトを合成して表示画像を生成し、読み出した設定情報を、前記画像を反映させるため、または、前記表示画像を生成させるためかのいずれかに使用されるように選択的に供給するようにした。

結果として、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して所定の処理を加えて再現するための所定の処理の編集を容易にすることが可能となる。また、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して所定の処理を加えて再現するための所定の処理の編集を視覚的に認識し易くすることが可能となり、結果として編集を容易にすることが可能となる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。

図１７は、図４の画像処理装置１３の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１００１は、パーソナルコンピュータの全体の動作を制御する。また、CPU１００１は、バス１００４および入出力インタフェース１００５を介してユーザからキーボードやマウスなどからなる入力部１００６から指令が入力されると、それに対応してROM(Read Only Memory)１００２に格納されているプログラムを実行する。あるいはまた、CPU１００１は、ドライブ１０１０に接続された磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリを含むリムーバルディスク１０２１から読み出され、記憶部１００８にインストールされたプログラムを、RAM(Random Access Memory)１００３にロードして実行する。これにより、上述した図４の画像処理装置１３の機能が、ソフトウェアにより実現されている。さらに、CPU１００１は、通信部１００９を制御して、外部と通信し、データの授受を実行する。

プログラムが記録されている記録媒体は、図１７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク（MD（Mini-Disc）を含む）、もしくは半導体メモリを含むリムーバルメディア１０２１などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１００２や、記憶部１００８に含まれるハードディスクなどで構成される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明の画像処理装置の概念を説明するための図である。 本発明の画像処理装置の概念を説明するための図である。 本発明の画像処理装置の概念を説明するための図である。 本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。 図４の特徴量抽出部の構成例を示すブロック図である。 画像信号の構成例を説明する図である。 図４の同期検出部の構成例を示すブロック図である。 図４のリモートコントローラの構成例を示す図である。 図４のリモートコントローラの操作内容を説明する図である。 図４のリモートコントローラの操作を説明する図である。 図４の画像処理装置による画像処理を説明するフローチャートである。 図１１の特徴量抽出処理を説明するフローチャートである。 図１２の特徴量抽出処理を説明する図である。 図１１の同期検出処理を説明するフローチャートである。 図１４の同期検出処理を説明する図である。 図４の画像処理装置による画像処理により実現される動作を説明する図である。 媒体を説明する図である。

符号の説明

１１ 記録メディア， １２ 画像再生部， １３ 画像処理装置， １４ リモートコントローラ， １５ 表示部， ４１ 特徴量抽出部， ４２ 同期検出部， ４３ 蓄積ブロック， ４４ 受光部， ４５ 操作情報認識部， ４６ 設定情報決定部， ５４７ 選択部， ４８ 遅延部， ４９ 反映部， ５０ 表示画像生成部

Claims (7)

1. 画像より特徴量を抽出する特徴量抽出手段と、
   前記画像に対して処理を加えるための設定情報を設定する設定手段と、
   前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録手段と、
   前記データ記録媒体の特徴量と、前記特徴量抽出手段により抽出された特徴量とを同期させる同期手段と、
   前記同期手段により前記データ記録媒体の特徴量と、前記特徴量抽出手段により抽出された特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報を読み出す読出手段と、
   前記読出手段により読み出された設定情報に基づいて、前記画像に対して処理を反映させる反映手段と、
   前記反映手段により前記画像に対して処理が反映された画像を表示する表示画像、または、そのままの前記画像に前記読出手段により読み出された設定情報を示すオブジェクトを合成した表示画像を生成する表示画像生成手段と、
   前記読出手段により読み出された設定情報を、前記反映手段、または、前記表示画像生成手段に選択的に供給する選択手段とを含み、
   前記選択手段により前記反映手段に選択的に設定情報が供給されるとき、前記反映手段は、前記画像に対して処理を反映させ、前記表示画像生成手段は、前記反映手段により前記画像に対して処理が反映された画像からなる表示画像を生成し、
   前記選択手段により前記表示画像生成手段に選択的に設定情報が供給されるとき、前記表示画像生成手段は、そのままの前記画像に、前記選択手段により選択的に供給された設定情報を示すオブジェクトを合成して表示画像を生成し、
   前記設定情報は、自身が編集中の情報であるか否かを示す情報を含み、
   前記設定情報に編集中であることを示す情報が含まれている場合、前記反映手段は、前記画像をそのまま前記表示画像生成手段に供給し、前記表示画像生成手段は、前記反映手段より供給された画像に、前記読出手段により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成し、
   または、
   前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択手段は、前記読出手段により読み出された設定情報を前記反映手段にのみ選択的に供給し、前記反映手段は、前記読出手段により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成手段は、前記反映手段により前記画像に対して処理が反映された画像を表示画像とする
   画像処理装置。
2. 前記特徴量抽出手段は、前記画像を構成する所定領域の画素の画素値の加算値を特徴量として抽出する
   請求項１に記載の画像処理装置。
3. 前記画像に対する処理を指定するための操作をする操作手段をさらに含み、
   前記設定手段は、前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定し、
   前記記録手段は、前記画像の特徴量に対応付けて前記操作内容を前記データ記録媒体に記録する
   請求項１に記載の画像処理装置。
4. 前記同期手段は、
   前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段と、
   前記特徴量抽出手段により抽出された特徴量と前記検索位置特徴量とを順次比較する比較手段とを含み、
   前記比較結果が一致した場合、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記特徴量抽出手段により抽出された特徴量とが同期したものとみなす
   請求項１に記載の画像処理装置。
5. 画像より特徴量を抽出する特徴量抽出ステップと、
   前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
   前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップと、
   前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とを同期させる同期ステップと、
   前記同期ステップの処理により前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、
   前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させる反映ステップと、
   前記反映ステップの処理により前記画像に対して処理が反映された画像を表示する表示画像、または、そのままの前記画像に前記読出ステップの処理により読み出された設定情報を示すオブジェクトを合成した表示画像を生成する表示画像生成ステップと、
   前記読出ステップの処理により読み出された設定情報を、前記反映ステップの処理、または、前記表示画像生成ステップの処理に使用できるように選択的に供給する選択ステップとを含み、
   前記選択ステップの処理により前記反映ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記反映ステップの処理は、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像からなる表示画像を生成し、
   前記選択ステップの処理により前記表示画像生成ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記表示画像生成ステップの処理は、そのままの前記画像に、前記選択ステップの処理により選択的に供給された設定情報を示すオブジェクトを合成して表示画像を生成し、
   前記設定情報は、自身が編集中の情報であるか否かを示す情報を含み、
   前記設定情報に編集中であることを示す情報が含まれている場合、前記反映ステップの処理は、前記画像をそのまま前記表示画像生成ステップの処理で使用するために供給し、前記表示画像生成ステップの処理は、前記反映ステップの処理で供給された画像に、前記読出ステップの処理により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成し、
   または、
   前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択ステップの処理は、前記読出ステップの処理により読み出された設定情報を前記反映ステップの処理でのみ選択的に供給し、前記反映ステップの処理は、前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像を表示画像とする
   画像処理方法。
6. 画像より特徴量を抽出する特徴量抽出ステップと、
   前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
   前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップと、
   前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とを同期させる同期ステップと、
   前記同期ステップの処理により前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、
   前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させる反映ステップと、
   前記反映ステップの処理により前記画像に対して処理が反映された画像を表示する表示画像、または、そのままの前記画像に前記読出ステップの処理により読み出された設定情報を示すオブジェクトを合成した表示画像を生成する表示画像生成ステップと、
   前記読出ステップの処理により読み出された設定情報を、前記反映ステップの処理、または、前記表示画像生成ステップの処理に使用できるように選択的に供給する選択ステップとを含む処理をコンピュータに実行させ、
   前記選択ステップの処理により前記反映ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記反映ステップの処理は、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像からなる表示画像を生成し、
   前記選択ステップの処理により前記表示画像生成ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記表示画像生成ステップの処理は、そのままの前記画像に、前記選択ステップの処理により選択的に供給された設定情報を示すオブジェクトを合成して表示画像を生成し、
   前記設定情報は、自身が編集中の情報であるか否かを示す情報を含み、
   前記設定情報に編集中であることを示す情報が含まれている場合、前記反映ステップの処理は、前記画像をそのまま前記表示画像生成ステップの処理で使用するために供給し、前記表示画像生成ステップの処理は、前記反映ステップの処理で供給された画像に、前記読出ステップの処理により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成し、
   または、
   前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択ステップの処理は、前記読出ステップの処理により読み出された設定情報を前記反映ステップの処理でのみ選択的に供給し、前記反映ステップの処理は、前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像を表示画像とする
   コンピュータが読み取り可能なプログラムが記録されているプログラム記録媒体。
7. 画像より特徴量を抽出する特徴量抽出ステップと、
   前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
   前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップと、
   前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とを同期させる同期ステップと、
   前記同期ステップの処理により前記データ記録媒体の特徴量と、前記特徴量抽出ステップの処理により抽出された特徴量とが同期した場合、前記データ記録媒体より、同期した前記特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、
   前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させる反映ステップと、
   前記反映ステップの処理により前記画像に対して処理が反映された画像を表示する表示画像、または、そのままの前記画像に前記読出ステップの処理により読み出された設定情報を示すオブジェクトを合成した表示画像を生成する表示画像生成ステップと、
   前記読出ステップの処理により読み出された設定情報を、前記反映ステップの処理、または、前記表示画像生成ステップの処理に使用できるように選択的に供給する選択ステップとを含む処理をコンピュータに実行させ、
   前記選択ステップの処理により前記反映ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記反映ステップの処理は、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像からなる表示画像を生成し、
   前記選択ステップの処理により前記表示画像生成ステップの処理で使用できるように選択的に設定情報が供給されるとき、前記表示画像生成ステップの処理は、そのままの前記画像に、前記選択ステップの処理により選択的に供給された設定情報を示すオブジェクトを合成して表示画像を生成し、
   前記設定情報は、自身が編集中の情報であるか否かを示す情報を含み、
   前記設定情報に編集中であることを示す情報が含まれている場合、前記反映ステップの処理は、前記画像をそのまま前記表示画像生成ステップの処理で使用するために供給し、前記表示画像生成ステップの処理は、前記反映ステップの処理で供給された画像に、前記読出ステップの処理により読み出された設定情報により処理を施す範囲を示すウィンドウをオブジェクトとして合成し表示画像を生成し、
   または、
   前記設定情報に編集中であることを示す情報が含まれていない場合、前記選択ステップの処理は、前記読出ステップの処理により読み出された設定情報を前記反映ステップの処理でのみ選択的に供給し、前記反映ステップの処理は、前記読出ステップの処理により読み出された設定情報に基づいて、前記画像に対して処理を反映させ、前記表示画像生成ステップの処理は、前記反映ステップの処理により前記画像に対して処理が反映された画像を表示画像とする
   プログラム。

Images