JP2007300477A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】オリジナルの画像データに処理を加えることなく、画像を再生させる度に画像に対して正確に所定の処理を加えて再現する。
【解決手段】特徴量抽出部４１は、画像より特徴量を抽出する。設定情報決定部４６は、その画像に対して処理を加えるための設定情報を設定する。特徴量設定情報記録部６１は、画像の特徴量に対応付けて設定情報を特徴量設定情報蓄積部６２に記録する。特徴量抽出部４１は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する。同期検出部４２は、特徴量設定情報蓄積部６２の特徴量と、再生位置特徴量とを同期させる。特徴量設定情報読出部６３は、特徴量設定情報蓄積部６２より、同期した再生位置特徴量に対応付けて記録されている設定情報を読み出す。反映部４８は、読み出された設定情報に基づいて、再生位置の画像に対して処理を反映させる。本発明は、画像記録再生装置に適用することができる。
【選択図】図３

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、画像を再生させるたびに、所定の処理を加えた画像を再現できるようにした画像処理装置および方法、並びにプログラムに関する。

画像を手軽に処理するための技術が普及しつつある。

従来、ビデオカメラなどで撮像された画像を編集するには、オリジナルの画像データを再生させながら、各種の処理を加える操作を実行し、処理結果となる画像を別の記録媒体に記録させるといったリニア編集が主流であった。

また、上述のようなリニア編集の場合、オリジナルの画像データがCOPY ONCEのとき、一度VTR（Video Tape Recorder）に記録したものを再生し、さらに編集した映像については記録できないという問題があった。

そこで、画像を編集させるための処理を指示する操作を記憶させる方法が提案されている（特許文献１参照）。

特開２００３−２０２９４４号公報

しかしながら、リニア編集の場合、画像と、その画像の時間を示すタイムコードとを同時に通信することでタイムコードに合わせて編集することができるが、民生用のVTRなどではタイムコードはVTR内部にあり、タイムコードを外部に伝えることは事実上できない状態であり、画像と、画像を編集させるための処理を指示する操作とを同期させることができないため、操作を単に記憶させるようにしても、正確に画像の再生に同期しつつ、画像に処理を加えて表示させることは困難であった。

本発明はこのような状況に鑑みてなされたものであり、特に、オリジナルの画像データに処理を加えることなく、画像を再生させるたびに画像に対して正確に所定の処理を加えて再現できるようにするものである。

本発明の一側面の画像処理装置は、画像から特徴量を抽出する特徴量抽出手段と、前記画像に対して処理を加えるための複数の設定項目のうち、指定された設定項目が変化するように、複数の前記設定項目から構成される設定情報を設定する設定手段と、前記設定情報を前記画像の特徴量に対応付けて記録する記録手段とを備える。

前記特徴量抽出手段には、前記画像を構成する所定領域の画素の画素値の加算値を特徴量として抽出させることができる。

画像処理装置には、前記画像から抽出された特徴量と、前記記録手段に記録されている特徴量とを同期させる同期手段と、前記記録手段から、前記画像から抽出された特徴量と同期された特徴量に対応付けられている前記設定情報を読み出す読み出し手段とをさらに設け、前記設定手段には、読み出された前記設定情報が設定し直されて記録される場合、読み出された前記設定情報を構成する複数の設定項目のうち、指定された設定項目だけが変化するように前記設定情報を設定させることができる。

画像処理装置には、前記設定手段により設定された設定情報に基づいて、その設定情報により示される処理を前記画像に対して反映させ、処理が反映された画像を表示させる反映手段をさらに設けることができる。

本発明の一側面の画像処理方法またはプログラムは、画像から特徴量を抽出し、前記画像に対して処理を加えるための複数の設定項目のうち、指定された設定項目が変化するように、複数の前記設定項目から構成される設定情報を設定し、前記設定情報を前記画像の特徴量に対応付けて記録するステップを含む。

本発明の一側面においては、画像から特徴量が抽出され、前記画像に対して処理を加えるための複数の設定項目のうち、指定された設定項目が変化するように、複数の前記設定項目から構成される設定情報が設定され、前記設定情報が前記画像の特徴量に対応付けられて記録される。

本発明の一側面によれば、所定の情報を記録することができる。特に、本発明の一側面によれば、オリジナルの画像データに処理を加えることなく、画像を再生させるたびに画像に対して正確に所定の処理を加えて再現することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、画像から特徴量を抽出する特徴量抽出手段（例えば、図３の特徴量抽出部４１）と、前記画像に対して処理を加えるための複数の設定項目のうち、指定された設定項目が変化するように、複数の前記設定項目から構成される設定情報を設定する設定手段（例えば、図３の設定情報決定部４６）と、前記設定情報を前記画像の特徴量に対応付けて記録する記録手段（例えば、図３の特徴量設定情報蓄積部６２）とを備える。

前記特徴量抽出手段には、前記画像を構成する所定領域の画素の画素値の加算値を特徴量として抽出させる（例えば、図１６のステップＳ８３の処理）ことができる。

画像処理装置には、前記画像から抽出された特徴量と、前記記録手段に記録されている特徴量とを同期させる同期手段（例えば、図３の同期検出部４２）と、前記記録手段から、前記画像から抽出された特徴量と同期された特徴量に対応付けられている前記設定情報を読み出す読み出し手段（例えば、図３の特徴量設定情報読出部６３）とをさらに設け、前記設定手段には、読み出された前記設定情報が設定し直されて記録される場合、読み出された前記設定情報を構成する複数の設定項目のうち、指定された設定項目だけが変化するように前記設定情報を設定させる（例えば、図１７のステップＳ１２３の処理）ことができる。

前記設定手段により設定された設定情報に基づいて、その設定情報により示される処理を前記画像に対して反映させ、処理が反映された画像を表示させる反映手段（例えば、図３の反映部４８）をさらに設けることができる。

本発明の一側面の画像処理方法またはプログラムは、画像から特徴量を抽出し（例えば、図１６のステップＳ８３）、前記画像に対して処理を加えるための複数の設定項目のうち、指定された設定項目が変化するように、複数の前記設定項目から構成される設定情報を設定し（例えば、図１７のステップＳ１２３）、前記設定情報を前記画像の特徴量に対応付けて記録する（例えば、図１７のステップＳ１２４）ステップを含む。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

まず、図１，図２を参照して、本発明を適用した画像処理装置の概念について説明する。本発明を適用した画像処理装置は、予め記録された画像に対して、使用者により指示された処理を施し表示する。このとき、画像処理装置は、画像の特徴量を抽出して、特徴量に対応付けて処理内容の情報を蓄積させる。さらに、画像処理装置は、予め記録された画像を再生するとき、この蓄積された処理内容の情報を読み出して、画像に処理を施し表示する。

より具体的には、画像処理装置２の動作は、大きく分けて編集モードと再生モードとの２つのモードからなる。

編集モードでは、図１で示されるように、画像処理装置２は、例えば、DVD（Digital Versatile Disc）などの動画像を含むコンテンツが予め記録されている記録メディア１からDVDプレーヤなどにより再生される画像を表示部３に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への処理として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置２は、操作内容に対応する設定情報を生成すると供に、設定情報に対応付けられた処理を画像に施して表示部３に表示させる。さらに、画像処理装置２は、画像より特徴量を抽出し、抽出した特徴量に対応付けて設定情報を操作履歴格納部４に蓄積させる。

次に、再生モードでは、図２で示されるように、画像処理装置２は、動画像を含むコンテンツが予め記録されている記録メディア１からDVDプレーヤなどにより再生される画像を読み出すと供に、特徴量を抽出する。このとき、画像処理装置２は、操作履歴格納部４に特徴量に対応付けられて記録されている設定情報を、記録メディア１から読み出した画像の特徴量に同期して読み出すと供に、読み出した設定情報に基づいて、画像に処理を施し、表示部３に表示させる。

以上のような動作により、画像処理装置２は、予め記録された画像に対する処理内容のみを蓄積して、処理結果である画像を記録することなく、処理結果である画像を繰り返し再生できるようにすることができる。結果として、Copy Onceなどの複製回数に制限があるような予め記録された画像に対して、様々な画像処理を加えると言った加工処理を繰り返すことが可能となる。

以下、図１，図２を参照して説明した画像処理装置２について詳細を説明する。

図３は、図１，図２の画像処理装置２に対応する画像処理装置１３の一実施の形態の構成を示した図である。

画像再生部１２は、図１，図２の記録メディア１に対応する記録メディア１１に予め所定の形式でエンコードされた状態で記録された画像をデコードし、順次画像として特徴量抽出部４１および遅延部４７に供給する。

特徴量抽出部４１は、画像再生部１２より順次供給されてくる画像の特徴量を抽出して、同期検出部４２、および蓄積ブロック４３の特徴量設定情報記録部６１に供給する。尚、特徴量抽出部４１の構成については、図４を参照して詳細を後述する。

リモートコントローラ１４は、キーやボタンなどから構成され、図１，図２で示されるように使用者が所望とする画像に対する処理の内容を指示するとき操作され、使用者の操作に応じて操作信号を発生すると供に、発生した操作信号に応じて赤外線などからなる発光パターンを生成し、画像処理装置１３の受光部４４に発光する。

受光部４４は、リモートコントローラ１４からの光をその発光パターンに基づいて、リモートコントローラ１４の操作信号に変換し、操作情報認識部４５に供給する。操作情報認識部４５は、受光部４４より供給されてくる操作信号に基づいて、使用者が所望とする画像への処理に対応付けられている操作情報を認識し、認識結果である操作信号を設定情報決定部４６に供給する。尚、蓄積ブロック４３は、リモートコントローラ１４からの操作情報に基づいて、オンまたはオフを制御することも可能であり、このため、操作情報認識部４５において、蓄積ブロック４３のオンまたはオフが制御される操作情報が認識された場合、操作情報認識部４５は、蓄積ブロック４３の動作をオンまたはオフに制御する。

設定情報決定部４６は、操作情報認識部４５より供給されてくる操作情報に基づいて、後述する反映部４８に対して画像への処理内容を指示するための設定情報を決定し、特徴量設定情報記録部６１および反映部４８に供給する。

ここで、設定情報は、画像への処理内容を示す複数の設定項目から構成される。すなわち、設定情報は、例えば、ズーム倍率を示す設定項目、ズームの中心位置を示す設定項目、明るさを示す設定項目などの複数の設定項目から構成されている。また、その他、コントラスト、ガンマ補正、DRC（Digital Reality Creation）パレット値（解像度設定値、およびノイズ設定値）、音量、音声切替（使用言語の切り替え）などを設定項目とすることができる。

また、設定情報決定部４６は、特徴量設定情報読出部６３より設定情報が供給された場合、特徴量設定情報読出部６３より供給された設定情報を反映部４８に供給する。

蓄積ブロック４３の特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量と、設定情報決定部４６より供給されてくる設定情報とを対応付けて特徴量設定情報蓄積部６２（図１，図２の操作履歴格納部４に対応するもの）に蓄積させる。

同期検出部４２は、特徴量設定情報蓄積部６２に蓄積されている特徴量（後述する検索位置特徴量）のうち、特徴量抽出部４１より供給されてくる画像再生部１２により再生されている画像の特徴量（後述する再生位置特徴量）を検索し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を特徴量設定情報読出部６３に供給する。尚、同期検出部４２の構成については、図６を参照して詳細を後述する。

特徴量設定情報読出部６３は、同期検出部４２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて、特徴量設定情報蓄積部６２に記録されている設定情報を読み出し、設定情報決定部４６に供給する。

遅延部４７は、特徴量抽出部４１、同期検出部４２、蓄積ブロック４３、および設定情報決定部４６の処理における遅延時間だけ、画像再生部１２より供給されてくる画像を一時的に記憶し、反映部４８に出力する。反映部４８は、設定情報決定部４６より設定情報が供給されてくる場合、遅延部４７より供給されてくる画像に対する処理を反映して、表示部１５に表示する。また、反映部４８は、設定情報決定部４６より設定情報が供給されてこない場合、遅延部より供給されてくる画像を、そのまま表示部１５に表示させる。

次に、図４を参照して、特徴量抽出部４１の詳細な構成について説明する。

DFF（Ｄ型フリップフロップ）１０１は、直前の入力信号を記憶して、図示せぬクロック信号発生器からのクロック信号（clk）が入力されるタイミングで加算器１０２に出力する。また、DFF１０１は、入力信号が画像の信号のうち画像データ領域外のものであるとき、リセット信号が入力され入力信号が消去されて出力される。すなわち、画像信号は、図５で示されるように同期データ領域と画像データ領域から構成されているため、図中の水平方向のサンプルと垂直方向のラインの丸印の原点であるフレーム開始点Ｓから順次入力されてくる位置の情報に応じて、画像データ領域外の同期データの場合、リセット信号が入力され、同期データを構成する信号が、加算器１０２に出力されない。つまり、DFF１０１は、画像を構成する入力信号のうち、画像データ領域のデータのみをクロック信号に同期して加算器１０２に供給する。

加算器１０２は、DFF１０１より供給されてくる信号と、DFF１０３より供給されてくる信号とを加算してDFF１０３に出力する。より詳細には、加算器１０２は、DFF１０１より供給されてくる信号と、DFF１０３より供給されてくる信号との加算結果のうち、下位８ビットを抽出してDFF１０３に供給する。

DFF１０３は、加算器１０２より供給されてくる信号を図示せぬクロック発生器より発生されるクロック信号（clk）が入力されるタイミングで加算器１０２および出力部１０４に供給する。また、DFF１０３は、フレーム開始点（図中の水平方向のサンプルと垂直方向のラインの丸印の原点）Ｓの信号が入力される際、リセット信号が入力され入力信号が消去されて出力される。すなわち、DFF１０３は、画像を構成する入力信号のうち、画像データ領域のデータのみが加算器１０２により累積的に加算された値を出力部１０４に供給する。

出力部１０４は、１フレーム（または、１フィールド）の値がDFF１０３より供給されてきたとき、その値をフレーム（または、そのフィールド）分の画像の特徴量として出力する。すなわち、出力部１０４は、画像データ領域のデータのみが加算器１０２により累積的に加算された値の下位８ビットをそのフレーム（または、そのフィールド）の特徴量として出力する。尚、特徴量は、画像を１フレーム単位で識別できる情報であればよいので、画像データ領域のデータのみ（画素値のみ）が累積的に加算された値の下位８ビットに限るものではなく、例えば、画像データ領域の中央近傍の所定領域内の画素値のみの加算結果をそのまま使用してもよい。

次に、図６を参照して、同期検出部４２の詳細な構成について説明する。

特徴量バッファ１４１−１乃至特徴量バッファ１４１―３は、供給されてきた特徴量を一時的に記憶すると供に、それまでに記憶していた特徴量を再生位置特徴量生成部１４２および後段の特徴量バッファ１４１−２，特徴量バッファ１４１―３に順次出力する。尚、特徴量バッファ１４１−３は、後段の特徴量バッファ１４１が存在しないため、再生位置特徴量生成部１４２にのみ出力する。再生位置特徴量生成部１４２は、特徴量バッファ１４１−１乃至特徴量バッファ１４１−３より供給されてくる最新の特徴量を含めた過去３フレーム分の特徴量を順次取得し、これを纏めて再生位置情報（再生位置特徴量）として生成し、比較部１４３に出力する。すなわち、再生位置特徴量生成部１４２は、再生位置を特定するための特徴量として最新のフレームから３フレーム前までの合計４個の特徴量を使用して、再生位置特徴量を生成する。

検索位置特徴量読出部１４４は、特徴量設定情報蓄積部６２に蓄積されている特徴量を連続する４個ずつ順次読み出し、検索位置特徴量として比較部１４３および検出部１４５に供給する。比較部１４３は、再生位置特徴量生成部１４２より供給されてくる再生位置特徴量と、検索位置特徴量読出部１４４より順次供給されてくる検索位置特徴量とを比較する。比較部１４３は、再生位置特徴量と一致する検索位置特徴量を検索した場合、同期が検出されたとみなし、検出結果として同期が検出されたことを検出部１４５に通知する。検出部１４５は、比較部１４３より同期が検出されたとみなされたタイミングで、検索位置特徴量読出部１４４より供給されてきた検索位置特徴量を同期検出結果として出力する。

次に、図７のフローチャートを参照して、図３の画像処理装置１３による画像処理について説明する。尚、以降の説明においては、蓄積ブロック４３は、オンの状態に制御されていることが前提である。

ステップＳ１において、遅延部４７は新しい画像が画像再生部１２より供給されてきたか否かを判定し、新たな画像が供給されてくるまで、その処理を繰り返す。

例えば、画像再生部１２が記録メディア１１に記録されている画像を読み出し、遅延部４７が、新たな画像が供給されてきたと判定した場合、ステップＳ２において、遅延部４７は、供給されてきた画像を１フレーム分一時的に遅延させるために記憶する。尚、以降においては、画像を１フレーム単位で処理するものとして説明を進めるが、当然のことながら、画像は、１フレーム単位に限らず、例えば、１フィールド単位で処理するようにしても良い。

ステップＳ３において、特徴量抽出部４１は、特徴量抽出処理を実行し、画像再生部１２より供給されてきた１フレーム分の画像の特徴量を抽出する。すなわち、遅延部４７が、新たな画像を１フレーム分遅延させるために一時的に記憶するとき、同様に、１フレーム分の画像が特徴量抽出部４１にも供給されているため、同一のタイミングで、同一の画像が、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。

ここで、図８のフローチャートを参照して、特徴量抽出処理について説明する。

ステップＳ２１において、DFF１０３は、フレーム開始点Ｓ（図５）によりリセットされる。

ステップＳ２２において、未処理の画素が選択され、ステップＳ２３において、画像データ領域外であるか否かが判定される。より詳細には、例えば、ラスタスキャン順に１フレーム分の画像より未処理の画素が順次読み出され、画像データ領域外であるか否かが判定される。

図５で示されるように、最初の画素（フレーム開始点Ｓの画素）の場合、同期データに含まれるため画像データ領域外であるので、ステップＳ２５において、DFF１０１はリセットされ、０を画素値として出力する。一方、ラスタスキャン順に処理対象となる画素が選択され、例えば、画像データ領域内である場合、ステップＳ２４において、DFF１０１は、クロック信号の発生タイミングで画素値を加算器１０２に供給する。

ステップＳ２６において、加算器１０２は、入力された画素値と、DFF１０３より供給されてくる信号とを加算してDFF１０３に供給する。

ステップＳ２７において、DFF１０３は、クロック信号の発生タイミングで加算器１０２より供給されてきた加算結果の下位８ビットを加算器１０２に戻す。このとき、DFF１０３は、加算結果を出力部１０４にも供給するが、出力部１０４は、加算結果を出力しない。

ステップＳ２８において、未処理の画素があるか否かが判定され、未処理の画素がある場合、その処理は、ステップＳ２２に戻る。すなわち、１フレーム分の画素が全て処理されるまで、ステップＳ２２の処理乃至ステップＳ２８の処理が繰り返される。そして、１フレーム分の画素の全てが処理されたと判定された場合、ステップＳ２９において、出力部１０４は、DFF１０３より供給されてくる加算結果、すなわち、画像データ領域に属する画素値の累積加算結果の下位８ビットを１フレームの画像の特徴量として出力する。

以上の処理により、１フレーム分の画像信号より画像データ領域の全ての画素値の累積加算結果の下位８ビットが、そのフレームの特徴量として抽出されることになる。

ここで、図７のフローチャートの説明に戻る。

ステップＳ４において、操作情報認識部４５は、リモートコントローラ１４が使用者により操作されて、画像の処理が指示されたか否かを判定する。例えば、表示部１５に表示されている画像を見ながら、使用者が、２倍のズーム処理を指示した場合、リモートコントローラ１４の発光パターンが受光部４４により受光され、受光部４４より受光した発光パターンに基づいた信号が、操作情報認識部４５に供給されることにより、操作情報認識部４５は、操作がなされたと判定し、その処理は、ステップＳ５に進む。

ステップＳ５において、操作情報認識部４５は、受光部４４より供給された信号に基づいて、操作情報を認識し、認識結果として設定情報決定部４６に供給する。設定情報決定部４６は、操作情報に基づいて、反映部４８に対しての画像に処理を施すための設定情報を決定し、特徴量設定情報記録部６１および反映部４８に供給する。すなわち、今の場合、２倍のズーム処理を画像に施すことが指示されているので、反映部４８に対して２倍のズーム処理を施す指示を出すための設定項目が変更されるように設定情報が設定されて、特徴量設定情報記録部６１および反映部４８に供給される。

ステップＳ６において、特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量を特徴量設定情報蓄積部６２に記録させると共に、その特徴量に対応付けて、設定情報決定部４６より供給されてくる設定情報を、特徴量設定情報蓄積部６２に記録させることで、特徴量と設定情報とを蓄積させる。より詳細には、図９で示されるように、特徴量Ｃ１を所定のアドレスＡに記録させた場合、そのｍ倍のアドレス、すなわち、アドレスｍ×Ａに、特徴量Ｃ１に対応付けられた設定情報Ｅ１を記録させる。尚、図９においては、特徴量設定情報蓄積部６２の内部における特徴量と設定情報とが記録されるアドレスの配置が示されている。

以降、特徴量設定情報記録部６１は、同様にして、特徴量Ｃ２をアドレスＢに記録させるとき、対応する設定情報Ｅ２をｍ×Ｂに記録させ、さらに、特徴量Ｃ３をアドレスＣに記録させるとき、対応する設定情報Ｅ３をｍ×Ｃに記録させる。このように特徴量に対応付けて設定情報を記録させることにより、特徴量が決まれば、特徴量のアドレスから設定情報のアドレスが特定できるので、特徴量設定情報蓄積部６２内における特徴量毎の設定情報の検索をスムーズにすることが可能となる。尚、特徴量および設定情報は、同一の処理が連続して指定されている期間について連続して記録される。すなわち、例えば、図９における特徴量Ｃ１乃至特徴量Ｃ３は、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の特徴量が連続的に記録されている。また、同様にして、設定情報についても、例えば、図９における設定情報Ｅ１乃至設定情報Ｅ３は、特徴量Ｃ１乃至特徴量Ｃ３に対応付けられたアドレスから、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の設定情報が連続的に記録されている。

ステップＳ７において、反映部４８は、遅延部４７に記憶されている画像に対して、設定情報決定部４６より供給されてきた設定情報に基づいて、処理を加えて、使用者からの指示内容に応じた処理を反映させて表示部１５に表示させる。

ステップＳ８において、操作情報認識部４５は、動作の終了が指示されたか否かを判定し、終了が指示されたと判定された場合、処理を終了する。一方、動作の終了が指示されていないと判定された場合、処理は、ステップＳ１に戻る。

すなわち、使用者によりリモートコントローラ１４が操作されて、画像に対して処理を施す指示が出され続けている限り、ステップＳ１の処理乃至ステップＳ８の処理が繰り返されて、特徴量と共に、特徴量に対応付けられて、処理内容に伴った設定情報が特徴量設定情報蓄積部６２に蓄積されていく。このステップＳ１の処理乃至ステップＳ８の処理が繰り返される動作状態が、図１，図２を参照して説明した編集モードに対応する動作である。

一方、ステップＳ４において、操作されていないと判定された場合、その処理は、ステップＳ９に進み、同期検出部４２は、同期検出処理を実行して、再生中の画像の特徴量と、画像に処理を施すための設定情報が対応付けられている特徴量との同期を検出する。

ここで、図１０のフローチャートを参照して、同期検出処理について説明する。

ステップＳ４１において、同期検出部４２の再生位置特徴量生成部１４２は、特徴量抽出部４１より特徴量が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、ステップＳ３の特徴量抽出処理により特徴量が抽出されて、特徴量抽出部４１より今現在再生中の画像の特徴量が供給されてきた場合、その処理は、ステップＳ４２に進む。

ステップＳ４２において、検索位置特徴量読出部１４４は、検索位置の特徴量をカウントするためのカウンタｉを０に初期化する。

ステップＳ４３において、再生位置特徴量生成部１４２は、供給されてきた特徴量を取得すると供に、特徴量バッファ１４１−１乃至特徴量バッファ１４１−３にそれまで記憶していた特徴量を取得する。すなわち、特徴量バッファ１４１−１は、新たに特徴量が供給されてくると、それまでに記憶していた特徴量を、再生位置特徴量生成部１４２および特徴量バッファ１４１−２に供給する。同様に、特徴量バッファ１４１−２は、供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部１４２および特徴量バッファ１４１−３に供給する。さらに、特徴量バッファ１４１−３は、特徴量バッファ１４１−２より供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部１４２に供給する。結果として、再生位置特徴量生成部１４２には、最新のフレームの特徴量と、特徴量バッファ１４１−１乃至特徴量バッファ１４１−３にそれぞれ記憶されていた過去３フレーム分の特徴量が供給されてくることになる。そこで、再生位置特徴量生成部１４２は、再生中のフレームを含めた４フレーム分の特徴量を再生位置特徴量として比較部１４３に供給する。

ステップＳ４４において、検索位置特徴量読出部１４４は、特徴量設定情報蓄積部６２に蓄積されている特徴量の最後の位置からｉ番目より連続する４フレームの特徴量を検索位置特徴量として読み出し比較部１４３および検出部１４５に供給する。

ステップＳ４５において、比較部１４３は、再生位置特徴量生成部１４２より供給されてきた再生中のフレームを含む過去３フレーム分の合計４個の特徴量からなる再生位置特徴量と、検索位置特徴量読出部１４４より供給されてきた、特徴量設定情報蓄積部６２に蓄積されている特徴量の最後の位置からｉ番目より連続する４フレームの特徴量、すなわち最後の位置からｉ番目乃至（ｉ−３）番目の特徴量からなる検索位置特徴量とを比較する。

ステップＳ４６において、比較部１４３は、比較結果に基づいて一致しているか否かを判定する。ステップＳ４６において、例えば、一致しないと判定された場合、ステップＳ４８において、検索位置特徴量読出部１４４は、特徴量設定情報蓄積部６２に蓄積されている全ての特徴量について、再生位置特徴量と比較したか否かを判定する。例えば、ステップＳ４８において、全ての特徴量と比較していないと判定された場合、ステップＳ４９において、検索位置特徴量読出部１４４は、カウンタｉを１インクリメントし、その処理は、ステップＳ４４に戻る。すなわち、この処理により、再生位置特徴量と、検索位置特徴量が一致せず、かつ、蓄積されている全ての特徴量と比較されるまで、ステップＳ４４乃至Ｓ４６，Ｓ４８，Ｓ４９の処理が繰り返され、順次１フレーム間隔でずれながら、連続する４フレーム分の特徴量からなる検索位置特徴量と、再生位置特徴量との比較が繰り返される。

すなわち、検索位置特徴量とは、例えば、図１１の右上部で示されるように、特徴量抽出部４１より順次蓄積されている特徴量のうち、今の場合、連続する４個の特徴量の塊である。尚、図１１においては、図中の縦長の長方形状のマスは、１フレーム分の特徴量を示しており、図中、左端の長方形状のマスは、特徴量設定情報蓄積部６２の先頭の位置に蓄積されている特徴量を示している。そして、図中、右端の長方形状のマスは、特徴量設定情報蓄積部６２の最後の位置に蓄積されている特徴量、すなわち、最後に蓄積された特徴量を示している。

斜線部のＧ１，Ｇ２は同一の連続する特徴量が配置されていることを示している。また、再生位置特徴量とは、図１１の右下部で示されているように、特徴量抽出部４１より供給されてくる再生中の特徴量を含めた連続する４フレーム分の特徴量の塊である。

例えば、図１１で示されるように再生位置特徴量Ｇ２で示されるような場合、検索位置特徴量Ｇ０と比較するとき、同一ではないので、同期位置としては検出されない。さらに、蓄積されている全ての特徴量との比較がされていないので、カウンタｉが１インクリメントされて、検索位置特徴量Ｇ０'と再生位置特徴量Ｇ２とが比較される。このように、検索位置特徴量が図中の左方向に１フレーム間隔でずれながら、再生位置特徴量Ｇ２との比較が繰り返される。

ステップＳ４６において、例えば、再生位置特徴量Ｇ２と検索位置特徴量Ｇ１とが比較されるような場合、検索位置特徴量Ｇ１が再生位置特徴量Ｇ２と同一の構成となっているため、一致したと判定され、ステップＳ４７において、比較部１４３は、一致したことを検出部１４５に通知する。検出部１４５は、この通知に基づいて、今現在検索位置特徴量読出部１４４より供給されている検索位置特徴量の先頭位置、すなわち、最後の位置からｉ番目の特徴量を同期位置情報として特徴量設定情報読出部６３に供給する。

一方、ステップＳ４８において、蓄積されている全ての検索位置特徴量との比較が終了したと判定された場合、ステップＳ５０において、検出部１４５は、再生位置特徴量と一致する検索位置特徴量が存在せず、同期しないことを示す信号を出力する。

以上の処理により、特徴量設定情報蓄積部６２に蓄積されている特徴量と、再生中の画像の特徴量とを同期させることが可能となる。すなわち、同期検出部４２は、再生中のフレームの特徴量のみを、特徴量設定情報蓄積部６２に蓄積されている特徴量と比較することで偶然に特徴量が一致してしまい、間違った位置で同期が検出される可能性を低減させるために、現在再生されているフレームの特徴量のみではなく、再生されているフレームを含む過去３フレーム分の４フレームで比較することにより正確に同期検出を実施している。また、このように特徴量を使用することにより、各フレーム単位でのタイムコードの代わりに特徴量を設定することが可能となり、タイムコードを使用することなく、フレーム単位での同期検出を行うことが可能となる。

ここで、図７のフローチャートの説明に戻る。

ステップＳ１０において、特徴量設定情報読出部６３は、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。すなわち、特徴量設定情報読出部６３は、再生中のフレームの再生位置特徴量と同期する特徴量が蓄積されているか否かを判定する。ステップＳ１０において、同期する特徴量が蓄積されていないと判定された場合、ステップＳ１２に進む。

また、例えば、図１０のフローチャートのステップＳ４７の処理により同期位置情報が供給されてきた場合、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されていることになるので、その処理は、ステップＳ１１に進む。

ステップＳ１１において、特徴量設定情報読出部６３は、同期した特徴量に対応付けられた設定情報が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。すなわち、特徴量は、設定情報がない状態でも特徴量設定情報蓄積部６２に蓄積することが可能であるので、この処理により、特徴量に対応付けられた設定情報の有無が判定される。

ステップＳ１１において、例えば、特徴量に対応付けられた設定情報が蓄積されていないと判定された場合、またはステップＳ１０において同期する特徴量が蓄積されていないと判定された場合、ステップＳ１２において、特徴量設定情報読出部６３は、設定情報決定部４６に対して設定情報を供給しない。この処理により、設定情報決定部４６は、特徴量設定情報読出部６３から設定情報の供給がない状態となるため、反映部４８に対して処理を指定する設定情報が供給されないことになる。結果として、反映部４８は、遅延部４７に一時的に記憶された１フレーム分の画像を、そのままの状態で表示部１５に表示させる。

一方、ステップＳ１１において、例えば、特徴量に対応付けられた設定情報が蓄積されていると判定された場合、ステップＳ１３において、特徴量設定情報読出部６３は、特徴量設定情報蓄積部６２より、同期位置情報の特徴量に対応付けて蓄積されている設定情報を読み出して設定情報決定部４６に供給し、その処理は、ステップＳ７に進む。すなわち、今の場合、設定情報決定部４６には、特徴量設定情報読出部６３から設定情報が供給されるため、特徴量設定情報読出部６３からの設定情報が反映部４８に供給され、その設定情報に基づいて遅延部４７に蓄積されていた１フレーム分の画像に処理が反映されて、表示部１５に表示される。

尚、ステップＳ１乃至Ｓ４、ステップＳ９乃至Ｓ１３、およびステップＳ７，Ｓ８の処理が、図１，図２を参照して説明した再生モードに対応する処理である。

以上の処理により、使用者がリモートコントローラ１４を操作して、予め記録されている画像を再生する際、再生されている画像に施す処理を指示すると、指示を受けた画像の特徴量に対応付けて、処理内容を示す設定情報が蓄積される。また、特徴量に対応付けて設定情報が記録されることにより、予め記録されている画像を再生する際、再生している画像の特徴量により、フレーム単位のタイムコードのように特徴量を使用することで、蓄積されている特徴量との同期を取ることが可能となり、同期した特徴量に対応付けられた設定情報により、再生している画像に処理が反映される。

結果として、タイムコードなどを用いることなく、蓄積された設定情報に基づいた編集処理を画像に反映させることが可能となる。また、記録されるのは特徴量と設定情報のみであり、予め記録されている画像が一切記録されることが無いため、例えば、Copy Onceなどの制限が設けられている画像であっても、編集処理を施した状態で繰り返し再生させることが可能となる。

特徴量は、以上においては、１フレーム分の画像信号中の画像データ領域の画素値の積算値を用いる例について説明してきたが、それ以外の特徴量であってもよく、例えば、動きベクトル（全画面動きとローカル動き）、特定の波形パターンがどれだけ出現するかを示す値、縮小画像における画素値の積算値、画像の特定部分の画素値の積算値、これらを複数フレーム分用いた値、または、これらの複数の特徴量の組み合わせなどであってもよい。

ところで、使用者が画像処理装置１３により再生されている画像を編集する場合に、使用者が複数の設定項目を同時に変更させるようにリモートコントローラ１４を操作することは困難である。

例えば、使用者が画像のズームの中心位置およびズーム倍率を変化させたい場合、ズームの中心位置を示す設定項目と、ズーム倍率を示す設定項目とは互いに関連がある設定項目であるので、それらの設定項目を同時に変化させることが望ましい。

また、設定情報を構成する互いに関連のある設定項目としては、例えば、コントラスト、ブライトネス、および色の濃さなどがある。これらの３つの設定項目は互いに密接に関係しているため、１つの設定項目が調整されると、それにともなって他の２つの設定項目も調整される必要があり、いわゆる黒つぶれや白浮きなどが起こらないようにそれらの値が調整される。

しかしながら、複数の設定項目を同時に変化させるように使用者がリモートコントローラ１４を操作することは困難であるため、通常は、使用者は画像の編集を複数回行う。例えば、使用者が、画像のズームの中心位置およびズーム倍率を変化させたい場合、図１２に示すように、使用者は、各時刻においてどちらか一方だけを変化させるようにリモートコントローラ１４を操作する。

尚、図中、縦軸は、設定項目の値、すなわちズーム倍率およびズームの中心位置を示しており、横軸は時間を示している。また、曲線Ｋ１１は、設定項目としてのズーム倍率の時間的な変化を示しており、曲線Ｋ１２は、設定項目としてのズームの中心位置の時間的な変化を示している。

時刻ｔ１から時刻ｔ２までの期間において、ズーム倍率だけが変化するように使用者がリモートコントローラ１４を操作すると、設定項目としての画像のズーム倍率は、曲線Ｋ１１に示されるように使用者の操作に応じて変化する。これに対して、ズームの中心位置は、その値が変化するように使用者によりリモートコントローラ１４が操作されていないので、曲線Ｋ１２に示されるように予め定められた値、すなわち編集前の値となっている。

そして、使用者が時刻ｔ２において、リモートコントローラ１４の操作を中断し、その後時刻ｔ３において、ズームの中心位置が変化するように再びリモートコントローラ１４を操作すると、設定項目としての画像のズームの中心位置は、曲線Ｋ１２に示されるように使用者の操作に応じて変化する。これに対して、ズーム倍率は、時刻ｔ２以後、その値が変化するように使用者によりリモートコントローラ１４が操作されていないので、曲線Ｋ１１に示されるように、時刻ｔ２において最後に指定された値のままとされる。

以上のようにして設定された、設定項目としてのズーム倍率およびズームの中心位置を含む設定情報が特徴量と対応付けられて特徴量設定情報蓄積部６２に蓄積される。その後、使用者により再生が指示されると、画像処理装置１３は、特徴量設定情報蓄積部６２から設定情報を読み出して再生する画像にその設定情報により示される処理を反映させる。

そして、画像の再生中に、使用者がリモートコントローラ１４を操作して、さらに画像の編集を指示すると、例えば、図１３に示すように、特徴量設定情報蓄積部６２に蓄積されていた設定情報が使用者の操作に応じて書き換えられる。

尚、図中、縦軸は、ズーム倍率およびズームの中心位置を示しており、横軸は時間を示している。また、曲線Ｋ２１は、設定項目としてのズーム倍率の時間的な変化を示しており、曲線Ｋ２２は、設定項目としてのズームの中心位置の時間的な変化を示している。さらに、点線で示される曲線Ｋ１１は、特徴量設定情報蓄積部６２に蓄積されている設定情報の設定項目としてのズーム倍率の時間的な変化を示しており、曲線Ｋ１２は、特徴量設定情報蓄積部６２に蓄積されている設定情報の設定項目としてのズームの中心位置の時間的な変化を示している。

時刻ｔ１から時刻ｔ２１までの期間において、曲線Ｋ１１および曲線Ｋ１２により示される設定項目の値に基づいて画像が再生された後、時刻ｔ２１において、ズーム倍率が変化するように使用者がリモートコントローラ１４を操作すると、時刻ｔ２１以降、設定項目としての画像のズーム倍率は、曲線Ｋ２１に示されるように使用者の操作に応じて変化する。これに対して、時刻ｔ２１以降、画像の編集、すなわち設定項目としてのズーム倍率の変更が指示されているが、ズームの中心位置の値は、その値が変化するように使用者によりリモートコントローラ１４が操作されていないので、時刻ｔ２１における値が使用者により変更するように指示された値であるとされて、曲線Ｋ２２に示されるように時刻ｔ２１における値のままとされる。

すなわち、時刻ｔ１から時刻ｔ２１までの期間においては、特徴量設定情報読出部６３により特徴量設定情報蓄積部６２から設定情報が読み出されて設定情報決定部４６に供給され、反映部４８により、設定情報決定部４６からの設定情報に基づいて、設定情報により示される編集内容が画像に反映されて、編集された画像が表示部１５に表示される。

そして、時刻ｔ２１において、ズーム倍率が変化するように使用者がリモートコントローラ１４を操作すると、設定情報決定部４６は、特徴量設定情報読出部６３から最後に供給された設定情報の設定項目のうち、ズーム倍率を示す設定項目が、使用者による操作に応じた値となるように設定情報を設定して、その設定された設定情報を特徴量設定情報記録部６１に供給して特徴量設定情報蓄積部６２に蓄積させる。このとき、設定情報の設定項目のうち、ズーム倍率を示す設定項目以外の設定項目の値は、その値を維持するように指示されたとされ、特徴量設定情報読出部６３から最後に供給された設定情報の設定項目の値のままとされる。

したがって、特徴量設定情報蓄積部６２に蓄積される設定情報の設定項目としてのズームの中心位置は、時刻ｔ２１以降その値が変化するように使用者によりリモートコントローラ１４が操作されていないにも関わらず、時刻ｔ２１における値となるように操作されたとされて、時刻ｔ２１以降は、これまでの値から時刻ｔ２１における値に書き換えられてしまう。すなわち、再編集後の設定項目としてのズームの中心位置は、図１２を参照して説明した１度目の編集が反映されていないものとなってしまう。

そこで、画像の編集が行われる場合に、使用者により指定された設定項目だけを変化させるように設定情報の設定を行うようにするようにしてもよい。

尚、以下の説明では、編集モードにおいて、図１３および図７のフローチャートを参照して説明したように、使用者によりその値が変化されるようにリモートコントローラ１４が操作されたか否かに関わらず、全ての設定項目が上書きされるように設定情報の設定が行われる場合を通常編集モードと称し、使用者により指定された設定項目だけを変化させるように設定情報の設定が行われる場合を部分編集モードと称する。

図１４は、部分編集モードの概念を説明するための図である。尚、図１４において、図１における場合と対応する部分には同一の符号が付されている。

部分編集モードでは、図１４で示されるように、画像処理装置２は、例えば、DVDなどの動画像を含むコンテンツが予め記録されている記録メディア１からDVDプレーヤなどにより再生される画像を表示部３に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への処理として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置２は、設定情報を構成する複数の設定項目のうち、使用者により指示された設定項目だけが変化するように操作内容に対応する設定情報を設定すると供に、設定情報に対応付けられた処理を画像に施して表示部３に表示させる。さらに、画像処理装置２は、画像より特徴量を抽出し、抽出した特徴量に対応付けて設定情報を操作履歴格納部４に蓄積させる。

ここで、図１４における記録メディア１、画像処理装置２、表示部３、および操作履歴格納部４のそれぞれは、図３における記録メディア１１、画像処理装置１３、表示部１５、および特徴量設定情報蓄積部６２のそれぞれに対応している。

画像処理装置１３においては、使用者はリモートコントローラ１４を操作することによって、通常編集モードまたは部分編集モードを選択できるようになされている。使用者がリモートコントローラ１４を操作して通常編集モードまたは部分編集モードを選択すると、受光部４４は、リモートコントローラ１４からの光を、その発光パターンに基づいてリモートコントローラ１４の操作信号に変換し、操作情報認識部４５は、受光部４４より供給されてくる操作信号に基づいて、画像処理装置１３の各部が通常編集モードまたは部分編集モードの動作を行うように制御する。

例えば、使用者がリモートコントローラ１４を操作して通常編集モードを選択すると、画像処理装置１３は、図７を参照して説明した画像処理を行う。

これに対して、例えば、図１２を参照して説明したように、設定項目としてのズーム倍率およびズームの中心位置が変化するように編集された画像の再生中に、使用者がリモートコントローラ１４を操作して部分編集モードを選択し、さらに画像の編集を指示すると、例えば、図１５に示すように、特徴量設定情報蓄積部６２に蓄積されている設定情報の設定項目のうち、使用者に指定された設定項目だけが使用者の操作に応じて書き換えられる。

尚、図中、縦軸は、ズーム倍率およびズームの中心位置を示しており、横軸は時間を示している。また、曲線Ｋ３１は、設定項目としてのズーム倍率の時間的な変化を示しており、曲線Ｋ３２は、設定項目としてのズームの中心位置の時間的な変化を示している。さらに、点線で示される曲線Ｋ１１は、特徴量設定情報蓄積部６２に蓄積されている設定情報の設定項目としてのズーム倍率の時間的な変化を示しており、曲線Ｋ１２は、特徴量設定情報蓄積部６２に蓄積されている設定情報の設定項目としてのズームの中心位置の時間的な変化を示している。

時刻ｔ１から時刻ｔ３１までの期間において、曲線Ｋ１１および曲線Ｋ１２により示される設定項目の値に基づいて画像が再生された後、時刻ｔ３１において、ズーム倍率が変化するように使用者がリモートコントローラ１４を操作すると、時刻ｔ３１以降、設定項目としての画像のズーム倍率は、曲線Ｋ３１に示されるように使用者の操作に応じて変化する。これに対して、ズームの中心位置は、時刻ｔ３１以降、その値が変化するように使用者によりリモートコントローラ１４が操作されていないので、曲線Ｋ３２に示されるように特徴量設定情報蓄積部６２に蓄積されている設定情報の設定項目としてのズームの中心位置の各時刻における値のままとされる。

すなわち、部分編集モードにおいては、画像が以前に編集されたことがある場合、画像の設定情報を構成する設定項目のうち、新たに使用者によって変更が指示された設定項目の値だけが変化するように設定情報が設定され、使用者により変更が指示されていない設定項目は、以前編集されたときに設定された値のままとされる。

次に、図１６のフローチャートを参照して、使用者により部分編集モードが選択された場合における、画像処理装置１３による画像処理について説明する。

ステップＳ８１において、遅延部４７は新しい画像が画像再生部１２より供給されてきたか否かを判定する。ステップＳ８１において、新しい画像が供給されてきていないと判定された場合、処理はステップＳ８１に戻り、新たな画像が供給されてくるまで、判定の処理が繰り返される。

これに対して、例えば、画像再生部１２が記録メディア１１に記録されている画像を読み出して遅延部４７に供給し、新たな画像が供給されてきたと判定された場合、処理はステップＳ８２に進み、遅延部４７は、供給されてきた画像を１フレーム分一時的に遅延させるために記憶する。

ステップＳ８３において、特徴量抽出部４１は、特徴量抽出処理を実行し、画像再生部１２より供給されてきた１フレーム分の画像の特徴量を抽出する。すなわち、遅延部４７が、新たな画像を１フレーム分遅延させるために一時的に記憶するとき、同様に、１フレーム分の画像が特徴量抽出部４１にも供給されているため、同一のタイミングで、同一の画像が、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。尚、ステップＳ８３において行われる特徴量抽出処理は、図８を参照して説明した特徴量抽出処理と同様であるため、繰り返しになるのでその説明は省略する。

ステップＳ８４において、同期検出部４２は、同期検出処理を実行して、再生中の画像の特徴量と、画像に処理を施すための設定情報が対応付けられている特徴量との同期を検出する。尚、ステップＳ８４において行われる同期検出処理は、図１０を参照して説明した同期検出処理と同様であるため、繰り返しになるのでその説明は省略する。

同期検出処理が行われると、ステップＳ８５において、特徴量設定情報読出部６３は、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。すなわち、特徴量設定情報読出部６３は、再生中のフレームの再生位置特徴量と同期する特徴量が蓄積されているか否かを判定する。例えば、同期検出部４２から特徴量設定情報読出部６３に同期位置情報が供給されてきた場合、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されていることになるので、同期する特徴量が蓄積されていると判定される。

ステップＳ８５において、同期する特徴量が蓄積されていないと判定された場合、ステップＳ８６の処理はスキップされて、処理はステップＳ８７に進む。

これに対して、ステップＳ８５において、同期する特徴量が蓄積されていると判定された場合、ステップＳ８６に進み、特徴量設定情報読出部６３は、同期した特徴量に対応付けられた設定情報が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。すなわち、特徴量は、設定情報がない状態でも特徴量設定情報蓄積部６２に蓄積することが可能であるので、この処理により、特徴量に対応付けられた設定情報の有無が判定される。

ステップＳ８６において設定情報が蓄積されていないと判定されるか、またはステップＳ８５において同期する特徴量が蓄積されていないと判定されると、ステップＳ８７において、特徴量設定情報読出部６３は、特徴量設定情報蓄積部６２には設定情報が蓄積されていないので、予め定められた標準値を設定情報の各設定項目の値として設定する。そして、特徴量設定情報読出部６３は、標準値に設定された設定情報を設定情報決定部４６に供給し、処理はステップＳ８９に進む。

一方、ステップＳ８６において、設定情報が蓄積されていると判定された場合、ステップＳ８８に進み、特徴量設定情報読出部６３は、同期位置情報の特徴量に対応付けられて特徴量設定情報蓄積部６２に蓄積されている設定情報を読み出して設定情報決定部４６に供給する。

ステップＳ８７において標準値が設定されるか、またはステップＳ８８において設定情報が読み出されると、ステップＳ８９において、設定情報決定部４６は、記録中フラグが立てられているか否かを判定する。

設定情報決定部４６は、使用者の操作に基づいて画像に所定の処理が加えられ、特徴量および設定情報が記録される処理が行われているか否か、すなわち画像の編集中であるか否かを示す記録中フラグを記憶している。画像の編集中である場合、記録中フラグは立てられ、画像の編集が行われていない場合、記録中フラグは下げられる。

ステップＳ８９において、記録中フラグが立てられていると判定された場合、特徴量設定情報蓄積部６２に特徴量と設定情報とが対応付けられて記録されるので、処理はステップＳ９２に進む。

これに対して、ステップＳ８９において、記録中フラグが立てられていないと判定された場合、ステップＳ９０に進み、操作情報認識部４５は、リモートコントローラ１４が使用者により操作されて、画像の処理が指示されたか否かを判定する。例えば、表示部１５に表示されている画像を見ながら、使用者が、２倍のズーム処理を指示した場合、リモートコントローラ１４の発光パターンが受光部４４により受光され、受光部４４より受光した発光パターンに基づいた信号が、操作情報認識部４５に供給されることにより、操作情報認識部４５は、操作がなされたと判定する。

ステップＳ９０において、リモートコントローラ１４が操作されたと判定された場合、操作情報認識部４５は、受光部４４より供給されてくる操作信号に基づいて、使用者が所望とする画像への処理に対応付けられている操作情報を認識し、その認識結果を設定情報決定部４６に供給する。そして、操作情報認識部４５から設定情報決定部４６に操作情報が供給されると、処理はステップＳ９１に進む。

ステップＳ９１において、設定情報決定部４６は、記憶している記録中フラグを立てて、処理はステップＳ９２に進む。

ステップＳ９１において記録中フラグが立てられるか、またはステップＳ８９において記録中フラグが立てられていると判定されると、ステップＳ９２において、画像処理装置１３は記録処理を行い、処理はステップＳ９３に進む。尚、記録処理の詳細は後述するが、記録処理において、画像処理装置１３は、使用者によるリモートコントローラ１４の操作に応じて、その操作内容を記憶している設定情報に反映させ、設定情報を蓄積する。

また、ステップＳ９０において、リモートコントローラ１４が操作されていないと判定された場合、設定情報決定部４６は記憶している設定情報を反映部４８に供給し、処理はステップＳ９３に進む。

ステップＳ９０においてリモートコントローラ１４が操作されていないと判定されるか、またはステップＳ９２において記録処理が行われると、ステップＳ９３において、反映部４８は、遅延部４７に記憶されている画像に対して、設定情報決定部４６より供給されてきた設定情報に基づいて処理を加えて、使用者の操作内容に応じた処理を反映させ、表示部１５に表示させる。

ステップＳ９４において、操作情報認識部４５は、動作の終了が指示されたか否かを判定し、終了が指示されたと判定された場合、画像処理を終了する。一方、動作の終了が指示されていないと判定された場合、処理はステップＳ８１に戻り、上述した処理が繰り返される。

このようにして、画像処理装置１３は、使用者から指示を受けた画像の特徴量に対応付けて、処理内容を示す設定情報を蓄積する。また、画像処理装置１３は、特徴量に対応付けられている設定情報に基づいて、再生している画像に加えられた処理を反映して表示させる。

このように、使用者から指示を受けた画像の特徴量に対応付けて、処理内容を示す設定情報を蓄積することにより、オリジナルの画像データに処理を加えることなく、画像を再生させるたびに画像に対して正確に所定の処理を加えて再現することができる。

次に、図１７のフローチャートを参照して、図１６のステップＳ９２の処理に対応する記録処理について説明する。

ステップＳ１２１において、設定情報決定部４６は、操作情報認識部４５から供給されてくる操作情報を取得する。

ステップＳ１２２において、設定情報決定部４６は記録が終了したか否かを判定する。操作情報認識部４５から設定情報決定部４６には、画像への処理内容を示す設定情報の記録の終了を示す操作情報が供給されることがある。設定情報決定部４６は、そのような記録の終了を示す操作情報が供給されると記録が終了したと判定する。

ステップＳ１２２において、記録が終了していないと判定された場合、継続して設定情報を特徴量設定情報蓄積部６２に蓄積させるので、ステップＳ１２３に進み、設定情報決定部４６は、記憶している設定情報に、取得した操作情報により示される操作内容を反映させる。設定情報決定部４６は、操作内容が反映された設定情報を反映部４８および特徴量設定情報記録部６１に供給する。

例えば、取得した操作情報により示される操作内容が、画像に２倍のズーム処理を施すことを指示する内容である場合、設定情報決定部４６は、画像に２倍のズーム処理が施されるように、記憶している設定情報を構成する複数の設定項目のうち、ズーム倍率を示す設定項目の値だけを操作情報に基づいて設定し直す。したがって、設定情報決定部４６が記憶している設定情報の設定項目のうち、操作情報により示される処理内容を示す設定項目以外の設定項目の設定値はそのままの値とされる。すなわち、設定情報を構成する設定項目のうち、使用者に指定された設定項目だけが使用者の操作に応じて変更される。

使用者の操作内容が設定情報に反映されると、ステップＳ１２４において、特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量を特徴量設定情報蓄積部６２に記録させると共に、その特徴量に対応付けて、設定情報決定部４６より供給されてくる設定情報を、特徴量設定情報蓄積部６２に記録させることで、特徴量と設定情報とを蓄積させ、処理は図１６のステップＳ９３に進む。

例えば、特徴量設定情報蓄積部６２に図９に示した特徴量Ｃ１乃至特徴量Ｃ３が記録されていたとすると、特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量を、特徴量設定情報蓄積部６２に記録されている特徴量の最後の位置、すなわち特徴量Ｃ３の後ろに追加して記録させ、そのｍ倍のアドレスに特徴量に対応付けられた設定情報を記録させる。

このように、特徴量抽出部４１より供給されてくる特徴量を特徴量設定情報蓄積部６２に記録されている特徴量の最後の位置に追加して記録させ、同期する特徴量が検索される場合に特徴量設定情報蓄積部６２に記録されている特徴量の最後の位置から順番に検索することで、同一のフレームの画像に対して編集作業が複数回行われたとしても、常に最後に編集されたときの設定情報に対応付けられた特徴量が検索される。

また、ステップＳ１２２において、記録が終了した判定された場合、ステップＳ１２５に進み、設定情報決定部４６は記憶している記録中フラグを下げる。そして、設定情報決定部４６は、記憶している設定情報を反映部４８に供給し、処理は図１６のステップＳ９３に進む。

このようにして、画像処理装置１３は、使用者により画像への処理が指示されると、設定情報を構成する設定項目のうち、使用者により指定された設定項目だけが変化するように、設定情報を設定する。

このように、指定された設定項目だけが変化するように設定情報を設定することによって、複数の設定項目が同時に変化するようにリモートコントローラ１４を操作することが困難である場合にも、各設定項目の値が簡単に所望する値となるように設定情報を設定することができる。

以上のように、使用者から指示を受けた画像の特徴量に対応付けて、処理内容を示す設定情報を蓄積することにより、オリジナルの画像データに処理を加えることなく、画像を再生させるたびに画像に対して正確に所定の処理を加えて再現することができる。

なお、以上においては、設定情報が複数の設定項目から構成されると説明したが、さらに１つの設定項目が互いに関連する複数のパラメータから構成されるようにし、それらのパラメータのうちの１つだけが変化するように設定情報を設定できるようにしてもよい。そのような場合、例えば、１つの設定情報が、ズーム倍率を示すパラメータ、およびズームの中心位置を示すパラメータの２つのパラメータの組み合わせでなるとき、使用者は、リモートコントローラ１４を操作して、設定情報を構成する２つのパラメータのうちのいずれかの値だけが変化するように設定情報を設定させることができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ２０１のCPU（Central Processing Unit）２１１は、ROM（Read Only Memory）２１２、または記録部２１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２１３には、CPU２１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２１１、ROM２１２、およびRAM２１３は、バス２１４により相互に接続されている。

CPU２１１にはまた、バス２１４を介して入出力インターフェース２１５が接続されている。入出力インターフェース２１５には、キーボード、マウス、マイクロホンなどよりなる入力部２１６、ディスプレイ、スピーカなどよりなる出力部２１７が接続されている。CPU２１１は、入力部２１６から入力される指令に対応して各種の処理を実行する。そして、CPU２１１は、処理の結果を出力部２１７に出力する。

入出力インターフェース２１５に接続されている記録部２１８は、例えばハードディスクからなり、CPU２１１が実行するプログラムや各種のデータを記録する。通信部２１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部２１９を介してプログラムを取得し、記録部２１８に記録してもよい。

入出力インターフェース２１５に接続されているドライブ２２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部２１８に転送され、記録される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２３１、または、プログラムが一時的もしくは永続的に格納されるROM２１２や、記録部２１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部２１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

尚、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

尚、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明の画像処理装置の概念を説明する図である。 本発明の画像処理装置の概念を説明する図である。 本発明を適用した画像処理装置の一実施例の形態の構成を示すブロック図である。 特徴量抽出部の構成を示すブロック図である。 画像信号の構成例を示す図である。 同期検出部の構成を示すブロック図である。 画像処理を説明するフローチャートである。 特徴量抽出処理を説明するフローチャートである。 特徴量抽出処理を説明する図である。 同期検出処理を説明するフローチャートである。 同期検出処理を説明する図である。 １回目の編集を説明する図である。 通常編集を説明する図である。 本発明の画像処理装置の概念を説明する図である。 部分編集を説明する図である。 画像処理を説明するフローチャートである。 記録処理を説明するフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１１ 記録メディア， １３ 画像処理装置， １４ リモートコントローラ， ４１ 特徴量抽出部， ４２ 同期検出部， ４３ 蓄積ブロック， ４６ 設定情報決定部， ４７ 遅延部， ４８ 反映部， ６１ 特徴量設定情報記録部， ６２ 特徴量設定情報蓄積部， ６３ 特徴量設定情報読出部

Claims (6)

1. 画像から特徴量を抽出する特徴量抽出手段と、
   前記画像に対して処理を加えるための複数の設定項目のうち、指定された設定項目が変化するように、複数の前記設定項目から構成される設定情報を設定する設定手段と、
   前記設定情報を前記画像の特徴量に対応付けて記録する記録手段と
   を備える画像処理装置。
2. 前記特徴量抽出手段は、前記画像を構成する所定領域の画素の画素値の加算値を特徴量として抽出する
   請求項１に記載の画像処理装置。
3. 前記画像から抽出された特徴量と、前記記録手段に記録されている特徴量とを同期させる同期手段と、
   前記記録手段から、前記画像から抽出された特徴量と同期された特徴量に対応付けられている前記設定情報を読み出す読み出し手段と
   をさらに備え、
   前記設定手段は、読み出された前記設定情報が設定し直されて記録される場合、読み出された前記設定情報を構成する複数の設定項目のうち、指定された設定項目だけが変化するように前記設定情報を設定する
   請求項１に記載の画像処理装置。
4. 前記設定手段により設定された設定情報に基づいて、その設定情報により示される処理を前記画像に対して反映させ、処理が反映された画像を表示させる反映手段をさらに備える
   請求項３に記載の画像処理装置。
5. 画像から特徴量を抽出し、
   前記画像に対して処理を加えるための複数の設定項目のうち、指定された設定項目が変化するように、複数の前記設定項目から構成される設定情報を設定し、
   前記設定情報を前記画像の特徴量に対応付けて記録する
   ステップを含む画像処理方法。
6. 画像から特徴量を抽出し、
   前記画像に対して処理を加えるための複数の設定項目のうち、指定された設定項目が変化するように、複数の前記設定項目から構成される設定情報を設定し、
   前記設定情報を前記画像の特徴量に対応付けて記録する
   ステップをコンピュータに実行させるプログラム。

Images