JP4525558B2 - 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、撮影された動画像データから代表画像を選択して並べて表示する、例えばフィルムロール表示を行なう情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラムに関する。

ビデオカメラにおいて撮影された動画像の内容をユーザに分かりやすく提示する手段として、動画像データから例えば一定間隔のフレーム画像を選択して時系列順に並べてフィルムロールのように表示する手法（以下、フィルムロール表示と呼ぶ）がある。

フィルムロール表示を適用することで、ユーザは動画像を再生することなく内容を把握することができる。例えば、過去に撮影された様々な動画像データファイルから選択されたフレーム画像を一覧表示することによって、ユーザは、撮影画像の確認を効率的に行なうことが可能となる。また、再生中の画像に重畳して再生画像データ中から選択された代表画像を、画面下部にフィルムロール表示を行い、ユーザがフィルムロール表示された静止画を選択して再生位置を指定することなどが可能となる。一般的なフィルムロール表示は、サムネイル画像（縮小画像）を並べて表示する処理が行なわれる。なお、このような画像表示手法については、例えば特許文献１に記載されている。

しかし、特にビデオカメラや、デジタルカメラのような画面の面積が小さい機器においては、十分な数の画像を並べて表示することができない。その結果、フィルムロール表示において表示される画像数は少くなり、ユーザが動画像の全体を把握することが困難となる場合が少なくない。また、再生画像に重畳して代表静止画像をフィルムロール表示する場合も、記録された動画像の長さが長ければ長いほど、適切な代表画像を並べて表示することが困難となり、ユーザは適切な再生位置を選択することができなくなるという問題がある。
特開平２−３２４７３号公報

本発明は、上述の問題点に鑑みてなされたものであり、撮影された動画像データから代表画像を選択して並べて表示する処理、例えばフィルムロール表示処理において、時系列に一定間隔に選択した画像を表示するのではなく、動画像中の重要シーンと判定される画像を効率的に選択して表示することで、動画像データの把握を容易にし、また再生位置の指定もユーザの要求が高いと推測される重要シーンの指定を可能とする情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画像データから選択された複数のフレーム画像を並べて表示する処理を実行するデータ処理部を有し、
前記データ処理部は、
表示するフレーム画像の選択処理において、前記動画像データに対応付けて記録された重要シーン撮影部分を識別可能なハイライトポイント情報を適用した処理を実行する構成であり、
動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出し、ただしｋ＝０〜（ｎ−１）の整数、
前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示し、
前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示し、
表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行う構成である情報処理装置にある。

さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、重要シーンの記録時刻を持つハイライトポイント情報から、重要シーン記録時刻［ｔｊ］を取得し、時系列に設定された複数の表示フレーム画像に対応する基準時間［ｘ］と、表示フレーム画像の時間間隔［Δｘ］を適用して算出される以下の条件式、
ｘ−（Δｘ／２）＜＝ｔｊ＜ｘ＋（Δｘ／２）
を、重要シーン記録時刻［ｔｊ］が満足する場合、前記重要シーン記録時刻［ｔｊ］を持つハイライトポイントに対応するフレーム画像を表示対象フレーム画像として選択する処理を実行する構成であることを特徴とする。

さらに、本発明の第２の側面は、
画像の撮影処理実行期間における入力情報に基づいて、撮影データ中から重要シーン撮影部分の選択処理を実行し、選択した重要シーン撮影部分を識別可能なハイライトポイント情報を生成して、撮影画像データの対応情報として記録媒体に記録する処理を実行する記録データ処理部と、
動画像データから選択された複数のフレーム画像を並べて表示する処理を実行する再生データ処理部を有し、
前記再生データ処理部は、
動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出し、ただしｋ＝０〜（ｎ−１）の整数、
前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示し、
前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示し、
表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行う構成である撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記記録データ処理部は、前記入力情報としてズーム操作情報、または加速度センサの検出情報、または音声信号のレベル情報、ＧＰＳの取得情報、またはクロック情報、または静止画撮影情報の少なくともいずれかを入力し、該入力情報に基づいて重要シーン撮影部分の識別処理を実行し、前記ハイライトポイント情報を生成する処理を実行する構成であることを特徴とする。

さらに、本発明の第３の側面は、
情報処理装置において画像表示処理を実行する情報処理方法であり、
前記情報処理装置のデータ処理部において、動画像データから選択された複数のフレーム画像を並べて表示するデータ処理ステップと、
前記データ処理部において、動画像再生処理を実行する動画像再生ステップを有し、
前記データ処理ステップは、
表示するフレーム画像の選択処理において、前記動画像データに対応付けて記録された重要シーン撮影部分を識別可能なハイライトポイント情報を適用した処理を実行するステップであり、
動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出、ただしｋ＝０〜（ｎ−１）の整数、するステップと、
前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示するステップと、
前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示するステップを含み、
前記動画像再生ステップは、
表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行うステップであることを特徴とする情報処理方法にある。

さらに、本発明の情報処理方法の一実施態様において、前記データ処理ステップは、重要シーンの記録時刻を持つハイライトポイント情報から、重要シーン記録時刻［ｔｊ］を取得し、時系列に設定された複数の表示フレーム画像に対応する基準時間［ｘ］と、表示フレーム画像の時間間隔［Δｘ］を適用して算出される以下の条件式、
ｘ−（Δｘ／２）＜＝ｔｊ＜ｘ＋（Δｘ／２）
を、重要シーン記録時刻［ｔｊ］が満足する場合、前記重要シーン記録時刻［ｔｊ］を持つハイライトポイントに対応するフレーム画像を表示対象フレーム画像として選択する処理を実行することを特徴とする。

さらに、本発明の第４の側面は、
撮像装置において実行する情報処理方法であり、
前記撮像装置の記録データ処理部において、画像の撮影処理実行期間における入力情報に基づいて、撮影データ中から重要シーン撮影部分の選択処理を実行し、選択した重要シーン撮影部分を識別可能なハイライトポイント情報を生成して、撮影画像データの対応情報として記録媒体に記録する処理を実行する記録データ処理ステップと、
前記撮像装置の再生データ処理部における実行ステップとして、動画像データから選択された複数のフレーム画像を並べて表示する再生データ処理ステップを有し、
前記再生データ処理ステップは、
動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出、ただしｋ＝０〜（ｎ−１）の整数、するステップと、
前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示するステップと、
前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示するステップと、
表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行うステップを含むことを特徴とする情報処理方法にある。

さらに、本発明の情報処理方法の一実施態様において、前記記録データ処理ステップは、前記入力情報としてズーム操作情報、または加速度センサの検出情報、または音声信号のレベル情報、ＧＰＳの取得情報、またはクロック情報、または静止画撮影情報の少なくともいずれかを入力し、該入力情報に基づいて重要シーン撮影部分の識別処理を実行し、前記ハイライトポイント情報を生成する処理を実行することを特徴とする。

さらに、本発明の第５の側面は、
情報処理装置において画像表示処理を実行させるコンピュータ・プログラムであり、
前記情報処理装置のデータ処理部において、動画像データから選択された複数のフレーム画像を並べて表示するデータ処理ステップと、
前記データ処理部において、動画像再生処理を実行する動画像再生ステップを実行させるコンピュータ・プログラムであり、
前記データ処理ステップは、
表示するフレーム画像の選択処理において、前記動画像データに対応付けて記録された重要シーン撮影部分を識別可能なハイライトポイント情報を適用した処理を実行するステップであり、
動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出、ただしｋ＝０〜（ｎ−１）の整数、するステップと、
前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示するステップと、
前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示するステップを含み、
前記動画像再生ステップは、
表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行うステップであることを特徴とするコンピュータ・プログラムにある。

さらに、本発明の第６の側面は、
撮像装置において情報処理を実行させるコンピュータ・プログラムであり、
撮像装置の記録データ処理部において、画像の撮影処理実行期間における入力情報に基づいて、撮影データ中から重要シーン撮影部分の選択処理を実行し、選択した重要シーン撮影部分を識別可能なハイライトポイント情報を生成して、撮影画像データの対応情報として記録媒体に記録する記録データ処理ステップを実行させ、
前記撮像装置の再生データ処理部において、動画像データから選択された複数のフレーム画像を並べて表示する再生データ処理ステップを実行させるコンピュータ・プログラムであり、
前記再生データ処理ステップは、
動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出、ただしｋ＝０〜（ｎ−１）の整数、するステップと、
前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示するステップと、
前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示するステップと、
表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行うステップを含むコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例構成によれば、例えばデジタルビデオカメラにおいて撮影された動画像データから選択された複数のフレーム画像を並べて表示させる、例えばフィルムロール表示処理において、表示対象のフレーム画像の選択を実行する際、動画像データに対応付けて記録された重要シーン撮影部分を識別可能なハイライトポイント情報を適用し、ハイライトポイントに対応する画像フレームを優先的に表示対象フレームとして選択する処理を実行する構成としたので、フィルムロール表示される表示画像の多くが重要シーンの画像となり、ユーザは、動画像の内容の把握や、再生シーンの選択を効率的に行なうことが可能となる。

以下、図面を参照しながら、本発明の情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラムの詳細について説明する。

まず、本発明の情報処理装置の一例としての撮像装置（デジタルカメラ）の構成例について、図１を参照して説明する。

図１に示すように、撮像装置は、レンズ１０１、レンズ１０１を介して入力する光信号を電気信号に変換する固体撮像素子（ＣＣＤ）等によって構成されるイメージャ１０２、アナログ電気信号をデジタル信号に変換するＡ／Ｄ変換部１０３、撮像画像データに基づいて画像に対する信号処理を実行するカメラ信号処理部１０４、音声情報を入力するマイク１０５、マイク１０５から出力される音声アナログ信号をデジタル信号に変換するＡ／Ｄ変換部１０６、取得音声データに基づいて音声に対する信号処理を実行する音声信号処理部１０７を有する。音声信号処理部１０７は、音声信号レベル情報をマイクロプロセッサ１１１に入力する。マイクロプロセッサ１１１は、例えば音声信号処理部１０７から入力する音声信号レベル情報に基づいて、ハイライトポイント（重要シーンの位置情報）の抽出処理を行う。

マイクロプロセッサ１１１は、画像の撮影期間に様々な入力情報を取得して、撮影データ中から重要シーン撮影部分の選択処理を実行し、入力情報に基づいて選択した重要シーン撮影部分を識別可能なハイライトポイント情報を生成し、撮影画像データの対応情報として記録媒体１１２に記録する処理を実行する記録データ処理部として機能する。なお、このハイライトポイントの抽出処理の詳細については後段で説明する。

さらに、マイクロプロセッサ１１１は、撮影画像の再生表示処理や、フィルムロール表示処理の際の表示画像の選択などを実行する再生データ処理部として機能する。なお、このフィルムロール表示処理の詳細については後段で説明する。

カメラ信号処理部１０４、音声信号処理部１０７において生成された画像、音声デジタルデータはメモリ１２０に格納される。画像エンコード部１２１、音声エンコード部１２２は、入力された映像信号、音声信号をそれぞれ記録するためのデータに変換するため、符号化処理を行う。画像デコード部１２３、音声デコード部１２４は、例えば撮影データを記録した記録媒体１１２からのデータ読み出し、再生処理を実行する場合に、記録媒体１１２から読み出した画像、音声信号をそれぞれデコード（復号）処理を行う。メモリ１２０は、エンコード、あるいはデコードをするデータを一時的に保持する。

マイクロプロセッサ１１１は、撮像装置において実行される処理を制御する。また、各種のスイッチ、ボタン類などの入力デバイス１０８からユーザの入力情報を受け取る。さらに加速度センサ１０９からのセンサ検出情報を入力し、音声信号処理部１０７から音声信号のレベル情報を受け取り、ＧＰＳモジュール１１０からＧＰＳ衛星から得る情報、すなわち位置情報を受け取り、クロック１３１から日時、時刻情報を入力する。さらに、記録媒体１１２を適用したデータ記録、再生制御処理を実行する。

入力デバイス１０８は、ユーザが機器を操作する際のボタンやスイッチの類である。具体的にはズーム操作のためのスイッチや、動画撮影のためのキー、静止画撮影のためのシャッターキー、タッチパネルなどが含まれる。入力デバイス１０８を介して入力された情報はマイクロプロセッサ１１１に伝えられ、マイクロプロセッサ１１１は、ユーザの操作情報に基づく制御、さらにハイライトポイントの抽出処理を行う。

加速度センサ１０９は、機器の動き情報を感知し、検出情報をマイクロプロセッサ１１１に入力する。ＧＰＳモジュール１１０は、ＧＰＳの衛星からデータを受信し、マイクロプロセッサ１１１に入力する。この情報をもとにマイクロプロセッサは、現在位置の緯度および経度を得ることができる。クロック１３１は、現在日時情報をマイクロプロセッサ１１１に入力する。マイクロプロセッサ１１１は、加速度センサ１０９や、ＧＰＳモジュール１１０、クロック１３１からの入力情報に基づいて、ハイライトポイントの抽出処理を行う。

記録媒体１１２は、不揮発性のメモリ、ハードディスクなによって構成され、撮影した動画像データを格納する。表示部１２５は、撮影画像データのモニタ表示、あるいは撮影済みデータであり記録媒体１１２に記録されたデータを画像デコード部１２３においてデコードしたデータの表示制御を行なう。表示部１２５の生成データは、Ｄ／Ａ変換部１２６においてアナログ信号に変換され、ＬＣＤパネル等のディスプレイ１２７に出力される。

音声信号処理部１２８は、音声デコード部１２４によってデコードされた音声信号を入力し、Ｄ／Ａ変換部１２９を介してアナログ信号に変換した後、スピーカ１３０に出力される。

本発明の撮像装置において、データ処理部として機能するマイクロプロセッサ１１１は、
（１）入力デバイス１０８に対するユーザ操作情報、
（２）加速度センサ１０９からのセンサ検出情報、
（３）音声信号処理部１０７から音声信号のレベル情報、
（４）ＧＰＳモジュール１１０からの位置情報、
（５）クロック１３１からの日時情報、
これらの各種情報を入力し、これらの情報に基づいて、ハイライトポイント（重要シーンの位置情報）の抽出処理を行う。マイクロプロセッサ１１１は、画像撮影処理の実行中に、これらの各情報を入力し、入力情報に基づいてハイライトポイントの抽出処理を行う。以下、このハイライトポイントの抽出処理の詳細について説明する。

まず、ハイライトポイントについて説明する。ハイライトポイントとは、記録された動画の中で、重要である可能性が高いと推測される動画中のシーンを識別する情報である。例えば、動画像の記録開始時間からの経過時間（以下「記録時間」と呼ぶ）が適用される。すなわち、重要シーンが含まれるフレームの撮影開始からの時間位置情報である。

本発明の撮像装置では、ハイライトポイントとして、例えば、
撮影者がズーム操作を行ったポイント（撮影開始からの時間）、
撮影者がカメラを動かした（パン操作やチルト操作を行った）ポイント、
マイクから入力された音声レベルがピークになったポイント、
ＧＰＳから得た緯度もしくは経度の情報の変化が発生したポイント、
現在時刻のきりのよい変更点（たとえば日付の変わり目や年の変わり目）になったポイント、
動画記録中に撮影者が静止画を記録したポイント、
これらのポイントをハイライトポイントとして検出する。

本発明の撮像装置は、動画像を記録しながら、これらのハイライトポイントを検出し、撮影画像データに対応するハイライトポイント情報として記録する。このハイライトポイント記録処理によって、撮影データの再生処理時にハイライトポイントの近傍だけを選択再生することが可能となり、撮影済みのデータについての新たな画像解析などの事後処理を行うことなく、撮影処理後に即座にハイライトシーンの選択再生を行なうことができる。

以下、本発明の撮像装置におけるハイライトポイント抽出処理の詳細について、
（１）入力デバイス１０８に対するユーザ操作によるズーム操作情報、
（２）加速度センサ１０９からのセンサ検出情報、
（３）音声信号処理部１０７から音声信号のレベル情報、
（４）ＧＰＳモジュール１１０からの位置情報、
（５）クロック１３１からの日時情報、
（６）入力デバイス１０８に対するユーザ操作による静止画撮影情報、
これらの各検出情報に対応するハイライトポイント抽出処理の詳細について、順次説明する。

（１）入力デバイス１０８に対するユーザ操作によるズーム操作情報
まず、入力デバイス１０８に対するユーザ操作によるズーム操作情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図２、図３を参照して説明する。

図２に示すフローチャートは、画像の撮影実行中に行なわれる処理であり、入力デバイス１０８に対するユーザ操作によるズーム操作情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の処理シーケンスを示すフローチャートである。

動画像を撮影中に、ユーザは入力デバイス１０８の一つであるズームキーを操作して、ズーム倍率を変更する操作を行う。ユーザの操作は入力デバイス１０８からマイクロプロセッサ１１１に伝えられ、マイクロプロセッサ１１１はレンズ１０１を動かしてズーム倍率を変更する。ユーザがズームキーから手を離すなどしてズーム操作を止めると、マイクロプロセッサ１１１はレンズ１０１を動かすのを止めてズーム操作を止める。

図２の処理フローの各ステップの処理について説明する。ステップＳ１０１において、マイクロプロセッサ１１１がズーム操作の開始を検出すると、ステップＳ１０２に進み、ズーム開始時の倍率情報を取得する。これは、ズーム処理がスタートする時点におけるズーム倍率情報である。

次に、ステップＳ１０３において、ズーム操作の終了を検出すると、ステップＳ１０４において、ズーム終了時の倍率情報を取得する。これは、ズーム処理が終了した時点におけるズーム倍率情報である。次に、ステップＳ１０５において、（現在の記録時間、ズーム変化量）の組データをメモリ１２０に記録保持する。

ここでズームの変化量とは、例えばズーム倍率の変化量であり、ズーム処理が終了した時点におけるズーム倍率情報と、ズーム処理の開始時点におけるズーム倍率情報との差分によって算出される。

次に、ステップＳ１０６において、画像記録が終了したか否かが検出され、画像記録処理が終了していない場合は、ステップＳ１０１以降の処理を繰り返す。この繰り返し処理によって、画像記録処理中に実行された各ズーム操作の処理終了時間と、各ズーム操作において実行されたズーム変化量の組データ、すなわち、（現在の記録時間、ズーム変化量）の組データがメモリ１２０に順次記録保持される。

ステップＳ１０６において、画像記録が終了したことが検出されると、ステップＳ１０７において、メモリ１２０に記録保持された（現在の記録時間、ズーム変化量）の組データを撮影データに対応するハイライトポイント情報として、撮影データに対応付けて、例えば記録媒体１１２に記録する。

ユーザがズーム操作をするときは、撮影対象に注目してズームインした場合や、全体を捉えるためにズームアウトした場合などである。ズーム操作を行った直後の記録時間は重要度が高い可能性があるシーンとみなすことができ、ハイライトポイントと考えることができる。

なお、動画の記録の終了時点で、メモリ１２０に記録保持された（現在の記録時間、ズーム変化量）の組データを撮影データに対応するハイライトポイント情報として、記録媒体１１２に記録する際、メモリ保持情報を全てハイライトポイント情報として記録媒体１１２に記録する構成としてもよいが、メモリ１２０に保持された情報から、一定数のズーム変化量の大きいデータを選択し、選択データのみを動画像データとともに記録媒体１１２にハイライトポイント情報として記録する構成としてもよい。

なお、ハイライトポイント情報の記録構成としては様々な構成が適用可能である。例えば動画像ファイルの一部にハイライトポイントを記録するための領域を設けて記録する方法や、動画像ファイルとは別にデータベースファイルを持ち、その中にハイライトポイントを記録する方法などが適用できる。

図３を参照して、具体的なズーム操作情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過に伴うズーム操作履歴を示す図である。図３（ｂ）は図３（ａ）に示すズーム操作が実行された場合に記録媒体１１２に記録される撮影画像データに対応するハイライトポイント情報のデータ例を示している。

例えば、図３（ａ）には、撮影開始から終了まで、３回のズーム操作が実行されていることを示している。最初のズーム操作は、ワイド（Ｗ）からテレ（Ｔ）すなわち、撮影対象に対して近づく方向でのズームイン処理が実行され、この１回目のズーム操作は、撮影開始から０分４５秒後に終了している。このズーム処理の終了時間がハイライトポイントとして記録される。図３（ｂ）に示すハイライトポイント情報の第１のエントリデータが、この記録データであり、ズーム処理の終了時間［０：４５］と、ズーム変化量［３．０］の組データが、第１のハイライトポイント情報として記録される。

同様に、第２、第３のハイライトポイント情報として、各ズーム操作の終了時間と、ズーム変化量の組データがそれぞれ記録される。なお、図３（ｂ）に示す例は、ズーム変化量は、ワイド（Ｗ）からテレ（Ｔ）方向へのズーム変化量を（＋）、テレ（（Ｔ）からワイド（Ｗ）方向へのズーム変化量を（−）として設定した例である。

（２）加速度センサ１０９からのセンサ検出情報、
次に、加速度センサ１０９からの入力情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図４、図５を参照して説明する。この処理は、撮影中にパン操作やチルト操作が実行されたことを加速度センサ１０９からの入力情報に基づいて、マイクロプロセッサ１１１が検出し、この検出に基づいて、ハイライトポイントを記録する処理である。

動画像を撮影中に、ユーザがカメラを動かすと、加速度センサ１０９がその動きを検知し、マイクロプロセッサ１１１に伝える。マイクロプロセッサ１１１は、加速度センサ１０９からの入力情報に基づいて、撮像装置が、ある連続した時間同じ方向の動きを示していると判定すると、ユーザがある方向にカメラを動かしている（パンやチルト動作をしている）と判断し、このポイントをハイライトポイントとして記録する。

図４の処理フローの各ステップの処理について説明する。ステップＳ２０１において、マイクロプロセッサ１１１は、まず初期設定として、メモリ１２０に記憶している連続移動量を［０］にリセットする。次に、ステップＳ２０２において、加速度センサ１０９から検出値を取得し、ステップＳ２０３において、撮像装置が静止状態にあるか移動字様態にあるかを判定する。

移動状態にあると判定すると、ステップＳ２１１に進み、前回の加速度センサ１０９からの入力情報の示す移動方向と同一の移動方向であるか否かを判定する。なお、加速度センサからの入力は、連続的に繰り返し実行されている。前回の加速度センサ１０９からの入力情報の示す移動方向と同一の移動方向であると判定された場合は、パンやチルト処理が実行されている可能性が高いと判断し、加速度センサ１０９から入力される情報に基づいて移動量を算出し、メモリ１２０に保持されている連続移動量を更新する。移動量は、例えば加速度値から速度を算出し、それを時間的に積分することで得られる。

ステップＳ２１１において、前回の加速度センサ１０９からの入力情報の示す移動方向と同一の移動方向でないと判定された場合は、パンやチルト処理が実行されている可能性が低いと判断し、ステップＳ２０５に進み、メモリ１２０に保持されている連続移動量をリセットする。

ステップＳ２０３において、加速度センサ１０９からの入力情報に基づいて撮像装置が静止した状態にあると判定されると、ステップＳ２０４に進み、メモリ１２０に記録されている連続移動量の値を参照し、この移動量が、予め定めた閾値距離より大きいか否かを判定する。移動量が、予め定めた閾値距離より大きい場合は、パンやチルト処理が実行されたと判断し、ステップＳ２１３において、（現在の記録時間、移動量）の組データをメモリ１２０に記録保持する。

ステップＳ２０４において、メモリ１２０に記録されている連続移動量の値が、予め定めた閾値距離より大きくないと判定された場合は、パンやチルト処理が実行さていないと判断し、ステップＳ２０５においてメモリ１２０に記録された連続移動量を［０］にリセットする。

ステップＳ２０６において、画像記録処理が終了したか否かを判定し、画像記録処理が終了していない場合は、ステップＳ２０２以降の処理を繰り返す。この繰り返し処理によって、画像記録処理中に実行されたパンまたはチルト処理終了時間と、各パンまたはチルト処理作における移動量の組データ、すなわち、（現在の記録時間、移動量および方向）の組データがメモリ１２０に順次記録保持される。

ステップＳ２０６において、画像記録が終了したことが検出されると、ステップＳ２０７において、メモリ１２０に記録保持された（現在の記録時間、移動量および方向）の組データを撮影データに対応するハイライトポイント情報として、撮影データに対応付けて、例えば記録媒体１１２に記録する。

ユーザがパン、チルト操作をするときは、注目している撮影対象を変える場合などのため、パン、チルト操作を行った直後は重要度が高い可能性があるシーンとみなすことができ、ハイライトポイントと考えることができる。例えば、パン、チルトが終了して、カメラが静止したときに、その記録時間とパン、チルトの移動量および方向をハイライトポイント情報として、メモリ１２０に保持しておく。動画の記録が終了すると、保持しておいたハイライトポイント情報を全て、あるいはパン、チルトの移動量が大きいものから一定数だけを動画像データとともに記録媒体１１２に記録する。なお、ハイライトポイントの記録構成は、前述のズームによるハイライトポイントの記録の方法と同様、様々な手法が適用可能である。

図５を参照して、具体的なパン、チルト情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過に伴うパン、チルト操作履歴を示す図である。図５（ｂ）は図５（ａ）に示すパン、チルト操作が実行された場合に記録媒体１１２に記録される撮影画像データに対応するハイライトポイント情報のデータ例を示している。

例えば、図５（ａ）には、撮影開始から終了まで、３回のパンまたはチルト操作が実行されていることを示している。最初のパンまたはチルト操作は、撮影開始から０分５２秒後に終了している。この処理の終了時間がハイライトポイントとして記録される。図５（ｂ）に示すハイライトポイント情報の第１のエントリデータが、この記録データであり、パンまたはチルト処理の終了時間［０：５２］と、移動量および方向［５．０］の組データが、第１のハイライトポイント情報として記録される。

同様に、第２、第３のハイライトポイント情報として、各パン、チルト操作の終了時間と、移動量および方向の組データがそれぞれ記録される。なお、図５（ｂ）に示す例において、移動方向量は、例えば左から右、および上から下方向の移動を（＋）、逆方向への移動を（−）として設定した例である。

なお、上述の例では、パン、チルトの移動量を加速度センサ１０９から入力する加速度値から速度を算出し、それを時間的に積分することで得る手法を用いているが、加速度センサがない機器においても、撮影画像に含まれる隣り合うフレーム間の画像を比較することにより、カメラの動き情報を取得することができ、この撮影画像データに基づいて、マイクロプロセッサ１１１がパン、チルト操作の有無を判別する処理を実行する構成としてもよい。

（３）音声信号処理部１０７から音声信号のレベル情報、
次に、音声信号処理部１０７から音声信号のレベル情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図６〜図８を参照して説明する。この処理は、撮影中にマイク１０５によって取得される音声データに基づく音声レベル情報をマイクロプロセッサ１１１が入力してこの入力情報に基づいて、マイクロプロセッサ１１１が音声レベル変動を解析して、この解析結果に基づいて、ハイライトポイントを記録する処理である。

動画像を撮影中に、音声はマイク１０５を介して入力され、音声のレベル情報が音声信号処理部１０７において生成されマイクロプロセッサ１１１に入力される。この音声レベル情報は例えばオーディオレベルメーターの画面表示などにも適用される。

マイクロプロセッサ１１１は、この音声レベル情報に基づいて、音声レベルがピークを示す時間を取得する。音声レベルがピークになるときは、盛り上がりのシーンである場合が多く、音声レベルがピークになったときは重要度が高い可能性があるシーンとみなすことができ、ハイライトポイントとすることができる。ここで、ピークを検出するアルゴリズムには様々な方法が考えられるが、その手法の一例を述べる。

まず、動画記録中に音声レベルを取得する。ステレオマイクの場合は、左右２チャンネル分の音声レベルを取得できるが、例えばその２つの値の平均値を音声レベルとする。また、ノイズの影響を抑えるために、音声レベルの過去一定時間（例えば３秒）の平均値をとる。このようにしてある一定間隔ごとに平均を取った値をここではサンプルと呼ぶ。すなわち、動画記録が終了したときには、ある一定間隔で音声レベルのサンプルが得られていることになる。次に、サンプルの最大値と最小値を求め、例えば最大値を１０と最小値を０として正規化を行う。

この正規化データの例を図６に示す。図６は、横軸に時間、縦軸に音声レベルの正規化値を示すグラフである。図６に示すように、正規化データとすることで、全てのサンプルは０〜１０の値をとることになる。次に、サンプルの極大値となる点だけを残して、他のサンプルは全て捨てる。図６には、音声レベル正規化値がピーク点を示す位置に黒丸［●］を示している。

次に、音声レベル（正規化値）がある一定値（例えば８）より小さいサンプルも全て捨てる。すると、残ったサンプルはある一定値よりも大きく、しかも極大値（ピーク値）をとるものだけとなる。その後、選択ポイントに時間的に近接したサンプルがある場合は、より大きな値を持つサンプルを残して、そのほかは消す。以上の操作を経て残ったサンプルをハイライトポイントとみなして、その記録時間と音声レベルの組を記録する。

例えば、図６に示す例では、まず、ハイライトポイント候補として、音声レベル（正規化値）がある一定値（例えば８）のポイントが選択される。このポイントはＰ１〜Ｐ４となる。次に、選択ポイント（Ｐ１〜Ｐ４）に時間的に近接したサンプルがある場合は、より大きな値を持つサンプルを残して、そのほかは消す。この処理において、例えば近接時間＝±５秒として設定すると、選択ポイントＰ４は、より高いレベルを持つ選択ポイントＰ１の近接時間＝±５秒にあり、選択ポイントＰ４はハイライトポイント候補から排除される。この処理の結果、図６に示すデータからは、Ｐ１，Ｐ２，Ｐ３のみがハイライトポイントとして抽出される。

音声信号処理部１０７から音声信号のレベル情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の処理シーケンスについて、図７に示すフローチャートを参照して説明する。

ステップＳ３０１において、マイクロプロセッサ１１１は、音声信号処理部１０７から音声信号のレベル情報を取得し、ステップＳ３０２において、過去一定期間（例えば３秒）の音声レベル平均値を計算し、記録時間とともにメモリ１２０に保持する。ステップＳ３０３において、画像記録が終了したと判定されるまで、これらの処理を継続して実行し、ステップＳ３０３において、画像記録が終了したと判定されるとステップＳ３０４に進む。

ステップＳ３０４では、メモリ１２０に蓄積された音声レベルの時間対応データに基づいて正規化処理を実行し、例えば図６に示す時間と音声レベル正規化データの対応関係を取得する。次に、ステップＳ３０５においてハイライトポイント抽出処理を実行する。すなわち、
（ａ）音声レベル（正規化値）がある一定値（例えば８）のポイントを選択、
（ｂ）選択ポイントに時間的に近接したサンプルがある場合は、より大きな値を持つサンプルを残して、そのほかは消す。
これら（ａ），（ｂ）の処理によって残ったポイントをハイライトポイントとして選択する。次に、ステップＳ３０６において、抽出したハイライトポイント対応の時間情報と、音声レベル正規化値（ピーク値）の組を撮影データに対応するハイライトポイント情報として、撮影データに対応付けて、例えば記録媒体１１２に記録する。

図８を参照して、具体的な音声レベル情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過に伴う音声レベル情報の履歴を示す図である。図８（ｂ）は図８（ａ）に示す音声レベルが取得された場合に記録媒体１１２に記録される撮影画像データに対応するハイライトポイント情報のデータ例を示している。

例えば、図８（ａ）に示す音声レベル遷移データから、前述したハイライトポイント取得処理によって、３つのハイライトポイントが取得される。結果として、図８（ｂ）に示すように、記録時間［２：１４］、［３：３０］、［４：０７］がハイライトポイントとして選択され、図８（ｂ）に示すような３つのエントリを持つハイライトポイント情報、すなわち、ハイライトポイント対応の時間情報と、音声レベル正規化値（ピーク値）の組が、撮影データに対応するハイライトポイント情報として、撮影データに対応付けて記録媒体１１２に記録される。

（４）ＧＰＳモジュール１１０からの位置情報、
次に、ＧＰＳモジュール１１０からの入力情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図９、図１０を参照して説明する。この処理は、撮影中にＧＰＳモジュール１１０からの入力情報に基づいて算出される撮像装置の位置情報に基づいて、マイクロプロセッサ１１１が位置変動に基づいてハイライトポイントを決定して記録する処理である。

動画像を撮影中に、マイクロプロセッサ１１１はＧＰＳ１１０からＧＰＳ衛星の情報を受け取り、現在位置の緯度および経度をリアルタイムで得ることができる。マイクロプロセッサ１１１は動画の撮影中に、ＧＰＳデータに基づいて撮像装置の移動距離などを算出する。

ＧＰＳのデータから算出した緯度および経度の情報はある程度の誤差を含むため、最初に観測した位置からある一定の距離以上移動した場合に、機器が移動したとみなす。撮影中に大きな移動が行われたときは、その大きな移動の直後の撮影シーンは重要でありハイライトポイントとみなすことができる。このような推測のもと、マイクロプロセッサ１１１はＧＰＳ１１０からの入力情報に基づいて、緯度および経度の変化に基づいて移動距離を算出し、予め定めた閾値距離以上の移動が発生した記録時間と移動量をハイライトポイントとして、メモリ１２０に保持する。動画の記録が終了すると、メモリ１２０に保持しておいたハイライトポイントを全て、あるいは一定数だけを動画像データとともに記録媒体１１２に記録する。

図９の処理フローの各ステップの処理について説明する。ステップＳ４０１において、マイクロプロセッサ１１１は、ＧＰＳモジュール１１０からの情報、すなわち撮像装置の位置情報としての緯度、経度情報を入力する。この位置情報入力は、一定間隔で繰り返し実行され、随時、位置情報は、メモリ１２０に情報入力時刻に対応付けて記憶される。

マイクロプロセッサ１１１は、ステップＳ４０２において、ＧＰＳモジュール１１０からの入力情報と、メモリ１２０に記録済みの位置情報との差分を算出し、予め定めた時間内に、予め定めた閾値距離以上の移動が発生しているか否かを判定する。閾値以上の移動が発生している場合は、ハイライトポイントと判定し、ステップＳ４１１に進み、（現在の記録時間、位置移動量）の組データをメモリ１２０に記録保持する。

ステップＳ４０２において、予め定めた時間内に、予め定めた閾値距離以上の移動が発生していないと判定された場合、または、ステップＳ４１１において、（現在の記録時間、位置移動量）の組データをメモリ１２０に記録保持する処理を実行した後は、ステップと４０４に進み、画像記録処理が終了したか否かを判定し、画像記録処理が終了していない場合は、ステップＳ４０１以降の処理を繰り返す。この繰り返し処理によって、画像記録処理中に、閾値以上の移動が発生した時点の時間と、位置移動量の組データ、すなわち、（現在の記録時間、位置移動量）の組データがメモリ１２０に順次記録保持される。

ステップＳ４０３において、画像記録が終了したことが検出されると、ステップＳ４０４において、メモリ１２０に記録保持された（現在の記録時間、位置移動量）の組データを撮影データに対応するハイライトポイント情報として、撮影データに対応付けて、例えば記録媒体１１２に記録する。

図１０を参照して、具体的なＧＰＳ情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過に伴って計測された閾値以上の移動が発生した時間、すなわちハイライトポイントを示す図である。図１０（ｂ）は図１０（ａ）に示すデータに対応する位置の移動状況を示す図である。

図１０（ｂ）に示す撮影開始点Ｐ１において撮影が開始され、撮像装置は、撮影者とともに、移動を開始し、地点Ｐ２において、閾値以上の距離移動が発生したと判定され、この時点を第１のハイライトポイントと認定する。この地点の時間は、撮影開始から、１分３５秒後であり、この時間と、移動量が、図１０（ｃ）に示すハイライトポイント情報の第１エントリとして記録される。さらに、地点Ｐ２から地点Ｐ３まで移動を行なった場合、地点Ｐ３において、閾値以上の距離移動が発生したと判定され、この時点を第２のハイライトポイントと認定する。この地点の時間は、撮影開始から、２分１１秒後であり、この時間と、移動量が、図１０（ｃ）に示すハイライトポイント情報の第２エントリとして記録される。

（５）クロック１３１からの日時情報、
次に、クロック１３１からの日時情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図１１、図１２を参照して説明する。この処理は、撮影中にクロック１３１からの日時情報をマイクロプロセッサ１１１が入力し、現在時刻の情報をもとにハイライトポイントを検出し記録する処理である。

動画像を撮影中に、マイクロプロセッサ１１１は現在の日時情報をクロック１３１から入力する。現在時刻は、あらかじめユーザにより指定されているか、もしくはＧＰＳ１１０からＧＰＳ衛星の情報を受け取ることにより設定されたものである。マイクロプロセッサ１１１は動画撮影中に時計を監視することにより、日付の変更が発生した時点や、年の変更が発生した時点などの記録時間情報を得ることができる。

このように、日付をまたいだり年をまたいだりした瞬間は、何か重要なイベントを行っている可能性があり、ハイライトポイントとみなすことができる。この処理例は、撮影中に日付や年が変化した記録時間をハイライトポイントとする処理例である。

図１１の処理フローに従って、クロック１３１からの日時情報に基づいてマイクロプロセッサ１１１が実行するハイライトポイント検出記録処理シーケンスについて説明する。ステップＳ５０１において、マイクロプロセッサ１１１は、クロック１３１から日時情報を入力する。ステップＳ５０２において、イベント日時に該当するか否かを判定する。イベント日時情報は、例えば、ユーザが予め設定し、メモリに格納しておいたデータに基づいて判定する。その他、日付の変更時や、年の変更時などをデフォルトのイベント日時としてこれを利用してもよい。

ステップＳ５０２において、イベント日時であると判定されると、ハイライトポイントであると判定し、ステップＳ５１１において、（現在の記録時間、イベント内容）の組データをメモリ１２０に記録保持する。イベント内容は、例えば日付の変更や、年の変更などである。

ステップＳ５０２において、イベント日時でないと判定された場合、あるいは、ステップＳ５１１において、（現在の記録時間、イベント内容）の組データをメモリ１２０に記録保持する処理の実行後は、ステップＳ５０３において、画像記録処理が終了したか否かを判定し、画像記録処理が終了していない場合は、ステップＳ５０１以降の処理を繰り返す。この繰り返し処理によって、画像記録処理中に発生したイベントの発生時間と、各イベントの内容情報の組データ、すなわち、（現在の記録時間、イベント内容）の組データがメモリ１２０に順次記録保持される。

ステップＳ５０３において、画像記録が終了したことが検出されると、ステップＳ５０４において、メモリ１２０に記録保持された（現在の記録時間、イベント内容）の組データを撮影データに対応するハイライトポイント情報として、撮影データに対応付けて、例えば記録媒体１１２に記録する。

図１２を参照して、具体的なクロック情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過と、クロック情報に基づくイベント発生時間の検出ポイントを示す図である。図１２（ｂ）は図１２（ａ）に示す撮影データに対応して記録媒体１１２に記録されるハイライトポイント情報のデータ例を示している。

例えば、図１２（ａ）には、撮影開始から終了までの間に、１回のイベント発生時刻、例えば、年が変更した時刻が含まれ、この点がハイライトポイントとして記録されるものとする。図１２（ｂ）に示すハイライトポイント情報のエントリデータが、この記録データであり、年が変更した時刻に対応する撮影開始からの記録時間［１：４０］と、イベント内容としての［年が変化］という情報からなる組データが、ハイライトポイント情報として記録される。

（６）入力デバイス１０８に対するユーザ操作による静止画撮影情報、
次に、入力デバイス１０８に対するユーザ操作による静止画撮影情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の詳細について、図１３、図１４を参照して説明する。

図１３に示すフローチャートは、画像の撮影実行中に行なわれる処理であり、入力デバイス１０８に対するユーザ操作による静止画撮影処理情報をマイクロプロセッサ１１１が入力して実行するハイライトポイント抽出処理の処理シーケンスを示すフローチャートである。

動画像を撮影中に、ユーザは入力デバイス１０８の一つである静止画撮影キー（例えばシャッターキー）を押すことにより、静止画を撮影することができる。このとき、ユーザの操作は入力デバイス１０８からマイクロプロセッサ１１１に伝えられ、マイクロプロセッサ１１１がカメラを制御して静止画撮影を行う。ユーザが動画撮影中に静止画を記録したということは、そのシーンを重要と認識した場合と考えられ、ハイライトポイントとみなすことができる。本処理例は、静止画撮影をした記録時間をハイライトポイントとして記録する処理例である。

図１３の処理フローの各ステップの処理について説明する。ステップＳ６０１において、マイクロプロセッサ１１１が静止画撮影用のシャッターキー操作を検出すると、ステップＳ６１１に進み、静止画を撮影し、ステップＳ６１２において、静止画撮影を実行した時間情報をメモリ１２０に記録保持する。

次に、ステップＳ６０２において、画像記録が終了したか否かが検出され、画像記録処理が終了していない場合は、ステップＳ６０１以降の処理を繰り返す。この繰り返し処理によって、画像記録処理中に実行された静止画撮影処理の処理時間データがメモリ１２０に順次記録保持される。

ステップＳ６０２において、画像記録が終了したことが検出されると、ステップＳ６０３において、メモリ１２０に記録保持された（静止画撮影時の記録時間）のデータを撮影データに対応するハイライトポイント情報として、撮影データに対応付けて記録媒体１１２に記録する。

図１４を参照して、具体的な静止画撮影情報に基づくハイライトポイント抽出処理例、および、ハイライトポイント情報のデータ例について説明する。（ａ）は、動画像の撮影開始（Ｓｔａｒｔ）から撮影終了（Ｓｔｏｐ）までの時間経過に伴う静止画撮影履歴を示す図である。図１４（ｂ）は図１４（ａ）に示すズーム操作が実行された場合に記録媒体１１２に記録される撮影画像データに対応するハイライトポイント情報のデータ例を示している。

例えば、図１４（ａ）には、撮影開始から終了まで、２回の静止画撮影が実行されていることを示している。最初の静止画撮影は、撮影開始から２分２２秒後に実行されている。この静止画撮影処理実行時間がハイライトポイントとして記録される。図１４（ｂ）に示すハイライトポイント情報の第１のエントリデータが、この記録データであり、静止画撮影時間［２：２２］が、第１のハイライトポイント情報として記録される。同様に、第２、第３のハイライトポイント情報が順次記録されることになる。

［総合的な処理シーケンス］
上述したように、本発明の撮像装置におけるハイライトポイント抽出処理は、
（１）入力デバイス１０８に対するユーザ操作によるズーム操作情報、
（２）加速度センサ１０９からのセンサ検出情報、
（３）音声信号処理部１０７から音声信号のレベル情報、
（４）ＧＰＳモジュール１１０からの位置情報、
（５）クロック１３１からの日時情報、
（６）入力デバイス１０８に対するユーザ操作による静止画撮影情報、
これらの各検出情報に対応するハイライトポイント抽出処理として実行されることになる。これらの処理は１つの動画撮影に対して同時に実行することが可能である。この場合、各種情報に基づいてハイライトポイント情報が生成され、撮影画像データに対応付けて系記録される。記録されるハイライトポイント情報は例えば図１５に示すようなデータとなる。

図１５には、
（１）入力デバイス１０８に対するユーザ操作によるズーム操作情報、
（２）加速度センサ１０９からのセンサ検出情報、
（３）音声信号処理部１０７から音声信号のレベル情報、
（４）ＧＰＳモジュール１１０からの位置情報、
（５）クロック１３１からの日時情報、
（６）入力デバイス１０８に対するユーザ操作による静止画撮影情報、
これら（１）〜（６）の情報各々に基づいてマイクロプロセッサ１１１が抽出し、記録したハイライトポイント情報を示している。

なお、本発明の撮像装置では、これらの様々な情報に基づいて生成されるハイライトポイント報を、ハイライトポイント情報の生成に適用した入力情報の種類に応じて、ハイライトポイント情報の優先度を設定して撮影画像データの対応情報として記録媒体に記録する処理を実行する構成を有する。この優先度情報は、ハイライトシーンのみを選択して再生する場合の選択情報に適用される。

撮影画像データに対して記録されたハイライトポイントの情報を用いて撮影データのハイライトシーンだけを再生する手順について述べる。本発明の撮像装置は、ディスプレイ１２７に撮影動画像の再生を行なうことが可能であり、また、撮影画像に対応付けて記録されたハイライトポイント情報を適用して、ハイライトポイントとされたシーンを選択して再生する処理を実行する。

ハイライトシーンの再生処理としては、例えばユーザがある単一の動画像を選択して、そのハイライトシーンだけを再生する処理や、あるまとまった数の動画像を連続してハイライト再生をすることにより、スライドショー形式で再生を行なう処理が可能である。

ハイライトシーンの再生処理を実行する場合、図１５に示す多数のハイライトシーンを全て選択して再生することも可能である。例えば図１５に示す（１）〜（６）の各ハイライトポイント情報に記録された記録時間に基づいて、その記録時間対応の画像撮影フレームを中心として、前後に１０秒間、あるいは５秒前から２０秒後までなどの設定に基づいて、各ハイライトポイント情報に含まれる記録時間をインデックスとしてハイライトシーンの再生を行なうことができる。

さらに、図１５に示す多数のハイライトポイントに対応するシーンを全て選択して再生するのではなく、さらに、図１５に示す多数のハイライトポイントから、ハイライトポイントの優先度に基づいて、優先度が上位のハイライトポイントを選択して、選択されたハイライトポイントのみに対応するシーンを再生する構成としてもよい、

ハイライトポイントの優先度について説明する。前述のようにハイライトポイントには、ズーム操作、パン、チルト操作、音声レベルのピーク、ＧＰＳの位置変化、時刻情報による日付や年の変化、動画撮影中の静止画撮影の情報など、様々な情報に基づいて抽出される。これらを、どの情報に基づいて抽出されたハイライトポイントであるかに基づいて優先度順位をあらかじめ設定する。この優先度順位は、ユーザが任意に設定できるものとする。

例えば、ズーム操作や音声レベルのピークや動画撮影中の静止画撮影のハイライトポイントは、重要なシーンである可能性が比較的高いが、パン、チルト操作やＧＰＳの位置変化や時刻情報による日付や年の変化は、重要なシーンである可能性が低いと判断するユーザは、例えば記録されたハイライトポイントに対し、次のように優先付けを行う。
優先度１：ズーム操作、音声レベルピーク、静止画撮影に基づいて抽出されたハイライトポイント、
優先度２：ＧＰＳ情報、日付や年の変化などのイベントに基づいて抽出されたハイライトポイント、
優先度３：パン、チルト操作に基づいて抽出されたハイライトポイント、

このような優先度の設定を行い、次に、ハイライトシーンだけを再生するために、選択する再生するハイライトポイントの数を決定する。動画像のハイライトシーンだけを再生するためには、まずハイライト再生をする長さを決める。これは、あらかじめ固定の値（例えば２０秒）と決めておいてもよいし、動画の全体の長さに対して一定割合（例えば、動画の長さの５分の１）と決めておいてもよいし、あるいはユーザにあらかじめ設定させておくこともできる。

次に、１つの再生ハイライトシーンの長さを決定する。これは、あらかじめ固定の値（例えば５秒）と決めておいてもよいし、スライドショーで動画像の再生をする場合には、そのときどきの演出効果として長さを決めておいてもよいし、スライドショーでＢＧＭを再生する場合には、その音楽のそれぞれの節にあわせて長さを決めておいてもよいし、あるいはユーザにあらかじめ設定させておくこともできる。このようにして、ハイライト再生の全体の長さと１シーンあたりの長さを決定することができる。この２つの値はどのような再生をしたいかにより、状況に応じて適切な値を選択することができる。ハイライト再生の全体の長さを１シーンあたりの長さで割り算をすると、何箇所のハイライトポイントを選択する必要があるかを求めることができる。ＢＧＭにあわせて長さを決めるときのように、１シーンあたりの長さが可変の場合は、シーンの長さを累積した長さがＢＧＭの長さに達するまでの必要なシーンの数が、選択が必要なハイライトポイントの数となる。

次に、ハイライトポイントを選択する手順について、図１６に示すフローチャートを参照して説明する。このハイライトポイント選択処理は、ハイライトポイントの再生処理を実行する前の処理として、マイクロプロセッサ１１１が、撮影画像データに対応するハイライトポイント情報を適用して優先度の高いハイライトポイントを選択する処理である。

まず、ステップＳ７０１において、優先度が最も高い設定とされたハイライトポイントの集合を選択する。例えば、上述した優先度設定例では、
優先度１：ズーム操作、音声レベルピーク、静止画撮影に基づいて抽出されたハイライトポイント、
これらのハイライトポイント情報の集合が取得される。

次に、ステップＳ７０２において集合が空か否かを判定し、空でない場合にはステップＳ７０３に進み、この集合からの中から１つのハイライトポイントを選択する。この選択処理においては、同じ優先度の設定とされたハイライトポイントが複数ある場合は、例えば、ランダムに選択してもよいし、ズームの場合は変化量、パン、チルト操作場合は移動量、音声レベルの場合はレベルの値、ＧＰＳ情報による緯度経度変化の場合はその変化量など、変化の度合いを示す指標の高いものから順番に選ぶ設定としてもよい。

ステップＳ７０４において、取得したハイライトポイントの数が、予め定めた上限数に達したか否かを判定し、達していない場合は、ステップＳ７０２に戻り、同様の処理を繰り返す。最高優先度の集合が空になった場合は、ステップＳ７１１に進み、さらに下位の優先度のハイライトポイント集合があるか否かを判定し、あると判定される場合は、ステップＳ７１２において、次の優先度設定とされたハイライトポイントの集合を選択する。例えば、上述した優先度設定例では、
優先度２：ＧＰＳ情報、日付や年の変化などのイベントに基づいて抽出されたハイライトポイント、
これらのハイライトポイント情報の集合が取得される。

次に、ステップＳ７０３に進み、選択集合からハイライトポイントを選択する。これらの処理を繰り返し実行して、より高い優先度を持つ情報からハイライトポイントが順次、所定数に達するまで、あるいはハイライトポイントが全て選択されるまで実行される。

ステップＳ７１１において、選択すべきハイライトポイント集合がないと判定された場合は、ステップＳ７１３において、撮影画像の長さを等間隔（例えば１０分割）に分割し、それぞれの点をハイライトポイント集合として設定し、ステップＳ７０３に進み、その新たな集合に基づくハイライトポイントの選択を実行する。この選択処理は、等間隔に分割した点を前から順番に選択するなど、予め定めたルールに従って実行する。

最終的に、ステップＳ７０４において、予め定めたハイライトポイント数に達したと判定された場合は、そこで、ハイライトポイント選択処理は終了する。このようにして、優先度の順に選択を繰り返し、あらかじめ計算しておいた必要個数分だけハイライトポイントを選択する。

次に、選択したハイライトポイントを基に動画像をハイライトとして再生する手順について述べる。まず、選択したハイライトポイントを撮影時間順に並べる。そして、ハイライトポイントの少し前から１シーンあたりの長さだけ動画像の再生を行う。例えば、１シーンあたりの長さが５秒とすると、ハイライトポイントの１秒前から５秒間動画像の再生を行う。これを全てのハイライトポイントに連続的に対し適用し動画像の再生をすることにより、結果としてハイライトシーンだけの再生を行うことができる。図１７に、ハイライトシーン選択再生例を示す。

図１７は、例えば撮影画像データから３つのハイライトポイントを選択して再生する場合の例を示している。ハイライトシーン３０１〜３０３は、上述した処理によって選択されたハイライトポイントを含む動画像データであり、例えばハイライトポイントの１秒前から５秒後までを再生シーンとして設定する。図の例では、３つのハイライトシーンのみが再生されることになる。ここで、例えばハイライトポイントのつなぎ目にクロスフェードのようなシーンチェンジ効果を入れるような設定としてもよい。

［フィルムロール表示処理］
次に、上述のハイライトポイント情報を適用して実行するフィルムロール表示処理について説明する。まず、フィルムロール表示の概要について説明する。フィルムロール表示処理例について、図１８、図１９を参照して説明する。

図１８は、ディスプレイに撮影済みの動画像を再生する動画像再生画面５０１に重畳してフィルムロール表示領域５０２を設定して表示を行なった例を示している。動画像再生画面５０１において再生している動画像データファイルから選択した複数の代表静止画像をフィルムロール表示領域５０２に表示している。動画像中の複数のフレームの画像（サムネイル画像）をある適切な間隔で時系列順に並べることによって、動画像の内容を把握でき、また、再生中のシーンの前後にどのようなシーンがあるかを見て再生位置を選択する手助けをしたりすることができる。

図１９は、複数の撮影済み動画像データファイルの代表静止画像をフィルムロール表示した例であり、図１９は、４つの動画像データファイルについて、それぞれフィルムロール表示領域６０１〜６０４に代表静止画を時系列表示した例を示している。

機器内の記録媒体に格納された撮影済み動画像の一覧を表示するときには、それぞれの動画像について代表となる画像を１枚（例えば先頭の画像のサムネイルを１枚）表示するだけでは動画像の内容を把握することが困難である。これに対し、それぞれの動画像を図１９に示すようにフィルムロール表示することにより、動画像の内容を把握しやすくし、どの動画像を再生するかを選択する手助けとすることができる。

一般的なフィルムロール表示では、動画像の各フレームの画像（サムネイル画像）を用いる。サムネイル画像は、動画像から選択された特定のフレーム画像をデコードして得ることも可能であり、あるいは、あらかじめ動画撮影時に一定間隔のフレームの画像をリアルタイムに静止画（サムネイル画像）として保存しておき、その静止画を用いてフィルムロール表示を行なうことも可能である。このようにして、任意のフレーム（あるいは、一定間隔ごとのフレーム）のサムネイル画像を得ることができると、それを表示用のメモリに並べて表示することで、図１８や図１９に示すようなフィルムロール表示を実現することができる。

次に、上述したハイライトポイント情報を適用したフィルムロール表示処理について説明する。撮影された動画像データをフィルムロール表示する場合、動画データファイルの最初から最後までの画像データから選択した静止画フレームデータをディスプレイ一度に表示するためには、動画の全体の長さを網羅する間隔でフレームを抽出し、抽出したフレームのサムネイル画像を表示する必要がある。

しかし、特にデジタルカメラのような液晶画面の面積が限られている機器においては、一度に並べることができるサムネイル画像の枚数が限られており、数枚（例えば５枚程度）である。例えば、５分間の動画像を５枚のサムネイル画像で網羅するためには、１分ごとのサムネイル画像を並べることになるが、サムネイル画像の時間間隔が長くなるほど動画像の内容を把握しづらくなる。また、一定の間隔で抽出したフレームのサムネイル画像は、シーンを特定するのに十分な情報を持たない画像（例えば、カメラをパンしてシーンチェンジをしている途中などの画像）である可能性もあり、そのときはせっかくフィルムロール表示をしてもそのシーンがどのようなシーンであるかを判断することができない。これに対し、フィルムロール表示をするときに、重要なシーンである可能性が高いと思われるハイライトポイントに対応するフレームを選択して、そのサムネイル画像を表示することで重要シーンを選択したフィルムロール表示が実現され、少ない表示枚数であっても、フィルムロール表示領域をより効果的に使うことができる。

上述したように、ハイライトポイント情報は、撮影画像データに対応する重要シーンの位置を示す識別情報を持つデータとして記録媒体１１２に格納されている。本発明の撮像装置では、このハイライトポイント情報を適用して、フィルムロール表示において表示する画像を選択する。

本発明の撮像装置において実行するフィルムロール表示処理の実行シーケンスについて、図２０に示すフローチャートを参照して説明する。図２０に示すフローは、データ処理部としてのマイクロプロセッサ１１１が実行する処理であり、記録媒体１１２に格納された撮影済み動画像についてのフィルムロール表示を、その撮影済み動画像に対応するハイライトポイント情報を適用して実行する処理である。

図２０に示すフローチャートのステップの処理を実行する前に、まず、フィルムロール表示をする動画像データファイルを決定し、画面内に何枚のサムネイル画像を表示するかを決定する。動画像の長さ（記録時間）を、フィルムロール表示を行なう静止画表示数で割ることで、フィルムロール表示を行なう静止画フレームの表示間隔（時間間隔）を得ることができる。フィルムロール表示を行なう静止画フレームのサムネイル表示数は、画面表示のレイアウトによって決定される。

なお、画面内にフィルムロール表示に適用する静止画を一度に示すことなく、スクロール操作（表示送り）などの機能を適用する構成の場合は、フレームの表示間隔は適当に決めた値でも構わない。例えば、５秒おきや１０秒おきなど、ある値を決めて、その間隔のフレームのサムネイル画像を表示することもできる。この場合は、一度に全てのサムネイル画像を表示できないため、スクロール操作などにより表示する画像を変えながらフィルムロール表示を行う。

図２０に示すフローチャートの各ステップの処理について説明する。ステップＳ８０１において、フィルムロール表示をするフレーム間隔（記録時間の時間間隔）をΔｘ（Δｘ＞０）と、フィルムロールの先頭に表示するフレームの基準時間（記録時間）ｘ１を決定する。

つまり、この決定処理により、フィルムロール表示の対象となるフレーム（静止画像）の各記録時間は、
１番目のフレーム：基準時間ｘ（１）＝ｘ（１）、
２番目のフレーム：基準時間ｘ（２）＝ｘ（１）＋Δｘ、
３番目のフレーム：基準時間ｘ（３）＝ｘ（１）＋２Δｘ、
ｉ番目のフレーム：基準時間ｘ（ｉ）＝ｘ（１）＋（ｉ−１）Δｘ
となる。ｉは、フィルムロール表示の対象となるフレームの先頭からの数を示すパラメータである。

ステップＳ８０２において、パラメータｉの初期設定として、ｉ＝１とする設定を行う。次に、ステップＳ８０３において、フィルムロール表示のｉ番目の表示領域に表示するフレーム画像としてのサムネイル画像を決定する処理として、基準時間ｘ（ｉ）に一番近いハイライトポイントの時刻［ｔｊ］を、フィルムロール表示対象の画像データに対応して記録されているハイライトポイント情報、すなわち、例えば先に図１５を参照して説明した各種のハイライトポイント情報を検索対象として検索する。

例えば先に図１５を参照して説明した各種のハイライトポイント情報を、１つのデータファイルとして構成し、各記録時間ｔｐ（ｐ＝１．．ｎ）を時間順にソートして、二分探索法を適用することで、効率的に、基準時間ｘ（ｉ）に一番近いハイライトポイント［ｔｊ］を求めることができる。

次に、ステップＳ８０４において、ハイライトポイント情報から取得した基準時間ｘ（ｉ）に一番近いハイライトポイント［ｔｊ］について、以下の式（式１）を満たすかどうかを判定する。
ｘ−（Δｘ／２）＜＝ｔｊ＜ｘ＋（Δｘ／２）・・・（式１）

（式１）は、ハイライトポイント情報から取得した基準時間ｘ（ｉ）に一番近いハイライトポイント［ｔｊ］が、フィルムロール表示対象のｉ番目の画像フレームの基準時間［ｘ（ｉ）］の前後のフィルムロール表示対象、すなわち、ｉ−１番目の画像フレームの基準時間［ｘ（ｉ−１）］、ｉ＋１番目の画像フレームの基準時間［ｘ（ｉ＋１）］より、［ｘ（ｉ）］に近い時間であるか否かを判定する式である。

この式（式１）を満たすとき、ステップＳ８１１に進み、フィルムロール表示対象のｉ番目の画像フレームとして、ハイライトポイントｔｊの時刻のフレームに置き換え可能と判断し、フィルムロール表示画像のｉ番目の画像フレームとしてハイライトポイントｔｊの時刻のフレームを適用して表示する。画像の表示方法は、先に述べたとおり動画像をデコードする方法や、あらかじめ保存されているフレームの静止画画像（サムネイル画像）を表示する方法などを適用する。

ステップＳ８０４において、
ｘ−（Δｘ／２）＜＝ｔｊ＜ｘ＋（Δｘ／２）・・・（式１）
を満足しないと判定されると、ステップＳ８０５に進み、置き換え可能なハイライトポイントはないとして、フィルムロール表示画像のｉ番目の画像フレームとして時刻ｘ（ｉ）のフレーム画像を選択して表示する。

次に、ステップＳ８０６において、選択されたフィルムロール表示画像の数が、初期的に決定されている表示枚数に達したか否かが判定され、まだ、達していない場合は、ステップＳ８０７に進み、パラメータｉを１つインクリメントして、ステップＳ８０８において、ｉ番目の表示フレームの基準時間（記録時刻）を、
ｘ（ｉ）＝ｘ（ｉ−１）＋Δｘ
によって算出した後、ステップＳ８０３以下の処理を繰り返し実行する。

この処理を、フィルムロール表示画像の数が、初期的に決定されている表示枚数に達するまで繰り返し実行し、ステップＳ８０６において、選択されたフィルムロール表示画像の数が、初期的に決定されている表示枚数に達したと判定されると処理を終了する。

この処理によって、フィルムロール表示される表示画像の多くは、重要シーンとして選択されたハイライトポイントの画像に置き換えることができ、ユーザは、動画像の内容の把握や、再生シーンの選択を効率的に行なうことが可能となる。また、本処理例に従ってフィルムロール表示される選択画像は、時系列に並べられるので時間的矛盾を生じさせることがない。

次に、ユーザーの操作に応じてフィルムロール表示の範囲を変化させるときの手順について述べる。先に述べたように、フィルムロール表示のフレームの時間間隔は、適当な値で構わないが、フレームの時間間隔の最小値は、フレームの画像を得ることができる最小単位の時間によって決まる。

例えば、撮影画像データがＭＰＥＧデータとして記録される場合において、ＭＰＥＧのＧＯＰ（Ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）を構成するＩピクチャのみをフィルムロール表示に適用するフレーム画像として選択する構成を持つ装置では、フィルムロール表示される画像の時間間隔の最小値はＧＯＰの時間となる。この最小時間をｄｍｉｎとする。フレームの時間の最大値は、動画像の長さによって決まる。例えば、動画像の長さをフレーム画像表示領域の数で割った値である。この最大時間をｄｍａｘとする。

このとき、フィルムロール表示される表示画像のフレーム時間間隔は、
ｄｍｉｎ，ｄｍｉｎ×２，ｄｍｉｎ×３，...ｄｍｉｎ×ｋ，ｄｍａｘ
（ただし、ｋは自然数であり、ｄｍｉｎ×ｋ＜ｄｍａｘ＜＝ｄｍｉｎ×（ｋ＋１））の値をとることができる。

さて、今、フレーム時間間隔Δｘ＝ｄとして先述の手順によりフィルムロール表示を行っていたときに、Δｘ＝ｄｎｅｗのフィルムロール表示に変更する手順であるが、例えば、フィルムロールの一番先頭の時間ｘ１はそのままにして、Δｘ＝ｄｎｅｗに置き換えて先の手順によりｘ２，．．，ｘｎの時間を求め、フィルムロール表示を行えばよい。

以上の手順により、様々な時間間隔でフィルムロール表示を行うことが可能であるため、例えばユーザが細かい時間間隔でより詳細なフィルムロール表示を見たい場合は、その指示を受け細かい時間間隔でフィルムロール表示を行えばよいし、逆に、ユーザが大雑把な時間間隔で動画像の全体を把握したい場合は、その指示を受け大きな時間間隔でフィルムロール表示を行えばよい。

次に、フィルムロール表示からそのフレームの位置の動画を再生する手順について述べる。上述した処理によってフィルムロール表示をすることにより、フィルムロール表示のフレームには、重要なシーンである可能性が高いハイライトポイントのフレーム画像が多く存在する。ユーザがフィルムロール表示を見て、そのハイライトポイントのシーンを再生したい場合は、フィルムロール表示の該当する画像を選択する。選択の方法は入力デバイスによるが、例えばタッチパネルにより該当画像を直接選択する方法や、例えばフィルムロール表示の１つのフレームにカーソルを表示し、左右方向のボタンを押してカーソルを移動させ、再生したいフレームの位置にカーソルがある状態で、再生を開始するボタンを押す方法などが適用可能である。ユーザによる選択情報は、マイクロプロセッサ１１１に入力され、マイクロプロセッサ１１１は、選択されたフレーム画像のハイライトポイント（記録時刻）を、ハイライトポイント情報などから取得し、その時刻からの動画像再生を開始する。あるいは、ハイライトポイントの時刻の少し手前から再生をすることにより、ハイライトポイント付近のシーンを再生する。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

上述したように、本発明の一実施例構成によれば、例えばデジタルビデオカメラにおいて撮影された動画像データから選択された複数のフレーム画像を並べて表示させる、例えばフィルムロール表示処理において、表示対象のフレーム画像の選択を実行する際、動画像データに対応付けて記録された重要シーン撮影部分を識別可能なハイライトポイント情報を適用し、ハイライトポイントに対応する画像フレームを優先的に表示対象フレームとして選択する処理を実行する構成としたので、フィルムロール表示される表示画像の多くが重要シーンの画像となり、ユーザは、動画像の内容の把握や、再生シーンの選択を効率的に行なうことが可能となる。

本発明の一実施例に係る撮像装置の構成を示すブロック図である。 ズーム操作情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。 ズーム操作情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。 加速度センサ情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。 加速度センサ情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。 音声情報に基づくハイライトポイント抽出処理について説明する図である。 音声情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。 音声情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。 ＧＰＳ情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。 ＧＰＳ情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。 クロック情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。 クロック情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。 静止画撮影情報に基づくハイライトポイント抽出処理シーケンスについて説明するフローチャートを示す図である。 静止画撮影情報に基づくハイライトポイント抽出処理例、およびハイライトポイント情報のデータ構成例について説明する図である。 各種情報に基づくハイライトポイント抽出処理によって取得されるハイライトポイント情報を示す図である。 ハイライトシーン再生に適用するハイライトポイント選択処理シーケンスについて説明するフローチャートを示す図である。 ハイライトシーン再生子より例について説明する図である。 フィルムロール表示の表示例について説明する図である。 フィルムロール表示の表示例について説明する図である。 フィルムロール表示の表示処理シーケンスを説明するフローチャートを示す図である。

符号の説明

１０１ レンズ
１０２ イメージャ
１０３ Ａ／Ｄ変換部
１０４ カメラ信号処理部
１０５ マイク
１０６ Ａ／Ｄ変換部
１０７ 音声信号処理部
１０８ 入力デバイス
１０９ 加速度センサ
１１０ ＧＰＳモジュール
１１１ マイクロプロセッサ
１１２ 記録媒体
１１３ クロック
１２０ メモリ
１２１ 画像エンコード部
１２２ 音声エンコード部
１２３ 画像デコード部
１２４ 音声デコード部
１２５ 表示部
１２６ Ｄ／Ａ変換部
１２７ ディスプレイ
１２８ 音声信号処理部
１２９ Ｄ／Ａ変換部
１３０ スピーカ

Claims (10)

1. 動画像データから選択された複数のフレーム画像を並べて表示する処理を実行するデータ処理部を有し、
   前記データ処理部は、
   表示するフレーム画像の選択処理において、前記動画像データに対応付けて記録された重要シーン撮影部分を識別可能なハイライトポイント情報を適用した処理を実行する構成であり、
   動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出し、ただしｋ＝０〜（ｎ−１）の整数、
   前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示し、
   前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示し、
   表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行う構成である情報処理装置。
2. 前記データ処理部は、
   重要シーンの記録時刻を持つハイライトポイント情報から、重要シーン記録時刻［ｔｊ］を取得し、時系列に設定された複数の表示フレーム画像に対応する基準時間［ｘ］と、表示フレーム画像の時間間隔［Δｘ］を適用して算出される以下の条件式、
   ｘ−（Δｘ／２）＜＝ｔｊ＜ｘ＋（Δｘ／２）
   を、重要シーン記録時刻［ｔｊ］が満足する場合、前記重要シーン記録時刻［ｔｊ］を持つハイライトポイントに対応するフレーム画像を表示対象フレーム画像として選択する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
3. 画像の撮影処理実行期間における入力情報に基づいて、撮影データ中から重要シーン撮影部分の選択処理を実行し、選択した重要シーン撮影部分を識別可能なハイライトポイント情報を生成して、撮影画像データの対応情報として記録媒体に記録する処理を実行する記録データ処理部と、
   動画像データから選択された複数のフレーム画像を並べて表示する処理を実行する再生データ処理部を有し、
   前記再生データ処理部は、
   動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出し、ただしｋ＝０〜（ｎ−１）の整数、
   前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示し、
   前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示し、
   表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行う構成である撮像装置。
4. 前記記録データ処理部は、
   前記入力情報としてズーム操作情報、または加速度センサの検出情報、または音声信号のレベル情報、ＧＰＳの取得情報、またはクロック情報、または静止画撮影情報の少なくともいずれかを入力し、該入力情報に基づいて重要シーン撮影部分の識別処理を実行し、前記ハイライトポイント情報を生成する処理を実行する構成であることを特徴とする請求項３に記載の撮像装置。
5. 情報処理装置において画像表示処理を実行する情報処理方法であり、
   前記情報処理装置のデータ処理部において、動画像データから選択された複数のフレーム画像を並べて表示するデータ処理ステップと、
   前記データ処理部において、動画像再生処理を実行する動画像再生ステップを有し、
   前記データ処理ステップは、
   表示するフレーム画像の選択処理において、前記動画像データに対応付けて記録された重要シーン撮影部分を識別可能なハイライトポイント情報を適用した処理を実行するステップであり、
   動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出、ただしｋ＝０〜（ｎ−１）の整数、するステップと、
   前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示するステップと、
   前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示するステップを含み、
   前記動画像再生ステップは、
   表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行うステップであることを特徴とする情報処理方法。
6. 前記データ処理ステップは、
   重要シーンの記録時刻を持つハイライトポイント情報から、重要シーン記録時刻［ｔｊ］を取得し、時系列に設定された複数の表示フレーム画像に対応する基準時間［ｘ］と、表示フレーム画像の時間間隔［Δｘ］を適用して算出される以下の条件式、
   ｘ−（Δｘ／２）＜＝ｔｊ＜ｘ＋（Δｘ／２）
   を、重要シーン記録時刻［ｔｊ］が満足する場合、前記重要シーン記録時刻［ｔｊ］を持つハイライトポイントに対応するフレーム画像を表示対象フレーム画像として選択する処理を実行することを特徴とする請求項５に記載の情報処理方法。
7. 撮像装置において実行する情報処理方法であり、
   前記撮像装置の記録データ処理部において、画像の撮影処理実行期間における入力情報に基づいて、撮影データ中から重要シーン撮影部分の選択処理を実行し、選択した重要シーン撮影部分を識別可能なハイライトポイント情報を生成して、撮影画像データの対応情報として記録媒体に記録する処理を実行する記録データ処理ステップと、
   前記撮像装置の再生データ処理部における実行ステップとして、動画像データから選択された複数のフレーム画像を並べて表示する再生データ処理ステップを有し、
   前記再生データ処理ステップは、
   動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出、ただしｋ＝０〜（ｎ−１）の整数、するステップと、
   前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示するステップと、
   前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示するステップと、
   表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行うステップを含むことを特徴とする情報処理方法。
8. 前記記録データ処理ステップは、
   前記入力情報としてズーム操作情報、または加速度センサの検出情報、または音声信号のレベル情報、ＧＰＳの取得情報、またはクロック情報、または静止画撮影情報の少なくともいずれかを入力し、該入力情報に基づいて重要シーン撮影部分の識別処理を実行し、前記ハイライトポイント情報を生成する処理を実行することを特徴とする請求項７に記載の情報処理方法。
9. 情報処理装置において画像表示処理を実行させるコンピュータ・プログラムであり、
   前記情報処理装置のデータ処理部において、動画像データから選択された複数のフレーム画像を並べて表示するデータ処理ステップと、
   前記データ処理部において、動画像再生処理を実行する動画像再生ステップを実行させるコンピュータ・プログラムであり、
   前記データ処理ステップは、
   表示するフレーム画像の選択処理において、前記動画像データに対応付けて記録された重要シーン撮影部分を識別可能なハイライトポイント情報を適用した処理を実行するステップであり、
   動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出、ただしｋ＝０〜（ｎ−１）の整数、するステップと、
   前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示するステップと、
   前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示するステップを含み、
   前記動画像再生ステップは、
   表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行うステップであることを特徴とするコンピュータ・プログラム。
10. 撮像装置において情報処理を実行させるコンピュータ・プログラムであり、
    撮像装置の記録データ処理部において、画像の撮影処理実行期間における入力情報に基づいて、撮影データ中から重要シーン撮影部分の選択処理を実行し、選択した重要シーン撮影部分を識別可能なハイライトポイント情報を生成して、撮影画像データの対応情報として記録媒体に記録する記録データ処理ステップを実行させ、
    前記撮像装置の再生データ処理部において、動画像データから選択された複数のフレーム画像を並べて表示する再生データ処理ステップを実行させるコンピュータ・プログラムであり、
    前記再生データ処理ステップは、
    動画像データの記録時間を表示フレーム画像数［ｎ］で除算して算出した表示フレーム画像の時間間隔［Δｘ］と、先頭の表示フレーム画像の記録時間［ｘ（１）］を適用して、表示フレーム画像の選択基準となる複数のフレーム画像各々の記録時間［ｘ（１）＋ｋΔｘ］を基準時間として算出、ただしｋ＝０〜（ｎ−１）の整数、するステップと、
    前記基準時間に最も近く、かつ基準時間との差が予め定めた閾値時間範囲内の記録時間を持つハイライトポイント対応のフレーム画像が存在する場合は、該ハイライトポイント対応のフレーム画像を選択して表示するステップと、
    前記閾値時間範囲にハイライトポイント対応のフレーム画像が存在しない場合は、前記基準時間に対応するフレーム画像を選択して表示するステップと、
    表示された複数のフレーム画像に対する選択情報の入力に応じて、選択フレーム画像の直前位置を再生開始位置とした動画像再生を行うステップを含むコンピュータ・プログラム。

Images