以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.撮像装置の構成
2.撮像装置の機能構成
3.地図画面の表示例
4.地図画面におけるサムネイル画像の表示例
5.軌跡線がなぞられたときのサムネイル画像の表示例
6.地図画面の拡大/縮小表示
7.地図画面を用いた動画像の編集
8.地図画面の表示処理フロー
9.地図画面における編集処理フロー
10.まとめ
[1.撮像装置の構成]
まず、図1〜図3を参照して、本発明の第1の実施形態に係る画像処理装置の一例である撮像装置の構成について説明する。図1、図2は、本実施形態に係る撮像装置10の正面側と背面側の外観構成を示す斜視図であり、図3は、本実施形態に係る撮像装置10のハードウェア構成を示すブロック図である。
図1、図2に示すように、本実施形態に係る画像処理装置は、例えばデジタルビデオカメラ等の撮像装置10で構成されており、動画像を撮像及び記録する機能と、記録された動画像を再生及び表示する機能を有する。しかし、本発明の画像処理装置は、撮像装置の例に限定されず、タッチパネル等の画面位置検出手段を備えた任意の電子機器、例えば、デジタルスチルカメラ、携帯電話、PDA(Personal Digital Assistant)、携帯型の映像/音楽プレーヤー、携帯端末、ゲーム機、パーソナルコンピュータ、画像再生装置、画像編集装置などにも適用できる。
撮像装置10の外装を構成するケース12は、左右方向の幅よりも大きな寸法の前後方向の長さ及び上下方向の高さを有している。なお、本明細書において左右は、撮像装置10を後方から見た状態でいうものとし、また、撮像光学系の光軸方向で被写体側を前方といい、撮像素子側を後方という。
ケース12の上部の前部には、撮像光学系14が組み込まれたレンズ鏡筒16が前後に延設され、レンズ鏡筒16の前部がケース12の前面に臨むように設けられている。レンズ鏡筒16の後端には撮像光学系14によって導かれた被写体像を撮像する撮像素子18(図3参照)が設けられている。
図1に示すように、ケース12の左側部には、表示パネル20が開閉可能に設けられ、この表示パネル20は閉じられた際に収容凹部1202に収容される。表示パネル20は、撮像素子18によって撮像された画像などを表示するための表示部の一例であり、例えば、液晶表示装置(LCD:Liquid Crystal Display)、有機EL表示装置(Organic Electro Luminescence Display)などで構成される。なお、収容凹部1202の底壁には、再生された音声データを出力するためのスピーカ22(図3参照)が設けられている。
図2に示すように、ケース12の右側面には、前後方向に延在するグリップベルト26が設けられている。さらに、ケース12の右側部には、画像データや音声データを記録するディスク状記録媒体2(図3参照)を装脱可能に収容する収容部24が設けられ、収容部24は開閉蓋2402により開閉される。ディスク状記録媒体2は、例えば、ブルーレイディスク(Blu−ray Disc)、DVD(Digital Versatile Disc)、CD(Compact Disc)等の光ディスクである。なお、撮像された画像を記録するための記録媒体は、上記光ディスク以外にも、例えば、光磁気ディスク、メモリカード4(図3参照)等の半導体メモリといった任意のリムーバブルメディアであってもよいし、或いは、撮像装置10に内蔵されたハードディスク等の内蔵型記録媒体であってもよい。
また、ケース12の上面前部には、音声を収音するためのマイクロフォン28が設けられている。ケース12の上面後部には、小型の表示装置2902(図3参照)が組み込まれた電子式ビューファインダー装置29が設けられている。また、ケース12の背面下部側には、バッテリ25が着脱可能に装着される。
さらに図1及び図2に示すように、撮像装置10には、撮像に関する種々の機能の実行を指示するための操作部として、例えば、電源スイッチ30A、静止画撮像用ボタン30B、ズーム用スイッチ30C、モード切換用スイッチ30D、動画撮像用ボタン30E、インデックス用ボタン30Fなどが設けられている。動画撮像用ボタン30Eは、ユーザが撮像装置10に対して、撮像された動画の録画開始/録画終了を指示するための操作具であり、録画開始ボタン及び録画終了ボタンとして兼用される。ユーザが、撮像したい被写体の構図を決めて動画撮像用ボタン30Eを押下すると、撮像装置10は録画動作を開始し、ユーザがもう一度動画撮像用ボタン30Eを押下すると、撮像装置10は録画動作を終了する。なお、録画動作とは、上記撮像素子18によって連続的に撮像された画像(複数のフレームからなる動画像)のデータを、記録媒体に記録する動作である。
次に、図3を参照して撮像装置10の内部構成について詳述する。図3に示すように、撮像装置10は、上述したケース12、撮像光学系14、レンズ鏡筒16、撮像素子18、表示パネル20、スピーカ22、マイクロフォン28、各種の操作部30A〜Fを備える。さらに、撮像装置10は、タッチパネル40、映像信号用増幅回路100、画像データ処理部102、マイクロフォン用増幅回路104、音声データ処理回路105、出力用増幅回路106、記録再生回路108、コントロール回路110、記録再生機構112、ドライブ回路114、インターフェース回路116、メモリカード用スロット118、ズーム駆動部120、測位部122などを備える。
撮像光学系14、レンズ鏡筒16、撮像素子18及びズーム駆動部120等は、被写体を撮像して撮像信号を出力する撮像部200(図4参照)として機能する。撮像光学系14は、フォーカスレンズ、ズームレンズ等の各種レンズや、不要な波長を除去する光学フィルタ、絞り等の光学部品からなる。被写体から入射された光は、撮像光学系14における各光学部品を介して撮像素子18に導かれる。撮像素子18は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子で構成される。この撮像素子18は撮像光学系14を介して導かれた光を光電変換し、撮像された被写体像を表す撮像信号(アナログ映像信号)を出力する。
映像信号用増幅回路100及び画像データ処理部102は、撮像部により生成された撮像信号を信号処理して画像データを生成する画像処理部210(図4参照)として機能する。上記撮像素子18で生成された撮像信号は映像信号用増幅回路100で増幅され、画像データ処理部102に供給される。画像データ処理部102は、この撮像信号に所定の信号処理を行うことで、画像データ(動画データ又は静止画データ)を生成し、記録再生回路108に供給する。所定の信号処理は、例えば、CDS(Correlated Double Sampling:相関2重サンプリング)処理、プログラマブルゲインアンプ(PGA)によるゲイン処理などのアナログ信号処理や、A/D変換処理、ガンマ補正処理、ホワイトバランス処理等のデジタル信号処理などである。
また、マイクロフォン28で収音された音声信号はマイクロフォン用増幅回路104で増幅され、音声データ処理回路105によって所定の信号処理がなされ音声データとして記録再生回路108に供給される。
記録再生回路108及び記録再生機構112は、画像データ、音声データ等の各種のデータを記録媒体に記録するとともに、記録媒体に記録された各種のデータを再生する記録再生部220(図4参照)として機能する。記録再生回路108は、コントロール回路110からの指示に基づいて、記録再生機構112を制御して、ディスク状記録媒体2に対してデータを記録/再生する。
例えば、記録再生回路108は、コントロール回路110の制御に従って、画像データ処理部102から供給された画像データ(動画データ又は静止画データ)や、音声データ処理回路105から供給された音声データを、記録再生機構112に供給する。記録再生機構112は、動画データ、静止画データや、音声データをディスク状記録媒体2に記録する。
また、記録再生回路108は、画像データ処理部102から供給された動画データ/静止画データや、音声データ処理回路105から供給された音声データを、インターフェース回路116を介して、メモリカード用スロット118に装着されたメモリカード4に記録する。
また、記録再生回路108は、コントロール回路110の制御に従って、画像データ処理部102から供給された動画データ/静止画データを、ドライブ回路114を介して表示パネル20、2902に供給して、画像を表示させる。
また、記録再生回路108は、インターフェース回路116を介してメモリカード4から供給される動画データ/静止画データを、ドライブ回路114を介して表示パネル20、2902に供給して、画像を表示させるとともに、インターフェース回路116を介してメモリカード4から供給される音声データを、出力用増幅回路106を介してスピーカ22に供給して、音声を出力させる。
また、記録再生回路108は、記録再生機構112によりディスク状記録媒体2から再生された動画データ/静止画データを、ドライブ回路114を介して表示パネル20、2902に供給して、画像を表示させるとともに、記録再生機構112によりディスク状記録媒体2から再生された音声データを、出力用増幅回路106を介してスピーカ22に供給して、音声を出力させる。
表示パネル20、2902は、上記のように供給された各種の画像データ(動画像、静止画)を表示する表示部として機能する。例えば、表示パネル20、2902は、記録再生回路108から撮像中にリアルタイムで入力される動画像(ライブビュー画像)を表示する。これにより、ユーザは、撮像装置10で撮像中の動画像を見ながら、撮像操作(例えば、ズーム操作や、録画開始指示、録画終了指示、インデックス指示の入力操作など)を行い、所望の被写体を所望の構図で撮像できる。また、記録媒体2、4に記録されている動画像を記録再生回路108により再生したときに、表示装置130は、記録再生回路108から入力された再生画像を表示する。これにより、ユーザは、記録媒体2、4に記録されている動画像の内容を確認することができる。
タッチパネル40は、表示パネル20の表示画面に対して操作体が接触又は近接した位置を検出する位置検出部として機能する。タッチパネル40は、表示パネル20に重ねて配設されており、操作体が接触又は近接した表示画面上の位置を検知するセンサを具備する。これにより、タッチパネル40は、操作体により指定された表示画面上の位置や、操作体の移動軌跡や移動速度を検出することができる。タッチパネル40の操作に用いられる操作体は、例えば、ユーザの指やスタイラス、タッチペン等である。タッチパネル40は、操作体が接触又は近接した表示画面上の位置を座標として検出し、タッチパネル40により検出された座標は、コントロール回路110に伝送されて、所定の処理が実行される。
タッチパネルとしては、例えば、感圧式、静電気式、光学式など、任意の方式のタッチパネルを使用できる。感圧式タッチパネルは、操作体によりパネルを押圧したときの圧力の変化を検知する。静電気式タッチパネルは、パネルに対する操作体の接触に伴う静電気による電気信号を検知する。光学式タッチパネルは、表示パネルの外枠に設けられた光学センサにより、パネルに接触した操作体の位置や移動方向を検知する方式が一般的である。また、他の方式の光学式センサとして、インセル型の光学式タッチパネルも存在する。インセル型の光学式タッチパネルでは、表示パネルに光学式センサアレイが搭載されており、この光学式センサアレイにより表示パネルに接触又は近接した操作体の位置や移動軌跡を検知する。
また、タッチパネル40としては、操作体の接触を検知する接触式のタッチパネル(例えば、上記感圧式、静電気式のタッチパネル)が一般的である。ユーザは、指やスタイラス等でタッチパネル40の面上を押圧(即ち、タップ)したり、当該押圧した指やスタイラス等を移動させたりすることで、撮像装置10に対して各種の操作を行うことができる。
なお、操作体がタッチパネルに直接接触しなくても、タッチパネルに近接している操作体を認識可能な非接触式のタッチパネルも存在する。この非接触式のタッチパネルは、例えば、上記光学式タッチパネルで実現できる。以下では、説明の便宜上、操作体(例えば指)が接触した位置を検出する接触式のタッチパネル40の例を挙げて説明するが、本発明の位置検出部は、非接触式のタッチパネルや、その他の画面位置検出デバイスで構成することも可能である。
コントロール回路110は、撮像装置10の各部を制御する制御部230(図4参照)として機能する。コントロール回路110は、例えば、不図示のCPU(Central Processing Unit)、EEPROM(Electrically Erasable Programmable ROM)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成される。コントロール回路110におけるROMには、コントロール回路110の各種の制御処理を実行させるためのプログラムが格納されている。CPUは、該プログラムに基づいて動作して、RAMを用いながら、上記各制御のための必要な演算・制御処理を実行する。当該プログラムは、撮像装置10に内蔵された記憶装置(例えばROM)に予め格納しておくことができる。また、当該プログラムは、リムーバブル記録媒体に格納されて、撮像装置10に提供されてもよいし、LAN、インターネット等のネットワークを介して撮像装置10にダウンロードされてもよい。
コントロール回路110の制御について以下に例示する。コントロール回路110は、電源スイッチ30Aに対するユーザ操作に基づいて撮像装置10の電源のオン、オフを行う。
また、コントロール回路110は、静止画撮像用ボタン30Bに対するユーザ操作に基づいて画像データ処理部102及び記録再生回路108に指令を与えることにより、画像データ処理部102から供給される静止画データを、記録再生回路108を介して記録再生機構112に供給することで、静止画データをディスク状記録媒体2に記録させる。このように、静止画撮像用ボタン30Bは、静止画を撮像及び記録するためのいわゆるシャッタボタンとして機能する。
また、コントロール回路110は、ズーム用スイッチ30Cに対するユーザ操作に基づいてズーム駆動部120に指令を与えることにより、撮像光学系14の可動レンズ(図示せず。)を移動させて、撮像光学系14のズーム率を変化させる。
また、コントロール回路110は、モード切換用スイッチ30Dの操作に基づいて画像データ処理部102に指令を与えることにより、画像データ処理部102により動画データを生成する動画撮像モードと、画像データ処理部102により静止画データを生成する静止画撮像モードとを切り換える。なお、動画撮像モードでは、画像データ処理部102で生成された動画データが記録再生回路108を介してディスク状記録媒体2またはメモリカード4に記録され、静止画撮像モードでは、画像データ処理部102で生成された静止画データが記録再生回路108を介してディスク状記録媒体2またはメモリカード4に記録される。なお、コントロール回路110は、上記2つの撮像モード以外にも、記録された画像を再生するための再生モードに切り替えることもできる。
また、コントロール回路110は、動画撮像用ボタン30Eに対する第1のユーザ操作に基づいて、撮像装置10による動画データの記録を開始/停止させる。すなわち、コントロール回路110は、動画撮像用ボタン30Eに対するユーザ操作(録画開始指示)に基づいて、画像データ処理部102及び記録再生回路108に指令を与えることにより、画像データ処理部102から供給される動画データを、記録再生回路108を介して記録再生機構112に供給することで、動画データをディスク状記録媒体2に記録させる動作を開始(録画開始)させる。さらに、コントロール回路110は、動画撮像用ボタン30Eに対する第2のユーザ操作(録画終了指示)に基づいて、上記記録動作を停止(録画終了)させる。このように、動画撮像用ボタン30Eは、ユーザが撮像装置10に対して動画像の録画開始/終了を指示するための操作部材(録画開始/終了用操作部)として機能する。なお、本実施形態に係る撮像装置10では、録画開始用操作部と録画終了用操作部を同一の操作部材(動画撮像用ボタン30E)で構成しているが、両者を別の操作部材で構成してもよい。
また、コントロール回路110は、録画開始指示から録画終了指示までの録画期間中に、インデックス用ボタン30Fに対するユーザ操作(インデックス指示)に基づいて、録画される動画データに関するインデックス情報を生成し、そのインデックス情報を当該動画データに関連づけて記録する。インデックス用ボタン30Fは、ユーザによるインデックス指示を入力するための操作部材(インデックス用操作部)として機能する。
インデックス情報は、録画期間中にユーザにより指定された時点を示す時間情報である。例えば、動画撮像中に、ユーザは、撮像中に盛り上がったシーン(例えば、野球のホームランのシーン)や好みのシーン(例えば、子供の笑顔のシーン)で、インデックス用ボタン30Fを押下する。これにより、録画される動画像の任意の時点にインデックス(しおり)を付加して、撮像中にユーザが指定したシーンを特別なシーンとして識別可能にしておくことができる。このように動画像の撮像時に生成されるインデックス情報は、事後的に動画像を再生したり編集したりするときのインデックスとして有用である。
測位部122は、撮像装置10の現在位置を測定して、動画像の撮像位置を表す撮像位置情報を生成する機能を有する。測位部122は、例えば、GPS(Global Positioning System)センサ、角速度センサ、加速度センサ、磁気センサなどで構成される。測位部122は、かかる各種のセンサを用いて、動画像を撮像した時の撮像装置の位置(緯度、経度等)や姿勢などを測定することによって、動画像を撮像したときの撮像位置を表す撮像位置情報を生成する。
例えば、GPSセンサは、複数のGPS衛星からの電波を受信して、各GPS衛星との距離を割り出すことにより、撮像装置10の現在位置(緯度、経度)を測定する。角速度センサ、加速度センサは、撮像中に撮像装置10が移動したときの角速度、加速度をそれぞれ検出する。磁気センサは、当該撮像装置10の周囲の磁場を検出することで、撮像装置10の向きを検出する。測位部122は、このように検出した撮像装置10の現在位置、角速度、加速度、地磁気の変動などの測定データを解析することによって、動画像を撮像したときの撮像装置10の位置(即ち、撮像位置)を求め、当該撮像位置を表す撮像位置情報を生成する。
コントロール回路110は、記録再生回路105等を制御することにより、上記測位部122により生成された撮像位置情報を、その撮像位置で撮像された動画像のフレームに関連づけて記録媒体に記録する。例えば、測位部122は、動画像の撮像中(録画期間中)に所定の時間間隔(例えば数秒ごと、数分ごと)で撮像位置を測定し、当該撮像位置を表す撮像位置情報を生成する。当該撮像位置情報は、例えば、動画像のフレーム位置情報に関連づけられて、メモリ240(図4参照)に保存される。フレーム位置情報は、動画像を構成する各フレームの位置を表す情報であり、例えば、撮像時刻、タイムコード、動画像の先頭フレームからのフレーム数、又は、動画像の先頭からの時間などである。以下の例では、動画像のフレーム位置情報として、撮像時刻を用いる例について説明するが、撮像位置情報は、かかる例に限定されない。
上記のように撮像位置情報とフレーム位置情報とを関連づけることで、撮像位置情報を、その撮像位置で撮像された動画像のフレームに関連づけることができる。なお、撮像位置情報は、録画される動画像のデータ内に埋め込まれてもよい。これによって、撮像位置情報を、その撮像位置で撮像されたフレームに直接的に関連づけることができる。
また、コントロール回路110は、上記記録再生機構112、記録再生回路108、ドライブ回路114等を制御することにより、録画期間に撮像された動画像から複数のサムネイル画像を生成し、例えば、動画像の録画直後(即ち、録画終了指示の直後)や、ユーザにより指定されたタイミングで、地図画面を表示パネル20に表示させる。この地図画面は、録画された動画像の内容と撮像位置を確認するための録画確認画面(Rec_Review画面)として機能するが、その詳細説明は後述する。
[2.撮像装置の機能構成]
次に、図4を参照して、本実施形態に係る撮像装置10の機能構成について説明する。図4は、本実施形態に係る撮像装置10の機能構成を示すブロック図である。
図4に示すように、撮像装置10は、撮像部200と、画像処理部210と、記録再生部220と、制御部230と、表示パネル20と、各種の操作部30A〜30Fと、別の操作部であるタッチパネル40と、測位部122とを備える。制御部230は、撮像制御部232と、サムネイル生成部234と、地図画面生成部236と、表示制御部238と、記憶部であるメモリ240と、インデックス情報生成部244と、機能制御部246とを備える。以下、撮像装置10の各機能部について説明する。
撮像部200は、例えば図3に示した撮像光学系14、レンズ鏡筒16、撮像素子18と、ズーム駆動部120等の駆動回路からなる。撮像部200は、撮像制御部232による制御に従って、撮像素子18により被写体の光学像を撮像し、当該撮像により得られた画像を表す撮像信号を出力する。
画像処理部210は、例えば図3に示した映像信号用増幅回路100及び画像データ処理部102等からなる。画像処理部210は、撮像制御部232による制御に従って、撮像信号に対して所定の信号処理を施すことにより、複数枚の画像データからなる動画像を生成する。動画像は、所定の時間間隔(例えば1/60秒)で連続的に生成される動画フレームからなる。
記録再生部220は、例えば図3に示した記録再生回路108及び記録再生機構112からなり、ディスク状記録媒体2に対して各種データを記録したり、ディスク状記録媒体2から各種データを再生したりする。例えば、記録再生部220は、撮像制御部232による制御に従って、画像処理部210から入力された動画像をディスク状記録媒体2に記録し、また、ディスク状記録媒体2に記録された動画像を再生する。さらに、記録再生部220は、後述するサムネイル生成部234により生成されたサムネイル画像をディスク状記録媒体2に記録し、また、ディスク状記録媒体2に記録されたサムネイル画像を再生する。
制御部230は、例えば図3に示したコントロール回路110からなり、撮像装置10の各部を制御する。コントロール回路110のプロセッサが、以下に説明する各機能を実現するためのコンピュータプログラムを実行することにより、図4に示す各機能部が実現される。
撮像制御部232は、撮像装置10の撮像動作を制御する。即ち、撮像制御部232は、各種操作部30A〜30Eに対するユーザ操作に応じて、上記のように撮像部200、画像処理部210、記録再生部220を制御して、動画又は静止画の撮像処理や、記録/再生処理を実行させる。例えば、ユーザが動画撮像用ボタン30Eを押下して、録画開始指示を入力すると、撮像制御部232は、記録再生部220を制御して、撮像部200及び画像処理部210により生成された動画像を、ディスク状記録媒体2に記録開始する(録画開始動作)。一方、ユーザが動画撮像用ボタン30Eをもう一度押下して、録画終了指示を入力すると、撮像制御部232は、記録再生部220を制御して、当該動画像の記録を終了する(録画終了動作)。
なお、撮像制御部232は、モード切換用スイッチ30Dに対するユーザ操作に基づいて、撮像装置10の動作モードを、動画撮像モード、静止画撮像モード又は再生モード等に切り替えることができる。動画撮像モード及び静止画撮像モードでは、撮像部200による撮像処理と、画像処理部210による画像処理は継続的に行われており、これらの処理により得られた撮像中の動画像は、表示パネル20にライブビュー画像として表示される。ユーザは、このライブビュー画像を見ながら、被写体の構図やシャッターチャンスを判断して、動画又は静止画の記録指示を撮像装置10に入力する。動画撮像モードでは、上記動画撮像用ボタン30Eによる録画開始指示から録画終了指示までの録画期間に撮像及び画像処理された動画像のデータが、ディスク状記録媒体2に記録される。静止画撮像モードでは、ユーザが静止画撮像用ボタン30B(いわゆるシャッタボタン)を押下したレリーズ指示に応じて、当該レリーズ指示のタイミングで撮像及び画像処理された静止画のデータがディスク状記録媒体2に記録される。
サムネイル生成部234は、撮像された動画像から複数のサムネイル画像を生成する。例えば、サムネイル生成部234は、ユーザによる録画開始指示から録画終了指示までの録画期間に記録される動画像を複数の区間に時分割し、当該動画像の各区間を代表するサムネイル画像をそれぞれ生成する。サムネイル画像は、録画期間に録画された動画像から抽出された静止画像である。区間は、所定の時間長を有する動画像を時分割することにより設定される画像区間である。動画像を時分割した複数の区間をそれぞれ代表する複数のサムネイル画像は、後述する地図画面に表示される。
詳細には、サムネイル生成部234は、動画像を時分割した各区間からそれぞれ1つのフレームの画像を抽出することによって、動画像の各区間のサムネイル画像を生成する。例えば、録画時間が10分である動画像を10個の区間に均等に分割した場合には、個々の区間の時間長は1分となり、10枚のサムネイル画像が生成される。サムネイル生成部234は、全ての動画像を常に所定数(固定数)の区間に時分割し、当該所定数のサムネイル画像を生成してもよいし、或いは、区間の時間長を固定とし、動画像ごとに区間数を変化させて、任意の数のサムネイル画像を生成してもよい。
ここで、サムネイル生成部234が複数のサムネイル画像を生成するタイミングについて説明する。サムネイル画像の生成は、動画像の録画期間中(動画撮像中)に行われてもよいし、或いは、録画後に行われてもよい。
録画期間中にサムネイル画像を生成する場合には、サムネイル生成部234は、画像処理部210から出力される動画像から、所定に時間間隔でフレームを抽出することで、サムネイル画像を生成する。そしてサムネイル生成部234は、そのサムネイル画像と、そのサムネイル画像のフレーム位置情報(例えば、動画像の先頭からのフレーム数又は時間、タイムコード、又は、撮像時刻など)とを、記録再生部220を介して記録媒体2や不図示のメモリ等に記録しておく。このとき、サムネイル画像とフレーム位置情報は、例えば、データベースファイル(AVindexファイル等)として保存されてもよい。
一方、録画後にサムネイル画像を生成する場合には、サムネイル生成部234は、記録媒体2に記録された動画像を読み出し、その動画像を所定の時間間隔で複数の区間に時分割し、各区間内の任意の時点(例えば先頭、末尾、中央など)の画像をそれぞれデコードして、複数のサムネイル画像を生成し、不図示のメモリ等に保存する。また、サムネイル生成部234は、記録媒体2に記録されている動画像から、後述する地図画面で指定された撮像位置に対応するサムネイル画像を生成することもできる。
地図画面生成部236は、地図データベース237と、測位部122により生成された撮像位置情報に基づいて、動画像を撮像したときの撮像位置の軌跡を表す地図画面を生成する。地図画面は、記録媒体2、4に記録された1又は2以上の動画像を撮像したときの撮像位置の軌跡を表す軌跡線を地図中にマッピングした画面である。地図データベース237は、地図画面内に表示される地図情報を保持するデータベースである。地図データベース237は、国内外の各地の地図情報を多様な縮尺で保持している。
測位部122は、上記のようにGPSセンサ等で構成され、動画像の撮像中に撮像装置10の現在位置(即ち、撮像位置)を測定し、測定した撮像位置を表す撮像位置情報を生成する。例えば、ユーザが撮像装置10を移動させて撮像位置を変えながら、1回の連続した撮像動作により動画像を撮像しているときに、測位部122は、所定の時間間隔(例えば、数秒、数分ごと)で複数の撮像位置(例えば緯度・経度)を測定し、これらの撮像位置を表す撮像位置情報を生成する。
そして、制御部230は、測位部122により生成された撮像位置情報を、撮像中の動画像のフレームと関連づけて、メモリ240に記録する。例えば、撮像位置情報は、録画中の動画像のフレーム位置情報と関連づけられて、メモリ240内の撮像位置テーブル242に保存される。
図5は、撮像位置テーブル242の具体例を示す。図5に示すように、撮像位置テーブル242は、1回の連続した撮像動作により撮像された動画像に関し、その撮像中に所定の時間間隔で測定された複数の撮像位置(例えば、緯度X、軽度Y)と、その撮像位置で撮像を行った撮像時刻とを関連づけて保持する。撮像時刻は、上記フレーム位置情報に相当し、その撮像時刻で撮像された動画像のフレームを特定することができる。図5の例では、撮像位置が1分ごとに撮像時刻に関連づけられているので、撮像装置10による撮像時に撮像位置が1分ごとに測定されたことが分かる。このように撮像位置を撮像時刻に関連づけることにより、撮像位置を、その撮像位置で撮像された動画像のフレームに関連づけることができる。
なお、ここでは、撮像位置情報が撮像位置テーブル242に保存される例を説明したが、可かかる例に限定されない。例えば、撮像位置情報は、撮像位置テーブル242以外にも、動画像のファイルとは別の任意のデータベースファイル(例えばAVindex)に記録されてもよい。また、撮像位置情報は、記録媒体2に記録される動画像のファイル内に埋め込まれてもよく、これによって、撮像位置を動画像のフレームに直接的に関連づけることができる。
地図画面生成部236は、メモリ240の撮像位置テーブル242から上記撮像位置情報を読み出し、当該撮像位置情報に基づいて、撮像位置の軌跡線を地図上に描画することで、地図画面300(図6参照)を生成する。この地図画面300は、動画像を撮像したときの撮像位置の軌跡と、各撮像位置で撮像されたサムネイル画像をユーザに提示するためのレビュー機能と、当該動画像に対して所定機能(再生、削除、レーティング等)を実行するため画像操作機能とを兼ね備えているが、詳細は後述する。かかる地図画面300は、表示制御部238によって、動画像の録画終了直後やユーザ指定時などのタイミングで、表示パネル20に表示される。
表示制御部238は、表示パネル20を制御して、各種の画像やデータを表示させる。例えば、表示制御部238は、地図画面生成部236により生成された地図画面300を表示パネル20に表示させる(図6参照)。さらに、表示パネル20に表示された地図画面300の軌跡線302が操作体によりなぞられると、タッチパネル40は、当該なぞられた軌跡線302上のポイント308を順次検出する。そして、表示制御部238は、メモリ240内の撮像位置テーブル242に基づいて、当該タッチパネル40により検出された軌跡線302上の複数のポイント308に対応する複数の撮像位置を特定し、当該各撮像位置で撮像された動画像のフレームを、サムネイル画像310として、地図画面300上に順次表示させる(図8、図9参照)。かかる地図画面300上でのサムネイル画像の表示処理の詳細については後述する。
インデックス情報生成部244は、録画期間中に、ユーザがインデックス用ボタン30Fを用いてインデックス指示を入力した時点を表すインデックス情報を生成し、当該インデックス情報を、録画される動画像に関連づけて保存する。上記のようにインデックス情報は、録画期間中にユーザによりインデックス指示が入力された時点(即ち、インデックス用ボタン30Fが押下された時点)を示す時間情報である。インデックス情報は、動画像中の盛り上がったシーンや好みのシーンに付加されるインデックスとして機能する。
動画像の撮像中(録画期間中)にユーザがインデックス用ボタン30Fを押下して、インデックス指示を入力する。このインデックス指示を入力に応じて、インデックス情報生成部244は、該インデックス指示が入力された時点を示す時間情報(例えば、撮像時刻、又は、動画像の先頭からの時間、タイムコードなど)を含むインデックス情報を生成する。そして、インデックス情報生成部244は、生成したインデックス情報を、当該動画像に関連づけてメモリ240に保存する。このように、インデックス情報を生成することで、録画される動画像に対して、ユーザ所望のシーンを表すインデックスを付加できる。
上記地図画面生成部236は、撮像中にインデックスが付加された時点での撮像位置を表すインデックスマーク306(図7参照)を、地図画面300の軌跡線302上に描画してもよい(図7参照)。これにより、地図画面300を見たユーザは、撮像位置の軌跡の中で、インデックスが付加された位置を把握できる。
機能制御部246は、録画された動画像の地図画面300の表示中に、タッチパネル40に対するユーザ操作に基づいて、当該動画像の一部又は全部に対して、所定機能を実行する。所定機能は、動画像の画像データに対して実行可能な任意の機能であり、例えば、動画像の少なくとも一部の区間の削除、再生、評価値の付与(即ち、レーティング)又はプレイリストの作成などの機能である。機能制御部246は、これらの所定機能を、録画された1つの動画像の全部に対して行ってもよいし、或いは、当該動画像の一部の区間に対してのみ行ってもよい。
詳細には、地図画面300の表示中に、ユーザがタッチパネル40を用いて地図画面300内の軌跡線302に対して所定の操作を行って、当該軌跡線302上の区間316を指定し、さらに、地図画面300内の機能アイコン320を指定する(図12〜図14差参照)。すると、機能制御部246は、ユーザにより指定された軌跡線302上の区間316に対応する撮像位置の区間を求め、さらに、メモリ240に保存されている撮像位置情報に基づいて、当該撮像位置の区間で撮像された動画像の区間(動画像を構成するフレームの範囲)を求める。そして、機能制御部246は、当該動画像の区間に対して、ユーザにより指定された機能アイコン320に対応する所定機能を行う。
例えば、ユーザが、タッチパネル40を用いて、地図画面300の軌跡線302上の任意の区間と、削除アイコン320Dを指定した場合、機能制御部246は、指定された軌跡線の区間に対応する動画像の区間に対して、削除アイコン320Dに対応する機能(即ち、削除機能)を実行する。即ち、機能制御部246は、動画像の当該区間のデータを記録媒体2から部分的に削除する。このようにして、ユーザがタッチパネル40を用いて、地図画面300内で所望の撮像位置の範囲と機能アイコン320を指定することで、撮像装置10は、動画像の区間に対して、削除、レーティング、再生、プレイリスト作成等の所定機能を実行する。
[3.地図画面の表示例]
次に、図6を参照して、本実施形態に係る地図画面300の表示例について説明する。図6は、本実施形態に係る地図画面300の表示例を示す図である。
図6に示すように、地図画面300は、動画像を撮像したときの撮像位置の軌跡を表す軌跡線302を地図304上に描画した画面である。例えば、図6の地図画面300では、公園や東京タワー、鉄道駅、東京湾等を含む地域の地図304が表示されている。この地図304内に、1本の軌跡線302が表示されており、この軌跡線302は、ユーザが撮像装置10を用いて当該地域の動画像を連続的に撮像したときの移動軌跡を表す。軌跡線302は、公園、東京タワー、鉄道駅、東京湾、池等の地点を通っており、ユーザが、これらの地点を順に移動しながら、1つの動画像を連続撮像したことが分かる。
ここで、地図画面300内の1本の軌跡線302は、1回の連続した撮像動作により連続撮像された1つの動画像(クリップとも称する。)に関する撮像位置の軌跡を表している。図6の例の地図画面300では、当該1つの動画像に対応する1本の軌跡線302のみが表示されている。しかし、1つの地図画面300内に、複数の動画像にそれぞれ対応する複数本の軌跡線302を表示してもよい。
かかる地図画面300は、動画像に関連づけられた撮像位置情報に基づいて生成される。上述したように、撮像位置情報は、撮像装置10による動画像の撮像時に所定の時間間隔で測定された複数の撮像位置を表す。この撮像位置情報は、撮像装置10のメモリ240に、動画像のフレーム位置情報に関連づけて記録されている。撮像装置10は、当該撮像位置情報が表す複数の撮像位置を地図304上にプロットし、そのプロットした点を結んで軌跡線302を描画する。
さらに、地図画面300は、上記のように軌跡線302が描画された地図304に加え、GUI部品である複数の機能アイコン320を含む。機能アイコン320は、動画像に対して所定の機能(削除、再生、レーティング、プレイリスト作成など)を行うために用いられる。機能アイコン320としては、例えば、再生アイコン320A、プレイリストアイコン320B、レーティングアイコン320C、削除アイコン320Dがあるが、これらの説明は後述する。
このような地図304上に軌跡線302が描かれた地図画面300は、動画像の録画終了直後や、ユーザによる表示指示があったときに、撮像装置10の表示パネル20に表示される。かかる地図画面300を表示することで、ユーザは、動画像を撮像したときの撮像位置の軌跡を容易かつ的確に把握することができるので、動画像を撮像したときの撮像状況や被写体を空間的に把握できる。
また、図7は、地図画面300の変更例を示す。図7に示す地図画面300では、軌跡線302上に複数のインデックスマーク306が表示されている。このインデックスマーク306は、動画像の撮像時にユーザによりインデックスが付加された時点における撮像位置を示している。上記のように、ユーザは、動画像の撮像中に盛り上がったシーンや好みのシーンで、インデックス用ボタン30Fを押下することで、動画像に対してインデックスを付加することができる。かかるインデックスは、特に長時間の動画像の内容を確認又は編集するときに有用である。
図7に示すように、上記インデックスが付加されたときの撮像位置を表すインデックスマーク306を、地図画面300の軌跡線302上に表示することで、ユーザは、動画像の撮像位置のうち、インデックスが付加された撮像位置を把握でき、盛り上がったシーンや好みのシーンの位置を確認できる。また、後述する地図画面300を利用した動画像の編集時には(図12〜図16参照)、ユーザは、インデックスマーク306を目安にして、上記動画像を編集する区間を指定できる。例えば、インデックスが付加されている盛り上がりシーン等を削除しないように、動画像を部分的に削除できる。
[4.地図画面におけるサムネイル画像の表示例]
次に、図8を参照して、地図画面300上に表示される動画像のサムネイル画像310について説明する。図8は、本実施形態に係る地図画面300において、ユーザが指で軌跡線302上のポイントを指定したときの表示例である。
図8に示すように、地図画面300の表示中に、ユーザが操作体(例えば指)により軌跡線302上の任意のポイント308Aを指定する。すると、タッチパネル40は、ユーザに指定されたポイント308Aを検出し、表示制御部238は、そのポイント308Aに対応する撮像位置で撮像されたサムネイル画像310Aを、地図画面300上のポイント308Aの近傍に表示さする。図8の例では、軌跡線302上の東京タワーの近傍のポイント308Aが指定されたときに、東京タワーのサムネイル画像310Aがポップアップ表示されている。この東京タワーのサムネイル画像310Aは、ユーザにより指定されたポイント308Aに対応する撮像位置で撮像された動画像のサムネイル画像310である。
ここで、軌跡線302上のポイント308Aが指定されたときに、指定されたポイント308Aに対応するサムネイル画像310Aを地図画面300上に表示する方法について、具体的に説明する。
軌跡線302上のポイント308は動画像の撮像位置に対応しており、かつ、動画像の撮像位置と、その撮像位置で撮像された動画像のフレーム位置は、例えば撮像位置テーブル242で関連づけられている。そこで、表示制御部238は、指定されたポイント308Aに対応する撮像位置を求め、その撮像位置に関連づけられたフレーム位置(例えば、撮像時刻、タイムコード等)を求め、さらに、当該フレーム位置で特定される動画像のフレームを、指定されたポイント308Aに対応するサムネイル画像310Aとして抽出する
ところが、上述したように、動画像の撮像時には、測位部122は、常時、撮像位置を測定しているのではなく、所定の時間間隔で撮像位置を測定している。このため、動画像の一部のフレームに対してのみ撮像位置情報が関連づけられることとなり、動画像の全てのフレームに対して撮像位置情報が関連づけられるわけではない。従って、指定されたポイント308Aに対して撮像位置情報が付加されていない場合には、そのポイント308Aに厳密に対応するフレームを特定できないこともある。そこで、表示制御部238は、指定されたポイント308Aに対応するサムネイル画像310Aを得るために、例えば、次の第1、第2の方法を利用してもよい。
第1の方法では、表示制御部238は、動画像の撮像中に測定された複数の撮像位置の中から、指定されたポイント308Aに最も近い撮像位置を選択する。そして、当該最も近い撮像位置に関連づけられたフレームを、ポイント308Aに対応するサムネイル画像310Aとして抽出して、地図画面300上に表示する。この第2の方法は、撮像位置の測定間隔が密である場合に有効である。
一方、撮像位置の測定間隔が粗である場合、即ち、撮像位置情報が付加されたポイントが少ない場合には、第2の方法を利用してもよい。この第2の方法では、表示制御部238は、撮像位置情報が付加された2点のポイントのフレーム位置情報(例えば撮像時刻)を用いて、指定されたポイント308Aのフレーム位置情報を補完する。例えば、撮像位置情報が付加されたポイントA、Bの撮像時刻Ta、Tbと、ポイントA、Bとポイント308A間の距離La、Lbを用いれば、ポイント308Aの撮像時刻Txを補完することができる。そして、表示制御部238は、補完されたフレーム位置で特定されるフレームを、ポイント308Aに対応するサムネイル画像310として抽出して、地図画面300上に表示する。
以上のような方法を用いれば、ユーザにより指定された任意のポイント308Aに対応するサムネイル画像310を取得して、地図画面300上に表示することができる。これにより、ユーザは、地図画面300において軌跡線302上のポイント308Aを指定することで、そのポイント308Aに対応する撮像位置で撮像されたサムネイル画像310Aを表示させることができる。このサムネイル画像310を見ることで、動画像のサムネイル画像310Aを撮像位置と関連づけて把握できる。
[5.軌跡線がなぞられたときのサムネイル画像の表示例]
次に、図9を参照して、地図画面300上に、各撮像位置のサムネイル画像310を連続的に表示する例について説明する。図9は、本実施形態に係る地図画面300において、ユーザが指で軌跡線302をなぞったときの表示例である。
図9に示すように、ユーザが地図画面300上の軌跡線302を操作体(例えば指)でなぞると、なぞられた軌跡線302上のポイント308A、308B、308Cに対応する複数のサムネイル画像310A、310B、310Cが、地図画面300上の軌跡線302に沿って順次表示される。このとき、複数のサムネイル画像310A、310B、310Cが同時に表示されるのではなく、ユーザにより現在なぞられている軌跡線302上のポイント308(即ち、ユーザの指先で現在指定されている軌跡線302の位置)に対応するサムネイル画像310が1つだけ表示される。ユーザの指の位置が移動すれば、元のポイント308A、308Bのサムネイル画像310B、310Cは消去され、新たなポイント308Cのサムネイル画像310Cが表示される。
このようなサムネイル画像310の表示処理について詳細に説明する。ユーザにより地図画面300上の軌跡線302がなぞられると、タッチパネル40は、なぞられた軌跡線302上の複数のポイント308A、308B、308Cの座標位置を順次検出する。すると、表示制御部238は、タッチパネル40により検出された複数のポイント308A、308B、308Cの座標位置にそれぞれ対応する複数の撮像位置を求める。さらに、表示制御部238は、上記図8の例と同様にして、撮像位置テーブル242に基づいて、当該複数の撮像位置にそれぞれ対応する動画像の複数のフレームを、複数のサムネイル画像310A、310B、310Cとして抽出して、地図画面300上に順次表示させる。
このとき、表示制御部238は、記録媒体2に記録されている動画像の該当フレームを順次デコード及びリサイズしながら、サムネイル画像310を表示してもよい。或いは、サムネイル生成部234により、動画像を代表する複数のサムネイル画像310を予め生成して、メモリ240等の記録媒体に保持しておき、当該記録媒体内のサムネイル画像310の中から、なぞられた軌跡線302上のポイント308に対応するサムネイル画像310を順次選択して表示してもよい。
以上のように、地図画面300上で軌跡線302がなぞられたときに、なぞられた軌跡線302のポイント308A〜Cに対応するサムネイル画像310A〜Cが、軌跡線302に沿って順次表示される。これにより、ユーザは、地図画面300を見ながら所望する区間の軌跡線302をなぞることで、その区間で撮像された動画像のサムネイル画像310を順次見ることができる。従って、撮像軌跡を確認しながら、その撮像軌跡に対応する区間の動画像の内容の遷移を、容易かつ適切に把握できる。
[6.地図画面の拡大/縮小表示]
次に、図10及び図11を参照して、地図画面300に対する所定操作(ピンチイン/ピンチアウト操作)によって、地図画面300上の地図304を縮小/拡大表示する例について説明する。図10は、地図画面300に対するピンチアウト操作を示し、図11は、ピンチアウト操作により拡大表示された地図画面300を示す。
図10に示すように、ピンチアウト操作を行う場合、ユーザは2本の指で地図画面300上の任意の位置をタップしたまま、双方の指を左右に引き離すように移動させる。タッチパネル40は、地図画面300上の位置だけでなく、指等の操作体の移動軌跡も検出できるので、図10のようなピンチアウト操作も検出可能である。
このようなピンチアウト操作がタッチパネル40により検出されると、表示制御部238は、その操作量に応じて、地図画面300に表示される地図304の縮尺を変更し、図11に示すように、ピンチアウト操作された箇所を中心として地図304を拡大表示する。例えば、図11の地図304の縮尺は、図10の地図304の縮尺の2倍である。また、図示はないが、ユーザが地図画面300に対してピンチイン操作を行うと、表示制御部238は、その操作量に応じて、ピンチイン操作された箇所を中心として地図304を縮小表示する。
このようなピンチイン/ピンチアウト操作により、ユーザは、地図画面300に表示される地図304の縮尺を自由に調節できる。例えば、ユーザが地図画面300内の一部の箇所を詳細に見たい場合には、ピンチアウト操作を行って、その箇所を拡大表示させればよい。これにより、その箇所の周辺の撮像環境や軌跡線302の配置を小差に確認できる。
さらに、表示制御部238は、地図画面300に表示される地図304の縮尺に応じて、軌跡線302がなぞられたときにサムネイル画像310が表示されるポイント308の間隔を変更する。例えば、上記ピンチアウト操作により地図304の縮尺が拡大された場合、サムネイル画像310が表示されるポイント308の間隔が狭くなる(図11参照)。一方、上記ピンチイン操作により地図304の縮尺が縮小された場合、サムネイル画像310が表示されるポイント308の間隔を広くする(図9参照)。
この具体例について図9と図11の地図画面300の例を用いて説明する。図9の地図画面300では、ユーザが軌跡線302上をポイント308Bからポイント308Cまでなぞった場合、ポイント308Bでサムネイル画像310Bが表示され、ポイント308Cでサムネイル画像310Cが表示される。しかし、ポイント308Bとポイント308Cの間の区間では、サムネイル画像310は表示されない。従って、サムネイル画像310が表示されるポイント308の間隔は、ポイントBとポイントCの間の距離(例えば100m)である。
一方、図11の地図画面300は、図9の地図画面300と比較して、2倍の縮尺である。この図11の例では、ユーザが軌跡線302上をポイント308Bからポイント308Cまでなぞった場合、ポイント308B及びポイント308Cのみならず、ポイント308Bとポイント308Cの中間のポイント308Dでも、サムネイル画像310Dが表示される。従って、サムネイル画像310が表示されるポイント308の間隔は、ポイント308Bとポイント308Dの間の距離(例えば50m)である。
以上のように図9の地図画面300よりも、図11の地図画面300の方が、サムネイル画像310が表示されるポイント308の間隔が狭い。従って、図11の拡大された地図画面300では、所定範囲の軌跡線302がなぞられたときに表示されるサムネイル画像310の個数が多くなる。即ち、サムネイル画像310の表示間隔が密になる。よって、ユーザは、図11の拡大された地図画面300の軌跡線302をなぞることで、所望の狭い範囲で撮像された動画像の内容を詳細に確認することができる。一方、図9の縮小された地図画面300では、上記所定範囲の軌跡線302がなぞられたときに表示されるサムネイル画像310の個数が少なくとなる。即ち、サムネイル画像310の表示間隔が粗になる。よって、ユーザは、図11の縮小された地図画面300の軌跡線302をなぞることで、広い範囲で撮像された動画像全体の内容の遷移を概略的に把握することができる。
[7.地図画面を用いた動画像の編集]
次に、地図画面300を利用した動画像の編集について説明する。上記のように地図画面300は、(a)動画像の内容を確認するためのレビュー機能と、(b)動画像の少なくとも一部に対して所定機能を実行するため画像操作機能とを兼ね備えている。(b)画像操作機能は、地図画面300内に表示される機能アイコン320により実現される。以下に、地図画面300の画像操作機能について詳述する。
図6〜図11に示したように、地図画面300内には、上記軌跡線302が描画された地図304に加え、複数の機能アイコン320が表示される。機能アイコン320は、録画された動画像に対して所定機能(削除、レーティング、再生、プレイリスト作成等)を実行するための契機となるGUI部品である。図6等の例では、地図画面300の下部に、4つの機能アイコン320として、再生アイコン320A、プレイリストアイコン320B、レーティングアイコン320C、削除アイコン320Dが表示されている。
再生アイコン320Aは、記録媒体2に記録された動画像の少なくとも一部の区間を再生する機能(再生機能)を実行するための機能アイコンである。プレイリストアイコン320Bは、動画像の少なくとも一部の区間を用いてプレイリストを作成する機能を実行するための機能アイコンである。レーティングアイコン320Cは、記録媒体2に記録された動画像の少なくとも一部の区間に対して評価値(例えば5段階評価値)を付与する機能(レーティング機能)を実行するための機能アイコンである。削除アイコン320Dは、記録媒体2に記録された動画像の少なくとも一部の区間を削除する機能(削除機能)を実行するための機能アイコンである。
ユーザは、地図画面300上で機能アイコン320を指定することで、記録媒体2に記録された動画像に対して、当該選択した機能アイコン320に対応する機能を実行させることができる。上述したように、撮像装置10の表示パネル20上にはタッチパネル40が設けられており、タッチパネル40は、ユーザにより指定された表示画面上の位置(画面位置)を検出する。かかるタッチパネル40により、表示パネル20に対するユーザ操作、例えば、ユーザによる軌跡線302の区間の指定操作や機能アイコン320の指定操作などを検出できる。
地図画面300の表示中には、撮像装置10は、タッチパネル40により、ユーザによる機能アイコン320の指定操作の有無を検出している。この結果、地図画面300の表示中にタッチパネル40により検出された地図画面300上の位置が、いずれかの機能アイコン320の表示位置に対応する場合には、ユーザが、当該機能アイコン320を選択したといえる。この場合、撮像装置10は、当該機能アイコン320に対応する機能の実行指示が入力されたと判断し、動画像の少なくとも一部の区間に対して、当該選択された機能アイコン320に対応する機能を実行する。
例えば、地図画面300の表示中に、ユーザが再生アイコン320Aにタップすると、撮像装置10は、地図画面300に対応する動画像を例えば先頭から再生して、表示パネル20に表示する。また、ユーザが地図画面300内の軌跡線302上の任意のポイント308を指定してから、再生アイコン320Aにタップすると、撮像装置10は、指定されたポイント308に対応するフレーム位置から、動画像を再生開始するようにしてもよい。
また、地図画面300の表示中に、ユーザがプレイリストアイコン320Bにタップすると、撮像装置10は、地図画面300に対応する動画像を含むプレイリストを作成する。プレイリストは、ユーザが選択した1又は2以上の動画像を再生するためのリストである。撮像装置10は、プレイリストアイコン320Bがタップされた後、所定のユーザ操作に応じて、地図画面300に対応する動画像を含む新規のプレイリストを作成してもよいし、当該動画像を既存のプレイリストに追加してもよい。
また、地図画面300の表示中に、ユーザがレーティングアイコン320Cにタップすると、撮像装置10は、記録媒体2に記録された動画像に対して、ユーザにより指定された評価値を付与する。例えば、ユーザによりレーティングアイコン320Cがタップされると、撮像装置10は、評価値を入力するための画面(図示せず。)を表示し、その入力画面内で指定された評価値を動画像に付与するようにしてもよい。入力された評価値の情報は、動画像に関連づけてメモリ等に保存される。評価値は、例えばレベル1〜レベル5までの多段階で付与することが可能である。
また、地図画面300の表示中に、ユーザが削除アイコン320Dにタップすると、撮像装置10は、地図画面300に対応する動画像を削除する。この場合、撮像装置10は、削除アイコン320Dのタップに応じて、直接、動画像を削除してもよい。或いは、撮像装置10は、削除するか否かを確認するための確認ダイアログ(図示せず)を表示し、ユーザ確認が得られた場合に、動画像を削除してもよい。また、動画像を削除する方法としては、例えば、記録媒体2に記録されている動画像のデータを完全に削除する方法の他、当該動画像のデータを削除リストに移動させて所定期間保持した後に削除する方法、又は、実際には動画像のデータは保存されているが、ユーザに当該データを提示しない方法などがある。
以上では、地図画面300に対応する動画像全体に対して所定機能を実行する例について説明したが、当該動画像の一部の区間に対して部分的に所定機能を実行することも可能である。
図12〜図14は、地図画面300を用いて動画像一部の区間を削除するときのユーザ操作を示す図である。図12は、軌跡線302上の始点312を指定する操作を示し、図13は、軌跡線302上の終点314を指定する操作を示し、図14は、始点312から終点314までの区間316を削除アイコン320Dにドラッグアンドドロップする操作を示す。
上述したように、地図画面300上の軌跡線302がなぞられると、各撮像位置でのサムネイル画像310が順次表示される。ユーザは、かかるサムネイル画像310と地図304内の撮像位置を見ながら、編集したい動画像の区間を判断する。地図画面300上で動画像の区間を編集する場合、ユーザは、まず、図12に示すように軌跡線302上の始点312を指定し、次いで、図13に示すように軌跡線302上の終点314を指定する。始点312と終点314で特定される軌跡線302の区間316は、ユーザが編集したい動画像の区間に対応している。その後、ユーザは、図14に示すように、指で地図画面300上をなぞりながら、上記指定された始点312と終点314の間の軌跡線302の区間316を、削除アイコン320Dにドラッグアンドドロップする。以上のような始点312及び終点314の指定操作と、区間316を削除アイコン320Dへドラッグアンドドロップする操作が、地図画面300上で動画像の区間を部分的に削除するための所定操作に該当する。撮像装置10は、かかる所定操作に応じて、上記始点312と終点314で指定された区間316に対応する動画像の区間を部分的に削除する。
上記のような動画像の部分削除を行うために、撮像装置10が実行する処理について、より詳細に説明する。まず、タッチパネル40は、ユーザによる始点312の指定操作に応じて、指定された軌跡線302の始点312の座標位置を検出し(図12参照)、次いで、ユーザによる終点314の指定操作に応じて、指定された軌跡線302の終点314の座標位置を検出する(図13)。このように、タッチパネル40が、ユーザによる始点312と終点314の指定操作に応じて、指定された始点312と終点314を検出する手法としては、例えば、次の3つの方法(a)〜(c)を例示できる。
(a)タップ圧力の検出
例えば感圧式のタッチパネル40は、ユーザが画面上の任意のポイントを押下したときの圧力を検出できる。そこで、ユーザが指等の操作体を用いて軌跡線302上のポイントを強く押下したときに、タッチパネル40は、その圧力を検出し、圧力が所定以上であれば、始点312又は終点314の指定操作であると判定する。そして、タッチパネル40は、強く押下されたポイントを、始点312又は終点314として検出する。
(b)タップ時間の検出
タッチパネル40は、ユーザが画面上の任意のポイントに接触した時間(タップ時間)を検出できる。そこで、ユーザが指等の操作体を用いて軌跡線302上のポイントに接触し続けたときに、タッチパネル40は、その接触した時間を検出し、当該時間が所定の閾値以上であれば、始点312又は終点314の指定操作であると判定する。そして、タッチパネル40は、長時間タップされたポイントを、始点312又は終点314として検出する。
(c)タップ回数の検出
タッチパネル40は、ユーザが画面上の任意のポイントに対して、所定時間内に連続してタップした回数を検出できる。そこで、ユーザが指等の操作体を用いて軌跡線302上のポイントを所定回数だけタップ(例えばダブルタップ)したときに、タッチパネル40は、そのタップ回数が始点312又は終点314の指定操作であると判定する。そして、タッチパネル40は、上記ダブルタップされたポイントを、始点312又は終点314として検出する。
以上にようにして、タッチパネル40は、ユーザにより指定された軌跡線302上の始点312又は終点314を検出できる。なお、ユーザが、上記所定操作により始点312を指定した後に、同様の操作を行えば、その操作が終点314の指定操作であると判定できる。また、ユーザは、必ずしも始点312と終点314の双方を指定しなくてもよい。例えば、常に軌跡線302の先端(動画像の先頭に相当する。)が始点312なるように設定された場合には、ユーザは、終点314だけを指定すれば、区間316を指定することができる。
また、ユーザが始点312を指定した後に終点314を指定するために、軌跡線302上を始点312からなぞった場合を考える。この場合、図13に示すように、地図画面300の軌跡線302上の始点312から現在なぞられているポイントまでの区間316が、選択状態となり、軌跡線302の他の区間と区別して表示される。図13の例では、選択状態となった軌跡線302の区間316が、他の区間とは異なる色で表示されている。これにより、ユーザは、軌跡線302上の選択している区間を認識できるので、編集区間を決定しやすい。
以上のようにして軌跡線302上の始点312と終点314が指定されると、地図画面300には、その始点312と終点314に対応する撮像位置で撮像されたサムネイル画像310A、310Cが表示される。これにより、ユーザは、指定した始点312と終点314の動画像の内容を確認できる。
その後、図14に示すように、ユーザは、地図画面300上で始点312と終点314の間の区間316を削除アイコン320Dにドラッグアンドドロップする。このドラッグアンドドロップ操作時に、タッチパネル40は、ドロップされた地図画面300上の位置を検出する。ドロップされた位置が、複数の機能アイコン320のうち削除アイコン320Dの表示位置に対応する場合には、ユーザが、当該削除アイコン320Dを指定したことになる。この場合、撮像装置10の機能制御部246は、上記始点312と終点314で指定された区間316に対応する動画像の区間を特定し、記録媒体2に記録されている当該動画像の区間を部分削除する。
以上では動画像を部分的に削除する場合を説明したが、動画像の一部の区間を再生する場合や、動画像の一部の区間に評価値を付与する場合も同様に実行可能である。部分再生の場合、撮像装置10は、ユーザにより指定された1又は2以上のサムネイル画像310に対応する区間の動画像を部分的に再生する。また、部分レーティングの場合、撮像装置10は、ユーザにより指定された1又は2以上のサムネイル画像310に対応する区間の動画像に対して、評価値を部分的に付与する。
次に、図15、図16を参照して、地図画面300を利用してプレイリストを作成する例について説明する。図15、図16は、地図画面300を用いてサムネイル画像310を生成するときのユーザ操作を示す図である。図15は、始点312Aと終点314Aで定まる区間316Aを、第1プレイリストエリア318Aにドラッグアンドドロップする操作を示し、図16は、始点312Bと終点314Bで定まる区間316Bを、第2プレイリストエリア318Bにドラッグアンドドロップする操作を示す。
地図画面300を利用してプレイリストを作成するときには、まず、ユーザは、地図画面300上のプレイリストアイコン320B(図6等参照)にタップする。すると、タッチパネル40は、当該ユーザによるプレイリストアイコン320Bの指定を検出し、表示制御部238は、図15に示すように、地図画面300の下部に複数のプレイリストエリア318A、318B、310Cを表示する。このプレイリストエリア318は、プレイリストを構成する動画像の再生順序を決定するために用いられる。
次いで、ユーザは、図15に示すように、軌跡線302上の始点312A及び終点314Aを指定することで、プレイリストに追加したい最初の区間316Aを指定する。かかる始点312A及び終点314Aの指定は、上記図12〜13で説明した方法と同様である。その後、ユーザは、図15に示すように、指で地図画面300上をなぞりながら、上記指定された軌跡線302の区間316Aを、第1プレイリストエリア318Aにドラッグアンドドロップする。このドラッグアンドドロップ操作は、軌跡線302の区間316Aに対応する動画像の区間をプレイリストの先頭に配置するための操作に相当する。
このようなユーザ操作に応じて、撮像装置10の機能制御部246は、上記軌跡線302の区間316Aに対応する動画像の区間を含むプレイリストを新たに作成する。この結果、図16に示すように、当該軌跡線302の区間316Aの始点312Aのサムネイル画像310Aと終点314Aのサムネイル画像310Cが、地図画面300の第1プレイリストエリア318A内に表示される。また、軌跡線302の区間316Aが選択済みであることを表すために、地図画面300上の区間316Aがグレイアウト表示される。
さらに、ユーザは、図16に示すように、軌跡線302上の始点312B及び終点314Bを指定することで、プレイリストに追加したい次の区間316Bを指定し、さらに、指で地図画面300上をなぞりながら、上記指定された軌跡線302の区間316Bを、第2プレイリストエリア318Bにドラッグアンドドロップする。このドラッグアンドドロップ操作は、軌跡線302の区間316Bに対応する動画像の区間をプレイリストの2番目に配置するための操作に相当する。
このようなユーザ操作に応じて、機能制御部246は、上記軌跡線302の区間316Bに対応する動画像を、上述したプレイリストに追加する。この結果、図示はしないが、当該軌跡線302の区間316Bの始点312Bのサムネイル画像310Eと終点314Bのサムネイル画像310Fが、地図画面300の第2プレイリストエリア318B内に表示され、また、区間316Bがグレイアウト表示される。
以上の操作を繰り返すことにより、ユーザは、地図画面300の軌跡線302から所望の区間316を順次切り出して、その区間316に対応する動画像の区間をプレイリストに追加することができる。このとき、プレイリストに追加された区間のサムネイル画像310が、複数のプレイリストエリア318にそれぞれ表示されるので、ユーザは、プレイリストの内容を一目で把握できる。
撮像装置10は、上記のようにして作成されたプレイリストに関する情報を記録媒体2等に記録する。そして、ユーザにより当該プレイリストの再生指示が入力されたときには、撮像装置10は、当該プレイリスト内に含まれる複数の区間の動画像を順次再生して、表示パネル20に表示する。
なお、図15の操作例では、指定された区間316をプレイリストエリア318にドラッグアンドドロップしたが、かかる例に限定されず、指定された区間316をプレイリストアイコン320Bにドラッグアンドドロップすることで、プレイリストを作成するようにしてもよい。また、1つの軌跡線302上の任意の区間316を重複して切り出して、プレイリストに追加することも可能である。また、地図画面300に複数の動画像の軌跡線302を表示して、これらの軌跡線302の任意の区間316を指定してプレイリストを作成できるようにしてもよい。
以上、図5及び図6を参照して、地図画面300における画像操作機能について説明した。本実施形態に係る地図画面300の画像操作機能によれば、ユーザは、地図画面300上において、動画像の時間軸の情報のみならず、動画像を撮像位置などの空間的な情報をも利用しながら、動画像の一部又は全部を操作又は編集することができる。しかも、かかる動画像に対する操作、編集作業は、タッチパネル40を用いて軌跡線302の区間316と機能アイコン320を指定するという簡単なユーザ操作で実現できる。
特に、撮像装置10による動画像の録画終了直後に、自動的に地図画面300を表示させれば、ユーザは、録画直後の時間的及び空間的な記憶が鮮明なうちに、動画像を編集できるので便利である。
つまり、従来では、撮像装置で録画した動画像を事後的に選別・編集する場合、動画像を再生してその内容を確認する必要があり、非常に煩雑で非効率的な作業であった。例えば、ユーザが、初めて訪れた旅行先で移動しながら撮像する場合や、車窓からの風景を撮像する場合などには、撮像漏れを防ぐために、不要な部分が録画されることを覚悟して、長時間に渡って撮像することがある。このため、録画された動画像は、不要なシーンも多く含んでいる。このような場合、従来のフィルムロール表示のように、単に動画像から複数のサムネイル画像を抽出して表示したとしても、事後的な編集作業では、動画像のどの部分を削除したらよいかを探すことが煩雑である。
これに対し、地図画面300によれば、録画直後のユーザの記憶が鮮明なうちに、撮像位置の情報を利用しながら、動画像の不要部分の削除やプレイリスト作成などの編集作業を行うことができる。よって、編集作業を容易かつ効率的に実行でき、非常に便利である。また、録画直後に表示された地図画面300において、動画像の一部区間を部分的にレーティングしておけば、事後的に動画像を再生閲覧したり編集したりする際にも便利である。
[8.地図画面の表示処理フロー]
次に、図17を参照して、本実施形態に係る撮像装置10による地図画面300の表示処理について説明する。図17は、本実施形態に係る撮像装置10による地図画面300の表示処理を示すフローチャートである。
図17に示すように、まず、撮像装置10は、動画像に関連づけられた撮像位置情報に基づいて、当該動画像の撮像位置の軌跡を表す地図画面300を生成する(S100)。詳細には、まず、撮像装置10は、図4に示したメモリ240に保持されている撮像位置テーブル242から撮像位置情報を読み出す。次いで、撮像装置10は、当該撮像位置情報に含まれる全ての撮像位置をカバーするように、地図画面300に表示する地図304の範囲を決定する、さらに、撮像装置10は、地図データベース237から取得した地図情報を用いて、上記範囲の地図304を描画する。その後、撮像装置10は、撮像位置情報が表す複数の撮像位置を地図304上にプロットし、当該プロットした撮像位置を時系列順に結んで、地図304上に軌跡線302を描画する。
次いで、撮像装置10は、S100で生成された地図画面300を表示パネル20に表示する(S102)。これにより、例えば図6に示したような地図画面300が表示されるので、ユーザは、動画像を撮像したときの撮像位置の推移などの撮像環境を把握できる、
かかる地図画面300の表示中には、撮像装置10は、タッチパネル40により、ユーザが地図画面300の軌跡線302上の任意のポイント308にタップして、当該ポイント308を指定したか否かを検出する(S104)。軌跡線302上のポイント308がタップされた場合には、タッチパネル40は、当該タップにより指定されたポイント308を検出する。そして、撮像装置10は、撮像位置情報に基づいて、検出されたポイント308に対応する撮像位置を求め、その撮像位置で撮像された動画像のフレームを抽出し、該フレームをサムネイル画像310として地図画面300上に表示する(S106)。
この結果、例えば図8に示したように、ユーザが指定したポイント308Aのサムネイル画像310Aが、そのポイント308Aの上部に表示される。これにより、ユーザは、指定したポイント308Aの動画像の内容を把握できる。かかるサムネイル画像310Aは、S108でタップ位置が移動するか、S112でタップが終了するまで表示される。
さらに、ユーザが指で軌跡線302をなぞった場合には、撮像装置10は、なぞられた軌跡線302上の複数のポイント308を順次検出して、軌跡線302の所定間隔ごとに各ポイント308のサムネイル画像310を地図画面300上に順次表示する(S108〜S112)。
詳細には、まず、タッチパネル40は、ユーザによる軌跡線302に対するタップ位置が元のポイント308Aから所定距離だけ移動したか否かを検出する(S108)。当該タップ位置が移動した場合には、撮像装置10は、元のポイント308Aに対応するサムネイル画像310Aを消去し、移動後の新たなポイント308Bに対応するサムネイル画像310Bを地図画面300上に表示する(S110)。このように、ユーザにより軌跡線302がなぞられた場合には、ユーザが地図画面300から指を離してタップが終了するまで(S112)、上記タップ位置の検出処理(S108)とサムネイル画像310の表示処理(S110)を、繰り返す。
この結果、例えば図9に示したように、地図画面300上には、なぞられた軌跡線302上ポイント308A、308B、308Cに対応するサムネイル画像310A、310B、310Cが所定間隔ごとに順次表示される。これにより、ユーザは、地図画面300上の軌跡線302をなぞることで、その軌跡線302に沿った動画像の内容の推移を、撮像位置とともに把握できる。
その後、ユーザが地図画面300の表示を終了するための操作を行った場合には、撮像装置10は、表示パネル20上に表示された地図画面300を消去する(S114)。
[9.地図画面における編集処理フロー]
次に、図18を参照して、本実施形態に係る地図画面300を用いて動画像を編集するときの編集処理について説明する。図18は、本実施形態に係る撮像装置10による地図画面300を用いた動画像の編集処理を示すフローチャートである。なお、図18では、地図画面300の削除アイコン320Dの指定により削除機能が実行された場合の処理フローを示している。
図18に示すように、まず、撮像装置10は、図17で説明したようにして地図画面300を表示する(S200)。次いで、ユーザが、地図画面300の軌跡線302上の所望のポイントに対して所定操作を行って、始点312及び終点314を指定すると(図12、図13参照)、タッチパネル40は、ユーザにより指定された始点312及び終点314をそれぞれ検出する(S202、S204)。かかる始点312及び終点314の指定に応じて、撮像装置10は、図13に示したように始点312から終点314までの軌跡線302の区間316を選択した状態で表示する(S206)。これにより、ユーザは、地図画面300で指定した軌跡線302の区間316を確認できる。
次いで、撮像装置10は、タッチパネル40により、ユーザにより地図画面300内の機能アイコン320(例えば削除アイコン320D)が操作されたか否かを検出する(S208)。例えば図14で示したように、ユーザが、上記指定した軌跡線302の区間316を削除アイコン320Dにドラッグアンドドロップすると、タッチパネル40は、このドラッグアンドドロップ操作(削除操作)を検出する(S208)。そして、撮像装置10は、撮像位置情報に基づき、上記指定された軌跡線302の区間316対応する動画像の区間を求め、当該動画像の区間を削除する(S210)。このように、軌跡線302の一部の区間316を選択してから削除アイコン320Dが操作された場合には、選択された軌跡線302の区間316に対応する動画像の区間のみが部分的に削除される。
その後、ユーザが地図画面300の表示を終了するための操作を行った場合には、撮像装置10は、表示パネル20上に表示された地図画面300を消去する(S212)。
以上、図18を参照して、地図画面300を用いた編集処理フローについて説明した。なお、図18では、削除機能を実行する場合の処理フローについて説明したが、削除機能以外の所定機能、例えば、再生機能、レーティング機能、プレイリスト作成機能についても同様に実施できる。
[10.まとめ]
以上、本実施形態に係る撮像装置10と、これを用いた地図画面300の表示方法について説明した。本実施形態に係る地図画面300では、動画像の撮像位置の軌跡線302が地図304上にマッピングされている。これにより、動画像の撮像位置が、地図304上のどこに位置しているかを確認でき、動画像の内容を空間的に把握できる。
さらに、ユーザが地図画面300の軌跡線302上の任意のポイント308を指定すると、そのポイント308のサムネイル画像310が表示される。これにより、動画像を撮像したときの撮像位置の軌跡と、各撮像位置で撮像された動画像の内容(サムネイル画像310)とを関連づけてユーザに提示できる。
特に、ユーザが軌跡線302をなぞると、軌跡線302上の各ポイント308のサムネイル画像310が順次表示される。従って、動画像を撮像したときの撮像環境とともに、当該動画像の内容をユーザに対して分かりやすく提示できる。よって、ユーザは、動画像の内容を空間的に容易かつ適切に把握でき、その動画像の内容や編集の要否などを容易に判断できる。
また、ユーザが軌跡線302をなぞったときに、複数のサムネイル画像310が順次表示される軌跡線302上のポイント308の間隔を、地図画面300の地図304の縮尺に応じて変更してもよい(図9〜図11参照)。これにより、地図304を拡大表示したときには、より細かい間隔で多数のサムネイル画像310が表示されるので、ユーザは、軌跡線302に沿った動画像の内容を、より詳細に確認できる。一方、地図304を拡大表示したときには、粗い間隔で複数のサムネイル画像310が表示されるので、ユーザは、動画像全体の内容を概略的に確認できる。
また、撮像中にインデックスが付加された撮像位置を表すインデックスマーク306を、地図画面300の軌跡線302上に表示してもよい(図7参照)。これにより、ユーザは、盛り上がったシーン等の撮像位置を空間的に把握できる。
さらに、地図画面300では、地図304上の軌跡線302の区間を指定して、動画像を空間的に編集することができる。よって、ユーザは、動画像を撮像したときの時間な記憶のみを頼りにするのではなく、空間的な記憶をも利用して、直感的かつ効率的に動画像を編集できる。特に、録画された動画像の不要な部分を削除するなど編集作業を、タッチパネル40に対する簡単な操作で実現できるので、編集作業を大幅に効率化できる。
かかる地図画面300は、動画像の録画直後に自動的に撮像装置10の表示パネル20に表示されてもよい。これにより、動画像の録画直後に、録画された動画像の撮像位置の軌跡と各撮像位置でのサムネイル画像310をユーザに提示することができる。よって、ユーザは、動画像の録画直後の記憶の鮮明なうちに、録画された動画像の撮像位置の軌跡を確認して、当該動画像の内容を空間的に把握できる。さらに、例えば、動画像の不要な部分の削除や、プレイリスト作成などといった編集作業は、録画直後のユーザの記憶が鮮明なうちに行うことが好ましい。このような録画直後に動画像の編集作業を行う場合に、ユーザは、地図画面300を用いて、動画像の内容を空間的に把握できるので、動画像の編集作業がより効率化できるので、便利である。
また、地図画面300は、動画像の録画後におけるユーザにより指定された任意のタイミングで、表示パネル20に表示されてもよい。例えば、録画時からある程度の時間を経た後に、撮像装置や他の変種機器で動画像を編集する場合、従来では、動画像を先頭から再生し、動画像を時間軸上で操作して編集することが一般的であった。これに対し、本実施形態に係る地図画面300によれば、ユーザは、動画像の空間的な撮像状況を把握できるとともに、地図304上で区間316を指定することで、撮像時の空間的な記憶を利用して動画像を容易かつ効率的に編集できる
また、地図画面300において、同一イベント(例えば1回の旅行)に関する複数の動画像の軌跡線302を地図304上に一覧表示してもよい。これにより、ユーザは、同一イベントに関してこれまでに録画した複数の動画像の撮像位置の軌跡や、現在までにどの位の動画像を録画したかを地図304上で確認することも可能となる。これにより、各動画像の撮像位置やその移動軌跡をユーザに印象づけることができるので、ユーザの記憶がより鮮明になり、また、ユーザ所望の場所での撮り忘れも防止できる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。