JP4407549B2 - 撮影装置、動画再生装置、動画記録再生プログラム - Google Patents

Description

本発明は、動画を撮影する機能が搭載された撮影装置、動画再生装置、動画記録再生プログラムに関する。

従来、記録／再生型のデジタルカメラにおいて、重力方向に対するカメラ本体の姿勢（横位置や縦位置等）を検出し、記録モード時にこの検出したカメラ本体の姿勢情報を画像データと共に記録し、再生モード時にこの記録した姿勢情報に応じて再生画像をモニタ上に見やすい向きで表示する（即ち、モニタの上下位置と再生画像の実際の上下位置が略一致するように表示する）ものが知られている。

このような表示機能を持った従来のデジタルカメラにおいて、流し撮り等、重力以外の加速度がカメラ本体に作用している状態で撮影すると、センサがカメラ本体の姿勢を誤って検出することがある。傾斜センサがカメラ姿勢を誤って検出すると、この誤った姿勢情報が画像データと共に記録され、再生モード時に再生画像がモニタ上に見づらい向きで表示されてしまう。

こうしたことに対して、従来では、流し撮り等で重力以外の加速度がカメラ本体に作用している状態で撮影した場合でも、加速度が所定値未満のときは撮像時に検出したカメラ本体の姿勢情報を撮像した画像データと共に記録し、加速度が所定値以上のときは姿勢情報を無効とすることで、カメラ本体の姿勢を誤って検出することなく、常に再生画像を見やすい向きでモニタに表示することができるデジタルカメラが考えられている（例えば特許文献１）。
特開２００１−１９７４２０号公報

このように従来のデジタルカメラでは、重力以外のカメラ装置に対して作用する加速度を検出し、この加速度を利用して再生画像を見やすい向きとなるように表示制御していた。

しかしながら従来では、静止画に対して再生画像の向きを変更する表示制御をするだけであり、撮影時に検出される加速度を動画に対する表示制御に利用するものではなかった。

本発明の課題は、動画撮影時に取得される装置に作用する加速度を利用した動画の記録再生が可能な撮影装置、動画再生装置、動画記録再生プログラムを提供することにある。

請求項１記載の発明は、複数のフレーム画像からなる動画を撮影する撮影手段と、前記撮影手段による動画撮影時の加速度を取得する加速度取得手段と、前記加速度取得手段によって取得された加速度に応じて、前記撮影手段によって撮影された動画のフレーム数を調整するフレーム調整手段と、前記フレーム調整手段によりフレーム数が調整された動画を記録する記録手段とを具備したことを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記フレーム調整手段は、前記加速度取得手段によって取得された加速度に応じてフレーム画像を間引きして、再生時に動きの早い動画となるようにフレーム数を調整することを特徴とする。

請求項３記載の発明は、請求項１記載の発明において、前記フレーム調整手段は、前記加速度取得手段によって取得された加速度に応じてフレーム画像を補間して、再生時に動きの遅い動画となるようにフレーム数を調整することを特徴とする。

請求項４記載の発明は、請求項１記載の発明において、前記撮影手段による動画撮影時の速度を取得する速度取得手段と、前記速度取得手段によって取得された速度がゼロとなった場合に、前記記録手段による動画の記録を一時停止させる停止手段と、前記停止手段によって動画の記録が一時停止されている時に、前記速度取得手段によって取得された速度が変化した場合に、前記記録手段による動画の記録を再開させる再開手段とをさらに具備したことを特徴とする。

請求項５記載の発明は、複数のフレーム画像からなる動画を撮影する撮影手段と、前記撮影手段による動画撮影時の加速度を取得する加速度取得手段と、前記加速度取得手段によって取得された加速度を示す加速度データを前記撮影手段によって撮影された動画と共に記録する記録手段と、前記記録手段に記録された前記加速度データが示す加速度に応じて、前記動画のフレーム数を調整するフレーム調整手段と、前記フレーム調整手段によりフレーム数が調整された動画を再生する動画再生手段とを具備したことを特徴とする。

請求項６記載の発明は、請求項１または請求項５記載の発明において、前記加速度取得手段は、前記撮影手段による動画の撮影方向に対する加速度を取得することを特徴とする。

請求項７記載の発明は、複数のフレーム画像からなる動画と、この動画の撮影時の加速度を示す加速度データとを記録する記録手段と、前記記録手段に記録された前記加速度データが示す加速度に応じて、前記動画のフレーム数を調整するフレーム調整手段と、前記フレーム調整手段によりフレーム数が調整された動画を再生する動画再生手段とを具備したことを特徴とする。

請求項８記載の発明は、請求項７記載の発明において、前記フレーム調整手段は、前記記録手段に記録された前記加速度データが示す加速度に応じてフレーム画像を間引きして、再生時に動きの早い動画となるようにフレーム数を調整することを特徴とする。

請求項９記載の発明は、請求項８記載の発明において、前記フレーム調整手段は、前記記録手段に記録された前記加速度データが示す加速度に応じてフレーム画像を補間して、再生時に動きの遅い動画となるようにフレーム数を調整することを特徴とする。

請求項１０記載の発明は、請求項８記載の発明において、前記記録手段に記録された動画の撮影時の速度を取得する速度取得手段をさらに具備し、前記再生手段は、前記速度取得手段により取得された速度がゼロとなった場合に前記動画の再生を一時停止させる停止手段と、前記速度取得手段によって取得された速度が変化した場合に、前記動画の再生を再開させる再開手段とを具備したことを特徴とする。

請求項１１記載の発明は、撮影装置に搭載されるコンピュータを、複数のフレーム画像からなる動画を撮影する撮影手段と、前記撮影手段による動画撮影時の加速度を取得する加速度取得手段と、前記加速度取得手段によって取得された加速度に応じて、前記撮影手段によって撮影された動画のフレーム数を調整するフレーム調整手段と、前記フレーム調整手段によりフレーム数が調整された動画を記録する記録手段として機能させることを特徴とする。

請求項１２記載の発明は、撮影装置に搭載されるコンピュータを、複数のフレーム画像からなる動画を撮影する撮影手段と、前記撮影手段による動画撮影時の加速度を取得する加速度取得手段と、前記加速度取得手段によって取得された加速度を示す加速度データを前記撮影手段によって撮影された動画と共に記録する記録手段と、前記記録手段に記録された前記加速度データが示す加速度に応じて、前記動画のフレーム数を調整するフレーム調整手段と、前記フレーム調整手段によりフレーム数が調整された動画を再生する動画再生手段として機能させることを特徴とする。

請求項１，１１記載の発明によれば、複数のフレーム画像からなる動画を撮影する際に動画撮影時の装置が移動する加速度を取得し、この加速度に応じて動画のフレーム数を調整することにより、撮影記録時に加速度が急激に変化した場合に動画のフレーム数を変化させて「速い動画」あるいは逆に「遅い動画」となるような映像効果を加えて記録することができる。例えば、加速度が一定の場合はその動画の再生速度を定速とし、速度が遅くなっていく変化ならば動画も次第に遅くなり、速度情報が速くなっていく変化ならば動画も次第に速くなるようにすることもできる。

請求項２記載の発明によれば、請求項１の発明の効果に加えて、加速度に応じてフレーム画像を間引きすることで、再生時に動きの早い動画となるよう映像効果を加えることができる。

請求項３記載の発明によれば、請求項１の発明の効果に加えて、加速度に応じてフレーム画像を補間することで、再生時に動きの遅い動画となるように映像効果を加えることができる。

請求項４記載の発明によれば、請求項１の発明の効果に加えて、撮影時の装置が移動する速度がゼロとなった場合、すなわち停止状態となった場合には動画の記録を一時停止し、また速度が変化し始めることで記録を再開することで、変化のある動画のみを撮影して記録することが可能となる。

請求項５記載の発明によれば、複数のフレーム画像からなる動画を撮影する際に動画撮影時の装置が移動する加速度を取得して動画とを共に記録し、この加速度に応じて動画のフレーム数を調整することにより、撮影記録時に加速度が急激に変化した場合に動画のフレーム数を変化させて「速い動画」あるいは逆に「遅い動画」となるような映像効果を加えて記録することができる。例えば、加速度が一定の場合はその動画の再生速度を定速（等倍速）とし、速度が遅くなっていく変化ならば動画も次第に遅くなり、速度情報が速くなっていく変化ならば動画も次第に速くなるようにすることもできる。

請求項６記載の発明によれば、請求項１または請求項５の発明の効果に加えて、動画の撮影方向（すなわちカメラ装置のレンズが正対する向き）に対する加速度を取得することにより、例えば進行方向に向けて動画を撮影することで、進行方向への加速度に応じたフレーム調整がされた動画とすることができる。

請求項７記載の発明によれば、複数のフレーム画像からなる動画と、この動画の撮影時の加速度を示す加速度データとを取得して記録することで、この記録された加速度に応じて動画のフレーム数を調整することにより、撮影記録時に加速度が急激に変化した場合に動画のフレーム数を変化させて「速い動画」あるいは逆に「遅い動画」となるような映像効果を加えて再生することができる。

請求項８記載の発明によれば、請求項７の発明の効果に加えて、加速度に応じてフレーム画像を間引きすることで、再生時に動きの早い動画となるよう映像効果を加えることができる。

請求項９記載の発明によれば、請求項７の発明の効果に加えて、加速度に応じてフレーム画像を補間することで、再生時に動きの遅い動画となるように映像効果を加えることができる。

請求項１０記載の発明によれば、請求項７の発明の効果に加えて、撮影時の装置が移動する速度がゼロとなった場合、すなわち停止状態で撮影されたことが判別される場合には動画の再生を一時停止し、また速度が変化し始めることで再生を再開することで、動画を記録した際の移動／停止の変化に合わせた動画の再生が可能となる。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の実施の形態におけるカメラ装置１（撮影装置）の機能構成を示すブロック図である。本実施形態におけるカメラ装置１は、静止画だけでなく動画を記録再生可能な機能が搭載された電子スチルカメラ、ビデオカメラ、カメラ付携帯電話、カメラ付情報通信端末等に適用することが可能である。

図１に示すカメラ装置１において、静止画を撮影する静止画撮影モードにおいては、レンズ光学系において、モータ（Ｍ）１０の駆動により絞り位置や通常撮影に応じたレンズ位置に撮影レンズ１１が移動される。また、撮影レンズ１１は、ズーム操作に応じて、図示せぬモータの駆動により繰り出し／収納される。撮影レンズ１１の撮影光軸後方に配置された撮像素子であるＣＣＤ（Charge Coupled Device）１２は、タイミング発生器（ＴＧ）１３、垂直ドライバ１４によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。

この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド（Ｓ／Ｈ）回路１５でサンプルホールドされ、Ａ／Ｄ変換器１６でデジタルデータに変換され、さらに信号処理部１７で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ１８に出力される。

ＤＭＡコントローラ１８は、信号処理部１７の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じく信号処理部１７からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ１８内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送を行なう。

制御部２５は、ＣＰＵと、該ＣＰＵで実行される動作プログラムやデータ等を固定的に記録したＲＯＭ、及びワークメモリとして使用されるＲＡＭ等により構成され、このカメラ装置１全体の制御動作を司る。

制御部２５は、輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース２０を介してＤＲＡＭ２１より読出し、ＶＲＡＭコントローラ２６を介してＶＲＡＭ２７に書込む。

デジタルビデオエンコーダ２８は、輝度及び色差信号をＶＲＡＭコントローラ２６を介してＶＲＡＭ２７より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部２９に出力する。

表示部２９は、撮影モード時にはモニタ表示部（電子ファインダ）として機能し、デジタルビデオエンコーダ２８からのビデオ信号に基づいた表示を行なうことで、その時点でＶＲＡＭコントローラ２６から取込んでいる画像情報に基づく画像（スルー画像）をリアルタイムに表示することになる。

表示部２９にスルー画像がリアルタイムに表示されている表示状態で、静止画像を撮影するタイミングでキー入力部３７のシャッタキーが操作されると、トリガ信号を発生する。

制御部２５は、このトリガ信号に応じてその時点でＣＣＤ１２の駆動を停止した後、自動露出処理を実行して適正な露出値を得て、レンズ光学系の絞りとＣＣＤ１２の露光時間を制御してあらためて撮像を実行させる。

こうして新たに得られた１フレーム分の画像データがＤＲＡＭ２１にＤＭＡ転送されて書込まれた後、制御部２５がＤＲＡＭ２１に書込まれている１フレーム分の画像データを読出して圧縮伸張部３０に転送する。圧縮伸張部３０は、画像データに対して、ＪＰＥＧ（Joint Photographic Experts Group）により画像データを符号化する。

符号化された画像データは、カメラ装置１の記録媒体として着脱自在に装着されている不揮発性のメモリカード３２、あるいはメモリカード３２が装着されていない場合は固定的に内蔵されている不揮発性の内蔵メモリ３３に書き込まれる。

そして、１フレーム分のメモリカード３２または内蔵メモリ３３への画像データの書込み終了に伴なって、制御部２５は、ＣＣＤ１２からＤＲＡＭ２１を経由したスルー画像を表示部２９においてモニタ表示させる駆動を再開する。

また、制御部２５には、キー入力部３７、音声処理部４０、ストロボ駆動部４１、及び加速度検出部４６が接続される。

キー入力部３７は、電源キー、シャッタキー、モードスイッチ、メニューキー、選択キー、及び十字キー（カーソルキー）等から構成され、それらのキー操作に伴なう信号は直接制御部２５へ送出される。

音声処理部４０は、ＰＣＭ音源等の音源回路を備え、音声の録音時にはマイクロホン部（ＭＩＣ）４２より入力された音声信号をデジタル化して音声データとして入力する。音声処理部４０により入力された音声データは、圧縮伸張部３０により所定のデータファイル形式、例えばＭＰ３（MPEG-1 Audio Layer-3）規格に従ってデータ圧縮して音声データファイルを作成してメモリカード３２または内蔵メモリ３３へ記録される。また、音声の再生時にはメモリカード３２または内蔵メモリ３３から読み出された音声データファイルは、圧縮伸張部３０により伸張され、音声処理部４０によりアナログ化される。音声処理部４０は、スピーカ部（ＳＰ）４３を駆動して、拡声放音させる。

さらに音声処理部４０は、制御部２５からの制御に基づいて、各種動作音、例えばシャッタキーの操作に伴う擬似的なシャッタ音、他のキーの操作に伴うビープ音等も発生してスピーカ部４３より拡声放音させる。

ストロボ駆動部４１は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部２５からの制御に基づいてストロボ発光部４５を閃光駆動する。

また、本実施形態におけるカメラ装置１は、動画撮影の機能が設けられている。カメラ装置１は、キー入力部３７に設けられた所定のキーが操作されることで動画撮影モードが設定される。カメラ装置１は、動画撮影モードにおいては、図示しないレリーズボタンに対する操作により撮影指示が入力されると、所定周期での動画データ（及び音声データ）の取得（動画撮影）を開始すると共に、動画撮影時における装置に対して作用する加速度の検出を加速度検出部４６により行う。加速度検出部４６は、例えば圧電素子タイプの加速度センサが用いられる。

例えば、動画撮影では、１／３０ｓｅｃの周期（フレームレート）でＣＣＤ１２によるサンプリングを行うことにより順次、フレーム画像を取り込むと共に、加速度検出部４６により例えば数フレーム画像毎にカメラ装置１に加わる加速度が取得される。

動画撮影時に入力される動画データ（音声データ）、加速度データは圧縮伸張部３０に転送され、圧縮伸張部３０により符号化された上でメモリカード３２または内蔵メモリ３３に記録される。本実施形態では、動画データ（音声データ）と同期させて、加速度データが記憶されるものとする（詳細については後述する（図３参照））。

なお、図１に示す構成では、加速度検出部４６を設けて加速度データを取得しているが、速度センサを設け、このセンサにより検出される速度データから演算により加速度を取得する、あるいは変位センサを設けて変位データから演算によりから加速度を取得する構成とすることもできる。

（第１実施形態）
次に、第１実施形態におけるカメラ装置１の動作について説明する。第１実施形態では、動画撮影時に取得される加速度をもとにして、その時に撮影された動画の表示制御（動画編集）を実行して記録／再生する。

はじめに、動画撮影時の動作について、図２に示すフローチャートを参照しながら説明する。

まず、動画撮影が開始されると（ステップＡ１）、動画撮影時のカメラ装置１に対して作用する加速度の検出が加速度検出部４６により実行され（ステップＡ２）、それと共に動画の撮影と音声の入力が実行される。動画の撮影では、所定のフレームレート（例えば１／３０ｓｅｃ）でＣＣＤ１２によるサンプリングを行うことにより順次、フレーム画像を取り込み、そのフレーム画像のデータをＤＲＡＭ２１に一時記憶する（ステップＡ３，Ａ４）。また、音声の入力では、マイクロホン部４２から入力される音声を音声処理部４０を通じて音声データとして取得してＤＲＡＭ２１に一時記憶させる。

一方、加速度検出部４６により検出された加速度に対しては、有効ベクトル／スカラ検出が行われ、加速度の方向とその大きさ（加速度値）を加速度データとしてＤＲＡＭ２１に一時記憶させる（ステップＡ９，Ａ１０）。第１実施形態においては加速度検出部４６では、少なくとも撮影レンズ１１が向いている一定の方向、すなわち撮影方向に対して加わる加速度を検出するものとする。また、この撮影方向だけでなく、他の複数方向の加速度（例えば撮影方向に対して垂直な上下左右方向）についても検出するようにしても良い。何れの方向の加速度を取得して利用するかは、撮影された動画に対する表示制御（動画編集）の目的により異なり、特定の方向についての加速度を検出可能な加速度検出部４６（変位センサ）を設けて構成する、あるいは多方向の変位を検出できる変位センサを設けて、必要に応じた方向で検出された加速度のみを有効として取得するようにしても良い。

ＤＲＡＭ２１に一時記憶された動画データと音声データは、圧縮伸張部３０に送られて符号化（圧縮）され、またＤＲＡＭ２１に一時記憶された加速度データを同期するようにして埋め込んだ（多重化した）、例えばストリーム形式のデータにしてメモリカード３２または内蔵メモリ３３に書き込まれる（ステップＡ１１）。なお、図１に示す構成では、動画データの記憶先をメモリカード３２または内蔵メモリ３３としているが、長時間の動画を記録再生するためにより大容量の記憶装置が実装されていても良い。

以上の処理を、例えば図示しないレリーズスイッチ等の操作により撮影の終了が指示されるまで継続して実行される（ステップＡ１２）。

図３には、加速度を動画データに同期させて埋め込む記録形式の一例を示している。図３では、ＭＰＥＧ形式のデータとした場合の例を示している。ＭＰＥＧでは、映像、音声を独立したオブジェクトとして扱うため、加速度についても独立したオブジェクトとして扱うことで動画データと共に記録されるようにする。

すなわち、図３（ａ）に示すように、ファイルヘッダ（各種ファイル情報）、映像オブジェクト（映像ヘッダ、実データ列）、音声オブジェクト（音声ヘッダ、実データ列）、加速度オブジェクト（加速度ヘッダ、実データ列／デリミタ（同期用情報））を含むデータとして記録される。

図３（ｂ）には、動画（フレーム画像）の時系列に同期させて加速度データ（加速度オブジェクト）を埋め込んだファイル形式の一例を示している。

図３（ｂ）に示す例では、２フレーム画像に１つの加速度データを埋め込んでいる。加速度オブジェクトの１，２，３，４…のそれぞれの加速度フィールドには、加速度量のデータが含まれている。また、「Ｄ」（８と９のフィールドの間）には、同期のずれを防ぐためのデリミタコードが埋め込まれている。「加速度ヘッダ」には、加速度の単位／加速度データが何フレームに１つであるかなどを示す情報が含まれている。

次に、動画データと共に加速度データが記録されたファイルを再生する場合の動作について、図４に示すフローチャートを参照しながら説明する。

まず、キー入力部３７の所定のキー操作により再生モードに設定され、記録装置（メモリカード３２または内蔵メモリ３３）に記録されたファイルから再生対象が選択され再生実行が指示されたものとする。制御部２５は、この再生実行の指示に応じて、該当するファイルを読み出して動画再生を開始させる（ステップＢ１）。

制御部２５は、再生対象として選択されたファイルに加速度データ埋め込まれているかを、例えばファイルヘッダに含まれる情報を参照して判別する。ここで、加速度データが含まれている場合（ステップＢ２、Ｙｅｓ）、動画（映像）、音声のデータに先んじて加速度データを読み出して一時記憶する（ステップＢ３，Ｂ４）。

そして、ファイル中の符号化された動画データと音声データとを、それぞれ圧縮伸張部３０により伸張（デコード）する（ステップＢ５，Ｂ９）。

ここで、加速度データが示す加速度量が正を示す場合（ステップＢ６、正）、すなわち加速しながら動画の撮影が行われていた場合には、フレーム画像を加速度値に応じて間引く動画編集を実行した上で表示部２９において表示させる（ステップＢ７，Ｂ１３）。

一方、加速度データが示す加速度量が負を示す場合（ステップＢ６、負）、すなわち減速しながら動画の撮影が行われていた場合には、フレーム画像を加速度値に応じて補間する動画編集を実行した上で表示部２９において表示させる（ステップＢ８，Ｂ１３）。

なお、加速度データがない場合、及び加速度データが示す加速度値がゼロである場合には、フレーム間引き／補間を行わず、撮影されたままの動画を表示部２９において表示させる（ステップＢ１３）。

図５（ａ）には、動画データに埋め込まれた加速度データが示す加速度の変化を示し、図５（ｂ）には、加速度に応じた画像編集（フレーム間引き、フレーム補間）の様子を示している。

図５（ａ）は、例えば比較的速度の速いパンニングや被写体に近付く動作をしながら動画を撮影した場合に検出される加速度の変化を示すもので、加速度が正（動き始め）の段階ではフレームを間引くことで、動画中の被写体の動きが早くなるように動画編集が行われ、加速度が負（停止直前）の段階ではフレームを補間することで、動画中の被写体の動きが遅くなるように動画編集が行われる。

フレーム補間は、単純にフレームコピーして補間するのではなく、倍密度走査の偶数／奇数フィールド補間のように、フレーム間差異から演算によりフレーム信号を生成するようにすれば、フレーム補間することによる動画の不自然さを低減することができる。

なお、間引くあるいは補間するフレーム数やその間隔などについては、加速度値、加速度の変化率、あるいはどのような映像効果を加えるかなどによって決められるものとする。

一方、音声データに対しては、加速度データが示す加速度量の正負を前述と同様にして判別し（ステップＢ１０）、それに応じて音声データに対して音声変調を加えて、音声処理部４０を通じてスピーカ部４３から出力させる。例えば、動画データに対してフレームを補間／間引きすることにより変化する動画の長さと一致するように、音声の長さ（及び音程）を調整する。なお、音声については加速度量に応じて変調するのではなく、無音にすることで、フレームの間引き／補間がされたことを音声により把握できるようにしても良い。

こうして、動画データに同期して埋め込まれた加速度データに応じて、フレーム画像を間引きあるいは補間しながら動画の再生を継続して実行する。そして、キー入力部３７に対するキー操作により再生停止が指示された場合、あるいは動画ファイルを最後まで再生し終わると（ステップＢ１４、Ｙｅｓ）、再生処理を終了する。

以下、前述した処理を利用する場合の具体例について説明する。

例えば、比較的速度の速いパンニングや被写体に近付く動作をしながら動画の撮影をした場合、加速度が正の段階では動画のフレームを間引いて再生することで早送り風の動画にして、劇画的に速い動きを誇張した効果を加え、逆に停止する直前ではフレームを補間することで動きが遅い動画にして、シーンをじっくり見せるようにすることができる。

なお、前述した説明では、動画撮影時に取得された加速度が正の場合にはフレームを間引き、負の場合にはフレームを補間するとして説明しているが、その逆とすることも可能である。

なお、前述した説明では、動画データと共に加速度を同期させて記録して、再生時に加速度に応じて表示制御をするとしているが、図２に示すフローチャートに示す動画撮影時の処理において、動画データを記憶装置に書き込む前に（ステップＡ１１）、動画と共に検出された加速度に応じた動画編集処理、すなわち図４のフローチャートに示すようなフレーム間引きあるいはフレーム補間をした上で動画データ（フレーム画像）を記録するようにしても良い。この場合、記録された動画データについては、一般の動画データと同様にして再生することで、動画撮影時にカメラ装置１に加えられた加速度に応じた表示制御がされた動画を再生出力することができる。従って、動画データと共に加速度データを共に記録しておかなくても、動画撮影時に取得された加速度を利用した動画の再生が可能となる。

また、前述した説明では、撮影時に取得された加速度データを、映像と音声のデータとは独立して、時系列的に映像及び音声と同期するようにして記録しているが（図３（ｂ））、その他の形式に加速度データを記録するようにしても良い。

例えば、音声データに周波数変調して畳み込み記録しておく方法、動画データの空き周波数領域に周波数変調して畳み込む方法、空いている音声トラックに信号処理（ディジタイズ）して記録する方法などを用いることも可能である。この場合、各方法に応じた加速度データを抽出する機能を設けて、再生時に抽出できるように構成される。

また、加速度データを動画データ（音声データ）と同期させて記録しているが、動画データ（フレーム画像）との関連付けがされていれば、加速度データを動画データとは独立して記録しておくこともできる。

また、前述した説明では、カメラ装置１において撮影した動画を自装置において再生表示するものとして説明しているが、動画撮影時に取得された加速度データが埋め込まれた動画ファイルを、例えばメモリカード３２を介して（あるいはネットワークを介して送信することで）他の動画再生装置において読み込ませ、この動画再生装置で再生表示するようにしても良い。動画再生装置は、メモリカード３２から動画ファイルを読み込んで記憶し、この動画ファイルを対象として、図４に示すフローチャートと同様の処理を実行することで、動画撮影時に取得された加速度に応じて表示制御（フレーム間引き、フレーム補間）された動画を出力することができる。

（第２実施形態）
次に、第２実施形態について説明する。第１実施形態では、動画撮影時にカメラ装置１に対して作用する加速度を検出し、この加速度に応じて表示制御（動画編集）を行うものとして説明しているが、第２実施形態では、動画撮影時のカメラ装置１の移動速度を取得し、この速度値をもとにした表示制御を実行する。

図１に示す構成では、加速度を検出するための加速度検出部４６のみが設けられているが、この構成の場合、加速度検出部４６により検出された加速度値を時間積分する演算によって速度値を取得するものとする（さらに時間積分すれば変位値が得られる）。なお、速度センサを設けて速度値を取得する構成とすることも可能である。また、変位センサを設け、このセンサから検出される変位値をもとに演算により速度を取得することもできる。

次に、動画データと共に加速度データが記録されたファイルを再生する場合の動作について、図６に示すフローチャートを参照しながら説明する。なお、加速度データが埋め込まれた動画データのファイルの作成については、第１実施形態と同様にして実行されるものとして説明を省略する。また、図６のフローチャートでは、動画の再生のみを対象として説明している（音声の再生出力については省略している）。

まず、キー入力部３７の所定のキー操作により再生モードに設定され、記録装置（メモリカード３２または内蔵メモリ３３）に記録されたファイルから再生対象が選択され再生実行が指示されたものとする。制御部２５は、この再生実行の指示に応じて、該当するファイルを読み出して動画再生を開始させる（ステップＣ１）。

制御部２５は、再生対象として選択されたファイルに加速度データ埋め込まれているかを、例えばファイルヘッダに含まれる情報を参照して判別する。ここで、加速度データが含まれている場合（ステップＣ２、Ｙｅｓ）、動画（映像）データに先んじて加速度データを読み出し、この加速度データをもとに速度データを演算して取得して一時記憶する（ステップＣ３，Ｃ４，Ｃ５）。

そして、ファイル中の符号化された動画データを、圧縮伸張部３０により伸張（デコード）する（ステップＣ６）。

ここで、速度データが示す速度値に合わせて、フレーム画像を補間あるいは間引くことによるフレーム調整を行う（ステップＣ７）。例えば、速度が所定値以上である場合に、その速度値が高いほどフレームを補間し、また速度が所定値以下である場合に、その速度が低いほどフレームを間引くようにフレーム調整を実行する。こうして、フレームの補間／間引きによる動画編集を実行した上で表示部２９において表示させる（ステップＣ８）。

なお、加速度データがない場合、及び加速度データが示す加速度値がゼロである場合には、フレーム間引き／補間を行わず、撮影されたままの動画を表示部２９において表示させる（ステップＣ６〜Ｃ８）。

図７（ａ）には、動画撮影時のカメラ装置１が移動する速度の変化を示し、図７（ｂ）には、速度に応じた画像編集（フレーム間引き、フレーム補間）の様子を示している。

図７（ａ）は、例えば比較的高速の状態から速度を低下させて一定速度の状態を経て、さらに速度を低下させて最後に停止した場合の速度の変化を示している。この場合、高速状態にある段階ではフレームを補間し、低速状態にある段階でフレームを間引くことで、動画全体に渡って動画の動きが一定となるように動画編集が行われる。なお、フレーム補間については、第１実施形態と同様にして行われるものとする。

また、動画データから取得された加速度（または速度）データから動画撮影時の速度がゼロ、すなわち停止した状態で動画の撮影が行われていたことが判別された場合には、図７（ｂ）に示すように全てのフレームを間引いている。すなわち、動画の再生を一時停止させる。そして、動画データから取得された加速度（または速度）データから変化したことが判別された場合に動画の再生を再開させる。これにより、カメラ装置１が停止状態にあり変化のない動画の撮影している場合には、この停止時の動画が再生出力されないようにすることができる。

こうして、動画データに同期して埋め込まれた加速度データから算出された速度に応じて、フレーム画像を間引きあるいは補間しながら動画の再生を継続して実行する。そして、キー入力部３７に対するキー操作により再生停止が指示された場合、あるいは動画ファイルを最後まで再生し終わると（ステップＣ９、Ｙｅｓ）、再生処理を終了する。

なお、図６のフローチャートに示す処理では、動画データ中に埋め込まれた加速度データをもとに速度データを算出して求める場合について示しているが、前述した図２のフローチャートに示す処理において、動画撮影中のカメラ装置１の移動速度を取得して、速度データを前述した加速度データの場合と同様にして動画データに埋め込み、この速度データを読み出して前述した処理を実行するようにしても良い。

また、前述した説明では、動画撮影時の速度が高速である場合にはフレームを補間し、低速の場合にはフレームを間引くとして説明しているが、その逆とすることも可能である。

また、前述した説明では、動画データと共に加速度を同期させて記録して、再生時に加速度に応じて表示制御をするとしているが、図２に示すフローチャートに示す動画撮影時の処理において、動画データを記憶装置に書き込む前に（ステップＡ１１）、動画撮影時に取得される速度に応じた動画編集処理、すなわち図６のフローチャートで説明したフレーム調整（フレーム間引き／補間）をした上で動画データ（フレーム画像）を記録するようにしても良い。この場合、記録された動画データについては、一般の動画データと同様にして再生することで、動画撮影時のカメラ装置１の移動速度に応じた表示制御がされた動画を再生出力することができる。従って、動画データと共に加速度データ（あるいは速度データ）を共に記録しておかなくても、動画撮影時に取得された速度を利用した動画の再生が可能となる。

なお、速度に応じた動画編集処理をした上で動画データを記録する場合、動画撮影時に取得された速度がゼロとなった場合に、動画の記録を一時停止させ、動画の記録が一時停止されている時に、速度が変化した場合に、動画の記録を再開させる。これにより、停止している時に撮影される動画が記録されないので、再生時にはその部分をスキップした動画を再生することができる。

また、第１実施形態と同様にして、カメラ装置１において再生するだけでなく、他の動画再生装置において動画を再生出力させることも可能である。

以下、前述した処理を利用する場合の具体例について説明する。

（１）バーチャル道案内
例えば、自宅までの道順の風景を撮影した動画のファイルを他者へ渡し、他者が動画を再生しながら自宅までの道順を辿ることができるようにする。

この場合、動画撮影時の移動速度が変動したとしても、第２実施形態で説明したように、速度が上がった場合にはフレーム画像が補間され、また速度が低下した場合にはフレーム画像が間引きされ、さらに一時停止した時には動画の撮影の停止（あるいは再生時のスキップ）がされるので、行程の全体を通して一定速度で進行しながら撮影したような動画を他者に提供することができる。

その動画を受け取った他者は、道順の風景を撮影した動画を見ながら道を辿り歩行する。他者が実際に見ている風景と動画表示の風景に差が生じることもあるが、このとき他者が動画のズレを修正する（具体的にはコマ送り／コマ戻しなど）ことができる機能を動画再生装置に設けておけば問題ない。最終的に、他者は動画の撮影者と全く同じ道順を、立ち止まりながらも完全にトレースして撮影者の自宅に辿り着くことができる。

（２）ハイスピード動画
例えば、１００ｋｍのドライブ道程、合計２時間で撮影される動画を、フレーム画像を間引きすることでハイスピードでダイジェスト記録する。２時間を１０分間に圧縮して再生しようとする場合、１２倍速の動画として記録すれば良いことになる。しかし、高速動画とは言え信号待ちなどで停止する場合には、動画上の動きが停止してしまいその部分が冗長になるため撮影時の検出速度がゼロに達した場合には動画を記録せず一時停止状態にする。また、加速度／速度変化量に応じてフレーム画像の間引き（スピード調整）を制御する、すなわち低速時／減速時に間引くフレーム画像の数を増加することにより、常に等速でハイスピードに行程を撮影することが可能となる。

（３）簡易万歩計（登録商標）／距離計
例えば、歩行しながらあるいは車中から動画を撮影したものとする。このとき、その変位量（総走行距離）は加速度から演算可能であるため、前述のように動画撮影時にその加速度を動画データヘ埋め込み記録しておくことで、歩行距離や走行距離を簡易的に求めることができる。この時、前述した「（２）ハイスピード動画」で示したハイスピード記録をすれば、長時間の記録でも容量の大きな動画になってしまうことを回避できるのでメモ的に使用できる。そして、動画の再生時に、加速度データから算出された変位量（歩行距離、走行距離）を同時に表示することで、動画の変化と共に変位量を提示することができる。

なお、前述した説明では、速度がゼロとなった場合には、動画の撮影／再生を一時停止し、速度が変化した場合に動画の撮影／再生を再開するものとしているが、オペレータによって一時停止状態を解除して動画の撮影／再生を再開させる操作手段を設ける構成としても良い。

また、前述した説明では、動画撮影モードでは動画撮影時の加速度（速度、変位）を検出して動画データと共に記録するものとして説明しているが、この動画撮影時の加速度（速度、変位）を検出して記録する動作を実行するか否かをオペレータが予め任意に設定できるようにしても良い。

また、前述した説明では、加速度（あるいは速度、変位）に応じて画像フレームの間引き／補間などのフレーム調整を実行するものとして説明しているが、検出された加速度値が予め設定された一定のスレッショルド値よりも大きく変化しない場合は、フレーム調整を行わず動画の再生速度が変化しないようにしても良い。

また、カメラ装置１に搭載されるコンピュータに実行させることのできる動画再生プログラムを、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで、あるいは通信媒体を通じて提供することができる。動画再生プログラムによりコンピュータの動作を制御することで、前述した実施形態における機能をカメラ装置１において実現することができる。

本発明の実施の形態におけるカメラ装置１（撮影装置）の機能構成を示すブロック図。 第１実施形態における動画撮影時の動作について説明するためのフローチャート。 第１実施形態における加速度を動画データに同期させて埋め込む記録形式の一例を示す図。 第１実施形態における画データと共に加速度データが記録されたファイルを再生する場合の動作について説明するためのフローチャート。 第１実施形態における動画データに埋め込まれた加速度データが示す加速度の変化と加速度に応じた画像編集（フレーム間引き、フレーム補間）の様子を示す図。 第２実施形態における動画データと共に加速度データが記録されたファイルを再生する場合の動作について説明するためのフローチャート。 第２実施形態における、動画撮影時のカメラ装置１が移動する速度の変化と、速度に応じた画像編集（フレーム間引き、フレーム補間）の様子を示す図。

符号の説明

１…カメラ装置、１０…モータ（Ｍ）、１１…撮影レンズ、１２…ＣＣＤ、１３…タイミング発生器（ＴＧ）、１４…垂直ドライバ、１５…サンプルホールド回路（Ｓ／Ｈ）、１６…Ａ／Ｄ変換器、１７…信号処理部、１８…ＤＭＡコントローラ、２０…ＤＲＡＭインタフェース（Ｉ／Ｆ）、２１…ＤＲＡＭ、２５…制御部、２６…ＶＲＡＭコントローラ、２７…ＶＲＡＭ、２８…デジタルビデオエンコーダ、２９…表示部、３０…圧縮伸張部、３２…メモリカード、３３…内蔵メモリ、３７…キー入力部、４０…音声処理部、４１…ストロボ駆動部、４２…マイクロホン部（ＭＩＣ）、４３…スピーカ部（ＳＰ）、４５…ストロボ発光部、４６…加速度検出部。

Claims (12)

1. 複数のフレーム画像からなる動画を撮影する撮影手段と、
   前記撮影手段による動画撮影時の加速度を取得する加速度取得手段と、
   前記加速度取得手段によって取得された加速度に応じて、前記撮影手段によって撮影された動画のフレーム数を調整するフレーム調整手段と、
   前記フレーム調整手段によりフレーム数が調整された動画を記録する記録手段と
   を具備したことを特徴とする撮影装置。
2. 前記フレーム調整手段は、
   前記加速度取得手段によって取得された加速度に応じてフレーム画像を間引きして、再生時に動きの早い動画となるようにフレーム数を調整することを特徴とする請求項１記載の撮影装置。
3. 前記フレーム調整手段は、
   前記加速度取得手段によって取得された加速度に応じてフレーム画像を補間して、再生時に動きの遅い動画となるようにフレーム数を調整することを特徴とする請求項１記載の撮影装置。
4. 前記撮影手段による動画撮影時の速度を取得する速度取得手段と、
   前記速度取得手段によって取得された速度がゼロとなった場合に、前記記録手段による動画の記録を一時停止させる停止手段と、
   前記停止手段によって動画の記録が一時停止されている時に、前記速度取得手段によって取得された速度が変化した場合に、前記記録手段による動画の記録を再開させる再開手段と
   をさらに具備したことを特徴とする請求項１記載の撮影装置。
5. 複数のフレーム画像からなる動画を撮影する撮影手段と、
   前記撮影手段による動画撮影時の加速度を取得する加速度取得手段と、
   前記加速度取得手段によって取得された加速度を示す加速度データを前記撮影手段によって撮影された動画と共に記録する記録手段と、
   前記記録手段に記録された前記加速度データが示す加速度に応じて、前記動画のフレーム数を調整するフレーム調整手段と、
   前記フレーム調整手段によりフレーム数が調整された動画を再生する動画再生手段と
   を具備したことを特徴とする撮影装置。
6. 前記加速度取得手段は、前記撮影手段による動画の撮影方向に対する加速度を取得することを特徴とする請求項１または請求項５記載の撮影装置。
7. 複数のフレーム画像からなる動画と、この動画の撮影時の加速度を示す加速度データとを記録する記録手段と、
   前記記録手段に記録された前記加速度データが示す加速度に応じて、前記動画のフレーム数を調整するフレーム調整手段と、
   前記フレーム調整手段によりフレーム数が調整された動画を再生する動画再生手段と
   を具備したことを特徴とする動画再生装置。
8. 前記フレーム調整手段は、
   前記記録手段に記録された前記加速度データが示す加速度に応じてフレーム画像を間引きして、再生時に動きの早い動画となるようにフレーム数を調整することを特徴とする請求項７記載の動画再生装置。
9. 前記フレーム調整手段は、
   前記記録手段に記録された前記加速度データが示す加速度に応じてフレーム画像を補間して、再生時に動きの遅い動画となるようにフレーム数を調整することを特徴とする請求項７記載の動画再生装置。
10. 前記記録手段に記録された動画の撮影時の速度を取得する速度取得手段をさらに具備し、
    前記再生手段は、
    前記速度取得手段により取得された速度がゼロとなった場合に前記動画の再生を一時停止させる停止手段と、
    前記速度取得手段によって取得された速度が変化した場合に、前記動画の再生を再開させる再開手段と
    を具備したことを特徴とする請求項７記載の動画再生装置。
11. 撮影装置に搭載されるコンピュータを、
    複数のフレーム画像からなる動画を撮影する撮影手段と、
    前記撮影手段による動画撮影時の加速度を取得する加速度取得手段と、
    前記加速度取得手段によって取得された加速度に応じて、前記撮影手段によって撮影された動画のフレーム数を調整するフレーム調整手段と、
    前記フレーム調整手段によりフレーム数が調整された動画を記録する記録手段として機能させることを特徴とする動画記録再生プログラム。
12. 撮影装置に搭載されるコンピュータを、
    複数のフレーム画像からなる動画を撮影する撮影手段と、
    前記撮影手段による動画撮影時の加速度を取得する加速度取得手段と、
    前記加速度取得手段によって取得された加速度を示す加速度データを前記撮影手段によって撮影された動画と共に記録する記録手段と、
    前記記録手段に記録された前記加速度データが示す加速度に応じて、前記動画のフレーム数を調整するフレーム調整手段と、
    前記フレーム調整手段によりフレーム数が調整された動画を再生する動画再生手段として機能させることを特徴とする動画記録再生プログラム。

Images