JP2010093671A - カメラ、再生装置、および再生方法 - Google Patents

Abstract

【課題】複数の画像に基づいて合成静止画像や動画を再生する際に、違和感のない音響効果となる音声収録を可能としたカメラ、また複数の画像に基づいて合成静止画像や動画を再生する際に、違和感のない音響効果で音声再生する再生装置、および再生方法を提供する。
【解決手段】被写体を連続撮影する撮像部２と、被写体方向からの音声の収音範囲を変更可能な左右音声収録部７を有し、撮像部２で連続して得られた複数の画像を合成し、合成画像を生成可能であり、複数の画像を連続撮影する際に、画像の動きに基づいて左右音声収録部７において収音範囲３３ａ、３３ｂを変更する。
【選択図】 図3

Description

本発明は、カメラおよび再生装置に関し、詳しくは、撮影時に録音可能なカメラおよびこのカメラで撮影した撮影画像の再生装置および再生方法に関する。

近年、大画面テレビが普及してきており、撮影画像を大画面テレビに再生表示して楽しむことが行われている。また、テレビの画質も向上してきており、消費電力も低減されてきていることから、撮影画像をポスターのように表示し、画像をインテリアとして楽しむことも行われている。さらに、デジタル画像を表示するためのデジタルフォトフレームも普及してきている。このように、最近では、生活を撮影画像で彩ることが行われている。

インテリア感覚での表示にあたっては、画像は押しつけがましいものではなく、雄大な風景や美しい花鳥風月など、癒されるものが求められており、従来のような動画とは異なる撮影方法や、また表示方法が必要となってきている。

また、表示にあたっては、複数の画像を合成し、パノラマ画像表示が提案されている。例えば、特許文献１には、合成対象となる画像の一方のサイズ全体を用いることにより、パノラマ画像全体を表現し、迫力ある表示を行うようにした画像表示装置が開示されている。また、パノラマ画像を利用し、複数の画像を合成し、アスペクト比が１６：９の大型画面にパノラマ画像を静止画表示するという提案もなされている。
特開平５−３０８５５３号公報

また、インタリア感覚で撮影画像を表示するにあたって、撮影時に録音された音声を再生すると癒され、また過去の思い出に浸ることもできる。音声を撮影時に録音することは従来よりも種々提案されている。例えば、特許文献２には、モノラル音声画像からステレオ音声画像に変換する音源安定化装置が開示されている。すなわち、この音源安定化装置は、画像知識データベースの情報を用いて、分割された画像から画像内の物体や、その物体の動き（位置）や、カメラの操作等を解析し、物体が発していると考えられる音源を音情報から分離し、分離された音源を映像に適した音場空間に再配置している。
特開２０００−２９５７００号公報

このように、画像合成することにより、大画面に相応しい画像を得ることができ、しかも撮影時に録音された音声を再生することにより、癒し効果や思い出に浸ることが可能となる。しかし、画像合成される個々の画像はそれぞれ指向性で録音していることから、そのまま合成すると、音声の再生時に音源の位置が移動してしまい、画像の鑑賞に相応しい再生とならない。

この点について、前述の特許文献１に開示された画像表示装置には、音声の再生については何ら触れられていない。また、特許文献２に開示の装置では、モノラル音声画像をステレオ音声画像に変換するものであって、画像知識データベースを必要とし、大型化してしまう。また、これまでのカメラは、例えば、運動会や学芸会において、わが子の声を録音できるような用途を想定しており、視野内の音声に合わせるものであって、パノラマ撮影のように、複数の画像を合成する場合を考慮したものではなかった。

本発明は、このような事情を鑑みてなされたものであり、複数の画像に基づいて合成静止画像や動画を再生する際に、違和感のない音響効果となる音声収録を可能としたカメラ、また複数の画像に基づいて合成静止画像や動画を再生する際に、違和感のない音響効果で音声再生する再生装置、および再生方法を提供することを目的とする。

上記目的を達成するため第１の発明に係わるカメラは、被写体を連続撮影する撮像部と、被写体方向からの音声の収音範囲を変更可能な収音変更部と、上記撮像部で連続して得られた複数の画像を合成し、合成画像を生成する画像合成部と、上記複数の画像を撮影する際に、上記収音変更部の収音範囲を変更する制御部と、を有する。

第２の発明に係わるカメラは、上記第１の発明において、記制御部は、上記合成画像を生成する各画像を、右から左に向けて得る場合と、左から右に向けて得る場合に応じて、それぞれ収音範囲を、左から右に、または右から左に変更する。

第３の発明に係わるカメラは、カメラ視野を左右に移動させながら連続画像を撮影する撮像部と、上記撮影時に複数の方向の音声を収録する音声取得部と、上記撮像部で連続して得られた複数の画像を合成し、合成画像を生成する画像合成部と、上記複数の画像を合成する際に、上記音声取得部で得られた複数の方向の音声の合成を変更する制御部と、を有する。

第４の発明に係わるカメラは、上記第３の発明において、上記制御部は、上記合成画像を生成する各画像における所定の被写体の位置変化に従って音声合成を変更する。

第５の発明に係わるカメラは、被写体を連続撮影する撮像部と、上記被写体の方向からの音声の収音範囲を変更可能な収音変更部と、上記撮像部で連続して得られた複数の画像を、右から左に向けて得る場合と、左から右に向けて得る場合とに応じて、収音範囲を変更する制御部と、を有する。

第６の発明に係わるカメラは、被写体を連続撮影する撮像部と、上記被写体の方向からの音声の収音範囲を変更可能な収音変更部と、上記撮像部で連続して得られた複数の画像を合成し、合成画像を生成する画像合成部と、上記複数の画像を合成する際に、上記撮像部で得られた画像の方向に、上記収音変更部の収音範囲を変更する制御部と、を有する。

第７の発明に係わるカメラは、被写体を連続撮影する撮像部と、上記被写体の方向からの音声の収音範囲を変更可能な収音変更部と、カメラの動きを判定する動き判定部と、上記連続撮影する際に、上記動き判定部による判定結果に基づいて、上記収音変更部の収音範囲を変更する制御部と、を有する。

第８の発明に係わるカメラは、上記第７の発明において、上記動き判定部は、上記撮像部から出力される画像データに基づいて判定する。
第９の発明に係わるカメラは、上記第７の発明において、さらに、上記撮像部から出力される画像データに基づいて、上記被写体の顔が存在するか否かを判定する顔検出部を有し、上記制御部は、上記顔検出部によって顔が検出された場合には上記顔に基づいて上記収音変更部の収音範囲を制御する。

第１０の発明に係わる再生装置は、連続撮影された画像データと、この連続撮影時にステレオ録音されたステレオ音声データを記憶する記憶部と、上記画像データに基づいて、画像を再生表示する表示部と、上記ステレオ音声データに基づき、左右のバランスを変更して再生可能な音声再生部と、カメラの動きを判定する動き判定部と、上記画像データおよび上記ステレオ音声データの再生時に、上記カメラの動きに基づいて、上記ステレオ音声データの左右のバランスを制御する制御部と、を有する。

第１１の発明に係わる再生装置は、上記第１０の発明において、上記制御部は、上記カメラの角速度と、上記連続撮影の各コマのタイミングとから補正角を求め、この補正角に応じて上記ステレオ音声データの左右のバランスを制御する。

第１２の発明に係わる再生方法は、連続撮影された画像データと、この連続撮影時にステレオ録音されたステレオ音声データを記憶し、カメラの動きを判定し、上記画像データおよび上記ステレオ音声データの再生時に、上記カメラの動きに基づいて、上記ステレオ音声データの左右のバランスを制御する。

第１３の発明に係わるプログラムは、連続撮影された画像データと、この連続撮影時にステレオ録音されたステレオ音声データを記憶し、カメラの動きを判定し、上記画像データおよび上記ステレオ音声データの再生時に、上記カメラの動きに基づいて、上記ステレオ音声データの左右のバランスを制御する、ことをコンピュータに実行させる。

本発明によれば、複数の画像に基づいて合成静止画像や動画を再生する際に、違和感のない音響効果となる音声収録を可能としたカメラを提供することができる。また複数の画像に基づいて合成静止画像や動画を再生する際に、違和感のない音響効果で音声再生する再生装置、および再生方法を提供することができる。

以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。本実施形態に係わるデジタルカメラは、連続的に撮影しながら、状況に応じた指向性で音声を録音し、再生時に違和感のない音響効果となるようにしている。

図１は、本発明の第１実施形態に係わるカメラ１０と外部機器２０の構成を示すブロック図である。カメラ１０は、デジタルカメラであり、信号処理及び制御部１、撮像部２、変化判定部３、記録部４、操作判定部６、左右音声収録部７、表示部８、時計部９、および通信部１２を有する。

カメラ１０内の信号処理及び制御部１は、カメラ１０専用の信号処理ＬＳＩ等から構成され、カメラ１０全体を制御するとともに撮像部２から出力される画像データの画像処理を行う。撮像部２は、撮影レンズやこの撮影レンズによって形成された被写体像を画像データに変換する撮像素子等から構成される。

記録部４は、撮像部２から出力される画像データを、信号処理及び制御部１によって画像処理や圧縮処理された後に記録する。変化判定部３は、撮像部２から出力される画像データを用いて、カメラの視野の変化を判定する。すなわち、カメラ１０が右から左に動くと画像が左から右に動き、カメラ１０が左から右に動くと画像が右から左に動き、この動きを検出する。変化判定部３による判定結果に基づいて、カメラ１０の動きを考慮した音声収録を行う。また、変化判定部３は、画像データを用いて、人物の顔の存在を検出し、顔の部分が存在した場合にはその位置や、また口等の顔パーツ位置の判定をも行う。

左右音声収録部７は、ステレオマイク７ａを有しており、左右の音声をそれぞれ記録する。また、この左右音声収録部７は、ステレオマイクからの音声信号を信号処理し、音声の収録範囲を変更することができる（すなわち、収音にあたっての指向性を変更できる）。左右音声収録部７から出力される音声データは、信号処理及び制御部１で信号処理を行った後、画像データと共に記録部４に記録される。

操作判定部６は、レリーズ釦等の操作部材とこれに連動するスイッチ等を有する。操作判定部６によって判定された操作状態は、信号処理及び制御部１に送られ、信号処理及び制御部１は、操作状態に応じた処理を実行する。時計部９は、日時等のカレンダー・計時機能を有し、撮影時の撮影日時情報等を出力する。撮影日時情報は、画像データと共に記録部４に記録される。

表示部８は、撮像部２から出力される画像データに基づいて、被写体像をフレーミング用にライブビュー表示し、また、記録部４に記録されている画像データを再生表示する。通信部１２は、テレビ等の外部機器２０との送信や受信を行う。通信手段としては、無線ＬＡＮ、近接無線通信、赤外線通信、ＵＳＢケーブル等による有線通信等によって行い、カメラ１０で撮影した画像データや音声データを送信可能である。また、近年は、ハイビジョンのディプレイに画像・音声を送信するためにＨＤＭＩ等も利用される傾向にあり、通信部１２は、ＨＤＭＩ端子を備え、これによる有線通信でも良い。

テレビやフォトスタンド等の外部機器２０は、信号処理及び制御部２１、通信部２２、表示・再生部２３、表示優先部２４、およびリモコン受信部２５を有する。信号処理及び制御部２１は、カメラ１０の信号処理及び制御部１と同様、外部機器２０専用の信号処理ＬＳＩ等から構成され、外部機器２０全体を制御するとともに、通信部２２を介して受信した画像データや音声データの再生表示の制御を行う。

通信部２２は、カメラ１０との通信を行い、カメラ１０から画像データや音声データを受信する。カメラ１０の通信部１２と同様、無線ＬＡＮ、近接無線通信、赤外線通信、ＵＳＢケーブル、ＨＤＭＩケーブル等による有線通信等による通信が可能である。表示優先部２４は、画像の優先度を判定する。すなわち、カメラ１０に内蔵する表示部８に最初に表示する優先画像か否かの判定を行う。

表示・再生部２３は、薄型の大画面モニタとスピーカを有し、カメラ１０から受信した画像データや音声データの再生表示を行う。再生にあたっては、信号処理及び制御部２１は、表示優先部２４における優先画像か否かの判定結果に応じて、再生制御を行う。なお、外部機器２０がテレビである場合には、通常のテレビ放送等の表示も行う。

リモコン受信部２５は、赤外線通信により、リモコン装置より指示信号を受信する。リモコン装置によって、例えば、指定された画像や音声をカメラ１０から受け取ったり、再生したり、中断することが可能となっている。

次に、図２を用いて、このカメラ１０の使用方法について説明する。ユーザ１５は、図２（ａ）に示すように、カメラ１０を構え、撮像部２の撮影レンズを通して被写体像を撮影すると共に、ステレオマイク７ａによって、前方からの音声も記録可能となっている。このようにして撮影された画像や音声は、図２（ｂ）に示すように、カメラ１０の通信部１２、および外部機器２０の通信部２２を介して、外部機器２０に送信される。外部機器２０は、受信した画像や音声を、表示・再生部２３で再生表示する。

次に、図３および図４を用いて、本実施形態におけるカメラ１０による撮影と音声記録について説明する。図３は、カメラ１０によって撮影および音声収録を行っている様子を示している。ユーザは、最初、カメラ１０ａの位置で撮影を開始し、カメラ１０ｂの位置に向けてカメラ１０を動かし、この間、連続的に撮影を行っている。このとき、得られた複数の画像の類似部を重ね合わせ合成することにより、図４（ａ）に示すように、静止パノラマ画像を得ることができる。この例では、３枚の画像５１ａ、５１ｂ、５１ｃを合成し、静止パノラマ画像を生成している。

図４（ｂ）は、図４（ａ）と同じく３枚の画像５１ａ、５１ｂ、５１ｃを合成した静止パノラマ画像である。撮影時に、それぞれの画像５１ａ、５１ｂ、５１ｃの画面中央部方向の音声を記録すると、再生時に、音源５３ａ、５３ｂ、５３ｃの位置が、左から右へと移動し、不自然な音声再生となる。

そこで、本実施形態においては、カメラ１０ａの位置において撮影する場合には、図３に示すように、画角３１ａの中では右よりの収音範囲３３ａで収音し、カメラ１０ｂの位置において撮影する場合には、画角３１ｂの中では左よりの収音範囲３３ｂで収音する。このようにして撮影した画像をパノラマ画像に合成し、音声を再生すると、画像５１ａの撮影時における音声の音源位置５２ａと、画像５１ｃの撮影時における音声の音源位置５２ｂは、ほぼパノラマ画像の中央となる。すなわち、図４（ｃ）に示すように、パノラマ画像のほぼ中央の音源位置５２ｃから収音された音声が聞こえてくる。図４（ｂ）で説明したような、音源位置の移動が殆どなく、自然な感じで音声再生を行うことができる。

このように本実施形態においては、音声の変化を補正によって抑え、時系列的に撮影した画像を貼り合わせて作成した画像であることを感じさせないようにしている。なお、本実施形態においては、３枚の画像を貼り合わせているが、時間をかけて多数の画像を記録し、この中から複数枚の画像を選んで画像を合成し、音声を再生するようにしても勿論かまわない。

次に、本実施形態における動作を、図５に示すフローチャートを用いて説明する。このフローチャートは、カメラ１０の信号処理及び制御部１が司る。

図５に示すカメラ制御のフローに入ると、まず、撮影モードか否かの判定を行う（Ｓ１０１）。このカメラ１０は、撮影モードと再生モードを有している。ステップＳ１０１における判定の結果、撮影モードであった場合には、画像の取り込みを行い、顔検出を行う（Ｓ１０２）。このステップでは、ライブビュー表示用に撮像部２から出力されている画像データを取得し、この取得した画像データを用いて、変化判定部３は顔検出を行う。続いて、画像表示を行う（Ｓ１０３）。ここでは、ステップＳ１０２で取得した画像データに基づいて、表示部８に被写体像を表示する。撮影者はこの被写体像を見ながらフレーミングを行うことができる。

画像表示を行うと、次に、顔を検出したか否かの判定を行う（Ｓ１０４）。ステップＳ１０２において顔検出を行っているが、このとき画像の中から顔の部分を検出できたか否かをこのステップで判定する。この判定の結果、顔を検出したと判定した場合には、顔の位置と口等の顔パーツの位置を検出する（Ｓ１０５）。ここで、検出した顔位置は、ピント合わせや露出制御の際に利用する。

顔位置や口位置判定を行うと、またはステップＳ１０４における判定の結果において、顔が存在しなかったと判定した場合には、次に、記録を開始するか否かの判定を行う（Ｓ１０６）。ここでは、レリーズ釦の操作状態を検出し、動画撮影やパノラマ撮影等を開始するか否かを判定する。この判定の結果、記録開始でなかった場合には、ステップＳ１０１に戻り、前述の動作を実行する。

ステップＳ１０６における判定の結果、記録開始であった場合には、撮影・収音記録を行う（Ｓ１０７）。このサブルーチン内では、画像と音声の記録を連続的に行うと共に、併せて画面の動き検知等を随時行い、この動き検知結果に応じて収音範囲を変更する。撮影・収音動作は、このサブルーチン内において終了判定がなされるまで続行する。この撮影・収音記録のサブルーチンについては、図６に示すフローを用いて後述する。

ステップＳ１０１における判定の結果、撮影モードが設定されていなかった場合には、再生モードが設定されているか否かの判定を行う（Ｓ１１２）。この判定の結果、再生モードが設定されていなかった場合には、ステップＳ１０１に戻る。一方、ステップＳ１１１における判定の結果、再生モードが設定されていた場合には、再生を行う（Ｓ１１２）。

このステップＳ１１２では、記録部４から記録されている撮影画像を読み出し、表示部８にサムネイル形式で画像を表示し、操作部によって画像が選択されると、その画像を拡大表示する。また、画像の表示と共に、音声データが一緒に記録されていた場合には、これを再生する。なお、カメラ１０内にスピーカが設けられていない場合には、画像再生のみとし音声再生は行わない。

再生を行うと、次に、送信を行うか否かの判定を行う（Ｓ１１３）。ここでは、テレビ等の外部機器２０に画像送信するために、送信指示用の操作部材が操作されたか否かの判定を行う。この判定の結果、送信であった場合には、表示画像の送信を行う（Ｓ１１４）。このステップでは、ステップＳ１１２において表示中の画像を、外部機器２０に送信する。なお、複数の画像を選択した場合には、これらの画像をまとめて送信しても良い。表示画像を送信すると、ステップＳ１１３における判定の結果、送信でなかった場合、またはステップＳ１０７において撮影・収音記録が終わると、カメラ制御のフローを終了し、パワーオンのままであれば、ステップＳ１０１に戻り、前述の動作を実行する。

次に、ステップＳ１０７における撮影・収音記録のサブルーチンについて、図６に示すフローチャートを用いて説明する。

このフローに入ると、まず、パノラマ撮影か否かの判定を行う（Ｓ１）。ここでは、ユーザが操作部材によってパノラマ撮影モードを設定したか否かの判定を行う。撮影後にパノラマに相応しい撮影であったかどうかを判定し、パノラマを作成するようにしても良いが、本実施形態においては、フローを単純化するためにパノラマ撮影モードはユーザ設定で行うことで説明する。

ステップＳ１における判定の結果、パノラマ撮影モードが設定されていなかった場合には、通常の動画等の連続撮影を行う（Ｓ１１）。続いて、望遠撮影か否かを判定する（Ｓ１２）。ここでは、ズーミング操作によって望遠側に操作されたかを判定する。この判定の結果、望遠であった場合には、中央集中収音を行い（Ｓ１３）、一方、判定の結果、望遠でなかった場合には、左右のステレオ感を強調する収音を行う（Ｓ１４）。すなわち、カメラ１０の撮影レンズ２ａの画角に応じて、中央を重点的に録音するか、収音範囲を広くとりステレオ感を強調した録音をするか切り換える。なお、この収音範囲の変更は、左右音声収録部７によって行う。

中央集中録音またはステレオ強調録音を行うと次に、通常撮影を終了するか否かの判定を行う（Ｓ１５）。ここでは、レリーズ釦によって終了操作がなされたか否かの判定を行う。この判定の結果、終了でなかった場合には、ステップＳ１１に戻り、撮影を続行する。一方、終了であった場合には、撮影・収音記録のサブルーチンを終了し、元のフローに戻る。

ステップＳ１における判定の結果、パノラマ撮影モードであった場合には、最初に撮像を行い、画像端部の像を記録する（Ｓ２）。端部画像の記録は、例えば、別のメモリ領域に記録したり、端部の画像の特徴をタグに残す等、後で利用できるように行う。この端部像記録を行うことによって、カメラ１０を矢印の方向に動かす場合、画面内の端部の像（図９（ｂ）の例では、木５５）が、図９（ａ）に示すように、画像５６ａ→画像５６ｂ→画像５６ｃ内を順次移動していき、端部の像（木５５）が中心となるようにパノラマ画像を生成することができる。そして、カメラ１０を動かしても、常に端部の像（木５５）の方向に音声収録の指向性を持たせていく録音（記録像方向録音）を行い、音声再生時の不自然さを軽減している。

端部像記録を開始し、連続撮影を行う（Ｓ３）。続いて、最初に中央に所定の大きさの顔があるか否かを判定する（Ｓ４）。ここでは、変化判定部３によって、画面のほぼ中央に所定の大きさの顔、例えば、画面幅の１／５の顔が存在するかを判定する。これは、図７に示すようなシーンの場合、左側から撮影を開始すると、人物５７が所定以上の大きさを占める場合には、この人物５７が主被写体である可能性が高いからである。

この場合、人物５７が風景を見ながら、話す可能性があることから、撮影の最初（ステップＳ１０５のタイミング）、顔があることを判定した場合には、ステップＳ４からステップＳ２１に分岐し、顔方向追尾強調録音を行う（Ｓ２１）。顔方向追尾強調録音では、カメラ１０の動きに合わせて収音範囲５８ａ〜５８ｃを順次変更し、人物５７の方向で収音する。人物５７を主体にした撮影に相応しい収音を行うことができる。

ステップＳ４における判定の結果、最初に中央に所定の大きさの顔がなかった場合には、次に、画面の動き判定を行う（Ｓ５）。図９に示すように、カメラ１０の狙う方向の変化によって、撮影画像が左から右に動いているのか、右から左に動いているのかを判定する。続いて、画面の動きが左から右であったか否かの判定を行う（Ｓ６）。この判定の結果、画面の動きが左から右であった場合には、音声収録の強調方向を右強調から左強調とする（Ｓ８）。一方、画面の動きが右から左であった場合には、左強調から右強調録音とする（Ｓ７）。

ステップＳ８における右強調から左強調録音の動作について、図１０に示すフローチャートを用いて説明する。このフローに入ると、まず、画面右端の像を読み出す（Ｓ３１）。続いて、記録像方向の録音を行う（Ｓ３２）。ここでは、図４や図９において説明したように、最初は、画面右側の方向に向けて収音するが、画面の移動に応じて次第に画面の左側に向けた収音を行う。この収音動作は、左右音声収録部７によって行われる。

なお、ステップＳ７における左強調から右強調録音は、右強調から左強調録音と反対の動作を行えば良い。また、図１０に示したフローでは、画面内の像の移動に従って収音方向を移動したが、画面の動きの方向のみを検出し、単純に動きの方向に応じて、１２０°を数秒で動かす程度で収音範囲を変更するようにしても良い。すなわち、所定の速度でユーザは画角を変えていくと想定し、撮像部２からの画像を利用することなく、音声収録方向切り換えることも可能である。

ステップＳ７、Ｓ８、またはＳ２１における強調録音を行うと、次に、撮影の終了か否かを判定する（Ｓ１0）。このステップでは、レリーズ釦の操作状態を判定する。この判定の結果、撮影終了でなかった場合には、ステップＳ３に戻り、撮影を続行する。一方、判定の結果、終了であった場合には、撮影・収音記録のサブルーチンを終了し、元のフローに戻る。

以上説明したように、本実施形態に係わるカメラ１０は、パノラマ撮影モード等、連続的に画像を撮影する際に、カメラ１０の動きに応じて収音範囲を移動させている。このため、画像を合成して再生表示する際に、音声の音源位置が不自然に移動することがなく、違和感のない音響効果で音声再生することができる。

次に、収音範囲を変化させるための左右音声収録部７の構成と動作について説明する。左右音声収録部７は、図８に示すように、ステレオマイク７ａ、ＡＤ変換器４２、加算・乗算器４３から構成される。

ステレオマイク７ａは、右側マイク４１ａと左側マイク４１ｂとから構成され、カメラ本体１０の前面側に配置される。ステレオマイク７ａはＡＤコンバータ４２に接続され、音声信号がデジタル化される。すなわち、右側マイク４１ａはＡＤコンバータ４２ａに、また左側マイク４１ｂはＡＤコンバータ４２ｂに、それぞれ接続されデジタル音声データを出力する。

ＡＤコンバータ４２の出力端は、加算・乗算器４３に接続され、左右の音声の差分が演算される。すなわち、右側マイク４１ａの音声データを出力するＡＤコンバータ４２ａは、加算器４３ａのプラス側入力端と、加算器４３ｄのマイナス側入力端に接続される。また、左側マイク４１ｂの音声データを出力するＡＤコンバータ４２ｂは、加算器４３ａのマイナス側入力端と、加算器４３ｄのプラス側入力端に接続される。

加算器４３ａの出力は乗算器４３ｂの入力端に接続され、加算器４３ｄの出力端は乗算器４３ｅの入力端に、それぞれ接続される。乗算器４３ｂと乗算器４３ｅの制御端は、信号処理及び制御部１に接続され、乗算器４３ｂ、４３ｅのゲインを入力する。加算器４３ｃの入力端は、ＡＤコンバータ４２ａの出力端と乗算器４３ｂの出力端が接続される。加算器４３ｆの入力端は、ＡＤコンバータ４２ｂの出力端と、乗算器４３ｅの出力端が接続される。

加算・乗算器４３の出力端は、左右音声収録部７としての出力部であり、記録部４に接続される。すなわち、加算器４３ｃの出力端と、加算器４３ｆの出力端は、それぞれ、右側音声データ、左側音声データを出力し、これらの出力端を介して各音声データは記録部４に記録される。

このように左右音声収録部７は構成されており、ステレオ入力した音声データの左右のいずれかを強調することができる。左右音声収録部７の２つのマイク４１ａ、４１ｂによって入力した音声信号は、ＡＤコンバータ４２ａ、４２ｂによってデジタル音声データに変換され、加算器４３ａによって、（右側の音声データ）−（左側の音声データ）が演算され、加算器４３ｄによって、（左側の音声データ）−（右側の音声データ）が演算される。すなわち、加算器４３ａ、４３ｂによって、左右の音声データの差分が演算される。ここで、演算された差分は左右の音の差異であり、この差分を強調することにより、右または左側に広がりを強調した音声出力を得ることができ、この加算演算はそのための前処理である。

加算器４３ａ、４３ｄで求められた差分は、それぞれ乗算器４３ｂ、４３ｅにおいて信号処理及び制御部１からのゲインに基づいて乗算し、この乗算結果を、加算器４３ｃ、４３ｆにおいて、右側の音声データと左側の音声データに、それぞれ加算する。なお、加算器４３ａ、４３ｄの出力がプラスなので、実質的に加算することになる。ここで、乗算器４３ｂ、４３ｅにおけるいずれか一方のゲインを大きくすれば、ゲインの大きい側の音声が強調され、右側または左側に広がりを強調した音声出力を得ることができる。また、両方のゲインを大きくすることにより、中央を重視した音声出力を得ることができる。信号処理及び制御部１は、ステップＳ７、Ｓ８、Ｓ１３、Ｓ１４、Ｓ２１のタイミングにおいて、乗算器４３ｂ、４３ｅに対してゲインを制御することにより、広がり感を変えることができる。

このように、本実施形態における左右音声収録部７は、一対の同じ性能のマイクを用いて、収音の範囲の方向を右から左、左から右へと変化させることができる。また、画面の動きを判定して、左右音声収録部７における強調録音を制御するようにしているので、撮影視野が変化しても、擬似的に一定の音源位置から音声が再生されているようすることができる。

以上説明したように、本発明の第１実施形態によれば、画面の動きに合わせて収音範囲を変化させたので、複数の画像に基づいて合成静止画像を再生する際に、違和感のない音響効果で音声再生を行うことが可能となる。

次に、本発明の第２実施形態について、図１１乃至図１４を用いて説明する。本発明の第１実施形態においては、カメラ１０による撮影時にカメラの動きに合わせて収音範囲を変化させていた。第２実施形態においては、撮影時には収音範囲を変化させることなく、ステレオ録音し、パノラマ画像等の合成画像の再生時に、カメラの動きに合わせて音源の位置を変化させるようにした。本実施形態における構成は、図１に示した第１実施形態の構成と同じであるので、説明を省略する。

本実施形態の動作について、図１１に示すカメラ制御のフローチャートを用いて説明する。カメラ制御のフローに入ると、まず撮影モードに設定されているか否かの判定を行う（Ｓ２０１）。ステップＳ２０１〜Ｓ２０３は、図５に示した第１実施形態におけるカメラ制御のフローと同じであり、詳しい説明を省略する。ただし、ステップＳ２０２における画像取り込みの際に、顔検出を行っていたが、本実施形態においては省略している。もちろん、露出制御や自動焦点調節のために顔検出を行っても良い。

ステップＳ２０３において画像表示（ライブビュー表示）を行うと、次に、ステップＳ１０６と同様に、記録開始か否かの判定を行う（Ｓ２０４）。ここでは、レリーズ釦が操作されてか否かを判定する。この判定の結果、記録開始でない場合には、ステップＳ２０１に戻り、前述の動作を実行する。

ステップＳ２０４における判定の結果、記録開始であった場合には、連続撮影を開始し、また同時にステレオ録音を開始する（Ｓ２０６）。次いで、動き判定を行う（Ｓ２０７）。このステップでは、画像データに基づき画像の変化から、カメラ１０の動きを判定する。この判定の結果、動きがあった場合には、動きの特徴を記録する（Ｓ２０８）。ここでは、画像データと共に、動きの特徴を記録部４に記録する。

動き特徴記録を行うと、またはステップＳ２０７における判定の結果、動きがなかった場合には、次に、記録を終了するか否かの判定を行う（Ｓ２０９）。このステップでは、レリーズ釦の操作状態に基づいて判定する。この判定の結果、記録終了でなければ、ステップＳ２０６に戻り、連続撮影を続行する。一方、判定の結果、記録終了であれば、このフローを終了し、再び、ステップＳ２０１に戻る。

ステップＳ２０１における判定の結果、撮影モードでなかった場合には、次に再生モードが設定されているか否かの判定を行う（Ｓ２１１）。ここでは、再生釦等の操作部材が操作され、ユーザから再生開始指示がなされか否かを判定する。この判定の結果、再生モードに設定されていなかった場合には、ステップＳ２０１に戻る。一方、判定の結果、再生モードが設定されていた場合には、次に、パノラマ再生か否かの判定を行う（Ｓ２１２）。

このステップＳ２１２では、ステップＳ２０８において、画像データと共に動き特徴が記録されているか否かを判定する。すなわち、動き特徴が記録されている場合には、複数コマを合成することによりパノラマ画像を得ることができる。また、パノラマ再生か否かの判定にあたっては、ユーザによってパノラマ再生モードが設定されているか否かを含めて判断するようにしても良い。

ステップＳ２１２における判定の結果、パノラマ再生でなかった場合には、通常の動画再生を行い（Ｓ２１３）、ステレオ再生を行う（Ｓ２１４）。ここでは、ステップＳ２０６において録画した動画と、録音した音声を再生する。

ステップＳ２１２における判定の結果、パノラマ再生であった場合には、画像接続再生を行う（Ｓ２２１）。すなわち、このステップでは、ステップＳ２０６において撮影した連続画像の共通部分を貼り合わせて静止画でパノラマ画像を生成する。続いて、パノラマ中央部像の方向音声強調で音声を再生する（Ｓ２２２）。このステップでは、完成されたパノラマ画像の中央部の像を判定し、その像位置と、ステップＳ２０８に記録した動き特徴データから、各位置で得られた音声を補正し、パノラマ画像の中央部に音源位置があるように音声再生する。

このステップＳ２２２における音声強調での音声再生は、図１２に示す左右音声収録部７において制御される。ステップＳ２０６におけるステレオ録音にあたっては、左右音声収録部７は音声強調を行わず、左右のステレオ音をそのまま記録部４に記録し、ステップＳ２２２において音声強調で再生を行う。左右音声収録部７における音声再生については、図１２を用いて後述する。

また、ステップＳ２２２における音声強調再生にあたって、第１実施形態においては、図９に示したように、画面内の端部の像（図９（ｂ）の例では、木５５）を目標にして音声の方向バランスを取るようにしていた。このため、パノラマ画像の中央部に端部像が含まれている必要があった。本実施形態においては、パノラマ画像の中央部に目標となる端部像がない場合でも、カメラの取り扱い時の角速度を検出するセンサ（例えば、ジャイロ等）を利用して音声強調再生を行うようにしている。この音声強調再生については、図１３および図１４を用いて後述する。

ステップＳ２２２における音声強調による再生、またはステップＳ２１４におけるステレオ再生を行うと、次に、再生終了か否かの判定を行う（Ｓ２１５）。ここでは、再生釦等の操作部材が再度操作される等、ユーザによる再生終了指示がなされたか等に基づいて判定する。この判定の結果、再生終了でなかった場合には、ステップＳ２１２に戻り、再生動作を続行する。

ステップＳ２１５における判定の結果、再生終了であった場合には、次に、送信するか否かの判定を行う（Ｓ２２６）。ここでは、送信釦等の操作部材が操作され、表示中の再生画像を外部機器２０に送信するか否かを判定する。この判定の結果、送信であった場合には、表示画像を外部機器２０に送信する（Ｓ２７７）。表示画像を送信すると、またはステップＳ２２６における判定の結果、送信でなかった場合には、カメラ制御のフローを終了し、ステップＳ２０１から再び実行する。

次に、ステップＳ２２２においてパノラマ中央部像の方向の音声強調の処理を行う左右音声収録部７の構成について、図１２を用いて説明する。

図１２は、左右音声収録部７の構成を示すブロック図である。この左右音声収録部７は再生時には、左右の音声再生のバランスを調整し、音声強調処理を行う。図８に示した第１実施形態における構成と比較し、ＡＤコンバータ４２と加算・乗算器４３の間に記録部４を接続している点が相違しているが、各回路内の構成は、第１実施形態における左右音声収録部７と同じである。

すなわち、右側マイク４１ａの音声信号をＡＤ変換するＡＤコンバータ４２ａの出力端は記録部４に接続され、このＡＤコンバータ４２ａによってＡＤ変換され、記録部４に記録された音声データは、加算器４３ａ、４３ｃ、４３ｄに出力される。また、左側マイク４１ｂの音声信号をＡＤ変換するＡＤコンバータ４２ｂの出力端は記録部４に接続され、このＡＤコンバータ４２ｂによってＡＤ変換され、記録部４に記録された音声データは、加算器４３ａ、４３ｄ、４３ｆに出力される。

上述した第１実施形態においては、音声収録部７は撮影時に強調収音を行い、収音範囲を変更していたが、本実施形態においては、撮影時には、ステレオマイク７ａからの音声信号をＡＤコンバータによってデジタル化し、この音声データの収音範囲を変更することなく、そのまま記録部４に記録する。そして、再生時に記録部４から読み出された音声データに基づいて、加算・乗算器４３によって音声再生の際の左右のバランスを制御している。すなわち、画面の移動に応じて乗算器４３ｂ、４３ｅに印加するゲインを変化させ、パノラマ画像の中央部の像の方向に音源があるかのように、音声再生を行う。

次に、ステップＳ２２２におけるパノラマ中央部像の方向の音声強調のサブルーチンについて、図１３および図１４を用いて説明する。前述したように、第１実施形態においては、パノラマ画像の中央部の像方向を検出するにあたって、画面内の端部の像（木５５）を基準にしていた。本実施形態においては、このような端部の像がない場合でも、パノラマ画像の中央部の像方向を検出することができる。

図１３（ａ）は、パノラマ画像を生成するために連続的に画像を撮影する様子を示す。すなわち、最初にカメラ１０ａの位置において（タイミングＴ１）で、撮影を開始する。このとき、カメラ１０で撮影すると、図１３（ｂ）に示すように、画角θの画像６１ａを得ることができる。続いて、途中のタイミングＴ２において撮影すると、目標物となる木５９が映しこまれ、画像６１ｂを得ることができる。そして、終端に達し、カメラ１０ｂの位置において（タイミングＴ３）、最後の画像を撮影すると、画像６１ｃを得ることができる。なお、これらの画像６１ａ〜６１ｃは、ステップＳ２０６（図１１参照）において取得し、記録している。

カメラ１０によって連続的に取得した画像６１ａ〜６１ｃを並べると、図１３（ｂ）に示すようになり、これらを合成することによりパノラマ画像６２を得ることができる。このパノラマ画像の中央部には目標となる像としての木５９がある。本実施形態においては、パノラマ画像の最初や最後の画像には、共通の像（木５９）がなくても、合成して得られたパノラマ画像の中央部に木５９があることから、この木が視野に入るまでのタイミングの差異から、音声再生時における方向補正を可能としている。

つまり、図１３（ａ）に示すように、カメラ１０ａがタイミングＴ１で画角θの画像を得て撮影を開始し、カメラ１０ｂの位置で（タイミングＴ３）で画角θのパノラマ用画像の最後の画像を得る。これらの間のタイミングＴ２において、パノラマ画像の中央の像を得る。タイミングＴ１とタイミングＴ２の間にどれだけの角度Φ動いたかは、画角θと、画角内を動く像の速さから判定することができる。

画角の端から端まで、像がΔＴの時間で移動すると、角速度センサによって取得された角速度ｖに基づいて、カメラ１０をどれだけの角度θ、動かしたかが分かる。この角速度ｖは、撮影中にステップＳ２０８に動き特徴として判定し、画像と共に記録される。したがって、タイミングＴ１とタイミングＴ２の差異Ｔ２−Ｔ１に、角速度ｖを乗ずることにより、補正すべき収音角度を決定することができる。

次に、パノラマ中央部像の方向の音声強調のサブルーチンについて、図１４に示すフローチャートを用いて説明する。このフローに入ると、まず、パノラマ画像を合成する際の中央コマの判定を行う（Ｓ５０１）。このステップでは、図１３の例では、パノラマ画像の中央部にあたる画像６１ｂを中央コマとして判定する。続いて、中央コマ撮影タイミングをＴ２とする（Ｓ５０２）。

次に、Ｔで得られた音声を読み出す（Ｓ５０３）。このステップでは、読み出されている画像データに対応する音声データを記録部４から読み出し、この音声のタイミングをＴとする。続いて、補正角を、（Ｔ２−Ｔ）×θ／ΔＴ より求める（Ｓ５０４）。このステップでは、図１３を用いて説明したように、各タイミングＴにおいて中央部との差異（Ｔ２−Ｔ）に角速度（ｖ＝θ／ΔＴ）を乗算することにより補正角を求める。

補正角を演算すると、次に、この補正角を用いて補正角音声強調を行う（Ｓ５０５）。このステップでは、図１２に示す左右音声収録部７の乗算器４３ｂ、４３ｅに印加するゲインを、補正角に応じて変化させる。これによって、パノラマ画像のほぼ中央部の方向に音源位置があるような強調再生を行うことができる。

補正角音声強調を行うと、次に、終了か否かの判定を行う（Ｓ５０６）。ここでは、再生が終了か否かを再生釦等の操作部材の操作状態に応じて判定する。この判定の結果、終了でなかった場合には、ステップＳ５０３に戻り、音声強調による音声再生を続行する。一方、ステップＳ５０６における判定の結果、終了であった場合は、元のフローに戻る。

以上、説明したように、本発明の第２実施形態においては、撮影時にはステレオ録音しておき、再生時に、画面の動きに応じて音声強調による再生を行い、中央部に音源の位置があるように音声再生を行っている。このため、静止画でパノラマ画像を再生表示した際に、音源の位置が移動し不自然な音声再生となることを防止することができる。

また、本実施形態においては、最初と最後の画面内に端部の像（木５５）が、存在しなくても補正角を演算により求めることができる。このため、第１実施形態よりも広い範囲のパノラマ撮影時であっても、補正角を演算することができ、撮影方向が大きく変化しても音の変化が気にならない。

なお、中央部の像の方向に音源があるように音声強調を行っていたが、この方向は、中央部以外であっても、適宜、変更できるようにしても良い。この場合には、Ｔ２のタイミングを手動で設定するようにすれば良い。

次に、本発明の第１および第２実施形態の変形例について図１５および図１６を用いて説明する。すなわち、第１および第２実施形態においては、連続的に撮影を行い、これによって得た複数の画像を用いてパノラマ画像を合成し、静止画で表示していた。これに対して、本変形例においては、連続撮影した画像を順次再生し、動画のように再生を行う場合を想定している。本変形例によれば、カメラの視野変更に伴う不必要な音の変化を低減することができる。

図１５を用いて、本変形例におけるカメラ１０による撮影と音声記録について説明する。図１５（ａ）は、カメラ１０によって撮影および音声収録を行っている様子を示している。ユーザ１５は、最初、カメラ１０ｂの位置で撮影を開始し、カメラ１０ａの位置に向けてカメラ１０を動かしている。このとき、カメラ１０ａの位置で画像を撮影すると、図１５（ｂ）に示すような画像が得られ、カメラ１０ｂの位置で画像を撮影すると、図１５（ｃ）に示すような画像が得られる。

図１５（ｂ）（ｃ）に示すような海辺の広々とした情景を、連写または動画で撮影する際に併せて録音すると、それぞれのカメラ１０の位置の前方の画角に相当する狭い範囲の音が収録されることになる。しかし、この範囲では、顔は動かさず、人間の目１５ａ、１５ｂのみを動かすことが可能である。つまり、カメラ１０は画面の移り変わりに応じて、前方の音声を有して収音するが、撮影者の耳１５ｃは、可聴範囲３５の音を聴いている場合がある。

このような状況下で録音した音声の再生の際に、カメラ１０の動きに応じて落ち着きなく変化すると、画像と音声を楽しむには相応しくない。そこで、本変形例においては、画面が動いても、画面内の所定の場所に音源があり、そこから音が聞こえてくるようにしている。

本変形例は、第１実施形態のように撮影時にも適用できるが、ここでは第２実施形態に応用する例で説明する。この場合、図１１に示したカメラ制御のフロー中、ステップＳ２２１、Ｓ２２２において静止画パノラマ画像ではなく動画を再生する際に、音声強調再生を行えば良い。すなわち、動画を再生表示しながら、あたかもパノラマ時の画面中央をカメラが向いていた時の音声がずっと記録されていたような再生を行う。

例えば、図２０に示すように、大木の幹に沿って、下から頂点までゆっくりと見上げながら動画を撮影した場合を考える。この場合、幹に蝉が止まって鳴いていたとすると、一番下を撮影する際には、画面、中央から蝉の声が聞こえてくるが、画面が頂上に向かうにつれ、画面の下側から蝉の声が聞こえてくるように、音声強調再生を行う。これによって、同じ音源位置から蝉の声が聞こえてくることから、不自然な感じを与えることはない。もちろん、第１、第２実施形態と同様に、左右に移動させる連続撮影であっても、同様の効果を得ることができる。

このような構成を採用し、動作を行うことにより、安定した環境音再生を可能とし、雰囲気豊かな音響効果を持つ音声収録や再生が可能となる。カメラ１０のユーザは、必ずしも見ている方向の範囲の音を聴いているわけではない。記憶の再現という観点では、厳密な音の再現より、思い出にふけることができるような音声再生が好ましい。記憶の中に残っている音声を無理なく再現できるような音声収音が望まれる。そこで、本変形例においては、最適な収音を行いながら、撮影者が撮影時に聴いていて記憶に残っているような環境音の記録や再生を重視している。これによって、慌ただしく音声が切り替わることがなく、落ち着いて記憶をひもとくことができ、癒し効果のある画像と音声再生を可能としている。

以上、説明したように本発明の各実施形態においては、複数の画像に基づいて合成静止画像や動画を再生する際に、音源の位置が一定となるように、連続撮影の際に収音範囲を変更しており、違和感のない音響効果となる音声収録を可能としている。また複数の画像に基づいて合成静止画像や動画を再生する際に、音源の位置が一定となるように、音声の左右のバランスを変更しており、違和感のない音響効果で音声再生を可能としている。

なお、本発明の各実施形態においては、画面の移動を、画像データに基づいて検出していたが、これに限らず、例えば、カメラ１０内に設けた角速度センサや加速度センサ等によって、カメラ１０の動きを直接、検出するようにしても勿論かまわない。

また、本発明の各実施形態においては、左右２チャンネルのステレオ録音を前提に説明したが、これに限らず、さらに多チャンネルの録音であっても勿論、本発明を適用することができる。

さらに、本発明の各実施形態においては、再生表示する場合には、カメラ１０の表示部８、またはカメラ１０から外部機器２０に送信して行っていた。しかし、これに限らず、例えば、記録部４で記録された記録媒体を直接、テレビやパーソナルコンピュータに装填するようにしても良い。

また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも構わない。いずれにしても、画像と共に音声を記録することのできる撮影のための機器であれば、本発明を適用することができる。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１実施形態に係わるカメラと外部機器の構成を示すブロック図である。 本発明の第１実施形態に係るカメラの使用状態を説明する図であり、（ａ）は撮影時の様子を示し、（ｂ）はテレビ等の外部機器に画像を転送する様子を示す図である。 本発明の第１実施形態に係わるカメラにおいて、画像と音声の記録について説明する図である。 本発明の第１実施形態において、連続撮影された画像からパノラマ画像を生成する様子を示す図であり、（ａ）は３コマの画像からパノラマ画像を生成した図であり、（ｂ）は各コマの中央部に指向性のある収音を行った場合の音声再生を示し、（ｃ）はパノラマ画像の中央部の像の方向に収音した場合を示す図である。 本発明の第１実施形態に係わるカメラにおけるカメラ制御の動作を示すフローチャートである。 本発明の第１実施形態における撮影・収音記録の動作を示すフローチャートである。 本発明の第１実施形態において主被写体として人物である場合の画像を示す図である。 本発明の第１実施形態に係わるカメラにおいて左右音声収録部の構成を示すブロック図である。 本発明の第１実施形態に係わるカメラにおいて、画像端部像記録を行っている様子を示す図であり、（ａ）はカメラと被写体の位置関係を示し、（ｂ）はカメラで撮影した連続画像の各コマを示す図である。 本発明の第１実施形態における右強調から左強調録音の動作を示すフローチャートである。 本発明の第２実施形態におけるカメラ制御の動作を示すフローチャートである。 本発明の第２実施形態に係わるカメラにおいて左右音声収録部の構成を示すブロック図である。 本発明の第２実施形態に係わるカメラにおいて、パノラマ中央部像の方向の音声強調再生を行っている様子を示す図であり、（ａ）はカメラと被写体の位置関係を示し、（ｂ）はカメラで撮影した連続画像の各コマと合成されたパノラマ画像を示す図である。 本発明の第２実施形態におけるパノラマ中央部像の方向の音声強調の動作を示すフローチャートである。 本発明の第１、第２実施形態の変形例に係わるカメラにおいて、画像と音声の記録について説明する図であり、（ａ）は、カメラによって撮影および音声収録を行っている様子を示し、（ｂ）はカメラ１０ａの位置で撮影した画像を示し、（ｃ）はカメラ１０ｂの位置で撮影した画像を示す図である。 本発明の第１、第２実施形態の変形例に係わるカメラにおいて、縦長方向にカメラを移動させながら、連続撮影する様子を示す図である。

符号の説明

１・・・信号処理及び制御部、２・・・撮像部、３・・・変化判定部、４・・・記録部、６・・・操作判定部、７・・・左右音声収録部、８・・・表示部、９・・・時計部、１０・・・カメラ、１０ａ・・・カメラ、１０ｂ・・・カメラ、１２・・・通信部、１５・・・ユーザ（撮影者）、１５ａ・・・目、１５ｂ・・・目、１５ｃ・・・耳、２０・・・外部機器、２１・・・信号処理及び制御部、２２・・・通信部、２３・・・表示・再生部、２４・・・表示優先部、２５・・・リモコン受信部、３１ａ・・・画角、３１ｂ・・・画角、３３ａ・・・収音範囲、３３ｂ・・・収音範囲、３５・・・可聴範囲、４１ａ・・・右側マイク、４１ｂ・・・左側マイク、４２ａ・・・ＡＤコンバータ、４２ｂ・・・ＡＤコンバータ、４３ａ・・・加算器、４３ｂ・・・加算器、４３ｃ・・・乗算器、４３ｄ・・・加算器、４３ｅ・・・乗算器、４３ｆ・・・加算器、５１ａ〜５１ｃ・・・画像、５２ａ〜５２ｃ・・・音源位置、５３ａ〜５３ｃ・・・音源、５５・・・木、５６ａ〜５６ｃ・・・画像、５７・・・人物、５８ａ〜５８ｃ・・・収音範囲、５９・・・木、６１ａ〜６１ｃ・・・画像、６２・・・パノラマ画像

Claims (13)

1. 被写体を連続撮影する撮像部と、
   被写体方向からの音声の収音範囲を変更可能な収音変更部と、
   上記撮像部で連続して得られた複数の画像を合成し、合成画像を生成する画像合成部と、
   上記複数の画像を撮影する際に、上記収音変更部の収音範囲を変更する制御部と、
   を有することを特徴とするカメラ。
2. 上記制御部は、上記合成画像を生成する各画像を、右から左に向けて得る場合と、左から右に向けて得る場合に応じて、それぞれ収音範囲を、左から右に、または右から左に変更することを特徴とする請求項１に記載のカメラ。
3. カメラ視野を左右に移動させながら連続画像を撮影する撮像部と、
   上記撮影時に複数の方向の音声を収録する音声取得部と、
   上記撮像部で連続して得られた複数の画像を合成し、合成画像を生成する画像合成部と、
   上記複数の画像を合成する際に、上記音声取得部で得られた複数の方向の音声の合成を変更する制御部と、
   を有することを特徴とするカメラ。
4. 上記制御部は、上記合成画像を生成する各画像における所定の被写体の位置変化に従って音声合成を変更することを特徴とする請求項３に記載のカメラ。
5. 被写体を連続撮影する撮像部と、
   上記被写体の方向からの音声の収音範囲を変更可能な収音変更部と、
   上記撮像部で連続して得られた複数の画像を、右から左に向けて得る場合と、左から右に向けて得る場合とに応じて、収音範囲を変更する制御部と、
   を有することを特徴とするカメラ。
6. 被写体を連続撮影する撮像部と、
   上記被写体の方向からの音声の収音範囲を変更可能な収音変更部と、
   上記撮像部で連続して得られた複数の画像を合成し、合成画像を生成する画像合成部と、
   上記複数の画像を撮影する際に、上記撮像部で得られた画像の方向に、上記収音変更部の収音範囲を変更する制御部と、
   を有することを特徴とするカメラ。
7. 被写体を連続撮影する撮像部と、
   上記被写体の方向からの音声の収音範囲を変更可能な収音変更部と、
   カメラの動きを判定する動き判定部と、
   上記連続撮影する際に、上記動き判定部による判定結果に基づいて、上記収音変更部の収音範囲を変更する制御部と、
   を有することを特徴とするカメラ。
8. 上記動き判定部は、上記撮像部から出力される画像データに基づいて判定することを特徴とする請求項７に記載のカメラ。
9. さらに、上記撮像部から出力される画像データに基づいて、上記被写体の顔が存在するか否かを判定する顔検出部を有し、上記制御部は、上記顔検出部によって顔が検出された場合には上記顔に基づいて上記収音変更部の収音範囲を制御することを特徴とする請求項７に記載のカメラ。
10. 連続撮影された画像データと、この連続撮影時にステレオ録音されたステレオ音声データを記憶する記憶部と、
    上記画像データに基づいて、画像を再生表示する表示部と、
    上記ステレオ音声データに基づき、左右のバランスを変更して再生可能な音声再生部と、
    カメラの動きを判定する動き判定部と、
    上記画像データおよび上記ステレオ音声データの再生時に、上記カメラの動きに基づいて、上記ステレオ音声データの左右のバランスを制御する制御部と、
    を有することを特徴とする再生装置。
11. 上記制御部は、上記カメラの角速度と、上記連続撮影の各コマのタイミングとから補正角を求め、この補正角に応じて上記ステレオ音声データの左右のバランスを制御することを特徴とする請求項１０に記載の再生装置。
12. 連続撮影された画像データと、この連続撮影時にステレオ録音されたステレオ音声データを記憶し、
    カメラの動きを判定し、
    上記画像データおよび上記ステレオ音声データの再生時に、上記カメラの動きに基づいて、上記ステレオ音声データの左右のバランスを制御する、
    ことを特徴とする再生方法。
13. 連続撮影された画像データと、この連続撮影時にステレオ録音されたステレオ音声データを記憶し、
    カメラの動きを判定し、
    上記画像データおよび上記ステレオ音声データの再生時に、上記カメラの動きに基づいて、上記ステレオ音声データの左右のバランスを制御する、
    ことをコンピュータに実行させることを特徴とするプログラム。