JP2006203860A - 撮像装置、撮像方法、再生装置、再生方法、及びプログラム - Google Patents

Abstract

【課題】望ましい音声と画像をユーザが容易に得ることができる撮像装置又は再生装置を提供すること。
【解決手段】被写体を撮像する撮像部と、撮像部の周囲の音声を録音する録音部と、設定された閾値音量を格納する閾値音量格納部と、録音部が録音した音声のうちで、閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出部と、撮像部が撮像した複数の撮像画像のそれぞれと、音声抽出部が抽出した複数の音声のそれぞれとを、撮像及び録音された順に対応づけて格納するデータ格納部と、データ格納部が対応づけて格納する撮像画像と音声とを同期させて出力するデータ出力部とを備える。
【選択図】図２

Description

本発明は、撮像装置、撮像方法、再生装置、再生方法、及びプログラムに関する。特に本発明は、画像を撮像する撮像装置及び撮像方法、並びに画像を再生する再生装置及び再生方法、並びに当該撮像装置及び再生装置用のプログラムに関する。

従来、静止画だけでなく動画もメモリカードに記録することができ、また、静止画や動画の撮影記録時にマイクロホンで検出した音声を画像に対応させて記録できるデジタルスチルカメラがある（例えば、特許文献１参照。）。
特開平７−１５４７３４号公報

しかしながら、このようなカメラを用いて、例えば山で鳥を撮影したとき、鳥の鳴き声の他に周囲の雑音も一緒に録音されてしまい、画像を再生したときの音声が面白くないものになってしまう場合がある。このような場合には、鳥の鳴き声以外の音をカットしたり、周囲の雑音が少ないときの音声を再生するようにしたりして、より楽しく画像を観賞することができることが望ましい。さらに、ユーザにとっては撮影後に画像と音声の編集処理等の煩雑な作業をすることなく、容易に画像と音声とを鑑賞することができることが望ましい。

そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、再生装置、再生方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態における撮像装置は、被写体を撮像する撮像部と、撮像部の周囲の音声を録音する録音部と、設定された閾値音量を格納する閾値音量格納部と、録音部が録音した音声のうちで、閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出部と、撮像部が撮像した撮像画像と、音声抽出部が抽出した音声とを対応づけて格納するデータ格納部と、データ格納部が対応づけて格納している撮像画像と音声とを同期させて出力するデータ出力部とを備える。

データ格納部は、撮像部が撮像した複数の撮像画像のそれぞれと、音声抽出部が抽出した複数の音声のそれぞれとを、撮像及び録音された順に対応づけて格納してよい。

録音部が録音した音声を格納する音声格納部と、音声格納部が格納している音声の音量分布に基づいて、閾値音量格納部が格納している閾値音量を設定する閾値音量設定部とをさらに備えてよい。閾値音量設定部は、音声格納部が格納している音声の音量の平均値がより大きい場合に、閾値音量格納部が格納している閾値音量をより大きく設定してよい。

音声抽出部が抽出する複数の音声の期間の合計が、撮像部が撮像した複数の撮像画像の数に、予め定められた撮像画像の再生時間を乗じた期間と同一となるように、閾値音量格納部が格納している閾値音量を設定する閾値音量設定部をさらに備えてよい。閾値音量格納部は、複数の周波数帯域のそれぞれに対応づけて帯域別閾値音量を格納し、音声抽出部は、録音部が録音した音声の音量を周波数帯域毎に、閾値音量格納部が格納している帯域別閾値音量と比較し、特定の周波数帯域において帯域別閾値音量より大きい音量が含まれる一部の期間の音声を抽出してよい。

当該撮像装置の周囲の環境を特定する環境特定部と、設定された帯域周波数の音声を透過させる可変フィルタ部と、環境特定部が特定した環境に応じて、可変フィルタ部が透過させる音声の帯域周波数を設定する帯域制御部とをさらに備え、録音部は、フィルタ部が透過させた音声を録音してよい。

当該撮像装置の位置を検出する位置検出部と、位置を示す情報に対応づけて、環境を示す情報を格納する環境情報格納部とをさらに備え、環境特定部は、位置検出部が検出した位置に基づいて環境情報格納部を検索し、当該撮像装置の周囲の環境を特定してよい。

時刻を検出する時刻検出部と、時刻を示す情報に対応づけて、環境を示す情報を格納する環境情報格納部とをさらに備え、環境特定部は、時刻検出部が検出した時刻に基づいて環境情報格納部を検索し、当該撮像装置の周囲の環境を特定してよい。

本発明の第２の形態における撮像方法は、撮像部を用いて被写体を撮像する段階と、撮像部の周囲の音声を録音する録音段階と、設定された閾値音量を格納する閾値音量格納段階と、録音段階において録音された音声のうちで、閾値音量格納段階において格納される閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出段階と、撮像部が撮像した撮像画像と、音声抽出段階で抽出された音声とを対応づけて格納するデータ格納段階と、データ格納段階において対応づけて格納される撮像画像と音声とを同期させて出力するデータ出力段階とを備える。

本発明の第３の形態によると、画像を撮像する撮像装置用のプログラムであって、撮像装置を被写体を撮像する撮像部、撮像部の周囲の音声を録音する録音部、設定された閾値音量を格納する閾値音量格納部、録音部が録音した音声のうちで、閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出部、撮像部が撮像した撮像画像と、音声抽出部が抽出した音声とを対応づけて格納するデータ格納部、データ格納部が対応づけて格納している撮像画像と音声とを同期させて出力するデータ出力部として機能させる。

本発明の第４の形態における再生装置は、撮像装置によって撮像された撮像画像を格納する撮像画像格納部と、撮像装置によって録音された音声を格納する音声格納部と、閾値音量を格納する閾値音量格納部と、音声格納部が格納している音声のうちで、閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出部と、撮像画像格納部が格納する撮像画像と、音声抽出部が抽出した音声とを対応づけて格納するデータ格納部と、データ格納部が対応づけて格納している撮像画像と音声とを同期させて出力するデータ出力部とを備える。

設定された許容時間を格納する許容時間格納部をさらに備え、撮像画像格納部は、撮像装置によって撮像された時刻に対応づけて撮像画像を格納し、音声格納部は、撮像装置によって録音された時刻に対応づけて音声を格納し、音声抽出部は、撮像画像格納部が格納している撮像画像が撮像された時刻から、許容時間格納部が格納している許容時間の範囲内の時刻に録音された音声のうちで、閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出してよい。

撮像画像格納部が格納している撮像画像を再生するべき旨の指示を受け付ける指示受付部と、指示受付部が指示を受け付けたときの時刻を検出する時刻検出部と、撮像画像格納部が格納している撮像画像が撮像された時刻と、時刻検出部が検出した時刻との差が大きいほど、許容時間格納部が格納している許容時間を長く設定する許容時間制御部をさらに備えてよい。

音声格納部が格納している音声の音量分布に基づいて、閾値音量格納部が格納している閾値音量を設定する閾値音量設定部をさらに備えてよい。閾値音量設定部は、音声格納部が格納している音声の音量の平均値がより大きい場合に、閾値音量格納部が格納している閾値音量をより大きく設定してよい。

本発明の第５の形態における再生方法は、撮像装置によって撮像された撮像画像を格納する撮像画像格納段階と、撮像装置によって録音された音声を格納する音声格納段階と、閾値音量を格納する閾値音量格納段階と、音声格納段階において格納される音声のうちで、閾値音量格納段階において格納される閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出段階と、撮像画像格納段階において格納される撮像画像と、音声抽出段階において抽出される音声とを対応づけて格納するデータ格納段階と、データ格納段階において対応づけて格納される撮像画像と音声とを同期させて出力するデータ出力部とを備える。

本発明の第６の形態によると、画像を再生する再生装置用のプログラムであって、再生装置を撮像装置によって撮像された撮像画像を格納する撮像画像格納部、撮像装置によって録音された音声を格納する音声格納部、閾値音量を格納する閾値音量格納部、音声格納部が格納している音声のうちで、閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出部、撮像画像格納部が格納している撮像画像と、音声抽出部が抽出した音声とを対応づけて格納するデータ格納部、データ格納部が対応づけて格納している撮像画像と音声とを同期させて出力するデータ出力部として機能させる。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。

本発明によれば、望ましい音声と画像をユーザが容易に得ることができる撮像装置又は再生装置を提供することができる。

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の第１実施形態に係る撮像装置１００及び再生装置１４０の利用環境の一例を示す。この例では、撮像装置１００は、海岸に遊びにきている人の画像を撮像する。また、撮像装置１００は、撮像装置１００の周囲の音をマイクロホン１０２で録音する。撮像装置１００は、撮像装置１００が撮像した画像及び録音した音声を、インターネット等の通信回線１５０を通じて再生装置１４０に出力する。再生装置１４０は、撮像装置１００から受け取った画像を再生しつつ、撮像装置１００から受け取った音声を再生する。

このとき、撮像装置１００は、撮像画像を撮像したときの撮像場所、撮像時刻において録音された特徴的な音声を、撮像画像とともに再生装置１４０に出力する。また、再生装置１４０は、撮像装置１００が撮像画像を再生するときに、録音された音声のうち撮像画像を撮像したときの特徴的な音声を、撮像画像とともに再生する。このため、ユーザ１８０は、望ましい音声と画像を容易に得ることができる。

撮像装置１００は、例えば、ユーザ１８０が所持するデジタルスチルカメラ、カメラ付携帯電話等であってよい。また、再生装置１４０は、例えば、画像及び音声を再生することのできるＨＤＴＶ、フォトスタンド等であってよい。他にも、再生装置１４０は、画像及び音声を再生するコンピュータであってもよい。撮像装置１００は、再生装置１４０が有する画像又は音声を再生する機能を持ってもよい。また、撮像装置１００は画像及び音声データを記録媒体に記録し、再生装置１４０は当該記録媒体からデータを受け取って、画像及び音声を再生してもよい。また、撮像装置１００は、画像及び音声データを、通信回線１５０に接続されたサーバの、ユーザ１８０毎にそれぞれ設けられたディレクトリ、例えば撮像装置１００と関連付けられたディレクトリに格納してもよい。そして再生装置１４０は、ユーザ１８０毎にサーバに格納された画像及び音声データを受け取ってもよい。

図２は、撮像装置１００のブロック構成の一例を示す。撮像装置１００は、撮像部２１２、録音部２１４、音声格納部２１６、音声抽出部２１８、閾値音量設定部２２０、閾値音量格納部２２２、データ格納部２３２、データ出力部２３４、可変フィルタ部２４２、帯域制御部２４４、環境特定部２５２、環境情報格納部２４６、位置検出部２４８、及び時刻検出部２５０を備える。

撮像部２１２は、被写体を撮像する。具体的には、撮像部２１２は、被写体からの光をＣＣＤ等の撮像デバイスで受光して、被写体を撮像する。なお、撮像部２１２は、所定の時間間隔で連続的に被写体を撮像してもよい。そして、撮像部２１２は、連続的に撮像して得られる所定の個数の画像を保持しておいてよい。そして、撮像部２１２は、保持した画像の中から、撮像を指示された時刻に最も近いタイミングで撮像された画像を、当該時刻に撮像された撮像画像として選択してもよい。

録音部２１４は、撮像部２１２の周囲の音声を録音する。例えば録音部２１４は、マイクロホン１０２で集音される音声を録音する。音声格納部２１６は、録音部２１４が録音した音声を格納する。

閾値音量格納部２２２は、設定された閾値音量を格納する。そして、音声抽出部２１８は、録音部２１４が録音した音声のうちで、閾値音量格納部２２２が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する。

データ格納部２３２は、撮像部２１２が撮像した撮像画像と、音声抽出部２１８が抽出した音声とを対応づけて格納する。具体的には、データ格納部２３２は、撮像部２１２が撮像した複数の撮像画像のそれぞれと、音声抽出部２１８が抽出した複数の音声のそれぞれとを、撮像及び録音された順に対応づけて格納する。データ出力部２３４は、データ格納部２３２が対応づけて格納している撮像画像と音声とを同期させて出力する。このため、ユーザ１８０は、撮像画像と音声を容易に鑑賞することができる。

なお、閾値音量格納部２２２は、撮像装置１００のユーザ１８０が設定した閾値音量を格納してもよい。また、閾値音量設定部２２０によって設定された閾値音量を格納してもよい。閾値音量設定部２２０は、音声抽出部２１８が抽出する複数の音声の期間の合計が、撮像部２１２が撮像した複数の撮像画像の数に、予め定められた撮像画像の再生時間を乗じた期間と同一となるように、閾値音量格納部２２２が格納している閾値音量を設定する。

また、閾値音量設定部２２０は、音声格納部２１６が格納している音声の音量分布に基づいて、閾値音量格納部２２２が格納している閾値音量を設定してもよい。具体的には、閾値音量設定部２２０は、音声格納部２１６が格納している音声の音量分布がより大きい方に偏っている場合に、閾値音量格納部２２２が格納している閾値音量をより大きく設定してもよい。具体的には、閾値音量設定部２２０は、音声格納部２１６が格納している音声の音量の平均値がより大きい場合に、閾値音量格納部２２２が格納している閾値音量をより大きく設定してよい。

また、閾値音量格納部２２２は、複数の周波数帯域のそれぞれに対応づけて帯域別閾値音量を格納してもよい。そして、音声抽出部２１８は、録音部２１４が録音した音声の音量を周波数帯域毎に、閾値音量格納部２２２が格納している帯域別閾値音量と比較し、特定の周波数帯域において帯域別閾値音量より大きい音量が含まれる一部の期間の音声を抽出してもよい。このため、ユーザ１８０は、撮像画像に対して望ましい周波数帯域の音声を撮像画像とともに鑑賞することができる。例えば、１００Ｈｚから４０００Ｈｚの周波数帯域の閾値音量を低く設定することによって、遊園地で遊んでいる人物が撮像された画像を、人物の声と容易に対応づけて鑑賞することができる。

環境情報格納部２４６は、位置を示す情報に対応づけて、環境を示す情報を格納する。具体的には、環境情報格納部２４６は、緯度及び経度情報と、当該緯度及び経度における環境情報とを対応づけて格納する。環境情報とは、例えば、海、山、川等の自然の環境を示す情報であってよい。他にも、環境情報とは、遊園地、球技場、音楽ホール等、人間による利用環境を示す情報であってよい。

位置検出部２４８は、撮像装置１００の位置を検出する。例えば、位置検出部２４８は、ＧＰＳ衛星からの緯度及び経度情報を受信することによって、撮像装置１００が存在する緯度及び経度を特定する。

環境特定部２５２は、位置検出部２４８が検出した位置に基づいて環境情報格納部２４６を検索し、撮像装置１００の周囲の環境を特定する。例えば、環境特定部２５２は、位置検出部２４８によって検出された緯度及び経度情報に合致する環境情報を、環境情報格納部２４６を検索することによって特定する。

他にも、環境情報格納部２４６は、時刻を示す情報に対応づけて、環境を示す情報を格納する。例えば、環境情報格納部２４６は、日付を含む時刻と季節とを対応づけて格納する。

時刻検出部２５０は、時刻を検出する。そして、環境特定部２５２は、時刻検出部２５０が検出した時刻に基づいて環境情報格納部２４６を検索し、撮像装置１００の周囲の環境を特定する。例えば、時刻検出部２５０が検出する時刻に該当する季節を、環境情報格納部２４６を検索することによって特定する。

帯域制御部２４４は、環境特定部２５２が特定した撮像装置１００の周囲の環境に応じて、可変フィルタ部２４２が透過させる音声の帯域周波数を設定する。可変フィルタ部２４２は、帯域制御部２４４によって設定された帯域周波数の音声を透過させる。そして、録音部２１４は、可変フィルタ部２４２が透過させた音声を録音する。

このため、ユーザ１８０は、撮像装置１００を用いて撮像するときの環境、時刻に応じた望ましい周波数帯域の音声を録音することができる。

図３は、再生装置１４０のブロック構成の一例を示す。再生装置１４０は、音声格納部３１６、音声抽出部３１８、撮像画像格納部３２０、データ格納部３３２、データ出力部３３４、指示受付部３１２、許容時間制御部３６２、許容時間格納部３６４、時刻検出部３６０、閾値音量格納部３２２、及び閾値音量設定部３２４を備える。

撮像画像格納部３２０は、撮像装置１００によって撮像された撮像画像を格納する。また、音声格納部３１６は、撮像装置１００によって録音された音声を格納する。具体的には、撮像画像格納部３２０は、撮像装置１００によって撮像された時刻に対応づけて撮像画像を格納する。また、音声格納部３１６は、撮像装置１００によって録音された時刻に対応づけて音声を格納する。

閾値音量格納部３２２は、閾値音量を格納する。音声抽出部３１８は、音声格納部３１６が格納している音声のうちで、閾値音量格納部３２２が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する。

データ格納部３３２は、撮像画像格納部３２０が格納している撮像画像と、音声抽出部３１８が抽出した音声とを対応づけて格納する。指示受付部３１２は、撮像画像格納部３２０が格納している撮像画像を再生するべき旨の指示を受け付ける。指示受付部３１２は、例えばユーザ１８０からの指示を受け付ける。データ出力部３３４は、指示受付部３１２が指示を受け付けた場合に、データ格納部２３２が対応づけて格納している撮像画像と音声とを同期させて出力する。

許容時間格納部３６４は、設定された許容時間を格納する。音声抽出部３１８は、撮像画像格納部３２０が格納している撮像画像が撮像された時刻から、許容時間格納部３６４が格納している許容時間の範囲内の時刻に録音された音声のうちで、閾値音量格納部２２２が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する。

具体的には、音声抽出部３１８は、撮像画像格納部３２０が格納している撮像画像が撮像された時刻から、許容時間格納部３６４が格納している許容時間だけ前及び／又は後の時間範囲内の時刻に録音された音声のうちで、閾値音量格納部２２２が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する。

閾値音量設定部３２４は、音声抽出部３１８が抽出する複数の音声の期間の合計が、予め定められた撮像画像の再生時間と同一となるように、閾値音量格納部３２２が格納している閾値音量を設定する。

時刻検出部３６０は、指示受付部３１２が指示を受け付けたときの時刻を検出する。そして、許容時間制御部３６２は、撮像画像格納部３２０が格納している撮像画像が撮像された時刻と、時刻検出部３６０が検出した時刻との差が大きいほど、許容時間格納部３６４が格納している許容時間を長く設定する。このため、再生装置１４０は、より広い時間範囲で録音された音声の中から選択されるより特徴的な音声とともに、遠い過去の撮像画像を再生することができる。また、再生装置１４０は、より近い過去に撮像された撮像画像を、撮像時刻の近くで録音された音声の中から選択して再生することができるので、撮像画像に対して再生される音声が不自然なものになることを防ぐことができる。

閾値音量設定部３２４は、音声格納部３１６が格納している音声の音量分布に基づいて、閾値音量格納部３２２が格納している閾値音量を設定してよい。具体的には、閾値音量設定部３２４は、音声格納部３１６が格納している音声の音量分布がより大きい方に偏っている場合に、閾値音量格納部３２２が格納している閾値音量をより大きく設定してもよい。より具体的には、閾値音量設定部３２４は、音声格納部３１６が格納している音声の音量の平均値がより大きい場合に、閾値音量格納部３２２が格納している閾値音量をより大きく設定してよい。

図４は、撮像画像と音声との対応関係の一例を示す。撮像部２１２は、時刻ｔ３、ｔ４、ｔ７、ｔ９、ｔ１３、ｔ１４の順に撮像された６個の画像を格納している。そして、音声格納部２１６には、録音部２１４によって録音した音声を時刻に対応づけて、音量波形４０２で示される音量の音声が格納されている。

閾値音量格納部２２２には、閾値音量Ｌ４１２が設定されている。そして、音声抽出部２１８は、音量波形４０２の音声のうち、閾値音量格納部２２２が格納している閾値音量Ｌ４１２より大きい音量の音声を抽出する。このとき、閾値音量設定部２２０は、音量波形４０２のうち閾値音量Ｌ４１２より大きい期間（ｔ１〜ｔ２、ｔ５〜ｔ１０、及びｔ１２〜ｔ１６）を合計した期間と、撮像部２１２によって撮像された６個の画像を再生する再生時間の合計時間とが同一になるように、閾値音量Ｌ４１２を設定する。そして、データ格納部２３２は、撮像部２１２が撮像した撮像画像のそれぞれが撮像された順に、音声抽出部２１８によって抽出された期間の音声のうち再生時間毎の期間の音声を順に対応づけて格納する。

具体的には、データ格納部２３２は、時刻ｔ３に撮像された画像を、時刻（ｔ１〜ｔ２）に録音された音声と対応づけて格納する。また、データ格納部２３２は、時刻（ｔ４、ｔ７、ｔ９）に撮像された画像を、期間（ｔ５〜ｔ１０）に録音された音声のうち、それぞれ再生時間で分割した期間（ｔ５〜ｔ６）、期間（ｔ６〜ｔ８）、期間（ｔ８〜ｔ１０）の音声と対応づけて格納する。同様に、データ格納部２３２は、時刻ｔ１３及び時刻ｔ１４に撮像された画像を、それぞれ期間（ｔ１２〜ｔ１５）、及び期間（ｔ１５〜ｔ１６）に録音された音声と対応づける。なお、説明を簡単にするために、時刻（ｔ１〜ｔ２）、期間（ｔ５〜ｔ６）、期間（ｔ６〜ｔ８）、期間（ｔ８〜ｔ１０）、期間（ｔ１２〜ｔ１５）、及び期間（ｔ１５〜ｔ１６）のそれぞれは、予め設定された再生時間と同一の期間であるとした。このため、ユーザ１８０は、撮像装置１００を用いて撮像しながら周囲の音声を録音しておくだけで、撮像画像と音声とを容易に対応づけることができる。

なお、音量及び閾値音量は、音圧を意味してよい。他にも、音量及び閾値音量は、人間の聴覚に対応する音の大きさを意味してもよい。

図５は、撮像画像と音声との対応関係の他の一例を示す。撮像部２１２は、時刻ｔ３、ｔ４、ｔ７、ｔ９、ｔ１３、ｔ１４の順に撮像された６個の画像を格納している。そして、音声格納部２１６には、録音部２１４が録音した音量波形４０２で示される音量の音声が格納されている。この場合、閾値音量設定部２２０は、音声格納部２１６が格納する音量波形から、時間についての平均音量Ｌａｖを算出する。そして、閾値音量設定部２２０は算出した平均音量Ｌａｖに、予め定めれた係数（例えば、１以上の係数）を乗じた音量閾値Ｌ４１２を閾値音量格納部２２２に格納させる。そして、音声抽出部２１８は、音量波形４０２の音声のうち、閾値音量格納部２２２が格納している閾値音量Ｌ４１２より大きい音量の音声、例えば、期間（ｔ１〜ｔ２、ｔ５〜ｔ１０、及びｔ１２〜ｔ１６）を抽出する。なお、データ格納部２３２は、図４に関連して説明した音声と画像との対応付けと同様にして、音声抽出部２１８が抽出した期間の音声と画像とを、画像の撮像時刻の順に対応付けて格納する。

このように、閾値音量設定部２２０は、音声格納部２１６に格納されている音声の平均的な音量に応じた適切な閾値を設定することができる。なお、閾値音量設定部２２０が設定した閾値音量Ｌ４１２より大きい音量の音声の期間の合計が１つの画像の再生時間に画像の数を乗じた期間より短い場合には、データ格納部２３２は、当該期間の合計値を画像の数で除した期間の音声のそれぞれと画像とを、画像の撮像時刻の順に対応づけて格納してよい。なお、閾値音量設定部２２０が設定した閾値音量Ｌ４１２より大きい音量の音声の期間の合計が１つの画像の再生時間に画像の数を乗じた期間より長い場合には、データ格納部２３２は、複数の画像のそれぞれについて、画像が撮像された時刻に最も近い、他の画像に対応づけられた音声の期間とは異なる期間の音声を選択して、選択した音声と画像とを対応づけて格納してよい。

図６は、周波数帯域毎に設定される閾値音量の一例を示す。例えば、閾値音量格納部２２２は、周波数ｆ５５１〜ｆ５５２、周波数ｆ５５２〜ｆ５５３、及び周波数ｆ５５３〜ｆ５５４の周波数帯域の音声に対する閾値音量として、それぞれ閾値音量Ｌ５０１、閾値音量Ｌ５０２、及び閾値音量Ｌ５０３を格納する。図６の音量波形５２０、音量波形５３０、及び音量波形５４０は、それぞれ周波数ｆ５５１〜ｆ５５２、周波数ｆ５５２〜ｆ５５３、及び周波数ｆ５５３〜ｆ５５４の周波数帯域の成分の音量の時間発展を示す。

そして、音声抽出部２１８は、周波数ｆ５５１〜ｆ５５２における閾値音量Ｌ５０１より大きい音量を含む期間（ｔ５０〜ｔ５１）及び期間（ｔ５５〜ｔ５７）、並びに、周波数ｆ５５２〜ｆ５５３の周波数帯域における量閾値Ｌ５０２より大きい音量を含む期間（ｔ５６〜ｔ５８）を検出する。そして、音声抽出部２１８は、いずれかの周波数帯域において閾値音量よりも大きい音量を有する期間（ｔ５０〜ｔ５１）及び期間（ｔ５５〜ｔ５８）の音声を抽出する。

この場合、ｆ５５３〜ｆ５５４の周波数帯域の閾値音量Ｌ５０３を、閾値音量Ｌ５０２及び閾値音量Ｌ５０１よりも高く設定することで、例えば、時刻ｔ５３の付近における、周波数ｆ５５３〜ｆ５５４の周波数帯域に大きい音量を持つ期間の音声が、音声抽出部２１８によって抽出されることを防ぐことができる。このため、例えば、鳥を被写体として撮像装置１００が撮像した撮像画像に対して、撮像装置１００の周囲の人間の囁き声等が対応づけられてしまうことを防ぐことができる。したがって、撮像装置１００は、望ましい周波数帯域の音量が大きい期間の音声を撮像画像と対応づけてユーザ１８０に提供することができる。

図７は、可変フィルタ部２４２が透過する音声の帯域周波数の一例を示す。帯域制御部２４４は、環境特定部２５２によって特定される撮像装置１００の周囲の環境に応じて、可変フィルタ部２４２が透過させる音声の帯域周波数を設定する。具体的には、環境情報格納部２４６は、緯度及び経度情報と、当該緯度及び経度における環境情報とを対応づけて格納する。環境情報とは、例えば、海、山、川等の自然の環境を示す情報であってよい。他にも、環境情報とは、遊園地、球技場、音楽ホール等、人間による利用環境を示す情報であってよい。

そして、位置検出部２４８は、例えばＧＰＳ衛星からの緯度及び経度情報を受信することによって、撮像装置１００が存在する緯度及び経度を特定する。そして、環境特定部２５２は、位置検出部２４８によって検出された緯度及び経度情報に合致する環境を、環境情報格納部２４６を検索することによって特定する。帯域制御部２４４は、環境特定部２５２によって検出される環境情報に応じた周波数帯域の音声を録音させるべく、可変フィルタ部２４２が透過させる周波数帯域を決定する。

例えば、帯域制御部２４４は、環境特定部２５２によって特定された環境が山である場合に、例えば山に生息する虫の鳴き声、鳥の鳴き声等を主として録音部２１４に録音させるべく、３０００Ｈｚ〜２００００Ｈｚの間の周波数帯域の音声を可変フィルタ部２４２に透過させる。他にも、帯域制御部２４４は、環境特定部２５２によって特定された環境が遊園地である場合には、例えば人間の歓声等を録音部２１４に録音させるべく、１００Ｈｚ〜４０００Ｈｚの間の周波数帯域を含む音声を可変フィルタ部２４２に透過させる。

また、帯域制御部２４４は、時刻検出部２５０によって検出される時刻に応じて、可変フィルタ部２４２が透過する音声の周波数帯域を制御してもよい。具体的には、環境情報格納部２４６は、日付を含む時刻と季節とを対応づけて格納する。そして、環境特定部２５２は、時刻検出部２５０が検出する時刻に該当する季節を、環境情報格納部２４６を検索することによって特定する。そして、例えば環境特定部２５２によって季節が夏であると特定された場合には、帯域制御部２４４は、例えばセミの鳴き声の周波数帯域（４０００Ｈｚ〜５０００Ｈｚ）を含む周波数帯域を可変フィルタ部２４２に透過させる。

このため、ユーザ１８０は、撮像装置１００によって撮像する環境又は時刻に応じた望ましい音声を容易に録音することができる。

本実施形態の撮像装置１００によれば、望ましい音声が対応づけられた撮像画像をユーザ１８０に容易に提供することができる。したがって、ユーザ１８０は、撮像画像に対して録音させるべき音声を意識することなく、楽しく撮像することができる。

図８は、撮像画像と音声の対応関係の一例を示す。撮像画像格納部３２０は、撮像装置１００によって時刻ｔ３、ｔ４、ｔ７、ｔ９、ｔ１３、ｔ１４の順に撮像された６個の画像を格納している。そして、音声格納部３１６は、撮像装置１００によって録音された音声を時刻に対応づけて、音量波形４０２で示される音量の音声が格納されている。

閾値音量格納部３２２には、閾値音量Ｌ４１２が設定されている。そして、音声抽出部３１８は、音量波形４０２の音声のうち、閾値音量格納部３２２が格納している閾値音量Ｌ４１２より大きい音量の音声を抽出する。このとき、閾値音量設定部３２４は、音量波形４０２のうち閾値音量Ｌ４１２より大きい期間（ｔ１〜ｔ２、ｔ５〜ｔ１０、及びｔ１２〜ｔ１６）を合計した期間と、撮像装置１００によって撮像された６個の画像を再生する再生時間の合計時間とが同一になるように、閾値音量Ｌ４１２を設定する。そして、データ格納部３３２は、撮像装置１００が撮像した撮像画像のそれぞれが撮像された順に、音声抽出部３１８によって抽出された期間の音声のうち再生時間毎の期間の音声を順に対応づけて格納する。

具体的には、データ格納部３３２は、時刻ｔ３に撮像された画像を、時刻（ｔ１〜ｔ２）に録音された音声と対応づけて格納する。また、データ格納部３３２は、時刻（ｔ４、ｔ７、ｔ９）に撮像された画像を、期間（ｔ５〜ｔ１０）に録音された音声のうち、それぞれ再生時間毎の期間（ｔ５〜ｔ６）、期間（ｔ６〜ｔ８）、期間（ｔ８〜ｔ１０）の音声と対応づけて格納する。同様に、データ格納部３３２は、時刻ｔ１３及び時刻ｔ１４に撮像された画像を、それぞれ期間（ｔ１２〜ｔ１５）、及び期間（ｔ１５〜ｔ１６）に録音された音声と対応づける。なお、説明を簡単にするために、時刻（ｔ１〜ｔ２）、期間（ｔ５〜ｔ６）、期間（ｔ６〜ｔ８）、期間（ｔ８〜ｔ１０）、期間（ｔ１２〜ｔ１５）、及び期間（ｔ１５〜ｔ１６）のそれぞれは、予め設定された再生時間と同一の期間であるとした。このため、再生装置１４０は、撮像装置１００を用いて撮像しながら周囲の音声を録音しておくことによって、撮像画像と音声とを容易に対応づけて再生することができる。

また、閾値音量格納部３２２は、複数の周波数帯域のそれぞれに対応づけて帯域別の閾値音量を格納してもよい。そして、音声抽出部３１８は、音声格納部３１６が格納した音声の音量を周波数帯域毎に、閾値音量格納部３２２が格納する帯域別の閾値音量と比較し、特定の周波数帯域において帯域別の閾値音量より大きい音量が含まれる一部の期間の音声を抽出してもよい。

この場合、例えば、鳥を被写体として撮像装置１００によって撮像された撮像画像に対して、撮像装置１００によって録音された周囲の人間の囁き声等が対応づけられて再生されてしまうことを防ぐことができる。したがって、再生装置１４０は、望ましい周波数帯域の音声が大きい期間の音声を撮像画像と対応づけて再生することができる。

図９は、再生される画像と音声の対応関係の一例を示す。指示受付部３１２は、ユーザ１８０から、画像を再生する指示を受け付ける。例えば、時刻ｔ８３で撮像された画像を再生する指示を指示受付部３１２が受け付けた場合に、音声抽出部３１８は、時刻ｔ８３から、許容時間格納部３６４に格納されている許容時間Δｔ８０３後のｔ８４までの時間範囲内で、閾値音量Ｌ８２４より大きい音量の音声が含まれる期間の音声を抽出することによって、音量波形８３８の一部分の音声を抽出する。

また、許容時間制御部３６２は、撮像画像格納部３２０が格納する撮像画像が撮像された時刻と、再生する指示を受け付けた時刻との差が大きいほど、許容時間格納部３６４が格納する許容時間を長く設定する。例えば、許容時間制御部３６２は、撮像時刻ｔ８３よりも前の時刻ｔ８１に撮像された撮像画像を再生する場合に、許容時間Δｔ８０３に比べてより長い許容時間Δｔ８０２を、許容時間格納部３６４に格納する。そして、音声抽出部３１８は、時刻ｔ８１から、許容時間Δｔ８０２後のｔ８２までの時間範囲内で、閾値音量Ｌ８３４より大きい音量の音声が含まれる期間の音声を抽出することによって、音量波形８３４の一部分の音声を抽出する。

例えば、再生装置１４０は、一週間前に撮影した画像を再生するときには、撮影した当日に録音された音声の中から抽出される音声を再生する。また、２０年前の小学校の入学式、運動会、卒業式等の画像及び音声が記録されている場合に、再生装置１４０によって運動会の様子を撮影した画像を再生するときには、例えば運動会の日の前後６年間の範囲で録音された音声の中から再生する音声を抽出する。この場合、例えば小学校の運動会の時の音声の他に、入学式、卒業式で録音された音声も再生装置１４０によって再生される。このため、ユーザ１８０は、小学生時代の運動会の様子を鑑賞しながら、小学校への入学式、卒業式等における記憶を沢山思い出すことができるので、より楽しく画像を鑑賞することができる。

なお、閾値音量設定部３２４は、許容時間格納部３６４に格納される範囲内で、再生される音声の時間が、予め定められた撮像画像の再生時間と一致するように、閾値音量格納部３２２が格納している閾値音量を設定してもよい。例えば、閾値音量設定部３２４は、時刻ｔ８１〜ｔ８２までの時間範囲内で、閾値音量格納部３２２が格納している閾値音量よりも大きい音量の音声が含まれる期間が、予め定めた撮像画像の再生時間と一致するよう、閾値音量格納部３２２が格納している閾値音量をＬ８２２に設定する。

また、音声抽出部３１８は、時刻ｔ８１に撮像された撮像画像を再生する指示を受け付けた場合に、時刻ｔ８３から許容時間Δｔ８０２だけ前の時刻ｔ８０から時刻ｔ８１までの時間範囲で、閾値音量より大きい音量の音声が含まれる範囲の音声を抽出することによって、音声波形８３２の一部の音声を抽出してもよい。また、音声抽出部３１８は、時刻ｔ８１で撮像された撮像画像を再生する場合に、時刻ｔ８１から、許容時間Δｔ８０２だけ前及び後の時間範囲（時刻ｔ８０〜ｔ８２）で、閾値音量より大きい音量の音声が含まれる範囲の音声を抽出してもよい。

図１０は、第２実施形態に係る撮像装置９００のブロック構成の一例を示す。なお、第２実施形態の撮像装置９００の利用環境の一例は、図１で説明した撮像装置１００の利用環境と、以下の点を除いて同一であるので説明を省略する。すなわち、第２実施形態に係る撮像装置９００は、撮像装置９００の利用状態、例えば撮像状態、待機状態等の利用状態に応じて、撮像装置９００の録音動作を調整する。例えば、撮像装置９００は、被写体を撮像しているときには、被写体からのより特徴的な音声を録音する。

第２実施形態の撮像装置９００は、撮像部９１２、録音部９１４、音声格納部９１６、モード設定部９６２、録音音量設定部９１０、録音制御部９２２、距離測定部９７０、集音方向制御部９６４、及び音声集音部９８０を備える。録音音量設定部９１０は、閾値音量設定部９２０を有する。また、音声集音部９８０は、第１集音部９６６及び第２集音部９６８を有する。なお、第２実施形態に係る撮像装置９００の動作及び機能は、以下に説明する部分を除き、第１実施形態に係る撮像装置１００の動作及び機能と同一であるので説明を省略する。例えば、撮像部９１２及び録音部９１４の動作及び機能は、撮像部２１２及び録音部２１４の動作と同一であってよい。なお、第１実施形態の撮像装置１００及び第２実施形態の撮像装置９００の動作及び機能を組み合わせた撮像装置もまた発明となり得る。

音声集音部９８０は、撮像部９１２の周囲の音声を集音して録音部９１４に録音させる。録音制御部９２２は、撮像部９１２の周囲の音声のうちで、予め設定された設定音量より大きい音声を録音部９１４に録音させる。具体的には、録音制御部９２２は、撮像部９１２の周囲の音声のうちで、予め設定された閾値音量より大きい音量の音声を録音部９１４に録音させる。そして、音声格納部９１６は、録音部９１４が録音した音声を格納する。

モード設定部９６２は、撮像部９１２及び録音部９１４の動作状態の種類を示す動作モードを設定する。録音音量設定部９１０は、モード設定部９６２が設定した動作モードに基づいて、設定音量を設定する。具体的には、音音量設定部９１０は、モード設定部９６２が設定した動作モードに基づいて、録音部９１４が録音すべき音声の閾値音量を変更することによって、設定音量を設定する。より具体的には、閾値音量設定部９２０は、モード設定部９６２が設定した動作モードに基づいて、閾値音量を設定する。なお、録音音量設定部９１０は、モード設定部９６２が設定した動作モードに基づいて、音声集音部９８０の感度を変更することによって、設定音量を設定する。

具体的には、モード設定部９６２は、撮像部９１２がユーザの操作を受け付け得る状態にある待機モード、及び撮像部９１２がユーザの操作を受けて動作している状態にある撮像モードを選択的に設定する。録音音量設定部９１０は、モード設定部９６２が待機モードに設定した場合に、録音部９１４が録音すべき音量の第１の設定音量を設定し、モード設定部９６２が撮像モードに設定した場合に、第１の設定音量より小さい第２の設定音量を設定する。具体的には、閾値音量設定部９２０は、モード設定部９６２が待機モードに設定した場合に、第１の閾値音量を設定し、モード設定部９６２が撮像モードに設定した場合に、第１の閾値音量より小さい第２の閾値音量を設定する。なお、録音音量設定部９１０は、モード設定部９６２が待機モードに設定した場合に、音声集音部９８０が集音する第１の感度を設定し、モード設定部９６２が撮像モードに設定した場合に、第１の感度より大きい第２の感度を設定してよい。

距離測定部９７０は、撮像部９１２と被写体との距離を測定する。具体的には、距離測定部９７０は、レーザ光、赤外線等を被写体に対して照射して、被写体から反射した光に基づいて距離を測定する測距センサであってよい。他にも、距離測定部９７０は、撮像部９１２による撮像画像のコントラストを検出して、最もコントラストの大きい撮像画像を撮像したときの撮像部９１２の制御値に基づいて、撮像部９１２と被写体との距離を測定してもよい。

録音音量設定部９１０は、距離測定部９７０が測定した距離に基づいて設定音量を設定する。具体的には、録音音量設定部９１０は、距離測定部９７０が測定した距離がより大きい場合に、設定音量をより小さく設定する。例えば、閾値音量設定部９２０は、距離測定部９７０が測定した距離に基づいて閾値音量を設定する。具体的には、閾値音量設定部９２０は、距離測定部９７０が測定した距離がより大きい場合に、閾値音量をより小さく設定する。なお、録音音量設定部９１０は、距離測定部９７０が測定した距離がより大きい場合に、音声集音部９８０が集音する感度をより大きく設定してよい。

第１集音部９６６は、撮像部９１２の撮像方向と略同一の方向に集音指向性を有する。第２集音部９６８は、第１集音部９６６より広い集音指向性を有する。

集音方向制御部９６４は、モード設定部９６２が撮像モードに設定した場合に、撮像部９１２の撮像方向と略同一方向の音声を集音して録音部９１４に録音させ、モード設定部９６２が待機モードに設定した場合に、モード設定部９６２が撮像モードに設定したより広い方向の音声を集音して録音部９１４に録音させる。具体的には、集音方向制御部９６４は、モード設定部９６２が撮像モードに設定した場合に、第１集音部９６６が集音した音声を録音部９１４に録音させ、モード設定部９６２が待機モードに設定した場合に、第２集音部９６８が集音した音声を録音部９１４に録音させる。

他にも、撮像装置９００は、集音指向性を変化させることのできる一の集音部を備えてもよい。そして、集音方向制御部９６４は、モード設定部９６２が撮像モードに設定した場合に、当該集音部の集音指向性を制御することによって撮像部９１２の撮像方向と略同一方向からの音声を集音して録音部９１４に録音させてもよい。そして、集音方向制御部９６４は、モード設定部９６２が待機モードに設定した場合に、モード設定部９６２が撮像モードに設定したより広い方向の音声を集音して録音部９１４に録音させてもよい。

図１１は、動作モード毎の閾値音量の時間変化の一例を示す。撮像装置９００は、動作モードとして、待機モード、撮像モード、及び再生モードを有する。撮像モードは、例えば、撮像装置９００が撮像及び／又は録音することのできる動作モードであってよい。また、再生モードは、例えば、撮像装置９００が画像及び／又は音声を再生することのできる動作モードであってよい。なお、撮像装置９００が起動された直後は、撮像装置９００は待機モードに設定される。

図１１の例では、撮像部９１２及び録音部９１４は、期間（ｔ１００１〜ｔ１００２）に待機モードに設定される。そして、閾値音量設定部９２０は、撮像部９１２及び録音部９１４が待機モードに設定されている期間には、閾値音量をＬ１０２６に設定する。そして、閾値音量設定部９２０は、撮像部９１２及び録音部９１４が撮像モードに設定されている期間（ｔ１００２〜ｔ１００５）には、閾値音量として、閾値音量Ｌ１０２６よりも低い閾値音量Ｌ１０２２を設定する。この期間では、録音部９１４は、音量波形１０１６の音声が入力された場合に、閾値音量Ｌ１０２２よりも大きい音量の音声が入力される期間（ｔ１００３〜ｔ１００４）の音声を録音する。

そして、閾値音量設定部９２０は、撮像部９１２及び録音部９１４が再生モードに設定されている期間（ｔ１００５〜ｔ１００８）には、閾値音量として、閾値音量Ｌ１０２２又は閾値音量Ｌ１０２４と異なる閾値音量を設定してもよい。例えば、閾値音量設定部９２０は、再生モードに設定された期間には、閾値音量Ｌ１０２２よりも値の大きく、閾値音量Ｌ１０２６よりも値の小さい閾値音量Ｌ１０２４に閾値音量を設定する。この期間では、録音部９１４は、音量波形１０１６の音声が入力された場合に、閾値音量Ｌ１０２４よりも大きい音量の音声が入力される期間（ｔ１００６〜ｔ１００７）の音声を録音する。

撮像装置９００が撮像モードに設定されているときには低い閾値音量が設定されるので、ユーザ１８０は撮像画像を撮像しているときの音声を容易に録音することができる。また、撮像装置９００が待機モードに設定されているときには高い閾値音量が設定されるので、例えばユーザ１８０が鳥を撮像しに山に行ったときに、自動車のエンジン音等が待機モード時に録音されることを防ぐことができる。

また、集音方向制御部９６４は、撮像部９１２及び録音部９１４の動作モードに応じて、録音部９１４が録音する音声を集音する方向を制御する。具体的には、撮像部９１２及び録音部９１４が撮像モードに設定されている場合には、撮像部９１２の撮像方向と略同一方向の音声を第１集音部９６６を用いて集音して、録音部９１４に録音させる。また、撮像部９１２及び録音部９１４が待機モードに設定されている場合には、撮像モードに設定された集音方向よりも広い方向の音声を第２集音部９６８を用いて集音して、録音部９１４に録音させる。

このため、撮像装置９００が撮像モードに設定されている場合には、撮像対象である被写体の方向からの音声をより大きな音量で録音することができる。また、撮像装置９００が待機モードに設定されている場合には、広い方向の音声を集音して録音するので、例えばユーザ１８０が撮像せずに遊園地で遊んでいるときには、撮像装置９００の周囲の自然な音声を録音することができる。

また、閾値音量設定部９２０は、距離測定部９７０によって測定される撮像部９１２と被写体との距離が大きいほど、小さい閾値音量を設定する。このため、録音部９１４は、遠くの距離の被写体を撮像している場合でも、被写体の方向からの音声をより容易に録音することができる。

なお、撮像部９１２及び録音部９１４が再生モードに設定されている場合には、画像を表示させる方向と略同一方向の音声を集音して録音部９１４に録音させてよい。このため、例えば撮像装置９００で表示される撮像画像をユーザ１８０が参照しながら、ユーザ１８０が撮像画像に関するナレーション等を録音する場合に、ユーザ１８０のナレーションをより適切に録音することができる。

なお、撮像装置９００は、動作モードが待機モード又は再生モードに設定されている場合に、ユーザ１８０によって撮像動作又は録音動作に関する操作がなされた場合に撮像モードに遷移する。撮像動作に関する操作は、例えば、画像を撮像する操作、シャッタスピード、焦点距離等の撮像条件を調整する操作等を含む。また、録音動作に関する操作は、例えば、音声を録音する操作、録音感度の調整等の録音条件を調整する操作等を含む。また、撮像装置９００は、動作モードが待機モード又は撮像モードに設定されている場合に、ユーザ１８０によって撮像装置９００の再生動作に関する操作がなされた場合に、再生モードに遷移する。再生動作に関する操作は、例えば、画像を再生する操作、再生する画像を選択する操作、再生速度の調節等の再生条件を調整する操作等を含む。なお、撮像装置９００は、撮像装置９００が撮像モード又は再生モードに設定されている場合に、ユーザによる撮像装置９００の操作が所定の期間操作されなかったことを条件として、待機モードに遷移してよい。

図１２は、撮像モードに応じて設定される閾値音量の一例を示す。撮像装置９００は、撮像モードとして、接写モード、中距離撮像モード、及び遠景撮像モードを有する。本図の例において、期間（ｔ１００２〜ｔ１００５）において撮像部９１２及び録音部９１４が接写モードである撮像モードに設定されるとき、閾値音量設定部９２０は、中距離撮像モードの場合に設定される閾値音量Ｌ１０２２より小さい閾値音量Ｌ１２２２を設定する。このとき、閾値音量設定部９２０は、予め定められた１より小さい係数を閾値音量Ｌ１０２２に乗じて得られる音量を閾値音量Ｌ１２２２としてよい。

また、期間（ｔ１００２〜ｔ１００５）において撮像部９１２及び録音部９１４が遠景撮像モードである撮像モードに設定されるときには、閾値音量設定部９２０は、中距離撮像モードの場合に設定される閾値音量Ｌ１０２２より大きい閾値音量Ｌ１２２３を設定する。このとき、閾値音量設定部９２０は、予め定められた１より大きい係数を閾値音量Ｌ１０２２に乗じて得られる音量を閾値音量Ｌ１２２３としてよい。なお、閾値音量設定部９２０は、閾値音量Ｌ１０２４及びＬ１０２６より小さい閾値音量Ｌ１２２３を設定してよい。なお、閾値音量設定部９２０は、接写モード、遠景撮像モード等の撮像モードの他に、夜景モード、昼間撮影モード等の、様々な撮像モードに応じて閾値音量を設定してよいことは言うまでもない。

なお、閾値音量設定部９２０は、撮像モードに対応付けて閾値音量を格納してよい。この場合、録音制御部９２２は、撮像部９１２の撮像モードに対応付けて閾値音量設定部９２０が格納している閾値音量より大きい音量の音声を録音部９１４に録音させてよい。以上説明したように、閾値音量設定部９２０は、撮像モードのそれぞれに応じた望ましい閾値音量を設定することができる。したがって、例えばユーザが小さな虫を接写モードで撮像するような場合において、小さな虫の音が録音部９１４によって録音され易くなる。また、ユーザが風景を撮像するような場合には、周囲の騒々しい音声が録音されにくくなる。

図１３は、撮像条件に応じて設定される閾値音量の一例を示す。本図の例において、期間（ｔ１００２〜ｔ１００５）における撮像部９１２の撮像条件として、フラッシュを用いて撮像する旨が設定されると、閾値音量設定部９２０は、閾値音量Ｌ１０２２より小さい閾値音量Ｌ１３２２を設定する。このとき、閾値音量設定部９２０は、予め定められた１より小さい係数を閾値音量Ｌ１０２２に乗じて得られる音量を閾値音量Ｌ１３２２としてよい。

また、期間（ｔ１００２〜ｔ１００５）における撮像部９１２の撮像条件として、絞り値を大きくして撮影する旨が設定されるとき、閾値音量設定部９２０は、閾値音量Ｌ１０２２より大きい閾値音量Ｌ１３２３を設定する。このとき、閾値音量設定部９２０は、予め定められた、絞り値の応じた１より大きい係数を閾値音量Ｌ１０２２に乗じて得られる音量を閾値音量Ｌ１３２３としてよい。なお、閾値音量設定部９２０は、閾値音量Ｌ１０２４及びＬ１０２６より小さい閾値音量Ｌ１３２３を設定してよい。なお、閾値音量設定部９２０は、フラッシュ、絞り値等の他に、様々な撮像条件に応じて閾値音量を設定してよいことは言うまでもない。

なお、閾値音量設定部９２０は、撮像条件の制御値に対応付けて閾値音量を格納してよい。この場合、録音制御部９２２は、撮像部９１２の撮像条件の制御値に対応付けて閾値音量設定部９２０が格納している閾値音量より大きい音量の音声を録音部９１４に録音させてよい。また、閾値音量設定部９２０は、撮像条件の制御値に対応付けて閾値音量Ｌ１０２２に乗じるべき係数を格納してよい。以上説明したように、閾値音量設定部９２０は、撮像条件のそれぞれに応じた望ましい閾値音量を設定することができる。例えば、夜は昼間に比べて静かな場合が多い。そして、夜にはフラッシュを用いて撮像されることが多く、昼間には夜より絞り値を大きくして撮像される場合が多い。したがって、フラッシュ撮影時には閾値音量設定部９２０が閾値音量を小さく設定することによって、静かな夜における撮像装置９００の周囲の小さな音を録音部９１４に録音させ易くすることができる。なお、閾値音量設定部９２０は、撮像部９１２による撮像時刻に応じて閾値音量を設定してよい。例えば、閾値音量設定部９２０は、撮像時刻が昼間であると判断される場合には、撮像時刻が夜であると判断される場合より大きい閾値音量を設定してよい。その他、閾値音量設定部９２０は、撮像装置９００の周囲の明るさを判断して、撮像装置９００の周囲の明るさが予め定められた明るさより明るい場合に、撮像装置９００の周囲の明るさが予め定められた明るさより暗い場合より大きい閾値音量を設定してよい。

なお、図１１から図１３にかけて、動作モード、撮像モード、撮像条件、撮像環境等に応じて閾値音量を設定することによって、録音部９１４が録音すべき音声を決定する例について説明した。このような閾値音量による決定方法の他に、音声集音部９８０における集音感度を動作モード、撮像モード、撮像条件、撮像環境等に応じて設定することによって、録音部９１４が録音すべき音声を決定することできる。例えば図１１から図１３の説明において閾値音量を大きく設定するケースにおいては音声集音部９８０の集音感度を小さくし、閾値音量を小さく設定するケースにおいては音声集音部９８０の集音感度を大きくすることによって、動作モード、撮像モード、撮像条件、撮像環境等に応じた音声を録音部９１４に録音させることができる。

図１４は、第１実施形態の撮像装置１００及び再生装置１４０、並びに第２実施形態の撮像装置９００に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して撮像装置１００、再生装置１４０、又は撮像装置９００と通信し、撮像装置１００、再生装置１４０、又は撮像装置９００にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して撮像装置１００、再生装置１４０、又は撮像装置９００に送信される。撮像装置１００、再生装置１４０、又は撮像装置９００に送信されたプログラムは、撮像装置１００、再生装置１４０、又は撮像装置９００においてインストールされて実行される。

撮像装置１００にインストールされて実行されるプログラムは、撮像装置１００を、図１、図２、及び図４から図７において説明した撮像装置１００として機能させる。また、再生装置１４０にインストールされて実行されるプログラムは、再生装置１４０を、図１、図３、図８、及び図９において説明した再生装置１４０として機能させる。また、撮像装置９００にインストールされて実行されるプログラムは、撮像装置９００を、図１０から図１３において説明した撮像装置９００として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

撮像装置１００及び再生装置１４０の利用環境の一例を示す図である。 撮像装置１００のブロック構成の一例を示す図である。 再生装置１４０のブロック構成の一例を示す図である。 撮像画像と音声との対応関係の一例を示す図である。 撮像画像と音声との対応関係の他の一例を示す図である。 周波数帯域毎に設定される閾値音量の一例を示す図である。 可変フィルタ部２４２が透過する音声の帯域周波数の一例を示す図である。 撮像画像と音声の対応関係の一例を示す図である。 再生される画像と音声の対応関係の一例を示す図である。 撮像装置９００のブロック構成の一例を示す図である。 動作モード毎の閾値音量の時間変化の一例を示す図である。 撮像モード毎の閾値音量の時間変化の一例を示す図である。 撮像条件毎の閾値音量の時間変化の一例を示す図である。 コンピュータ１５００のハードウェア構成の一例を示す図である。

符号の説明

１００ 撮像装置
１０２ マイクロホン
１４０ 再生装置
１５０ 通信回線
１８０ ユーザ
２１２ 撮像部
２１４ 録音部
２１６ 音声格納部
２１８ 音声抽出部
２２０ 閾値音量設定部
２２２ 閾値音量格納部
２３２ データ格納部
２３４ データ出力部
２４２ 可変フィルタ部
２４４ 帯域制御部
２４６ 環境情報格納部
２４８ 位置検出部
２５０ 時刻検出部
２５２ 環境特定部
３１２ 指示受付部
３１６ 音声格納部
３１８ 音声抽出部
３２０ 撮像画像格納部
３２２ 閾値音量格納部
３２４ 閾値音量設定部
３３２ データ格納部
３３４ データ出力部
３６０ 時刻検出部
３６２ 許容時間制御部
３６４ 許容時間格納部
９００ 撮像装置
９１０ 録音音量設定部
９１２ 撮像部
９１４ 録音部
９１６ 音声格納部
９２０ 閾値音量設定部
９２２ 録音制御部
９６２ モード設定部
９６４ 集音方向制御部
９６６ 第１集音部
９６８ 第２集音部
９７０ 距離測定部
９８０ 音声集音部

Claims (18)

1. 被写体を撮像する撮像部と、
   前記撮像部の周囲の音声を録音する録音部と、
   設定された閾値音量を格納する閾値音量格納部と、
   前記録音部が録音した音声のうちで、前記閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出部と、
   前記撮像部が撮像した撮像画像と、前記音声抽出部が抽出した音声とを対応づけて格納するデータ格納部と、
   前記データ格納部が対応づけて格納している撮像画像と音声とを同期させて出力するデータ出力部と
   を備える撮像装置。
2. 前記データ格納部は、前記撮像部が撮像した複数の撮像画像のそれぞれと、前記音声抽出部が抽出した複数の音声のそれぞれとを、撮像及び録音された順に対応づけて格納する
   請求項１に記載の撮像装置。
3. 前記音声抽出部が抽出する複数の音声の期間の合計が、前記撮像部が撮像した複数の撮像画像の数に、予め定められた撮像画像の再生時間を乗じた期間と同一となるように、前記閾値音量格納部が格納している閾値音量を設定する閾値音量設定部
   をさらに備える請求項１に記載の撮像装置。
4. 前記録音部が録音した音声を格納する音声格納部と、
   前記音声格納部が格納している音声の音量分布に基づいて、前記閾値音量格納部が格納している閾値音量を設定する閾値音量設定部と
   をさらに備える
   請求項１に記載の撮像装置。
5. 前記閾値音量設定部は、前記音声格納部が格納している音声の音量の平均値がより大きい場合に、前記閾値音量格納部が格納している閾値音量をより大きく設定する
   請求項４に記載の撮像装置。
6. 前記閾値音量格納部は、複数の周波数帯域のそれぞれに対応づけて帯域別閾値音量を格納し、
   前記音声抽出部は、前記録音部が録音した音声の音量を周波数帯域毎に、前記閾値音量格納部が格納している帯域別閾値音量と比較し、特定の周波数帯域において帯域別閾値音量より大きい音量が含まれる一部の期間の音声を抽出する
   請求項１に記載の撮像装置。
7. 当該撮像装置の周囲の環境を特定する環境特定部と、
   設定された帯域周波数の音声を透過させる可変フィルタ部と、
   前記環境特定部が特定した環境に応じて、前記可変フィルタ部が透過させる音声の帯域周波数を設定する帯域制御部と
   をさらに備え、
   前記録音部は、前記フィルタ部が透過させた音声を録音する
   請求項１に記載の撮像装置。
8. 当該撮像装置の位置を検出する位置検出部と、
   位置を示す情報に対応づけて、環境を示す情報を格納する環境情報格納部と
   をさらに備え、
   前記環境特定部は、前記位置検出部が検出した位置に基づいて前記環境情報格納部を検索し、当該撮像装置の周囲の環境を特定する
   請求項７に記載の撮像装置。
9. 時刻を検出する時刻検出部と、
   時刻を示す情報に対応づけて、環境を示す情報を格納する環境情報格納部と
   をさらに備え、
   前記環境特定部は、前記時刻検出部が検出した時刻に基づいて前記環境情報格納部を検索し、当該撮像装置の周囲の環境を特定する
   請求項７に記載の撮像装置。
10. 撮像部を用いて被写体を撮像する段階と、
    前記撮像部の周囲の音声を録音する録音段階と、
    設定された閾値音量を格納する閾値音量格納段階と、
    前記録音段階において録音された音声のうちで、前記閾値音量格納段階において格納される閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出段階と、
    前記撮像部が撮像した撮像画像と、前記音声抽出段階で抽出された音声とを対応づけて格納するデータ格納段階と、
    前記データ格納段階において対応づけて格納される撮像画像と音声とを同期させて出力するデータ出力段階と
    を備える撮像方法。
11. 画像を撮像する撮像装置用のプログラムであって、前記撮像装置を
    被写体を撮像する撮像部、
    前記撮像部の周囲の音声を録音する録音部、
    設定された閾値音量を格納する閾値音量格納部、
    前記録音部が録音した音声のうちで、前記閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出部、
    前記撮像部が撮像した撮像画像と、前記音声抽出部が抽出した音声とを対応づけて格納するデータ格納部、
    前記データ格納部が対応づけて格納している撮像画像と音声とを同期させて出力するデータ出力部
    として機能させるプログラム。
12. 撮像装置によって撮像された撮像画像を格納する撮像画像格納部と、
    前記撮像装置によって録音された音声を格納する音声格納部と、
    閾値音量を格納する閾値音量格納部と、
    前記音声格納部が格納する音声のうちで、前記閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出部と、
    前記撮像画像格納部が格納している撮像画像と、前記音声抽出部が抽出した音声とを対応づけて格納するデータ格納部と、
    前記データ格納部が対応づけて格納している撮像画像と音声とを同期させて出力するデータ出力部と
    を備える再生装置。
13. 設定された許容時間を格納する許容時間格納部
    をさらに備え、
    前記撮像画像格納部は、前記撮像装置によって撮像された時刻に対応づけて撮像画像を格納し、
    前記音声格納部は、前記撮像装置によって録音された時刻に対応づけて音声を格納し、
    前記音声抽出部は、前記撮像画像格納部が格納している撮像画像が撮像された時刻から、前記許容時間格納部が格納している許容時間の範囲内の時刻に録音された音声のうちで、前記閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する
    請求項１２に記載の再生装置。
14. 前記撮像画像格納部が格納している撮像画像を再生するべき旨の指示を受け付ける指示受付部と、
    前記指示受付部が指示を受け付けたときの時刻を検出する時刻検出部と、
    前記撮像画像格納部が格納している撮像画像が撮像された時刻と、前記時刻検出部が検出した時刻との差が大きいほど、前記許容時間格納部が格納している許容時間を長く設定する許容時間制御部
    をさらに備える請求項１３に記載の再生装置。
15. 前記音声格納部が格納している音声の音量分布に基づいて、前記閾値音量格納部が格納している閾値音量を設定する閾値音量設定部
    をさらに備える
    請求項１２に記載の再生装置。
16. 前記閾値音量設定部は、前記音声格納部が格納している音声の音量の平均値がより大きい場合に、前記閾値音量格納部が格納している閾値音量をより大きく設定する
    請求項１５に記載の再生装置。
17. 撮像装置によって撮像された撮像画像を格納する撮像画像格納段階と、
    前記撮像装置によって録音された音声を格納する音声格納段階と、
    閾値音量を格納する閾値音量格納段階と、
    前記音声格納段階において格納される音声のうちで、前記閾値音量格納段階において格納される閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出段階と、
    前記撮像画像格納段階において格納される撮像画像と、前記音声抽出段階において抽出される音声とを対応づけて格納するデータ格納段階と、
    前記データ格納段階において対応づけて格納される撮像画像と音声とを同期させて出力するデータ出力部と
    を備える再生方法。
18. 画像を再生する再生装置用のプログラムであって、前記再生装置を
    撮像装置によって撮像された撮像画像を格納する撮像画像格納部、
    前記撮像装置によって録音された音声を格納する音声格納部、
    閾値音量を格納する閾値音量格納部、
    前記音声格納部が格納している音声のうちで、前記閾値音量格納部が格納している閾値音量より大きい音量の音声が含まれる一部の期間の音声を抽出する音声抽出部、
    前記撮像画像格納部が格納している撮像画像と、前記音声抽出部が抽出した音声とを対応づけて格納するデータ格納部、
    前記データ格納部が対応づけて格納している撮像画像と音声とを同期させて出力するデータ出力部
    として機能させるプログラム。
    

Images