JP5168375B2

JP5168375B2 - 撮像装置、撮像方法及びプログラム

Info

Publication number: JP5168375B2
Application number: JP2011053660A
Authority: JP
Inventors: 陽宮田
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2011-03-11
Filing date: 2011-03-11
Publication date: 2013-03-21
Anticipated expiration: 2029-03-18
Also published as: JP2011120306A

Description

本発明は、静止画撮影時に音声も合わせて記録可能なデジタルカメラ等に適した撮像装置、撮像方法及びプログラムに関する。

静止画撮影時に、音声データも併せて記憶し、得た静止画の画像データと音声データとを関連付けて１つのデータファイルとして記録可能な機能がデジタルカメラの多くで採用されている。

この種のデジタルカメラでは、シャッタキー操作による静止画の撮影タイミングをトリガとして音声の記憶を開始し、再度シャッタキーが操作されるか、あるいは最大限度時間（例えば１０［秒］）が経過した時点で音声の記憶を停止し、取得した音声データをＤＣＦ（ＤｅｓｉｇｎｒｕｌｅｆｏｒＣａｍｅｒａＦｉｌｅｓｙｓｔｅｍ）の規格などに則って静止画の画像データに関連付けて記録する。

また、上述したように静止画像の撮影タイミングから開始するのではなく、予めバッファメモリに音声データを更新しながら記憶し続けておき、静止画の撮影タイミングを中心としてその前後一定時間ずつの音声データを記録するようにした技術も考えられている。（例えば特許文献１）

特開２００４−２９７１７７号公報

上記特許文献１に記載された技術を含め、音声データの取得タイミングは、関連付けられる静止画の撮影タイミング、すなわちシャッタボタンを押圧操作したタイミングに基づいて一律に決定される。しかしながら、静止画の最適な撮影タイミングが、そのまま対応する音声の取得で最適なタイミングと一致するとは限らず、実際の撮影時に必要と思われる音声の一部が途切れてしまうなど、記録タイミングを外してしまうことも充分あり得る。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、音声付きの静止画像撮影時に、静止画像の撮影タイミングのみに決定されず、状況に対応して音声取得の開始及び終了の各タイミングを適切に制御することが可能な撮像装置、撮像方法及びプログラムを提供することにある。

本発明は、静止画像を撮影する撮像手段と、音声を入力する音声入力手段と、予め任意の人物の声紋を登録しておく登録手段と、上記音声入力手段に入力される音声の声紋が上記登録手段に登録された人物の声紋と一致する期間に応じ、上記撮像手段での静止画像の撮影タイミングを含んで音声の取得開始タイミング及び取得終了タイミングを決定する音声期間決定手段と、上記撮像手段で撮影した静止画像、及び音声を記録する記録手段と、上記音声期間決定手段で決定した取得開始タイミングから取得終了タイミングまでの上記音声入力手段に入力される音声を切り出し、切り出した音声を上記撮像手段で得た静止画像と関連付けて上記記録手段に記録させる記録制御手段と、上記登録手段に登録された人物の声紋と声紋が一致する音声が関連付けられた静止画像が上記記録手段に複数記録されている場合に、それら該当する静止画像を纏めて新たな１つの音声付き画像を作成し、上記記録手段に記録させる画像再構成手段とを具備したことを特徴とする撮像装置、またはその撮像方法およびプログラムである。
また、他の態様による発明は、静止画像を撮影する撮像手段と、音声を入力する音声入力手段と、上記音声入力手段に入力される音声の音質が所定の条件を満たす期間に応じ、上記撮像手段での静止画像の撮影タイミングを含んで音声の取得開始タイミング及び取得終了タイミングを決定する音声期間決定手段と、上記撮像手段で撮影した静止画像、及び音声を記録する記録手段と、上記音声期間決定手段で決定した取得開始タイミングから取得終了タイミングまでの上記音声入力手段に入力される音声を切り出し、切り出した音声を上記撮像手段で得た静止画像と関連付けて上記記録手段に記録させる記録制御手段と、を具備し、上記音声期間決定手段は、上記静止画像の撮影タイミングにおいて特定の人物の声を検出した後、この撮影タイミングで検出された特定の人物の声が検出されなくなるまでの期間に基づいて、上記音声の取得終了タイミングを決定することを特徴とする撮像装置、またはその撮像方法およびプログラムである。

本発明によれば、音声付きの静止画像撮影時に、静止画像の撮影タイミングのみに決定されず、状況に対応して音声取得の開始及び終了の各タイミングを適切に制御することが可能となる。

本発明の第１の実施形態に係るデジタルカメラの電子回路の機能構成を示すブロック図。同実施形態に係る音声付き静止画撮影時の処理内容を示すフローチャート。同実施形態に係る音声データの取得と記録を説明する図。本発明の第２の実施形態に係る音声付き静止画撮影時の処理内容を示すフローチャート。同実施形態に係る音声データの取得と記録を説明する図。同実施形態に係るスライドショー用画像の一例を示す図。

（第１の実施形態）
以下本発明をデジタルカメラに適用した場合の第１の実施形態について図面を参照して説明する。

図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すものである。同図では、カメラ筐体前面に配設される光学レンズユニット１１により、固体撮像素子であるＣＣＤ１２の撮像面上に被写体の光像が結像される。

スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、このＣＣＤ１２での撮像により得た画像信号を画像処理部１３に送り、相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理を実行してデジタル化する。画像処理部１３はさらに、このデジタル値の画像データに画素補間処理、γ補正処理を含むカラープロセス処理を施した後、システムバスＳＢを介して画像バッファ１４に一時的に保持させる。

画像バッファ１４に保持された画像データをシステムバスＳＢを介して画像処理部１３に読出し、再びシステムバスＳＢを介して表示部１５へ送り、スルー画像として表示させる。

また、上記光学レンズユニット１１と同じくカメラ筐体前面には、上記光学レンズユニット１１の撮影画角と略同等の音響指向性を有するマイクロホン１６が配設され、被写体方向の音声が入力される。マイクロホン１６は入力した音声を電気信号化し、音声処理部１７へ出力する。

音声処理部１７は、音声の録音時にはマイクロホン１６から入力する音声信号をデジタルデータ化し、リングバッファで構成する音声バッファ１８に一時的に記憶させる。さらに音声処理部１７は、必要に応じて音声バッファ１８に記憶する音声データを部分的に切り出し、所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇｐｉｃｔｕｒｅｅｘｐｅｒｔｓｇｒｏｕｐ−４ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。

加えて音声処理部１７は、ＰＣＭ音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ１０の背面側に設けられるスピーカ１９を駆動して、拡声放音させる。

以上の回路を制御部２０が統括制御する。制御部２０はＣＰＵで構成され、メインメモリ２１、プログラムメモリ２２と直接接続される。メインメモリ２１は、ＳＤＲＡＭ（シンクロナスＤＲＡＭ）で構成され、ワークメモリとして機能する。プログラムメモリ２２は、電気的に書換可能な不揮発性メモリで構成され、後述する撮影モード時の制御を含む動作プログラムや特定の人物の声紋データ等を固定的に記憶する。

制御部２０はプログラムメモリ２２から必要なプログラムやデータ等を読出し、メインメモリ２１に適宜一時的に展開記憶させながら、このデジタルカメラ１０全体の制御動作を実行する。

さらに上記制御部２０は、キー入力部２３から直接入力されるキー操作信号に対応して各種制御動作を実行する。制御部２０は、システムバスＳＢを介して上記画像処理部１３、画像バッファ１４、表示部１５の他、さらにレンズ駆動部２４、フラッシュ駆動部２５、ＣＣＤドライバ２６、圧縮伸長処理部２７、メモリカードコントローラ２８、及びＵＳＢインタフェース（Ｉ／Ｆ）２９とも接続される。

キー入力部２３は、例えば電源キー、シャッタキー、ズームキー、撮影モードキー、再生モードキー、メニューキー、カーソル（「↑」「→」「↓」「←」）キー、セットキー、シーンプログラムキー等を備える。

レンズ駆動部２４は、制御部２０からの制御信号を受けてレンズ用ステッピングモータ（Ｍ）３０の回動を制御し、上記光学レンズユニット１１を構成する複数のレンズ中の一部、具体的にはフォーカスレンズ及びズームレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。

フラッシュ駆動部２５は、静止画像撮影時に制御部２０からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部３１を撮影タイミングに同期して点灯駆動する。

ＣＣＤドライバ２６は、その時点で設定されている撮影条件等に応じて上記ＣＣＤ１２の操作駆動を行なう。

圧縮伸長処理部２７は、上記キー入力部２３のシャッタキー操作に伴う画像撮影時に、画像バッファ１４に保持される画像データを所定のデータファイル形式、例えばＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）であればＤＣＴ（離散コサイン変換）やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスＳＢ、メモリカードコントローラ２８を介してメモリカード３２に記録される。

また圧縮伸長処理部２７は、再生モード時にメモリカード３２からメモリカードコントローラ２８を介して読出されてくる画像データをシステムバスＳＢを介して受取り、記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスＳＢを介して画像バッファ１４に保持させる。そして、画像バッファ１４に保持された画像データにより表示部１５で再生のための表示が実行される。
メモリカードコントローラ２８は、カードコネクタ３３を介してメモリカード３２と接続される。メモリカード３２は、このデジタルカメラ１０に着脱自在に装着され、このデジタルカメラ１０の記録媒体となる画像データ等の記録用メモリであり、内部にはブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。

ＵＳＢインタフェース２９は、ＵＳＢコネクタ３４を介してこのデジタルカメラ１０を外部機器、例えばパーソナルコンピュータと接続する際のデータの送受を司る。

次に上記実施形態の動作について説明する。
なお、以下に示す動作は、撮影モード下で静止画像の撮影を行なう際、制御部２０がプログラムメモリ２２に記憶されている動作プログラムやデータ、及び登録済みの特定の人物の音声の声紋データを読出してメインメモリ２１に展開して記憶させた上で実行するものである。

プログラムメモリ２２に記憶されている動作プログラム等は、このデジタルカメラ１０の製造工場出荷時にプログラムメモリ２２に記憶されていたものに加え、例えばこのデジタルカメラ１０のバージョンアップに際して、デジタルカメラ１０をパーソナルコンピュータと接続することにより外部からＵＳＢコネクタ３４、ＵＳＢインタフェース２９を経由して新たな動作プログラム、データ等をダウンロードして記憶していたものも含む。

また、キー入力部２３の一部を構成するシャッタキーは、２段階の操作ストロークを有し、第１段目の操作ストローク（以下「半押し」と称する）で撮影準備状態となり、ＡＦ（自動合焦）処理及びＡＥ（自動露光）処理を実行して合焦位置及び露光値をロックし、さらに第２段階の操作ストローク（以下「全押し」と称する）で撮影を実行するものとする。

図２は、音声付き静止画撮影モード時の、主として音声データの取扱いの処理内容を示すものである。その当初には、キー入力部２３のシャッタキーが半押し操作されたか否かを判断し続けることで、シャッタキーが半押し操作されるのを待機する（ステップＳ１０１）。

そして、シャッタキーが半押し操作された時点でそれを上記ステップＳ１０１で判断し、上述した如く合焦位置及び露光値をロックすると共に、マイクロホン１６、音声処理部１７、及び音声バッファ１８を用いた音声の循環記憶を開始させる（ステップＳ１０２）。

この音声の循環記憶状態では、リングバッファで構成される音声バッファ１８の記憶容量を有効に活用し、古い音声データを順次消去しながら新たな音声データを取得して蓄積することで、常に過去の一定時間分、例えば３０秒間分の音声データを一時的に記憶しておく。

この音声の循環記憶を続行しながら、キー入力部２３のシャッタキーがさらに全押し操作されたか否かを判断する（ステップＳ１０３）。ここでシャッタキーが全押し操作されていないと判断すると、次いで同シャッタキーの半押し操作状態が解除されたか否かを判断する（ステップＳ１０４）。

シャッタキーの半押し操作状態が維持されている場合、再び上記ステップＳ１０３からの処理に戻る。以後、ステップＳ１０３，Ｓ１０４の処理を繰返し実行することで、シャッタキーが全押し操作されるか、半押し状態が解除されるのを待機する。

シャッタキーの半押し操作状態が解除された場合、上記ステップＳ１０４でそれを判断し、上記音声バッファ１８での音声の循環記憶状態を停止した上で（ステップＳ１０５）、再び次にシャッタキーが半押し操作されるのを待機するべく、上記ステップＳ１０１からの処理に戻る。

また、上記ステップＳ１０３，Ｓ１０４の処理を繰返し実行している過程でシャッタキーが全押し操作された場合、ステップＳ１０３でそれを判断し、その時点でロックされている合焦位置と露光値に従って静止画の本撮影を実行し、撮影で得た画像データを圧縮伸長処理部２７でデータ圧縮してデータファイル化し、メモリカード３２に記録する（ステップＳ１０６）。

これと共に、その時点で音声バッファ１８に記憶されている音声データの状態に応じた切り出し処理を行なう。すなわち、現時点で音声バッファ１８に記憶する音声データが予め設定した音圧以上で予め設定した時間、例えば３秒間以上継続した状態となるのを待機する（ステップＳ１０７）。

そして、音声データが予め設定した音圧以上、且つ予め設定した時間以上継続した状態となったと判断した時点で、次に音声バッファ１８に記憶する音声データが予め設定した音圧未満で予め設定した時間、例えば１０秒間以上継続した状態となるのを待機する（ステップＳ１０８）。

そして、音声データが予め設定した音圧未満で、且つ予め設定した時間以上継続した状態となったと判断した時点で、上記音声データが予め設定した音圧以上、且つ予め設定した時間以上継続した状態での終端位置を、上記撮影した静止画に対応する音声データの区間の終了位置とするよう設定する（ステップＳ１０９）。

以上で、音声バッファ１８への音声データの循環記憶を停止させる（ステップＳ１１０）。

次いで音声バッファ１８内の音声データを、上記シャッタキーが全押し操作される前から時系列に遡って、記憶状態を判定する処理を開始する（ステップ１１１）。

この時間を遡った判定処理過程で、音声データが予め設定した音圧以上で予め設定した時間、例えば３秒間以上継続した部分をサーチする（ステップＳ１１２）。

そして、音声データが予め設定した音圧以上、且つ予め設定した時間以上継続した状態となった時間位置からさらに遡り、次に予め設定した音圧未満で予め設定した時間、例えば１０秒間以上継続した部分をサーチする（ステップＳ１１３）。

そして、音声データが予め設定した音圧未満で、且つ予め設定した時間以上継続した状態が検出されると、上記音圧が予め設定した音圧以上であった始端位置を上記撮影した静止画に対応する音声データの区間の開始位置とするよう設定する（ステップＳ１１４）。

これにより、音声バッファ１８に記憶されている音声データの区間の開始位置と終了位置とが決定されたことになるので、音声処理部１７が当該範囲の音声データを切り出し、データ圧縮した上で上記ステップＳ１０６で記録した静止画像に関連付けた音声データファイルを作成し、メモリカードコントローラ２８よりメモリカード３２に記録させ（ステップＳ１１５）、以上で図２に係る一連の処理を終了する。

メモリカード３２に記録された静止画像データのファイル名が、例えば「ＣＩＭＧ０００１．ＪＰＧ」であった場合、この静止画像データに関連付けて音声データのファイルを記憶する場合には、上述した如くファイル名を同じに設定することにより、例えば「ＣＩＭＧ０００１．ＡＡＣ」として設定すればよい。

この場合、同一のファイル名「ＣＩＭＧ０００１」を有することと拡張子とにより、ＪＰＥＧフォーマットで記録された静止画像データのファイル「ＣＩＭＧ０００１．ＪＰＧ」と、ＡＡＣフォーマットで記録された音声データのファイル「ＣＩＭＧ０００１．ＡＡＣ」とが関連付けられていることが理解できる。したがって、再生時にはこれら両ファイルをメモリカード３２から並列して読出し、静止画像データを表示部１５で表示する間、対応する音声データをスピーカ１９より放音させるものとすればよい。

図３は、静止画像撮影時の音声の一時記憶と、その記憶した内容から静止画像に関連した音声区間を切り出して記録する場合について例示する。図３（Ａ）に示すように、キー入力部２３のシャッタキーを半押し操作したタイミングｔ１１で、音声バッファ１８への音声データの一時記憶が開始される。

以後、音声バッファ１８には順次音声データが蓄積されていく。音声データが音声バッファ１８の容量一杯になると、その後は古い音声データを削除すると同時に、その時点で入力した新しい音声データを記憶するようになる。結果として音声バッファ１８には常にその記憶容量に応じた一定時間分の音声データが記憶され続ける。

その後、タイミングｔ１２でシャッタキーが全押し操作されて静止画像の撮影を実行した後も音声バッファ１８への音声データの記憶を継続する。そして、音声が途切れて予め設定した音圧未満となってから一定時間が経過したタイミングｔ１３で録音を一旦終了する。

こうして音声バッファ１８に記憶した音声データに対し、撮影タイミングｔ１２を含む上述した区間の音声データを切り出す。

図３（Ｂ）は、静止画像の撮影タイミングｔ１２においては音声データの音圧が予め設定した音圧レベル未満であり、それより前のタイミングと後のタイミングのそれぞれに、予め設定した音圧レベル以上が予め設定した時間以上継続している場合の音圧Ｐの変化を示す。

このような場合、上記図２で説明した処理により、撮影タイミングｔ１２の前側に位置する、予め設定した音圧レベル以上が予め設定した時間以上継続している区間の始端位置を、記録する音声区間の開始タイミングｔ１４とする。同様に、撮影タイミングｔ１２の後側に位置する、予め設定した音圧レベル以上が予め設定した時間以上継続している区間の終端位置を、記録する音声区間の終了タイミングｔ１５とする。

結果として、シャッタキーの全押しによる撮影タイミングｔ１２を挟み、予め設定した音圧レベル以上が予め設定した時間以上継続する前後２つの区間を含むタイミングｔ１４からタイミングｔ１５までの区間が、音声データとして切り出されて静止画像データと関連付けて記録される。

また、図３（Ｃ）は、静止画像の撮影タイミングｔ１２において音声データの音圧が予め設定した音圧レベル以上であり、且つ予め設定した時間以上継続している場合の音圧Ｐの変化を示す。

このような場合、上記図２で説明した処理により、撮影タイミングｔ１２自体が存在している、予め設定した音圧レベル以上が予め設定した時間以上継続している区間の始端位置を、記録する音声区間の開始タイミングｔ１６とする。同様に、撮影タイミングｔ１２自体が位置する、予め設定した音圧レベル以上が予め設定した時間以上継続している区間の終端位置を、記録する音声区間の終了タイミングｔ１７とする。

結果として、シャッタキーの全押しによる撮影タイミングｔ１２自体を含む、予め設定した音圧レベル以上が予め設定した時間以上継続する区間を含むタイミングｔ１６からタイミングｔ１７までの区間が、音声データとして切り出されて静止画像データと関連付けて記録される。

なお、上記図２で示した動作例では、撮影タイミングの時点で音声がない場合でも、少なくとも前後３秒以上の音声データが静止画像に関連付けて記録されることが保証される。また、記録される音声データには１０秒以上の音声の途切れがないことが保証される。ただし、撮影タイミングの前後で最大２０秒の音声の途切れが発生する場合を許容することになる。

また、上記ステップＳ１０７，Ｓ１１２ではいずれも、音声データが予め設定した音圧以上で予め設定した時間、例えば３秒間以上継続した状態となるのを待機したが、この待機状態が、例えば２０秒以上経過しても所定の音圧以上の状態の音声が検出されたかった場合には、待機状態を解除して音声データの記録を停止するようにしてもよい。

このようにすれば、撮影タイミングとは全く関係ないタイミングで発生した、撮影タイミングでの音声とは連続性のない音声データまでもが静止画像に関連付けて記録されるのを防ぐことができる。

同様に、上記ステップＳ１０８，Ｓ１１３ではいずれも、音声データが予め設定した音圧未満で予め設定した時間、例えば１０秒間以上継続した状態となるのを待機するものとしたが、この待機状態が、例えば３０秒以上経過しても規定状態が検出されたかった場合には、音声データの記録を停止するようにしてもよい。このようにすれば、１つの静止画像に関連付けて記録される音声データの最大長を制限し、むやみに音声データが長引いてしまうのを防止できる。

さらに上記動作例では、待機時間を順番に、３秒、１０秒、３秒、１０秒としたが、撮影状況に合わせて各々の時間を任意に設定してもよい。

以上詳記した如く本実施形態によれば、音声付きの静止画像撮影時に、静止画像の撮影タイミングのみによって一律に決定されるのではなく、音声の状況に対応して取得の開始及び終了の各タイミングを適切に制御することが可能となる。

また上記実施形態では、音声バッファ１８に記憶される音声の音圧が所定レベル以上を維持する期間に基づいて音声の取得開始タイミング及び取得終了タイミングを決定するものとしたので、撮影時の雰囲気をより忠実に再現できる。

さらに上記実施形態では、図３（Ｂ）で説明したように、撮影を行なったタイミングでは適正な音圧の音声が得られなかった場合でも、その前後で適正な音圧が得られる区間までを延長して記録するものとしたので、違和感なく撮影時の状況を忠実に再現できる。

（第２の実施形態）
以下本発明をデジタルカメラに適用した場合の第２の実施形態について図面を参照して説明する。

なお、本実施形態に係るデジタルカメラ１０′の回路構成に関しては、基本的に上記図１に示した内容と同様であるため、同一部分には同一符号を用いることとし、その図示と説明とを省略する。

加えて本実施形態では、予め複数の人物の声紋がプログラムメモリ２２に登録可能であり、音声処理部１７が、プログラムメモリ２２に登録された人物の声紋と、マイクロホン１６から入力して音声バッファ１８に記憶する音声データ中の声紋との一致比較を行なう解析機能を有しているものとする。

音声処理部１７は他に、マイクロホン１６から入力される音声中に所定の音圧レベル以上で人間の声が含まれているか否かを判断する解析機能等の各種音声処理機能を有するものとする。

図４は、音声付き静止画撮影モード時の、主として音声データの取扱いの処理内容を示すものである。

その当初には、プログラムメモリ２２に予め登録されている人物の声紋中から、静止画像の撮影に伴う音声の記録対象となる人物の声紋を選択して指定する（ステップＳ２０１）。

この声紋指定に際しては、そのいずれかを指定するべくキー入力部２３でのキー操作を促すガイドメッセージと共に、登録されている声紋の人物名を表示部１５で一覧表示し、所定のキー操作により人物名が選択されると、選択された人物名の声紋が指定されたものとする。

その後、マイクロホン１６から入力される音声に人間の声が含まれているか否かを音声処理部１７を用いて判断する（ステップＳ２０２）。

ここで音声処理部１７は、マイクロホン１６から入力される音声の周波数スペクトルを分析し、人間の声に特有の周波数帯での検出レベルが所定の値以上得られているか否かにより音声に人間の声が含まれているか否かを判断する。

上記ステップＳ２０２で、マイクロホン１６から入力される音声に人間の声が含まれていると判断するまで、同様の処理を繰返し実行することで、人間の声が入力されるのを待機する。

そして、人間の声が含まれているとステップＳ２０２で判断すると、次いでマイクロホン１６、音声処理部１７、及び音声バッファ１８を用いた音声の循環記憶を開始させる（ステップＳ２０３）。

この音声の循環記憶を続行しながら、キー入力部２３のシャッタキーが操作されたか否かを判断する（ステップＳ２０４）。ここでシャッタキーが操作されたと判断するまで、同様の処理を繰返し実行することで、音声データの記憶を継続しながらシャッタキーが操作されるのを待機する。

そして、シャッタキーが操作されると、ステップＳ２０４でそれを判断し、静止画の本撮影を実行し、撮影で得た画像データを圧縮伸長処理部２７でデータ圧縮してデータファイル化し、メモリカード３２に記録する（ステップＳ２０５）。

これと共に、その時点でマイクロホン１６から入力される音声を解析する（ステップＳ２０６）。この解析の結果、現在の音声中に、上記ステップＳ２０１で指定した人物の声紋を含んでいるか否かを判断する（ステップＳ２０７）。

ここで、指定した人物の声紋を含んでいると判断した場合には、上記ステップＳ２０１での指定通り、指定した人物の声紋を録音対象として設定する（ステップＳ２０８）。

また、上記ステップＳ２０７で指定した人物の声紋を含んでいないと判断した場合には、解析したすべての人物の声紋を録音対象として設定する（ステップＳ２０９）。

その後、上記ステップＳ２０８またはステップＳ２０９で設定した録音対象の人物の声紋が検出できない期間が一定時間、例えば１０秒間以上あるか否かを繰返し判断する（ステップＳ２１０）。

ここで録音対象の人物の声紋が検出できない期間が一定時間以上あると判断した時点で、録音対象となる人物の音声が一定時間以上途絶えたこととなるため、最後に録音対象の人物の声紋が検出できた時点を、上記撮影した静止画に対応する音声データの区間の終了位置とするよう設定する（ステップＳ２１１）。

次いで、音声バッファ１８内の音声データを、上記シャッタキーが全押し操作される前から時系列に遡って、記憶状態を判定する処理を開始する（ステップＳ２１２）。

この時間を遡った判定処理過程で、指定した声紋検出が予め設定した時間、例えば３秒間以上継続した部分をサーチする（ステップＳ２１３）。

サーチの結果、指定した声紋検出が予め設定した時間以上継続した状態での始端位置を、上記撮影した静止画に対応する音声データの区間の開始位置とするよう設定する（ステップＳ２１４）。

これにより、音声バッファ１８に記憶されている音声データの区間の開始位置と終了位置とが決定されたことになるので、音声処理部１７が当該範囲の音声データを切り出し、データ圧縮した上で上記ステップＳ２０５で記録した静止画像に関連付けた音声データファイルを作成し、メモリカードコントローラ２８よりメモリカード３２に記録させる（ステップＳ２１５）。

その後、さらにその時点でマイクロホン１６から入力される音声に人間の声が含まれているか否かを音声処理部１７を用いて判断する（ステップＳ２１６）。

ここでマイクロホン１６から入力される音声に人間の声が含まれていると判断した場合には、続けて次の静止画像を撮影するために、上記ステップＳ２０４からの処理に戻る。

こうして、マイクロホン１６から入力される音声に人間の声が含まれている間、上記ステップＳ２０４〜Ｓ２１６までの処理を繰返し実行する。

そして、上記ステップＳ２１６で入力される音声に人間の声が含まれていないと判断すると、以上で、音声バッファ１８への音声データの循環記憶を停止させる（ステップＳ２１７）。

その後、上記記録した各静止画像のデータファイルとは別に、撮影した複数の静止画像データと各静止画像データに対応して記録した音声データとに基づき、それらをスライドショーとして再生するための１つの画像データファイル、具体的には例えば拡張子が「．ＡＶＩ」で表されるモーションＪＰＥＧファイルを作成してメモリカード３２に記録させ（ステップＳ２１８）、以上で図４に係る一連の処理を終了する。

図５は、静止画像撮影時の音声の一時記憶と、その記憶した内容から静止画像に関連した音声区間を切り出して記録する場合について例示する。

図５（Ｂ）に示すように、人間の声が入力され、それを音声処理部１７で認識したタイミングｔ２１で、音声バッファ１８への音声データの一時記憶が開始される。但し、この時点での人の声は、予め登録されていない他人Ａのものであるため、この時点では記録の対象とは判断しない。

そして、さらに図５（Ｃ）に示すように登録されていない他人Ｂの声と、図５（Ｄ）に示すように登録済みであり、且つ図４の処理当初で指定した自分の子供の声とが、順次時間差をもって入力されるものとする。

その後、タイミングｔ２２でシャッタキーが操作されて静止画像の撮影を実行した後も登録／未登録含めて人の声が入力されている間は、音声バッファ１８への音声データの記憶を継続する。そして、人の声による音声が途切れて予め設定した音圧未満となったタイミングｔ２３で録音を一旦終了する。

こうして音声バッファ１８に記憶した音声データに対し、撮影タイミングｔ２２を含む上述した区間の音声データを切り出す。

この場合、図５（Ｄ）に示したように、予め指定した、登録済みである自分の子供の声が上記撮影タイミングｔ２２も含めて音声中に入っているため、音声処理部１７は図５（Ｄ）に示す子供の声を解析して認識し、指定した声紋と一致が検出された始端のタイミングｔ２４から、一致が検出できなくなる終端のタイミングｔ２５までを記録する音声区間とする。

結果として、シャッタキーの操作による撮影タイミングｔ２２を挟み、指定した声紋と一致する声が入力され始めたタイミングｔ２４から、指定した声紋と一致する声の入力が途絶えるタイミングｔ２５までの区間が、音声データとして切り出されて静止画像データと関連付けて記録される。

なお、上記図５において、図５（Ｄ）で示した、予め指定した自分の子供の声の入力が検出できなかった場合には、指定した声紋ではないものの、代わって人の声である図５（Ｂ）で示した他人Ａの声、図５（Ｃ）で示した他人Ｂの声が入力されている区間を切り出し、静止画像データと関連付けて記録することとなる。

図６は、上記図４の処理によりデジタルカメラ１０′の電源を投入して常に人の声が入力され続け、且つ途中で電源を切断することなく子供の運動会の様子を撮影し続けた場合に、スライドショー表示のために自動的に作成される画像データを例示するものである。

この場合、図６（Ａ）〜図６（Ｅ）で示す各種目毎に静止画像の撮影を行ない、且つ指定した子供の声が音声データ中に入っている場合にはその子供の声が検出して範囲で、また指定した子供の声が入っていない場合には、人の声が連続して入っている範囲でそれぞれ静止画像データに関連付けて音声データのファイルが作成される。

そのため、全く人の声が途絶えた時点で、上記ステップＳ２１８の処理により図６（Ａ）〜図６（Ｅ）の静止画と対応する音声とによるスライドショー用の画像データが別途作成され、メモリカード３２に記録される。

このスライドショー用の画像データの再生時には、図６（Ａ）〜図６（Ｅ）の静止画と対応する音声とが循環的に、且つ再生の停止を指示するまでエンドレスで再生され続ける。

以上詳記した如く本実施形態によれば、一時的に記憶する音声に対して例えば人の声など、特定の音質となる所定の条件を満足する期間に基づいて音声の取得開始タイミング及び取得終了タイミングを決定するものとしたので、被写体に適した音質を設定することでその状況に適切に対応して音声の取得の開始及び終了の各タイミングを制御することが可能となる。

加えて上記実施形態では、特定の音質として、人の声を指定するものとしたので、スナップやポートレイトといった特に被写体を人とする多くの場合に設定するための操作が容易となり、音声の取得に関する手間を大幅に簡略化できる。

また、上記実施形態では、予め声紋を登録しておくことで、特定の人物の声が検出された場合にその声が得られる区間を音声データとして記録するよう設定することができるため、他の人の声に惑わされず、被写体に適した音声データ部分のみを音声データとして静止画像のデータに関連付けて記録することができる。

さらに上記実施形態は、音声データの取得終了後に、複数の静止画像データが一連の撮影過程で得られた場合には、それら音声付きの複数の静止画像のデータからスライドショー用の画像データを別途作成して記録するものとしたので、ユーザの手間を煩わせることなく手軽にスライドショーデータを作成して視聴を楽しむことができる。

また上記第１及び第２の各実施形態では、音声バッファ１８に記憶される音声が、予め設定した欠落期間を超えることなく所定の条件を満たす期間に応じ、静止画像の撮影タイミングを含んで音声の取得開始タイミング及び取得終了タイミングを決定するものとしたので、音声バッファ１８の記憶容量を有効に活用すると共に、画像に関係ないと思われる無駄な無音部分を音声に含ませることなく、効率的で実状に即した音声データを記録させることができる。

なお、上記実施形態は本発明をデジタルカメラに適用した場合について説明したが、本発明はこれに限ることなく、ビデオムービーカメラや、カメラ機能を有する携帯電話端末、ウェブカメラを搭載したモバイルコンピュータ等、その他の各種電子機器にも同様に適用可能となる。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

１０，１０′…デジタルカメラ、１１…光学レンズユニット、１２…ＣＣＤ、１３…画像処理部、１４…画像バッファ、１５…表示部、１６…マイクロホン、１７…音声処理部、１８…音声バッファ（リングバッファ）、１９…スピーカ、２０…制御部、２１…メインメモリ、２２…プログラムメモリ、２３…キー入力部、２４…レンズ駆動部、２５…フラッシュ駆動部、２６…ＣＣＤドライバ、２７…圧縮伸長処理部、２８…メモリカードコントローラ、２９…ＵＳＢインタフェース（Ｉ／Ｆ）、３０…レンズ用ステッピングモータ（Ｍ）、３１…フラッシュ部、３２…メモリカード、３３…カードコネクタ、３４…ＵＳＢコネクタ、ＳＢ…システムバス。

Claims

静止画像を撮影する撮像手段と、
音声を入力する音声入力手段と、
予め任意の人物の声紋を登録しておく登録手段と、
上記音声入力手段に入力される音声の声紋が上記登録手段に登録された人物の声紋と一致する期間に応じ、上記撮像手段での静止画像の撮影タイミングを含んで音声の取得開始タイミング及び取得終了タイミングを決定する音声期間決定手段と、
上記撮像手段で撮影した静止画像、及び音声を記録する記録手段と、
上記音声期間決定手段で決定した取得開始タイミングから取得終了タイミングまでの上記音声入力手段に入力される音声を切り出し、切り出した音声を上記撮像手段で得た静止画像と関連付けて上記記録手段に記録させる記録制御手段と、
上記登録手段に登録された人物の声紋と声紋が一致する音声が関連付けられた静止画像が上記記録手段に複数記録されている場合に、それら該当する静止画像を纏めて新たな１つの音声付き画像を作成し、上記記録手段に記録させる画像再構成手段と
を具備したことを特徴とする撮像装置。
静止画像を撮影する撮像手段と、
音声を入力する音声入力手段と、
上記音声入力手段に入力される音声の音質が所定の条件を満たす期間に応じ、上記撮像手段での静止画像の撮影タイミングを含んで音声の取得開始タイミング及び取得終了タイミングを決定する音声期間決定手段と、
上記撮像手段で撮影した静止画像、及び音声を記録する記録手段と、
上記音声期間決定手段で決定した取得開始タイミングから取得終了タイミングまでの上記音声入力手段に入力される音声を切り出し、切り出した音声を上記撮像手段で得た静止画像と関連付けて上記記録手段に記録させる記録制御手段と、
を具備し、
上記音声期間決定手段は、上記静止画像の撮影タイミングにおいて特定の人物の声を検出した後、この撮影タイミングで検出された特定の人物の声が検出されなくなるまでの期間に基づいて、上記音声の取得終了タイミングを決定することを特徴とする撮像装置。
上記音声期間決定手段は、上記音声入力手段に入力される音声が、予め設定した欠落期間を超えることなく所定の条件を満たす期間に応じ、上記撮像手段での静止画像の撮影タイミングを含んで音声の取得開始タイミング及び取得終了タイミングを決定することを特徴とする請求項１または２に記載の撮像装置。
上記音声入力手段に入力される所定の時間長分の音声を更新しながら記憶し続ける音声一時記憶手段を更に備え、
上記音声期間決定手段は、上記音声一時記憶手段に記憶された音声が所定の条件を満たす期間に応じ、上記撮像手段での静止画像の撮影タイミングの前の音声の取得開始タイミングを決定することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
上記音声期間決定手段は、上記撮影タイミングの前と後の両方において、上記音声入力手段に入力される音声が所定の条件を満たす位置を検出し、この検出された位置まで、上記音声の取得開始タイミングまたは取得終了タイミングを拡張することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
静止画像を撮影する撮像部、音声を入力する音声入力部、上記撮像部で撮影した静止画像と音声を記録する記録部、及び予め任意の人物の声紋を登録しておく登録部を備えた撮像装置での撮像方法であって、
上記音声入力部に入力される音声の声紋が上記登録部に登録された人物の声紋と一致する期間に応じ、上記撮像部での静止画像の撮影タイミングを含んで音声の取得開始タイミング及び取得終了タイミングを決定する音声期間決定工程と、
上記音声期間決定工程で決定した取得開始タイミングから取得終了タイミングまでの上記音声入力部に入力される音声を切り出し、切り出した音声を上記撮像部で得た静止画像と関連付けて上記記録部に記録させる記録制御工程と、
上記登録部に登録された人物の声紋と声紋が一致する音声が関連付けられた静止画像が上記記録制御工程により複数記録されている場合に、それら該当する静止画像を纏めて新たな１つの音声付き画像を作成し、上記記録部に記録させる画像再構成工程と
を有したことを特徴とする撮像方法。
静止画像を撮影する撮像部、音声を入力する音声入力部、及び上記撮像部で撮影した静止画像と音声を記録する記録部を備えた撮像装置での撮像方法であって、
上記音声入力部に入力される音声の音質が所定の条件を満たす期間に応じ、上記撮像部での静止画像の撮影タイミングを含んで音声の取得開始タイミング及び取得終了タイミングを決定する音声期間決定工程と、
上記音声期間決定工程で決定した取得開始タイミングから取得終了タイミングまでの上記音声入力部に入力される音声を切り出し、切り出した音声を上記撮像部で得た静止画像と関連付けて上記記録部に記録させる記録制御工程と、
を有し、
上記音声期間決定工程は、上記静止画像の撮影タイミングにおいて特定の人物の声を検出した後、この撮影タイミングで検出された特定の人物の声が検出されなくなるまでの期間に基づいて、上記音声の取得終了タイミングを決定することを特徴とする撮像方法。
静止画像を撮影する撮像部、音声を入力する音声入力部、上記撮像部で撮影した静止画像と音声を記録する記録部、及び予め任意の人物の声紋を登録しておく登録部を備えた撮像装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
上記音声入力部に入力される音声の声紋が上記登録部に登録された人物の声紋と一致する期間に応じ、上記撮像部での静止画像の撮影タイミングを含んで音声の取得開始タイミング及び取得終了タイミングを決定する音声期間決定手段、
上記音声期間決定手段で決定した取得開始タイミングから取得終了タイミングまでの上記音声入力部に入力される音声を切り出し、切り出した音声を上記撮像部で得た静止画像と関連付けて上記記録部に記録させる記録制御手段、
上記登録部に登録された人物の声紋と声紋が一致する音声が関連付けられた静止画像が上記記録部に複数記録されている場合に、それら該当する静止画像を纏めて新たな１つの音声付き画像を作成し、上記記録部に記録させる画像再構成手段
として機能させることを特徴とするプログラム。
静止画像を撮影する撮像部、音声を入力する音声入力部、及び上記撮像部で撮影した静止画像と音声を記録する記録部を備えた撮像装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
上記音声入力手段に入力される音声の音質が所定の条件を満足する期間に応じ、上記撮像手段での静止画像の撮影タイミングを含んで音声の取得開始タイミング及び取得終了タイミングを決定する音声期間決定手段、及び
上記音声期間決定手段で決定した取得開始タイミングから取得終了タイミングまでの上記音声入力部に入力される音声を切り出し、切り出した音声を上記撮像手段で得た静止画像と関連付けて上記記録手段に記録させる記録制御手段、
として機能させ、
上記音声期間決定手段は、上記静止画像の撮影タイミングにおいて特定の人物の声を検出した後、この撮影タイミングで検出された特定の人物の声が検出されなくなるまでの期間に基づいて、上記音声の取得終了タイミングを決定することを特徴とするプログラム。