JP2012253692A - 撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラム - Google Patents
撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラム Download PDFInfo
- Publication number
- JP2012253692A JP2012253692A JP2011126727A JP2011126727A JP2012253692A JP 2012253692 A JP2012253692 A JP 2012253692A JP 2011126727 A JP2011126727 A JP 2011126727A JP 2011126727 A JP2011126727 A JP 2011126727A JP 2012253692 A JP2012253692 A JP 2012253692A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- sound
- audio
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
【課題】画像を音声とともに再生する際に、撮影時の雰囲気を再現し、かつ鑑賞者に違和感を感じさせない再生を行うことができる撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラムを提供する。
【解決手段】画像を撮像して該画像の電子的なデータを生成する撮像部と、音声を入力して電気信号に変換する音声入力部と、音声入力部が変換した電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理部と、撮像部が生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける制御部と、を備える。
【選択図】図1
【解決手段】画像を撮像して該画像の電子的なデータを生成する撮像部と、音声を入力して電気信号に変換する音声入力部と、音声入力部が変換した電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理部と、撮像部が生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける制御部と、を備える。
【選択図】図1
Description
本発明は、画像を取得して電子的な画像データを生成する撮像装置、画像を再生する再生装置、画像データを含むデータ構造、撮像装置の制御方法および撮像装置用プログラムに関する。
従来、動画を撮影する機能を有するデジタルカメラにおいて、動画撮影の途中で撮影した静止画に、その前後の音声データを付加して再生する技術が開示されている(例えば、特許文献1を参照)。
また、動画を撮影して再生する機能を有する撮像再生装置において、通常の動画撮影モード以外のモードとして、所定時間経過後に自動的に撮影が終了するスナップムービー撮影モードを設定可能な撮像再生装置が知られている。この撮像再生装置では、スナップムービー撮影モード撮影時の音声とは別に用意された音声を出力しながらテンポよく映像を切り換えて再生することができる(例えば、特許文献2を参照)。
しかしながら、上述した特許文献1では、再生時の音声に被写体の声が入っている場合、その声が途中で途切れてしまう可能性があった。被写体の声が途中で途切れてしまう場合、再生画像の鑑賞者は途切れた音声の内容が気になり、違和感を感じたまま鑑賞を続けなければならなかった。
また、上述した特許文献2では、再生時と映像との間の関連性がないため、場合によっては音と映像とのミスマッチが生じてしまい、鑑賞者が違和感を感じてしまう可能性があった。
本発明は、上記に鑑みてなされたものであって、画像を音声とともに再生する際に、撮影時の雰囲気を再現し、かつ鑑賞者に違和感を感じさせない再生を行うことができる撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、画像を撮像して該画像の電子的なデータを生成する撮像部と、音声を入力して電気信号に変換する音声入力部と、前記音声入力部が変換した電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理部と、前記撮像部が生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける制御部と、を備えたことを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記音の特性は、音の強度を含むことを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記音の特性は、周波数を含み、前記音声処理部は、前記音声データの周波数スペクトルを算出し、前記音の特性に基づいて前記周波数スペクトルを分離することによって得られる部分周波数スペクトルから前記複数の部分音声データを生成することを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記音声処理部は、人の声を含む部分音声データを生成可能であることを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記制御部は、複数の画像を所定時間ずつ連続的に表示するスライドショーモードで画像を再生表示する場合、該画像と同期して出力する音声として、人の声を含まない部分音声データを最優先で選択することを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記画像データに対応する画像を表示可能な表示部と、前記音声データに対応する音声または前記部分音声データに対応する部分音声を出力可能な音声出力部と、をさらに備え、前記制御部は、前記表示部における画像の表示態様に応じた音声または部分音声を選択し、該画像の表示と同期して前記音声出力部に出力させることを特徴とする。
また、本発明に係る撮像装置は、上記発明において、画像の表示および音声の出力が可能な再生装置とネットワークを介して情報の送受信を行う通信部と、前記再生装置に出力させる情報として、画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声データを含み、前記通信部を介して前記再生装置へ送信する送信ファイルを作成する送信ファイル作成部と、をさらに備えたことを特徴とする。
また、本発明に係る再生装置は、画像を表示可能な表示部と、前記表示部が表示する画像に適合する音声を出力可能な音声出力部と、画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声を含む音声データ、を有するデータ構造の記載内容を解釈する解釈部と、前記解釈部が解釈した結果に基づいて前記表示部に画像を表示させるとともに前記音声出力部に音声を出力させる再生制御部と、を備えたことを特徴とする。
また、本発明に係る再生装置は、上記発明において、前記撮像装置と前記ネットワークを介して通信可能であり、前記データ構造としての前記送信ファイルを前記撮像装置から受信する通信部をさらに備えたことを特徴とする。
また、本発明に係るデータ構造は、画像データと、前記画像データに対応する画像の表示態様を定めるモード情報と、前記画像を前記表示態様にしたがって表示する際に前記画像と同期して出力する音声を含む音声データと、を備えたことを特徴とする。
また、本発明に係る撮像装置の制御方法は、画像を撮像して該画像の電子的なデータを生成する撮像ステップと、前記撮像ステップにおける画像の撮像時を含む期間の音声を入力して電気信号に変換する音声入力ステップと、前記音声入力ステップで変換された電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、前記撮像ステップで生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、を有することを特徴とする。
また、本発明に係る撮像装置用プログラムは、画像を撮像して該画像の電子的なデータを生成するとともに、音声を入力して電気信号に変換する撮像装置に、前記電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、前記画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、を実行させることを特徴とする。
本発明によれば、音声データを複数の部分音声データに分離し、表示する画像データの表示態様に適合する音声データまたは部分音声データを選択して該画像と対応付けているため、画像を再生する際に、その画像の撮影時の雰囲気を再現するとともに、鑑賞者に対して快適な状態で再生画像を鑑賞させることができる。
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。
図1は、本発明の一実施の形態に係る撮像装置および再生の構成ならびに撮像装置および再生装置からなる通信システムの構成を示す図である。同図に示す通信システム100は、所定の視野領域の画像を撮像して画像データを生成する撮像装置1と、画像を表示する再生装置3とを備える。撮像装置1および再生装置3は、互いに他と画像データを含む情報の通信を行う機能を有する。
まず、撮像装置1の構成を説明する。撮像装置1は、撮像部11と、操作入力部12と、音声入力部13と、表示部14と、音声出力部15と、通信部16と、記憶部17と、制御部18とを備える。
撮像部11は、所定の視野領域の画像を撮像してデジタルの画像データを生成する。撮像部11は、一または複数のレンズによって構成され、所定の視野領域に存在する被写体からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、絞りを通過した光を受光して電気信号に変換するCCD(Charge Coupled Device)等の撮像素子と、撮像素子から出力されるアナログ信号をデジタル信号からなる画像データに変換するA/D変換部とを有する。
操作入力部12は、撮像装置1の操作指示を含む各種情報の入力を受け付ける。操作入力部12は、撮像装置1の電源ボタン、静止画の撮影指示を与える静止画レリーズボタン動画の撮影指示を与える動画レリーズボタン、撮像装置1で設定可能な各種動作モードの切替を行うモード切替ボタン、画像データの再生や編集の指示を含む制御ボタンなどを有する。また、操作入力部12は、表示部14に積層されて設けられるタッチパネルを有する。
音声入力部13は、マイクロフォンを用いて構成され、音声を入力して電気信号に変換する機能を有する。
表示部14は、液晶または有機EL等を用いて構成され、画像データのほかに撮像装置1の操作情報や撮影に関する情報を適宜表示する機能を有する。
音声出力部15は、スピーカを用いて構成され、音声を外部へ出力する機能を有する。
通信部16は、ネットワークを介して再生装置3との間で情報の送受信を行う。このネットワークとして、無線LAN(Local Area Network)または赤外通信などの無線通信用ネットワークを適用してもよいし、有線通信を含むネットワークを適用してもよい。
記憶部17は、画像データを記憶する画像データ記憶部171と、音声データを記憶する音声データ記憶部172と、撮像装置1が実行する各種プログラムを記憶するプログラム記憶部173とを有する。記憶部17は、撮像装置1の内部に固定的に設けられるフラッシュメモリやRAM(Random Access Memory)等の半導体メモリを用いて構成される。なお、記憶部17が、外部から装着されるメモリカード等の記録媒体に対して情報を記録する一方、記録媒体が記録する情報を読み出す記録媒体インタフェースとしての機能を有していてもよい。
画像データ記憶部171は、MPEG(Moving Picture Experts Group)等の規格に基づいて符号化された動画像データを音声データとともにコンテナに格納した動画ファイルを記憶するとともに、JPEG(Joint Photographic Experts Group)等の形式に基づいて符号化された静止画像データを記憶する。
制御部18は、CPU(Central Processing Unit)等を用いて構成され、制御対象である撮像装置1の各構成部位とバスラインを介して接続されている。制御部18は、撮像部11が生成した画像データに対して所定の画像処理を施す画像処理部181と、音声入力部13から出力される電気信号に対して所定の信号処理を施す音声処理部182と、再生装置3へ送信する送信ファイルを作成する送信ファイル作成部183と、計時機能を備えたタイマー184とを有する。
音声処理部182は、音声信号に標本化および量子化を施してA/D変換を行うことによって音声データを生成し、生成した音声データにFFT(Fast Fourier Transformation)およびフィルタリングを行うことによって音を所定の周波数で分離し、分離した音声データの音圧レベルを判定し、所定の基準を満たしている分離後の音声データに逆FFTを施すことによって複数の部分音声データを生成する。
図2は、音声処理部182が行う処理の概要を説明する図である。図2において、横軸fが周波数を表し、縦軸Lが音圧レベル(SPL)を表している。図2に示す曲線200は、音声データの周波数スペクトル(以下、「周波数スペクトル200」という)である。本実施の形態において、音声処理部182は、基準周波数f0を境界として周波数スペクトル200を2つに分離する。その後、音声処理部182は、2つに分離された部分周波数スペクトルにおける最大音圧レベルLmaxと基準音圧レベルL0との大小を比較することによって音圧レベルのレベル判定を行う。ここで、音圧レベルLは、基準音圧P0=2×10-5(Pa)に対する音圧Pの比の値の常用対数に比例する量であり、L=20×log10(P/P0)(dB)で定義される。
図2に示す場合、周波数スペクトル200は、音声処理部182によって2つの部分周波数スペクトル201、202に分離される。また、音声処理部182による音圧レベルのレベル判定の結果、部分周波数スペクトル201,202における最大音圧レベルL1、L2と基準音圧レベルL0との大小関係は、L1>L0、L2<L0である。
例えば、図2において、基準周波数f0=600(Hz)、基準音圧レベルL0=50(dB)とすると、部分周波数スペクトル201には人の声が含まれている可能性が高い。これは、人が普通に会話する声の周波数が150〜600Hzであり、音圧レベルが60〜90dBであるためである。これに対して、部分周波数スペクトル202には、周波数が比較的高く、かつ音圧レベルが低い音が含まれている。したがって、部分周波数スペクトル202によって与えられる音としては、川のせせらぎ、鳥のさえずり、木の葉が触れ合う音のように、ヒーリング効果が高いとされる音が含まれている可能性が高い。このように、基準周波数f0と基準音圧レベルL0とを適切に定めることにより、人の声を含む部分音声と、自然の背景音を含む部分音声とを明確に分離することができる。
図3は、音声データの最大音圧レベルLmaxの時間変化の例を示す図である。図3において、横軸tが時間であり、縦軸Lmaxが最大音圧レベルを示している。図3に示す曲線300は、1つの動画データに対応した音声データの最大音圧レベルの時間変化を示しており、時間Tが動画撮影時間を示している。また、図3において、時間T0は、動画と静止画とが混在するスライドショー表示を行う際、動画の再生時間を静止画の再生時間と略等しくするように設定した場合の再生時間を示している。この再生時間T0を設定することにより、動画と静止画が混在したスライドショーを行う際にテンポのよい再生を行うことができるようになる。
その一方で、図3に示す動画の場合、撮影開始直後から最大音圧レベルLmaxが基準音圧レベルL0を超えており、時間T0でも依然として基準音圧レベルL0を超えたままである。このため、基準音圧レベルL0=50(Hz)である場合、この時点で画像が切換ると、人の声が入った状態で切換ることとなり、何か話している途中で画像が途切れてしまう可能性がある。本実施の形態においては、このような事態を回避して違和感の少ないスライドショーを実現するため、画像と同期して出力する音声に人の声が入っている場合には、人の声を出力しないで他の部分音声を出力する。
図4は、音声処理部182が行う音声の分離処理の概要を示す図である。第1部分音声は、周波数fが基準周波数f0より小さく(f<f0)、かつ最大音圧レベルLmaxが基準音圧レベルL0以上(Lmax≧L0)である音声データに対応している。したがって、図2に示す部分周波数スペクトル201は、第1部分音声に相当している。
これに対し、第2部分音声は、周波数fが基準周波数f0以上(f≧f0)であり、かつ最大音圧レベルLmaxが基準音圧レベルL0より小さい(Lmax<L0)音声データに対応している。したがって、図2に示す部分周波数スペクトル202は、第2部分音声に相当している。
なお、周波数fおよび最大音圧レベルLmaxが上述した条件を満たさない場合、音声処理部182は、分離した音声データを部分音声データとして記録しない。
ところで、音声処理部182が被写体である人物の声などを明確に認識できるようにするために、画像データに含まれる顔画像を検知することができる顔検知部を撮像装置1に具備させ、顔検知部が顔画像を検知する際に判定した特徴によって、音声データを被写体の声などに適した帯域に制限するようにしてもよい。この場合、音声処理部182は、例えば帯域を制限するフィルタ回路である帯域制限フィルタ回路(BPF:Band-Pass Filter)を備えることによって音声データの帯域制限を行うようにすることができる。
なお、音声処理部182は、音声データを記録し、この記録された音声データから必要な帯域に関わる部分のデータだけを抽出することにより、出力する音声を生成するようにしてもよい。
また、音声処理部182は、音声データからある帯域の音声データを増幅し、それ以外の帯域の音声データを減衰することによって音声データの帯域制限を行うようにしてもよい。
また、音声処理部182は、フィルタ特性を切り替え可能な構成を有してもよい。例えば、音声処理部182が、大人の声の帯域に最適化したフィルタ特性と、子供の声の帯域に最適化したフィルタ特性とを切り替え可能な構成を有してもよい。ここで、大人の声の周波数帯は100〜8000Hzである一方、子供の声の周波数帯は150〜10000Hzである。このため、大人の声を鮮明に記録する際には、入力された音声データから、100〜8000Hzの音声データだけを抽出して出力する一方、子供の声を鮮明に記録する際には、入力された音声データから、150〜10000Hzの音声データだけを抽出して出力するようにする。なお、性別に応じたフィルタ特性に切り替えることによって性別に応じた音声データを抽出するようにしてもよい。
また、音声処理部182は、人の声とは異なる周波数帯の音声データを抽出して出力するようにしてもよい。具体的には、音声処理部182が、動物の声、車、飛行機のエンジン音などを抽出して出力するようにしてもよい。
送信ファイル作成部183は、再生装置3へ送信する送信ファイルを作成する。図5は、送信ファイルのデータ構造を模式的に示す図である。同図に示す送信ファイル400は、テキスト情報401と、画像データ402と、音声データ403とを有する。テキスト情報401には、再生装置3が解釈すべき情報として、送信ファイルの種類に関する情報、画像の表示態様を定めるモード情報、および画像とともに表示する文字情報などが含まれている。送信ファイルの種類に関する情報としては、スライドショー用のデータであることを示す情報や、スライドショー用の一連のデータのうちの最後のデータであることを示す情報などが含まれる。また、音声データ403は、音声データ、第1および第2部分音声データのいずれかである。
図6は、以上の構成を有する撮像装置1が行う特徴的な処理の概要を示す模式図である。具体的には、図6は、撮像装置1による撮影時の状況と再生時の音声出力の違いを模式的に示す図である。なお、図6に記載されている文字は、画像に対応する音の特徴を表すためのものであり、実際の画面上に文字が表示されているわけではない。図6(a)に示すように、撮影前後に被写体700が「きついよ」という言葉を発している場合、音声データ記憶部172は、この被写体700の言葉を第1部分音声データとして記憶する一方、背景音として「ザーザー」という音(川の流れの音)を第2部分音声データとして記憶する。撮像装置1は、上記の如く撮影して音声データを記憶した場合、画像を再生するときに、図6(b)に示すように、第2部分音声のみを再生し、被写体700が発した言葉を再生しない機能を有している。
次に、再生装置3の構成を説明する。再生装置3は、通信部31と、操作入力部32と、表示部33と、音声出力部34と、記憶部35と、制御部36とを備える。通信部は、撮像装置1との間で画像データを含む情報の送受信を行う通信インタフェースである。操作入力部32は、再生装置3の操作指示を含む各種情報の入力を受け付ける。表示部33は、液晶または有機EL等を用いて構成され、各種情報を表示可能である。音声出力部34は、スピーカ等を用いて構成され、音声を出力可能である。記憶部35は、半導体メモリ等を用いて構成され、再生装置3の動作プログラムを含む各種情報を記憶する。制御部36は、CPU等を用いて構成され、再生装置3の動作を統括的に制御する。
制御部36は、撮像装置1から送られてくる送信ファイルに書き込まれている情報を解釈する解釈部361と、解釈部が解釈した結果に基づいて表示部33に画像を表示させるとともに、音声出力部34に音声を出力させる再生制御部362と、計時機能を有するタイマー363とを有する。
以上の構成を有する再生装置3は、例えばテレビ、プロジェクター、パソコン、デジタルフォトフレーム等のいずれかによって実現される。このような電子機器によって再生装置3を実現する場合には、撮像装置1から送られてきた画像データに基づく画像の表示と、それ以外の機能に基づく画像の表示とを切り換える表示切換手段を再生装置3に具備させておけばよい。
図7は、撮像装置1が行う処理の概要を示すフローチャートである。まず、撮像装置1の電源がオンになっていれば(ステップS101:Yes)、撮像装置1はステップS102へ移行する。一方、撮像装置1の電源がオンになっていなければ(ステップS101:No)、撮像装置1は一連の処理を終了する。
ステップS102において、撮像装置1が撮影モードに設定されている場合(ステップS102:Yes)、制御部18は、撮像部11および音声入力部13に対して画像および音声の取得をそれぞれ開始させる制御を行う(ステップS103)。
この後、制御部18は、撮像部11が生成し、画像処理部181によって画像処理が施された画像データに対応する画像をスルー画として表示部14に表示させる(ステップS104)。
続いて、静止画レリーズボタンが操作されて静止画レリーズ信号が入力された場合(ステップS105:Yes)、撮像装置1は静止画撮影を行う(ステップS106)。この後、制御部18は、撮影した画像を圧縮して静止画データとして画像データ記憶部171へ記録する(ステップS107)。また、制御部18は、音声データに分類等の処理を施して音声データ記憶部172へ記録する(ステップS108)。ステップS108の後、撮像装置1はステップS101へ戻る。
図8は、ステップS108の音声データ記録処理の概要を示すフローチャートである。撮像装置1は、画像撮影を行う場合にその前後の所定時間帯に取得した音声データに対して、以下に説明するステップS201〜S204の処理を繰り返し行う。
まず、制御部18は、音声データを音声データ記憶部172へ記録する(ステップS201)。その後、音声処理部182は、音声データを基準周波数f0との大小に基いて2つの部分音声データに分離する(ステップS202)。続いて、音声処理部182は、分離された2つの部分音声データの最大音圧レベルLmaxを基準音圧レベルL0と比較することによって、各音声データの音圧レベルのレベル判定を行う(ステップS203)。
この後、音声処理部182は、レベル判定結果に応じて部分音声データを音声データ記憶部172へ記録する(ステップS204)。例えば、図2に示す周波数スペクトル200を有する音声データの場合には、部分周波数スペクトル201に対応する第1部分音声データおよび部分周波数スペクトル202に対応する第2部分音声データが音声データ記憶部172に記録される。ここで、音声データのレベル判定結果が図4に示す条件を満たさない場合、音声処理部182はその音声データを音声データ記憶部172に記録しないで削除する。
撮像装置1は、全てのループが終了した場合、図7に示すメインルーチンへ戻る。
次に、図7のステップS105で静止画レリーズ信号が入力されなかった場合(ステップS105:No)を説明する。この場合において、動画レリーズボタンが押されて動画レリーズ信号が入力されたとき(ステップS109:Yes)、撮像装置1は動画撮影を行う(ステップS110)。一方、ステップS109において、動画レリーズ信号が入力されないとき(ステップS109:No)、撮像装置1はステップS101へ戻る。
図9は、ステップS110の動画撮影処理の概要を示すフローチャートである。まず、制御部18は、動画データおよび音声データの記録を開始する(ステップS301)。
この後、制御部18は、動画データを画像データ記憶部171へ記録する(ステップS302)。その後、静止画レリーズ信号が入力された場合(ステップS303:Yes)、制御部18は静止画データを記録する(ステップS304)。一方、静止画レリーズ信号が入力されない場合(ステップS303:No)、撮像装置1は後述するステップS309へ移行する。
撮像装置1は、ステップS302〜S304の処理と並行して、音声記録処理も行う。音声記録処理に対応するステップS305〜S308の処理は、上述したステップS201〜S204の処理に順次対応している。
ステップS304およびS308の後、操作入力部12によって動画撮影の終了指示が入力された場合(ステップS309:Yes)、制御部18は、動画データおよび音声データの記録を終了する(ステップS310)。この後、撮像装置1は、図7に示すメインルーチンへ戻る。
ステップS309において、操作入力部12によって動画撮影の終了指示が入力されない場合(ステップS309:No)、撮像装置1はステップS301へ戻る。
次に、図7のステップS102において、撮像装置1が撮影モードに設定されていない場合(ステップS102:No)を説明する。この場合、撮像装置1は再生処理を行い(ステップS111)、ステップS101へ戻る。
図10は、撮像装置1が行う再生処理の概要を示すフローチャートである。図10において、制御部18は、表示部14に再生対象画像を所定数だけ一覧表示させる(ステップS401)。続いて、撮像装置1がスライドショーモードに設定されている場合(ステップS402:Yes)、制御部18はスライドショー表示を表示部6に行わせる(ステップS403)。その後、操作入力部12によって再生処理の終了指示が入力された場合(ステップS404:Yes)、撮像装置1は、図7に示すメインルーチンへ戻る。一方、操作入力部12によって再生処理の終了指示が入力されない場合(ステップS404:No)、撮像装置1はステップS401へ戻る。
図11は、ステップS403におけるスライドショー表示の概要を示すフローチャートである。図11において、撮像装置1は、全ての対象画像に対し、以下に説明するステップS501〜S513の処理を繰り返し行う。以下に説明するスライドショー表示においては、動画と静止画の再生時間を揃えて再生するものとする。ただし、動画が静止画の再生時間より早く終了する場合は、その時点で画像を切り換えるものとする。このようなスライドショー表示を行うことにより、動画と静止画が混じっていてもテンポ感のある画像の再生を行うことができる。
まず、撮像装置1が再生装置3と通信を確立していない場合(ステップS501:No)を説明する。この場合において、再生する画像データに対応する第2部分音声データがあるとき(ステップS502:Yes)、制御部18は、画像を表示部14に所定時間再生表示させるとともに、第2部分音声を音声出力部15に画像の表示時間と同じ時間だけ再生させ(ステップS503)、1つのループを終了する。これに対し、再生する画像データに対応する第2部分音声データがなければ(ステップS502:No)、制御部18は画像を表示部14に所定時間再生表示させるとともに、その画像に対応する音声を所定時間再生し(ステップS504)、1つのループを終了する。なお、第2部分音声データがない場合には、画像のみを再生して音声を再生しないようにしてもよい。
次に、撮像装置1が再生装置3と通信を確立している場合(ステップS501:Yes)を説明する。この場合、再生する画像データに対応する第2部分音声データがあれば(ステップS505:Yes)、送信ファイル作成部183は、互いに対応する画像データおよび第2部分音声データを含む送信ファイルを作成する(ステップS506)。ここで生成される送信ファイルは、図5に示す送信ファイル400の音声データ403として、第2部分音声データを適用した構成を有する。
この後、通信部16は、制御部18の制御のもと、再生装置3へ送信ファイルをストリーミング送信する(ステップS507)。
通信部16による送信ファイルの送信が完了した場合(ステップS508:Yes)、撮像装置1は後述するステップS511へ移行する。一方、通信部16による送信ファイルの送信が完了していない場合(ステップS508:No)、通信部16が再生装置3から画像の切換要求を受信したとき(ステップS509:Yes)、撮像装置1は、送信中の画像データおよび第2部分音声データの送信を中止し(ステップS510)、後述するステップS511へ移行する。ステップS509において、再生装置3から画像の切換要求を受信しないとき(ステップS509:No)、撮像装置1はステップS507へ戻る。
ステップS511では、直前に送信した送信ファイルが一連のスライドショーの最後に送信するデータである場合(ステップS511:Yes)、通信部16が再生装置3へスライドショーの終了を意味する終了信号を送信する(ステップS512)。この後、撮像装置1は、1つのループ処理を終了する。一方、ステップS511において、直前に送信したデータがスライドショーの最後のデータでない場合(ステップS511:No)、撮像装置1は1つのループ処理を終了する。
ステップS505において、再生する画像データに対応する第2部分音声データがない場合(ステップS505:No)、送信ファイル作成部183は、互いに対応する画像データおよび音声データを含む送信ファイルを作成する(ステップS513)。この後、撮像装置1は、ステップS507へ移行する。
全ての対象画像に対するループ処理が終了した場合、撮像装置1は図10に示す再生処理へ戻る。
図12は、上述したスライドショー表示において、動作再生時に第2部分音声を用いて再生している状況を模式的に示す図である。より具体的には、図12は、表示部14が静止画501を時間T0だけ表示した後、動画フレーム502〜505で代表的に記載されている動画を第2部分音声とともに時間T0だけ表示し、その後、静止画506を時間T0だけ表示する状況を示している。この場合、動画再生中は、被写体600の声は出力されない(吹き出しの中に×印を付して模式的に記載)ため、被写体600が何か話をしていても、動画から静止画へ移行する際にその話が途切れてしまうことがない。したがって、スライドショーの鑑賞者は、違和感なく画像を鑑賞することができる。
図12に示す場合、静止画501、506についても、対応する第2部分音声データが存在すれば第2部分音声を出力することになる。なお、動画と静止画が混在するスライドショー表示において静止画を表示する際には、音声を出力しないようにしてもよい。
次に、図10のステップS402において、撮像装置1がスライドショーモードに設定されていない場合(ステップS402:No)を説明する。この場合において、操作入力部12によって動画の再生が選択されたとき(ステップS405:Yes)、制御部18は、再生装置3との通信確立の有無を判定する(ステップS406)。制御部18が、再生装置3との通信が確立されていると判定した場合(ステップS406:Yes)、通信部16は、制御部18の制御のもと、選択された動画の動画ファイルを再生装置3へストリーミング送信する(ステップS407)。一方、ステップS406において、制御部18が再生装置3との通信が確立されていないと判定した場合(ステップS406:No)、制御部18は、選択された動画を表示部14に再生表示させる(ステップS408)。ステップS407またはS408の後、撮像装置1はステップS404へ移行する。
ステップS405において、動画の再生が選択されていない場合(ステップS405:No)を説明する。この場合において、静止画の再生が選択されたとき(ステップS409:Yes)、撮像装置1は、再生装置3との通信確立の有無を判定する(ステップS410)。制御部18が、再生装置3との通信が確立されていると判定した場合(ステップS410:Yes)において、再生対象の画像データに対応する第2部分音声データがあるとき(ステップS411:Yes)、送信ファイル作成部183は、対応する画像データおよび第2部分音声データを含む送信ファイルを作成する(ステップS412)。
ステップS412の後、通信部16は、制御部18の制御のもと、再生装置3へ送信ファイルをストリーミング送信する(ステップS413)。
その後、通信部16による送信ファイルの送信が完了した場合(ステップS414:Yes)、撮像装置1はステップS404へ移行する。一方、通信部16による送信ファイルの送信が完了していない場合(ステップS414:No)、通信部16が再生装置3から終了指示を受信したとき(ステップS415:Yes)、撮像装置1は、その静止画データおよび第2部分音声データの送信を中止し(ステップS416)、ステップS404へ移行する。通信部16による送信ファイルの送信が完了していない場合(ステップS414:No)において、通信部16が再生装置3から終了指示を受信しないとき(ステップS415:No)、撮像装置1はステップS413へ戻る。
ステップS411において、再生対象の静止画データに対応する第2部分音声データがない場合(ステップS411:No)、送信ファイル作成部183は、対応する静止画データおよび音声データを含む送信ファイルを作成する(ステップS417)。この後、撮像装置1は、ステップS413へ移行する。なお、再生対象の静止画データに対応する第2部分音声データがない場合、送信ファイル作成部183は、音声データを含まずに静止画データを用いて送信ファイルを作成するようにしてもよい。
次に、ステップS410において、制御部18が再生装置3との通信が確立していないと判定した場合(ステップS410:No)を説明する。この場合、再生対象の静止画データに対応する第1部分音声データがあるとき(ステップS418:Yes)、制御部18は、静止画および第1部分音声を再生する(ステップS419)。すなわち、制御部18は、静止画を表示部14に表示させるとともに、その静止画に対応する第1部分音声を音声出力部15に出力させる。その後、撮像装置1は、ステップS404へ移行する。
一方、ステップS418において、再生対象の静止画データに対応する第1部分音声データがないとき(ステップS418:No)、制御部18は、静止画および音声を再生する(ステップS420)。すなわち、制御部18は、静止画を表示部14に表示させるとともに、その静止画に対応する音声を音声出力部15に出力させる。その後、撮像装置1は、ステップS404へ移行する。なお、ステップS420において、表示部14が静止画を表示するのみとし、対応する音声を音声出力部15が出力しないようにしてもよい。
ステップS405で動画の再生が選択されず(ステップS405:No)、かつステップS409で静止画の再生が選択されない場合(ステップS409:No)、撮像装置1はステップS404へ移行する。
次に、再生装置が行う処理の概要を説明する。図13は、再生装置3が行う処理の概要を示すフローチャートである。まず、再生装置3の電源がオンになっている場合(ステップS601:Yes)、再生装置3はステップS602へ移行する。一方、再生装置3の電源がオンになっていない場合(ステップS601:No)、撮像装置1は一連の処理を終了する。
続いて、通信部31が撮像装置1から送信ファイルを受信した場合(ステップS602:Yes)、解釈部361は、送信ファイルのテキスト情報を参照して、表示対象のデータがスライドショーの一部をなす送信ファイルであるか否かを判定する(ステップS603)。解釈部361がスライドショーのデータであると判定した場合(ステップS603:Yes)、再生制御部362は、表示部33に対して受信した画像データに対応する画像を表示させるとともに、音声出力部34に対して受信した音声データに対応する音声を出力させることによってストリーミング再生を開始する(ステップS604)。なお、ステップS602で通信部31が撮像装置1から送信ファイルを受信しない場合(ステップS602:No)、撮像装置1はステップS601へ戻る。
再生装置3がストリーミング再生を開始してから所定時間が経過した場合(ステップS605:Yes)、通信部31は、制御部36の制御のもと、撮像装置1に対して切換要求を送信する(ステップS606)。この後、通信部31が撮像装置1から新たな送信ファイルを受信した場合(ステップS607:Yes)、再生装置3はステップS604へ戻る。再生装置3がストリーミング再生を開始してから所定時間が経過していない場合(ステップS605:No)、再生装置3はステップS605を繰り返す。
ステップS607で新たな送信ファイルを所定時間内に受信しなかった場合(ステップS607:No)において、スライドショー終了信号をその所定時間内に受信したとき(ステップS608:Yes)、再生装置3はステップS601へ戻る。これに対して、スライドショー終了信号をその所定時間内に受信しないとき(ステップS608:No)、制御部36は表示部33にエラー表示を表示させ(ステップS609)、ステップS601へ戻る。なお、再生装置3は、エラー表示の後、スライドショーを続行するか否かの選択入力をユーザに促す表示を行うようにしてもよい。この場合、再生装置3は、操作入力部12の入力内容に応じた処理を行うようにする。
ステップS603において、送られてきた画像データがスライドショーのデータでない場合(ステップS603:No)、再生装置3は通常の再生処理を行い(ステップS610)、ステップS601へ戻る。
以上説明した本発明の一実施の形態によれば、音声データを複数の部分音声データに分離し、表示する画像データの表示態様に適合する音声データまたは部分音声データを選択して該画像と対応付けているため、画像を再生する際に、その画像の撮影時の雰囲気を再現するとともに、鑑賞者に対して快適な状態で再生画像を鑑賞させることができる。
また、本実施の形態によれば、部分音声データを生成する際に、音声データの周波数スペクトルを、周波数を含む音の特性に基づいて分離するため、例えば人の声や背景音を分離することが可能となる。したがって、再生時の状況に適した音声を出力することが可能となる。
また、本実施の形態によれば、人の声を含む部分音声データ(第1部分音声データ)を生成しているため、それよりも高周波数の部分音声データ(第2部分音声データ)に含まれる音は、ヒーリング効果の高い音となる。したがって、このような部分音声データを用いて画像を再生することにより、人の声やその他の雑音を排除した、ヒーリング効果の高い背景音で再生を行うことが可能となる。
また、本実施の形態によれば、複数の画像を所定時間ずつ連続的に表示するスライドショーモードで画像を再生表示する場合、該画像と同期して出力する音声として、人の声を含まない部分音声データを最優先で選択するため、動画が途中で切換るような場合であっても、人の声が途切れて出力させるのを極力回避することができる。
ここまで、本発明を実施するための一形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
例えば、本発明において、送信ファイル作成部が、画像データとその画像データに対応する音声データおよび部分音声データとを含む送信ファイルを作成するようにしてもよい。この場合には、再生装置に、画像に適合した音声または部分音声を判定して出力する機能を具備させればよい。
また、本発明において、送信ファイル作成部が作成した送信ファイルを記録媒体に記録し、この記録媒体を再生装置に差し込んで再生装置側で読み取ることができる構成としてもよい。この場合には、再生装置に記録媒体が記録する情報を読み取る記録媒体インタフェースを設けるとともに、その読み取ったデータに基づいて、再生する画像に適合した音声または部分音声を判定して出力する機能を具備させればよく、撮像装置と再生装置とが通信接続されている必要はない。
また、本発明において、音声データを分離する際に、音の強度の時間変化のパターンに応じて音声データを分離するようにしてもよいし、人の声の声紋の特徴を用いて音声データから人の声を含む部分音声データを分離するようにしてもよい。
1 撮像装置
3 再生装置
11 撮像部
12、32 操作入力部
13 音声入力部
14、33 表示部
15、34 音声出力部
16、31 通信部
17、35 記憶部
18、36 制御部
100 通信システム
171 画像データ記憶部
172 音声データ記憶部
173 プログラム記憶部
181 画像処理部
182 音声処理部
183 送信ファイル作成部
184、363 タイマー
200 周波数スペクトル
201、202 部分周波数スペクトル
361 解釈部
362 再生制御部
3 再生装置
11 撮像部
12、32 操作入力部
13 音声入力部
14、33 表示部
15、34 音声出力部
16、31 通信部
17、35 記憶部
18、36 制御部
100 通信システム
171 画像データ記憶部
172 音声データ記憶部
173 プログラム記憶部
181 画像処理部
182 音声処理部
183 送信ファイル作成部
184、363 タイマー
200 周波数スペクトル
201、202 部分周波数スペクトル
361 解釈部
362 再生制御部
Claims (12)
- 画像を撮像して該画像の電子的なデータを生成する撮像部と、
音声を入力して電気信号に変換する音声入力部と、
前記音声入力部が変換した電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理部と、
前記撮像部が生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける制御部と、
を備えたことを特徴とする撮像装置。 - 前記音の特性は、音の強度を含むことを特徴とする請求項1に記載の撮像装置。
- 前記音の特性は、周波数を含み、
前記音声処理部は、
前記音声データの周波数スペクトルを算出し、前記音の特性に基づいて前記周波数スペクトルを分離することによって得られる部分周波数スペクトルから前記複数の部分音声データを生成することを特徴とする請求項2に記載の撮像装置。 - 前記音声処理部は、
人の声を含む部分音声データを生成可能であることを特徴とする請求項3に記載の撮像装置。 - 前記制御部は、
複数の画像を所定時間ずつ連続的に表示するスライドショーモードで画像を再生表示する場合、該画像と同期して出力する音声として、人の声を含まない部分音声データを最優先で選択することを特徴とする請求項4に記載の撮像装置。 - 前記画像データに対応する画像を表示可能な表示部と、
前記音声データに対応する音声または前記部分音声データに対応する部分音声を出力可能な音声出力部と、
をさらに備え、
前記制御部は、
前記表示部における画像の表示態様に応じた音声または部分音声を選択し、該画像の表示と同期して前記音声出力部に出力させることを特徴とする請求項1〜5のいずれか一項に記載の撮像装置。 - 画像の表示および音声の出力が可能な再生装置とネットワークを介して情報の送受信を行う通信部と、
前記再生装置に出力させる情報として、画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声データを含み、前記通信部を介して前記再生装置へ送信する送信ファイルを作成する送信ファイル作成部と、
をさらに備えたことを特徴とする請求項1〜6のいずれか一項に記載の撮像装置。 - 画像を表示可能な表示部と、
前記表示部が表示する画像に適合する音声を出力可能な音声出力部と、
画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声を含む音声データ、を有するデータ構造の記載内容を解釈する解釈部と、
前記解釈部が解釈した結果に基づいて前記表示部に画像を表示させるとともに前記音声出力部に音声を出力させる再生制御部と、
を備えたことを特徴とする再生装置。 - 請求項7に記載の撮像装置と前記ネットワークを介して通信可能であり、前記データ構造としての前記送信ファイルを前記撮像装置から受信する通信部をさらに備えたことを特徴とする請求項8に記載の再生装置。
- 画像データと、
前記画像データに対応する画像の表示態様を定めるモード情報と、
前記画像を前記表示態様にしたがって表示する際に前記画像と同期して出力する音声を含む音声データと、
を備えたことを特徴とするデータ構造。 - 画像を撮像して該画像の電子的なデータを生成する撮像ステップと、
前記撮像ステップにおける画像の撮像時を含む期間の音声を入力して電気信号に変換する音声入力ステップと、
前記音声入力ステップで変換された電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、
前記撮像ステップで生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、
を有することを特徴とする撮像装置の制御方法。 - 画像を撮像して該画像の電子的なデータを生成するとともに、音声を入力して電気信号に変換する撮像装置に、
前記電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、
前記画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、
を実行させることを特徴とする撮像装置用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011126727A JP2012253692A (ja) | 2011-06-06 | 2011-06-06 | 撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011126727A JP2012253692A (ja) | 2011-06-06 | 2011-06-06 | 撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012253692A true JP2012253692A (ja) | 2012-12-20 |
Family
ID=47526053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011126727A Withdrawn JP2012253692A (ja) | 2011-06-06 | 2011-06-06 | 撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012253692A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018110448A (ja) * | 2018-03-05 | 2018-07-12 | 株式会社ニコン | 撮像装置、画像処理方法および画像処理プログラム |
JP2021068490A (ja) * | 2019-10-25 | 2021-04-30 | 東京瓦斯株式会社 | 音声再生システムおよびプログラム |
-
2011
- 2011-06-06 JP JP2011126727A patent/JP2012253692A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018110448A (ja) * | 2018-03-05 | 2018-07-12 | 株式会社ニコン | 撮像装置、画像処理方法および画像処理プログラム |
JP2021068490A (ja) * | 2019-10-25 | 2021-04-30 | 東京瓦斯株式会社 | 音声再生システムおよびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8396351B2 (en) | Information processing apparatus, information processing method, information processing program and imaging apparatus | |
JP4978324B2 (ja) | 画像記録装置、画像記録システム、画像再生方法 | |
EP1347455A2 (en) | Contents recording/playback apparatus and contents edit method | |
JP2006157893A (ja) | 撮像装置 | |
JP2011010215A (ja) | 撮像装置およびその制御方法 | |
JP2011254400A (ja) | 画像音声記録装置 | |
JP2012253692A (ja) | 撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラム | |
JP2013131871A (ja) | 編集装置、遠隔制御装置、テレビジョン受像機、特定音声信号、編集システム、編集方法、プログラム、および、記録媒体 | |
US10616724B2 (en) | Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device | |
JP4651307B2 (ja) | 照明環境再現装置及び方法、映像再生装置 | |
JP2013183280A (ja) | 情報処理装置、撮像装置、及びプログラム | |
JP2013055440A (ja) | 撮像装置及び画像音声再生装置 | |
EP1998334A2 (en) | Photographing apparatus and method for controlling the same | |
JP2013046125A (ja) | 撮像装置 | |
JP2011130134A (ja) | 撮像装置、撮像システム | |
JP2007266661A (ja) | 撮像装置、情報処理装置、撮像表示システム | |
JP2010200056A (ja) | 記録再生装置 | |
JP6248314B2 (ja) | 撮像装置、撮像画像の処理方法、及び撮像システム | |
JP6398694B2 (ja) | 無線lan機能を備えた携帯機器及び記録システム | |
US20160189747A1 (en) | Imaging apparatus and control method thereof | |
JP2013146025A (ja) | 撮像装置 | |
JP7137287B2 (ja) | 画像処理装置および方法 | |
JP2010141414A (ja) | 撮像再生装置 | |
JP5401930B2 (ja) | 撮像装置 | |
JP6469772B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |