JP2004363719A - 音声付き映像信号再生装置及び方法並びにプログラム - Google Patents

Abstract

【課題】音声とともに記録された連続画像について音と映像を組み合わせた効果的な視聴覚表現を実現し得る音声付き映像信号再生装置及び方法並びにプログラムを提供する。
【解決手段】音声付き動画データから、適当な間隔でフレーム画像（７１〜７４）を取り出し、これらフレーム画像を順に重ねて表示用メモリに書き込むことにより、画像内の動きの激しい部分を残像のように重ねた残像合成画像７６を生成する。このとき、画像と同時に記録媒体に書き込まれている音声データから復号された音声レベルを示すサンプリング信号８１を適当な時間遅らせて、レベルも小さくし、元の信号に加算する。これを適当な回数行うことにより残響が合成された残響合成音声８４を生成する。こうして、生成された残像合成画像を残響合成音声とともに再生する。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は音声付き映像信号再生装置及び方法並びにプログラムに係り、特にデジタルカメラ、デジタルムービーカメラ、或いは映像再生機能をコンピュータに実現させるためのアプリケーションソフトウェア（プログラム）などに適用される信号処理技術に関する。
【０００２】
【従来の技術】
特許文献１に示された特殊効果装置は、圧縮情報信号を伸張する際の伸張動作に変更を加えて特殊効果を付与した信号を出力する復号化手段を備えている。この装置では、復号化を制御する方法の一つとして、オーディオ信号のレベルに応じて画像の拡大縮小を行っている。すなわち、特許文献１に開示された発明は、復号化に際して伸張信号に細工を施し、人間の感性に快い映像と音声をリアルタイムで作り出すことを主眼としている。
【０００３】
特許文献２は、カメラ一体型ＶＴＲ等の磁気記録再生装置において、映像信号をセピア色に変換する特殊効果（セピア効果）の処理に合わせて音声信号の周波数特性を変化させるとともに、ランダムノイズを付加することで回顧調の特殊効果の雰囲気を強調する方法が提案されている。
【０００４】
【特許文献１】
特開平７−２８８７４１号公報
【０００５】
【特許文献２】
特開平７−１３１７５３号公報
【０００６】
【発明が解決しようとする課題】
近時、民生用のデジタルカメラにおいて毎秒数コマの画像を連写できるようになってきた。さらには、テレビジョン並みの毎秒３０コマの動画撮影もできるようになっている。この種のカメラで撮影された複数コマの画像を合成し、ストロボモーション撮影のように、動きの激しい部分の軌跡を残像のように重ねて表示することが可能である。
【０００７】
その一方、上記のような動画撮影時に映像と同時に音声を記録するように構成されたデジタルカメラも知られている。しかしながら、音声情報が付加された画像情報から残像処理によって合成画像を得る場合における音声情報の活用については考慮されていない。
【０００８】
本発明はこのような事情に鑑みてなされたもので、音声とともに記録された連続画像について音と映像を組み合わせた効果的な視聴覚表現を実現し得る音声付き映像信号再生装置及び方法並びにプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記目的を達成するために本発明に係る音声付き映像信号再生装置は、連続撮影によって取得された複数の画像を重ね合わせて残像が合成された画像を生成する残像処理手段と、前記連続撮影時に画像とともに記録された音声信号の一部を利用して残響が合成された音声信号を生成する残響処理手段と、前記残像処理手段により生成された残像合成画像を表示する表示手段と、前記残響処理手段により生成された残響合成音声を出力する音声出力手段と、前記表示手段に前記残響合成画像を表示させると同時に前記音声出力手段から前記残響合成音声を出力させる再生制御手段と、を備えたことを特徴とする。
【００１０】
本発明の音声付き映像信号再生装置は、デジタルカメラやビデオカメラに代表される電子撮像装置（電子カメラ）によって記録された動画、或いは連写モードによって記録された一連の静止画群などから取り出した複数の画像を重ね合わせ、画像内の動く部分（動被写体部分）を残像として描出した合成画像（静止画又は動画、若しくはその両方）を生成する。また、本発明の音声付き映像信号再生装置は、画像とともに記録されている音声信号の一部を利用して残響信号を作り出し、元の音声信号に加算して残響合成音声を生成する。この残響処理においては、信号レベルの増減、遅延時間の調整、加算回数などの処理パラメータが適宜選択される。こうして、残像合成画像に合った残響合成音声を同時に再生することにより、視覚的効果と聴覚的効果の相乗作用による魅力的な表現が可能となる。
【００１１】
本発明の一態様に係る音声付き映像信号再生装置は、上記構成に加えて、前記連続撮影時に記録された音声信号の中から閾値を超えるレベルの音声部分を自動的に抽出する音声レベル検出手段を有し、前記残響処理手段は、前記音声レベル検出手段により抽出した音声信号を用いて残響合成音声を生成することを特徴とする。
【００１２】
この場合、音声レベルの判定基準となる閾値は、予め固定値として設定されていてもよいし、ユーザが所定のユーザインターフェイスを通じて変更可能に設定できるように閾値設定手段を備えていてもよい。
【００１３】
また、本発明の他の態様に係る音声付き映像信号再生方法は、連続撮影によって取得された複数の画像を重ね合わせて残像が合成された画像を生成する残像処理工程と、前記連続撮影時に画像とともに記録された音声信号の一部を利用して残響が合成された音声信号を生成する残響処理工程と、前記残像処理工程で生成された残像合成画像を表示すると同時に前記残響処理工程で生成された残響合成音声を出力する再生出力工程と、を含むことを特徴とする。
【００１４】
本発明のさらに他の態様は本発明の音声付き映像信号再生機能をコンピュータに実現させるためのプログラムを提供する。すなわち、本発明に係るプログラムは、連続撮影によって取得された複数の画像を重ね合わせて残像が合成された映像を生成する残像処理機能と、前記連続撮影時に画像とともに記録された音声の一部を利用して残響が合成された音声を生成する残響処理機能と、前記残像処理機能により生成された残像合成画像をディスプレイに表示させると同時に、前記残響処理機能により生成された残響合成音声をスピーカから出力させる再生制御機能と、をコンピュータに実現させることを特徴とする。
【００１５】
本発明に係るプログラムは、単独のアプリケーションソフトウエアとして構成されてもよいし、画像加工ソフトやファイル管理用ソフトなどのアプリケーションの一部として組み込まれてもよい。
【００１６】
本発明に係るプログラムは、インターネットなどの通信回線を利用したダウンロードサービスを通じて利用者に提供され得る。また、本発明に係るプログラムをＣＤ−ＲＯＭその他の記録媒体に記録し、記録媒体を通じて当該プログラムを配布することも可能である。
【００１７】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。ここでは、本発明に係る音声付き映像信号再生装置をコンピュータによって実現する例を述べる。
【００１８】
図１は本発明の実施形態に係る画像再生用プログラムが組み込まれたパーソナル・コンピュータ（以下、「パソコン」という。）のハードウェア構成例を示すブロック図である。図示のように、パソコン１０は、本体１２内部にＣＰＵ１４、メインメモリ１６、バスコントローラ１８、ＩＤＥインターフェイス（Ｉ／Ｆ）部２０、キーボードＩ／Ｆ部２２、プリンタＩ／Ｆ部２４、シリアル入出力Ｉ／Ｆ部２６、マウスＩ／Ｆ部２８、赤外線通信（ＩｒＤＡ）Ｉ／Ｆ部３０、メモリカードＩ／Ｆ部３２、アナログボリューム／ミキサ回路３４、ビデオアクセラレータ３６を備えており、これら各回路ブロックはバス３８に接続されている。
【００１９】
ＩＤＥＩ／Ｆ部２０には、ハードディスクドライブ（ＨＤＤ）４０、ＣＤ−ＲＯＭドライブ４２、フロッピーディスクドライブ（ＦＤＤ）４４などの記憶装置が接続される。ＨＤＤ４０には、オペレーティングシステム（ＯＳ）や各種のアプリケーションソフト、ユーザが記録した画像ファイル等が格納される。本発明による画像再生用プログラムは、該ＨＤＤ４０に格納されており、必要に応じてメインメモリ１６に展開される。
【００２０】
キーボードＩ／Ｆ部２２は、キーボード４６の操作に伴う指示信号の入力を受け付ける。同様に、マウスＩ／Ｆ部２８は、マウス４８からの指示信号の入力を受け付ける。
【００２１】
メモリカードＩ／Ｆ部３２は、例えば、ＰＣＭＣＩＡ規格のＰＣカードに適合したインターフフェイスであり、カードスロット５０に装着されるメモリカード５２の読み書き制御を行う。
【００２２】
アナログボリューム／ミキサ回路３４は、音声信号の変換処理を行う回路であり、デジタル音声信号をアナログの音声信号に変換する。アナログボリューム／ミキサ回路３４で生成された音声信号はスピーカ５４に供給され、スピーカ５４から音声として出力される。
【００２３】
ビデオアクセラレータ３６は、描画処理を行う信号処理部であり、表示用メモリを備えている。ビデオアクセラレータ３６において生成された描画信号はＤ／Ａ変換器５６によりアナログ信号に変換された後、アナログスイッチ回路５８を介してＣＲＴディスプレイ６０に出力される。なお、表示手段は、ＣＲＴディスプレイ６０に限らず、液晶ディスプレイその他の表示装置を用いてもよい。
【００２４】
パソコン１０の本体１２内にはスイッチング電源回路６２が搭載されており、電源プラグ６４を介して外部電源から供給される電力は、該スイッチング電源回路６２において所定の電圧に変換された後、各回路ブロックに供給される。
【００２５】
ＣＰＵ１４は、制御部及び演算装置として機能し、パソコン１０の各回路を統括制御する。なお、図１中符号６６はＣＰＵ１４に対してクロック信号を供給するクロック発生器である。メインメモリ１６は、データの一時記憶やＣＰＵ１４によるプログラム実行時の作業用領域として利用される。
【００２６】
次に、本発明の実施形態に係る画像再生用プログラムについて説明する。
【００２７】
図２は、本発明により実現される音声付き映像信号の再生方法の概要を示した図である。
【００２８】
再生対象となる動画（又は連写により取得された一連の静止画）は、予めデジタルカメラ等によって撮影され、ＨＤＤ４０やメモリカード５２或いは不図示のＣＤ−ＲＯＭ等の記録媒体に格納されているものとする。
【００２９】
連続撮影された複数の画像７１〜７４は記録媒体から読み出され、時系列順に順次重ね合わせて表示用メモリに書き込まれる。すると、画像内の動きの激しい部分のみが画面内において異なる位置に飛び飛びで現れ、ストロボモーション撮影のような残像が合成された映像（残像合成画像）７６が得られる。
【００３０】
残像合成画像７６は、一枚の静止画像でもよいし、残像が次第に重ね合わされていく様子を表した短時間の動画であってもよい。
【００３１】
例えば、再生対象のファイルが毎秒３０コマの動画であれば、全フレームの中から対象とするフレーム範囲を切り出し、その中から適当な時間間隔でフレーム間引きを行いながら、複数のコマを抽出し、表示用メモリに書き込む。
【００３２】
このとき、画像と同時に記録媒体に書き込まれている音声データを再生するが、音声データの再生にあたり、時系列的に読み出され復号された音声レベルを示すサンプリング信号８１を適当な時間遅らせて、さらにレベルも小さくして元の信号に加算する。それを適当な回数行うことにより、残響が合成された音声（残響合成音声）８４を得る。図２では、元の音声が次第に減衰しながらエコーのような効果によって繰り返し出力される様子が示されている。
【００３３】
図３は本例の画像再生用プログラムの動作手順を示すフローチャートであり、図４はＧＵＩ画面の例を示す図である。
【００３４】
図３に示したように、まず、画像データの格納場所（フォルダ）を指定してフォルダ内の画像を一覧表示させ、この画像一覧の中から所望の動画ファイルを選択する操作を行う（ステップＳ１１０）。
【００３５】
動画ファイルは、例えば、モーションＪＰＥＧ形式によって記録されている。モーションＪＰＥＧ形式では、動画を構成する各フレームの画像が１画像内でＪＰＥＧ圧縮されており、画像データとそれに対応する音声データとが巡回式にインターリーブされて連続的に記録されている。したがって、動画内から特定のコマや音声を抽出する処理の制御が比較的容易である。もちろん、動画のファイル形式はモーションＪＰＥＧに限定されず、ＭＰＥＧなど他のファイル形式を適用してもよい。
【００３６】
その後メニューから「残像処理」のコマンドを選択する操作を行うと（ステップＳ１１２）、図３のような残像処理ウインドウ２００が表示される。
【００３７】
図３によれば、残像処理ウインドウ２００は、指定された動画ファイル内から抽出された複数のフレームの縮小画像２０２を時系列に沿って並べて表示する画像表示エリア２１０と、音声信号の波形２１２を表示する音声波形表示エリア２２０と、画像の間引き間隔を指定する入力ボックス２３２と、画像の取り込み時間を指定する入力ボックス２３４と、音声記憶時間の指定を行うチェックボックス２３６及び入力ボックス２３８と、音声再生ボタン２４０と、残像処理の実行を指令する実行ボタン２４２と、ウインドウを閉じるための終了ボタン２４４とを備えている。
【００３８】
「画像の間引き間隔」とは、選択された動画の指定部分（ある時間範囲内）からフレーム画像を抽出する際の間隔を意味している。例えば、間引き間隔を「１０フレーム」に指定すると、１０フレームおきに１つのフレームが抽出される。「画像の取り込み時間」は、動画の先頭から末尾までの全体の中から残像処理に使用する範囲を決めるものである。本例では、動画の先頭からの時間によってその範囲を指定する。「音声記憶時間」は、残響信号の生成に用いる音声信号を切り出すときの時間長を決めるものである。
【００３９】
ユーザは図１で説明したキーボード４６やマウス４８を利用して、図４の残像処理ウインドウ２００上の入力ボックス２３２、２３４、２３８に所望の数値を入力することができる。なお、各入力ボックス２３２、２３４、２３８右横の選択肢ボタン２５２、２５４、２５８をクリックすると選択肢の一覧が表示されるので、その一覧の中から目的の項目をクリックすることによってそれぞれの入力ボックス２３２、２３４、２３８への情報の入力が可能である。
【００４０】
図４の残像処理ウインドウ２００上で画像の間引き間隔の設定（図３のステップＳ１１４）、並びに画像の取り込み時間の設定（ステップＳ１１６）を行うと、これら設定に従って動画中の指定範囲から指定の間引き間隔でフレーム画像が抽出され、各フレームの縮小画像２０２が画像表示エリア２１０に表示される（図４参照）。
【００４１】
次いで、ユーザは音声記憶時間の設定を行う（図３のステップＳ１１８）。図４に示した音声記憶時間の設定欄で「自動」のチェックボックス２３６を選択すると、取り込み対象範囲内の音声情報の中から残響処理に使用される音声部分が自動的に切り出される。
【００４２】
このとき、図４のように、音声波形表示エリア２２０において音声検出用の閾値を指定するためのスライダ２６０を図４上で上下方向に動かすことにより、音声検出レベルを任意に設定できる。
【００４３】
音声検出レベル（閾値）の設定が行われると（図３のステップＳ１２０）、この設定された閾値に基づいて音声情報の信号レベルが判定され、最初に閾値を超える大きな音がしたところを含む所定の時間範囲（図４の囲み枠線２６２で示した範囲）が残響処理用の音声部分として自動的に抽出される。
【００４４】
また、上記の自動検出に代えて、図４に示した「設定」のチェックボックス２３６にチェックを入れると、音声全体の中から任意の音声範囲を指定することができる。例えば、音声再生ボタン２４０をクリックすると、波形２１２の表示とともに音声信号のみが再生され、その波形２１２上で囲み枠線２６２を移動させることにより所望の範囲を指定できるようになっている。或いは、所望のコマ画像を選択することで、そのコマに対応する音声部分を指定するようなユーザインターフェイスも可能である。
【００４５】
上記の各種設定を行った後に、実行ボタン２４２をクリックすると、残像合成画像を生成する処理及び残響合成音声を生成する処理が実行される（図３のステップＳ１２２）。
【００４６】
そして、生成された処理結果の映像と音声が同時に再生される（ステップＳ１２４）。ユーザは、得られた結果の良否を判断し（ステップＳ１２６）、意図する結果が得られていなければ、ステップＳ１１４に戻って、各種の設定をやり直す。
【００４７】
その一方、ステップＳ１２６において、意図する結果が得られた場合には、生成された残像合成画像及び残響合成音声を適宜の保存場所に記録した後、終了ボタン２４４をクリックして処理を終了させる。
【００４８】
残響合成音声のデータと残像合成画像のデータは、一つの同じ電子ファイル内に記録されてもよいし、それぞれ別々のファイルとして記録されてもよい。ただし、別ファイルで記録する場合については、再生時に残像合成画像の表示と同時に残響合成音声の出力を行うことができるように、ヘッダーの情報（タグ情報など）を利用して両者を関連付けて記録する。
【００４９】
上述したように、本実施形態によれば、ユーザが意図する視聴覚表現を容易に行うことができる。なお、本発明の実施に際しては、上記した実施形態に限定されず、様々な変形が可能である。
【００５０】
〔変形例１〕残響音を合成する音声処理部についてデジタル信号処理を用いる態様の他、遅延回路とアッテネータと加算回路を用いるなどアナログ的な信号処理手段を用いてもよい。
【００５１】
〔変形例２〕図２では、切り出した音声部分のレベルを低減させながら、遅延加算していく例を述べたが、このようなエコー処理に限らず、音声レベルを次第に大きくしたり、或いはレベルの増減を組み合わせたりする態様も可能である。
【００５２】
〔変形例３〕残響処理に使用する音声部分の切り出し方法について、デフォルトは、先頭から所定時間（例えば、先頭から２秒）を切り出すように設定され、ユーザが所定の操作を行うことによって、音声全体の中から任意の期間を切り出すことができるように構成してもよい。
【００５３】
また、残像処理のために抽出されたコマの画像に対応する音声データの中から最も信号レベルの高いものを自動的に抽出し、これを残響処理に使用する態様も可能である。
【００５４】
〔変形例４〕残像処理によって、画像内で動く部分が時間とともに順次移動しながらその残像が順次追加されていく映像を作り出す場合には、映像上で新たな残像が追加されるタイミングで音声の出力が行われる態様が好ましい。この場合、追加されるコマに対応する音声を順に加算してもよい。
【００５５】
〔変形例５〕残像処理の編集時において編集画面上で残像が順次追加されていくような動画映像を表示し、編集終了後、合成処理で得られた最終画像を静止画として記録する態様も可能である。また、編集時と同様の短時間動画を記録するモードと、最終画像（静止画）を記録するモードとを選択可能に構成する態様も好ましい。
【００５６】
〔変形例６〕ＭＰＥＧ形式の動画は、フレーム内符号化によって圧縮されたＩピクチャ（フレーム内符号化画像）、過去のフレームから予測したデータとの差分をエンコードしたＰピクチャ（フレーム間順方向予測符号化画像）、過去， 未来両方のフレームから予測したデータとの差分をエンコードしたＢピクチャ（双方向予測符号化画像）によって構成されているため、残像処理に使用するコマを抽出する際にはＩピクチャの画像を取り出すことが好ましい。また、ＭＰＥＧ形式で記録されている音声は、一旦音声全体を復元してから残響処理用の切り出し処理を行う。
【００５７】
〔変形例７〕残像処理によって生成される画像に応じて残響処理の処理パラメータを自動的に制御してもよい。例えば、▲１▼残像処理に用いる画像の枚数が少ない場合には、エコー処理の加算回数を少なく設定して残響音を短くするという具合に、重ね合わせる画像の枚数に応じて残響信号の加算回数を制御する。▲２▼画像の取り込み時間が長いほど音声の切り出し時間も長く設定するという具合に、画像の取り込み時間に応じて音声の切り出し時間を制御する。▲３▼画像の間引き間隔が大きいほど残響信号の遅延時間を長くするという具合に、画像間の時間間隔に応じて残響信号の遅延時間を制御する。
【００５８】
〔変形例８〕また、上記した実施形態ではパソコン１０を例示したが、本発明の適用範囲はこれに限定されず、本発明に係る音声付き映像信号再生装置をデジタルカメラやビデオカメラなどの電子カメラに搭載することも可能である。
【００５９】
【発明の効果】
以上説明したように本発明によれば、音声付きの映像信号から残像処理によって残像合成画像を生成するとともに、残響処理によって残響合成音声を生成し、残像合成画像と同時に残響合成音声を再生するようにしたので、ユーザが意図する効果的な視聴覚表現が可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像再生用プログラムが組み込まれたパソコンのハードウェア構成例を示すブロック図
【図２】本発明により実現される音声付き映像信号の再生方法の概要を示した図
【図３】本例の画像再生用プログラムの動作手順を示すフローチャート
【図４】本例の画像再生用プログラムによって実現されるＧＵＩ画面の例を示す図
【符号の説明】
１０…パソコン、１２…本体、１４…ＣＰＵ、１６…メインメモリ、３４…アナログボリューム／ミキサ回路、３６…ビデオアクセラレータ、５４…スピーカ

Claims (4)

1. 連続撮影によって取得された複数の画像を重ね合わせて残像が合成された画像を生成する残像処理手段と、
   前記連続撮影時に画像とともに記録された音声信号の一部を利用して残響が合成された音声信号を生成する残響処理手段と、
   前記残像処理手段により生成された残像合成画像を表示する表示手段と、
   前記残響処理手段により生成された残響合成音声を出力する音声出力手段と、前記表示手段に前記残響合成画像を表示させると同時に前記音声出力手段から前記残響合成音声を出力させる再生制御手段と、
   を備えたことを特徴とする音声付き映像信号再生装置。
2. 前記連続撮影時に記録された音声信号の中から閾値を超えるレベルの音声部分を自動的に抽出する音声レベル検出手段を有し、
   前記残響処理手段は、前記音声レベル検出手段により抽出した音声信号を用いて残響合成音声を生成することを特徴とする請求項１記載の音声付き映像信号再生装置。
3. 連続撮影によって取得された複数の画像を重ね合わせて残像が合成された画像を生成する残像処理工程と、
   前記連続撮影時に画像とともに記録された音声信号の一部を利用して残響が合成された音声信号を生成する残響処理工程と、
   前記残像処理工程で生成された残像合成画像を表示すると同時に前記残響処理工程で生成された残響合成音声を出力する再生出力工程と、
   を含むことを特徴とする音声付き映像信号再生方法。
4. 連続撮影によって取得された複数の画像を重ね合わせて残像が合成された画像を生成する残像処理機能と、
   前記連続撮影時に画像とともに記録された音声信号の一部を利用して残響が合成された音声信号を生成する残響処理機能と、
   前記残像処理機能により生成された残像合成画像をディスプレイに表示させると同時に前記残響処理機能により生成された残響合成音声をスピーカから出力させる再生制御機能と、
   をコンピュータに実現させるためのプログラム。

Images