JP2005260391A - 動画像表示装置、動画像表示方法、動画像表示プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明は、動画像中の音の情報に基づいて、意味的なシーン区間の編集用タイムポイントをフレーム精度で取得する作業を、従来技術よりも簡単な編集操作で効率的に実行できるようにする新たな動画像表示技術の提供を目的とする。
【解決手段】動画像中の音声レベルを時間軸に沿って波形表示し、時間軸上の動画像再生時間に対応する位置に現在再生位置を示すマークを表示し、更には、そのマーク位置は固定表示し、動画像の再生速度に合わせて音声波形を移動表示させることで、動画像の再生を行いながら、再生位置の音声レベル、及び再生位置の前後の一定時間内の音声レベルも含めて一覧表示する。これにより、編集作業者は、音声を耳で聞きとりながら、再生、コマ送り、コマ戻し等の操作を駆使して編集用のタイムポイントを探し出す必要はなくなり、従来技術よりも短時間で編集用タイムポイントを探し出すことができるようになる。
【選択図】図２

Description

本発明はテレビ番組映像やビデオ番組などの動画像制作で用いられて、動画像中の編集用のタイムポイントを簡単にフレーム精度で探し出すことを可能にする動画像表示装置及びその方法と、その動画像表示方法の実現に用いられる動画像表示プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

初期のディジタル動画像コンテンツの検索閲覧編集では、ハードディスクに蓄積されたディジタル動画像データをハードディスクのランダムアクセス機能を用いて早送りや巻き戻しにより編集用タイムポイントを指定して編集作業を行っていたが、長時間の動画像データを編集する場合には多大な時間を要していた。

このようなことを背景にして、下記の特許文献１や特許文献２に記載される装置では、画像解析技術を利用して自動抽出されるショット区間、テロップ出現区間、音声区間、ＢＧＭ区間といった動画像中のシーン内容に関わる情報を使って、動画像中から複数の静止画像を抽出して、それらの静止画像を動画像の時間軸に沿って編集作業者の操作画面に一覧表示することで、編集作業者が動画像内容を確認し、編集用タイムポイントを指定するまでの時間を大幅に短縮できるようにしている。

また、下記の特許文献３や特許文献４に記載される装置では、このような静止画像の一覧表示に加え、動画像中の音声波形データも合わせて動画像の時間軸に沿って編集作業者の操作画面に表示することで、画像内容だけでなく、音声の有無も動画像を再生させることなく簡単に把握できるようにしている。これにより、より一層動画像中の所望のシーンが探し易くなり、編集用のタイムポイントを指定するまでの時間短縮を実現している。
特開平１０−０６６００８号公報 特開２００２−２８１４３３ 特許第３１５８２９１号 特開平１０−２００８５５号公報

一般に、動画像制作の動画像編集作業においては、動画像中の音の有無や音のレベルに基づいて編集用のタイムポイントの設定が行われることが多い。

例えば、ニュース番組中から各ニューストピックの部分映像を切り出す場合、各ニューストピックでアナウンサーの発話が開始される１、２秒程度前の時間を切り出し区間の開始ポイントとして設定されることが多い。

また、ドラマや映画のクライマックスシーンを編集する際も、演技者のセリフが始まる少し前の時間に編集用タイムポイントを設定することが多い。あるいは、絶叫シーンなどを切り出す際は、音レベルが高い時間を編集用タイムポイントとして選択することが多い。

しかしながら、従来技術では、動画像中の音の有無や音のレベルに基づいて編集用のタイムポイントを設定する場合に、作業効率の面で問題がある。

すなわち、特許文献１や特許文献２に記載される従来技術では、動画像データから音声区間を自動抽出し、それを使って動画像中から静止画像を抽出して、それらの静止画像を動画像の時間軸に沿って編集作業者の操作画面に一覧表示するようにしている。

しかるに、動画像データから音声区間を自動抽出する場合、音声発生中の途中の時間が誤って抽出されることや、逆に抽出漏れのあることが避けられない。

これから、特許文献１や特許文献２に記載される従来技術に従っていると、編集作業者は、一覧表示される静止画像の中から静止画像を選択するだけでは、フレーム精度で編集用のタイムポイントを指定することはできない。したがって、編集作業者は、フレーム精度で編集用のタイムポイントを指定したい場合には、音声開始時刻のある程度近傍の時間を指定し、その時間から動画像を再生し、実際の音声を耳で聞きとった上で、再生、コマ送り、コマ戻し等の操作を繰り返し駆使して相応の時間をかけて編集用のタイムポイントを指定しなければならないという問題がある。

一方、特許文献３や特許文献４に記載される従来技術では、音声波形データが時間軸に沿って表示されるため、音声の有無や音声レベルが直感的に分かりやすい表示になってはいるものの、静止画像に対応付けて音声波形を表示するようにしていることから、動画像の内容と音声波形との対応関係については表現されていない。

これから、編集作業者は、その静止画像の近傍の音声波形はこのようであるということについては分かるものの、音声波形中のどの位置が動画像中の編集したい場面と対応しているのかについてはすぐには分からない。

したがって、特許文献１や特許文献２に記載される従来技術と同様に、フレーム精度で動画像内容と音声を確認し、編集用タイムポイントを見つけるためには、やはり、動画像を再生し、再生中の音声を耳で聞きとりながら、再生、コマ送り、コマ戻し等の操作を繰り返し駆使して相応の時間をかける必要があるという問題がある。

本発明はかかる事情に鑑みてなされたものであって、動画像中の音の情報に基づいて、意味的なシーン区間の編集用タイムポイントをフレーム精度で取得する作業を、従来技術よりも簡単な編集操作で効率的に実行できるようにする新たな動画像表示技術の提供を目的とする。

この目的を達成するために、本発明の動画像表示装置は、（１）音声を含む動画像を蓄積する動画像蓄積部と、（２）動画像蓄積部に蓄積される動画像中の任意のフレーム画像を先頭として、その動画像内容を表示する動画像表示部と、（３）動画像蓄積部に蓄積される動画像中の音声レベル情報を時間軸に沿って波形表示する音声波形表示部と、（４）音声波形表示の時間軸上における現在表示中のフレーム画像に対応する時間位置に、予め決められたマークを音声波形表示に重量して表示するマーク表示部と、（５）マーク表示部の表示するマークを音声波形表示上の決められた位置に固定表示し、音声波形表示部の表示する音声波形を映像再生速度に合わせて移動表示させる音声波形表示制御部とを備えるように構成する。

この構成を採るときにあって、動画像表示部は、動画像中の任意の時間位置を設定可能とする対話手段（例えば、ランダムアクセスバーのような対話手段）を表示して、その対話手段により設定される時間位置の指すフレーム画像を再生の開始点にして、その動画像内容を表示するように処理することがある。

また、動画像蓄積部に蓄積される動画像の中から抽出される複数のフレーム画像の一覧を表示する静止画像表示部を備えることがあり、この場合には、動画像表示部は、その一覧の中から選択されるフレーム画像を再生の開始点にして、その動画像内容を表示するように処理する。

以上の各処理手段が動作することで実現される本発明の動画像表示方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の動画像表示装置では、動画像中の音声レベルを時間軸に沿って波形表示し、時間軸上の動画像再生時間に対応する位置に現在再生位置を示すマークを表示し、更には、そのマーク位置は固定表示し、動画像の再生速度に合わせて音声波形を移動表示させることで、動画像の再生を行いながら、再生位置の音声レベル、及び再生位置の前後の一定時間内の音声レベルも含めて一覧表示することができる。

これにより、本発明によれば、動画像の編集作業者は、動画像中の音声情報に着目して、編集用タイムポイントをフレーム精度で設定する際、最初に、動画像中のカット点や音声開始点等の時間を指定することで、動画像中の音声区間付近から動画像を再生させる。そして、これと同時に、動画像の再生速度に合わせて、音声波形の移動表示、及び現在再生位置を示すマークを確認することで、動画像の再生位置を含む時間的に一定範囲内の音声の有無や音声レベルの状況を動画像再生を確認しながら時々刻々把握することが可能となる。これから、例えば、動画像中の登場人物の発話等がいつ始まるのかが発話開始付近を先頭に１回の再生操作を行うだけで、音声波形表示を視覚的に確認することにより直感的に把握することができる。

このことから、本発明によれば、従来技術のように音声を耳で聞きとりながら、再生、コマ送り、コマ戻し等の操作を駆使して相応の時間をかけて編集用のタイムポイントを探し出す必要はなくなり、従来技術よりも短時間に少ない操作数で編集用タイムポイントを探し出すことができるため、従来技術の解決すべき課題が解決できるようになる。

以上の説明の通り、本発明によれば、動画像の編集作業において、編集タイムポイントとして指定したいシーンを音声情報に着目して探す際に、再生中の動画像時刻の前後の一定範囲内の音声レベル状況を耳で音を直接聞かずとも直感的に把握できるため、従来技術に比べて短時間に効率的に編集用のタイムポイントを取得することが可能となり、動画像の編集作業の短縮化が実現できるという効果をもたらす。

以下、実施の形態に従って本発明を詳細に説明する。

図１に、本発明を具備する動画像表示装置１の装置構成の一実施形態例を図示する。

この図に示すように、本発明の動画像表示装置１は、動画像蓄積部１１と、動画像表示部１２と、音声波形表示部１３と、マーク表示部１４と、音声波形表示制御部１５とを備える。

（１）動画像蓄積部１１の構成
動画像蓄積部１１は、音声を含む動画像を蓄積するものである。具体的には、コンピュータのハードディスク等のディジタルデータの蓄積装置により実現可能である。ディジタル動画像ファイルをコンピュータ上のハードディスクに格納することで、この動画像蓄積部１１は実施可能である。

（２）動画像表示部１２の構成
動画像表示部１２は、動画像蓄積部１１に蓄積される動画像中の任意のフレーム画像を先頭として、予め指定した方法により動画像内容を表示するものであり、動画像データとコンピュータ上のソフトウェアとを用いることで実現可能である。

図２に、動画像表示部１２による具体的な表示例を図示する。

図２中に示す２１はピクチャ表示エリアであり、動画像中の指定されたフレーム画像を表示するエリアである。２２は音声波形表示エリア（詳細については後述する）であり、動画像中の音声レベルを波形で表現し、表示するエリアである。２３はランダムアクセスバーであり、バーの長さが動画像中の時間長に対応するものであり、このランダムアクセスバー２３を使用するユーザは、バーの任意の位置を選択することができる。

上述したように、動画像表示部１２は、予め指定した方法により動画像内容を表示することになるが、その予め指定した方法の一例としては、ランダムアクセスバー２３のバー上の位置選択が挙げられる。動画像表示部１２は、ランダムアクセスバー２３において選択された位置に対応する動画像中のフレーム画像を、その選択後に瞬時にピクチャ表示エリア２１に表示することができる。

ここで、動画像のランダムアクセス再生については、一般的なディジタル動画像とコンピュータ上のソフトウェアで実現できる。例えば、ＭＰＥＧ等、動画像中の任意の時間位置のデータがすぐに取得できる構造を持つディジタル形式の動画像データと、Ｍicrosoft社のＭedia Ｐlayer といったコンピュータ上の専用の映像再生用のソフトウェアとを用いることで可能である。また、ランダムアクセスバー２３の位置選択については、マウス操作等で実現することが可能である。

（３）音声波形表示部１３の構成
音声波形表示部１３は、動画像蓄積部１１に蓄積される動画像中の音声レベル情報を時間軸に沿って波形表示するものであり、動画像データとコンピュータ上のソフトウェアとを用いることで実現可能である。

図３に、音声波形表示部１３による具体的な表示例を図示する。この図３は、図２中の音声波形表示エリア２２を拡大表示したものである。

図３中に示す３１は音声波形表示描画エリアであり、動画像中の時間経過を横方向の情報、音声レベル値を縦方向の情報としてプロットすることで、全体を波形として表現しているものである。レベル値の具体例としては、音のボリュームレベル値や、音が存在する場合に１、存在しない場合に０となる音の有無を示す値や、音のボリュームレベル値の時間微分値などが使われる。

図３中に示す３２は音声波形表示描画エリア３１に表示される表示マーク（後述するマーク表示部１４により表示される）であり、動画像表示部１２で表示される再生中のフレーム画像の時間に対応する位置に描画されることになる。

ここで、音声レベル値の取得については、動画像データ中の任意時刻の音声レベル値を取得する機能を持つＭicrosoft社のＤirect Ｘライブラリ等のコンピュータ上のソフトウェアを利用することで実現可能である。また、音声波形の描画処理についても、同じくＭicrosoft社のＤirect Ｘライブラリ等のコンピュータ上のソフトウェアを利用することで実現可能である。

（４）マーク表示部１４の構成
マーク表示部１４は、動画像表示部１２で表示されるフレーム画像の時間に対応する音声波形表示描画エリア３１の時間軸上の位置に、予め決められたマーク（上述の表示マーク３２）を音声波形表示に重量して表示するものであり、コンピュータ上のソフトウェアを用いることで実現可能である。

なお、図３では、表示マーク３２として、例えば赤色のような規定の色で表される縦線をマークとして表現したものを示しているが、これはあくまで一例である。

上述したように、図３では、横方向を動画像中の時間経過にみたてたものであり、表示マーク３２は動画像中の再生中のフレーム画像の時間に対応する位置に表示するわけであるが、動画像中の再生中のフレーム画像の時間情報については、Ｍicrosoft社のＤirect Ｘライブラリ等のコンピュータ上のソフトウェアを利用することで取得可能である。また、マークの描画処理についても、同じくＭicrosoft社のＤirect Ｘライブラリ等のコンピュータ上のソフトウェアを利用することで実現可能である。

（５）音声波形表示制御部１５の構成
音声波形表示制御部１５は、表示マーク３２を表示画面上の決められた位置に固定表示するとともに、音声波形表示部１３の表示する音声波形を映像再生速度に合わせて移動表示させるものであり、コンピュータ上のソフトウェアを用いることで実現可能である。

音声波形表示制御部１５は、映像の再生速度に合わせて音声波形を移動表示させることになるが、映像が停止されている場合には、音声波形も停止表示させることになる。

図４に、音声波形表示制御部１５の動作フローの一例を示す。

この図に示すように、音声波形表示制御部１５の動作フローは、ステップ４１〜ステップ４６の処理で構成されている。

ステップ４１は、予め設定されたマーク表示位置の情報をマーク表示部１４に渡すステップである。

マーク表示位置の設定方法の一例としては、図２や図３に示したように、例えば、音声波形表示エリア２２（音声波形表示描画エリア３１）の横方向の中心位置に設定することなどがある。このようにすると、マーク表示位置から時間的に前後に同じ時間範囲にある音声波形の様子を一覧することが可能となる。

ステップ４２は、動画像表示部１２で再生表示中のフレーム画像の時間情報Ｔ１を取得するステップである。

Ｔ１については、上述したように、Ｍicrosoft社のＤirect Ｘライブラリ等のソフトウェアを用いることで取得することができる。

ステップ４３は、動画像中のＴ１を含む予め決められた時間範囲Ｔ２〜Ｔ３における音声レベル情報を取得するステップである。

時間範囲Ｔ２〜Ｔ３における開始時間Ｔ２と終了時刻Ｔ３の決め方の一例としては、例えば、Ｔ１を中心として時間的に前後に同一時間だけ遡った時間及び後の時間を設定することなどが考えられる。このステップ４３では、Ｔ２〜Ｔ３の時間範囲内で、予め決められた等間隔サンプリングにより得られる各時間における音声レベル情報を取得する。動画像中の任意の時間における音声レベル情報については、Ｍicrosoft社のＤirect Ｘライブラリ等のソフトウェアを用いることで取得することができる。

ステップ４４は、Ｔ２〜Ｔ３の時間範囲を横軸、Ｔ２〜Ｔ３における音声レベル値を縦軸にプロットした波形を作成するステップである。

すなわち、このステップ４４では、Ｔ２〜Ｔ３の間のサンプリング時間と、その時間におけるステップ４３で求めた音声レベル情報の中の音声レベルのパワー値とをプロットした波形図形を作成することになる。

ステップ４５は、ステップ４４で作成した波形図形を音声波形表示部１３に渡すステップである。

ステップ４６は、音声波形表示制御部１５への終了指示が入力されたかどうかチェックするステップであり、ステップ４１，４２の間、ステップ４２，４３の間、ステップ４３，４４の間、ステップ４４，４５の間、ステップ４５，４２の間で実行される。

ここで、音声波形表示制御部１５への終了指示とは、例えば、図２に示したような動画像表示部１２の表示例の中の映像再生停止ボタンや一時停止ボタンが押された場合などのように、動画像中の再生フレーム画像時間Ｔ１に変化がなくなる状況を作り出す指示をさす。

このステップ４６でのチェックの結果、ＮＯの場合には、本ステップが呼び出されたタイミングに再び戻り、一方、ＹＥＳの場合には、音声波形表示制御部１５の処理全体を終了することになる。

図４の動作フローから分かるように、ステップ４２〜ステップ４５は、ステップ４６でのチェックがＹＥＳにならない限り、すなわち、動画像の再生表示が停止、あるいは一時停止にならない限り繰り返し実行されることになる。上述したように、表示マーク３２の位置が固定位置であることから、この繰り返し実行により、音声波形を動画像再生に合わせて移動表示させることが可能となる。

この音声波形の移動表示を図示することは困難であるが、図３の上部に矢印表示でもって、その移動表示のイメージを記載している。音声波形表示描画エリア３１の音声波形が動画像の再生速度に合わせて左右に移動するイメージである。

ユーザは、この音声波形表示を参照することで、映像再生しながら、再生時刻の近傍の時間の音声レベルも一覧して把握できるため、従来の編集用タイムポイント探索の操作に比べて、少ない操作数で短時間に編集用タイムポイントを探索することが可能となる。

（６）本発明が効果を発揮するユーザインタフェースについて
図５は、本発明が最も効果を発揮するユーザインタフェース全体画面の一例を示したものである。

図中に示す５１は動画像再生表示、音声波形表示、マーク表示を含む動画像の再生プレーヤーの例であり、５２は再生プレーヤー５１に対して再生開始時間を指示するための動画像中のカット点やテロップ表示、音声開始時間に対応するフレーム画像の一覧を表示するブラウザ画面である。

本発明によれば、ユーザは、編集用のタイムポイントを探す際に、ブラウザ画面５２の中のカット点、音声開始点等に対応するフレーム画像を選択するという１回の操作だけで、その時間から動画像を再生させ、この再生表示と同時に、動画像の再生速度に合わせて再生プレーヤー５１上の音声波形表示、マーク表示を確認することで、動画像の再生位置を含む時間的に一定範囲内の音声の有無、音声レベルの状況を動画像再生を確認しながら時々刻々把握することが可能である。

これにより、編集タイムポイントとして指定したいシーンを音声情報に着目して探す際に、従来技術では、一旦動画像を再生した後、再生した動画像の音を実際に耳で聞きながら、再生、停止、早送り、巻き戻し、コマ送り、コマ戻し等の再生プレーヤー機能を何度も繰り返し、手戻りも発生しながら探し出す必要があったが、本発明によれば、１回の操作だけで、再生中の動画像時刻の前後の一定範囲内の音声レベル状況が耳で音を直接聞かずとも直感的に把握できるため、従来技術に比べて短時間に効率的に編集用のタイムポイントを取得することが可能となり、従来技術の課題が解決できるのである。

図５で具体例を示すと、ニュース番組のアナウンサーの発話の開始時間の少し前を編集用タイムポイントとしたい場合には、ブラウザ画面５２中のアナウンサーが表示される画像を選択し、その画像から動画像を再生プレーヤー５１で再生させるとともに、その画像時刻の前後の音声レベル状況が把握できる。この時点で、音声波形の立ち上がりの部分が確認できれば、その後は、再生位置を確認した時間に合わせるだけの手戻りの発生のない操作内容だけで編集用タイムポイントを取得することが可能である。

本発明を具備する動画像表示装置の装置構成の一実施形態例である。 動画像表示部による具体的な表示例である。 音声波形表示部による具体的な表示例である。 音声波形表示制御部の動作フローである。 本発明が最も効果を発揮するユーザインタフェース全体画面の一例である。

符号の説明

１ 動画像表示装置
１１ 動画像蓄積部
１２ 動画像表示部
１３ 音声波形表示部
１４ マーク表示部
１５ 音声波形表示制御部

Claims (8)

1. 音声を含む動画像を蓄積する動画像蓄積部と、
   前記動画像中の任意のフレーム画像を先頭として、その動画像内容を表示する動画像表示部と、
   前記動画像中の音声レベル情報を時間軸に沿って波形表示する音声波形表示部と、
   前記音声波形表示の時間軸上における現在表示中のフレーム画像に対応する時間位置に、予め決められたマークを前記音声波形表示に重量して表示するマーク表示部と、
   前記マークを前記音声波形表示上の決められた位置に固定表示し、前記音声波形表示の音声波形を映像再生速度に合わせて移動表示させる音声波形表示制御部とを備えることを、
   特徴とする動画像表示装置。
2. 請求項１に記載の動画像表示装置において、
   前記動画像表示部は、動画像中の任意の時間位置を設定可能とする対話手段を表示して、その対話手段により設定される時間位置の指すフレーム画像を再生の開始点にして、その動画像内容を表示することを、
   特徴とする動画像表示装置。
3. 請求項１又は２に記載の動画像表示装置において、
   前記動画像蓄積部に蓄積される動画像の中から抽出される複数のフレーム画像の一覧を表示する静止画像表示部を備え、
   前記動画像表示部は、前記一覧の中から選択されるフレーム画像を再生の開始点にして、その動画像内容を表示することを、
   特徴とする動画像表示装置。
4. 音声を含む動画像を蓄積する動画像蓄積部に蓄積される動画像を表示対象として、動画像中の任意のフレーム画像を先頭として、その動画像内容を表示する動画像表示段階と、
   前記動画像中の音声レベル情報を時間軸に沿って波形表示する音声波形表示段階と、
   前記音声波形表示の時間軸上における現在表示中のフレーム画像に対応する時間位置に、予め決められたマークを前記音声波形表示に重量して表示するマーク表示段階と、
   前記マークを前記音声波形表示上の決められた位置に固定表示し、前記音声波形表示の音声波形を映像再生速度に合わせて移動表示させる音声波形表示制御段階とを備えることを、
   特徴とする動画像表示方法。
5. 請求項４に記載の動画像表示方法において、
   前記動画像表示段階では、動画像中の任意の時間位置を設定可能とする対話手段を表示して、その対話手段により設定される時間位置の指すフレーム画像を再生の開始点にして、その動画像内容を表示することを、
   特徴とする動画像表示方法。
6. 請求項４又は５に記載の動画像表示方法において、
   前記動画像蓄積部に蓄積される動画像の中から抽出される複数のフレーム画像の一覧を表示する静止画像表示段階を備え、
   前記動画像表示段階では、前記一覧の中から選択されるフレーム画像を再生の開始点にして、その動画像内容を表示することを、
   特徴とする動画像表示方法。
7. 請求項４ないし６のいずれか１項に記載の動画像表示方法の実現に用いられる処理をコンピュータに実行させるための動画像表示プログラム。
8. 請求項４ないし６のいずれか１項に記載の動画像表示方法の実現に用いられる処理をコンピュータに実行させるための動画像表示プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images