JP2017092832A - 再生方法および再生装置 - Google Patents

Abstract

【課題】 視聴者に違和感を与えることのない多視点映像を手軽に編集することを可能にする技術を提供する。【解決手段】音識別部１２０は、音を表す音響情報Ａ＿Ｎと、当該音の演奏者の映像を表す映像情報Ｖ＿Ｎとを含む動画情報ＣＡＶ＿Ｎを動画情報取得部１１０から受け取ると、音響情報Ａ＿Ｎを解析して、当該音の種類を識別する。動画情報出力部１３０は、複数の領域に画像が表示される表示部３０の表示画面の各領域に上記音の種類を示す音識別情報を対応付けた映像配置テーブル２１３を参照することにより、音識別部１２０により識別された動画情報ＣＡＶ＿Ｎの種別に対応する領域を特定し、その領域に映像情報Ｖ＿Ｎの表す映像を割り当てて表示部３０の表示画面に表示させる。【選択図】図１

Description

本発明は、動画編集を支援する技術に関し、特に、編集対象の動画の再生制御に関する。

近年、被写体を複数の視点から撮影した映像（以下、多視点映像）からなる多視点動画が注目されている。この種の多視点動画は、複数の被写体で構成される集合体を被写体毎に撮影した映像を基に構成される。その一例として、ライブ演奏を行うバンドのライブ動画が挙げられる。この種のライブ動画は、例えば、バンドを構成する各メンバーを、担当するパート（例えば、ボーカルやギター）毎に撮影した映像を基に構成される。このようなライブ動画を再生すると、画面に各メンバーの映像が同時に表示され、視聴者は好みのメンバーに注目しながらライブ動画を視聴することができる。また、近年では、多視点映像を構成する各映像からユーザの選択した１の映像を表示する技術が提案されている。例えば、特許文献１によると、メイン画面とサブ画面に分割された表示画面の画面領域のうち、映像データがメイン画面に表示され、当該映像データとは別の視点で撮影された多視点映像データがサブ画面に表示される。ユーザが操作装置を使って所定の操作を行うことにより、サブ画面に表示させる多視点映像データを別の多視点映像データへと切り替えることが可能となっている。

特開２００５−１５９５９２号公報 P.Herrera, et al., Automatic classification of drum sounds: a comparison offeature selection methods and classification techniques, Proc. InternationalConference on Music and Artificial Intelligence, 2002. P.Herrera, et al., Automatic classification of musical instrument sounds, JournalOf New Music Research, vol. 32, 2003.

ところで、ライブ動画の作成或いは編集を行う際には、動画の再生時に各パートの演奏者（音を発する者、例えば楽器の演奏者或いはボーカル）の映像が画面の適切な位置に表示されるように留意する必要がある。これは、各パートの演奏者の映像の画面内での配置位置が適切でないと、映像に合わせて再生される各パートの音の音像定位位置との整合性が損なわれ、視聴者に違和感を与えるためである。例えば、ギターの演奏者の映像が画面の右側に映っているにもかかわらず、スピーカから放音されるギターの演奏音が左側から聴こえてくる（すなわち、音像が左側に定位している）と、視聴者に違和感を与えることになる。しかし、上記留意点に注意を払いつつ多視点映像を編集することは煩わしい。

この発明は、以上説明した事情に鑑みてなされたものであり、視聴者に違和感を与えることのない多視点映像を手軽に編集することを可能にする技術を提供することを目的としている。

この発明は、少なくとも映像情報を含む動画情報を複数受け取る情報受取ステップと、複数の前記動画情報を解析し、音の種別を映像情報毎に識別する識別ステップと、音の種別毎に表示装置の画面の画面領域が対応付けられた映像配置テーブルを参照し、前記識別された音の種別に対応する映像情報の表す映像を表示装置の画面の画面領域に割り当てて表示させる表示ステップとを含むことを特徴とする再生方法を提供する。

本発明によれば、動画情報に含まれる映像情報の表す映像を画面に表示する際に映像配置テーブルが参照され、その映像に対応する音の種別に応じた画面領域に当該映像が表示される。実際にライブ演奏を行うバンドの各パートの演奏者が、映像配置テーブルに列挙された音を、当該音に対応付けられた領域に応じた位置で演奏する場合、各音の音像定位の位置と、画面に表示される各パートの演奏者の映像の位置とが整合する。したがって、視聴者に違和感を与えることなくライブ動画を再生することが可能となる。なお、動画情報に含まれる音の種別を特定する場合、当該音の種別の識別を支援する分類アルゴリズムとして、非特許文献１或いは非特許文献２に記載のｋ−ＮＮ（k-Nearest Neighbors）法等を用いてもよい。

本発明の第１実施形態である再生装置１の構成を示すブロック図である。 同実施形態における複数の領域に区分けされた表示部３０の表示画面を示す図である。 同実施形態におけるクラス分類テーブル２１４の例を示す図である。 同実施形態における映像配置テーブル２１３の例を示す図である。 ミックスダウンで推奨される楽器の空間配置を示す図である。 同実施形態において、音識別部１２０および動画情報出力部１３０が実行する音識別処理の内容を示すフローチャートである。 本発明の第２実施形態である再生装置１Ａの構成を示すブロック図である。 同実施形態における映像配置テーブル２１３Ａ＿Ｔの一例を示す図である。 同実施形態における映像配置テーブル２１３Ａ＿Ｔに対応した表示部３０の表示画面の例を示す図である。 同実施形態における複数の領域に区分けされた表示部３０の表示画面の他の例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜第１実施形態＞
図１は、この発明の第１実施形態である再生装置１の構成を示すブロック図である。この再生装置１は、例えばＰＣ（Personal Computer）やタブレット型端末などの動画再生機能を有する装置である。再生装置１は、動画撮像装置（図示略）から取得した動画情報の編集を行う動画編集システムに含まれ、編集対象の動画情報を再生する。この動画編集システムの利用者は、再生装置１により再生される動画を確認しながら、最終的にエンドユーザに配布する動画情報を編集することができる。

本実施形態における編集対象の動画情報は、ライブ演奏を行うバンドの演奏シーンを収録したものである。この動画情報は、映像情報と音響情報とを含む時系列データである。映像情報は、楽器の演奏者や歌手（以下、演奏者）を表す情報である。具体的には、映像情報は、ライブ演奏を行うバンドの各構成メンバー（演奏者）を、担当するパート毎に撮影した映像を表す。一方、音響情報は、楽器の演奏音や歌唱音声（以下、音）を表す情報である。具体的には、音響情報は、各パートの演奏者が演奏する音を表す。本実施形態では、被写体であるバンドは、エレキギター、ボーカル、ベース、キーボード、バスドラムおよびコーラスの６種類のパートにより構成される。各演奏者をパート毎に撮影した映像情報の表す映像の大部分は各パートの演奏者であるが、他のパートの演奏者の一部も映り込んでいる。音響情報の表す音の大部分も各パートの演奏者が発する音であるが、他のパートの演奏者が発する音も含まれている。以下、動画撮像装置による撮影により得られる動画情報を動画情報ＣＡＶ＿Ｎ（Ｎ＝１〜ｎ：ｎは２以上の自然数、本実施形態ではｎ＝６）、動画情報ＣＡＶ＿Ｎに含まれる映像情報を映像情報Ｖ＿Ｎ（Ｎ＝１〜ｎ）、動画情報ＣＡＶ＿Ｎに含まれる音響情報を音響情報Ａ＿Ｎ（Ｎ＝１〜ｎ）と表記する。

図１に示すように、再生装置１は、ＣＰＵ（Central Processing Unit）１０、記憶部２０、表示部３０、メモリインタフェース部４０およびサウンドシステム５０を有している。メモリインタフェース部４０は、ＣＰＵ１０によって行われるＳＤメモリカード等の記憶媒体へのアクセスを仲介する装置である。本実施形態において、上述した動画撮像装置による撮影により得られる動画情報ＣＡＶ＿Ｎは、このメモリインタフェース部４０を介して再生装置１に入力される。より詳細には、動画情報ＣＡＶ＿Ｎが書き込まれた記録媒体がメモリインタフェース部４０に接続されると、ＣＰＵ１０（より正確には、動画情報取得部１１０）は当該記録媒体内の動画情報ＣＡＶ＿Ｎをメモリインタフェース部４０を介して読み出し、不揮発性記憶部２１０に書き込む。

表示部３０は、例えば液晶ディスプレイであり、ＣＰＵ１０による制御の下、映像情報Ｖ＿Ｎの各々が表す映像を表示画面に表示する。表示部３０の表示画面は、複数の領域（本実施形態では、７個の領域）に仮想的に区分けされており、これら各領域に映像情報Ｖ＿Ｎの各々の表す映像が一つずつ表示される。図２は、複数の領域に区分けされた表示部３０の表示画面の一例を示す図である。図２に示すように、表示部３０の画面は、エリア１〜エリア７に区分けされている。サウンドシステム５０は、左右各チャネルのスピーカ等を含んでおり、ＣＰＵ１０による制御の下、放音する。詳細については後述するが、ＣＰＵ１０は音響情報Ａ＿Ｎの各々を上記各スピーカに振り分けて出力する。

記憶部２０は、不揮発性記憶部２１０と揮発性記憶部２２０とを含んでいる。揮発性記憶部２２０は、例えばＲＡＭ（Random Access Memory）であり、不揮発性記憶部２１０は、例えばＨＤＤ（Hard Disk Drive）やＦｌａｓｈＲＯＭ（Read Only Memory）である。前述したように、不揮発性記憶部２１０には、動画情報ＣＡＶ＿Ｎが格納される。また、不揮発性記憶部２１０には、再生プログラム２１１、音識別プログラム２１２、映像配置テーブル２１３およびクラス分類テーブル２１４が予め格納されている。

再生プログラム２１１は、動画情報ＣＡＶ＿Ｎの不揮発性記憶部２１０への書き込みや動画情報ＣＡＶ＿Ｎの不揮発性記憶部２１０からの読み出し、動画情報ＣＡＶ＿Ｎの再生など、再生装置１の基本的な機能をＣＰＵ１０に実現させるプログラムである。なお、動画情報ＣＡＶ＿Ｎの再生には、当該動画情報ＣＡＶ＿Ｎに含まれる音響情報Ａ＿Ｎの表す映像の表示と、当該動画情報ＣＡＶ＿Ｎに含まれる映像情報Ｖ＿Ｎの表す音の出力とが含まれる。

音識別プログラム２１２は、本発明の特徴を顕著に示す処理をＣＰＵ１０に実行させるプログラムである。より詳細には、音識別プログラム２１２は、動画情報ＣＡＶ＿Ｎに含まれる音響情報Ａ＿Ｎを解析することにより、音響情報Ａ＿Ｎの表す音の種別（パート）をクラス分類テーブル２１４の格納内容を参照して識別する音識別処理をＣＰＵ１０に実現させるプログラムである。

クラス分類テーブル２１４には、ボーカルの歌唱音や楽器の演奏音等の音の種別を示す音識別情報に対応付けてその音の音響的な特徴を示す特徴量ベクトルが格納されている。本実施形態では、１種類の音について、「ド」、「レ」、「ミ」、「ファ」、「ソ」、「ラ」、「シ」の７種類の音階の各々に対応する７種類の特徴量ベクトルがクラス分類テーブル２１４に格納されている。そして、各特徴量ベクトルは、その特徴量ベクトルに対応する音の基本周波数成分の信号レベルに対するＭ（２≦Ｍ≦ｍ＋１）次倍音成分の信号レベルの比を構成要素とするｍ次元ベクトルである。このような特徴量ベクトルを音の特徴を示す情報として用いるのは、倍音構造には音の種別が反映されているからである。この特徴量ベクトルについては音の波形を示す波形データにフーリエ変換を施して各周波数成分の信号レベルを抽出する等の周知の手法により生成すれば良い。

本実施形態では、エレキギター、ボーカル、ベース、キーボード、バスドラム、およびコーラスの６種類の音についての音識別情報と特徴量ベクトルとがクラス分類テーブル２１４に格納されている。以下では、この特徴量ベクトルを「特徴量ベクトルＶＩ＿Ｊ（Ｉ＝１〜７、Ｊ＝１〜６）」と表記する。また、本実施形態では、音識別情報として、エレキギターについて文字列ＬＢｅｇが、ボーカルについては文字列ＬＢｂｏが、ベースについては文字列ＬＢｂａが、キーボードについては文字列ＬＢｋｂが、バスドラムについては文字列ＬＢｂｄが、およびコーラスについては文字列ＬＢｃｈが用いられている。なお、本実施形態では、音識別情報と特徴量ベクトルＶＩ＿Ｊとを対応付けてクラス分類テーブル２１４に格納したが、図３に示すように、特徴量ベクトルＶＩ＿Ｊの算出元となった波形データ（すなわち、添え字Ｎの示す種別および添え字Ｉの示す音階の音の波形を示す波形データ）をさらに対応付けても良い。

映像配置テーブル２１３は、映像情報Ｖ＿Ｎの表す各パートの演奏者の映像を表示部３０の表示画面における表示位置（例えば、表示画面の左上隅を原点とする二次元座標系における当該映像の左上隅の位置座標）を規定するテーブルである。図４は、映像配置テーブル２１３の例を示す図である。図４に示すように、映像配置テーブル２１３には、各演奏者の担当する各パートの音識別情報に対応付けて、表示部３０における表示領域を示す情報が格納されている。より詳細には、エレキギターを示すＬＢｅｇにはエリア１が、ボーカルを示すＬＢｂｏにはエリア２が、ベースを示すＬＢｂａにはエリア３が、キーボードを示すＬＢｋｂにはエリア４が、バスドラムを示すＬＢｂｄにはエリア５が、コーラスを示すＬＢｃｈにはエリア６および７が対応付けられている。映像情報Ｖ＿Ｎの表す各パートの演奏者の映像は、この映像配置テーブル２１３に従って表示部３０の表示画面に表示され、この点に本発明の顕著な特徴がある。

以下、この点について詳述する。図５は、ミックスダウンで推奨される楽器の空間配置を示す図である。図５において、ｘ軸、ｙ軸およびｚ軸の各軸は、それぞれ定位、周波数および奥行を示す。図５に示す空間配置図によると、ミックスダウン時にパンを調整する際には、例えばボーカルの音像定位を中央とし、コーラスの音像定位を左右とすることにより、バランスの良い聴感が得られることが知られている。

通常、ライブ演奏では、バンドの各パートを担当する演奏者は、図５（或いは、図４）に従った立ち位置で演奏を行うことが多く、本実施形態における編集対象の動画情報の被写体であるバンドの各演奏者も図５に示す立ち位置で演奏を行っている。図４に従った立ち位置で演奏を行うことにより、バランスの良い聴感が得られるからである。映像情報Ｖ＿Ｎの表す映像が表示部３０の表示画面にランダムに配置されると、サウンドシステム５０から放音される各パートの音の音像定位の位置と、各パートの演奏者の画面内での表示位置との整合性が損なわれ、視聴者に違和感を与えることは前述した通りである。そこで、本実施形態では、映像配置テーブル２１３に従って、各パートの演奏者の映像を表示部３０の表示画面に表示することにより、パート毎の好適な映像表示位置を動画再生システムのユーザ（すなわち、再生装置１のユーザ）に提示し、上記不整合が発生するような動画の編集を防止するのである。

ＣＰＵ１０は、記憶部２０（より正確には、不揮発性記憶部２１０）に記憶されている各プログラムを実行することにより再生装置１の制御中枢として機能する。本実施形態では、ＣＰＵ１０は再生装置１の電源（図示略）の投入を契機として、再生プログラム２１１および音識別プログラム２１２を不揮発性記憶部２１０から揮発性記憶部２２０へ読み出し、これら各プログラムを並列に実行する。ＣＰＵ１０は、再生プログラム２１１を実行することにより、図１に示す動画情報取得部１１０および動画情報出力部１３０として機能する。また、ＣＰＵ１０は、音識別プログラム２１２を実行することにより、図１に示す音識別部１２０として機能する。

動画情報取得部１１０は、メモリインタフェース部４０に記録媒体が接続されると、動画情報ＣＡＶ＿Ｎを読み出し（情報受取ステップ）、当該動画情報を不揮発性記憶部２１０に格納するとともに、動画情報ＣＡＶ＿Ｎを音識別部１２０に与える。なお、動画情報取得部１１０は、ユーザに各種情報を入力させるための操作手段（図示略）を介したユーザの操作を契機として、動画情報ＣＡＶ＿Ｎの読出しを行ってもよい。

音識別部１２０は、動画情報取得部１１０から動画情報ＣＡＶ＿Ｎを受け取ると、当該動画情報に含まれる音響情報Ａ＿Ｎに対して音識別処理を実行する（識別ステップ）。音識別処理の詳細については重複を避けるため動作例において明らかにするが、概略は以下の通りである。音識別部１２０は、音響情報Ａ＿Ｎの表す音を解析して前述した特徴量ベクトルを生成し、この特徴量ベクトルとクラス分類テーブル２１４の格納内容とから当該演奏音の種別を識別し、その識別結果を示す音識別情報を動画情報ＣＡＶ＿Ｎに付与して、動画情報出力部１３０に与える。

動画情報出力部１３０は、音識別部１２０から動画情報ＣＡＶ＿Ｎを受け取り、音響情報Ａ＿Ｎおよび映像情報Ｖ＿Ｎを取り出す。動画情報出力部１３０は、動画情報ＣＡＶ＿Ｎを受け取ったことを契機として、記憶部２０（より正確には、不揮発性記憶部２１０）から映像配置テーブル２１３を読み出す。動画情報出力部１３０は、音響情報Ａ＿Ｎをミキシングしてサウンドシステム５０に出力する。また、動画情報出力部１３０は、映像配置テーブル２１３を参照し、動画情報ＣＡＶ＿Ｎに付与された音識別情報に対応する各領域を特定し、各領域に映像情報Ｖ＿Ｎの各々の表す映像が表示されるよう、映像情報Ｖ＿Ｎを合成し（表示ステップ）、その合成結果を示す映像情報を表示部３０に出力する。
以上が再生装置１の構成である。

次に、再生装置１が実行する動作について説明する。再生装置１が実行する処理は、上述したように音識別処理、および動画情報の再生処理や書込みまたは読出し等の基本的な処理に大別される。

動画編集システムのユーザが、動画撮像装置等により収録した動画情報ＣＡＶ＿Ｎの書き込まれた記録媒体をメモリインタフェース部４０に接続すると、動画情報ＣＡＶ＿Ｎは動画情報取得部１１０による読出しおよび書込みを経て音識別部１２０に与えられる。音識別部１２０は、動画情報ＣＡＶ＿Ｎを取得すると、音響情報Ａ＿Ｎの各々を取り出して音識別処理を実行する。図６は、音識別部１２０および動画情報出力部１３０が実行する音識別処理の内容を示すフローチャートである。

音識別部１２０は、音響情報Ａ＿Ｎの各々について以下の処理を実行する。音識別部１２０は、音響情報Ａ＿Ｎをフレームに区切り、ＦＦＴ（Fast Fourier Transform）を施す。次いで、音識別部１２０は、予め定められたフレーム（例えば先頭フレームや、先頭フレームから所定時間経過後のフレーム）の各々についてピッチ（基本周波数）抽出を施し、その基本周波数ｆ［Ｈｚ］の信号成分の信号レベルと、そのＭ（２≦Ｍ≦ｍ＋１）次倍音成分（周波数：２ｆ、３ｆ、・・・、（ｍ＋１）ｆ［Ｈｚ］）の各信号成分の信号レベルをフレーム毎に算出する。なお、ピッチ抽出については周知の技術を適宜用いるようにすれば良い。次いで、音識別部１２０は、倍音成分の信号レベルと基本周波数における信号レベルの比を算出し、それらの比を並べて特徴量ベクトルＵ＿Ｎを生成する。

次いで、音識別部１２０は、ｋ−ＮＮ（k-Nearest Neighbors：ｋ−最近傍法）法による分類アルゴリズムに従って、特徴量ベクトルＵ＿Ｎの属性（すなわち、音響情報Ａ＿Ｎの表す音の種別）を特定する（ステップＳ１００）。音識別部１２０は、ｍ次元空間内に、特徴量ベクトルＵ＿Ｎの終点を中心とし、かつ、特徴量ベクトルＶＩ＿Ｊをｋ（例えば、ｋ＝５）個含むような半径ｒの球を設定する。より詳細には、音識別部１２０は、設定した球に含まれる特徴量ベクトルＶＩ＿Ｊの個数をカウントし、その球の内部にｋ個の特徴量ベクトルＶＩ＿Ｊが含まれるように、半径ｒの値を調整する。次いで、音識別部１２０は、記憶部２０（より正確には、揮発性記憶部２１０）からクラス分類テーブル２１４を読み出し、当該クラス分類テーブル２１４を参照することにより、その球の内部に含まれるｋ個の特徴量ベクトルＶＩ＿Ｊの各々の属性を特定する。球の内部に含まれる特徴量ベクトルＶＩ＿Ｊの各々の属性が全て等しい場合、音識別部１２０は当該属性を特徴量ベクトルＵ＿Ｎの属性として決定する。球の内部に含まれるｋ個の特徴量ベクトルＶＩ＿Ｊの各々の属性が複数種類に亙っている場合、多数決により決定した属性、すなわちより多く特定された属性を特徴量ベクトルＵ＿Ｎの属性として決定する。例えば、球の内部に含まれる５つの特徴量ベクトルＶＩ＿Ｊの属性としてエレキギター（ＬＢｅｇ）が３個、ボーカル（ＬＢｂｏ）が２個特定された場合、多数決により特徴量ベクトルＵ＿Ｎの属性はエレキギターと特定される。なお、特徴量ベクトルＵ＿Ｎの属性を精度良く特定したい場合、他のフレームを基に特定した特徴量ベクトルＵ＿ＮついてもステップＳ１１０に示す処理を実行し、そのうち最も多く特定された属性を特徴量ベクトルＵ＿Ｎの属性として決定すればよい。

音識別部１２０は、特徴量ベクトルＵ＿Ｎの各々の属性を特定すると、当該特徴量ベクトルＵ＿Ｎの属性を示す音識別情報を動画情報ＣＡＶ＿Ｎに付与し、当該動画情報ＣＡＶ＿Ｎを動画情報出力部１３０に与える。例えば、特徴量ベクトルＵ＿１の属性がエレキギターであった場合、ラベルＬＢｅｇを動画情報ＣＡＶ＿１に付与して動画情報出力部１３０に与える。

動画情報出力部１３０は、各々音識別情報を付与された動画情報ＣＡＶ＿Ｎを音識別部１２０から受け取ると、記憶部２０（より正確には、不揮発性記憶部２１０）から映像配置テーブル２１３を読み出し、動画情報ＣＡＶ＿Ｎに付与された音識別情報に対応付けられた領域、すなわち映像情報Ｖ＿Ｎの表す映像を表示する領域を特定する（ステップＳ１１０）。次いで、動画情報出力部１３０は、特定した各領域に映像情報Ｖ＿Ｎの表す映像が表示されるよう、映像情報Ｖ＿Ｎを合成し、その合成結果を示す映像情報を表示部３０に出力する（ステップＳ１２０）。この結果、表示部３０の表示画面には、映像情報Ｖ＿Ｎの表す映像が図２に示す領域に表示される。

以上、本実施形態によれば、音識別部１２０により識別された各音の演奏者の映像が映像配置テーブル２１３により指定された領域に表示される。前述したように、本実施形態の被写体のバンドの各演奏者は、図５に示す立ち位置で演奏を行っており、音響情報Ｖ＿Ｎにおける音像の定位位置も図５に示す位置に応じたものとなっている。このため、サウンドシステム５０から放音される各音の音像の定位位置と、各音の演奏者の映像の表示画面内での配置位置との整合性が損なわれることはない。このため、エンドユーザに配布する動画情報における各演奏者の映像の表示位置を、再生装置１により決定された位置から変更しないように編集を行えば、エンドユーザに違和感を与えることのない多視点映像を手軽に編集することができる。

なお、動画再生システムのユーザが操作手段（図示略）を介して、サウンドシステム５０から放音された音響情報Ａ＿Ｎの表す演奏音の定位位置を変更させる編集（パンの調整）を行った場合には、映像情報Ｖ＿Ｎ（或いは映像情報Ｖ＿１〜Ｖ＿６の各々）の表示位置を変更後の定位位置に応じて変更する処理をＣＰＵ１０に行わせて良く、また、映像情報Ｖ＿Ｎの表示位置を変更させる編集を行った場合には、音響情報Ａ＿Ｎ（或いは音響情報Ｖ＿１〜Ｖ＿６の各々）のパンを変更後の表示位置に応じて調整する処理をＣＰＵ１０に行わせても良い。

＜第２実施形態＞
図７は、本発明の第２実施形態である再生装置１Ａの構成を示す図である。図７では、図１と同一の構成要素には同一の符号が付されている。図７と図１を対比すれば明らかなように、本実施形態による再生装置１Ａは、記憶部２０に代えて記憶部２０Ａを有する点において第１実施形態による再生装置１と異なる。以下、第１実施形態との相違点である記憶部２０Ａを中心に説明する。

記憶部２０Ａは、不揮発性記憶部２１０に換えて不揮発性記憶部２１０Ａを有する点において記憶部２０と異なる。不揮発性記憶部２１０Ａは、以下の３つの点が不揮発性記憶部２１０と異なる。第１に、複数の映像配置テーブル（図８では、映像配置テーブル２１３Ａ＿Ｔ（Ｔ＝１〜ｔ：ｔは２以上の自然数））が格納されている点である。第２に、クラス分類テーブル２１４に代えてクラス分類テーブル２１４Ａが格納されている点である。そして、第３に、再生プログラム２１１に代えて再生プログラム２１１Ａが格納されている点である。

映像配置テーブル２１３Ａ＿Ｔ（Ｔ＝１〜ｔ：ｔは２以上の自然数）の各々の格納内容は、第１実施形態における映像配置テーブル２１３と同様に、ミックスダウンで推奨される楽器の空間配置に対応している。映像配置テーブル２１３Ａ＿Ｔ（Ｔ＝１〜ｔ：ｔは２以上の自然数）の各々は、それぞれ編成の異なるバンド（楽団）に対応している。例えば、図８に示す映像配置テーブル２１３Ａ＿１は、音識別情報としてＬＢｅｇ、ＬＢｂｏ、ＬＢｂａ、ＬＢｋｂ、ＬＢｐｉ（ピアノを示す音識別情報）を含んでいる。つまり、図８に示す映像配置テーブル２１３Ａ＿１の格納内容は、エレキギター、ボーカル、ベース、およびピアノにより構成されるバンド（楽団）に対応する。クラス分類テーブル２１４Ａは、映像配置テーブル２１３Ａ＿Ｔ（Ｔ＝１〜ｔ：ｔは２以上の自然数）の各々に格納されている音識別情報のすべてを含んでいる。

ＣＰＵ１０は、再生プログラム２１１Ａを実行することにより動画情報取得部１１０および動画情報出力部１３０Ａとして機能する。動画情報出力部１３０Ａは、映像配置テーブル２１３Ａ＿Ｔのうちから、動画情報ＣＡＶ＿Ｎに付与された音識別情報をすべて含むテーブル（以下、映像配置テーブル２１３Ａ＿ｔ０）を選択する。そして、動画情報出力部１３０Ａは、映像配置テーブル２１３Ａ＿ｔ０を基に、動画情報ＣＡＶ＿Ｎに付与された音識別情報に対応付けられた領域を特定する。図９は、各映像配置テーブル２１３Ａ＿ｔ０に対応した表示部３０の表示画面の例を示す図である。図９に示すように、動画情報出力部１３０Ａにより特定された各映像配置テーブル２１３Ａ＿ｔ０に従って、映像情報Ｖ＿Ｎの表す各パートの演奏者の映像が表示部３０の表示画面に表示される。

一般にバンドの構成はバンド毎に区々であるが、本実施形態によれば、バンドの構成に応じた最適な表示位置に各演奏者の映像を配置して表示部３０に表示させることが可能になる。

＜他の実施形態＞
以上、この発明の各種の実施形態について説明したが、この発明には他にも実施形態が考えられる。

（１）上記各実施形態では、音響情報Ａ＿Ｎの表す音の種別を音識別部１２０により特定したが、音識別部１２０（音識別処理）を省略してもよい。この場合、キーボード等の入力手段を再生装置１に設け、音響情報Ａ＿Ｎの表す音の種別を示す情報を、当該入力手段を介してユーザに入力させる。そして、この情報を動画情報出力部１３０に参照させればよい。この態様によれば、音識別部１２０を省略することができるため、ＣＰＵ１０の処理負荷を低減させることが可能となる。

（２）上記各実施形態では、音響情報Ａ＿Ｎに対して音識別処理を実行することにより、その音響情報Ａ＿Ｎの表す音の種別を特定した。しかし、映像情報Ｖ＿Ｎの表す映像に対して画像解析処理を実行することにより、音響情報Ａ＿Ｎの表す音の種別を特定してもよい。また、音識別処理と画像解析処理を併用してもよい。この態様によれば、いずれか一方のみでは識別不能な場合であっても、音の種別を特定可能な場合があり、また、音の種別をより精度良く特定することが可能となる。

（３）上記各実施形態において、音識別部１２０により識別された音響情報Ａ＿Ｎの各々の表す音の種別を基に、当該音により構成される楽曲ジャンルを識別し、識別した楽曲ジャンルの種別に応じて、映像情報Ｖ＿Ｎの各々の表す映像の表示画面内の配置位置を決定してもよい。具体的には、各々異なる楽曲ジャンル毎に、楽曲を構成する音の種別毎に当該音に対応する映像の配置位置を規定したテーブルを予め記憶部２０に格納しておく。そして、音識別部１２０には、音響情報Ａ＿Ｎの各々が表す音の種別を過不足なく含む映像配置テーブルに対応する楽曲ジャンルを当該音により構成される楽曲の楽曲ジャンルとして識別させ、動画情報出力部１３０には、音識別部１２０により識別された楽曲ジャンルに対応する映像配置テーブルを参照させればよい。なお、表示画面内の配置位置を決定する際には、その楽曲ジャンルで一般的に推奨されている配置位置を基に決定してもよい。

（４）上記第２実施形態において、音識別部１２０および１２０Ａは、表示部３０への映像の表示を開始してから所定時間が経過する毎に音識別処理を行ってもよい。この態様によれば、ライブ演奏中に異なる種類の楽器を演奏し始めたりするようなことがあったとしても、都度、楽器の種類に応じた映像配置テーブル２１３Ａ＿Ｔに従って、映像情報Ｖ＿Ｎの表す各パートの演奏者の映像を表示部３０の表示画面に表示することが可能となる。また、ライブの開演から所定時間が経過する毎に各演奏者が立ち位置を変更する場合には、その変更時刻毎にその変更後の立ち位置に応じた映像配置テーブル２１３Ａ＿Ｔを用意しておき、表示部３０への映像の表示を開始してから上記所定時間が経過する毎にその変更時刻に応じた映像配置テーブル２１３Ａ＿Ｔを用いて音識別処理を行うことで映像情報Ｖ＿Ｎの表す各パートの演奏者の映像の表示位置を各演奏者の動きに追従させることが可能になる。

（５）上記第１実施形態において、表示部３０の表示画面の区分けの方法は適宜変更してもよい。図１０は、複数の領域に区分けされた表示部３０の表示画面の他の例を示す図である。図１０に示す例では、表示部３０の表示画面は、表示画面全体に亘って複数の長方形の領域に区切られている。この態様によれば、表示部３０の表示画面を有効利用することが可能となる。

（６）上記第２実施形態において、編集対象の動画の被写体であるバンドの編成と同じ編成に対応する映像配置テーブル２１３Ａ＿Ｔが存在しない場合、動画情報出力部１３０は、映像配置テーブル２１３Ａ＿Ｔのうちから、動画情報ＣＡＶ＿Ｎに付与された音識別情報を最も多く含むテーブルを選択し、その映像配置テーブルに従って映像情報Ｖ＿Ｎの表す各パートの演奏者の映像の表示位置を決定してもよい。

（７）上記各実施形態では、特徴量ベクトルＵ＿Ｎの属性を決定する際のアルゴリズムとしてｋ−ＮＮ法を用いたが、例えばＳＶＭ（Support Vector Machine）などの他のアルゴリズムを用いても良い。

（８）上記実施形態では、音識別部１２０が抽出する特徴量として音響情報Ａ＿Ｎの表す音信号の倍音成分の信号レベルを例として挙げたが、例えばケプストラムなどの他の特徴量であってもよい。

（９）上記各実施形態では、バンドを構成する各演奏者の映像および演奏音を表す動画情報ＣＡＶ＿Ｎが再生装置１に入力されたが、バンド全体の映像および演奏音を表す動画情報が再生装置１に入力されてもよい。この場合、以下の処理を再生装置１の各部およびユーザに実行させてもよい。

この場合、再生装置１には、当該動画情報から各演奏者の演奏音を表す音響情報Ａ＿Ｎと各演奏者の映像を表す映像情報Ｖ＿Ｎとを生成させた後に上記実施形態の処理を実行させるようにすればよい。なお、バンド全体の映像および演奏音を表す動画情報からの各演奏者の演奏音を表す音響情報Ａ＿Ｎの生成については、独立成分分析等の既存の音源分離技術等を用いるようにすればよい。また、当該動画情報からの映像情報Ｖ＿Ｎの生成および音響情報Ａ＿Ｎとの対応付けについては、例えば上記動画情報の表す映像において各演奏者の占める領域およびその演奏者の演奏音の種別（すなわち、音響情報Ａ＿Ｎとの対応）をユーザに指定させることにより実現すればよい。

上記実施形態において、動画情報ＣＡＶ＿Ｎの再生時に、音響情報Ａ＿Ｎの表す音に基づいて映像情報Ｖ＿Ｎの表す映像を同期させてもよい（特開２００１−３６８６７号公報参照）。この場合、音響情報Ａ＿Ｎに含まれる演奏音の特徴を基に各音響情報Ａ＿Ｎを同期させることにより、各映像情報Ｖ＿Ｎの表す映像を同期させることが可能となる。

１，１Ａ…再生装置、１０…ＣＰＵ、１１０…動画情報取得部、１２０…音識別部、１３０，１３０Ａ…動画情報出力部、２０，２０Ａ…記憶部、２１０，２１０Ａ…不揮発性記憶部、２１１，２１１Ａ…再生プログラム、２１２…音識別プログラム、２１３，２１３Ａ＿Ｔ…映像配置テーブル、２２０…揮発性記憶部、２１４，２１４Ａ…クラス分類テーブル、３０…表示部、４０…メモリインタフェース、５０…サウンドシステム。

Claims (5)

1. 少なくとも映像情報を含む動画情報を複数受け取る情報受取ステップと、
   複数の前記動画情報を解析し、音の種別を映像情報毎に識別する識別ステップと、
   音の種別毎に表示装置の画面の画面領域が対応付けられた映像配置テーブルを参照し、前記識別された音の種別に対応する映像情報の表す映像を表示装置の画面の画面領域に割り当てて表示させる表示ステップと
   を含むことを特徴とする再生方法。
2. 映像情報を複数受け取り、音の種別毎に表示装置の画面の画面領域が対応付けられた映像配置テーブルを参照して、複数の前記映像情報の各々について、当該映像情報の表す映像に対応する音の種別に応じた画面領域を特定し、その領域に当該映像を割り当てて表示装置に表示させる動画情報出力部
   を有することを特徴とする再生装置。
3. 前記映像情報と、その映像情報の表す映像に対応する音を表す音響情報と、を含む動画情報を複数受け取り、複数の前記音響情報の各々が表す音の種別を、当該音響情報または当該音響情報に対応する映像情報の少なくとも一方を解析して識別する音識別部を有し、
   前記動画情報出力部は、
   複数の前記映像情報の各々が表す映像の画面領域を前記音識別部により識別された音の種別に応じて特定する
   ことを特徴とする請求項２に記載の再生装置。
4. 格納されている音の種別の組み合わせが互いに異なる複数の前記映像配置テーブルを有し、
   前記動画情報出力部は、複数の前記映像配置テーブルのうちから前記音識別部により識別された音の種別をすべて含む映像配置テーブルを選択し、当該選択した映像配置テーブルを参照して各映像の画面領域を特定することを特徴とする請求項３に記載の再生装置。
5. 複数の前記音響情報が表す音は、楽曲を構成し、
   各々異なる楽曲ジャンルに対応する複数の前記映像配置テーブルを有し、
   前記音識別部は、識別した音の種別を基に当該音により構成される楽曲ジャンルを識別し、
   前記動画情報出力部は、前記複数の映像配置テーブルのうちから音識別部により識別された楽曲ジャンルを示す映像配置テーブルを選択し、当該選択した映像配置テーブルを参照して各映像の画面領域を特定することを特徴とする請求項３または４に記載の再生装置。

Images