JP2008103802A - 映像合成装置 - Google Patents

Abstract

【課題】 ユーザが重要としない映像シーンを視聴している時に、映像シーンと関連のある映像を選択し、合成して表示することにより、ユーザが主として視聴している映像への視聴意欲や理解を妨げることなく、他の映像の情報も提示可能な映像合成装置を提供する。
【解決手段】 ユーザが現在、視聴している映像内の各シーンから映像特徴検出部１０２が特徴情報を取得し、それらを用いて重要度計算部１０３は各シーンに対する重要度の指標の値を逐次計算することで、非重要シーン特定部１０４が重要ではない一定の区間（シーン）を検出する。録画済映像選択部１０６では、視聴している映像に関連する副映像を記憶部１０５より選択する。重要ではないシーンに合わせて、映像合成部１０９が主として視聴中の映像に関連する副映像を合成する。
【選択図】図１

Description

本発明は、複数の映像を合成して表示を行う映像合成装置に関する。

近年、ネットワークの高速化、チャンネルの多様化に伴い、個人が視聴することの出来る映像、動画コンテンツの量は飛躍的に増加している。また、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やハードディスク装置（ＨＤＤ）などの記録媒体の大容量化に伴い、映像をこれらの記録媒体へ大量に録画し、放送時間に縛られることなく番組を視聴するというスタイルも一般的となった。

このように個人が扱う映像の量が膨大になると、これら映像の中に自分が視聴したいと考えうる映像が存在しているかどうかを容易に知ることが出来なくなる。そこで、この膨大な映像の中から映像の存在を得るための手法として、特許文献１では、主として視聴する任意の映像を視聴している間に、映像に添付されている付加情報を基に関連する映像を自動で検索し、その情報又はそれ自身を多重化して出力する手法が提案されている。
特開２００３−１３４４２８号公報

しかしながら、特許文献１では映像を挿入するタイミングまでは考慮されておらず、ユーザにとって重要と考えられるシーンにまで多重化を行ってしまい、その結果ユーザの映像への視聴意欲を著しく削ぐものであった。

また、特許文献１では映像に添付される情報を用いて、番組開始時にその番組に関連する別の映像を検索しているが、一般的に映像は信号的、意味的に性質の異なる複数のシーンの組み合わせで成っているものであるから、この刻々と変化するシーン各々に関連する適切な別の映像を選択するには、この手法では不十分であった。

更に、映像が挿入され多重表示する区間が、元の映像の総再生時間より長くなる場合、単純に挿入された映像を先頭から再生するだけでは、挿入された映像を最後まで再生する前に元の映像の再生が終わり、挿入された映像の再生が途中までとなってしまい、ユーザが挿入された映像の概要を理解することが難しくなるという問題があった。

そこで、本発明の目的は、ユーザが重要としない映像シーンを視聴している時に、該映像シーンと関連のある映像を選択し、合成して表示することにより、ユーザが主として視聴している映像への視聴意欲や理解を妨げることなく、他の映像の情報も提示可能な映像合成装置を提供しようとするものである。

斯かる実情に鑑み、第１の発明による映像合成装置は、放送または記録されている少なくとも２つの映像を合成して表示する映像合成装置であって、
前記映像内の各シーンに対応する特徴情報を検出する特徴検出部と、前記映像および／または前記特徴情報を記録する記録部と、前記特徴情報に基づいて第１の映像の各シーンに対する重要度についての指標の値を計算する計算部と、第２の映像を選択する映像選択部と、前記指標の値に基づいて前記第２の映像を合成する前記第１の映像内のシーンを特定するシーン特定部と、前記シーン特定部で特定された前記第１の映像内の当該シーンに前記第２の映像を合成する映像合成部と、を具備することを特徴とする。

また、第２の発明による映像合成装置は、前記映像選択部が、前記特徴情報に基づいて、前記第２の映像として、前記第１の映像に類似または関連した映像を検出して選択することを特徴とする。

また、第３の発明による映像合成装置は、前記映像選択部が、前記第１の映像のシーンごとあるいは連続するシーングループごとの前記特徴情報に基づいて前記第２の映像を選択することを特徴とする。

また、第４の発明による映像合成装置は、前記映像選択部が前記第２の映像を選択するための前記特徴情報は、前記シーン特定部で特定された前記第１の映像内のシーンの直近の前記指標の値が高いシーンあるいはシーングループから得られる前記特徴情報とすることを特徴とする。

また、第５の発明による映像合成装置は、前記第１の映像が放送中の映像であり、前記第２の映像が装置内に記録されている映像であることを特徴とする。

また、第６の発明による映像合成装置は、前記第１の映像および前記第２の映像が共に、装置内に記録された映像であることを特徴とする。

また、第７の発明による映像合成装置は、前記特徴情報が、映像中で刻々と変化する映像情報、音声情報、テキスト情報を含むことを特徴とする。

また、第８の発明による映像合成装置は、前記シーン特定部が、前記指標の値に対して閾値処理を行うことで、前記第２の映像を合成する前記第１の映像内のシーンを特定することを特徴とする。

また、第９の発明による映像合成装置は、前記計算部が、前記閾値を設定し、前記指標の値とともに、前記シーン特定部に出力することを特徴とする。

また、第１０の発明による映像合成装置は、前記計算部が、第１の映像シーンの種別により前記閾値の選択域の情報を反転させることを特徴とする。

また、第１１の発明による映像合成装置は、前記映像合成部が、選択した前記第２の映像を、前記シーン特定部で特定された前記第１の映像内のシーンの連続時間長さに合わせたダイジェスト映像として編集することを特徴とする。

本発明では、ユーザが現在、主として視聴している映像内の各シーンから映像情報を取得し、それらを用いて各シーンに対する重要度の指標の値を逐次計算することで、重要ではない一定の区間（シーン）を検出する。この重要ではないシーンに合わせて主として視聴中の映像に関連する他の映像を多重化することで、ユーザが主として視聴している映像への視聴意欲や理解を妨げることなく、他の映像の情報を提供することができる。

また、この選択された映像を、主として視聴中の映像において重要ではないとされたシーンの直前のシーン、即ち最近重要とされていたシーンから得られる特徴も加味して選択することで、ユーザのその時々の興味を推定した、適切なコンテンツを選出することができる。

また、選択された映像を、重要ではないシーンの長さに合わせてダイジェストに編集し、再生することにより短時間で選択された映像の概要を知ることができる。

以下、本発明の実施の形態を図示例と共に説明する。
図１は、本発明の一実施形態にかかる映像合成装置の概略構成を示した機能ブロック図である。

図１の映像合成装置１００は、映像入力部１０１から得られた映像とその映像に付随する付属情報から、その映像の特徴を検出する映像特徴検出部１０２、得られた映像特徴から映像各シーンの重要度を計算する重要度計算部１０３、計算された重要度から、重要度の低いシーン区間を特定する非重要シーン特定部１０４、記録部１０５に既に録画記録された映像とその映像特徴から、入力映像と録画済映像の特徴相関を計算し、入力映像に相関のある映像を録画済映像から選択する録画済映像選択部１０６、選択された録画済映像、その映像特徴と非重要シーン特定部１０４から得られた非重要シーン区間情報を受け取ってダイジェストを作成するダイジェスト作成部１０７、放送コンテンツと録画済コンテンツのダイジェストから動画像出力部１０８上の画面表示を切り替える映像合成部１０９とを含んで構成される。

一般に、ある映像を視聴する際、ユーザは常にその映像に集中しているわけではない。コマーシャル中や単調なシーンなど、一般的にあまり重要とされないシーンにおいて、ユーザは視聴中の映像に対する興味を一時的に失ってしまう。

本発明では、ユーザが主として視聴している映像（以下、「主映像」という）の各シーンの重要度を計算し、閾値を用いて重要度が低いと判断されたシーンに合わせて、蓄積された映像の中から、現在のユーザの興味を推定した適切な映像（以下、「副映像」という）を選択し、その副映像自身または副映像を再編集したダイジェストを再生する。

ここで、本発明における重要度とは、映像内各シーンの視聴する価値を示す指標とする。ここで、主映像と副映像は同時に再生されるため、副映像を視聴している間、主映像の内容が全く把握できなくなるようなことはない。
更に、ユーザの興味が高いと推定される映像を副映像として選択することで、ユーザは飽きること無く映像視聴を行うことが出来る。

以下に、図１各部の詳細を示す。
まず、映像特徴検出部１０２の動作を説明する。

映像特徴検出部１０２は、映像から様々な情報を取得し、映像全体、またはシーンごとの特徴を検出するブロックである。ここで得られた映像特徴は、録画済映像選択部１０６と重要度計算部１０３に伝達され、視聴の映像と類似または関連した映像の検索や、映像の重要度を計算するのに利用される。録画済映像選択部１０６と重要度計算部１０３の詳細については後述する。

映像特徴検出部１０２で映像特徴を検出する為に、映像自体から得られる情報乃至は映像に付属する情報を利用できる。
映像自体から得られる情報の例としては、画像情報、音声情報または字幕情報など、映像に付属する情報としてはＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）、映像に付されたタグ情報などが挙げられる。

これら映像情報から得られる映像特徴の例として、画像情報から得られるシーン切替位置や色ヒストグラム情報、エッジ情報、テロップ情報、動きベクトル情報、音声情報から得られる音声レベルや発話位置、背景音楽（ＢＧＭ）情報、ＥＰＧやタグ情報から得られるタイトル、ジャンル情報、出演者、録画日時などの重要キーワードが挙げられる。

映像特徴はシーンごとに求められるものであって、映像入力部１０１から得られる入力映像が放送中の映像であった場合、リアルタイムに処理しなければならないが、映像入力部１０１からの入力映像が録画済の映像、即ちユーザの視聴開始前に映像全体が既知であった場合、事前に処理しておくことが可能である。この場合、映像特徴を事前に検出し、記録部１０５に記録しておく構成としても良い。

重要度計算部１０３では、映像特徴検出部１０２から得られた映像の特徴を利用し、シーンごとに重要度を計算する。

前述したように、一般にユーザは自分で興味のある映像を選択し視聴している場合でも、全ての時間その映像に集中しているわけではない。
例えば、サッカーの試合における単調なパス回しのシーンや、野球の試合における攻守交替時などの一般的に盛り上がりに欠けるシーン、バラエティや歌番組などでは好みのタレントや歌手が出演していないシーンなどはユーザが映像に対して一時的に興味を失い、その映像に集中しなくなる。

本発明では、刻々と変化する映像の各シーンから得られる複数の映像特徴を単一的乃至は複合的に利用し、シーンごとの重要度を決定する。この重要度を用いてユーザが映像に対して興味を失うシーンを推定する。

例えば、人物やテロップが出現するシーンなど、ユーザが有用な情報を取得可能なオブジェクトが多数存在するシーンでは、エッジ強度が高い領域を多く含むという特徴がある。このことから、エッジ強度を用いた重要度が考えられる。

まずエッジ強度ｅを、次式で求める。
ｅ＝ｆ(ｐ)・・・（１）

ここでｐは任意の画像の各画素における輝度であり、ｆ（ｐ）はＳｏｂｅｌやＬａｐｌａｃｉａｎに代表されるエッジ取得の為のフィルタである。
このエッジ情報ｅが事前に設定された閾値ｔを越える画素をエッジ強度が高い領域として検出し、これらエッジ強度が高い領域の出現頻度Ｎを重要度ｗとすると、次式のようになる。
ｗ＝Ｎ（ｅ）・・・（２）

また、前述のエッジ強度ｅが高い画素の集合に更にハフ変換を用いて、円や直線などの人工の幾何学的な規則性を抽出し、その出現頻度を重要度としても良い。

この他にも音声情報を用いた重要度計算も考えられる。
盛り上がったシーンのみを検出する為に、音声情報から得られる、音声レベルを重要度としても良いし、人物が会話するシーンを検出する為に、音声情報から音声区間を検出し、更に人の声の周波数特性から発話区間を特定、その出現頻度を重要度としても良い。また、モノラル音声が番組本編、ステレオ音声がコマーシャルとなっている番組の場合、この音声フォーマットの種別を利用してコマーシャルシーン区間を検出し、コマーシャルシーン区間の重要の度合いが低くなるように重要度を設定しても良い。

上記重要度作成の例では、映像を復号した後の情報を用いて重要度の計算を行ったが、勿論復号前の情報を用いて重要度を計算しても良い。例えば、映像がＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式のようなフレーム間予測符号化方式によって圧縮されていた場合、復号前の映像データから得られる動きベクトル情報を用いることによって、映像中の動きが激しい区間、即ちユーザに視覚的に刺激を与えるかどうかを重要度とすることも出来る。

また、いくつかの映像特徴を複合的に利用した重要度の計算方法も考えられる。
図２は、重要度計算の一例を示した図である。
図２を用いて、スポーツ映像を視聴中の場合の重要度計算の例を示す。
サッカーなどのスポーツ映像を視聴している場合には、ユーザが興味を持つのは、シュート、決定的なパス、ファールなど試合結果を左右するような決定的なイベントが発生したシーンであることが多く、それ以外のシーンに対しては興味が薄くなることが多い。
このことから、前記決定的なシーンを特徴付ける映像情報に対して重要度が高くなるように計算を行う。

一般的に、前記重要なイベントが発生したシーンでは以下のような映像特徴が得られる。
Ｉ．観客の歓声が大きくなることから、音声レベルが高くなる。
ＩＩ．重要なシーンを最適な角度から捉えようと様々な角度からのカメラに次々と切り替えられることが多いことからカメラ切替頻度が高い。
ＩＩＩ．得点が入ったシーンでは、画面上に文字情報が表示される。

これらの特徴から、図２（ａ）に示すように映像特徴検出部１０２から音声レベル、カメラ切り替え頻度、文字情報出現頻度を映像特徴として取得し、任意の時刻ｔでの音声レベルをｘ、時刻ｔ前後の単位時間中のカメラ切り替え頻度をｙ、時刻ｔ前後の単位時間中の文字情報出現頻度をｚとすると、係数ａ、ｂ、ｃを利用し、映像重要度ｗを以下のように計算することができる。
ｗ＝ａｘ＋ｂｙ＋ｃｚ・・・（３）

図２（ｂ）は、（３）の式により計算した例を示す。
ここで、係数ａ、ｂ、ｃは本装置に予め設定されている任意の値とする。これ以降、特に断りが無い限り、予め設定された値とは本装置で予め設定された任意の値であるとする。

一方、ドラマなどの映像においては、出演者が大きく映し出されたシーンや出演者の発話シーンにユーザに興味を抱かせるイベントが含まれていることが多いので、映像情報からシーンの切り替わりの多さ、出演者の発話の長さや回数などを映像特徴として検出し映像の重要度合いの指標とすることができる。
それ以外にも、予め好みの俳優の画像、音声などを登録しておき、パターンマッチングなどの手法で、現在のシーンに含まれる情報が事前に登録された画像、音声にマッチするかどうかを判定し、これら好みの俳優が出演しているシーンか否かを重要度の指標としても良い。

また、ニュース、情報番組などの映像では、一般にアナウンサーがメイン画面中央に配置され、発話しているシーンや、テロップが含まれるシーンにユーザにとって有益な情報が含まれる傾向がある。よって、映像情報からテロップの出現頻度や発話位置などを映像特徴として取得し、複合的に利用することで、各シーンの映像重要度を計算することが可能となる。

図２を用いた説明において、係数ａ、ｂ、ｃは予め設定されている値であるとしたが、ユーザがその視聴目的に応じて任意に決定できる係数としても良い。

例えば、ユーザが得点の入ったシーンに重きを置く場合、それらのシーンは歓声が大きく、得点が入ったことを示す文字情報が挿入されることから、音声レベルの係数ａと文字出現頻度の係数ｃを大きくすることにより、得点の入るシーンに対する重要度が高くなる。

また、ユーザが得点の有無に関わらず、試合を左右する決定的なシーン全般に対して重きを置く場合、それらのシーンでは歓声が大きく、リプレイが多く取り入れられることから、音声レベルの係数ａとカメラ切り替え頻度の係数ｂを大きくすることで、決定的なシーン全般が重要とされる重要度をユーザは得ることが出来る。

図３は、ユーザからの入力を受け付けるインターフェイスの例を示した図である。
この際のユーザからの入力は、操作入力部１１０から得るものとし、図３（ａ）に示すように、コンボボックス形式で、予め用意した複数の重要とする要素と、その係数を入力させる形式としても良い。

または、重要度計算部１０３は、映像ジャンルごとに、係数ａ、ｂ、ｃの値を設定したテーブルを備え、これを参照して重要度を計算するとしてもよい。

無論、重要度を計算する際に使用する映像特徴はいくつ使用しても良いし、映像重要度は映像特徴からのみ計算されると限定するわけではない。通常再生、早送り、巻き戻し、一時停止などの過去の操作履歴から、一時停止を行ったり、巻き戻して再度視聴したシーンには高い重要度、早送りで飛ばしたシーンについては低い重要度を設定することで、ユーザが好みとするシーンを推定することもできる。

また、ユーザの視線を計測するハードウェアなど、連携する外部機器から得られる情報を用い、ユーザがどの程度映像に集中していたかによって、映像の重要度を計算しても良い。また、前述の例以外の手段を用いても良く、上記例は重要度の計算方法を限定するものではない。

図４は、録画済の映像を入力映像とした際の重要度の様子を示した図である。
図４を用いて非重要シーン特定部１０４を説明する。
非重要シーン特定部１０４は、現在再生中の映像４０１について重要度計算部１０３から得られた重要度と閾値を用いて、副映像を再生するシーンを特定するものである。グラフ４０３は、任意のシーン区間４０２について、重要度計算部１０３で得られた映像の各シーンに対する重要度を、横軸に時間、縦軸に重要度をとってグラフ化したものである。

現在視聴中の映像が録画済のものであった場合、その映像全体４０１は既知であり、映像特徴検出部１０２で行われる特徴検出、重要度計算部１０３で行われる重要度計算処理を事前に行い、記録部１０５に記録しておくことが可能である。この事前に計算された重要度と、重要度計算部１０３に予め設定しておいた閾値４０４を用い、閾値４０４未満になるシーン区間を非重要シーン区間４０６として特定する。

図５は、非重要シーン区間決定の手法を示した図である。
ここで、重要度が得られた場合に、閾値４０４未満の区間を単純に非重要シーン区間とすると、図５（ａ）に示すような非重要シーン区間が得られる。

また、ここで得られる非重要シーン区間情報は、映像合成部１０９やダイジェスト作成部１０７に伝達され、副映像を合成表示するか否かの判断や区間長に合わせたダイジェストの作成に利用される。

このために、非重要シーンにある程度の区間長が必要とされるような場合には、図５（ａ）に示すような区間長が極端に短い区間は、非重要シーン区間として副映像を再生するのに適さないとし、更に以下のような処理を加える。

極端に短い区間を非重要シーン区間から排除する為に、本発明では図５（ｂ）に示すように、予め設定されたシーン区間最低連続時間ｍを利用し、連続時間がｍ以上である区間を非重要シーンとして特定することにする。
また、各種フィルタを用い、得られた重要度に対して平滑化等を行うことで、急激な重要度の変化を軟調化し、必要以上に裁断化されたシーン区間を取り除くこととしても良い。

一方、現在視聴中の映像が放送中の映像であって、かつ、図５（ａ）を用いて説明したような極端に区間長が短い区間を排除する必要がある場合がある。
図６は、放送中の映像を入力映像とした際の重要度の様子を示した図である。
この場合には、図６に示すように、現在時刻６０３の時点で映像全体が受信されてはおらず、当然のことながら計算可能な重要度は現在時刻６０３以前に放送された映像部分についてのみである。このため、図４を用いて前述した録画済映像の場合のように、非重要シーンがどの程度連続するかを事前に知ることが出来ない。

入力映像が放送中の映像の場合は、図５（ｃ）に示すように、予め設定したシーン区間最低連続時間ｎを用い、閾値を跨いだ時点から重要シーン区間または非重要シーン区間がｎ以上連続した場合にのみ画面表示切り替えを行うこととする。

また、放送中の映像を一旦記録部に一定時間だけ記録した後に再生を行うタイムシフト再生を行って、重要度によって特定するシーンの区間長が短い区間を排除することも可能である。
図７は、タイムシフト再生を行う場合における映像合成装置の概略構成を示した機能ブロック図である。図１と同一の符号を付した部分は同一物を表わしている。記録部７０１は、図１の記録部１０５で記録していた映像や映像特徴以外に、主映像として視聴する放送中の映像や映像特徴等も保存する。

図７に示すように、放送中の映像を記録部７０１は一定時間ｔ１記録し、映像合成部１０９に出力を行う。
また、記録部７０１は、一定時間ｔ１を待たずに、放送映像の入力があると映像特徴検出部１０２に出力を行う。この後の処理、即ち、映像特徴検出部１０２で入力映像の特徴を検出し、重要度計算部１０３で重要度を計算する処理は、図１で説明したものと同様である。

ところで、タイムシフトの一定時間ｔ１は、非重要シーン特定部１０４における図５（ｂ）で示したシーン区間最低連続時間ｍ以上になるように設定される。そこで、非重要シーン特定部１０４は、重要度計算部１０３からの閾値及び入力映像の重要度の出力を得て、重要シーン乃至は非重要シーンが最低限、時間ｍ以上連続するかどうかを、記録部７０１が映像合成部１０９に主映像となる動画像を出力する前に確かめることが可能になる。

図８は、タイムシフトを用いた重要シーン区間決定の手法を示した図である。
図８を用いて、受信した放送中の映像を一旦記録部７０１に溜め込み、ｍ≦ｔ１を満たす時間ｔ１だけタイムシフトして再生を行う際の例を具体的に示す。放送映像８０１は、一旦記録部７０１に蓄積され、時間ｔ１だけ遅れて映像合成部１０９に映像８０２として出力されるものとする。この際、時間ｔ１は非重要シーン特定部１０４におけるシーン区間最低連続時間ｍ以上であるものとする。

一方、非重要シーン特定部１０４は、重要度計算部１０３からの出力を得て処理を行い、例えば、重要度が閾値より低い非重要シーンの連続時間がｍ以上である区間を非重要シーンとして求めていく。ここで、現在時刻８０３においては、放送映像８０１がｔ１の分だけ記憶部７０１に蓄積され、映像合成部１０９にはｔ１より遅く出力されることが保証されているので、この時点で非重要シーン特定部１０４が重要シーン乃至は非重要シーンが最低限、ｍ以上連続するか否かを確かめて映像合成部１０９に非重要シーン区間情報を出力することが可能となる。即ち、放送中の映像であっても、映像から非重要シーンを抽出した際に発生する、必要以上に裁断化された重要シーン区間８０４や、必要以上に裁断化された非重要シーン区間８０５、８０６が排除され、最終的に８０２に示されるような重要シーン区間、非重要シーン区間が決定される。

上記図８を用いて示したように、現在視聴中の映像が放送中の映像に対しても、極端に区間長が短い区間を排除した重要シーン区間乃至は非重要シーン区間を求めることができる。

以上の説明では、非重要シーン特定部１０４が行う処理として、重要度計算部１０３から得られる重要度によって、映像を重要、非重要シーンに分ける例を示した。

ところで、重要度計算部１０３で得られる映像特徴から導き出された重要度（以下、「映像重要度」という）とユーザが考える重要度（以下、「ユーザ重要度」という）が一致しないことが考えられる。

例えば、カメラワークを元に、その動きが大きい（激しい）シーンを重要とする重要度が計算されている場合を考える。
前述したように、映像がサッカー中継番組だった場合には、ユーザが注目するシーンは、シュートシーンなどカメラワークの動きが大きい（激しい）シーンであり、これは映像重要度とユーザ重要度が一致する。

一方、映像が料理番組だった場合、ユーザが注目するシーンは、調理をする手元を映すシーン、材料をフリップで紹介するシーン、出来上がりの画など、主にカメラワークの動きが小さいシーンであり、映像重要度とユーザ重要度が一致しない。

図９は、非重要シーン区間の決定方法の一例を示した図である。
ここで、単純に図９（ａ）のように閾値以上のシーンを重要シーンとすると、サッカー中継番組ではユーザが注目するシュートシーンなどの重要シーンが取得できるが、料理番組においては、シーンの切り替わりなど余りユーザが重要としないシーンばかりが重要シーンと判定されてしまう。

この問題を解決するために、２種類の異なる計算手法で各々の映像重要度を計算することも考えられるが、代わりに１つの映像重要度、例えば上記の例では動きの大きいシーンを重要とするような映像重要度を求めておき、動きの小さいシーンを重要としたい場合には、図９（ｂ）に示すようにユーザ重要度の重要・非重要の評価のみを反転（閾値による指定範囲を反転）させ、映像重要度の閾値以上の区間をユーザにとっての非重要シーンとすることも考えられる。つまり、極端にカメラワークの動きが大きなシーン、即ち映像重要度がある一定以上の大きさを持つ区間のほうを、非ユーザ重要シーンと判定し、この非ユーザ重要シーンを最終的な非重要シーンとする。

以上で述べたように、重要度計算部１０３で計算されたある映像重要度に対して、ある閾値以上、ある閾値以下のいずれをユーザ重要度における重要とみなしてもよい。
これは重要度計算部１０３で計算された映像重要度の計算方法と、ユーザが重要と考えるシーンの性質との組合せに依存する。非重要シーン区間を閾値以上とするか、以下とするかは、重要度計算部１０３での重要度計算時に判断し、閾値とともに非重要シーン特定部１０４に伝えるものとする。

無論、ユーザが閾値の範囲の判断をしても良く、操作入力部１１０からの入力で判断する形式としても良い。

また、ここでは、閾値が一つであると仮定して説明をしたが、複数の閾値を用いて非重要シーンを特定するとしても良い。例えば、ｓ＜ｔの関係を満たす閾値ｓ、ｔが存在するときに、閾値ｓ以上かつ閾値ｔ未満や、閾値ｓ未満または閾値ｔ以上など、複数の閾値を用いた閾値処理により非重要シーン区間を決定しても良い。

また、これらの閾値はユーザからの入力を操作入力部１１０から受け取るものとしても良い。ユーザの入力は図３（ｂ）に示すように、閾値となる値を入力させる形式としても良いし、図３（ｃ）に示すように、先に計算された重要度のグラフを表示し、グラフ上での閾値を視覚的に選択させる形式としても良い。

次に録画済映像選択部１０６の動作を示す。
現在視聴中の映像に関する映像特徴は、映像特徴検出部１０２より録画済映像選択部１０６に伝えられ、録画済映像の中から適切な副映像を記憶部１０５より選び出す。

ユーザが現在視聴している主映像は、ユーザが自ら選択し、視聴しているものであるから、ユーザは今現在、主映像に関連するまたは主映像に相関のある映像に興味を持っていると考えられる。そこで、主映像に相関や関連が高いものを副映像として選出することで、ユーザの興味を引く映像を選択することが可能になる。

更に、この副映像を検出する条件として、直前までユーザが視聴していた重要なシーンから得られる映像特徴を加えることにより、ユーザの今現在の興味をより適切に推定したシーンを検出することが出来る。

この場合、非重要シーン特定部１０４から重要シーンの区間情報が映像特徴検出部１０２に出力され、映像特徴検出部１０２から、該重要シーンの区間情報の特徴情報が録画済映像選択部１０６へ伝達される。
また、映像特徴検出部１０２は、特徴情報を時間情報とともに、記憶している必要がある。

現在視聴中の主映像と副映像の相関は、先に映像特徴検出部１０２で得られた映像特徴、またはそれに付随する情報の相関から得られる。ここで、副映像の映像特徴は、副映像の記録時または記録後に、映像特徴検出部１０２を用いて取得され、記録部１０５に記録されているものとする。これら相関の例としては、音声レベル、使用音楽、映像ヒストグラム、動きベクトル、ＥＰＧから得られるジャンル情報、出演者情報、タイトル情報、スポンサー情報、録画日時情報などが挙げられる。

以下にユーザが主映像を視聴している際に相関の高い映像を取得する例を、図４を用いて示す。

図４は、上記でも説明したように、過去に録画した映像の状態を示す図である。
過去に録画した映像４０１内のある区間４０２に注目し、その区間の重要度をグラフ化したものが４０３であるが、設定された閾値４０４から決定された非重要シーン区間４０６に再生する副映像を選びたい。

録画済映像選択部１０６では、ＥＰＧ情報のような映像に付随の情報の他に、この非重要シーン区間４０６直前の重要シーン区間４０５に含まれる映像情報を用いて相関を計算することにより、適切な副映像を選択する。

図１０は、映像に付随する情報の例を示した図である。
例えば、図１０に示すような映像群から、ユーザがバラエティ番組である映像Ｂを選択し、視聴しているとする。このとき、これら映像に付随する情報のみを用いて関連する副映像を選択した場合、同一のジャンルに分類されている映像Ｄや、同一の出演者が出演している映像Ａが選択される。

しかし、一般的に映像は複数の異なるシーンから成り立っているものであって、これら映像単位で計算した相関では、各々のシーンに適切な、即ちユーザの今現在の興味を良く推定した映像の選択が出来ない。

これに対し、本発明では、直前の重要シーンの特徴を利用することにより、現在のユーザの興味を良く推定した映像の選択を可能とする。

図１１は、入力映像を重要シーンと非重要シーンに分別した後の様子を示した図である。
今、図１１に示すように、映像Ｂ１１０１内に非重要シーン１１０４、１１０５が含まれていたとする。また、非重要シーン１１０４、１１０５各々の直前の重要シーンが、漫才を行う重要シーン１１０２と、出演者がサッカー対決を行うという重要シーン１１０３であったとする。このとき非重要シーン１１０５では直前の映像特徴が以下のようになる。
Ｉ．全体的に画面を占める領域が芝であることが多いことから、映像の色分布が緑に偏る。
ＩＩ．フィールド上の白色線で構成された、フィールドが存在する。
ＩＩＩ．フィールド上に、複数のオブジェクト（プレイヤー）が存在する。これらは、色によって主に２種類（チームごと）に分類される。
ＩＶ．上記オブジェクトより小さく、円形をしたオブジェクト（ボール）が存在し、このオブジェクトが画面の中心にあることが多い。
以上のような画像特徴を持つことから、同様の特徴を持つ映像にユーザの今現在の関心があると考え、図１０に示される映像群からこれらの特徴と同様の特徴を持ち、相関が高い映像Ｆを選択する。

このように、非重要シーン直前の重要シーンから特徴を検出し、これを利用した相関を計算することで、シーンごとに適切な副映像を選択することが可能となる。

相関を得る手法としては、他にも、この直前の重要シーンに含まれる字幕情報から、重要なキーワードを抽出し、マッチする映像を選出しても良いし、映像情報中の人物が大きく映るシーンからパターンマッチングによって同一の出演者が含まれる映像を選出しても良い。また、音声情報から、同様の背景音楽（ＢＧＭ）を使用している映像などを選出しても良い。

次に、図４を用いて以下にダイジェスト作成部１０７の動作の例を示す。
このブロックでは非重要シーン特定部１０４で得られた非重要シーン区間、記録部１０５に記録された映像特徴はダイジェスト作成部１０７に伝えられ、録画済映像選択部１０６で選択された映像について、各シーンに合わせたダイジェスト作成を行う。

ダイジェスト作成部１０７では非重要シーン特定部１０４から受け取った非重要シーン連続時間情報から、この時間に合わせた長さのダイジェストを作成する。

録画済映像を主映像として視聴する際には映像全体４０１が既知であり、映像特徴検出部１０２で行われる特徴検出、重要度計算部１０３で行われる重要度計算処理を事前に行い、記録部１０５に記録しておくことが可能である。
前述したように、この事前に計算された重要度を用いて、非重要シーン特定部１０４では、非重要シーン区間４０６がどの程度連続するかを事前に知ることができ、ダイジェスト編集部１０７ではこの非重要シーン区間の連続時間に合わせたダイジェストを作成する。

時間に合わせたダイジェストを作成する為には、例えば、設定されたダイジェスト再生時間に合わせてダイジェストの作成を行うことを可能とする特許番号３６４０６１５に示されるような技術を用いてもよいし、その他の技術を用いても良い。

一方、現在放送中の映像を視聴している場合、映像全体を事前に知ることが出来ない為、非重要シーン特定部の説明で図４を用いて述べたように、非重要シーンの開始点（ダイジェスト再生開始点）から、非重要シーンの終了点（ダイジェスト再生終了点）がいつ発生するかは事前に知ることは不可能である。この為、連続再生可能な時間に合わせての副映像をリアルタイムに作成することが出来ない。

そこで、以下の方法により、ダイジェスト作成を行うこととする。
まず、予め副映像の中から数秒程度にカットしたハイライトシーンをいくつか選択しておく。ここで、ハイライトシーンとは、先に重要度計算部１０３で計算された重要度が特に高いシーンであり、音声の盛り上がり、シーンの切り替わり、人が中心に映っているシーンなど、主にユーザに興味を抱かせるイベントが起きたシーンを指すものとする。これらのハイライトシーン群を重要度計算部１０３で計算される重要度が高い順や、元の映像の時間軸に沿った順に、非重要シーンの終了点に到達するまで再生することで、ダイジェストを実現する。非重要シーンの終了点に到達した際に、再生途中であったダイジェスト映像は、途中で終了するものとしてもよいし、ダイジェスト映像が再生終了するまで非重要シーン終了点を延長するようにしてもよい。

映像合成部１０９は、非重要シーン特定部１０４からの指示を受けて、動画像出力部１０８の表示を切りかえる。非重要シーン特定部１０４で重要と判断されたシーンでは主映像のみの表示とし、非重要と判断されたシーンでは、主映像と合わせてダイジェスト編集部１０７で作成された副映像を再生する。

図１２は、映像を多重化する際の具体例を示した図である。
表示方式としては図１２に示すように、メイン画面（図１２（ａ））を縮小し、空いたスペースにダイジェストをひとつ乃至は複数表示しても良いし（図１２（ｂ））、Ｐ ｉｎ Ｐ（Ｐｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ）形式でメイン画面とダイジェストを同時に表示（図１２（ｃ））しても良い。
また、ダイジェストに加えて、タイトルなどの基本情報や関連するキーワード情報などのテキストデータを表示（図１２（ｄ））しても良い。

また、出力される音声に関しては、主映像と副映像が同時に再生されている際は、主映像乃至は副映像どちらかひとつの音声を消音とし、もう片方音声のみを再生させるようにしても良い。他にも、主映像の重要度が低いと判断されている間は、主映像の音声を弱音とし、副音声の音声を多重化して再生させるようにしても良い。

以下に映像視聴時におけるユーザの特殊操作について述べる。
副映像のダイジェスト再生中、ユーザのその映像への興味に応じ、リモコン等の入力装置から特定の操作をすることが可能である。
ダイジェストとして再生された映像に興味を持った場合は、入力装置から“興味有り”といったような信号を送ることで、後に見る映像の候補とするためのブックマーク登録を記憶部１０５に行う形式としても良い。
逆にダイジェストとして再生された映像に興味がない場合は、その映像をそのまま記憶部１０５の消去リストに加える形式としても良い。

また、現在視聴中の映像とダイジェストで流れた映像を入れ替えて視聴する形式としても良い。

尚、本発明の映像合成装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

本発明の一実施形態にかかる映像合成装置の概略構成を示した機能ブロック図である。 本発明の一実施形態にかかる映像合成装置において重要度計算の一例を示した図である。 本発明の一実施形態にかかる映像合成装置においてユーザからの入力を受け付けるインターフェイスの例を示した図である。 本発明の一実施形態にかかる映像合成装置において録画済の映像を入力映像とした際の重要度の様子を示した図である。 本発明の一実施形態にかかる映像合成装置において非重要シーン区間決定の手法を示した図である。 本発明の一実施形態にかかる映像合成装置において放送中の映像を入力映像とした際の重要度の様子を示した図である。 本発明の一実施形態にかかる映像合成装置の概略構成を示した機能ブロック図である。 本発明の一実施形態にかかる映像合成装置において、タイムシフトを用いた重要シーン区間決定の手法を示した図である。 本発明の一実施形態にかかる映像合成装置において非重要シーン区間の決定方法の一例を示した図である。 本発明の一実施形態にかかる映像合成装置において映像に付随する情報の例を示した図である。 本発明の一実施形態にかかる映像合成装置において入力映像を重要シーンと非重要シーンに分別した後の様子を示した図である。 本発明の一実施形態にかかる映像合成装置において映像を多重化する際の具体例を示した図である。

符号の説明

１００、７００ 映像合成装置
１０１ 映像入力部
１０２ 映像特徴検出部
１０３ 重要度計算部
１０４ 非重要シーン特定部
１０５、７０１ 記憶部
１０６ 録画済映像選択部
１０７ ダイジェスト作成部
１０８ 動画像出力部
１０９ 映像合成部
１１０ 操作入力部
４０１、６０１ 映像の全区間
４０２ 任意区間
４０４、６０６ 閾値
４０５、４０７、６０７ 重要シーン区間
４０６ 非重要シーン区間
６０２ 放送済区間
６０３、８０３ 現在放送位置
６０４ 未放送区間
６０８ ダイジェスト再生開始点
６０９ ダイジェスト再生終了点
８０１ 放送映像
８０２ シフト出力映像
８０４、１１０２、１１０３ 重要シーン
１１０１ 映像Ｂ
８０５、８０６、１１０４、１１０５ 非重要シーン

Claims (11)

1. 放送または記録されている少なくとも２つの映像を合成して表示する映像合成装置であって、
   前記映像内の各シーンに対応する特徴情報を検出する特徴検出部と、
   前記映像および／または前記特徴情報を記録する記録部と、
   前記特徴情報に基づいて第１の映像の各シーンに対する重要度についての指標の値を計算する計算部と、
   第２の映像を選択する映像選択部と、
   前記指標の値に基づいて前記第２の映像を合成する前記第１の映像内のシーンを特定するシーン特定部と、
   前記シーン特定部で特定された前記第１の映像内の当該シーンに前記第２の映像を合成する映像合成部と、を具備することを特徴とする、映像合成装置。
2. 前記映像選択部は、前記特徴情報に基づいて、前記第２の映像として、前記第１の映像に類似または関連した映像を検出して選択することを特徴とする、請求項１に記載の映像合成装置。
3. 前記映像選択部は、前記第１の映像のシーンごとあるいは連続するシーングループごとの前記特徴情報に基づいて前記第２の映像を選択することを特徴とする、請求項２に記載の映像合成装置。
4. 前記映像選択部が前記第２の映像を選択するための前記特徴情報は、前記シーン特定部で特定された前記第１の映像内のシーンの直近の前記指標の値が高いシーンあるいはシーングループから得られる前記特徴情報とすることを特徴とする、請求項３に記載の映像合成装置。
5. 前記第１の映像は放送中の映像であり、前記第２の映像は装置内に記録されている映像であることを特徴とする、請求項１から請求項４までのいずれか１つに記載の映像合成装置。
6. 前記第１の映像および前記第２の映像は共に、装置内に記録された映像であることを特徴とする、請求項１から請求項４までのいずれか１つに記載の映像合成装置。
7. 前記特徴情報は、映像中で刻々と変化する映像情報、音声情報、テキスト情報を含むことを特徴とする、請求項１から請求項６のいずれか１つに記載の映像合成装置。
8. 前記シーン特定部は、前記指標の値に対して閾値処理を行うことで、前記第２の映像を合成する前記第１の映像内のシーンを特定することを特徴とする、請求項１から請求項７のいずれか１つに記載の映像合成装置。
9. 前記計算部は、前記閾値を設定し、前記指標の値とともに、前記シーン特定部に出力することを特徴とする、請求項８に記載の映像合成装置。
10. 前記計算部は、第１の映像シーンの種別により前記閾値の選択域の情報を反転させることを特徴とする、請求項９に記載の映像合成装置。
11. 前記映像合成部は、選択した前記第２の映像を、前記シーン特定部で特定された前記第１の映像内のシーンの連続時間長さに合わせたダイジェスト映像として編集することを特徴とする、請求項１から請求項１０のいずれか１つに記載の映像合成装置。

Images