JP2010154053A - 映像処理装置、映像処理方法並びにプログラム - Google Patents

Abstract

【課題】 字幕データの一覧中から映像データに対応する字幕データを参照することができることを可能とする。
【解決手段】 本発明の関わる映像処理装置は、映像データと字幕データを表示手段に表示させる映像処理装置であって、映像データを入力する入力手段と、前記入力手段に入力された映像データから、字幕データ、及び、該字幕データと映像データとを対応付ける時刻情報とを抽出する抽出手段と、前記表示手段に表示させる映像データと前記抽出手段によって抽出された前記時刻情報に基づいて、前記表示手段に表示させる前記字幕データの一覧を作成し、該字幕データの一覧中の該映像データに対応づけられている字幕データを他の字幕データと識別可能に制御する制御手段と前記映像データと、前記制御手段によって作成された字幕データの一覧とを前記表示手段に出力する出力手段とを備える。
【選択図】 図１

Description

本発明は、映像データと字幕データを連動させてディスプレイ等に表示させる映像処理装置に関する。

従来の映像処理装置では、表示されている映像データに対し、早送り再生／巻き戻し再生やチャプター単位の移動を行うことで映像データの参照を行うことができる。また、字幕データを表示させることが可能な映像処理装置においては、字幕データの一覧を表示して、字幕データの一覧中の字幕を選択することにより、該字幕データに関連付けられた映像データを静止画として表示することができる。更に表示した静止画に対して再生操作を行うことができる。（特許文献１参照）
特開２００６−２４５９０７号公報 特開２００２−３５１３８２号公報

しかしながら、従来は字幕データの一覧を表示するのみであり、再生している映像データに合わせて、前記映像データに関連付けられた字幕データの位置を前記字幕データの一覧から把握できないという問題があった。すなわち、音声を出力できない環境において映像データを再生する場合や、音声を感じる能力の低いユーザが視聴する場合に、映像データに対応する情報（字幕データや音声データ）を得ることができない。また、映像データ中に映像データに対応する情報がないシーン（例えば風景のみの映像再生）が存在する場合には、そのシーンに字幕データがないことを視認することができない。また、そのようなシーンを表示するために、対応する字幕データに対する操作で前記シーンの映像データを表示することができない。

本発明は上述した問題を解決するためになされたものであり、字幕データの一覧中から映像データに対応する字幕データを参照することができることを可能とする画像処理装置および画像処理方法を提供することを目的とする。

上記問題を解決するために、本発明の関わる映像処理装置は、映像データと字幕データを表示手段に表示させる映像処理装置であって、映像データを入力する入力手段と、前記入力手段に入力された映像データから、字幕データ、及び、該字幕データと映像データとを対応付ける時刻情報とを抽出する抽出手段と、前記表示手段に表示させる映像データと前記抽出手段によって抽出された前記時刻情報に基づいて、前記表示手段に表示させる前記字幕データの一覧を作成し、該字幕データの一覧中の該映像データに対応づけられている字幕データを他の字幕データと識別可能に制御する制御手段と前記映像データと、前記制御手段によって作成された字幕データの一覧とを前記表示手段に出力する出力手段とを備える。

本発明によれば、字幕データの一覧中の、映像データに対応する字幕データを他の字幕データと識別可能に制御することで、映像データに対応する字幕データを参照することができる。また、映像データ中に音声データ／字幕データがないシーンが存在する場合には、そのシーンに字幕データがないことを示す情報を字幕データの一覧に表示することによって、音声データ／字幕データがないシーンを視認できる。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は本発明の実施形態１に係る映像処理装置の主要部を示すブロック図である。

図１において、データ入力部１０１に字幕データを含む映像データが入力される。本実施形態において映像データとは、ＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）で伝送されたデータストリームであるが、これに限定されない。抽出部１０２は入力された映像データから字幕データを抽出する。また抽出部１０２は字幕データと映像データとを対応付ける時刻情報を抽出する。蓄積部１０６は入力された映像データを蓄積する。制御部は管理情報生成部１０３と表示制御部１０４で構成され、管理情報生成部１０３は、抽出部１０２によって抽出された字幕データと時刻情報から管理情報を生成する。表示制御部１０４はディスプレイ等に表示する字幕データの一覧（字幕一覧）を生成し、再生される映像データと時刻情報に基づいて、字幕一覧中の対応する字幕を強調表示する。データ出力部１０５は、映像データと字幕一覧をディスプレイ等に出力する。受信部１０７はリモコンやマウス等の入力機器からユーザの再生指示を受信する。

図２は、本実施形態の映像処理装置の処理手順を説明するフローチャートである。

Ｓ２０１において、データ入力部１０１に字幕データを含む映像データが入力される。Ｓ２０２において、抽出部１０２は、入力された映像データから、字幕データ並びに字幕データと映像データとを対応付ける時刻情報を抽出する。時刻情報は、データストリーム中のＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）ヘッダから読み出すことができる。

Ｓ２０３において、管理情報生成部１０３は抽出部１０２によって抽出された字幕データと時刻情報から管理情報を生成する。図３に生成された管理情報の例を示す。テーブル３０１には映像データの時刻情報と字幕データとが対応付けられている。例えば字幕データ「Ｈｈｈｈ」（３０２）は映像データの再生時刻である０：１０〜０：３０に対応している。また、黒く塗りつぶされた領域３０３は、映像データの再生時刻である０：４０〜０：５０には字幕データが存在しないことを示している。例えば風景のみの映像であった場合などである。字幕データが存在しない時刻に対応する字幕データは、黒く塗りつぶす代わりに、「字幕なし」などの字幕が存在しないことを示す情報（第２の字幕データ）に置き換えてもよい。

次にＳ２０４において、抽出部１０２によって字幕データと時刻情報が抽出された映像データは映像データ蓄積部に蓄積される。Ｓ２０５において、表示制御部１０４は字幕データの一覧のリストを作成し、字幕一覧と映像データを出力部１０５を介してディスプレイ等に表示させる。出力部１０５は映像データ、字幕一覧等をディスプレイに出力する。

図４はディスプレイに表示される映像データと字幕一覧のインターフェース４０１である。４０２は映像表示領域、４０３は映像操作領域、４０４は字幕一覧、４０５は映像データに対し字幕データが存在しないことを示している。４０６は現在再生されている映像データに対応する字幕データを示している。ユーザは映像操作領域をリモコンやマウスなど利用して操作することで、映像データの再生や早送りなどの操作が可能である。またユーザが字幕一覧を操作することで、指定した字幕に対応する映像データが映像表示領域に表示される。

Ｓ２０６において、表示制御部１０４は再生されている映像データに対応する字幕データを、Ｓ２０３において作成した管理情報を参照することで特定する。そして、表示されている字幕データの一覧から特定した字幕データを強調表示する。強調表示は例えば字幕データの表示色を変更する、太字にする、もしくは図４の４０６に示される様に、字幕データとその背景を反転表示してもよい。また、本発明のおいては、強調表示に限らず、他の字幕データと識別可能な状態であればよい。

Ｓ２０６は映像データの再生が終了するまで実行される。つまり、映像データが通常再生される間は、字幕一覧中の字幕データの強調表示は順次字幕一覧の下方に移動していく。また映像データの一画像が静止画として表示されている時においても、その静止画に対応する字幕データが強調表示される。

Ｓ２０７において、制御部１０４は、受信部１０７からユーザの字幕一覧に対する指示を受け付ける。指示があった場合には、管理情報を参照し、指示があった字幕データに対応する映像データを表示させる。この際に、指示があった字幕データに対応する映像データの最初の静止画を表示してもよいし、指示があった字幕データに対応する映像データのサムネイルを複数枚表示してもよい。

図５にサムネイルを複数枚表示する例を示す。図５においては、ユーザの指示により字幕一覧中の字幕「Ｍｍｍｍｍ」（５０１）が指示された場合、制御部１０４は管理情報を参照し、字幕「Ｍｍｍｍｍ」（５０１）に対応する映像データを特定し、その映像データから複数の画像を選択しサムネイルとして映像データ表示部５０２に表示させる。なお、画像の選択は任意でもよいし、シーンチェンジ画像でもよい。また、表示された複数のサムネイル画像の何れかをユーザが選択することによって、図４に示したような一画面表示を行うことができ、映像が再生される。

最後にＳ２０８において、映像データの表示が終了すると処理を終了する。

このように、実施形態１においては、字幕一覧から、映像データに対応する字幕データを強調表示することで、映像データに対応する字幕データを参照することが可能になる。また、映像データ中に音声データ／字幕データがないシーンが存在する場合には、そのシーンに字幕データがないことを示す情報を字幕データの一覧に表示することによって、音声データ／字幕データがないシーンを視認することが可能になる。

＜実施形態２＞
実施形態１では、字幕一覧がリストとして表示される例を示したが、本実施形態においてはその字幕一覧の行間を、字幕データが表示される時間の長さに基づいて変更する。本実施形態２に係る映像処理装置の主要部を示すブロック図は図１と同様なので省略する。

図６は、本実施形態の映像処理装置の動作を説明するフローチャートである。実施形態１と処理を同一とする処理については説明を省略する。

Ｓ６０１において、表示制御部１０４は字幕データと時刻情報に基づいて、各字幕データ（字幕が存在しないことを示す情報も含む）が表示される時間の長さを計測し、比較する。次にＳ６０２において、比較結果に基づいて字幕一覧を作成する。具体的には、字幕一覧を表示できる最大領域（スクロールバーを操作することにより表示可能となる領域を含む）を各字幕データが表示される長さの比率に基づいて各字幕データに割振る。

図７はこの処理によってディスプレイに表示されるインターフェースの例である。字幕一覧７０１は字幕データが表示される長さに応じて行間が異なっている。つまり、表示時間が長い字幕データほど、その行間は長くなる。

このように、実施形態２においては、実施形態１の効果に加えて、字幕一覧から、その字幕データが表示される映像データの長さが視認でき、字幕一覧から映像データの構成等が把握できる。

＜その他の実施形態＞
図８は、本実施形態における映像処理装置のハードウェア構成を示す図である。この例では、ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、ハードディスク８０４、入力部８０５、表示部８０６、通信Ｉ／Ｆ８０７がバス８０９に接続されている。ＣＰＵ８０１はＲＯＭ８０２に格納されているプログラムに従って上述した処理を実行する。ＲＡＭ８０３はＣＰＵ８０１が処理を実行時に使用される作業領域や各種テーブルなどを含むメモリである。入力部８０５はカメラなどの画像入力を行う。出力部８０６はディスプレイなどの画像出力を行う。そして、通信Ｉ／Ｆ８０７はネットワーク８０８との間でデータ通信を制御する。

尚、本発明は複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用しても良い。

また、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行する。これによっても、本発明の目的が達成されることは言うまでもない。

この場合、コンピュータ読み取り可能な記録媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。

このプログラムコードを供給するための記録媒体として、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、次の場合も含まれることは言うまでもない。即ち、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理により前述した実施形態の機能が実現される場合である。

更に、記録媒体から読出されたプログラムコードがコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理により前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

実施形態１における映像処理装置の主要部を示すブロック図 実施形態１における映像処理手順を示すフローチャート 管理情報を示す図 実施形態１のインターフェースの例 実施形態２における映像処理手順を示すフローチャート 実施形態１のインターフェースの変形例 実施形態２のインターフェースの例 その他の実施形態における映像処理装置のハードウェア構成を示す図

Claims (7)

1. 映像データと字幕データを表示手段に表示させる映像処理装置であって、
   映像データを入力する入力手段と、
   前記入力手段に入力された映像データから、字幕データ、及び、該字幕データと映像データとを対応付ける時刻情報とを抽出する抽出手段と、
   前記表示手段に表示させる映像データと前記抽出手段によって抽出された前記時刻情報に基づいて、前記表示手段に表示させる前記字幕データの一覧を作成し、該字幕データの一覧中の該映像データに対応づけられている字幕データを他の字幕データと識別可能に制御する制御手段と
   前記映像データと、前記制御手段によって作成された字幕データの一覧とを前記表示手段に出力する出力手段と、
   を備えることを特徴とする映像処理装置。
2. 前記制御手段は更に、
   前記抽出手段によって抽出された時刻情報から映像データと字幕データとが対応付けられた管理情報を生成する生成手段とを備え、
   前記制御手段は、前記生成手段によって作成された前記管理情報に基づいて前記表示手段に表示させる前記字幕データの一覧を作成し、該字幕データの一覧中の該映像データに対応づけられている字幕データを他の字幕データと識別可能に制御することを特徴とする請求項１に記載の映像処理装置。
3. 前記生成手段は、前記映像データに対応する字幕データが存在しない場合に、該映像データと該映像データに字幕データが存在しないことを示す第２の字幕データとを対応づけた管理情報を生成することを特徴とする請求項２に記載の映像処理装置。
4. 前記制御手段は、字幕データに対応する映像データの表示時間の長さに基づいて、前記表示手段に表示させる前記字幕データの行間を変更することを特徴とする請求項１に記載の映像処理装置。
5. 映像データと字幕データを表示手段に表示させる映像処理方法であって、
   映像データを入力する入力工程と、
   前記入力工程に入力された映像データから、字幕データ、及び、該字幕データと映像データとを対応付ける時刻情報とを抽出する抽出工程と、
   前記表示手段に表示させる映像データと前記抽出工程によって抽出された前記時刻情報に基づいて、前記表示手段に表示させる前記字幕データの一覧を作成し、該字幕データの一覧中の該映像データに対応づけられている字幕データを他の字幕データと識別可能に制御する制御工程と
   前記映像データと、前記制御工程によって作成された字幕データの一覧とを前記表示手段に出力する出力工程と、
   を備えることを特徴とする映像処理方法。
6. 請求項５に記載の映像処理方法をコンピュータに実行させるプログラム。
7. 請求項６に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images