JP4469905B2

JP4469905B2 - テロップ収集装置およびテロップ収集方法

Info

Publication number: JP4469905B2
Application number: JP2008170971A
Authority: JP
Inventors: 孝志笠野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-06-30
Filing date: 2008-06-30
Publication date: 2010-06-02
Anticipated expiration: 2028-06-30
Also published as: JP2010011332A; US20090322943A1; US7876381B2

Description

本発明はテレビ番組の映像に時系列的に組み込まれたテロップを収集するテロップ収集装置およびテロップ収集方法に関する。

テレビ放送などの映像コンテンツでは、様々なテロップが番組映像の一部として放送されている。例えばニュース番組の場合には、話題毎に見出しをテロップで送出している。

記録した映像の内容を簡単に素早く把握するための技術として、従来、番組の視聴中に現れるテロップを収集して表示する技術が知られる（例えば特許文献１を参照）。この技術は、シーンチェンジの間隔と出現時間から話題毎の見出しとなるテロップを推定する。また、例えば番組のジャンル毎に重要単語のデータベースを用意し、テロップの文字認識により得られる文字列をデータベースにおいて検索し、ユーザにとって有用な文字列を含む見出しのテロップだけを一覧表示としてユーザに提供することが可能である。
特開２００５−３３９５３７号公報

しかしながら、上述の技術は見出しとなる文字列以外の文字列に対する取り扱いについて十分考慮されていない。見出しとなるテロップ以外にもユーザーにとって有用なテロップが数多く含まれている。

本発明の目的は、収集されるテロップをユーザにとって有用なカテゴリ別にまとめることが可能なテロップ収集装置およびテロップ収集方法を提供することにある。テロップをカテゴリ別にまとめることで、映像の内容を把握することや、映像の情報を再利用することに役立つ。例えば、料理番組では用意する食材や作り方がテロップとして表示される。食材のテロップや作り方のテロップといったようにカテゴリ別にまとめ、効果的に表示することで番組を改めて通して見ることを必要とせず、番組で紹介された料理を作ることができる。また、食材だけをまとめて、携帯電話に送ることで、携帯電話を見ながら買い物をすることが可能になるなど、テレビのない場所でも番組から得られた情報を活用することができる。

本発明の一観点によれば、映像情報からテロップの画像として識別されるテロップ領域を抽出する抽出部と、前記テロップ領域の文字列画像を認識して、該画像を文字列に変換する光学式文字認識（ＯＣＲ）部と、前記文字列を品詞および意味に基づいて解析するテキスト解析部と、前記テキスト解析部の解析結果に基づいて前記テロップを分類し、前記テロップの文字列をカテゴリ別に分類されたテキスト情報として蓄積する分類部と、前記テロップをカテゴリ別にまとめて表示可能な出力フォーマットを、前記映像情報のジャンルに応じて設定するフォーマット設定部と、前記フォーマット設定部で設定された出力フォーマットで、前記テロップを表示する表示部と、を備えるテロップ収集装置が提供される。

本発明の他の観点によれば、テロップを含む映像情報から、テロップの画像として識別されるテロップ領域を抽出し、前記テロップ領域における文字列の画像を光学的に認識し、該画像を文字列に変換し、前記文字列を品詞および意味に基づいて解析することによりテキスト解析し、前記テキスト解部の解析結果に基づいて前記テロップを分類し、前記テロップの文字列をカテゴリ別に分類されたテキスト情報として蓄積し、前記テロップをカテゴリ別にまとめて表示可能な出力フォーマットを、前記映像情報のジャンルに応じて設定し、前記設定された出力フォーマットで、前記テロップを表示することを具備するテロップ収集方法が提供される。

これらテロップ収集装置およびテロップ収集方法では、抽出されたテロップ領域の座標、大きさ、および配色に関する画像解析と、テロップ領域に対して文字認識を行って文字列テキストに変換し、得られた文字列テキストの品詞および意味に関するテキスト解析とが行われ、テロップがこれら画像解析およびテキスト解析の少なくとも一方の解析結果に基づいて分類され、このテロップの文字列テキストがカテゴリ別のテキスト情報として蓄積される。従って、収集されるテロップをユーザにとって有用なカテゴリ別にまとめることが可能となる。また、画像解析とテキスト解析との組み合わせから適切なテロップの分類が可能となる。

以下、本発明の一実施形態に係る録画再生装置について添付図面を参照して説明する。

図１はこの録画再生装置においてテロップを収集して表示するテロップ表示システムの構成例を示す。

このテロップ表示システムは、デジタル放送局から送られるテレビ番組の映像情報、音声情報や電子番組表（ＥＰＧ）情報等を含む放送波を受信する放送受信部１１、放送受信部１１から得られるテレビ番組の映像情報や音声情報などの動画番組コンテンツを保存するコンテンツデータ保存部１２、テレビ番組の映像情報からテロップの画像として識別されるテロップ領域を抽出するテロップ領域抽出部１３、テロップ領域の座標、大きさ、配色（文字色，背景色）、その他の画像的な特徴に関する画像解析を行う画像解析部１４、テロップ領域に対して文字認識を行って画像を文字列テキストに変換するＯＣＲ（Optical Character Reader）部１５、文字認識結果として得られる文字列テキストを単語単位に分割し、単語の品詞および意味に関するテキスト解析を行う意味解析部１６、単語の意味を保持し意味解析部１６によってテキスト解析のために参照される単語辞書１７、画像解析部１４の画像解析結果および意味解析部１６のテキスト解析結果の少なくとも一方に基づいてテロップを分類してこのテロップの文字列テキストをカテゴリ別のテキスト情報として蓄積するテロップカテゴリ分類部１８、この分類部１８の蓄積結果において出力フォーマットを設定すべきカテゴリを選択するカテゴリ選択部１９、様々なテロップに対応した分類部１８の蓄積結果に対してカテゴリ別にまとめて文字列テキストまたはテキスト画像として表示または印刷可能な出力フォーマットを設定するフォーマット設定部２０、カテゴリ選択部１９によるカテゴリ選択用にテロップカテゴリ分類部１８から得られる選択肢を表示すると共に、フォーマット設定部２０により設定された出力フォーマットでカテゴリ別にまとめて分類部１８の蓄積結果を表示するディスプレイ２１、およびフォーマット設定部２０により出力フォーマットを設定した分類部１８の蓄積結果を外部機器にメールで送信するメール送信部２２を備える。電子番組表（ＥＰＧ）情報はテレビ番組のジャンルおよび出演者等を確認するために利用可能である。また、テロップカテゴリ分類部１８には、メモリがカテゴリ別のテキスト情報や、その他の情報を格納するために設けられている。

上述のテロップ表示システムでは、放送受信部１１が各放送局から送られてきた放送波を受信信号として受信し、この受信信号を復号して映像情報、音声情報、ＥＰＧ情報等からなる番組コンテンツを取得する。この番組コンテンツはコンテンツデータ保存部１３に保存される。コンテンツデータ保存部１２は放送受信部１１で取得される番組コンテンツだけでなく、ネットワークや外部記憶媒体から取得した番組コンテンツも保存する。テロップ領域抽出部１３は番組放送中に放送受信部１１からリアルタイムに出力される番組コンテンツの映像情報あるいは番組コンテンツの読み出しに伴ってコンテンツデータ保存部１２から出力される番組コンテンツの映像情報からテロップの画像として識別されるテロップ領域を抽出する。ここで、「テロップ」とは、映像中において一定時間静止した画素配置を有し、かつ輝度および彩度等について近傍の背景と比べて大きく異なるという性質を持つ文字列の部分をさす。テロップ抽出部１３は映像情報をフレーム毎にチェックし、各フレームの画像においてテロップの画像として識別されるテロップ領域を検出した場合にこのテロップ領域を抽出し、この抽出結果を画像解析部１４に送る。抽出結果は、抽出されるテロップ領域の画像情報にこのテロップ領域の座標や出現時刻の情報を付加して構成される。

画像解析部１４は抽出されたテロップ領域の座標、大きさ、および背景色や文字色のような配色に関する画像解析を行って、この画像解析結果をテロップカテゴリ分類部１８に送る。他方、ＯＣＲ部１５は画像解析部１４で画像解析されるテロップ領域の画像から文字認識により文字列テキストを読み取る。すなわち、テロップの画像が文字列テキストに変換される。意味解析部１６は文字列テキストを形態素解析などにより単語単位に分割し、単語辞書１７を用いて、単語の品詞や人名、食材、行動、などの単語の意味を解析する。テロップカテゴリ分類部１８は意味解析部１６のテキスト解析結果および画像解析部１４の画像解析結果の両方を利用可能であり、抽出したテロップ領域のテロップを例えば「作り方」、「材料」、「人名」といった料理番組や他の番組用のカテゴリに分類し、このテロップの文字列テキストをカテゴリ別のテキスト情報として蓄積する。カテゴリ選択部１９は例えばユーザによって操作されるリモコン上にカテゴリ選択ボタンとして設けられ、テロップカテゴリ分類部１８の蓄積結果において表示したいカテゴリを選択すると、選択結果に対応するカテゴリに属するグループのテキスト情報がフォーマット設定部２０に送られる。フォーマット設定部２０はＥＰＧ情報から取得されるテレビ番組のジャンルに基づいて予め決められた出力フォーマットをテロップカテゴリ分類部１８から送られたテキスト情報のグループに対して設定する。

図２はテロップを分類するための処理手順の一例を示す。この処理は映像情報をテロップ領域抽出部１３に供給することにより開始され、上述のコンポーネンツ１３〜２１を用いて行われるものである。ステップＳ２１では、映像情報があるかチェックされる。この映像情報があれば、この映像情報から他のフレームに依存せず単独で復号できるＩピクチャ(Intra Picture)がステップＳ２２で取得され、テロップ領域の識別がこのＩピクチャの画像フレームに対してステップＳ２３で行われる。テロップ領域の識別において、テロップの出現範囲は画像フレームからテロップの特徴を基にエッジ抽出や色・輝度変化の少ない領域を検出するなどの画像処理を行うことにより特定される。テロップ領域の背景色および文字色のような配色、大きさや座標などについても検出される。続いて、ステップＳ２４でテロップ領域が識別結果に従って抽出されたかチェックされる。テロップ領域が１つも抽出されなければ、ステップＳ２１〜Ｓ２４が残りの映像情報に対して再度実行される。映像情報の終わりがステップＳ２１で検出された場合には、テロップを分類するための処理を終了する。

１以上のテロップ領域の抽出がステップＳ２４で検出された場合には、各テロップ領域の画像解析およびテキスト解析がステップＳ２５で行われ、各テロップ領域のテロップの分類が対応テロップ領域に対する画像解析の結果およびテキスト解析の結果の少なくとも一方の解析結果に基づいてステップＳ２６で行われる。テキスト解析の手法については例えば「シソーラス上での共起頻度を利用した動詞の多義解消」、「情報処理学会研究報告 Vol.96 No.114」、（1996年11月18日・19日）、内山将夫、板橋秀一著、（社）情報処理学会発行、29頁〜34頁で述べられている意味解析の手法を使うことができる。続くステップＳ２７では、各テロップ領域の文字列テキストに対するカテゴリが存在するかチェックされる。カテゴリが存在しない文字列テキストがあれば、この文字列テキストがステップＳ２８で廃棄され、カテゴリが存在する文字列テキストがステップＳ２９でカテゴリ別のテキスト情報として蓄積される。ステップＳ２９の実行後、再びステップＳ２１〜Ｓ２９が実行される。

図３は様々なジャンルのテレビ番組に対するテンプレートとしてテロップカテゴリ分類部１８に設けられたカテゴリ群の一例を示す。上述のステップＳ２７では、テレビ番組のジャンルがＥＰＧ情報から取得され、このジャンルに適合するカテゴリ群がこのテンプレートを参照して取得される。例えば料理番組では、料理名、作り方、食材などがユーザにとって有用なカテゴリとなる。ここでは、料理名、作り方、食材以外のカテゴリに属する文字列テキストはユーザにとって有用でないとみなされ、テキストカテゴリ分類部１８において蓄積されない。

図４はテロップカテゴリ分類部１８において得られる蓄積結果の一例である。テロップカテゴリ分類部１８は、テロップの文字列テキストはカテゴリ別のテキスト情報として蓄積されるが、実際には図４に示すようにカテゴリ、画像ＩＤ、出現時刻、文字列テキスト、出現領域と共に蓄積される。これにより、カテゴリを選択すれば、選択されたカテゴリに属する文字列テキストを表示すべきテロップとして特定でき、画像ＩＤからテロップの画像を特定することもできる。ここで、出現時刻はユーザの選択に従ってその出現時刻のシーンを再生するために利用できる。文字列テキストは、ＯＣＲ部１５での文字認識により得られたものであるが、これは画像として表示する際に加工や装飾を施して読み易さを向上させることができる。

図５は図４に示す処理手順で得られる表示の一例を示す。例えば料理番組というジャンルがコンテンツデータ保存部１２に保持された番組コンテンツに対してＥＰＧ情報を利用して確定されると、図５に示すようなレシピ表示用の出力フォーマットがフォーマット設定部２０で選択され、これにより料理名、材料、作り方のカテゴリに属するテロップのテキスト情報がこの出力フォーマットでディスプレイ２１上に表示される。

料理番組において様々なテロップが時系列的に現れる場合でも、リモコン操作で後から図５のようにこれらテロップの文字列テキストをまとめた一覧形式のレシピを表示させることができる。従って、ユーザがこの料理番組で紹介された料理を作る場合に、購入すべき食材や作り方の概要を確認することができる。また、レシピ表示においてテロップの文字列テキストを任意に選択すれば、このテロップが出現する時刻の動画映像を再生することもできる。また、テロップの文字列テキストは再生のインデックスに使うだけでなく、メモとして残しておいたり、携帯電話に送ることも可能である。

図６はメール送信部２２から携帯電話にレシピをメールで送信した場合に得られる表示の一例を示す。料理番組で紹介された料理を作るために買い物に行く場合、例えば材料のようなカテゴリをカテゴリ選択部１９により選択すれば、このカテゴリに属する全てのテロップのテキスト情報がフォーマット設定部２０に送られる。フォーマット設定部２０はこれらテキスト情報に対して出力フォーマットを設定し、メール送信部２２がフォーマット設定部２０から得られるテキスト情報をメールで携帯電話に送信する。携帯電話を操作して着信したメールを選択すれば、材料の一覧を表示させることができる。従って、ユーザはこの材料の一覧を見ながら買い物をすることができる。

本実施形態では、抽出されたテロップ領域の座標、大きさ、および配色に関する画像解析と、テロップ領域に対する文字認識を行って文字列テキストに変換して得られる文字列テキストの品詞および意味に関するテキスト解析とが行われ、テロップがこれら画像解析およびテキスト解析の少なくとも一方の解析結果に基づいて分類され、このテロップの文字列テキストがカテゴリ別のテキスト情報として蓄積される。従って、収集されるテロップをユーザにとって有用なカテゴリ別にまとめることが可能となる。また、画像解析とテキスト解析との組み合わせから適切なテロップの分類が可能となる。

具体的には、ユーザにとって重要性の高いカテゴリのテロップだけを収集できるため、
テレビ番組の内容を容易に把握をできるようになる。様々な種類のテロップが大量に映像に組み込まれていると、従来のようにこれらテロップを単純に一覧表示したものは、ユーザにとって有用でない場合が多い。これに対して本実施形態のテロップ表示システムはテロップをテレビ番組に適したカテゴリ群の範囲で分類し、かつ所望のカテゴリを選択できるように構成されている。これにより、ユーザが注目したいテロップのみを収集した結果を一覧表示できるようになるため有用性が向上する。

また、文字認識により得られる文字列テキストの品詞や意味に関するテキスト解析が行われる場合、解析結果のテキスト情報を自動的にレシピなどの有用な形式にして表示することが可能になるだけでなく、ユーザが番組の放送後に解析結果のテキスト情報を加工して利用することも可能になる。

尚、本発明は上述の実施形態に限定されず、その要旨を逸脱しない範囲で様々に変形可能である。
フォーマット設定部２０はカテゴリ別にまとめたテキスト情報を表示するための出力フォーマットを設定するだけでなく、例えばパソコンに送信してレシピを印刷したりするための出力フォマットを設定してもよく、これにより様々なレシピ集を作ることも可能になる。

尚、本発明の対象はデジタル放送に限定されるものではなく、ネットワーク上の映像、市販されているパッケージソフトなどでもよい。

図１は本発明の一実施形態に係る録画再生装置においてテロップを収集して表示するテロップ表示システムの構成例を示す図である。図１に示すテロップ表示システムにおいてテロップを分類するための処理手順の一例を示す図である。図１に示すテロップカテゴリ分類部に様々なジャンルのテレビ番組に対するテンプレートとして設けられたカテゴリ群の一例を示す図である。図１に示すテロップカテゴリ分類部において得られる蓄積結果の一例を示す図である。図４に示す処理手順で得られる表示の一例を示す図である。図１に示すメール送信部から携帯電話にレシピをメールで送信した場合に得られる表示の一例を示す図である。

符号の説明

１１…放送受信部、１２…コンテンツデータ保存部、１３…テロップ領域抽出部、１４…画像解析部、１５…ＯＣＲ部、１６…意味解析部、１７…単語辞書、１８…テロップカテゴリ分類部、１９…カテゴリ選択部、２０フォーマット設定部、２１…ディスプレイ、２２メール送信部。

Claims

映像情報からテロップの画像として識別されるテロップ領域を抽出する抽出部と、
前記テロップ領域の文字列画像を認識して、該画像を文字列に変換する光学式文字認識（ＯＣＲ）部と、
前記文字列を品詞および意味に基づいて解析するテキスト解析部と、
前記テキスト解析部の解析結果に基づいて前記テロップを分類し、前記テロップの文字列をカテゴリ別に分類されたテキスト情報として蓄積する分類部と、
前記テロップをカテゴリ別にまとめて表示可能な出力フォーマットを、前記映像情報のジャンルに応じて設定するフォーマット設定部と、
前記フォーマット設定部で設定された出力フォーマットで、前記テロップを表示する表示部と、
を備えるテロップ収集装置。
前記分類部は前記映像情報のジャンル毎にカテゴリ群を具備するテンプレートを具備し、前記文字列が前記テンプレート内の前記カテゴリ群のいずれにも属さない場合に、前記文字列を廃棄する請求項１に記載のテロップ収集装置。
前記フォーマット設定部により設定された出力フォーマットを具備する前記分類部の蓄積結果を外部機器に送信する送信部を更に具備する請求項１に記載のテロップ収集装置。
前記分類部の蓄積結果において、前記フォーマット設定部により出力フォーマットが設定されるカテゴリを選択するカテゴリ選択部を更に具備する請求項１に記載のテロップ収集装置。
テロップを含む映像情報から、テロップの画像として識別されるテロップ領域を抽出し、
前記テロップ領域における文字列の画像を光学的に認識し、該画像を文字列に変換し、
前記文字列を品詞および意味に基づいて解析することによりテキスト解析し、
前記テキスト解部の解析結果に基づいて前記テロップを分類し、前記テロップの文字列をカテゴリ別に分類されたテキスト情報として蓄積し、
前記テロップをカテゴリ別にまとめて表示可能な出力フォーマットを、前記映像情報のジャンルに応じて設定し、
前記設定された出力フォーマットで、前記テロップを表示することを具備するテロップ収集方法。
前記映像情報のジャンルに応じたカテゴリ群をテンプレートに設定し、前記文字列が前記テンプレートに設定された前記カテゴリ群のいずれにも属さない場合に前記文字列を廃棄することを更に具備する請求項５に記載のテロップ収集方法。
前記出力フォーマットを具備する蓄積結果を外部機器に送信することを更に具備する請求項５に記載のテロップ収集方法。
前記蓄積結果において出力フォーマットを設定すべきカテゴリを選択することを更に具備する請求項５に記載のテロップ収集方法。