JP5061774B2 - 動画像信号生成装置 - Google Patents

Description

本発明は、動画像信号生成装置に関する。
より詳細には、テレビジョン受像機などの画像表示装置でマルチ画面表示を行う際に適用される技術に関する。

今日のテレビジョン受像機には、受信する各チャンネルの現在の動画像を、画面を分割して、左上から右下へ、チャンネル番号順に表示する、いわゆるマルチ画面表示機能を備えるものが多く存在する。
ユーザは、マルチ画面を表示して、好みの番組を選択する。
なお、マルチ画面の先行技術文献として、特許文献１を示す。
特開平１０−２２９５６０号公報

従来のマルチ画面はあくまでもチャンネルの順番でのみ表示されるものが殆どであり、ユーザの嗜好に応じて並べ替えを行うものは存在しなかった。
このため、ユーザは好みの番組を放送しているチャンネルを探すために、マルチ画面に表示される全てのチャンネルに視点を配らなければならず、不便であった。
なお、ここではテレビジョン受像機でテレビジョン放送を視聴する場合を例として説明したが、テレビジョン受像機以外の画像表示装置でマルチ画面表示を行う場合にも、そのマルチ画面を構成する各分割画面の表示について同様の問題がある。

本発明はかかる点に鑑みてなされたものであり、ユーザの嗜好に即したマルチ画面を表示できるようにすることを目的とする。

上記課題を解決するための本発明は、それぞれ動画像情報を持つ複数のコンテンツをマルチ画面として表示させる動画像信号を生成させる場合に適用する。
その処理構成としては、複数のコンテンツの動画像情報を取得し、複数の動画像情報から特徴の出現を検出して、各々特徴情報を取得する。そして、その検出した特徴の出現頻度に基づいて動画像情報の順番を変更し、それら複数の動画像情報の表示位置を、変更した動画像情報の順番に基づいて配置して、表示装置に表示するための動画像信号を生成する。

動画像情報から、特徴量情報を取得する。この情報に基づいて、チャンネルなどのコンテンツの並べ替えを行い、マルチ画面内のコンテンツ配置を決定する。

本発明により、ユーザの嗜好に応じて、様々な並び順のマルチ画面を表示できる。例えばテレビジョン受像機に適用することで、多チャンネル表示のためのマルチ画面表示を良好なチャンネル配置で行うことが可能となる。

以下、本発明の実施の形態を、図１〜図１７を参照して説明する。

図１は、本実施の形態の例である、テレビジョン受像機（以下「テレビ」）及びこれを操作する赤外線リモートコントローラ（以下「赤外線リモコン」）の概略図である。
テレビ１０１は、表示部を構成するＬＣＤディスプレイ１０２と、赤外線リモコン１０３が発する赤外線を受光する赤外線受光部１０４を有する。
ＬＣＤディスプレイ１０２には、本実施形態による機能である、マルチ画面が表示されている。
マルチ画面は、ＬＣＤディスプレイ１０２を所定の分割数で区切り、受信チャンネルの内容を表示する、表示形態である。

赤外線リモコン１０３には、受信チャンネルを切り替えるチャンネルボタン１０５、音量を調節する音量ボタン１０６の他に、本実施形態による機能である、前述のマルチ画面を表示させる、チャンネル一覧表示ボタン１０７が設けられている。
マルチ画面の表示順番は、画面の左から右、上から下の順番に表示する。
チャンネル一覧表示ボタン１０７の右側には、マルチ画面をどのような順番にて表示させるかを切り替えるためのボタンが並ぶ。
「カテゴリ順」ボタン１０８は、ＥＰＧ（Electronic Program Guide：電子番組ガイド）の番組カテゴリ順に表示させるためのボタンである。
このボタンを押すと、ＥＰＧに含まれている番組カテゴリ毎にチャンネルを分類し、各受信チャンネルをカテゴリの順番に、マルチ画面の左上から右下へと並べ替えて表示する。
「テロップ頻度」ボタン１０９は、番組中に現れるテロップの出現頻度順に表示させるためのボタンである。このボタンを押すと、番組中に表示されるテロップの総出現数を、平均時間毎の出現頻度に換算した上でチャンネルを分類し、各受信チャンネルをテロップの出現頻度順に、マルチ画面の左上から右下へと並べ替えて表示する。
「シーンチェンジ」ボタン１１０は、番組中に生じるシーンチェンジの頻度順に表示させるためのボタンである。このボタンを押すと、番組中に生じるシーンチェンジ、すなわち画面の表示内容に大幅な変化が生じる状態の総出現数を、平均時間毎の出現頻度に換算した上でチャンネルを分類し、各受信チャンネルをシーンチェンジの出現頻度順に、マルチ画面の左上から右下へと並べ替えて表示する。
「トピック頻度」ボタン１１１は、番組中に生じるトピック画面の出現頻度順に表示させるためのボタンである。このボタンを押すと、番組中に生じるトピックの総出現数を、平均時間毎の出現頻度に換算した上でチャンネルを分類し、各受信チャンネルをトピックの出現頻度順に、マルチ画面の左上から右下へと並べ替えて表示する。

「トピック」について、説明する。
一例としてニュース番組を挙げる。
ニュース番組は、常に一定の背景と、概ね同じアナウンサーがニュースを読み上げる場面と、ニュースの詳細内容を伝える現場の動画の場面の、二通りに分けられる。このうち、アナウンサーがニュースを読み上げる場面は、毎回同じ場面であるので、異なる日の同じニュース番組について、その場面の差分を採ると、差分が小さいことが予測できる。このような場面のうち、シーンチェンジを経た直後の場面を、「トピック」と呼ぶ。
この定義に基づくと、ニュース番組を始めとする、毎日或は毎週同じ曜日に放送される、定まった番組のオープニング等が、このようなトピック画面を有する番組であるといえる。

図２は、テレビのチューナ部の機能ブロック図である。
アンテナ２０２から受信した放送電波は、高周波ブースタ２０３で増幅された後、各放送チャンネル毎に、「チューナ＃１」２０４ａ、「チューナ＃２」２０４ｂ、…「チューナ＃９」２０４ｉの、九つのチューナによって復調され、各々、デジタルビデオ信号が生成される。
各チャンネル毎のデジタルビデオ信号は、各チャンネル毎に設けられている特徴量検出部２０５ａ、２０５ｂ、…２０５ｉに入力される。
特徴情報取得部ともいえる、特徴量検出部２０５ａ、２０５ｂ、…２０５ｉは、検出した特徴量データを、特徴量テーブル２０６ａ、２０６ｂ、…２０６ｉに記録する。特徴量テーブル２０６ａ、２０６ｂ、…２０６ｉは、図示しない不揮発性ストレージに設けられたファイルであり、テーブルである。
並べ替え部２０７は、各特徴量テーブル２０６ａ、２０６ｂ、…２０６ｉを読み込み、その特徴量データ毎に並べ替えを行う。
選択部２０８は、並べ替え部２０７が生成したチャンネル順データを、赤外線リモコン１０３の指示に従って選択する。
赤外線リモコン１０３の指示によって選ばれたチャンネル順データは、選択部２０８を通じてマルチ画面作成部２０９に入力される。
表示画像信号生成部ともいえるマルチ画面作成部２０９は、各チャンネル毎のデジタルビデオ信号を同時に受信し、チャンネル順データに従ってマルチ画面のデジタルビデオ信号を作成し、ＬＣＤディスプレイ１０２へ送出する。

動画像信号生成装置ともいえる、図２のチューナ部２０１は、テレビジョン放送を受信しつつ、リアルタイムでマルチ画面を生成する。

図３は、特徴量検出部２０５の機能ブロック図である。
番組カテゴリ情報抽出部３０２は、ＥＰＧから番組のカテゴリを示す情報を抜き出して、出力する。
テロップ検出部３０３は、デジタルビデオ信号中に存在するテロップの有無を検出し、テロップを発見したらその旨を示す情報を出力する。
シーンチェンジ検出部３０４は、デジタルビデオ信号におけるシーンの切り替え、すなわちシーンチェンジを検出し、その旨を示す情報を出力する。
トピック検出部３０５は、デジタルビデオ信号におけるトピックの出現を検出し、その旨を示す情報を出力する。
これら機能ブロックは、前述の赤外線リモコン１０３のボタンに対応する。

図４は、本実施形態のもう一つの実施形態である、録画装置の機能ブロック図を示す。
アンテナ２０２から受信した放送電波は、高周波ブースタ２０３で増幅された後、各放送チャンネル毎に、「チューナ＃１」２０４ａ、「チューナ＃２」２０４ｂ、…「チューナ＃９」２０４ｉの、九つのチューナによって、復調され、デジタルビデオ信号が生成される。
各チャンネル毎のデジタルビデオ信号は、周知のハードディスク装置よりなる不揮発性ストレージ４０２に、受信電波から復調したＥＰＧの情報に基づき、番組毎の動画ファイル４０３として格納される。
特徴量検出部２０５は、これら動画ファイルを読み込み、各動画ファイル毎に別個のファイルよりなる特徴量テーブル２０６を作成する。
つまり、一つの番組について、一つの動画ファイル４０３が作成され、これに基づき一つのファイルである特徴量テーブル２０６が作成される。
並べ替え部２０７は、各特徴量テーブル２０６を読み込み、その特徴量データ毎に並べ替えを行う。
選択部２０８は、並べ替え部２０７が生成したチャンネル順データを、赤外線リモコン１０３の指示に従って選択する。
赤外線リモコン１０３の指示によって選ばれたチャンネル順データは、選択部２０８を通じてマルチ画面作成部２０９に入力される。
マルチ画面作成部２０９は、各チャンネル毎のデジタルビデオ信号を同時に受信し、チャンネル順データに従ってマルチ画面のデジタルビデオ信号を作成し、ＬＣＤディスプレイ１０２へ送出する。

動画像信号生成装置ともいえる、図４の録画装置４０１の、図２のチューナ部２０１との違いは、図２のチューナ部２０１は受信機能のみを有していたが、図４の録画装置４０１は、ハードディスクレコーダとも呼ばれる、録画機能を内蔵するものである。そして、図２のチューナ部２０１では各チャンネル毎に設けられていた特徴量検出部２０５が、一つだけになっている。
これは、図２のチューナ部２０１では受信したデジタルビデオ信号について特徴量をリアルタイムで検出している動作に対し、図４の録画装置４０１では、既に録画が終了し、不揮発性ストレージ４０２に蓄積された、動画ファイル４０３を読み込むことで、特徴量テーブル２０６を放送の後から作成するものである。
つまり、図４の録画装置４０１は、放送受信途中にリアルタイムでマルチ画面を表示することは叶わないものの、時間軸を超えて番組のソート（sort：並べ替え）が可能である。

この、時間軸を越えた番組のソート機能を実現するために、赤外線リモコン１０３からは、ソート対象の番組を指定する命令が発され、選択部２０８は受信した命令を並べ替え部２０７に伝達する。並べ替え部２０７はソート対象の番組についてソートを実施する。
ソートの対象とする番組を選択する方法としては、所定の日時の範囲内に放送された番組を指定する方法と、ＥＰＧの番組カテゴリで選択する方法、特定のチャンネルを指定する方法等、様々な絞込み検索のためのタームが考えられる。
また、ソート対象となる番組の数はマルチ画面の分割数を越えることが多々ある。そこで、マルチ画面を複数回表示させることにより、ソート結果を全部表示することができる。
そして、このようなマルチ画面の複数表示機能を実現するために、赤外線リモコン１０３には、そのためのキーを要する。例えば左右矢印キー等である。

図２と図４は、その構成は若干異なるものの、特徴量抽出部の動作と、基本的なマルチ画面の表示態様については全く同じである。

［テロップ検出］
図５乃至図９を用いて、テロップ検出機能を説明する。
図５は、特徴量検出部２０５の中身のうちの一つである、テロップ検出部３０３の機能ブロック図である。実質的には、その大半がマイクロコンピュータのプログラムによって実現される機能である。
デジタルビデオ信号は、フレーム間引き部５０２によって情報量の減少が図られる。
テロップ検出や、後述するシーンチェンジ検出及びトピック検出の際、高解像度のビデオ信号は情報量が非常に多く、そのまま扱うと処理に時間が掛かる。そこで、予め情報量を減少させる処置を施すことで、特徴量検出処理のリアルタイム性を向上させるものである。
情報量を減少させる処置としては、フレームを間引いて、例えば毎秒１０フレーム程度に抑えることと、解像度を落として、フレーム自体の情報量を減少させる手法がある。フレーム間引き部５０２はこの両方を実施する。

カレンダクロック５０３は、日時情報を出力する周知のＩＣであり、多くのマイクロコンピュータ、またほぼ全てのパーソナルコンピュータ等に搭載されている。
カウンタよりなる時刻設定部５０４は、フレーム間引き部５０２から出力されたデジタルビデオ信号の各フレームについて、ｍｓｅｃ（ミリセカンド：ミリ秒）単位の日時情報を付与し、出力する。出力された日時情報は、スイッチ５０５を介して特徴量テーブル２０６に記録される。
デジタルビデオ信号は、フレーム毎にフレームバッファ５０６に、デジタルビデオデータ（以下「ビデオデータ」）として一時的に記憶される。
フレームバッファ５０６は２フレーム分設けられている。つまり、直前のフレームと、現在のフレームが格納される。
これらフレームバッファ５０６内のビデオデータは、加算器５０７によって差分データが作成される。
差分データは閾値５０８と共にコンパレータ５０９に入力され、閾値５０８と比較される。
このコンパレータ５０９の出力は、動画判定結果である。フレームバッファ５０６の差を見て、画像に動きがあるか否かを判定する。
以上説明した、フレームバッファ５０６、加算器５０７、閾値５０８及びコンパレータ５０９は、動画判定部５１０を構成する。

動画判定結果であるコンパレータ５０９の出力は、スイッチ５１１を制御する。動画と判定されると、スイッチ５１１はオンになる。スイッチ５１１はフレームバッファ５０６の現在フレーム部分に接続されており、ビデオデータがスイッチ５１１を通じて出力され、テロップ識別部５１２に与えられる。
テロップ識別部５１２は、与えられた現在フレームのビデオデータを解析して、テロップの有無と、そのテロップを構成するエッジ画像とその座標情報を出力する。

テロップ識別部５１２が出力したテロップの有無の判定結果は、フラグ変数配列５１３の現在フレームを示す領域５１３ａに与えられる。
フラグ変数配列５１３は、プログラムによってＲＡＭ内に設けられる変数であり、フレーム間引き部５０２によって間引かれたデジタルビデオ信号の、一秒分のフレーム数に相当する数の要素を備える配列変数である。一例として、本実施形態では１０個とする。
フラグ変数配列５１３は、デジタルビデオ信号のフレームの切り替わりによって、その中身が一つずつずれていく。図５中、フレームバッファ５０６と並べて記載されているのは、フレームバッファ５０６にフレーム毎のビデオデータが格納される有り様と、フラグ変数配列５１３の要素が対応している有り様を示すものである。

フラグ変数配列５１３の各要素は、当該フレームにテロップが含まれているか否かを示すフラグが格納される。テロップが含まれていれば「真」を示す１が、含まれて居なければ「偽」を示す０が格納される。
フラグ変数配列５１３の各要素にはＡＮＤゲート５１４が接続されており、フラグ変数配列５１３の全て要素が「真」の時、すなわちビデオデータ中のテロップの存在が１秒間以上続いていれば、ＡＮＤゲート５１４は「真」を出力する。

ＡＮＤゲート５１４の出力は、スイッチ５１５を制御する。スイッチ５１５は、テロップ識別部５１２から出力される、現在のエッジ画像とその座標情報を、コンパレータ５１６に出力する。コンパレータ５１６はＲＡＭに記憶されている「直前エッジ画像と座標」格納部５１７とを比較して、同一のテロップなのか否かの判定結果を出力する。
コンパレータ５１６が異なるテロップであると判定すると、その判定結果はスイッチ５１８を制御して、テロップ識別部５１２から出力される、現在のエッジ画像とその座標情報を、「直前エッジ画像と座標」格納部５１７に書き込む。また、スイッチ５０５を制御して、現在のフレームの日時情報を特徴量テーブル２０６に記録する。

図６（ａ）及び（ｂ）は、テロップ識別部５１２のブロック図と、テロップ部分フィルタの機能を模式的に説明する図である。
エッジ検出部６０２は、一フレームのビデオデータから、エッジを検出する。
エッジとは、画像データ中における、急峻な変化を示す部分である。例えば、明るい箇所と暗い箇所が隣接している場合、赤と青が隣接している場合等は、その境界線がエッジである。すなわち、殆どの場合、文字はエッジで表現される。テロップはその殆どが文字列で構成されるので、エッジ検出は必須である。
テロップ部分フィルタ６０３は、エッジ検出部６０２から得られるエッジ画像を、画像中にテロップが現れる可能性が高い部分について、分割出力する。この、画像中にテロップが現れる可能性が高い部分を、図６（ｂ）に示す。ニュース番組等、多くの場合、テロップが画面中心に現れることは殆どなく、画面の右上、左上、右下、左下、そして下中央に現れることが殆どである。テロップ部分フィルタ６０３は、エッジ画像を以上の五つの領域について分割出力する。

ビット計数部６０４は、テロップ部分フィルタ６０３が出力した、各々の領域中に存在する、エッジ画像を構成するビットの数を数える。
テロップ判定部６０５は、ビット計数部６０４が出力したビット数を、所定の閾値５０８と比較して、五つの領域についてテロップが存在するか否かを判定し、座標データを示す領域の情報と共に出力する。
テロップ画像生成部６０６は、テロップ判定部６０５による座標データ、すなわち領域の情報に基づいて、テロップ部分フィルタ６０３からテロップを含む領域を選択して、外部に出力する。

図７は、番組中にテロップが現れる一例を示す図である。
ｔ１時点で、ニュース番組が始まる。
ｔ２時点で、アナウンサーが最初のニュースを読み上げる。このとき、アナウンサーの上半身が画面に大きく映し出されると共に、画面下中央にテロップＡとして「台風４号 太平洋沖通過」の文字が映し出される。この状態がおよそ３〜５秒続く。
ｔ３時点で場面が変わる。画面中央に日本地図が映し出され、画面左上にテロップＢとして「台風情報」の文字が映し出される。この状態がおよそ１０〜１５秒続く。
ｔ４時点で、アナウンサーが次のニュースを読み上げる。
このとき、アナウンサーの上半身が画面に大きく映し出されると共に、画面下中央にテロップＣとして「天狗のまつり」の文字が映し出される。この状態がおよそ３〜５秒続く。

以上の例に示すように、テロップは数秒単位で、画面の周囲に表示されることがわかる。
したがって、テロップの検出には、
・テロップと思しき画像の特徴が、ある一定の時間以上続いていることと、
・現れた画像の特徴が、以前の画像の特徴と異なること
を、検出する必要がある。

図５に示したテロップ検出部３０３の動作を、図７と照らし合わせて説明する。
テロップＡが現れたｔ２から１秒経つと、フラグ変数配列５１３の全ての要素が「真」になり、「直前エッジ画像と座標」格納部５１７は空なので、コンパレータ５１６の比較結果が「真」になる。そして、この時点でテロップを検出したことを、特徴量テーブル２０６に書き込むと共に、テロップＡのエッジ画像と座標データである「Ｐ４」を、「直前エッジ画像と座標」格納部５１７に書き込む。これ以降はｔ３に至るまで、コンパレータ５１６の比較結果は「偽」になる。
殆どの場合、ニュースが一区切り経つとテロップの表示が終了するので、フラグ変数配列５１３の要素に「偽」が含まれ、次にテロップが１秒以上表示されるまで待つことになる。
テロップＢが現れたｔ３から１秒経つと、フラグ変数配列５１３の全ての要素が「真」になり、「直前エッジ画像と座標」格納部５１７はテロップＡが格納されているので、この時点でテロップを検出したことを、特徴量テーブル２０６に書き込むと共に、テロップＢのエッジ画像と座標データである「Ｐ１」を、「直前エッジ画像と座標」格納部５１７に書き込む。これ以降はｔ４に至るまで、コンパレータ５１６の比較結果は「偽」になる。

以上のように、動画中のテロップは、テロップ検出部３０３によって検出され、特徴量テーブル２０６に順次記憶されていく。

図８は、テロップ検出部３０３の動作を示すフローチャートである。この処理は、フレーム間引き部５０２が間引いたフレームを出力する度に実行される。
フレーム間引き部５０２が１フレームのビデオデータを出力すると（Ｓ８０１）、動画判定部５１０は当該フレームと直前フレームのビデオデータを比較して、動画か否かを判定する（Ｓ８０２）。
動画であれば、テロップ識別部５１２によるテロップ識別処理が行われる（Ｓ８０３）。
テロップ識別部５１２が、テロップがあると判断した場合は（Ｓ８０４）、その判定結果によって、フラグ変数配列５１３の、現在のフレームを指す要素が「真」にされる（Ｓ８０５）。

次に、ＡＮＤゲート５１４によって、直前１秒間のフレームの全てにテロップが検出されたか否かを検証する（Ｓ８０６）。ＡＮＤゲート５１４が「真」を出力すると、コンパレータ５１６は、現在のフレームのエッジ画像と座標情報と、「直前エッジ画像と座標」格納部５１７に格納されている、直前のエッジ画像と座標情報とを比較する。
比較の結果、現在のフレームのエッジ画像と座標情報と、直前のエッジ画像と座標情報との間に違いがあれば、現在のフレームのエッジ画像と座標情報を、「直前エッジ画像と座標」格納部５１７に格納する（Ｓ８０８）。そして、現在のフレームの日時情報を特徴量テーブル２０６に記録して（Ｓ８０９）、処理を終了する(Ｓ８１０）。
なお、ステップＳ８０２、Ｓ８０４、Ｓ８０６及びＳ８０７のいずれかにおいて、判定結果が偽であった場合は、何も行わない。つまり、ステップＳ８０８及びＳ８０９の動作は行われない。

図９は、テロップ識別部５１２の動作を示すフローチャートである。図８のステップＳ８０３の中身に相当する。
処理が開始されると（Ｓ９０１）、エッジ検出部６０２は入力された現在フレームのビデオデータから、エッジを検出し、エッジ画像を作成する（Ｓ９０２）。
作成されたエッジ画像は、テロップ部分フィルタ６０３によってフィルタリングが行われる（Ｓ９０３）。
次に、テロップ判定部６０５は、ビット計数部６０４が出力した、各領域毎のエッジ画像のビット計数結果を受けて、五つの領域内のいずれかにテロップが存在するか否かを検証する（Ｓ９０４）。
テロップが存在すると判定した場合は、「テロップあり」を示す「真」を、テロップ判定部６０５が出力すると共に、テロップ画像生成部６０６よりテロップ画像を出力する（Ｓ９０５）。
テロップが存在しないと判定した場合は、「テロップなし」を示す「偽」を、テロップ判定部６０５が出力する（Ｓ９０６）。そして、処理を終了する（Ｓ９０７）。

［シーンチェンジ検出］
図１０及び図１１を用いて、シーンチェンジ検出機能を説明する。
図１０は、特徴量検出部２０５の中身のうちの一つである、シーンチェンジ検出部３０４の機能ブロック図である。実質的には、その大半がマイクロコンピュータのプログラムによって実現される機能である。
なお、図５と同一の部分は説明を省略する。

フレームバッファ５０６は２フレーム分設けられている。つまり、直前のフレームと、現在のフレームが格納される。
これらフレームバッファ５０６内のビデオデータは、加算器５０７によって差分データが作成される。
差分データは閾値１００８と共にコンパレータ１００９に入力され、閾値１００８と比較される。
このコンパレータ１００９の出力は、シーンチェンジ判定結果である。フレームバッファ５０６の差を見て、画像に大きな変化があるか否かを判定する。
コンパレータ１００９による判定の結果、シーンチェンジが生じたと認識された場合は、コンパレータ１００９はスイッチ５０５をオン制御して、現在フレームの時間情報等が特徴量テーブル２０６に書き込まれる。

図１１は、シーンチェンジ検出部３０４の動作を示すフローチャートである。この処理は、フレーム間引き部５０２が間引いたフレームを出力する度に実行される。
フレーム間引き部５０２が１フレームのビデオデータを出力すると（Ｓ１１０１）、加算器５０７によって当該フレームと直前フレームのビデオデータの差のデータが出力される。コンパレータ１００９は、差のデータと閾値１００８とを比較して、その差が閾値１００８以上か、すなわち大きな画面の変化が生じた（シーンチェンジ）か否かを判定する（Ｓ１１０２）。
シーンチェンジが生じたと判定したら、当該フレームの日時情報を特徴量テーブル２０６に記録して（Ｓ１１０３）、処理を終了する（Ｓ１１０４）。

［トピック検出］
図１２乃至図１４を用いて、トピック検出機能を説明する。
図１２は、特徴量検出部２０５の中身のうちの一つである、トピック検出部３０５の機能ブロック図である。実質的には、その大半がマイクロコンピュータのプログラムによって実現される機能である。
なお、図５と同一の部分は説明を省略する。

フレーム間引き部５０２から出力されたビデオデータは、フレームバッファ５０６に一時的に格納されると共に、シーンチェンジ検出部３０４によってシーン検出が行われる。シーン検出部は前述の図１０において説明したものと同じである。
フレームバッファ５０６には現在のフレームのビデオデータが格納される。
シーン検出部のシーン検出結果は、フレームバッファ５０６の後段に接続されるスイッチ１２０２を制御する。シーンチェンジが行われると、スイッチ１２０２がオン制御されて、現在のフレームのビデオデータが、スイッチ１２０２の後段にある加算器１２０３に入力される。

加算器１２０３のもう一方の入力は、トピック画像テーブル１２０４から検索部１２０５によって検索されたトピック画像データが入力される。つまり、加算器１２０３において、静止画像同士の差を採っている。
検索部１２０５は、フレーム間引き部５０２に入力される前のデジタルビデオ信号に含まれているＥＰＧ情報に含まれている、チャンネル情報をキーにして、トピック画像テーブル１２０４の絞り込み検索を行う。
加算器１２０３が出力した静止画像同士の差の情報は、スカラ値としてスコアリスト１２０６に順次記録される。スコアリスト１２０６は、不揮発性ストレージ４０２に設けられる、小さなファイルである。
トピック判定部１２０７は、スコアリスト１２０６に記録された各トピック画像データのスコアを比較して、差が極めて小さいものについて、トピックが出現したと判断し、スイッチ１２０２をオン制御し、特徴量テーブル２０６に日時情報を追記録する。

図１３は、トピック検出部３０５の動作を示すフローチャートである。この処理は、フレーム間引き部５０２が間引いたフレームを出力する度に実行される。
フレーム間引き部５０２が１フレームのビデオデータを出力すると（Ｓ１３０１）、シーンチェンジ検出部３０４はシーンチェンジが発生したか否かを判定する（Ｓ１３０２）。
シーンチェンジが生じたと判定したら、検索部１２０５はＥＰＧのチャンネル情報を検索キーにしてトピック画像テーブル１２０４を検索し、該当するチャンネルのトピック画像を選び出す。そして、それらトピック画像データと現在のフレームのビデオデータとの差を、加算器１２０３で生成し、スコアリスト１２０６に出力する（Ｓ１３０３）。
トピック判定部１２０７は、スコアリスト１２０６中に記録された、トピック画像データ群と現在のフレームのビデオデータとの差のデータを全て見て、所定の閾値１００８以下のトピック画像データはあるか否か、検証する（Ｓ１３０４）。もしあれば、トピックが発生したと判断し、特徴量テーブル２０６に出力して（Ｓ１３０５）、処理を終了する（Ｓ１３０６）。

なお、ステップＳ１３０２及びＳ１３０４のいずれかにおいて、判定結果が偽であった場合は、何も行わない。つまり、ステップＳ１３０５の動作は行われない。

図１４は、検索部１２０５及び加算器１２０３の動作を概念的に説明する図である。
今、チャンネル＃２にて、ニュース番組を受信しているとする。このときの静止画像を画像１４０２で現す。
トピック画像テーブル１２０４には、各チャンネル毎の、各番組のトピック画像ファイルが格納されている。検索部１２０５は、「チャンネル＃２」という情報で、これらトピック画像ファイルの絞込みを行い、現在入力されているフレームのビデオデータと比較する。つまり、図１４中、チャンネル＃１のトピック画像ファイル１４０３と、チャンネル＃３のトピック画像ファイル１４０６との比較は、検索部１２０５によって阻止される。そして、チャンネル＃２のトピック画像ファイル１４０４及び１４０５との比較が行われる。

図１５は、特徴量テーブル２０６の一例である。
特徴量テーブル２０６は、図２のテレビ１０１では各チャンネル毎に、番組が開始される毎に作られ、番組が終了すると破棄される。
特徴量テーブル２０６は、図４のテレビ１０１では各番組の動画ファイル４０３毎に作られる。
特徴量テーブル２０６の特徴フィールドには、図３の特徴量検出部２０５を構成する、番組カテゴリ情報抽出部３０２、テロップ検出部３０３、シーンチェンジ検出部３０４、そしてトピック検出部３０５の検出結果を示す文字列が記録される。

「ＥＰＧ＿ＮＥＷＳ」は、番組カテゴリ情報抽出部３０２がＥＰＧに含まれる番組カテゴリを示す情報であり、当該番組が「ニュース番組のカテゴリ」に属することを示す。
番組カテゴリ情報抽出部３０２が出力する文字列には、番組のカテゴリに応じて、「ＥＰＧ＿ＮＥＷＳ」以外にも、「ＥＰＧ＿ＳＰＯＲＴＳ」、「ＥＰＧ＿ＶＡＲＩＥＴＹ」、「ＥＰＧ＿ＤＯＲＡＭＡ」、「ＥＰＧ＿ＡＮＩＭＥ」等の文字列が存在する。

「ＴＥＬＯＰ」は、テロップ検出部３０３による、テロップが検出された旨を示す文字列である。
「ＳＣＥＮＥ＿ＣＨＡＮＧＥ」は、シーンチェンジ検出部３０４による、シーンチェンジが検出された旨を示す文字列である。
「ＴＯＰＩＣＳ」は、トピック検出部３０５による、トピックが検出された旨を示す文字列である。

［並べ替え］
図１６及び図１７を用いて、並べ替え部２０７の動作を説明する。
図１６（ａ）、（ｂ）、（ｃ）、（ｄ）及び（ｅ）は、番組の開始から終了に至るまでの時間の流れと、それに伴い検出される各種特徴の出現のタイミングを模式的に示す図である。
図１６（ａ）は、番組編成、すなわち番組の開始から終了の流れを示すタイムチャートである。
図１６（ｂ）は、番組カテゴリ情報抽出部３０２による、番組カテゴリの検出結果のタイミングを示すタイムチャートである。
図１６（ｃ）は、テロップ検出部３０３による、テロップの検出結果のタイミングを示すタイムチャートである。
図１６（ｄ）は、シーンチェンジ検出部３０４による、シーンチェンジの検出結果のタイミングを示すタイムチャートである。
図１６（ｅ）は、トピック検出部３０５による、トピックの検出結果のタイミングを示すタイムチャートである。

ｔ６時点で、番組が始まる。ここでは、番組はニュース番組であると仮定する。
番組カテゴリ情報抽出部３０２は、番組開始と同時に番組カテゴリの出現を検出し、特徴量テーブル２０６に「ＥＰＧ＿ＮＥＷＳ」を記録する。同時に、ニュース番組のオープニング画面について、シーンチェンジ検出部３０４とトピック検出部３０５もそれぞれシーンチェンジとトピックを検出する。
ｔ７時点で、最初のニュースを流す場面になると、オープニング画面からアナウンサーを大きく写す画面に変わる。これに呼応して、シーンチェンジ検出部３０４とトピック検出部３０５もそれぞれシーンチェンジとトピックを検出する。
程なくして、ｔ８時点になると、テロップ検出部３０３は画面中のテロップを検出する。
ｔ９時点で、画面はアナウンサーを写す状態から、現場の状況を写す状態に切り替わると共に、テロップも切り替わる。テロップ検出部３０３とシーンチェンジ検出部３０４がこれを検出する。

ｔ１０時点で、次のニュースを流す場面になると、現場の画面から再びアナウンサーを大きく写す画面に変わる。これに呼応して、シーンチェンジ検出部３０４とトピック検出部３０５もそれぞれシーンチェンジとトピックを検出する。
程なくして、ｔ１１時点になると、テロップ検出部３０３は画面中のテロップを検出する。
ｔ１２時点で、画面はアナウンサーを写す状態から、現場の状況を写す状態に切り替わると共に、テロップも切り替わる。テロップ検出部３０３とシーンチェンジ検出部３０４がこれを検出する。
ｔ１３時点で、番組の終了を告げる場面になると、現場の画面から再びアナウンサーを大きく写す画面に変わる。これに呼応して、シーンチェンジ検出部３０４とトピック検出部３０５もそれぞれシーンチェンジとトピックを検出する。
ｔ１４時点で、番組が終了すると共に、コマーシャル（以下「ＣＭ」）に切り替わる。するとシーンチェンジ検出部３０４がシーンチェンジを検出する。

図１６を見ると、番組中に出現する各種特徴量の平均出現頻度は、番組の終了時点で最も正確に得ることができ、番組の開始直後では不正確になることがわかる。並べ替え部２０７では、このような事情を考慮したうえで、マルチ画面におけるチャンネル表示順の並べ替え処理を行わなければならない。

図１７は、並べ替え部２０７の処理を示すフローチャートである。
並べ替え部２０７の処理は、特徴量検出部２０５が特徴量データを特徴量テーブル２０６に追記録する度に実行される。なお、不必要な処理の並列実行を防ぐため、処理の間隔は１秒以上空ける等の工夫があるとよい。
処理を開始すると（Ｓ１７０１）、最初に処理対象のチャンネルを１番目に設定する（Ｓ１７０２）。

これ以降はループ処理である。
先ず、現在注目しているチャンネルの番組について、現在の時間は番組の開始から１分を経過したか否か、確認する（Ｓ１７０３）。これは、番組開始から１分を経過しない時点では、特徴量出現頻度について確からしい並べ替え結果を得ることが難しいからである。もし、１分を経過していない場合は、当該番組は並べ替えの対象から外す（Ｓ１７０４）。そうでない場合は、特徴量テーブル２０６に記録されている各特徴量について、１分の平均値に換算する（Ｓ１７０５）。

次に、処理対象となる次のチャンネルがないか否か確認する（Ｓ１７０６）。あれば、再びステップＳ１７０３以降の処理を繰り返す。
もう処理対象となるチャンネルがなくなったら、各特徴量平均値毎に、対象チャンネルを並べ替え（Ｓ１７０７）、リストを作成し（Ｓ１７０８）、処理を終了する（Ｓ１７０９）。

以上のように並べ替え部２０７が動作することによって、図２のチューナ部２０１においては、「チューナ＃１」２０４ａ〜「チューナ＃９」２０４ｉのいずれかで、何らかの特徴が発生すると、並べ替え部２０７の並べ替え処理が実行され、常に最新の並び順になる。
赤外線リモコン１０３のボタンを操作して、任意の順番のマルチ画面を呼び出すと、ボタンが押された時点における最新の並び順のマルチ画面が表示される。
改めてマルチ画面を見直したい場合は、再度同じボタンを押せば、その時点の最新の並び順にて、マルチ画面の再表示が実行される。

なお、ステップＳ１７０３における、番組開始から１分の経過を見る処理は、必ずしも１分に限られない。これは設計的事項であるので、ユーザの利便性を損ねない範囲で変更が可能である。また、ユーザの任意によって変更が可能になっていてもよい。

本実施形態には、以下のような応用例が考えられる。
（１）図１２のトピック検出部３０５の、シーンチェンジ検出部３０４に代えて、ＣＭ検出機能をあてがうことができる。

（２）本実施形態のチューナ部２０１では、放送受信中において特徴量検出部２０５が常時動作しているが、ユーザが赤外線リモコン１０３を操作した時点から特徴量検出部２０５が稼動し始め、およそ１分以上経過後に並べ替え部２０７が動作するように構成することもできる。

（３）本実施形態のチューナ部２０１及び録画装置４０１は、テレビチューナを装備するパソコンに読み込ませ、実行するプログラムとしても実現が可能である。

（４）本実施形態のチューナ部２０１及び録画装置４０１は、光ディスクプレーヤと一体化して、光ディスクに記録されている動画についても特徴量を検出し、テレビ番組の特徴量と一緒に並べ替えを行わせることもできる。

（５）図１では、テレビジョン受像機１０１が単一のＬＣＤディスプレイ１０２にて構成されていたが、複数のＬＣＤディスプレイを配置した構成であってもよい。つまり、図１の例では、九つのＬＣＤディスプレイを図１のように縦横に配置する。この場合、マルチ画面作成部２０９は、縦横に配置された九つのＬＣＤディスプレイに対して、それぞれに動画像信号を配信する、マトリクススイッチャの機能を備えることになる。

本実施形態においては、テレビジョン受像機を開示した。本実施形態のテレビジョン受像機によれば、ユーザの嗜好に応じて、様々な並び順のマルチ画面を表示できる、テレビジョン受像機のための動画像信号生成装置を実現できる。

以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことは言うまでもない。例えば、上述した実施形態では、複数のテレビジョン放送（複数のチャンネル）をマルチ画面で同時に表示させる例に適用したが、その他の複数の映像コンテンツをマルチ画面で同時に表示させる処理に適用してもよい。映像を表示する画像表示装置についても、１つの表示画面を分割してマルチ画面を表示させる構成の他に、それぞれの分割画面を１つずつ個別の画像表示装置に表示させて、その画像表示装置を複数並べる構成としてもよい。

本発明の一実施の形態による、テレビジョン受像機及びこれを操作する赤外線リモートコントローラの概略図である。 テレビジョン受像機の機能ブロック図である。 特徴量検出部の機能ブロック図である。 本実施形態のもう一つの実施形態である、テレビジョン受像機の機能ブロック図である。 テロップ検出部の機能ブロック図である。 テロップ識別部のブロック図と、テロップ部分フィルタの機能を模式的に説明する図である。 番組中にテロップが現れる一例を示す図である。 テロップ検出部の動作を示すフローチャートである。 テロップ識別部の動作を示すフローチャートである。 シーンチェンジ検出部の機能ブロック図である。 シーンチェンジ検出部の動作を示すフローチャートである。 トピック検出部の機能ブロック図である。 トピック検出部の動作を示すフローチャートである。 検索部及び加算器の動作を概念的に説明する図である。 特徴量テーブルの一例を示す図である。 番組の開始から終了に至るまでの時間の流れと、それに伴い検出される各種特徴の出現のタイミングを模式的に示す図である。 並べ替え部の処理を示すフローチャートである。

符号の説明

１０１…テレビジョン受像機、１０２…ＬＣＤディスプレイ、１０３…赤外線リモコン、１０４…赤外線受光部、１０５…チャンネルボタン、１０６…音量ボタン、１０７…チャンネル一覧表示ボタン、１０８…「カテゴリ順」ボタン、１０９…「テロップ頻度」ボタン、１１０…「シーンチェンジ」ボタン、１１１…「トピック頻度」ボタン、２０１…チューナ部、２０２…アンテナ、２０３…高周波ブースタ、２０４ａ…「チューナ＃１」、２０４ｂ…「チューナ＃２」、２０４ｉ…「チューナ＃９」、２０５、２０５ａ、２０５ｂ、２０５ｉ…特徴量検出部、２０６、２０６ａ、２０６ｂ、２０６ｉ…特徴量テーブル、２０７…並べ替え部、２０８…選択部、２０９…マルチ画面作成部、３０２…番組カテゴリ情報抽出部、３０３…テロップ検出部、３０４…シーンチェンジ検出部、３０５…トピック検出部、４０１…録画装置、４０２…不揮発性ストレージ、４０３…動画ファイル、５０２…フレーム間引き部、５０３…カレンダクロック、５０４…時刻設定部、５０５…スイッチ、５０６…フレームバッファ、５０７…加算器、５０８…閾値、５０９…コンパレータ、５１０…動画判定部、５１１…スイッチ、５１２…テロップ識別部、５１３…フラグ変数配列、５１３ａ…領域、５１４…ＡＮＤゲート、５１５…スイッチ、５１６…コンパレータ、５１７…「直前エッジ画像と座標」格納部、５１８…スイッチ、６０２…エッジ検出部、６０３…テロップ部分フィルタ、６０４…ビット計数部、６０５…テロップ判定部、６０６…テロップ画像生成部、１００８…閾値、１００９…コンパレータ、１２０２…スイッチ、１２０３…加算器、１２０４…トピック画像テーブル、１２０５…検索部、１２０６…スコアリスト、１２０７…トピック判定部、１４０２…画像、１４０３、１４０４、１４０５、１４０６…トピック画像ファイル

Claims (4)

1. 複数の動画像情報を取得する動画像情報取得部と、
   前記動画像情報取得部から得られる複数の前記動画像情報から特徴の出現を検出して、各々特徴情報を取得する特徴情報取得部と、
   前記特徴情報取得部が検出した前記特徴の出現頻度に基づいて、前記複数の動画像情報の並べ替えを実行する並べ替え部と、
   前記複数の動画像情報の表示位置を、前記並べ替え部から得られる順番情報に基づいて配置して、表示装置に表示するための動画像信号を生成する表示画像信号生成部と
   を具備する画像信号生成装置。
2. 前記特徴情報取得部は、前記動画像情報中のテロップを検出する、請求項１記載の画像信号生成装置。
3. 前記特徴情報取得部は、前記動画像情報中のシーンチェンジを検出する、請求項１記載の画像信号生成装置。
4. 前記特徴情報取得部は、予め保持している複数の画像情報のうちの一つとの類似を検出する、請求項１記載の画像信号生成装置。

Images