JPH1139343A

JPH1139343A - 映像検索装置

Info

Publication number: JPH1139343A
Application number: JP9209735A
Authority: JP
Inventors: Haruki Tsuchiya; 治紀槌屋
Original assignee: MEDIA RINKU SYST KK
Current assignee: MEDIA RINKU SYST KK
Priority date: 1997-07-17
Filing date: 1997-07-17
Publication date: 1999-02-12

Abstract

(57)【要約】【課題】大量に流布される映像の中から、視聴者が欲
しているものを素早く見つけ出すのに使用して好適な映
像検索装置を提供。【解決手段】シーンの切り替わり等を変化位置検出部
１３で検出。代表画像抽出部１４で夫々のシーン等から
１枚〜数枚の代表画像ＶＳを抽出。文字データ抽出部２
３で夫々から文字データ抽出。その抽出位置の情報と共
にこれを文字データ蓄積部２３に蓄積。仕事で或いは個
人的に何か調べたいことがあったら、それを表わすキー
ワードで蓄積された文字データ検索。ヒットしたその代
表画像ＶＤ、原映像ソフトウェアＶＳをディスプレイ２
６に表示。一覧表示からの選択等も可。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像検索装置に関
し、詳しくは、大量に流布される映像の中から視聴者が
欲しているものを素早く見つけ出すのに使用して好適な
映像検索装置に関する。なお本明細書では、テレビジョ
ン放送１フレーム分に相当するものを「画像」又は「画
面」と言い、これを複数枚連ねたものを「映像」と言
う。これに音声信号、キャプションコード（字幕符号）
等を付加したものを「映像ソフトウェア（図３ＶＳ（以
下、この符号ＶＳは省略））」と言う。これらは、映画
フィルム、ビデオテープ、テレビジョン放送、ＤＶＤ
（デジタルビデオディスク或いはデジタルバーサタイズ
ディスク）、インターネット、コンピュータ記憶媒体な
どで供給される。

【０００２】

【従来の技術】映画やスポーツ中継など、映像ソフトウ
ェアが大量に供給される時代になって来た。ほかにも、
ドラマ、音楽、教養、報道など、実に多種多様な分野の
映像ソフトウェアが存在し、その供給量は今後更に増大
すると予想される。百聞は一見に如かずの諺にもあると
おり、これら映像ソフトウェアの利用価値は非常に高
い。仕事のことにしろ、個人の趣味レベルにしろ、これ
らを的確に把握し、そのときどきの判断材料として、或
いはライブラリとして利用出来るなら、その価値は非常
に高い。

【０００３】映像ソフトウェアは時間の流れに沿うもの
である。人はこれを見るために時間を必要とする。それ
故、このように供給量が厖大になって来ると、従来のよ
うにビデオテープに録画等しておいて、後でゆっくり見
るという訳には行かなくなる。そこで、例えば必要な画
像（フレーム）や映像にキーワード、検索用インデック
ス等を付けておき、これを使って後で検索を行うという
手法が考えられる。

【０００４】

【発明が解決しようとする課題】しかしこの方法は、キ
ーワード、インデックス等の入力に時間と手間とが掛か
る。具体的には、一つ一つの映像ソフトウェアについて
内容を確認し、それら全体又は個々の画像毎にキーワー
ド、インデックス等を付すのであるが、このような処理
方法は、供給量が少なかった昔は兎も角、マルチメディ
ア時代と言われる今日、或いは更に量が増える将来に於
ては用い得べくもない。どんなキーワード、インデック
スを付すかも常に課題になる。

【０００５】コンピュータの計算速度の向上につれ、文
字を中心にした情報検索では、文字データに対し予めイ
ンデックス化やキーワードの登録をせずに、文字データ
本文そのものを「全文検索（フルテキストサーチ）」し
て該当するものを引出すようになった。この場合、本文
中の名詞を対象すればかなり的確な検索が出来ることが
知られており、利用者が日常使用している言葉を入力す
ると、その言葉を含んでいるテキストが高速で検索され
る。

【０００６】これと同様に、画像検索でも「全画像検索
（フルイメージサーチ）」をすることが考えられる。し
かし、画像に関しては一致するものを探すこと自体がか
なり時間の掛かる処理であり、またそれが無意味である
ことが多い。この為、何らかの別の方法が必要である。

【０００７】本発明の目的は、このような大量に流布さ
れる映像の中から、視聴者が欲しているものを素早く見
つけ出すのに使用して好適な映像検索装置を提供するこ
とにある。

【０００８】

【課題を解決するための手段】上記目的達成のため請求
項１の発明では、映像ソフトウェアから文字データを抽
出する文字データ抽出手段と、その抽出位置の情報と共
に前記文字データを蓄積する文字データ蓄積手段と、前
記蓄積された文字データの中から所望のものを選択する
選択手段と、該選択された文字データに係る画像を前記
映像ソフトウェアの中から引出す引出し手段とを用い
る。

【０００９】また請求項２の発明では、前記文字データ
抽出手段が、前記映像ソフトウェアから抽出した代表画
像から前記文字データを抽出する。また請求項３の発明
では、請求項１または請求項２にいう引出し手段が、前
記選択された文字データに係る代表画像を引出す。

【００１０】本発明は、映像ソフトウェアに含まれる文
字に注目している。ここで、映像ソフトウェアのなかの
文字は次のような特徴をもっている。（１）映画などでは、文字はタイトル、出演者などの重
要な情報を伝えるのに利用されている。（２）外国映画の字幕は、最小限の文字で会話やストー
リーを伝えるように作られている。（３）ＴＶ（テレビジョン）のニュースなどでは、事件
のあらましを整理するのに文字が利用されている。ここ
で文字はコンパクトに情報をとりまとめるために利用さ
れている。（４）スポーツの結果、競馬の結果などは、数値情報が
画面に表示されることが多い。

【００１１】このように、映像ソフトウェア自体は微妙
な感情や感覚的なことがらを伝えているのに対し、その
中の文字は、明示的な意味のある情報の伝達に利用され
ている。本発明では、この文字データに着目し、請求項
記載の構成によって、この文字データを抽出し、蓄積
し、言わば画像、映像のデータベースとすることで、視
聴者の利便を図る。

【００１２】

【発明の実施の形態】以下、本発明の詳細を図示実施の
形態例に基いて説明する。始めに、実施の形態例（図１
映像検索装置１００）の概要を説明する。（１）受信されたＴＶ放送（テレビジョン放送）等の原
映像ソフトウェアは、入力インタフェース１１を介して
原映像蓄積部１２に供給され、蓄積される（原映像蓄積
部１２は、正しくは「原映像ソフトウェア蓄積部」とす
べきだが冗長なので「ソフトウェア」を省略した）。ま
た変化位置検出部１３にも供給され、シーン（場面、カ
ット）の切り替わりなど、映像ソフトウェアの状態が変
化する位置が検出される。別の形態、例えばビデオテー
プ、ＤＶＤ、インターネット、ＣＤ−ＲＯＭなどで供給
された映像ソフトウェアも、同じく入力インタフェース
１１から取り込まれる。

【００１３】（２）変化位置検出部１３によって状態変
化、例えばシーンが切り替わったことが検出されると、
これに応動して代表画像抽出部１４が代表画像ＶＤ（図
２（以下、符号ＶＤ省略））を抽出する。ここに代表画
像とは、その状態変化位置付近から取り出される１枚の
静止画像または２〜５秒程度の短い動画像であり、その
集合が要約ＶＥ（図２（以下符号ＶＥ省略））として蓄
積される。要約は原映像ソフトウェアに比べ１０分の１
〜１００分の１程度のデータ量になる。従ってこの後の
処理が簡便になる。原映像ソフトウェアを見るか否かの
判断材料としても利用される。

【００１４】・代表画像は一定周期で原映像ソフトウェ
アから抽出しても良い。映像ソフトウェア中の文字は比
較的長い時間表示される。これは、表示された文章を視
聴者が読み終る迄の時間を考慮しているためで、逆に言
えば、この間は同じ文字が表示されている。従ってこの
時間間隔、例えば５秒とか、１０秒とかに１枚の割で、
静止画か動画かを抽出すれば、その映像ソフトウェアに
含まれる文字は殆んど洩らさず抽出できる。この手法に
よるときは代表画像を抽出する必要はなく、原映像から
一定時間間隔で画像を抜き出して、その中に含まれる文
字を抽出する。なおここで抽出した画像も、集積して要
約として利用しても良い。

【００１５】（３）代表画像から文字を抽出する。文字
認識ソフトウェアを使用し、抽出した代表画像から文字
データを取り出す。取り出した文字データはキーワード
として蓄積する。場合によってはこのキーワードを名詞
だけに限定するのも良い。キーワードを始め、前記要
約、原映像ソフトウェアを蓄積する際には、例えばチャ
ネル番号、放送年月日、時分秒、フレーム番号など、相
互のリンク関係を保てる見出し情報を付けておく。

【００１６】蓄積されたキーワード、要約、原映像ソフ
トウェアは、例えば以下の如く利用する。（１）仕事に関し、或いは個人的なことで、視聴者が関
心を抱いているテーマについて、関連する映像ソフトウ
ェアが蓄積されているかを知りたい場合、その事象を端
的に表現する言葉、例えばＰＡＴＯＬＩＳのフリーキー
ワードの如き言葉を、必要の都度、キーワードとして打
ち込む。（２）これが蓄積された文字データに照合される。完全
一致、部分一致その他の検索のルールは視聴者が設定す
る。該当するものがあったら、次はそれに対応した要約
を取り出し画像の内容を確認する。（３）要約を見て、それが所望するテーマに関するもの
だと考えられたら、その原映像ソフトウェアを取り出し
て内容を確認する。

【００１７】前述のとおり要約は原映像の１０分の１か
ら１００分の１の大きさで、これを見るにさほどの時間
は掛からない。従ってこのように２段構えにして、先ず
は要約で所望するものか否かを見定めることとした方
が、検索に掛かる手間が少なくて済む。

【００１８】予めキーワードを登録し、これに該当する
ものがあったらその映像ソフトウェアに関する目次情報
等を別に記録しておくのも良い。これを例えば一日一回
視聴者が蓄積状態をチェックするようにする。該当した
ものを一覧で画面に表示し、視聴者に選択させ、その要
約、原映像ソフトウェアが表示されるようにする。キー
ワードを入力するのでなく、蓄積されている文字データ
を例えば五十音順で表示し、視聴者が、その中から所望
のものを選択して、その要約、原映像ソフトウェアを表
示するようにしても良い。

【００１９】以下、実施の形態例の映像検索装置１００
の詳細を図を引用して説明する。即ち図１に於て、ＴＶ
放送受信部１６、ＤＶＤプレーヤ１７、ビデオテープデ
ッキ１８、インターネット接続部１９、ＣＤ−ＲＯＭド
ライブ２０その他から供給される映像ソフトウェアは、
入力インタフェース１１を介し映像検索装置１００に取
り込まれる。

【００２０】ＴＶ放送受信部１６は、多数の受信チャネ
ルを備えている。例えば地上波ＴＶ放送（ＶＨＦ、ＵＨ
Ｆ）、衛星放送、ケーブルＴＶなど、複数のチャネルに
ついて視聴者が所望するアナログ、デジタルのＴＶ放送
を複数同時に受信する。インターネット接続部１９から
は、定期的に、或いは視聴者の操作に応動して、所望す
るインターネット上の映像ソフトウェアが取り込まれ
る。

【００２１】これらから取り込まれた映像ソフトウェア
は原映像蓄積部１２に蓄えられる。蓄積はデジタル化し
て行なうと良い。アナログ方式のものは入力インタフェ
ース１１でデジタル化して原映像蓄積部１２に蓄積す
る。データ量を抑えるため、ＭＵＳＥ、ＭＰＥＧ、ＪＰ
ＥＧその他の方式でデータ圧縮しておくと良い。デジタ
ルテレビジョン放送、インターネット上の映像ソフトウ
ェアはその儘で良い。映像ソフトウェアは、例えば１０
分単位に区切り、一つづつのファイルとして原映像蓄積
部１２に蓄積する。夫々の受信年月日、ファイルの先頭
データの受信時分、チャンネル番号など、後での読み出
しに必要な目次情報（インデックス）を、ファイルアロ
ケーションテーブル（ＦＡＴ）に記録する。

【００２２】原映像蓄積部１２への格納は、指定された
チャンネルについて、例えば７２時間というように、あ
る程度連続して実施する。音声情報も記録する。なお、
記録をする年月日、時刻、記録対象チャンネルは、ユー
ザ操作部２２により視聴者が設定する。始めから記録す
る必要がないと判っている時間帯もあるし、視聴者が関
心を持たない番組もある。そこで、単に日時だけでな
く、時、分単位ぐらいまで細かく時間帯設定可能にして
おくと、後の記録内容確認作業が楽になる。時間帯設定
手順は既存のビデオテープレコーダー等と同じで良い。

【００２３】記録（蓄積）はサイクリック（循環的）に
行なうと良い。例えば原映像蓄積部１２の記憶容量を、
５チャンネル分、連続３日記録可能としておく。視聴者
は時間があるとき、蓄積されてる文字データ、要約、原
映像ソフトウェアを確認し、不用のものを消去する。こ
れで原映像蓄積部１２と要約蓄積部２１の記憶領域が空
く。ある期間連続して放送内容が記録されることで記憶
容量が無くなることもある。この場合は、記録済み映像
の中の一番古いものの上に、次の新しい映像信号を重ね
書きする。

【００２４】こうすれば、記録する年月日時刻等を指定
する必要は無く、所望するチャンネル（監視をしておき
たいチャンネル）のみユーザ操作部２２で指定しておけ
ば良い。尤も、前述したとおり始めから記録しなくても
よい時間帯がある。従ってサイクリックに記録する場合
でも、記録不要の時間帯を設定可能にしておいた方が消
費する記憶容量が少なくて済む。

【００２５】図１に戻り、変化位置検出部１３は、その
とき取り込まれているテレビジョン放送、或いはそのと
き再生されているＤＶＤ収納映像ソフトウェアの中の、
指定された注目要素に状態変化が生じたら、その旨を代
表画像抽出部１４に通知する。

【００２６】本発明は映像ソフトウェアの中に含まれる
文字データを抽出し、これを蓄積して映像検索のキーと
して活用する。文字データは、前述したように、元の映
像ソフトウェアから直に抽出しても良いが（図１破線
Ｌ）、ここでは、前述した如く記録内容のチェックを容
易にするために、また処理を簡略化するために、図２に
示すように、原映像ソフトウェアから代表画像ＶＤを抽
出し、この代表画像ＶＤの中から文字データを抽出する
（以下代表画像の符号ＶＤ等は適宜省略）。

【００２７】状態変化位置の検出は、この代表画像抽出
の動機を与えるためのもので、これに応動して、代表画
像抽出部１４が代表画像を抽出する。また夫々の代表画
像には、１枚の静止画だけでなく、その変化位置に係る
数秒程度の動画も含まれるものとする。

【００２８】映像ソフトウェア（放送番組）には検出可
能な様々な要素（特徴）が含まれる。例えば音声（音）
には、人の声、音楽、歓声、パルス性の音、その他多数
の検出可能な要素が存在する。また映像には、静止して
いることや、画面の明るさが急変すること、画面全体の
色が急変することなど、検出可能な要素が幾つか存在す
る。ここでの代表画像抽出は、映像ソフトウェアの中に
存在する文字データを取り出すために行なうものであ
る。従って、着目する要素についても、画面への新たな
文字の出現に関連してその変化が生ずる要素を選ぶと良
い。

【００２９】例えばニュース番組の場合、アナウンサ
ー、キャスターによるニュース原稿の朗読が終了して声
が途切れた後に、次のニュース原稿の読み上げ開始に同
期した形で、画面に新たな文字が映出される。従って、
この音声の断続という要素の変化も、代表画像抽出の動
機に利用出来る。教育番組なども同じ傾向が見られる。

【００３０】要素の変化と文字出現の関連性は、映像ソ
フトウェアのジャンル（分野）に応じて変る。それ故、
番組表などからそのときの蓄積対象映像ソフトウェアの
特性が明らかなら、前記記録対象チャネルを設定する
際、着目する要素をどれにするか、視聴者が設定可能で
あるようにしておく。

【００３１】特性や分野に依存しない要素もある。記録
の対象を特定しない、即ち幾つかのチャネル等について
連続して記録をし、その中の文字データを検索キーとし
て取り出す、というようなときは、このような普遍的要
素に着目すると良い。以下にその例を示す。（１）先頭画像の切り出し原映像ソフトウェア開始時の画像をタイトル（代表画
像）として単純に切り出す。番組表などで当該番組の放
送開始時刻が把握出来るときは、その先頭画像を抽出す
る。例えば１０分単位で区切って長時間連続記録するな
ら、各区切りの先頭画像をタイトルとして抽出する。

【００３２】（２）周期的切り出し映像ソフトウェアから一定時間ごとに周期的に画像を切
り出す。Ｎ枚の画像で構成される原映像ソフトウェアに
ついて、Ｍ枚の代表画像から成る要約を生成するなら
ば、原映像ソフトウェアからＮ／Ｍ枚ごとの画像を代表
画像としてとりだす。これは最も単純な方法である。な
お、ＭＰＥＧ、ＪＰＥＧ、ＭＵＳＥなどの画像圧縮手法
では、何枚かごとに完全な画像が送信され、その間は、
前の画像との差分が送信される。従って、このような画
像データについては、その何枚かに１枚送られて来る完
全な画像を代表画像として抽出しても良い。

【００３３】この周期的切り出しという手法は、要約を
生成しないで、映像ソフトウェアから直に文字データを
取り出すとき有用である。即ち、映像ソフトウェアの中
の文字は、まさしく視聴者に読んで貰う為に表示される
ものであるが、人がものを読むにはそれなりの時間が掛
かる。このため、画面の文字もそれを考慮して、割に長
い時間、例えば５秒とか１０秒とか表示されることが多
い。従って、仮に５秒間とすれば、テレビジョンの場合
で、１５０フレーム毎に１枚、１０秒表示されるとすれ
ば３００フレームに１枚の割で画像を取り出して検査す
れば、その映像ソフトウェア中に現れる文字の殆んどを
抽出できる。

【００３４】それ故、この手法によるときは、要約を生
成せず、原映像ソフトウェアからの直の文字抽出を実行
する。尤も前述のとおり、要約は原映像ソフトウェアを
見るべきか否かの判断材料にもなっている。従って、文
字データを、ここにいう原映像からの直接抽出とし、そ
の一方で、当該映像ソフトウェアの内容を尤も的確に表
現する要約を生成するであろう要素を別に選んで、その
状態変化を動機にしてその映像ソフトウェアの要約を生
成するようにしても良い。

【００３５】この場合、着目する要素の例としては以下
のようなものがある。映像のジャンル注目要素ニュースパターン（フリップ）のあるカットドラマ字幕のあるカット音声のあるカットドキュメンタリー音声のあるカット英会話字幕のあるカットスポーツ拍手、歓声の上がるカットとその周辺（音声クライマックス）アニメ字幕のあるカット長く静止しているカット音声のあるカットＴＶショッピング字幕のあるカット（価格などの情報が見える）歌番組音楽の始まるカット（音声から判別）教育番組パターンのあるカットバラエテイショー歓声の上がるカットオーケストラ音楽がスタートするところ（周期的抽出）天気予報静止したカット（パターン（フリップ）＝文字や画を書いた板。ＴＶで話し手などが使用。）なお、このように注目要素、所定位置等は番組、放送チ
ャンネルの特性によって異なる。そこで要約生成、チェ
ックを何回か行なって、その中で好ましい注目要素、所
定位置等を決めるとよい。

【００３６】（３）シーンごとの切り出しシーンが変ったとき、画像中に新たな文字が映出される
ということが多い。従って、これを検出し、シーン毎に
適宜枚数の代表画像を取り出して文字データの有無を調
べるのも良い。シーンの中のどの位置から代表画像を取
るかは任意だが、例えば図３のＣＳ１、ＣＳ２でシーン
が変るとしたら、それらと、シーン中央ＰＣなどが一つ
の候補になる。

【００３７】シーンの切り替わりの判別は、例えば以下
の如く行なう。（１）ピクセルの集約処理映像は言うまでもなく２次元的な広がりを有する。例え
ばＮＴＳＣ方式は、凡そ２５０ドット×５２５ラインと
いうようなピクセル（画素、点）の集まりであり、夫々
のピクセルには明度、彩度、色相があり、このようなピ
クセルの集合からなる画像が１秒間に３０枚送信され
る。

【００３８】ピクセルの数は、いうまでもなく多い。そ
こで、処理の高速化、簡素化の為、ここではピクセルの
集約化を行う。例えば縦横４×４のピクセルの、和な
り、平均値なりを求めるとすると、映像データは１／１
６の量になり、８×８のピクセルについて同様の処理を
すると、映像データは１／６４になる。

【００３９】この集約化は、画像の緩やかな変化を捨象
し、シーンの切り替わりの判別を容易にする作用があ
る。即ち、シーンの切り替わり判別は、基本的には、前
後する二つの画像のピクセルとピクセルとを比較し、そ
こに大きな差があるか否かを見極めるものである。具体
的には、例えば画像の幾つかの領域で両者のピクセルの
データを比較し、多くが共通していたら、そこは、例え
ば背景が変らずに人物が移動しただけとかの、一つのシ
ーンの中の画像であると考える。

【００４０】しかし、例えばズームアップ／ダウンやゆっくりしたカメラの向きの変更があったとき、ここでいう集約処理をしないで前後の画
像のピクセル比較をすると、見た目は僅かでも、ピクセ
ルレベルでは殆んどの部分でデータが相違して、実際に
はシーンの途中であるのに、これらの多くがシーンの切
り替わり位置であると誤って判断されてしまう。

【００４１】おなじものを、集約化処理した粗いピクセ
ルレベルで見てみると、ある枚数までの画像は、ピクセ
ルが粗いためデータが同じで変化がない。それ故、これ
らは同じシーンに属する画像だと正しく判断される。そ
こで先ず前処理として、これら粗いピクセルの値、ａ（ｔ,ｘ,ｙ）をここで取り出す。ここに、ｔ：時刻ｘ，ｙ：集約処
理後の画像の座標ａ：その点（ｘ，ｙ）の色の値。ａ
は、Ｒ，Ｇ，Ｂをその儘取り入れるか、Ｃ₁・Ｒ＋Ｃ₂・
Ｇ＋Ｃ₃・Ｂとすればよい（Ｒ，Ｇ，Ｂは３原色情報の
値、Ｃ₁，Ｃ₂，Ｃ₃は重み係数である）。

【００４２】（２）時間方向の集約化処理次に、上記集約化処理を行なった映像データについて、
各画像毎にその夫々のピクセルとその前の画像の夫々の
ピクセルとの間の差分を求める。そしてその差分が、シ
ーンの切り替わり位置であると判断してよいほどの大き
さか否かを判断する。処理を単純にしたいなら、このと
きの差分の大きさについて一定のしきい値を定めてお
く。画像を構成する粗いピクセルの中のある数につい
て、その差分がしきい値を超えていたら、そこで画像が
変った、即ちシーンの切り替わりがあったと判定する。

【００４３】尤も、同じシーンに属していても、その内
容によってピクセル間の差分の大きさは異なる。１コマ
１コマが早く移り変わるシーンなら前後の画像の差分は
大きく、遅いものなら差分が小さい。従って、上記の如
く単純な処理も一方法だが、ここは、より的確に代表画
像を抽出するべく、更に下記処理を加える。「映像の時間的な差分比較の処理」一枚の画像を構成す
る各点のデータａ（ｔ，ｘ，ｙ）について、時間的な
差分を求める。即ちｄ（ｔ，ｘ，ｙ）＝ａ（ｔ，ｘ，ｙ）−ａ（ｔ−△ｔ，
ｘ，ｙ）を求める。但し、△ｔ：適宜の時間幅である。これは、
時間的に△ｔだけ隣り合う２枚の画像のピクセル相互の
差分（変化量）を示している。

【００４４】この差分ｄ（ｔ，ｘ，ｙ）を、所定期間、
例えば１分間の間の夫々の画像に関して求める。式で表
わせば、

【数１】となる。

【００４５】図３は、このようにして求めた例えば１分
間の集約化映像についての差分Ｄａ（ｔ）の例である。
値が大きい位置、即ち映像の差分が大きい位置ＣＳ１，
ＣＳ２が、そこで画像に何らかの大きな変化があること
を表わしており、そこではシーンが切り替わっている可
能性が高い。従って、このＣＳ１とＣＳ２の間を一つの
シーンと推定し、この中から適宜枚数の代表画像を抽出
する。これらが上記見出しにいう「映像の時間的な差分
比較処理」である。

【００４６】なお映像ソフトウェアを構成する各フレー
ムについて、例えば画像中央付近の水平走査線１本分の
映像信号に着目し、これに対して画面の移り変わりに伴
う差分を求め、シーンの切り替わりを検出するようにし
ても良い。具体的には、例えば、この水平走査線１本分
の映像信号を、Ｎ個の区間に分け、夫々の区間について
和或いは平均値を求める。そして、各区間毎に、その前
の画面の当該区間の平均値に対する差分を求める。この
差分を各フレーム毎に総和し、その値が大きくなってい
る位置、即ち、図３のＣＳ１、或いはＣＳ２に当たる位
置を求め、これを上記同様のシーンの切り替え位置であ
るとしても良い。

【００４７】図１に戻り、このようにして抽出された各
代表画像は、要約蓄積部２１と文字データ抽出部２３に
供給される。要約蓄積部２１は、供給された代表画像の
集合を当該映像ソフトウェアに対応した要約として保持
する。なお、蓄積した各代表画像とその原映像との関係
が判るように、ファイルには取り出した年月日、原映像
の記録開始の時分を記録する。また、個々の代表画像に
は、その代表画像の取り出し位置の情報を付しておく。
これは、例えば原映像の記録開始時分を基点とし、そこ
からの経過秒数、フレーム番号などで表わせる。

【００４８】文字データ抽出部２３は供給された代表画
像から、或いは原映像ソフトウェアから直接文字データ
を検出する。映像ソフトウェアに含まれる文字データに
は幾つかの形態がある。従ってここでの検出もこの形態
に合わせて行なう。一つの映像ソフトウェアに複数の形
態で文字データが含まれることもあるから、検出も複数
の手法で行なうと良い。

【００４９】（１）文字が画像として、即ちイメージ或
いはドットデータとして画像中に組み込まれている場
合。この場合は、漢字ＯＣＲ（光学的文字読取り）の手法を
適用して文字を検出する。文字は一般に画像の下方や左
右に寄せて表示される。従って、精度が多少粗くなって
も構わなければ、これらの部分について文字の有無を検
査しても良い。そうすれば処理の簡素化、高速化が出来
る。

【００５０】（２）文字コードが付加されて来る場合。文字放送字幕のように、垂直帰還時のフレーム信号の中
に、画像のスキマの情報として文字データ（字幕デー
タ）が文字コードで供給される場合もある。この場合は
簡単である。これら文字コードを映像の位置情報ととも
に順に文字データ蓄積部２８に蓄積していけば良い。更
に発展させるなら、この文字コードが付加されている映
像ソフトウェアについては、代表画像の抽出をせず、文
字コードと映像の位置情報だけに着目して抽出を行なっ
ても良い。

【００５１】再び図１に戻り、ユーザ操作部２２は、キ
ーボード、マウスなどからなる。視聴者によるこれらの
操作に応動し、検索制御部２４は、文字データ蓄積部２
８に蓄積された文字データの取り出し、選択された文字
データに対応した要約、原映像ソフトウェアの取り出
し、ディスプレイ２６への表示等を行なう。また２７は
キーワード保持部で、予め視聴者によって入力されたキ
ーワードがここに保持される。検索制御部２４は、この
キーワードの登録処理、これらと文字データ蓄積部２８
の蓄積データとの照合処理も行なう。

【００５２】原映像、要約、検出された文字データは、
前述の如く、夫々に、放送年月日、時分秒、フレーム番
号等のインデックスが付され、原映像蓄積部１２、要約
蓄積部２１または文字データ蓄積部２８に蓄積される。
これらは映像ソフトウェアのデータベースそのものであ
る。従ってその利用の仕方は多様である。前述の大まか
な動作の説明と重複するが、一例を上げれば以下のとお
りである。

【００５３】（Ａ）視聴者が必要の都度、キーワードを
入力して検索。この検索方法は、最も一般的なデータベース検索手法で
ある。具体的には、（１）仕事に関し、或いは個人的なことで、視聴者が何
か調べたいテーマが出て来たら、そのテーマを端的に表
現するであろう言葉を幾つか想定し、ユーザ操作部２２
から打ち込む。

【００５４】（２）検索制御部２４は、これに応動し
て、文字データ蓄積部２８に蓄積されている文字データ
にこのキーワードを照合し、該当データの有無を検査す
る。照合は、完全一致、部分一致その他、視聴者の所望
する形態で実施する。（３）検索制御部２４は、該当する要約、映像ソフトウ
ェアが存在したら、その目次情報をディスプレイ２６に
一覧表示する。ＤＶＤなどの媒体に収容されたものな
ら、そのＤＶＤ等を表わすボリューム名やタイトル名、
トラック番号その他をディスプレイ２６に一覧表示す
る。

【００５５】（４）視聴者は、この一覧の中から所望の
ものを選択する。放送時間、ＤＶＤタイトルなど、一覧
表に出されている目次情報を手掛かりにすれば、所望す
る要約へのアプローチが容易になる。検索制御部２４
は、視聴者が選択した文字データに対応した要約を要約
蓄積部２１から取り出し、ディスプレイ２６に表示す
る。

【００５６】要約の表示方法も種々想定される。例えば
ページをめくるのと同じように、視聴者がキー等を押し
た都度、一つづつ代表画像を表示していっても良い。自
動めくり式に、ある程度の速さで次々と代表画像を表示
していっても良い。映像ソフトウェアには言うまでもな
くストーリー性がある。従って、早い速度で次々と表示
していっても、視聴者は意外に的確に要約の内容を理解
できる。スロー再生、レビュー等の機能も設けておき、
必要に応じてこれを利用出来るようにしておくのも良
い。

【００５７】（５）適宜の数の要約を見て、或いは最後
まで見て、その映像ソフトウェア或いはその一部分が、
所望したテーマに関連したもの、或いは関連していそう
だと判断できたら、その代表画像を取り出した位置から
の原映像ソフトウェアの再生を指示する。要約は原映像
ソフトウェアの１０分の１から１００分の１の大きさに
なっており、見るのに多くの時間を要しない。それ故、
このように２段階にした方が、所望する原映像への到達
時間を短縮できる。

【００５８】検索制御部２４は、上記視聴者の指示に応
動して、原映像蓄積部１２からその要約取り出し位置以
降の原映像ソフトウェアを順次読み出し、ディスプレイ
２６に表示する。この処理は、ビデオテープデッキその
他、通常の映像機器での再生処理と同様に行なわれる。
ここでも、早送り、レビュー、ポーズその他のキーを設
けておくと使い勝手が良い。

【００５９】（Ｂ）予めキーワードを登録しておいて、
該当したものを一覧表示。この場合は、視聴者が見張っていたい事項を表わすキー
ワードを先にキーワード保持部２７に蓄積しておく。例
えば一日一回、視聴者が確認操作をすると、これに応動
して、登録されているキーワードに一致する文字データ
を含んでいた要約、或いは原映像ソフトウェアの目次情
報が、ディスプレイ２６に一覧表示される。

【００６０】即ち、我々が仕事上、或いは個人的に必要
とする、或いは見張っておきたい情報の種類は、ある程
度限られている。また、毎日同じキーワードを繰り返し
入力するのもいささか煩わしい。そこでこのように、こ
の種固定的に使用されるキーワードを、キーワード保持
部２７に予め登録しておく。そして視聴者が欲するとき
該当するものをディスプレイ２６に一覧表示する。例え
ば、特許に関する映像ソフトウェアを常に把握しておき
たいと欲するなら、「特許」「工業所有権」「特許庁」
といったキーワードをキーワード保持部２７に登録して
おき、該当する映像ソフトウェアを補捉する。政治家、
有名人、映画スターの名前を登録しておけば、自分の知
りたい映像をすぐに見つけだせる。

【００６１】（Ｃ）蓄積されている文字データを一覧表
示。例えば蓄積されている文字データをディスプレイ２６に
五十音順に表示する。視聴者が、その中から所望のもの
を選択し、それに対応した要約や原映像ソフトウェアを
表示するようにしても良い。

【００６２】これら各種手法で要約や映像ソフトウェア
を確認した後、若し保存したい代表画像、要約、映像ソ
フトウェアなどが出て来たら、不図示「保存」のキー等
を操作する。検索制御部２４はこれに応動して、それら
を所望ソフト蓄積部２９に格納する。これにより後にな
って必要なとき何時でも参照出来る。

【００６３】なお音声の再生方法は任意である。例えば
原映像ソフトウェアを再生するときは、同じ速度で再生
すれば良い。しかし要約を再生する場合は、元の儘で再
生は出来ない。そこで、例えば夫々の代表画像抽出位置
付近の数秒間の音声データを取り出し、これを原映像の
ときと同じか少し早めて再生する。また、デジタル化し
たあと適宜間引きして蓄積し、それを再生しても良い。

【００６４】変形例について述べる。要約再生は代表画
像４つとか６つとかをディスプレイ２６の一つの画面に
纏めて表示しても良い。前述のとおり代表画像はストー
リー性を持っている。従って、これらが複数個一度にデ
ィスプレイ２６に表示されても、視聴者は容易にその内
容を感得出来る。ストーリーがあることを考慮すると、
このようにした方が判りやすいとも言える。

【００６５】従って、例えば代表画像Ｘ枚を一度に画面
に表示したとすれば、単純には１枚づつのときのＸ分の
一の時間で当該要約を再生することが出来る。所要時間
が短くて済むから、このＸ枚の代表画像を１枚に合成し
た表示画面については、表示時間を長くして良い。これ
により一層当該映像ソフトウェアの理解が容易になる。

【００６６】本発明は専用の装置として実現してもよい
し、パーソナルコンピュータのアプリケーションプログ
ラムとして実現してもよい。専用チップを製作し、パソ
コンに組み込んだり、ＤＶＤプレーヤ、ビデオテープデ
ッキ、ゲームプレーヤ等に組み込んだりしても良い。

【００６７】一つの映像ソフトウェアについて、異なる
要素の変化を動機とする夫々の代表画像を抽出し、別個
の要約として蓄積しても良い。記録内容チェックの際、
夫々の要約を再生して、理解しやすい方でその後のチェ
ックを実行することが出来る。

【００６８】原映像蓄積部１２、要約蓄積部２１は、家
庭用のビデオテープその他の磁気テープを用いても良
い。記録時間が足りないときは、デッキ（ドライブ）を
複数個配置する。原映像ソフトウェアの蓄積にはそれな
りの記憶容量を要する。従ってその記録は前述の循環的
方式が良いと思われる。しかし、要約と文字コードにつ
いては、所要記憶容量が小さいから、かなり長期間蓄積
しても構わない。

【００６９】重ね書きで原映像ソフトウェアが消えてし
まうので確認がやや困難にはなるが、文字データと要約
を残しておくだけでも、キーワードに該当した映像ソフ
トウェアの中身が何であったかは、ある程度把握出来
る。それらを手掛かりに、放送元、データ供給元へ問い
合せをすることも出来る。従って、この実施形式にした
としても、データベースとして効用は大きい。

【００７０】要約と文字コードについても、検索ノイズ
を増やす原因にも成るから、必要のないものは蓄積しな
い方が良い。この為、何日分か蓄積されたものを視聴者
が検査し、保存すると決めたものだけ蓄積して、残りを
その場で消去してしまうという処理にも良い（検索ノイ
ズ＝当該キーワードに該当してはいるが、検索目的から
は外れているデータ）。

【００７１】

【発明の効果】以上説明したように本発明は、映像ソフ
トウェア中に存在する文字が、その映像ソフトウェアの
内容を端的に表わすという性質に着目し、これらを取り
出して蓄積し、データベースとして利用可能にした。従
って、視聴者は、何時でも必要があるときに、所望の検
索形式、例えば日常使用されている言葉をキーワードす
るなどで、大量に供給される映像ソフトウェアの中から
容易に所望のもの引出すことが出来、仕事に、個人的用
途にこれらを活用することが出来る。

【図面の簡単な説明】

【図１】本発明の実施の形態の一例を示すブロック図。

【図２】映像ソフトウェア、代表画像、文字データの例
を示す概念図。

【図３】時刻ｔの映像データと、時刻ｔ＋△ｔの映像デ
ータの差分とシーンの切り替わりとの関係を示す波形
図。

【符号の説明】

１００…映像検索装置１１…入力インタ
フェース１２…原映像蓄積部１３…変化位置検
出部１４…代表画像抽出部１６…ＴＶ放送受
信部１７…ＤＶＤプレーヤ１８…ビデオテー
プデッキ１９…インターネット接続部２０…ＣＤ−ＲＯ
Ｍドライブ２１…要約蓄積部２２…ユーザ操作
部２３…文字データ抽出部２４…検索制御部２６…ディスプレイ２７…キーワード
保持部２８…文字データ蓄積部２９…所望ソフト
蓄積部ＣＳ…シーン切替Ｄａ(t)…時刻ｔ
と時刻ｔ+△ｔの映像の差分
ＰＣ…シーン中央Ｌ…文字データ直接抽出ＶＤ…代表画像ＶＥ…要約ＶＳ…映像ソフト
ウェア

Claims

【特許請求の範囲】

【請求項１】映像ソフトウェアから文字データを抽出
する文字データ抽出手段と、その抽出位置情報と共に前
記文字データを蓄積する文字データ蓄積手段と、前記蓄
積された文字データの中から所望のものを選択する選択
手段と、該選択された文字データに係る画像を前記映像
ソフトウェアの中から引出す引出し手段とを備えたこと
を特徴とする映像検索装置。
【請求項２】前記文字データ抽出手段が、前記映像ソ
フトウェアから抽出した代表画像から前記文字データを
抽出することを特徴とする請求項１に記載の映像検索装
置。
【請求項３】前記引出し手段が、前記選択された文字
データに係る代表画像を引出すことを特徴とする請求項
１又は請求項２に記載の映像検索装置。