JPH0352070A - 動画像の関連情報参照方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は動画像の関連情報参照方式に係り、特に動画像
情報の検索および関連情報の参照等を基本機能として持
つマルチメディア処理システムを構築するのに好適な動
画像の関連情報参照方式に関する． 〔従来の技術〕 従来、表示画像の一部分に着目して，その部分に関連す
る情報を参照する方式は．静止画像についてのものがほ
とんどである．第７図はアップル社のハイバーカードマ
ニュアルｒＡｐｐｌｅ　Ｍａｃ．ｈｔ−ｎｔｏｓｈ　Ｈ
ｙｐｅｒＣａｒｄＵｓｅｒ’ｓ　ＧｕｉｄｅＪで説明さ
れている方式の概略を示したものである．即ち，ディス
プレイ７０に表示された静止画像７１中に、着目する対
象部分画像７４をとりまく領域をボタン７３として埋め
込み，ボタン７３に関連した処理７６をあらかじめ決め
ておく．ボタン７３は矩形領域で定義され、会話的に位
置・大きさを定義することができる．該当定義領域に対
応するボタン７３が指示カーソル７２によってポイント
された場合，その関連情報の参照（例えば百科辞典べ一
スをアクセスし、帽子に関するデータを獲得するなど）
などの処理７６を実行する。

〔発明が解決しようとする課題〕

従来技術では，参照領域の定義および関連参照処理を静
止画像について実現することを基本としているためミ動
画像に対して同様のことを実現するためには、動画像中
の代表的なフレームについてのみ参照領域の定義／関連
付け／参照を行うか、または動画像を構成するすべての
フレーム列に対して参照領域の定義／関連付け／参照を
行うかしなければならない。しかしながら、前者の方法
の場合は，利用者の希望するフレームがかならずしも関
連情報参照のために定義されているフレームと一致しな
いため、利用者は希望するフレームの前後を探索して参
照領域が定義されているフレームを探さなければならな
い．一方、後者の方法では，利用者は任意の関連情報を
参照することができるものの，動画像中のフレーム数は
膨大なために参照領域定義をすべてのフレームに対して
行うのは、人間の意志判断に匹敵する自動領域認識が可
能とならない限り現実的ではない． 本発明の目的は．表示された動画像画面の一部分を指示
することにより、当該部分に対してあらかじめ用意され
た関連情報を参照するにあたり、利用者が動画像中の任
意のフレームに対して、フレーム中の部分画像について
関連情報の参照を可能にするとともに、そのための関連
情報参照領域定義についてはすべてのフレームに対して
行う必要のない効率的な方式を提供することにある。

〔課題を解決するための手段〕

上記目的を達成するために、本発明は、動画像の一連の
フレーム列から、対象の部分画像を含む複数フレームの
区間を抽出し、該区間を当該部分画像の変化の単調な複
数の部分区間に分割し、当該部分画像を囲む領域情報を
部分区間の両端フレームに対して格納し、該領域情報に
当該部分画像の関連情報のポインタを付与しておき、表
示された動画像の一部分が指示された場合、当該フレー
ムが含まれる部分区間の領域情報をリストアップし、各
部分区間の両端フレームの領域情報から補間により当該
フレームに係わる参照領域を求めて、指示された当該部
分を含む参照領域をみつけ、当該領域情報に付与されて
いるポインタにより関連情報を参照するようにしたこと
である．〔作　用〕 本発明では、動画像中の任意のフレーム中の部分画像に
対する関連情報のための参照領域定義を、該部分画像の
変化が単調な区間に着目して、該区間の両端においての
み行い、動画像画面の一部が指示された場合、該フレー
ムに係わる参照領域を区間両端の領域情報から補間して
得る．これにより、区間中全部のフレームに対して参照
領域定義を行う必要がない．また、領域情報には，対象
部分画像の関連情報のポインタが付与されているため、
動画像中の任意のフレーム中の部分画像に対して関連情
報参照が可能となり、利用者は参照のできるフレームを
探す必要なく、興味を覚えたフレームについてすぐに参
照ができる． 〔実施例〕 以下、本発明の一実施例について図面により説明する． 第１図は本発明方式を実現するシステムの概略ブロック
図である．動画像プレイヤ１１はレーザディスクプレイ
ヤ、ビデオテープレコーダ、ＣＤ−ＲＯＭプレイヤなど
がらなり、コンピュータ１２と映像信号ＲＩＡ１５、制
御線１６で接続される。

コンピュータ１２は、動画像プレイヤ１ｌがら動画像を
取り込んで、ディスプレイ１３に表示すると共に、マウ
スなどのポインティングデバイス１４を用いて会話形式
に所望の処理を実行する．関連情報ファイル１７には、
動画像中の各部分画像に関する情報（関連情報）があら
かじめ蓄積されている．利用者がディスプレイ１３に表
示された動画像画面の一部分を指示することにより、コ
ンピュータ１３は関連情報ファイル１７をアクセスし、
当該部分の関連情報を読出してディスプレイ１３に表示
する。例えば，表示されている動画像画面中の或る人物
が指示された場合、該人物に関連する情報が関連情報フ
ァイル１７から読出されて表示される． コンピュータ１３での処理は、動画像中の部分画像と関
連情報ファイル１７中の関連情報との対応付けを定義し
てあらかじめ登録しておく処理（以下、参照領域定義処
理と称す）と，表示された動画像中の一部分を指示する
ことにより関連情報ファイル１７から関連情報を読み出
す処理（以下、関連参照処理と称す）に大別される．以
下、これらの処理について詳述する． 第２図は動画像中の部分画像の参照領域定義処理のフロ
ーチャートである． 処理２ｌにおいては、処理対象とする動画倣中の部分画
像を選択する．この部分画像の選択は、動画像プレイヤ
１１から動画像を入力し、ディスプレイ１３に表示され
た動画像中から，登録者が、登録する目的に合う部分画
像を順に選択することにより行う．この場合、登録者は
各対象部分画像の名称、ＩＤ等を入力する．次に、処理
２２においては、動画像を構成するフレーム列から，選
択された部分画像が実際に登場する部分フレーム列を対
象区間として抽出する．この対象区間の抽出は，動画像
プレイヤ１１を制御し、会話的に、登録者がディスプレ
イ１３に表示される動画像を流し見しながら、対象とす
る部分画像が登場するフレームにマーキングすることに
より行う．処理２３においては、処理２２で抽出した対
象区間を調べ、対象部分画像について動き等の変化が単
調な部分区間に更に分割する．この場合も，動画像プレ
イヤｌ１を制御し，会話的に、登録者が対象区間の対象
部分画像の動き等の変化を見て、分割点のフレームにマ
ーキングすることで行う。また、登録者は、分割した各
部分区間を識別するために、部分区間番号等を入力する
．次に、処理２４においては、分割されマーキングされ
た各部分区間の両端のフ！ノームを区間始点フレーム、
区間終了フレームとし、フレーム中に表示される対象部
分画像に関する参照領域を定義する。参照領域の定義は
，領域を囲む輪郭図形をフレーム画像に重豊し、登録者
が会話的に変形・移動できるようにすることにより実現
する． 処理２５においては，対象部分画像を含む全ての分割部
分区間に対して処理２４の参照領域定義の処理を終了し
たか判定する．分割した全ての部分区間に対する２４の
処理が終了すると、処理２６において、当該対象部分画
像と関連情報ファイル１７中の関連情報との対応付けを
行う．これは、処理２１での対象部分画像の選択の際に
入力した当該部分画像の名称、ＩＤ等により関連情報フ
ァイルｌ７を検索し、関連情報の格納アドレス（ポイン
タ）を処理２４で作成した参照領域定義情報に付加する
ことで行う．次に、処理２７において，定義すべきすべ
ての部分画像に対して２１〜２６の処理の終了を判断す
ると、参照領域定義処理が終了する． 第３図は動画像画面の一部を指示することにより、その
関連情報を獲得する関連参照処理のフローチャートであ
る． 処理３　１においては、ディスプレイ１３に表示された
動画像画面に対し，利用者からの参照指示を検出する．
この参照指示の検出は、例えば表示スクリーン上にタッ
チスクリーンを設けてタッチを検出するか，またはマウ
ス等に連動して表示動画像中に重畳される指示カーソル
とボタンによって実現する．処理３ｌにより参照指示を
検出すると，処理３２において．あらかじめ登録してあ
る各部分画倣に対応する定義区間から、指示のあったフ
レームを含む定義区間をすべてリストアップする．次に
、処理３３においては、このリストアップされたそれぞ
れの定義区間に対して、その部分区間の両端についての
み定義されている参照領域定義情報、例えば領域の位置
や大きさなどを読み出す．さらに．処理３４において，
部分区間両端のフレーム番号および参照指示のあった対
象フレーム番号と、処理３３において得た参照領域定義
情報から、対象フレーム中での参照領域を補間により求
める．次に，処理３５においては、対象フレーム中で参
照指示のあった点が処理３４で求めた参照領域に含まれ
るか判断し．含まれない場合にはリストアップされてい
る別の定義区間について３３〜３５の処理を行う．含ま
れる場合には当該定義区間が目的の区間ヒ判定し，処理
３６において、その部分区間の参照領域定義情報に付与
されているポインタにより関連情報ファイル１７をアク
セスし、指示された部分画像の関連情報を読み出す． 第４図及び第５図に区間分割、補間処理の具体例を示す
．第４図中，４０はフレーム列からなる動画像、４１は
その内の１フレームを示す．第４図の例は、着目する部
分画像が４３のような人物であるとした場合，関連する
対象区間が４５で，かつ、部分画像の変化ヒして、人物
の位置の変化が単調な区間１，区間２の４６．４７に分
割されたことを示している．さらに，区間１の始点フレ
ームにおける参照定義領域が４２、区間１の終点（区間
の始点）については４３、区間２の終点については４４
であることを示している，実際に利用者からの参照指示
が４９で示すフレ一ムであるとした場合、当該指示フレ
ーム上での参照領域を、例えば第５図に示すような補間
を行って求める．第５図は，対象区間中のフレームを重
畳して示したもので．あらかじめ定ａ（登録）されてい
る参照定義領域は区間１の始点、終点（区間２の始点）
、区間２の終点の３つである．本例の場合、領域定義は
矩形で表わし、部分画像の変化の単調性が線形な区間に
分割されており、５３の参照指示フレーム対応の参照定
義領域を単に区間幅εフレーム番号差から比例配分する
ことで求めている． 第６図は、参照領域定義処理で生戒され登録されるデー
タ構造の一例を示したものである．６１は動画像中の対
象ヒする部分画像のリストであり、対象部分画像の名称
、工Ｄ等で示される．各対象画像ごとに，部分区間リス
１・６２へのポインタを持つ。部分区間リスト６２は、
対象部分画像に関連するフレーム区間を複数に分割した
部分区間のリストを示し、各部分区間ごヒに、当該部分
区間の始点／終点を示す区間足義情報６３へのポイン夕
を持つ。一つの区間定義憤報６３は、当該部分区間の始
点フレーム番号、終点フレームを１組として構成される
。各区間定義情報６３は、参照領域定義情報６４へのポ
インタを持ち，一つの参照領域定義情報６４は、参照領
域を定義するための情報として例えば領域の重心、領域
の広がりを重心を中心にして定めるための水平／垂直オ
フセット，さらに参照時の関連情報処理へのポインタな
どからなる． 参照時Ｊ指示された点のフレームの含まれる区間定義情
報６３が全てリストアップされ、その参照領域定義情報
６４により対象フレーム上での参照領域を補間により求
め、指示点が参照定義領域に含まれる該当参照領域定義
情報６４を認識する。

そして、この認識された参照領域定義情報６４に付与さ
れている関連処理ポインタで関連情報ファイル６５をア
クセスし、関連情報リストを読み出す． 〔発明の効果〕 以上説明したように，本発明によれば、一連のフレーム
列からなる動画像に効率的な参照領域定義を行うことが
できるとともに，実際の利用時には動画像のうちの任意
のフレーム中の部分画像に対して関連参照することがで
きるため、例えば映像データベース検索システムなどに
応用すれば、映像中に登場する人物・事物に関連する情
報の参照や，関連する新たな場面へのジャンプなどが迅
速に行えるなどの効果がある．

【図面の簡単な説明】

第１１ｊＡは本発明を実現するシステムの概略ブロック
図、第２図は本発明の参照領域定義処理の一実施例のフ
ローチャート、第３図は本発明の関連参照処理の一実施
例のフローチャート，第４図及び第５図は本発明の具体
例を示す図、第６図は参照領域定義処理で登録されるデ
ータ構造例を示す図，第７＠は従来方式を説明するため
の図である．１１・・・動画像プレイヤ、　　１２・・
・コンピュータ、１３・・・ディスプレイ、　１４・・
・ポインティンングデバイス，　　１７・・・関連情報
ファイル．第１ 図 第７図 第２図

Claims (1)

【特許請求の範囲】
1. （１）動画像の表示画面の一部を指示することにより、
   当該部分に対してあらかじめ設定された関連情報を参照
   する方式であって、 動画像の一連のフレーム列から、対象の部分画像を含む
   複数フレームの区間を抽出し、該区間を当該部分画像の
   変化の単調な複数の部分区間に分割し、当該部分画像を
   囲む領域情報を部分区間の両端フレームに対して格納し
   、該領域情報に当該部分画像の関連情報のポインタを付
   与し、 表示された動画像の一部分が指示された場合、当該フレ
   ームが含まれる部分区間の領域情報をリストアップし、
   各部分区間の両端フレームの領域情報から補間により当
   該フレームに係わる参照領域を求めて、指示された当該
   部分を含む参照領域をみつけ、当該領域情報に付与され
   ているポインタにより関連情報を参照することを特徴と
   する動画像の関連情報参照方式。