JPH11136573A - 映像情報一斉付加方法およびその方法を記録した記録媒体 - Google Patents

映像情報一斉付加方法およびその方法を記録した記録媒体

Info

Publication number
JPH11136573A
JPH11136573A JP29379597A JP29379597A JPH11136573A JP H11136573 A JPH11136573 A JP H11136573A JP 29379597 A JP29379597 A JP 29379597A JP 29379597 A JP29379597 A JP 29379597A JP H11136573 A JPH11136573 A JP H11136573A
Authority
JP
Japan
Prior art keywords
frame image
information
cluster
video information
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29379597A
Other languages
English (en)
Other versions
JP3821558B2 (ja
Inventor
Takashi Sato
隆 佐藤
Akito Akutsu
明人 阿久津
Yoshinobu Tonomura
佳伸 外村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP29379597A priority Critical patent/JP3821558B2/ja
Publication of JPH11136573A publication Critical patent/JPH11136573A/ja
Application granted granted Critical
Publication of JP3821558B2 publication Critical patent/JP3821558B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Digital Computer Display Output (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【課題】 代表画像を類似度により分類し、分類毎でま
とめて一斉に情報を付加し、オペレータの負担を減らす
ことができる映像情報付加方法を提供する。 【解決手段】 映像における各場面を代表するフレーム
画像の情報をステップ101の特徴量抽出段階に入力す
る。まず、101の特徴量抽出段階において、入力され
たフレーム画像から特徴量ベクトルを抽出する。次に、
ステップ102のクラスタリング段階において、特徴量
ベクトルが類似したクラスタに分類する。続いて、ステ
ップ103のフレーム画像表示段階では、クラスタ毎に
フレーム画像を表示する。最後に、ステップ104の情
報入力段階において、対象となるフレーム画像を指定し
てそのフレーム画像に付加する情報を入力する。これに
より、分類毎でまとめて情報を付加できるようし、似た
フレーム画像を持つ場面をまとめて一斉に情報を付加で
きるようする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像に属性や注釈
などの情報を付加する装置に関する。
【0002】
【従来の技術】映像の使い勝手を向上させるために、映
像にカット点情報やキーワードなどの属性や注釈の情報
を付加し、映像の検索や分類に用いることが提案されて
いる。これらの情報を付加する方法として、計算機によ
る映像解析により自動的に行う方法と、人手によって行
う方法がある。
【0003】従来技術のうち、人手によって映像に情報
を付加するための装置として、表計算機能を持ったスプ
レッドシート用いるものがある(特開平8−95986
号)。この従来技術は、ビデオ映像を入力して、場面毎
に代表画像を抽出する第1の手段と、場面毎に関連する
情報を入力する第2の手段と、代表画像と場面毎の関連
情報とが同じ行もしくは列になるように表を作成して表
示する第3の手段を有する。なお、場面とは、同一被写
体の存在区間、同一テーマの区間、類似フレーム画像の
連続区間、などといった、ある基準により切り分けられ
るフレーム区間である。この従来技術によると、ユーザ
はビデオ映像をモニタしながら、気付いたときに随時関
連情報を書き込むことができ、また、入力された情報か
ら計算される別の情報を一覧表の中で即座に確認でき
る。
【0004】
【発明が解決しようとする課題】しかしながら上記の従
来技術では、場面毎の代表画像に対して個々に情報を付
加する必要があるため、オペレータの負担が大きいの
で、小規模の映像に対して情報を付加する場合には有効
であるが、大量の映像データを対象にして情報を付加す
る場合には実用的ではないという問題があった。
【0005】そこで本発明は、代表画像を類似度により
分類し、分類毎でまとめて一斉に情報を付加し、オペレ
ータの負担を減らすことができる映像情報付加装置を提
供することを課題とする。
【0006】
【課題を解決するための手段】前記の課題を解決するた
めに、本発明は、各場面の代表フレーム画像の特徴量ベ
クトルを抽出する特徴量抽出段階と、特徴量ベクトルが
類似したクラスタに分類するクラスタリング段階と、ク
ラスタ毎にフレーム画像を表示手段に表示するフレーム
画像表示段階と、フレーム画像を指定して情報を入力す
る情報入力段階とを有することを特徴とする。
【0007】また、本発明は、前記特徴量抽出段階にお
いて、各場面の代表フレーム画像を縮小した画像の輝度
値の並びを特徴量ベクトルとすることを特徴とするもの
もある。
【0008】また、本発明は、前記クラスタリング段階
において、所望のクラスタ数になるまで、クラスタの重
心と特徴量ベクトルとの間の距離の和の最も大きいクラ
スタを分割することによってクラスタリングを行うこと
を特徴とするものもある。
【0009】また、本発明は、前記フレーム画像表示段
階が、クラスタの重心と特徴量ベクトルとの間の距離の
標準偏差の小さい順にクラスタを並べることを特徴とす
るものもある。
【0010】また、本発明は、前記フレーム画像表示段
階が、クラスタの重心と特徴量ベクトルとの間の距離が
小さい順にフレーム画像を並べることを特徴とするもの
もある。
【0011】また、本発明は、前記フレーム画像表示段
階が、クラスタの重心と特徴量ベクトルとの間の距離
と、前記距離の標準偏差との比較結果に基づいて、フレ
ーム画像をハイライト表示することを特徴とするものも
ある。
【0012】また、本発明は、前記フレーム画像表示段
階が、情報付加済、あるいは、未付加のフレーム画像を
ハイライト表示することを特徴とするものもある。
【0013】また、本発明は、前記フレーム画像表示段
階が、指定したフレーム画像に付加されている情報を表
示し、指定したフレーム画像が複数の場合には、付加情
報の和集合、あるいは、積集合を表示することを特徴と
するものもある。
【0014】本発明では、映像の各場面を代表するフレ
ーム画像から抽出した特徴量ベクトルが類似したクラス
タに分類し、分類したクラスタ毎にフレーム画像を表示
することで、分類毎でまとめて情報を付加できるように
することにより、似たフレーム画像を持つ場面をまとめ
て一斉に情報を付加できるようにしている。
【0015】
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について説明する。
【0016】図1は、本発明による方法の一実施形態例
を表す流れ図である。まず、場面を代表するフレーム画
像の情報が入力されると、ステップ101の特徴量抽出
段階においてフレーム画像から特徴量ベクトルを抽出す
る。次に、ステップ102のクラスタリング段階におい
て、特徴量ベクトルが類似したクラスタに分割する。ス
テップ103のフレーム画像表示段階では、クラスタ毎
にフレーム画像を表示する。ステップ104の情報入力
段階では、対象となるフレーム画像を指定して情報を入
力する。
【0017】入力となるフレーム画像は、例えば、図2
に示す場面管理表によって管理される。第1列は場面の
ID番号であり、重複のない数字が割り振られる。第2
列は映像データのID番号であり、この列が存在するこ
とによって、複数の映像データを一括して管理すること
ができる。第3,4列は、それぞれ、場面の開始、終了
フレーム番号である。なお、ここではフレーム番号とし
たが時間によって管理してもよい。
【0018】この場面管理表によって管理された情報を
用いて、図3のように映像データからフレーム画像を取
り出す。まず、場面管理表から1行ずつ情報を取り出
す。映像ID(図では「2001」)によって指定され
る映像データから、開始フレーム番号(図では「4
5」)をのフレーム画像を取り出す。なお、ここでは場
面の開始フレームを代表としたが、終了フレームや中間
のフレームを用いてもよい。次に、取り出したフレーム
画像を、場面ID(図では「1」)と組にして管理す
る。以上の手順を場面管理表の各行について実行すれ
ば、各場面を代表するフレーム画像と場面IDの組を取
り出すことができる。
【0019】図4に、本発明の特徴量抽出段階(ステッ
プ101)の実施形態例を示す。ここでは、まず、フレ
ーム画像を9×6画素の縮小画像に縮小する。各画素
は、赤緑青(RGB)の色の3要素から構成されるの
で、縮小画像は9×6×3=162個の値から構成され
ることになる。この値を一定の順番で並べて(例えば、
左上から右下に走査する)162次元の特徴量ベクトル
n(1≦n≦N)とする。ここでxnの添字nは、場面
IDであり、Nは場面数である。
【0020】なお、ここでは縮小画像を9×6画素とし
たが、これ以外の大きさにしてもよい。また、色空間を
RGB空間から、L* u* v* 均等色空間やL* a* b
* 均等色空間など、他の色空間に変換してもよい。
【0021】特徴量ベクトルxnの各成分xnjは、平均
【0022】
【数1】
【0023】を引き、標準偏差σjで割って正規化して
おく。すなわち、
【0024】
【数2】
【0025】とする。
【0026】図5に、本発明のクラスタリング段階(ス
テップ102)の実施形態例の流れ図を示す。この実施
形態例では、初期クラスタ数を1とし、クラスタ数が所
望の数になるまで、クラスタの重心とそのクラスタに属
する特徴量ベクトルとの距離の和が最大であるクラスタ
を分割していく。つまり、ばらつきが大きいクラスタを
分割していくことにより、バランスが良く歪みの少ない
クラスタリングを行うものである。
【0027】まず、ステップ501で正規化された特徴
量ベクトルxn(1≦n≦N)を入力する。ただしNは
特徴量ベクトルの数、すなわち、入力したフレーム画像
の数である。次に、ステップ502において1番目のク
ラスタの重心z1の初期値を与える。またmをクラスタ
数とし、初期値1とする。
【0028】続いて、ステップ503において、すべて
のxnについて、最も近いクラスタ重心zi(1≦i≦
m)を見つけ、そのクラスタCiにxnが属するとする。
つまり、すべてのxnを、いずれかのクラスタCiに分配
する。数式で表すと、xn∈Cj,j=argi min
d(xn,zi) (4)となる。ただし、argi
min x(i)は、x(i)が最小となるiを表
す。また、d(x,y)はxとyの間の距離であり、例
えば、ユーグリッド距離
【0029】
【数3】
【0030】を用いることができる。
【0031】次に、ステップ504において、次のよう
に距離の総和Dを求め、閾値Tと比較する。
【0032】
【数4】
【0033】Diは、クラスタCiの重心ziとそのクラ
スタに属する特徴量ベクトルxとの距離の和であり、D
は全クラスタにわたってDiの和を求めたものである。
もしD<Tならば、ステップ506に進み、そうでない
ならば、ステップ505に進む。
【0034】ステップ505では、次のように各クラス
タCiの重心ziを再計算する。
【0035】
【数5】
【0036】ただし、KiはCiに属するxの個数であ
る。ziの再計算の後は、ステップ503に戻って、xn
を分配し直す。
【0037】ステップ506では、クラスタ数mが、所
望のクラスタ数Mに達したかどうかを判別し、もしm=
Mならば、ステップ507に進んでクラスタリング段階
を終了する。m<Mならば、ステップ508に進む。
【0038】ステップ508では、距離の和Diが最大
のクラスタCdを求める。
【0039】d=argi max Di …(9) 次のステップ509では、Cdを分割して、新しいクラ
スタCm+1を生成する。そこで、Cm+1の重心zm+1を、
dの重心zdの近傍のzd+Δzとし、zdは、zd−Δ
zに置き換える。
【0040】zm+1=zd+Δz …(10) zd=zd−Δz …(11) ただし、Δzは、小さいベクトルであり、例えば、 Δzi=0.001 …(12) を用いることができる。
【0041】次のステップ510では、クラスタ数mを
1増やす。そして、ステップ503に戻って、xnを分
配し直す。
【0042】以上の手順によって、xnをM個のクラス
タCi(1≦i≦M)に分けることができる。
【0043】クラスタリングの結果は、図6と図7に示
すようなクラスタ情報管理表(1),(2)によって管
理される。図6のクラスタ情報管理表(1)は、各クラ
スタの距離の和Di、xの個数Kiを管理している。さら
に、
【0044】
【数6】
【0045】によって標準偏差σiを求めて、併せて表
に記録しておく。この値は後で並べ替えやハイライト表
示のときに頻繁に用いられるので、あらかじめ計算して
おくと効率がよい。もちろん、このようにσiをあらか
じめ計算しておくのではなく、必要になった時点でその
都度DiとKiから計算してもよい。
【0046】図7のクラスタ情報管理表(2)は、各ク
ラスタに属する特徴量ベクトルを管理する表である。前
記のクラスタリングの結果、各クラスタに特徴量ベクト
ルが分配されたが、その特徴量ベクトルxnの添字nは
場面IDを表していた。そこで、各クラスタごとに、場
面IDを並べる形式で表を構成する。さらに、xnと、
クラスタ重心ziとの距離d=d(xn,zi)の値も併
せて記録しておく。dは、後で、並べ替えやハイライト
表示のために用いられる。
【0047】次に、図8を用いて、本発明のフレーム画
像表示段階(ステップ103)と情報入力段階(10
4)の実施形態例を説明する。前記クラスタリングの結
果は、後述のように801と809のようなフレーム画
像表示部を用いて表示される。また、806の情報入力
部を用いて、後述のようにフレーム画像に対して情報が
付加される。
【0048】801は、フレーム画像表示部の第1の実
施形態例である。このフレーム画像表示部801には、
各場面のフレーム画像がクラスタ毎に並んで表示され
る。802や803は、各場面のフレーム画像の例であ
る。802は後に述べるように太枠によってハイライト
表示されている例である。804はスクロールバーであ
り、クラスタリングの結果が画面に収まりきらない場合
に、このスクロールバー804を操作することによっ
て、画面をスクロールして全体を表示することができ
る。
【0049】フレーム画像はクラスタ毎に表示される
が、クラスタの並び順は次のように決めることができ
る。すなわち、前述の図6のクラスタ情報管理表(1)
のように、各クラスタについて標準偏差σを計算した
が、このσの小さい順にクラスタを並べ替えることがで
きる。このようにすれば、よりばらつきの少ないクラス
タほど先頭に現れるようになる。クラスタ内のばらつき
が小さければ、情報をまとめて付加するのが容易にな
る。したがって、情報を一斉に入力するのに適した順に
並べることができる。
【0050】また、ひとつのクラスタ内での、フレーム
画像の並び順は、次のように決めることができる。すな
わち、前記の図7のクラスタ情報管理表(2)のよう
に、フレーム画像とクラスタ重心との間の距離dを記録
したが、このdの値の小さい順にフレーム画像を並べる
ことができる。このようにすれば、クラスタ重心に近い
順にフレーム画像が並ぶので、そのクラスタを代表する
フレーム画像ほど先に現れることになる。
【0051】さらに、前述の標準偏差σと距離dとを比
較して、d<Nσとなるフレーム画像をハイライト表示
することができる。ただし、Nは1,2,3であり、そ
れぞれについて色を変えるなど異なる方法でハイライト
表示してもよい。統計学によれば、クラスタ内のばらつ
きを正規分布と仮定すれば、σ以内に68%、2σ以内
に95%、3σ以内に99%の要素が分布していること
が知られている。したがって、ハイライト表示されてい
るフレーム画像は、クラスタを代表するフレーム画像で
あることを表す。逆に、ハイライト表示されていないフ
レーム画像は、そのクラスタにとって異質であることを
表す。つまり、ハイライト表示によって、そのフレーム
画像がそのクラスタを代表するかどうかが分かりやすく
なる。
【0052】さらに、情報付加済のフレーム画像のみを
ハイライト表示したり、逆に、未付加のフレーム画像を
ハイライト表示することもできる。
【0053】以上の並べ替え及びハイライト表示によ
り、似たフレーム画像同士がまとまり、しかも、まとま
りの良い順に目立つように表示されるので、オペレータ
が情報を一斉に入力するのが容易になる。さらに、情報
が付加されているかどうかによって、ハイライト表示を
切り替えることができるので、情報の付け忘れを防ぐこ
とができる。
【0054】805の斜線部は、情報入力の対象となる
フレーム画像を選択した範囲を表している。この選択範
囲805は、フレーム画像をポインティングデバイスに
よって指定したり、マウスドラッグなどの範囲選択法に
よってまとめて指定したりすることができる。この選択
範囲805内のフレーム画像を、選択フレーム画像と呼
ぶ。
【0055】806は情報入力部の実施形態例である。
807は情報入力欄であり、前記の選択フレーム画像に
対して付加する情報をキーボードなどによって入力す
る。なお、メニューなどの一覧から選択するようにして
もよい。808は入力ボタンであり、これを押すことに
よって、対象フレーム画像に入力情報が付加される。
【0056】809はフレーム画像表示部の第2の実施
形態例である。810は、前記の選択フレーム画像が表
示される領域である。複数のフレーム画像が選択されて
いる場合は、どれかひとつが表示される。811には、
選択フレーム画像に付加された情報が一覧表示される領
域である。情報が画面に収まらない場合には、812の
スクロールバーによってスクロールして表示することが
できる。複数のフレーム画像が選択されている場合に
は、選択フレーム画像すべてに共通する情報(積集合)
を表示してもよいし、いずれかの選択フレーム画像に付
加されている情報(和集合)を表示してもよい。このよ
うにして、入力済の情報を確認することができる。
【0057】なお、表示手段としては、ブラウン管や、
液晶ディスプレイなどを用いることができる。入力手段
としては、マウスやタッチパネル、タブレット、キーボ
ードなどを用いることができる。また、フレーム画像の
ハイライト表示は、枠を太くして強調する、あるいは、
明度を向上させるなどの方法の他に、それ以外のフレー
ム画像を、目立たないように表示する、あるいは、表示
しないことによって、相対的にハイライト表示を実現し
てもよい。
【0058】情報入力部806によって入力された情報
は、図9のような場面IDと、入力された付加情報の組
を蓄積した付加情報管理表によって管理される。この付
加情報管理表を用いれば、例えば、特定の情報が付加さ
れている場面IDを検索したり、ある場面に付加されて
いる情報一覧を得たりすることができる。それぞれ、S
QL言語を用いて表せば、 SELECT 場面 ID FROM 付加情報管理表
WHERE 付加情報=’人物’;SELECT 付
加情報 FROM 付加情報管理表 WHERE 場面
ID=1234;となる。
【0059】なお、図2,6,7,9に示した表は、リ
レーショナルデータベースに適するように構成した例で
あり、これ以外の構成もありうる。例えば、オブジェク
ト指向データベース等を用いる場合には、図10に示す
ように複数の表を参照関係によって結びつけて構成して
もよい。
【0060】なお、以上の実施形態例で示した各種の抽
出手順、および、クラスタリング手順、表示手順、情報
付加手順は、コンピュータで適宜実行することが可能で
あり、その手順をコンピュータに実行させるためのプロ
グラムを、該コンピュータが読み取り可能な記録媒体、
例えばフロッピーディスクやCD−ROMなどに記録し
て配布することが可能である。
【0061】本発明は、その主旨を変更しない範囲で様
々に変形して用いることができる。例えば、特徴量とし
て、色のヒストグラムや、画面の動き、物体の形状など
を用いることができる。
【0062】
【発明の効果】本発明によれば、特徴量抽出段階とクラ
スタリング段階とフレーム画像表示段階と情報入力段階
を有するので、似たフレーム画像を持つ場面をまとめて
一斉に情報を付加することができる。
【0063】また、本発明によれば、フレーム画像を縮
小した画像の輝度値の並びを特徴量ベクトルとするの
で、フレーム画像を反映した特徴量を得ることができ
る。
【0064】また、本発明によれば、クラスタの重心と
特徴量ベクトルとの間の距離の和の最も大きいクラスタ
を分割することによってクラスタリングを行うので、バ
ランスが良く歪みの少ないクラスタリングが可能であ
る。
【0065】また、本発明によれば、クラスタの重心と
特徴量ベクトルとの間の距離の標準偏差の小さい順にク
ラスタを並べるので、よりばらつきの少ないクラスタほ
ど先頭に現れるようになる。クラスタ内のばらつきが小
さければ、情報をまとめて付加するのが容易になるの
で、情報を一斉に入力するのに適した順に並べることが
できる。
【0066】また、本発明によれば、クラスタ内で、ク
ラスタの重心と特徴量ベクトルとの間の距離が小さい順
にフレーム画像を並べるので、そのクラスタを代表する
フレーム画像ほど先に現れる。したがって、似たフレー
ム画像どうしがまとまり、オペレータが情報を一斉に入
力するのが容易になる。
【0067】また、本発明によれば、クラスタの重心と
特徴量ベクトルとの間の距離と、前記距離の標準偏差と
の比較結果に基づいて、フレーム画像をハイライト表示
するので、そのフレーム画像がそのクラスタを代表する
かどうかが分かりやすくなる。
【0068】また、本発明によれば、情報付加済、ある
いは、未付加のフレーム画像をハイライト表示するの
で、情報の付け忘れを防ぐことができる。
【0069】前記フレーム画像表示段階が、指定したフ
レーム画像に付加されている情報を表示し、指定したフ
レーム画像が複数の場合には、付加情報の和集合、ある
いは、積集合を表示するので、入力済の情報を確認する
ことができる。
【図面の簡単な説明】
【図1】本発明の一実施形態例を表す流れ図である。
【図2】上記実施形態例における場面管理表を表す図で
ある。
【図3】上記実施形態例において場面管理表から代表フ
レームを得る手順を表す図である。
【図4】本発明における特徴量ベクトルを得る手順の実
施形態例を表す図である。
【図5】本発明におけるクラスタリングの手順の実施形
態例を表す流れ図である。
【図6】上記実施形態例におけるクラスタ情報管理表
(1)を表す図である。
【図7】上記実施形態例におけるクラスタ情報管理表
(2)を表す図である。
【図8】本発明におけるフレーム画像表示段階と情報入
力段階の手段の実施形態例を表す図である。
【図9】上記実施形態例における付加情報管理表を表す
図である。
【図10】場面管理表、付加情報管理表、クラスタ情報
管理表の別の実施形態例を表す図である。
【符号の説明】
101…特徴量抽出段階 102…クラスタリング段階 103…フレーム画像表示段階 104…情報入力段階 501〜510…クラスタリング段階のステップ 801…フレーム画像表示部 802…フレーム画像(ハイライト表示) 803…フレーム画像 806…情報入力部 807…情報入力欄 808…入力ボタン 809…フレーム画像表示部 810…選択フレーム画像表示領域 811…付加情報表示領域

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 映像に情報を付加する方法であって、 映像の各場面の代表フレーム画像の特徴量ベクトルを抽
    出する特徴量抽出段階と、 前記抽出された特徴量ベクトルが類似したクラスタに分
    類するクラスタリング段階と、 前記分類されたクラスタ毎にフレーム画像を表示手段に
    表示するフレーム画像表示段階と、 フレーム画像を指定して情報を入力する情報入力段階
    と、 を有することを特徴とする映像情報一斉付加方法。
  2. 【請求項2】 前記特徴量抽出段階では、各場面の代表
    フレーム画像を縮小した画像の輝度値の並びを特徴量ベ
    クトルとする、 ことを特徴とする請求項1記載の映像情報一斉付加方
    法。
  3. 【請求項3】 前記クラスタリング段階では、所望のク
    ラスタ数になるまで、クラスタの重心と特徴量ベクトル
    との間の距離の和の最も大きいクラスタを分割すること
    によってクラスタリングを行う、 ことを特徴とする請求項1ないし2記載の映像情報一斉
    付加方法。
  4. 【請求項4】 前記フレーム画像表示段階では、クラス
    タの重心と特徴量ベクトルとの間の距離の標準偏差の小
    さい順にクラスタを並べる、 ことを特徴とする請求項1ないし3記載の映像情報一斉
    付加方法。
  5. 【請求項5】 前記フレーム画像表示段階では、クラス
    タの重心と特徴量ベクトルとの間の距離が小さい順にフ
    レーム画像を並べる、 ことを特徴とする請求項1ないし4記載の映像情報一斉
    付加方法。
  6. 【請求項6】 前記フレーム画像表示段階では、クラス
    タの重心と特徴量ベクトルとの間の距離と、前記距離の
    標準偏差との比較結果に基づいて、フレーム画像をハイ
    ライト表示する、 ことを特徴とする請求項1ないし5記載の映像情報一斉
    付加方法。
  7. 【請求項7】 前記フレーム画像表示段階では、情報付
    加済、あるいは、未付加のフレーム画像をハイライト表
    示する、 ことを特徴とする請求項1ないし6記載の映像情報一斉
    付加方法。
  8. 【請求項8】 前記フレーム画像表示段階では、指定し
    たフレーム画像に付加されている情報を表示し、指定し
    たフレーム画像が複数の場合には、付加情報の和集合、
    あるいは、積集合を表示する、 ことを特徴とする請求項1ないし7記載の映像情報一斉
    付加方法。
  9. 【請求項9】 映像に情報を一斉付加する方法をコンピ
    ュータで実行するために、 映像の各場面の代表フレーム画像の特徴量ベクトルを抽
    出する特徴量抽出手順と、 前記抽出された特徴量ベクトルが類似したクラスタに分
    類するクラスタリング手順と、 前記分類されたクラスタ毎にフレーム画像を表示手段に
    表示するフレーム画像表示手順と、 フレーム画像を指定して情報を入力する情報入力手順
    と、 を有するプログラムを該コンピュータで読み取り可能な
    媒体に記録した、 ことを特徴とする映像情報一斉付加方法を記録した記録
    媒体。
  10. 【請求項10】 前記特徴量抽出手順では、各場面の代
    表フレーム画像を縮小した画像の輝度値の並びを特徴量
    ベクトルとする、 ことを特徴とする請求項9記載の映像情報一斉付加方法
    を記録した記録媒体。
  11. 【請求項11】 前記クラスタリング手順では、所望の
    クラスタ数になるまで、クラスタの重心と特徴量ベクト
    ルとの間の距離の和の最も大きいクラスタを分割するこ
    とによってクラスタリングを行う、 ことを特徴とする請求項9ないし10記載の映像情報一
    斉付加方法を記録した記録媒体。
  12. 【請求項12】 前記フレーム画像表示手順では、クラ
    スタの重心と特徴量ベクトルとの間の距離の標準偏差の
    小さい順にクラスタを並べる、 ことを特徴とする請求項9ないし11記載の映像情報一
    斉付加方法を記録した記録媒体。
  13. 【請求項13】 前記フレーム画像表示手順では、クラ
    スタの重心と特徴量ベクトルとの間の距離が小さい順に
    フレーム画像を並べる、 ことを特徴とする請求項9ないし12記載の映像情報一
    斉付加方法を記録した記録媒体。
  14. 【請求項14】 前記フレーム画像表示手順では、クラ
    スタの重心と特徴量ベクトルとの間の距離と、前記距離
    の標準偏差との比較結果に基づいて、フレーム画像をハ
    イライト表示する、 ことを特徴とする請求項9ないし13記載の映像情報一
    斉付加方法を記録した記録媒体。
  15. 【請求項15】 前記フレーム画像表示手順では、情報
    付加済、あるいは、未付加のフレーム画像をハイライト
    表示する、 ことを特徴とする請求項9ないし14記載の映像情報一
    斉付加方法を記録した記録媒体。
  16. 【請求項16】 前記フレーム画像表示手順では、指定
    したフレーム画像に付加されている情報を表示し、指定
    したフレーム画像が複数の場合には、付加情報の和集
    合、あるいは、積集合を表示する、 ことを特徴とする請求項9ないし15記載の映像情報一
    斉付加方法を記録した記録媒体。
JP29379597A 1997-10-27 1997-10-27 映像情報一斉付加方法およびその方法を記録した記録媒体 Expired - Fee Related JP3821558B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29379597A JP3821558B2 (ja) 1997-10-27 1997-10-27 映像情報一斉付加方法およびその方法を記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29379597A JP3821558B2 (ja) 1997-10-27 1997-10-27 映像情報一斉付加方法およびその方法を記録した記録媒体

Publications (2)

Publication Number Publication Date
JPH11136573A true JPH11136573A (ja) 1999-05-21
JP3821558B2 JP3821558B2 (ja) 2006-09-13

Family

ID=17799263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29379597A Expired - Fee Related JP3821558B2 (ja) 1997-10-27 1997-10-27 映像情報一斉付加方法およびその方法を記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3821558B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077906A (ja) * 2000-07-06 2002-03-15 Mitsubishi Electric Research Laboratories Inc マルチメディアコンテンツの低レベルの特徴から高レベルの特徴を抽出する方法およびシステム
JP2007012024A (ja) * 2005-06-03 2007-01-18 Canon Inc 画像検索装置、画像検索方法、プログラム及び記憶媒体
JP2008519547A (ja) * 2004-11-05 2008-06-05 インターグラフ ソフトウェアー テクノロジーズ カンパニー 合成画像を生成する方法
JP2009060413A (ja) * 2007-08-31 2009-03-19 Kddi Corp 動画特徴抽出方法およびシステムならびに動画検索方法およびシステム
US7929037B2 (en) 2004-08-02 2011-04-19 Canon Kabushiki Kaisha Digital camera
JP2011221807A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置および方法、並びにプログラム
JP2013506216A (ja) * 2009-09-29 2013-02-21 モベア エス.アー ジェスチャを認識するためのシステムおよび方法
US9691004B2 (en) 2014-07-02 2017-06-27 Fujitsu Limited Device and method for service provision according to prepared reference images to detect target object
JP2019211811A (ja) * 2018-05-31 2019-12-12 富士ゼロックス株式会社 画像処理装置およびプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077906A (ja) * 2000-07-06 2002-03-15 Mitsubishi Electric Research Laboratories Inc マルチメディアコンテンツの低レベルの特徴から高レベルの特徴を抽出する方法およびシステム
JP4566466B2 (ja) * 2000-07-06 2010-10-20 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド マルチメディアコンテンツの低レベルの特徴から高レベルの特徴を抽出する方法およびシステム
US7929037B2 (en) 2004-08-02 2011-04-19 Canon Kabushiki Kaisha Digital camera
JP2008519547A (ja) * 2004-11-05 2008-06-05 インターグラフ ソフトウェアー テクノロジーズ カンパニー 合成画像を生成する方法
JP4767258B2 (ja) * 2004-11-05 2011-09-07 インターグラフ ソフトウェアー テクノロジーズ カンパニー 合成画像を生成する方法
JP2007012024A (ja) * 2005-06-03 2007-01-18 Canon Inc 画像検索装置、画像検索方法、プログラム及び記憶媒体
JP2009060413A (ja) * 2007-08-31 2009-03-19 Kddi Corp 動画特徴抽出方法およびシステムならびに動画検索方法およびシステム
JP2013506216A (ja) * 2009-09-29 2013-02-21 モベア エス.アー ジェスチャを認識するためのシステムおよび方法
JP2011221807A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置および方法、並びにプログラム
US9691004B2 (en) 2014-07-02 2017-06-27 Fujitsu Limited Device and method for service provision according to prepared reference images to detect target object
JP2019211811A (ja) * 2018-05-31 2019-12-12 富士ゼロックス株式会社 画像処理装置およびプログラム

Also Published As

Publication number Publication date
JP3821558B2 (ja) 2006-09-13

Similar Documents

Publication Publication Date Title
US20210133231A1 (en) Control method and non-transitory computer-readable recording medium for comparing medical images
US11749413B2 (en) Method for controlling information terminal, and recording medium
US7203366B2 (en) Video retrieval method and apparatus
US8620037B2 (en) Human image retrieval system
US20070036371A1 (en) Method and apparatus for indexing and searching graphic elements
US7327347B2 (en) Image classifying systems and methods
JP3320197B2 (ja) 画像編集装置及びその方法
JP3361587B2 (ja) 動画像検索装置及び方法
CN108230262A (zh) 图像处理方法、图像处理装置和存储介质
CN102640146B (zh) 数据库搜索方法、***和控制器
JPH1196364A (ja) 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体
JPH0895965A (ja) 文書処理装置
JP2018045693A (ja) 動画像背景除去方法及び動画像背景除去システム
JPH11136573A (ja) 映像情報一斉付加方法およびその方法を記録した記録媒体
JP4250619B2 (ja) 代表画像抽出装置及びその方法
CN105981371A (zh) 图像处理装置
US9111346B2 (en) Image processing apparatus, image processing method, and recording medium
JPWO2004047026A1 (ja) 画像検索プログラム
US20020161798A1 (en) Information retrieving device
US20030046267A1 (en) Image retrieving method and device
CN108269260B (zh) 动态影像去背方法、***与计算机可读取存储装置
WO2020149242A1 (ja) 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。
JP3024574B2 (ja) 動画像検索装置
JP6756961B1 (ja) 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。
JP3089525B2 (ja) Cadシステム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060620

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

LAPS Cancellation because of no payment of annual fees