JP4838272B2 - 映像インデキシング装置,映像インデキシング方法,映像インデキシングプログラムおよびその記録媒体 - Google Patents
映像インデキシング装置,映像インデキシング方法,映像インデキシングプログラムおよびその記録媒体 Download PDFInfo
- Publication number
- JP4838272B2 JP4838272B2 JP2008019319A JP2008019319A JP4838272B2 JP 4838272 B2 JP4838272 B2 JP 4838272B2 JP 2008019319 A JP2008019319 A JP 2008019319A JP 2008019319 A JP2008019319 A JP 2008019319A JP 4838272 B2 JP4838272 B2 JP 4838272B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- label
- definition
- identification function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
高塚皓正,田中正行,奥富正敏,「顔らしさの評価値分布を利用した顔検出の提案」,情報処理学会論文誌,Vol.48,No.SIG16,pp.51-54,2007. 高木幹雄,下田陽久 監修「新編 画像解析ハンドブック」,pp.1669-1675,2004,東京大学出版会.
基準画像選定処理部12において,基準画像と辞書用映像蓄積部11で管理されている辞書用映像の各フレーム画像を読み込む。基準画像として図4に示すFdが選定されたとする。
各フレーム画像はRGBの3原色で表現されているので,これをLab色空間に変換する。
画像をM×N個のブロックに分割する。図6に分割例を示す。図6の例では,フレーム画像を4×4=16個のブロック領域に分割している。
各ブロックに属する画素の色情報からカラーモーメントを算出する。Lab色空間の各成分L,a,bについて,ブロック内の全画素に対する1次,2次,3次のモーメントをそれぞれ算出する。各ブロックから9次元のカラーモーメントが得られるので,各フレーム画像からの色特徴は,この例ではM×N×9次元の特徴ベクトルで表されることになる。
Lab色空間のL成分のみを対象としてテクスチャー特徴である濃度勾配ヒストグラムを算出する。
エッジ方向:arctan(ΔY/ΔX)
ここで,
ΔX=L(x+1,y)−L(x,y)
ΔY=L(x,y+1)−L(x,y)
次に,ブロック内の各画素について,エッジ強度で重み付けしたエッジ方向の頻度分布を算出する。エッジ方向について,例えば0度〜180度を20度間隔に9分割して,頻度を集計すると,各ブロックの濃度勾配ヒストグラムは9次元となる。この場合,各フレーム画像からのテクスチャー特徴は,M×N×9次元の特徴ベクトルで表される。
辞書用映像Vdの各フレーム画像Fi(i=1,2,... ,I)と基準画像Fdとの距離r(i)を算出する。
ここで,w1,w2は事前に設定した定数である。
辞書用映像の各フレーム画像と基準画像に対して,ステップS506で求めた距離r(i)から,基準画像と類似したフレーム画像を収集する。予め設定した閾値TH_rを用いて,
r(i)<TH_r
となるフレーム画像Fiを収集すればよい。図4の場合には,定義ラベルを表すフレーム画像が出現する区間が3個,定義ラベルを表していないが基準画像と類似している区間が1個あるので,合計4個の区間内のフレーム画像が辞書データとして収集されることになる。
収集した画像を基準画像との距離r(i)が小さい順位にソートする。
正事例画像をチェックする画面を提示する。図7に,正事例画像をチェックするGUI(Graphical User Interface)の例を示す。例えば図7に示すように,ディスプレイに画像を一覧表示し,正事例画像とみなす画像をマウスでクリックさせるGUIを提供すればよい。
図7に示すようなGUIにより,正事例画像としてチェックされた画像を正事例画像とし,正事例画像としてチェックされなかった画像の中から,基準画像との距離r(i)が小さい順に正事例画像と同数だけ,負事例画像として選定する。
特徴量抽出部16において,正事例画像と負事例画像から特徴ベクトルを算出する。特徴ベクトルの例として,ステップS502,S503,S504,S505の手順と同様の方法で,M×N×9次元の色特徴ベクトルとM×N×9次元のテクスチャ特徴ベクトルの画像特徴量を抽出し,画像特徴量だけを特徴ベクトルとして用いる方法や,選定された正事例画像と負事例画像が属していた辞書用映像Vdにおける出現時刻(メディア時刻)を画像特徴量に加える方法などが有効である。
1クラス識別関数算出部17において,正事例画像を識別するための1クラス識別関数を算出する。1クラス識別関数の算出で用いる特徴量として,辞書データ収集処理部14が辞書データを収集するときに用いた画像の類似度の基準とした特徴量を用いることができる。例えば1クラス識別関数として,特徴空間における正事例画像の確率分布または正事例画像の平均特徴ベクトルからの距離により,処理対象画像が定義ラベルを表す画像であるか否かを識別する関数を用いることができる。
2クラス識別関数算出部18において,正事例画像と負事例画像とから両者を識別する2クラス識別関数を算出する。
定義ラベルの1クラス識別関数と2クラス識別関数を定義ラベル辞書記憶部19に保存する。
インデキシング映像取得部20において,インデキシング対象映像を読み込み,フレーム画像取得部21でインデキシング対象映像からフレーム画像を取り込む。以下では,P枚のフレーム画像を取り込んだとして説明する。
P枚のフレーム画像を順番に処理するために,初期値としてp=1に設定する。
特徴量抽出部16において,p枚目(p=1,2,... ,P)のフレーム画像から特徴量を算出する。
1クラス識別関数による候補検出部22において,定義ラベル辞書記憶部19に保存してある1クラス識別関数を用いて,p番目のフレーム画像が定義ラベルを付与する候補になるかを判定する。候補になる場合には,ステップS805に進み,候補にならない場合には,ステップS807に進む。
2クラス識別関数によるインデキシング部23において,p番目のフレーム画像に定義ラベルを表しているかを判定する。定義ラベルを表していると判定された場合には,ステップS806へ,表していないと判定された場合には,ステップS807に進む。
p番目のフレームのメディア時刻を,定義ラベルのインデキシング結果として記憶する。すなわち,定義ラベルを付与するフレーム画像のメディア時刻を記憶する。
P個のフレーム画像の全てに対して処理が終了したかを判定する。処理が終了していない場合には,ステップS808に進み,処理が終了した場合には,ステップS809に進む。
p=p+1とし,ステップS803以降の処理を繰り返す。
インデキシング結果として,P個のフレーム画像の中で定義ラベルを付与するフレーム画像のメディア時刻をまとめ,そのインデキシング結果を出力する。
・グランドシーン:グランド全体が映っているシーン
・ゴールポストシーン:ゴールポストが大きく映っているシーン
・人物顔シーン:人物顔が大きく映っているシーン
ゴールというイベントを,グランドシーンの後に,ゴールポストシーンが出現し,そのT秒以内に人物顔シーンが出現すると規定する。このようなイベントルールを設定しておけば,サッカー映像においてゴールが映っている可能性の大きい映像区間に,ゴールのイベントラベルを自動付与することができる。
・アナウンサーシーン:アナウンサーが映っているシーン
・テロップシーン:テロップが表示されたシーン
トピック遷移イベントを,アナウンサーシーンの直後に,テロップシーンが出現し,そのT秒以上はアナウンサーシーンが出現しないと規定する。このようなイベントルールを設定しておけば,ニュース映像においてトピック遷移イベントを検出し,そのイベントラベルを自動付与することができる。
2 辞書データ収集手段
3 正事例・負事例選定手段
4 1クラス識別関数算出手段
5 2クラス識別関数算出手段
6 辞書記憶手段
7 ラベル付与候補検出手段
8 インデキシング手段
Claims (12)
- 画像内容を表す定義ラベルを予め定義しておき,インデキシング対象の映像の中で前記定義ラベルに該当するシーンが出現したときに当該シーンに定義ラベルを付与する映像インデキシング装置において,
定義ラベルと,学習用の画像として与えられた該定義ラベルを表す正しい正事例画像から抽出された特徴量により算出された,処理対象画像が前記定義ラベルを表す画像であるか否かを判別する1クラス識別関数と,学習用の画像として与えられた該定義ラベルを表す正しい正事例画像と正しくない負事例画像とから抽出された特徴量により算出された,正事例画像と負事例画像とを識別する2クラス識別関数とを辞書データとして記憶する辞書記憶手段と,
インデキシング対象の映像が与えられたときに,当該映像から選択したフレーム画像について,前記辞書記憶手段に記憶された1クラス識別関数を用いて前記辞書記憶手段に記憶された定義ラベルを表す画像であるか否かを判別し,前記定義ラベルを付与する候補となるフレーム画像を求めるラベル付与候補検出手段と,
前記ラベル付与候補検出手段によって候補とされたフレーム画像について,前記辞書記憶手段に記憶された2クラス識別関数を用いて正事例画像もしくは負事例画像のどちらに該当するかを判別することにより,前記候補とされたフレーム画像から負事例画像に該当する画像を排除し,正事例画像に該当する前記定義ラベルを付与すべき画像を決定して,定義ラベルを付与するインデキシング手段とを備える
ことを特徴とする映像インデキシング装置。 - 請求項1記載の映像インデキシング装置において,
前記1クラス識別関数および前記2クラス識別関数は,フレーム画像の映像における出現時刻と画像特徴量とを特徴量として識別する関数である
ことを特徴とする映像インデキシング装置。 - 請求項1または請求項2記載の映像インデキシング装置において,
映像中のイベントを表すイベントラベルと,映像中のイベントを検出するための複数の定義ラベルが出現する順序関係または時間間隔によって定義されるイベントルールとを記憶するイベントルール記憶手段と,
前記インデキシング手段で付与された定義ラベルの順序関係または時間間隔と,前記イベントルール記憶手段に記憶されているイベントルールとを照合し,それらの類似度が所定の閾値より大きい映像部分に前記イベントラベルを付与するイベントラベル付与手段とをさらに備える
ことを特徴とする映像インデキシング装置。 - 請求項1,請求項2または請求項3記載の映像インデキシング装置において,
辞書用映像が与えられたときに,辞書用映像の中から定義ラベルを表す基準画像を選定する基準画像選定手段と,
前記辞書用映像の中から前記基準画像と類似する画像を検出する辞書データ収集手段と,
収集した類似画像の中で定義ラベルを表す画像として正しい画像を正事例画像,正しくない画像を前記基準画像に類似している順に負事例画像としてそれぞれ選定する正事例・負事例選定手段と,
前記正事例画像から抽出された特徴量をもとに定義ラベルを表す画像であるか否かを判別するための1クラス識別関数を算出する1クラス識別関数算出手段と,
前記正事例画像と前記負事例画像とからそれぞれ抽出された特徴量をもとに両者を識別するための2クラス識別関数を算出する2クラス識別関数算出手段とを備え,
前記1クラス識別関数算出手段によって算出された1クラス識別関数と,前記2クラス識別関数算出手段によって算出された2クラス識別関数と,当該定義ラベルとを,辞書データとして前記辞書記憶手段に格納する
ことを特徴とする映像インデキシング装置。 - 請求項4記載の映像インデキシング装置において,
前記1クラス識別関数算出手段は,前記1クラス識別関数を前記辞書データ収集手段での類似度の基準に基づいて算出する
ことを特徴とする映像インデキシング装置。 - 画像内容を表す定義ラベルを予め定義しておき,インデキシング対象の映像の中で前記定義ラベルに該当するシーンが出現したときに当該シーンに定義ラベルを付与する映像インデキシング装置が実行する映像インデキシング方法において,
定義ラベルと,学習用の画像として与えられた該定義ラベルを表す正しい正事例画像から抽出された特徴量により算出された,処理対象画像が前記定義ラベルを表す画像であるか否かを判別する1クラス識別関数と,学習用の画像として与えられた該定義ラベルを表す正しい正事例画像と正しくない負事例画像とから抽出された特徴量により算出された,正事例画像と負事例画像とを識別する2クラス識別関数とを辞書データとして記憶する辞書記憶手段を参照し,
インデキシング対象の映像が与えられたときに,当該映像から選択したフレーム画像について,前記辞書記憶手段に記憶された1クラス識別関数を用いて前記辞書記憶手段に記憶された定義ラベルを表す画像であるか否かを判別し,前記定義ラベルを付与する候補となるフレーム画像を求めるラベル付与候補検出処理と,
前記ラベル付与候補検出処理によって候補とされたフレーム画像について,前記辞書記憶手段に記憶された2クラス識別関数を用いて正事例画像もしくは負事例画像のどちらに該当するかを判別することにより,前記候補とされたフレーム画像から負事例画像に該当する画像を排除し,正事例画像に該当する前記定義ラベルを付与すべき画像を決定して,定義ラベルを付与するインデキシング処理とを実行する
ことを特徴とする映像インデキシング方法。 - 請求項6記載の映像インデキシング方法において,
前記1クラス識別関数および前記2クラス識別関数は,フレーム画像の映像における出現時刻と画像特徴量とを特徴量として識別する関数である
ことを特徴とする映像インデキシング方法。 - 請求項6または請求項7記載の映像インデキシング方法において,
映像中のイベントを表すイベントラベルと,映像中のイベントを検出するための複数の定義ラベルが出現する順序関係または時間間隔によって定義されるイベントルールとを記憶するイベントルール記憶手段を参照し,
前記インデキシング処理で付与された定義ラベルの順序関係または時間間隔と,前記イベントルール記憶手段に記憶されているイベントルールとを照合し,それらの類似度が所定の閾値より大きい映像部分に前記イベントラベルを付与するイベントラベル付与処理とをさらに実行する
ことを特徴とする映像インデキシング方法。 - 請求項6,請求項7または請求項8記載の映像インデキシング方法において,
辞書用映像が与えられたときに,辞書用映像の中から定義ラベルを表す基準画像を選定する基準画像選定処理と,
前記辞書用映像の中から前記基準画像と類似する画像を検出する辞書データ収集処理と,
収集した類似画像の中で定義ラベルを表す画像として正しい画像を正事例画像,正しくない画像を前記基準画像に類似している順に負事例画像としてそれぞれ選定する正事例・負事例選定処理と,
前記正事例画像から抽出された特徴量をもとに定義ラベルを表す画像であるか否かを判別するための1クラス識別関数を算出する1クラス識別関数算出処理と,
前記正事例画像と前記負事例画像とからそれぞれ抽出された特徴量をもとに両者を識別するための2クラス識別関数を算出する2クラス識別関数算出処理とを実行し,
前記1クラス識別関数算出処理によって算出された1クラス識別関数と,前記2クラス識別関数算出処理によって算出された2クラス識別関数と,当該定義ラベルとを,辞書データとして前記辞書記憶手段に格納する
ことを特徴とする映像インデキシング方法。 - 請求項9記載の映像インデキシング方法において,
前記1クラス識別関数算出処理では,前記1クラス識別関数を前記辞書データ収集処理における類似度の基準に基づいて算出する
ことを特徴とする映像インデキシング方法。 - 請求項6から請求項10までのいずれか1項に記載の映像インデキシング方法を,コンピュータに実行させるための映像インデキシングプログラム。
- 請求項11に記載の映像インデキシングプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008019319A JP4838272B2 (ja) | 2008-01-30 | 2008-01-30 | 映像インデキシング装置,映像インデキシング方法,映像インデキシングプログラムおよびその記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008019319A JP4838272B2 (ja) | 2008-01-30 | 2008-01-30 | 映像インデキシング装置,映像インデキシング方法,映像インデキシングプログラムおよびその記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009181306A JP2009181306A (ja) | 2009-08-13 |
JP4838272B2 true JP4838272B2 (ja) | 2011-12-14 |
Family
ID=41035250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008019319A Expired - Fee Related JP4838272B2 (ja) | 2008-01-30 | 2008-01-30 | 映像インデキシング装置,映像インデキシング方法,映像インデキシングプログラムおよびその記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4838272B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6501855B1 (ja) * | 2017-12-07 | 2019-04-17 | ヤフー株式会社 | 抽出装置、抽出方法、抽出プログラム及びモデル |
CN113302601A (zh) * | 2019-01-08 | 2021-08-24 | 三菱电机株式会社 | 含义关系学习装置、含义关系学习方法及含义关系学习程序 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3614709B2 (ja) * | 1999-05-20 | 2005-01-26 | 日本電信電話株式会社 | 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体 |
JP4700477B2 (ja) * | 2005-11-15 | 2011-06-15 | 株式会社日立製作所 | 移動体監視システムおよび移動体特徴量算出装置 |
JP4703487B2 (ja) * | 2006-05-29 | 2011-06-15 | 日本電信電話株式会社 | 画像分類方法及び装置及びプログラム |
-
2008
- 2008-01-30 JP JP2008019319A patent/JP4838272B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009181306A (ja) | 2009-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2022252799B2 (en) | System and method for appearance search | |
JP6446971B2 (ja) | データ処理装置、データ処理方法、及び、コンピュータ・プログラム | |
RU2693906C2 (ru) | Основанный на правилах анализ важности видео | |
Ge et al. | Automatically detecting the small group structure of a crowd | |
JP4591215B2 (ja) | 顔画像データベース作成方法及び装置 | |
JP6532190B2 (ja) | 画像検索装置、画像検索方法 | |
US8266174B2 (en) | Behavior history retrieval apparatus and behavior history retrieval method | |
US9996554B2 (en) | Search apparatus, search method, and storage medium | |
CN105260412A (zh) | 一种图像存储方法、图像检索方法和装置 | |
CN109727275B (zh) | 目标检测方法、装置、***和计算机可读存储介质 | |
CN109829382B (zh) | 基于行为特征智能分析的异常目标预警追踪***及方法 | |
US10762372B2 (en) | Image processing apparatus and control method therefor | |
WO2019167784A1 (ja) | 位置特定装置、位置特定方法及びコンピュータプログラム | |
CN104463232A (zh) | 一种基于hog特征和颜色直方图特征的密度人群计数的方法 | |
JP4838272B2 (ja) | 映像インデキシング装置,映像インデキシング方法,映像インデキシングプログラムおよびその記録媒体 | |
KR102475752B1 (ko) | 이동 경로 예측 방법 및 장치 | |
JP5552946B2 (ja) | 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム | |
WO2022228325A1 (zh) | 行为检测方法、电子设备以及计算机可读存储介质 | |
Zhang et al. | Video entity resolution: Applying er techniques for smart video surveillance | |
CN112651996A (zh) | 目标检测跟踪方法、装置、电子设备和存储介质 | |
Salehin et al. | Video summarization using geometric primitives | |
CN110879970A (zh) | 一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备 | |
WO2022079841A1 (ja) | グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体 | |
CN115331062B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
KR20210058134A (ko) | 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100114 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110927 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110929 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141007 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |