JP4831623B2 - 動画像の顔インデックス作成装置およびその顔画像追跡方法 - Google Patents
動画像の顔インデックス作成装置およびその顔画像追跡方法 Download PDFInfo
- Publication number
- JP4831623B2 JP4831623B2 JP2007088738A JP2007088738A JP4831623B2 JP 4831623 B2 JP4831623 B2 JP 4831623B2 JP 2007088738 A JP2007088738 A JP 2007088738A JP 2007088738 A JP2007088738 A JP 2007088738A JP 4831623 B2 JP4831623 B2 JP 4831623B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- face image
- frame
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
奥村真澄、平田恭二、"出演者の代表顔に基づく番組一覧による番組選択方法、"電子情報通信学会総合大会D-12-37、P.169、2006 奥村真澄、大網亮磨、平田恭二、"番組の出演者一覧生成のための顔画像クラスタリング手法、"FIT2006、PP.29-30、2006 P. Viola and M. Jones,"Rapid object detection using a boosted cascade of simple features,"Computer Vision and Pattern Recognition,Vol.1,pp511-518,2001. P. Viola and M. Jones,"Robust Real-time Object Detection,"2nd International Workshop on Statistical and Computational Theories of vision,Vancouver,Canada,pp.1-25,2001.
(1)本発明のインデックス作成装置によれば、各登場人物の時間軸上での連続表示期間を、それぞれの顔画像と対応付けて表示できるので、長い映像の中から所望の人物の登場期間を簡単に認識できるようになる。
(2)本発明のインデックス作成装置によれば、各登場人物の顔画像がクリックされたときにジャンプするリンク先として、その人物の登場場面の最初から映像を再生させるコマンドが対応付けられるので、所望の人物が登場する期間の映像のみを簡単に再生できるようになる。
(3)本発明の顔画像追跡方法によれば、同一人物の顔画像が複数フレームにわたって連続的に表示される場合でも、各顔画像の同一性を正確に認識できるので、登場人物が連続して表示される期間を正確に認識できるようになる。
Claims (10)
- 動画像において登場人物の顔画像をインデックス表示する顔インデックスの作成装置において、
複数フレームにわたって連続表示される同一人物の顔画像を追跡し、その連続表示期間を検出する顔画像追跡手段と、
各登場人物の連続表示期間およびその顔画像を対応付けて表示する顔インデックスを構築する顔インデックス構築手段とを具備し、
前記顔画像追跡手段は、
動画像の各フレームから少なくとも一つの顔画像を検出する顔検出手段と、
前回フレームで検出された各顔画像の位置と今回フレームで検出された各顔画像の位置とを比較し、位置の距離が所定の基準値を下回る顔画像同士を同一人物の顔画像シリーズとして対応付ける距離依存対応付け手段と、
前回フレームで検出された顔画像のうち、今回フレームで検出された顔画像と前記距離依存対応付け手段によって対応付けられていない顔画像をテンプレートとして、当該対応付けられていない顔画像の前回フレームでの位置と対応する今回フレームの対応位置近傍で類似画像を検索し、類似度が所定の基準値を上回る顔画像同士を同一人物の顔画像シリーズとして対応付ける類似度依存対応付け手段とを含み、
前記各対応付け手段で対応付けられた顔画像シリーズのフレーム期間が連続表示期間とされることを特徴とする動画像の顔インデックス作成装置。 - 前記連続表示期間ごとに代表顔を決定する代表顔決定手段を具備し、
前記顔インデックス表示手段は、各連続表示期間をその代表顔と対応付けて表示することを特徴とする請求項1に記載の動画像の顔インデックス作成装置。 - 前回フレームの画像と今回フレームの画像との類似度に基づいて、前回フレームと今回フレームとの間でショットチェンジがあったか否かを判定するショットチェンジ判定手段を具備し、
前記顔画像追跡手段は、ショット間の動画像ごとに連続表示期間を検出することを特徴とする請求項1または2に記載の動画像の顔インデックス作成装置。 - 前記代表顔決定手段は、
顔画像シリーズごとに、各顔画像の左右反転画像を生成する画像反転部と、
各顔画像の左右反転画像と左右非反転画像との類似度を算出する手段とを含み、
前記類似度の高い顔画像を代表顔とすることを特徴とする請求項2に記載の動画像の顔インデックス作成装置。 - 前記顔インデックス構築手段は、顔画像シリーズごとに、その表示時刻帯を示す目印と顔画像とを対応付けて表示することを特徴とする請求項1に記載の動画像の顔インデックス作成装置。
- 前記顔インデックス構築手段は、顔画像シリーズごとに、その表示時刻と顔画像とを対応付けて表示することを特徴とする請求項1に記載の動画像の顔インデックス作成装置。
- 前記各顔画像シリーズの顔画像に、当該顔画像がクリックされたときにジャンプするリンク先が設定されていることを特徴とする請求項1に記載の動画像の顔インデックス作成装置。
- 前記顔画像のリンク先には、各顔画像シリーズの連続表示期間の最初から映像を再生させるコマンドが対応付けられていることを特徴とする請求項7に記載の動画像の顔インデックス作成装置。
- 複数フレームにわたって連続表示される同一人物の顔画像を追跡する顔画像追跡方法において、
動画像の各フレームから少なくとも一つの顔画像を検出する手順と、
前回フレームで検出された各顔画像の位置と今回フレームで検出された各顔画像の位置とを比較する手順と、
位置の距離が所定の基準値を下回る顔画像同士を同一人物の顔画像として対応付ける手順と、
前回フレームで検出された顔画像のうち、今回フレームで検出された顔画像と前記距離依存対応付け手段によって対応付けられていない顔画像をテンプレートとして、当該対応付けられていない顔画像の前回フレームでの位置と対応する今回フレームの対応位置近傍で類似画像を検索する手順と、
類似度が所定の基準値を上回る顔画像同士を同一人物の顔画像として対応付ける手順とを含むことを特徴とする顔画像追跡方法。 - 前回フレームの画像と今回フレームの画像との類似度に基づいて、前回フレームと今回フレームとの間でショットチェンジがあったか否かを判定する手順をさらに含み、
前記顔画像追跡がショット単位で行われることを特徴とする請求項9に記載の顔画像追跡方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007088738A JP4831623B2 (ja) | 2007-03-29 | 2007-03-29 | 動画像の顔インデックス作成装置およびその顔画像追跡方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007088738A JP4831623B2 (ja) | 2007-03-29 | 2007-03-29 | 動画像の顔インデックス作成装置およびその顔画像追跡方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008252296A JP2008252296A (ja) | 2008-10-16 |
JP4831623B2 true JP4831623B2 (ja) | 2011-12-07 |
Family
ID=39976766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007088738A Active JP4831623B2 (ja) | 2007-03-29 | 2007-03-29 | 動画像の顔インデックス作成装置およびその顔画像追跡方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4831623B2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4934090B2 (ja) * | 2008-04-09 | 2012-05-16 | 日本放送協会 | 番組登場人物抽出装置及び番組登場人物抽出プログラム |
JP2010147509A (ja) * | 2008-12-16 | 2010-07-01 | Hitachi Ltd | 映像処理装置及び映像配信システム |
JP5441151B2 (ja) * | 2008-12-22 | 2014-03-12 | 九州日本電気ソフトウェア株式会社 | 顔画像追跡装置及び顔画像追跡方法並びにプログラム |
JP5242491B2 (ja) * | 2009-04-27 | 2013-07-24 | 富士フイルム株式会社 | 表示制御装置およびその動作制御方法 |
JP5369947B2 (ja) | 2009-07-09 | 2013-12-18 | ソニー株式会社 | 撮像装置、画像処理方法及びプログラム |
JP5436975B2 (ja) | 2009-08-21 | 2014-03-05 | オリンパスイメージング株式会社 | カメラ、カメラの表示制御方法、表示装置、及び表示方法 |
JP5451299B2 (ja) * | 2009-10-15 | 2014-03-26 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム及び記憶媒体 |
JP5355446B2 (ja) * | 2010-02-19 | 2013-11-27 | 株式会社東芝 | 移動物体追跡システムおよび移動物体追跡方法 |
WO2011102416A1 (ja) * | 2010-02-19 | 2011-08-25 | 株式会社 東芝 | 移動物体追跡システムおよび移動物体追跡方法 |
JP5667773B2 (ja) * | 2010-03-18 | 2015-02-12 | キヤノン株式会社 | 情報作成装置及びその制御方法 |
JP2011244155A (ja) * | 2010-05-17 | 2011-12-01 | Toshiba Corp | 電子機器及び画像処理プログラム |
JP2012137861A (ja) * | 2010-12-24 | 2012-07-19 | Jvc Kenwood Corp | 映像処理装置および映像処理方法 |
JP5857450B2 (ja) * | 2011-05-30 | 2016-02-10 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP5843618B2 (ja) * | 2012-01-06 | 2016-01-13 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
JP5945755B2 (ja) * | 2012-02-06 | 2016-07-05 | Jcc株式会社 | 録画装置 |
US9892761B2 (en) * | 2013-02-22 | 2018-02-13 | Fuji Xerox Co., Ltd. | Systems and methods for creating and using navigable spatial overviews for video |
JP5578262B2 (ja) * | 2013-09-11 | 2014-08-27 | ソニー株式会社 | 情報処理装置、情報処理方法、撮像装置、及び情報処理システム |
WO2015107775A1 (ja) * | 2014-01-17 | 2015-07-23 | 株式会社日立製作所 | 映像情報処理システム |
JP5807695B2 (ja) * | 2014-03-20 | 2015-11-10 | カシオ計算機株式会社 | 被写体検出装置、被写体検出方法及びプログラム |
JP7497223B2 (ja) | 2020-06-16 | 2024-06-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4238542B2 (ja) * | 2002-08-30 | 2009-03-18 | 日本電気株式会社 | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
JP2005277726A (ja) * | 2004-03-24 | 2005-10-06 | Toshiba Corp | 画像監視装置 |
JP4650669B2 (ja) * | 2004-11-04 | 2011-03-16 | 富士ゼロックス株式会社 | 動体認識装置 |
JP4591215B2 (ja) * | 2005-06-07 | 2010-12-01 | 株式会社日立製作所 | 顔画像データベース作成方法及び装置 |
JP2007072520A (ja) * | 2005-09-02 | 2007-03-22 | Sony Corp | 映像処理装置 |
-
2007
- 2007-03-29 JP JP2007088738A patent/JP4831623B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008252296A (ja) | 2008-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4831623B2 (ja) | 動画像の顔インデックス作成装置およびその顔画像追跡方法 | |
JP4973188B2 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
JP5371083B2 (ja) | 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体 | |
US8270806B2 (en) | Information processing apparatus and method of controlling same | |
JP4841553B2 (ja) | 映像シーン分類装置、映像シーン分類方法、プログラム、記録媒体、集積回路およびサーバ−クライアントシステム | |
JP5106271B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
Yu et al. | Trajectory-based ball detection and tracking in broadcast soccer video | |
US9105306B2 (en) | Identifying objects in images using object identity probabilities based on interframe distances | |
JP2007281858A (ja) | 動画編集装置 | |
JP2007072520A (ja) | 映像処理装置 | |
JP6649231B2 (ja) | 検索装置、検索方法およびプログラム | |
JP5360979B2 (ja) | 重要情報抽出方法および装置 | |
US20140321750A1 (en) | Dynamic gesture recognition process and authoring system | |
JP2009201041A (ja) | コンテンツ検索装置およびその表示方法 | |
JP4504452B1 (ja) | 映像視聴装置及び映像再生制御方法及び記録再生用プログラム | |
RU2609071C2 (ru) | Навигация по видеопоследовательности через местоположение объекта | |
JP2007200249A (ja) | 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP4546762B2 (ja) | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム | |
US10405065B2 (en) | Video processing system and method | |
WO2012153747A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
US20230162499A1 (en) | Image analysis system, image analysis method, and program | |
JP4301078B2 (ja) | 映像のインデクシング方法及びプログラム | |
JP4408330B2 (ja) | 動画像内のロールテロップ検出装置および記録媒体 | |
WO2020213570A1 (ja) | 対象物画像抽出装置、方法、およびソフトウェアプログラム | |
JP2010041247A (ja) | 画像処理装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110622 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110914 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110914 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4831623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140930 Year of fee payment: 3 |