JP4139615B2 - 前景/背景セグメント化を用いた画像のイベント・クラスタリング - Google Patents
前景/背景セグメント化を用いた画像のイベント・クラスタリング Download PDFInfo
- Publication number
- JP4139615B2 JP4139615B2 JP2002089703A JP2002089703A JP4139615B2 JP 4139615 B2 JP4139615 B2 JP 4139615B2 JP 2002089703 A JP2002089703 A JP 2002089703A JP 2002089703 A JP2002089703 A JP 2002089703A JP 4139615 B2 JP4139615 B2 JP 4139615B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- foreground
- group
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の属する技術分野】
本発明は、概して、消費者が取り込んだ画像の自動アルバム化の分野に係り、特に、イベントの類似性によって消費者が取り込んだ画像を分類するシステムに関する。
【0002】
【従来の技術】
画像は、それらを抽出したり、閲覧したり、アルバム化したりする際の便宜のために、特定のイベントや主題などによって分類される場合が多い。通常、これは、手動で画像をセグメント化することによって達成されるか、或いは、似た視覚的コンテンツのグループに画像を分けるために画像を色、形状、テクスチャによってグループ化する自動化された方法によって達成される。コンテンツの正確な判断はこの仕事を容易にする。イベント分類に向けられたものではないが、コンテンツに基づく画像抽出及び画像のコンテンツ描写に取り組んだ従来技術は存在する。いくつかの典型的な参考文献を以下に説明する。
【0003】
米国特許第6,072,904号:「Fast image retrieval using multiscale edge representation of images」において、画像抽出技術は、マルチスケール・エッジ特性を利用する。データベースの目標画像及び各画像は各画像内のエッジ特性ベクトルによって特徴付けられる。抽出は、画像自体ではなく、この特性ベクトルの比較によって達成される。米国特許第5,911,139号:「Visual image database search engine which allows for different schema」において、コンテンツに基づく検索及び視覚的オブジェクトの抽出のための視覚情報抽出エンジンが開示されている。該エンジンは、視覚的オブジェクト上で作動するために普遍的なプリミティブ群を用い、類似性スコアを生成するために異種比較を実行する。米国特許第5,852,823号:「Image classification and retrieval system using a query−by−example paradigm」は、例ごとの照会による画像分類及び抽出についてのパラダイムを教える。この方法は、意味論をベースとし、言語学的に検索可能な入力画像の所定のグループの数値記述子を生成する。この記述子は、特に個別の画像を自動的に分類するシステムにおいて有益的である。
【0004】
【発明が解決しようとする課題】
上記3つの特許によって取り組まれたタスクは、画像抽出の一種であり、すなわちデータベースから類似の画像を見つけるものである。これは、消費者画像に対する写真アルバム組織化などの消費者画像に対するイベント・クラスタリングのタスクとは異なる。上記特許に開示された記述子はイベント・クラスタリングのために前景及び背景のセグメント化を用いることを示唆していない。より重要なことに、画像を前景及び背景へセグメント化が、画像類似性度合として考慮されていない。
【0005】
同一人に譲渡された米国特許第6,011,595号:「Method for segmenting a digital image into a foreground and a key color region」(発行日:2000年1月4日、発明者:T.Henderson, K.Spaulding,及びD.Couwenhoven)は、前景領域及び主要色背景領域の画像セグメント化を教える。しかし、画像の類似性を比較するのに前景/背景の分離は用いられていない。
【0006】
同一人に譲渡された米国特許出願(シリアル番号09/163,618):「A method for automatically classifying images into events」(出願日:1998年9月30日、発明者:A.Loui,及びE.Pavie)、及び、同一人に譲渡された米国特許出願(シリアル番号09/197,363):「A method for automatically comparing content of images for classification into events」(出願日:1998年11月20日、発明者:A.Loui,及びE.Pavie)は、技術的アプローチは異なるが、消費者画像に対するイベント・クラスタリングのより良いシステムを構築するための継続的な努力を表す。シリアル番号:09/163,618は、データ及び時刻情報を用いたイベント・クラスタリングについて開示している。シリアル番号:09/197,363は、データ及び時刻情報が使用不可能である場合に用いられ得る、画像イベント・クラスタリングのためのブロック・ベースのヒストグラム補正方法について開示している。この方法は、比較のために(固定された四角形のセグメント化によって実現される)主題エリアを用いることを教えるが、固定された四角形よりも正確な前景/背景セグメント化を自動的に実行する方法については何ら提案していない。
【0007】
A.Loui,及びA.Savakisによる「Automatic image event segmentation and quality screening for albuming applications」(Proceedings IEEE ICME2000,New York,2000年8月)、及び、John Plattによる「AutoAlbum:Clustering digital photographs using probabilistic model merging」(Proceedings IEEE Workshop on Content−based Access of Image and Video Libraries,2000)の両文献は、特に、消費者画像のイベント・クラスタリングに関する。しかし、上記2文献の方法は、いずれも画像領域を調査しておらず、前景/背景分離の利点を活かしていない。Loui及びSavakisは、データ及び時刻情報と全般的な画像コンテンツとに基づくイベント・クラスタリング・スキームを教える。Plattは、確率的画像マージングに基づくクラスタリング・スキームを教える。上記方法はいずれも前景/背景分離に取り組んでいない。
【0008】
必要とされているものは、画像を前景及び背景などの粗い領域へセグメント化し、前景領域と背景領域との間の類似性からの全体的な類似性度合を導くシステムである。更に、このようなシステムは、消費者画像の不必要なディテール及び無関係なクラスタによって混乱されるべきではない。
【0009】
【課題を解決するための手段】
本発明は、上記問題の1以上を克服することに向けられている。簡単にまとめると、本発明の一態様によれば、イベント・クラスタリング方法は、前景及び背景セグメント化を用いて、画像を一グループから類似のイベントへクラスタリングする。最初、各画像は複数のブロックへ分割され、よってブロック・ベースの画像が提供される。ブロック毎の比較によって、各ブロック・ベースの画像は、少なくとも前景及び背景を有する複数の領域へセグメント化される。1以上の光度、色、位置、及びサイズ特徴が上記領域から抽出され、この抽出された領域はグループ内の連続画像中の前景及び背景を有する領域の類似性を評価・比較するのに利用される。次いで、連続画像間の全体の類似性の度合が計算されることによって連続画像間の画像相違度合(image distance)が提供され、この画像相違度合からイベント・クラスタの範囲が定められる。
【0010】
本発明は、更に、自動アルバム化に用いることができ、画像管理及び組織化タスクに関連する、前景/背景セグメント化を用いた消費者画像のイベント・クラスタリング・システムを含む。開示されるシステムの目標は、複数の消費者写真ロールを、前景及び背景の分離に注目し、画像コンテンツに基づいて、複数のイベントへ分類することである。このシステムの重要な態様は、前景及び背景セグメント化に基づき、画像間のより良い一致と改善された性能をもたらす自動イベント・クラスタリングである。本発明の他の利点は、セグメント化にブロック・ベースのアプローチを用いることである。これは、ピクセル・ベースのセグメント化スキームよりも計算力の効率が良い。
【0011】
本発明の上記及び他の態様、目的、特徴、及び利点は、添付図面を参照して以下の好ましい実施形態の詳細な説明及び付属の請求項を読むことによってより明らかとなる。
【0012】
【発明の実施の形態】
以下の説明において、通常はソフトウェア・プログラムとして実施されるであろう本発明の好ましい実施形態を説明する。このようなソフトウェアと等価なものはハードウェアでも構築できることは当業者には明らかである。画像取扱アルゴリズム及びシステムはよく知られているため、本説明は本発明に係るシステム及び方法の一部を形成する又はより直接的に協働するアルゴリズム及びシステムに特に向けられる。このようなアルゴリズム及びシステムの他の態様、及び、ここに具体的に図示又は説明されていないが、それと共に含まれる画像信号を生成又は処理するハードウェア及び/又はソフトウェアは、既知のシステム、アルゴリズム、部品、及び要素から選択されてもよい。以下の説明において本発明に従って説明されるシステムに対して、本発明の実施に対して有益的であるとここに具体的に図示又は説明されていないソフトウェアは従来通りであり、当業者の範囲内である。
【0013】
更に、ここで用いられるように、コンピュータ・プログラムはコンピュータ可読記録媒体に記録されてもよい。このコンピュータ可読記録媒体には、例えば、磁気ディスク(ハードディスクやフロッピィ・ディスク(R)など)や磁気テープなどの磁気記録媒体、光ディスク、光テープなどの光記録媒体、機械可読バーコード、ランダム・アクセス・メモリ(RAM)やリード・オンリ・メモリ(ROM)などの固体半導体電子記録装置、及び、コンピュータ・プログラムを記録するのに採用されるあらゆる他の物理的装置若しくは媒体が含まれる。
【0014】
本発明は、自動アルバム化に用いられ、画像管理及び組織化タスクに関連する、前景/背景セグメント化を用いた消費者画像のイベント・クラスタリング・システムについて開示する。消費者画像をいかなるコンテンツ描写も無しに意味的に意味の有るイベントへ自動的に組織化することはやりがいのあるタスクである。ここで開示するシステムの目標は、複数の消費者写真ロールを、前景及び背景の分離を強調し、画像コンテンツに基づいて複数のイベントへ分類することである。本開示の重要な態様は、画像間により良い類似性の一致をもたらし、性能を向上させた、前景/背景セグメント化に基づく自動イベント・クラスタリングである。
【0015】
まず図1を参照する。本発明に係るイベント・クラスタリング・システムが画像グループについて作動する(8)。これら画像は、フィルム・ロールからスキャンされた画像であってもよく、画像データベースなどの他のソースから提供された画像であってもよい。これら画像は、通常、消費者画像である。なぜなら、それはより多くのイベント・クラスタリングに対する価値が見出され得る場所だからである。しかし、上記画像はこのような画像に限られる必要はない。本イベント・クラスタリング・アルゴリズムは、以下のような4つの主要なモジュールから構成される。
・第一のモジュール10は、グループ内の各画像を前景及び背景を含む複数の領域へセグメント化する。
・第二のモジュール12は、光度、色、位置、サイズなどのローレベルな特徴を上記前景及び背景を含む複数の領域から抽出する。
・第三のモジュール14は、前景及び背景のすべての領域を考慮し、他方でメモリのフレーム順を利用して、連続画像間の相違度合(distance)(非類似性)を計算する。
・第四のモジュール16は、クラスタの範囲を定めるために、連続画像及びより相違度合(distance)の大きい分離された画像を含むグループ内の画像間の最大相違度合を決定する。
本発明は、イベント・クラスタリングと考えられ得るため、前述のモジュールのそれぞれは、該方法を実行することによって実現される工程と考えられ得る。
【0016】
前景及び背景の細かく正確なセグメント化は難しく、多くの計算力が必要となるため、前景及び背景の粗いセグメント化が好ましく、それで十分に目的に役立つ。したがって、第一のモジュール10において、画像はブロックへ分割され、図2A及び2Bに示すように、領域を形成するための異なるブロック・トゥ・ブロック分離を接続するために、隣接ブロック間の非類似性が計算される。より具体的に言えば、画像は、まずグリッド線20について四角形ブロックへ分割される。次いで、各四角形ブロック22に対して、第二のモジュール12と関連して後述する特徴を用いて、その隣接ブロックに対する相違度合(非類似性)が計算される。(式(3)及び(4)において計算された相違度合(distance)がブロック対ブロックの非類似性を確立するのに用いられることが好ましい。)次いで、最大相違度合が識別され、この最大相違度合が四角形ブロック間の初期の分離境界を確立するのに用いられる。
【0017】
この初期の分離境界が互いに又は画像境界から分離されると、次いで、すべての分離境界が接続され、複数の領域28a、28b、・・・28eが形成されるまで、それらは、(図2Aに矢印接続26によって示す)最大残留相違度合の間に存在するブロック境界に沿って、互いに又は画像境界に接続される。次いで、これら領域は、すべての領域28a、28b・・・28e間の相違度合(distance)を計算し、最小相違度合を有する領域をマージすることによって2つずつマージされる。これは、領域の2つの組み合わせが残るまで繰り返される。次いで、サイズ、位置、画像境界との接触などの異なる領域特性が、前景から背景を区別するために用いられる。例えば、中心に位置する大きな領域の組み合わせは前景である場合が多く、その外側に位置する残りの組み合わせは背景である場合が多い。図2Bに示すように、これは、最適なことに、2つの別の領域組み合わせ:背景30を有する領域28a及び28eの組み合わせ、及び、前景32を有する領域28b、28c、及び28dの組み合わせをもたらす。実際の画像の一例として、図3は、前述のブロック・ベースのアプローチを用いて、灯台の画像のおおよその前景及び背景セグメント化を示す。
【0018】
特定の状況において、特に画像中のある小さい領域が該画像の残りの領域と全く異なる場合において、上記ブロック・ベースのセグメント化処理は、数個のブロックについてのみ前景若しくは背景を提供してもよい。これら数個のブロックは、正確な背景/前景セグメント化には十分でないかもしれない。この結果を避けるために、このセグメント化処理において形成された所定数の領域がそれぞれ所定サイズより小さい場合、その前景は固定サイズ及び位置の四角形によって近似される。(上記所定数は経験的に決定されてもよい。)直感的に、この四角形の位置は、左端と右端との間の中心であり、上端と下端との間の中心の少し下である。図8との関連で後述するように、これら特定の状況に対して主たるセグメント化処理からの修正を許容することにより、改善された結果を提供することができる。
【0019】
このブロック・ベースのセグメント化は簡素化及び効率化のために好ましいが、他の自動セグメント化技術が用いられてもよい。例えば、ここに参考文献として組み込まれる、J.Luoらの名で1998年12月31日に出願された、共通して譲り受けられた同時係属米国特許出願第09/223,860号:「Method for Automatic Determination of Main Subjects in Photographic Images」において採用されているセグメント化方法が用いられてもよい。但し、この方法は計算の複雑さがある程度必要である。このセグメント化方法は、以下の2つのレベルのセグメント化を提供する。
・均一の複数の領域から構成される第一のレベル
・上記第一のレベルからの領域を前景、背景、及び中間領域を形成するためにグループ化する第二のレベル
加えて、特定の状況においては、上記ブロック・ベースのセグメント化処理は、他の領域からの相違度合(distance)が背景に関連付けるにも前景に関連付けるにも十分に明確でないために中間領域として分類するのが最適である不確実な領域に出くわすこともある。
【0020】
第一のモジュール10において画像がセグメント化された後、第二のモジュール12において、光度、色、位置、及びサイズなどの1又は複数のローレベル特徴が前景30及び背景32を有する領域から抽出される。この段階において、各特徴抽出アルゴリズムは、自由に使えるセグメント化の結果として作成されたオリジナルの画像情報及びマスクを有し、これらを前景及び背景画像情報を分離するのに用いる。光度に対する特徴抽出アルゴリズムは、YUV変換用の式:
【0021】
【数1】
に基づく。ここで、Yは輝度であり、RGBは画像の個々のピクセルから得られた色情報を表す。平均輝度は、前景及び背景を有する領域に対して計算される。2つの異なる領域間の相違度合(distance)は、単純に、これら平均値の差の絶対値である。この特徴に基づいて、画像は、例えば、屋外画像、よくハイライトされた画像、及び、夜、屋内、又は暗い環境で撮られた画像へ分離される。
【0022】
領域の色特徴を計算するために、まず、色相(H)、強度(I)、及び彩度(S)が、式:
【0023】
【数2】
を用いて量子化される。画像のすべての領域は色群によって表される。2つの色群c0及びc1間の相違度合を計算するために、まず相違度合(distance)が計算され、次いで該領域の異なるサイズを考慮するための成分が加えられる。よって、各成分はより強調又はより非強調される。2つの色群成分m0=(h0,i0,s0)及びm1=(h1,i1,s1)を与えると、その相違度合は、
【0024】
【数3】
として計算される。ここで、hcoeff、icoeff、及びscoeffはユーザが決定してよい。次いで、この2つの色群c0及びc1間の相違度合は、
【0025】
【数4】
によって決定される。ここで、n0及びn1は領域0及び1のピクセル数であり、c[m]はレベルmに対する色群cのピクセル数である。
【0026】
異なる領域の位置特徴及びサイズ特徴を考慮することはより望ましい。例えば、より高い重み付けを画像の中心領域に割り当ててもよい。
【0027】
これらローレベル特徴及び相違度合が抽出され、前景及び背景を有する領域が各画像に対して決定されると、図4に示すように、同じグループからの異なる画像40及び42の(セグメント化によって生じた)異なる領域間の相違度合がモジュール14において計算される。この工程の目標は、各画像のすべての領域を考慮し、異なる画像間の相違度合を計算することである。ここで、相違度合メトリックはブロック・ベースのセグメント化に対して用いられたもの(例えば、光度相違度合、及び/又は、色群相違度合)である。
【0028】
各画像に対して、前景及び背景を有する異なる領域と、更には、おそらく中間エリアを有する領域が存在する。目標は、同じタイプの領域を比較(例えば、前景対前景、背景対背景)することである。但し、中間エリアの場合を除く。ここで、これらは互いに比較されると共に、背景及び前景を共に有する領域とも比較される。より具体的には、図4を参照し、画像40の前景を有する3つの領域44a、44b、44cは、画像42の前景を有する2つの領域46a及び46bと比較される。同様に、別々の並べられていないが、画像40の背景を有する(チェック・マークによって示されている)3つの領域は、画像42の背景を有する(同じくチェック・マークによって示されている)単一の領域と比較される。図4は、更に、中間エリアの状況を示す。ここで、画像40及び42の中間エリアを有する2つの領域は、互いに比較されると共に、これら2つの画像の前景及び背景を有する領域とも比較される。
【0029】
連続画像において前景及び背景を有する異なる領域間の相違度合が計算されると、これら画像間の全体の相違度合が、モジュール14において、調和平均式:
【0030】
【数5】
を用いて計算される。ここで、aiは個々の画像において前景及び背景を有する個別の領域間の非類似性(相違度合)である。
【0031】
連続画像間の全体の非類似性がモジュール14において決定されると、モジュール16において、個々の画像の画像相違度合に応じてイベント・クラスタリングが決定される。所定の連続画像間の相違度合に対して閾値を選らび、この閾値を上回るすべての相違度合は異なる別のイベント・クラスタであると決定されてもよい。逆に言えば、この閾値を下回る相違度合は、別のイベントとして扱われない。このような画像は同じイベントに属する。この閾値は、一定数であってもよく、相違度合分布の統計的特性(最大相違度合、平均相違度合、分散など)の関数であってもよく、所望クラスタ数であってもよく、全分布のエントロピィ(エントロピィ閾値処理については、N.R.Pal及びS.K.Pal「Entropic Thresholding」、Signal Processing、16、97〜108頁、1989に記載されている)であってもよい。好ましい実施において、この閾値は画像グループにおける平均及び最大相違度合の関数である。
【0032】
明らかに同じイベントに属する複数の画像が年代順に並び、すべては合間の1の(又は2〜3の)画像を除いて似ているという場合も時々ある。画像が年代順に並んでいることを活かすために、連続した(すなわち、隣接する)画像間の相違度合(distance)を計算するためだけでなく、より距離的に離れた画像間の相違度合を計算するためにもメモリが採用され得る。図5A、5B、及び5Cに示すように、イベントの切れ目が存在すると判断されると、隣接する画像50(メモリ無し)が比較されるか(図5A)、他のすべての画像52(1画像メモリ)が比較されるか(図5B)、又は、他の画像が2画像ずつ(2画像メモリ)比較される(図5C)。より具体的には、調和平均によって測定された全体の相違度合は、画像グループが見かけ上のイベントに属するか否かを判断するために個々の画像間において取られてもよい。
【0033】
前景及び背景分離を用いて、複数の画像についてのイベント・クラスタリング例を調べることは本発明の理解を容易にする。図6は、4つの典型的な消費者画像に対する前景及び背景分離の一例を示す。2つのイベントの切れ目が検知される。一方は、画像2及び3の間の切れ目60であり、他方は、画像3及び4の間の切れ目62である。画像の一行目は上記4つの画像を示す。二行目及び三行目は、1レベル及び2レベルの前景及び背景セグメント化の結果を示す。図6は、更に、ブロック・ベースのアプローチを用いて、前景及び背景分離を行った結果を示す。これら画像間の前景及び背景を有する領域は、図7に示すように類似性について比較され、それら個々の相違度合がイベント・クラスタリングに用いられる。
【0034】
イベント・クラスタリング・アルゴリズムを評価するのに適合率−再現率プロットが用いられる。再現率及び適合率は、
【0035】
【数6】
として定義される。ここで、再現率はどれだけ多くのイベントの切れ目が見過ごされたかを示し、適合率はどれだけ多くのイベントの切れ目がイベントの切れ目が無いにもかかわらず誤って検知されたか示す。数字は0〜1の間である。数が大きいほど、システム性能が良い。
【0036】
このイベント・クラスタリング・アルゴリズムは、2600の典型的な消費者画像に対してテストされた。メモリ無しの再現率/適合率性能を図8に示す。基本型アプローチは、ブロック・ベースの前景及び背景分離を用いた。改良型アプローチは、ブロック・ベースの前景/背景セグメント化と、前述の特定の状況に対する固定された四角形の前景/背景分離との組み合わせを示す。ここで、上記セグメント化は、前景の固定された四角形によって単に置き換えられる。このために、本システムは、2画像面メモリを用いた2600の消費者画像のイベント・クラスタリングに対して、適合率58%及び再現率58%を実現した。
【0037】
本発明の主題は、ディジタル画像理解技術に関する。この技術は、ディジタル画像を認識し、人間にとって理解可能なオブジェクト、属性、又は状態に対して有意義な意味を割り当て、その後、該ディジタル画像の更なる処理で得られた結果を利用するためにディジタルに処理することを意味することは明らかである。
【0038】
本発明を特定の好ましい実施形態を特に参照して説明したが、本発明の意図及び範囲内で変形及び修正が可能であることは明らかである。例えば、イベント・クラスタリングに対して前景及び背景セグメント化を用いるアイディアは、複数の領域を用いることに対しても同様に拡張され得る。
【0039】
【発明の効果】
本発明によれば、画像を前景及び背景などの粗い領域へセグメント化し、前景領域と背景領域との間の類似性からの全体的な類似性度合を導くシステムを提供することができる。
【図面の簡単な説明】
【図1】本発明に係るブロック・ベースの前景/背景セグメント化を用いたイベント・クラスタリングのブロック図である。
【図2A】図1に示すブロック・ベースのセグメント化技術の詳細、特に領域を形成するためのブロック境界分離の結合を示す図である。
【図2B】図1に示すブロック・ベースのセグメント化技術の詳細、特に領域を形成するためのブロック境界分離の結合を示す図である。
【図3】本発明に係る前景/背景セグメント化の一例を示す図である。
【図4】2つの画像において前景及び背景を有する領域について生成された相違度合(非類似性)の比較を表す図である。
【図5A】連続的で且つ相違度合の大きい画像の時系列における各画像間の相違度合を計算するためのメモリの使用を示す図である。
【図5B】連続的で且つ相違度合の大きい画像の時系列における各画像間の相違度合を計算するためのメモリの使用を示す図である。
【図5C】連続的で且つ相違度合の大きい画像の時系列における各画像間の相違度合を計算するためのメモリの使用を示す図である。
【図6】4つの消費者画像に対する前景及び背景分離の一例を示す図である。
【図7】図6に示す4つの画像の前景領域と背景領域との間の類似性比較を示す図である。
【図8】前景/背景セグメント化を用いたイベント・クラスタリングの性能を示す適合率/再現率プロットである。
【符号の説明】
10 第一のモジュール
12 第二のモジュール
14 第三のモジュール
16 第四のモジュール
20 グリッド線
22 四角形ブロック
24 初期の分離
26 矢印延長
28 領域
30 背景
32 前景
40 画像
42 画像
44a・・・ 前景を有する領域
46a・・・ 前景を有する領域
50 隣接する画像
52 すべての他の画像
54 すべての他の2画像
60 第一のイベントの切れ目
62 第二のイベントの切れ目
Claims (5)
- 画像群の中で類似のイベントを持つ画像を同イベント画像グループへクラスタリングする自動イベント・クラスタリング方法であって、
(a)セグメント化工程と、
(b)抽出・作成工程と、
(c)計算工程と、
(d)測定工程と、
(e)境界画定工程と、を有し、
前記セグメント化工程(a)においては、前記画像群内の各画像を複数の画像領域へセグメント化し、
前記画像領域は、前景セグメント及び背景セグメントのうちの少なくとも一方を有し、
前記セグメント化工程(a)は、
各画像を複数のブロックへ分割することによってブロック・ベースの画像を提供する工程と、
各ブロック・ベースの画像を、少なくとも前景セグメント及び背景セグメントを含む複数のセグメントへセグメント化する工程と、を含み、
前記抽出・作成工程(b)においては、前記画像群内の複数の連続した画像の各々から、カラーヒストグラム特徴以外の特徴のうち、少なくとも光度特徴を抽出して、特徴群を作成し、
前記複数の連続した画像の各々は、前記前景セグメント及び前記背景セグメントを有し、
前記光度特徴は、前記前景セグメント及び背景セグメントのうちの少なくとも一方から求め、
前記計算工程(c)においては、前記複数の連続した画像についての複数の画像類似性を、前記特徴群内の前記光度特徴の類似性の関数として計算し、
前記計算工程(c)は、
前記画像群内の一画像の前景セグメントを含む組み合わせの各領域と前記画像群内の別の一画像の前景セグメントを含む各領域との間の画像類似性を計算する工程と、
前記画像群内の前記一画像の背景セグメントを含む組み合わせの各領域と前記画像群内の前記別の一画像の背景セグメントを含む各領域との間の画像類似性を計算する工程と、を含み、
前記測定工程(d)においては、連続画像間の複数の画像相違度合を前記複数の画像類似性の関数として測定し、
前記測定工程(d)は、前記前景セグメントと前記背景セグメントとを含む組み合わせにおけるすべての領域の類似性に基づいて連続画像間の全体の類似性の平均値を計算することによって、前記画像間の画像相違度合を測定する工程を含み、
前記境界画定工程(e)においては、イベント・クラスタ群の各々が複数の同イベント画像グループを有し、該複数の同イベント画像グループの各々が同じイベントに関する画像を有するように、前記複数の画像相違度合に応じて前記イベント・クラスタ群の境界を定める、
ことを特徴とする方法。 - 請求項1記載の方法であって、
前記計算工程(c)は、更に、前記複数の連続した画像についての複数の画像類似性を前記特徴群内の前記光度特徴の類似性の関数として計算することによって、前記画像領域間の類似性又は非類似性を表す相違度合を生成する工程を含む、
ことを特徴とする方法。 - 請求項1記載の方法であって、
前記セグメント化工程(a)において形成された前記複数の画像領域のうちの所定数の画像領域の各々が所定サイズより小さい場合、前記前景セグメント及び前記背景セグメント内の前景について固定画像領域が生成される、
ことを特徴とする方法。 - 請求項1記載の方法であって、
前記画像群は年代順に並べられ、
前記計算工程(c)は、更に、前記複数の連続した画像についての複数の画像類似性を前記特徴群内の前記光度特徴の類似性の関数として計算する工程、又は、前記画像群の他のすべての画像において前記前景セグメント及び前記背景セグメントを含む前記複数の画像領域の類似性を推定及び比較する工程、を含み、
前記測定工程(d)は、更に、複数の連続画像と他のすべての画像の間の全体の類似性に従って、複数の画像相違度合を測定する工程を含む、
ことを特徴とする方法。 - 請求項1記載の方法であって、
前記画像群は年代順に並べられ、
前記計算工程(c)は、更に、
前記複数の連続した画像についての複数の画像類似性を前記特徴群内の前記光度特徴の類似性の関数として計算する工程と、
前記画像群の他のすべての2画像において前記前景セグメント及び前記背景セグメントを含む前記複数の画像領域の類似性を推定及び比較する工程と、を含み、
前記測定工程(d)は、更に、複数の連続画像と他のすべての2画像の間の全体の類似性に従って、複数の画像相違度合を測定する工程を含む、
ことを特徴とする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/819,385 US6915011B2 (en) | 2001-03-28 | 2001-03-28 | Event clustering of images using foreground/background segmentation |
US819385 | 2001-03-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003016448A JP2003016448A (ja) | 2003-01-17 |
JP4139615B2 true JP4139615B2 (ja) | 2008-08-27 |
Family
ID=25228005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002089703A Expired - Fee Related JP4139615B2 (ja) | 2001-03-28 | 2002-03-27 | 前景/背景セグメント化を用いた画像のイベント・クラスタリング |
Country Status (3)
Country | Link |
---|---|
US (1) | US6915011B2 (ja) |
EP (1) | EP1246085A3 (ja) |
JP (1) | JP4139615B2 (ja) |
Families Citing this family (134)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7076101B2 (en) * | 2002-02-14 | 2006-07-11 | Sun Microsystems, Inc. | Method and apparatus for local image quantification verification |
US7092571B2 (en) * | 2002-03-29 | 2006-08-15 | Sun Microsystems, Inc. | Method and apparatus for regional image quantification verification |
US6961468B2 (en) * | 2002-03-29 | 2005-11-01 | Sun Microsystems, Inc. | Method and apparatus for adaptive local image quantification verification |
US7092572B2 (en) * | 2002-03-29 | 2006-08-15 | Sun Microsystems, Inc. | Method and apparatus for global image quantification verification |
US7206450B2 (en) | 2002-04-25 | 2007-04-17 | Microsoft Corporation | Compression of bi-level images with explicit representation of ink clusters |
US7224735B2 (en) * | 2003-05-21 | 2007-05-29 | Mitsubishi Electronic Research Laboratories, Inc. | Adaptive background image updating |
US7471846B2 (en) | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
US8494286B2 (en) | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
US8498452B2 (en) | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US7317815B2 (en) * | 2003-06-26 | 2008-01-08 | Fotonation Vision Limited | Digital image processing composition using face detection information |
US7616233B2 (en) * | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
US8682097B2 (en) | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
US8553949B2 (en) | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7844076B2 (en) | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
US9129381B2 (en) | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US7440593B1 (en) | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
US7315630B2 (en) | 2003-06-26 | 2008-01-01 | Fotonation Vision Limited | Perfecting of digital image rendering parameters within rendering devices using face detection |
US8989453B2 (en) | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
US8363951B2 (en) | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US8155397B2 (en) | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
US7362368B2 (en) * | 2003-06-26 | 2008-04-22 | Fotonation Vision Limited | Perfecting the optics within a digital image acquisition device using face detection |
US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
US7587068B1 (en) | 2004-01-22 | 2009-09-08 | Fotonation Vision Limited | Classification database for consumer digital images |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US8330831B2 (en) | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
US7620218B2 (en) | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US7747625B2 (en) * | 2003-07-31 | 2010-06-29 | Hewlett-Packard Development Company, L.P. | Organizing a collection of objects |
US7558408B1 (en) | 2004-01-22 | 2009-07-07 | Fotonation Vision Limited | Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition |
US7551755B1 (en) | 2004-01-22 | 2009-06-23 | Fotonation Vision Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7564994B1 (en) | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
US7555148B1 (en) | 2004-01-22 | 2009-06-30 | Fotonation Vision Limited | Classification system for consumer digital images using workflow, face detection, normalization, and face recognition |
US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US7715597B2 (en) | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
US8503800B2 (en) | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
WO2006073299A1 (en) * | 2005-01-10 | 2006-07-13 | Samsung Electronics Co., Ltd. | Method and apparatus for clustering digital photos based on situation and system and method for albuming using the same |
JP2006295890A (ja) * | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
JP2006293985A (ja) | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
JP2006293986A (ja) | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
JP4588642B2 (ja) | 2005-03-15 | 2010-12-01 | 富士フイルム株式会社 | アルバム作成装置、アルバム作成方法、及びプログラム |
GB2431793B (en) | 2005-10-31 | 2011-04-27 | Sony Uk Ltd | Image processing |
US7668394B2 (en) | 2005-12-21 | 2010-02-23 | Lexmark International, Inc. | Background intensity correction of a scan of a document |
US8078618B2 (en) | 2006-01-30 | 2011-12-13 | Eastman Kodak Company | Automatic multimode system for organizing and retrieving content data files |
CN100536523C (zh) * | 2006-02-09 | 2009-09-02 | 佳能株式会社 | 用于图像分类的方法、设备 |
US8639028B2 (en) * | 2006-03-30 | 2014-01-28 | Adobe Systems Incorporated | Automatic stacking based on time proximity and visual similarity |
EP2033142B1 (en) | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
US20080002864A1 (en) * | 2006-06-29 | 2008-01-03 | Eastman Kodak Company | Using background for searching image collections |
WO2008015586A2 (en) | 2006-08-02 | 2008-02-07 | Fotonation Vision Limited | Face recognition with combined pca-based datasets |
US7403643B2 (en) | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
KR100813170B1 (ko) * | 2006-09-27 | 2008-03-17 | 삼성전자주식회사 | 사진 의미 인덱싱 방법 및 그 시스템 |
US7869658B2 (en) * | 2006-10-06 | 2011-01-11 | Eastman Kodak Company | Representative image selection based on hierarchical clustering |
US20080085055A1 (en) * | 2006-10-06 | 2008-04-10 | Cerosaletti Cathleen D | Differential cluster ranking for image record access |
CN100464693C (zh) * | 2006-10-11 | 2009-03-04 | 哈尔滨工业大学 | 基于像素的舌苔舌质颜色提取及分类方法 |
US7856380B1 (en) * | 2006-12-29 | 2010-12-21 | Amazon Technologies, Inc. | Method, medium, and system for creating a filtered image set of a product |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
JP5049356B2 (ja) | 2007-02-28 | 2012-10-17 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離 |
WO2008109622A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face categorization and annotation of a mobile phone contact list |
EP2188759A1 (en) | 2007-03-05 | 2010-05-26 | Fotonation Vision Limited | Face searching and detection in a digital image acquisition device |
WO2008142675A1 (en) * | 2007-05-17 | 2008-11-27 | Link-It Ltd. | A method and a system for organizing an image database |
US7916971B2 (en) | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
US20080298643A1 (en) * | 2007-05-30 | 2008-12-04 | Lawther Joel S | Composite person model from image collection |
US8045800B2 (en) * | 2007-06-11 | 2011-10-25 | Microsoft Corporation | Active segmentation for groups of images |
US20090091798A1 (en) * | 2007-10-05 | 2009-04-09 | Lawther Joel S | Apparel as event marker |
GB2454213A (en) * | 2007-10-31 | 2009-05-06 | Sony Corp | Analyzing a Plurality of Stored Images to Allow Searching |
US8150098B2 (en) | 2007-12-20 | 2012-04-03 | Eastman Kodak Company | Grouping images by location |
US8326029B1 (en) * | 2008-03-21 | 2012-12-04 | Hewlett-Packard Development Company, L.P. | Background color driven content retrieval |
US7855737B2 (en) | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
CN101588450B (zh) | 2008-05-19 | 2013-08-14 | 株式会社日立制作所 | 记录再现装置及方法 |
US20090297045A1 (en) * | 2008-05-29 | 2009-12-03 | Poetker Robert B | Evaluating subject interests from digital image records |
JP5043767B2 (ja) * | 2008-07-08 | 2012-10-10 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
WO2010012448A2 (en) | 2008-07-30 | 2010-02-04 | Fotonation Ireland Limited | Automatic face and skin beautification using face detection |
JP2010055194A (ja) | 2008-08-26 | 2010-03-11 | Sony Corp | 画像処理装置および方法、学習装置および方法、並びにプログラム |
US8325796B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video coding using adaptive segmentation |
JP2010074342A (ja) * | 2008-09-17 | 2010-04-02 | Fuji Xerox Co Ltd | 画像処理装置、画像形成装置、及びプログラム |
KR20100052676A (ko) * | 2008-11-11 | 2010-05-20 | 삼성전자주식회사 | 컨텐츠 앨범화 장치 및 그 방법 |
US8611677B2 (en) | 2008-11-19 | 2013-12-17 | Intellectual Ventures Fund 83 Llc | Method for event-based semantic classification |
WO2010063463A2 (en) | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
KR20100084338A (ko) * | 2009-01-16 | 2010-07-26 | 삼성전자주식회사 | 이미지 드로잉 방법 및 장치 |
US8340436B2 (en) | 2009-06-19 | 2012-12-25 | Eastman Kodak Company | Detecting significant events in consumer image collections |
US8270731B2 (en) * | 2009-08-19 | 2012-09-18 | Eastman Kodak Company | Image classification using range information |
US8379917B2 (en) | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
US8698762B2 (en) | 2010-01-06 | 2014-04-15 | Apple Inc. | Device, method, and graphical user interface for navigating and displaying content in context |
US8718386B2 (en) * | 2010-02-23 | 2014-05-06 | Intellectual Ventures Fund 83 Llc | Adaptive event timeline in consumer image collections |
US9465993B2 (en) * | 2010-03-01 | 2016-10-11 | Microsoft Technology Licensing, Llc | Ranking clusters based on facial image analysis |
US8406461B2 (en) | 2010-04-27 | 2013-03-26 | Intellectual Ventures Fund 83 Llc | Automated template layout system |
US8406460B2 (en) | 2010-04-27 | 2013-03-26 | Intellectual Ventures Fund 83 Llc | Automated template layout method |
US8634662B2 (en) * | 2010-08-25 | 2014-01-21 | Apple Inc. | Detecting recurring events in consumer image collections |
TWI495354B (zh) * | 2010-10-06 | 2015-08-01 | Univ Nat Cheng Kung | 影像優化裝置及影像優化方法 |
EP2656245B1 (en) * | 2010-12-21 | 2020-02-19 | Qualcomm Incorporated | Computerized method and device for annotating at least one feature of an image of a view |
CN102959551B (zh) * | 2011-04-25 | 2017-02-08 | 松下电器(美国)知识产权公司 | 图像处理装置 |
US8867891B2 (en) * | 2011-10-10 | 2014-10-21 | Intellectual Ventures Fund 83 Llc | Video concept classification using audio-visual grouplets |
US8699852B2 (en) * | 2011-10-10 | 2014-04-15 | Intellectual Ventures Fund 83 Llc | Video concept classification using video similarity scores |
CN103077423B (zh) * | 2011-10-25 | 2015-09-30 | 中国科学院深圳先进技术研究院 | 基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法 |
US8915440B2 (en) | 2011-12-23 | 2014-12-23 | Konica Minolta Laboratory U.S.A., Inc. | Four dimensional (4D) color barcode for high capacity data encoding and decoding |
US8931700B2 (en) | 2011-12-23 | 2015-01-13 | Konica Minolta Laboratory U.S.A., Inc. | Four dimensional (4D) color barcode for high capacity data encoding and decoding |
KR20130091441A (ko) * | 2012-02-08 | 2013-08-19 | 삼성전자주식회사 | 물체 추적 장치 및 그 제어 방법 |
JP5662962B2 (ja) * | 2012-04-19 | 2015-02-04 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
JP5660078B2 (ja) | 2012-05-31 | 2015-01-28 | カシオ計算機株式会社 | 多クラス識別器、方法、およびプログラム |
US9330550B2 (en) * | 2012-07-13 | 2016-05-03 | Walter Kidde Portable Equipment, Inc. | Low nuisance fast response hazard alarm |
US8928772B2 (en) | 2012-09-21 | 2015-01-06 | Eastman Kodak Company | Controlling the sharpness of a digital image |
US8724919B2 (en) | 2012-09-21 | 2014-05-13 | Eastman Kodak Company | Adjusting the sharpness of a digital image |
US8983150B2 (en) | 2012-12-17 | 2015-03-17 | Adobe Systems Incorporated | Photo importance determination |
US8897556B2 (en) | 2012-12-17 | 2014-11-25 | Adobe Systems Incorporated | Photo chapters organization |
US9124762B2 (en) | 2012-12-20 | 2015-09-01 | Microsoft Technology Licensing, Llc | Privacy camera |
US9177226B2 (en) * | 2013-03-15 | 2015-11-03 | Google Inc. | Object detection in images based on affinity determinations |
WO2014177756A1 (en) * | 2013-05-03 | 2014-11-06 | Nokia Corporation | Method, apparatus and computer program product for segmentation of objects in images |
US11080318B2 (en) | 2013-06-27 | 2021-08-03 | Kodak Alaris Inc. | Method for ranking and selecting events in media collections |
CN103871050B (zh) * | 2014-02-19 | 2017-12-29 | 小米科技有限责任公司 | 图标分割方法、装置和终端 |
JP6053717B2 (ja) | 2014-05-07 | 2016-12-27 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | マークアップ言語で記述されたページのカラーシームを抽出する方法、上記カラーシームを抽出するための電子装置、及び、その電子装置用プログラム |
US9392272B1 (en) | 2014-06-02 | 2016-07-12 | Google Inc. | Video coding using adaptive source variance based partitioning |
RU2679969C2 (ru) * | 2014-06-24 | 2019-02-14 | Конинклейке Филипс Н.В. | Визуальная деперсонализация массивов медицинских данных для защиты при объемном 3d-рендеринге |
US9578324B1 (en) | 2014-06-27 | 2017-02-21 | Google Inc. | Video coding using statistical-based spatially differentiated partitioning |
US9916075B2 (en) | 2015-06-05 | 2018-03-13 | Apple Inc. | Formatting content for a reduced-size user interface |
AU2015203570A1 (en) * | 2015-06-26 | 2017-01-19 | Canon Kabushiki Kaisha | Method, system and apparatus for segmenting an image set to generate a plurality of event clusters |
CN105117683B (zh) * | 2015-07-22 | 2019-01-15 | 北方工业大学 | 一种公共场所密集人群检测及预警方法 |
US9684842B2 (en) | 2015-10-29 | 2017-06-20 | The Nielsen Company (Us), Llc | Methods and apparatus to extract text from imaged documents |
US10324973B2 (en) | 2016-06-12 | 2019-06-18 | Apple Inc. | Knowledge graph metadata network based on notable moments |
AU2017100670C4 (en) | 2016-06-12 | 2019-11-21 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
DK201670608A1 (en) | 2016-06-12 | 2018-01-02 | Apple Inc | User interfaces for retrieving contextually relevant media content |
CN110895439A (zh) | 2016-09-23 | 2020-03-20 | 苹果公司 | 头像创建和编辑 |
TWI610571B (zh) * | 2016-10-26 | 2018-01-01 | 緯創資通股份有限公司 | 顯示方法及其系統與電腦可讀取記錄媒體 |
US11243996B2 (en) | 2018-05-07 | 2022-02-08 | Apple Inc. | Digital asset search user interface |
DK180171B1 (en) | 2018-05-07 | 2020-07-14 | Apple Inc | USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT |
US11086935B2 (en) | 2018-05-07 | 2021-08-10 | Apple Inc. | Smart updates from historical database changes |
US10803135B2 (en) | 2018-09-11 | 2020-10-13 | Apple Inc. | Techniques for disambiguating clustered occurrence identifiers |
US10846343B2 (en) | 2018-09-11 | 2020-11-24 | Apple Inc. | Techniques for disambiguating clustered location identifiers |
CN113780424A (zh) * | 2021-09-13 | 2021-12-10 | 四川新网银行股份有限公司 | 一种基于背景相似度的照片实时在线聚类方法及*** |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5982944A (en) * | 1991-09-27 | 1999-11-09 | E. I. Du Pont De Nemours And Company | Adaptive vision system using dual thresholding |
US6182069B1 (en) * | 1992-11-09 | 2001-01-30 | International Business Machines Corporation | Video query system and method |
US6064770A (en) * | 1995-06-27 | 2000-05-16 | National Research Council | Method and apparatus for detection of events or novelties over a change of state |
US5911139A (en) | 1996-03-29 | 1999-06-08 | Virage, Inc. | Visual image database search engine which allows for different schema |
US5852823A (en) | 1996-10-16 | 1998-12-22 | Microsoft | Image classification and retrieval system using a query-by-example paradigm |
US6011595A (en) | 1997-09-19 | 2000-01-04 | Eastman Kodak Company | Method for segmenting a digital image into a foreground region and a key color region |
US6072904A (en) | 1997-12-31 | 2000-06-06 | Philips Electronics North America Corp. | Fast image retrieval using multi-scale edge representation of images |
DE19817720A1 (de) * | 1998-04-21 | 1999-10-28 | Heidelberger Druckmasch Ag | Verfahren zur Bilddatenkomprimierung für Zwei-Farben-Bilder |
US6606411B1 (en) | 1998-09-30 | 2003-08-12 | Eastman Kodak Company | Method for automatically classifying images into events |
US6351556B1 (en) | 1998-11-20 | 2002-02-26 | Eastman Kodak Company | Method for automatically comparing content of images for classification into events |
US6282317B1 (en) | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
GB2358098A (en) * | 2000-01-06 | 2001-07-11 | Sharp Kk | Method of segmenting a pixelled image |
-
2001
- 2001-03-28 US US09/819,385 patent/US6915011B2/en not_active Expired - Lifetime
-
2002
- 2002-03-18 EP EP02076040A patent/EP1246085A3/en not_active Ceased
- 2002-03-27 JP JP2002089703A patent/JP4139615B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US6915011B2 (en) | 2005-07-05 |
EP1246085A2 (en) | 2002-10-02 |
EP1246085A3 (en) | 2006-01-04 |
US20020168108A1 (en) | 2002-11-14 |
JP2003016448A (ja) | 2003-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4139615B2 (ja) | 前景/背景セグメント化を用いた画像のイベント・クラスタリング | |
US6606411B1 (en) | Method for automatically classifying images into events | |
JP6023058B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
JP4990383B2 (ja) | 画像グループの表現方法、画像グループの探索方法、装置、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム | |
US6351556B1 (en) | Method for automatically comparing content of images for classification into events | |
US7298895B2 (en) | Method for automatically classifying images into events | |
US8467611B2 (en) | Video key-frame extraction using bi-level sparsity | |
JP4907938B2 (ja) | 少なくとも1つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び/又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び/又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
JP5097280B2 (ja) | 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体 | |
US20120148149A1 (en) | Video key frame extraction using sparse representation | |
Varnousfaderani et al. | Weighted color and texture sample selection for image matting | |
JP5117670B2 (ja) | 画像及び画像群を表現する方法、画像又は画像群を比較する方法、画像又は画像群を検索する方法、各方法を実行する装置およびシステム、プログラム、及びコンピュータ読み取り可能な記憶媒体 | |
Kiranyaz et al. | Perceptual color descriptor based on spatial distribution: A top-down approach | |
JP4098021B2 (ja) | シーン識別方法および装置ならびにプログラム | |
WO2012001048A1 (en) | Method for classification of videos | |
JP5180922B2 (ja) | 画像検索システム及び画像検索方法 | |
US20070110308A1 (en) | Method, medium, and system with category-based photo clustering using photographic region templates | |
Shih et al. | An intelligent content-based image retrieval system based on color, shape and spatial relations | |
US7755646B2 (en) | Image management through lexical representations | |
CN106557523A (zh) | 代表性图像选择方法和设备以及对象图像检索方法和设备 | |
Kiranyaz et al. | Perceptual Color Descriptors | |
Ciocca et al. | Dynamic storyboards for video content summarization | |
Chen et al. | A novel framework for fast scene matching in consumer image collections | |
JP2000339352A (ja) | 知覚的顕在特徴に基づく画像のアーカイブ及び検索 | |
Hsueh et al. | Building specified Web-searching image database using quantization-color-size histogram |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080221 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080513 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4139615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |