JPH1196364A - 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 - Google Patents

画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体

Info

Publication number
JPH1196364A
JPH1196364A JP9252287A JP25228797A JPH1196364A JP H1196364 A JPH1196364 A JP H1196364A JP 9252287 A JP9252287 A JP 9252287A JP 25228797 A JP25228797 A JP 25228797A JP H1196364 A JPH1196364 A JP H1196364A
Authority
JP
Japan
Prior art keywords
color
image
similarity
images
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9252287A
Other languages
English (en)
Other versions
JP3747589B2 (ja
Inventor
Sumiyo Tanaka
寿美代 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP25228797A priority Critical patent/JP3747589B2/ja
Priority to US09/153,851 priority patent/US6519360B1/en
Publication of JPH1196364A publication Critical patent/JPH1196364A/ja
Application granted granted Critical
Publication of JP3747589B2 publication Critical patent/JP3747589B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 画像から特徴量として色特徴を抽出し、この
色特徴に基づいて画像間の比較を行う画像特徴量比較装
置を提供する。 【解決手段】 画像の各画素のRGB値をHSL値に変
換し(S011)、色を特定する複数の色要素の値に基
づいて複数の色グループに色を分類するための分類情報
を有する色グループ分類テーブルを参照し、画像を構成
する各画素の色を色グループ毎にカウントし(S301
2)、色グループ内にカウントされた画素の色要素の値
に基づいて各色グループの平均色を求め(S301
3)、色グループ内にカウントされた画素が画像全体に
占める割合である占有率を色グループ毎に算出し(S3
014)、色グループの平均色と占有率とを画像の色特
徴として色グループ毎に抽出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像の特徴量を用
いて異なる画像間の比較を行う画像特徴量比較装置に関
し、特に画像の色特徴に基づいて画像間の比較を行うも
のである。
【0002】
【従来の技術】一般に、画像データベースは、画像デー
タに、作成日、修正日、ファイル名、ファイルフォーマ
ット等の属性情報と、キーワード、形状特徴、色味、音
声等の検索情報とを付加し、保管・管理する。
【0003】このような画像データベースにおいて、画
像データを検索する場合、キーワード等の検索情報を指
定し、その検索情報に該当するデータを検索する方法が
一般的である。しかし、この場合、ユーザは予め、画像
データの特徴を示す検索情報を画像データに付加してお
く必要があり、ユーザの負担となっていた。このユーザ
の負担を軽減する方法として、近年、画像から特徴量を
自動的に抽出して付与する方法が考えられている。画像
から抽出する特徴量としては、画像のテクスチャの周期
性や、画像のテクスチャを構成する基本パターンや、画
像を表現する色に関する特徴を示す量(以下、「色特
徴」という。)が用いられる。
【0004】このように、画像から特徴量を自動的に抽
出し付与することを可能とすることにより、画像自体を
検索キーとして、当該画像の特徴量に基づいて、類似画
像を検索することが可能となる。これにより、検索時の
処理効率、検索精度を向上させることができる。
【0005】
【発明が解決しようとする課題】ところで、画像から色
に関する特徴量である色特徴を特徴量として自動的に抽
出する方法としては、例えば、特開平5−274372
号公報に開示された方法がある。ここでは、画像を構成
する色がどの程度、多く含まれているかを判定し、この
情報をコード化して画像データに付加する方法が開示さ
れているが、この情報を用いての検索や、画像間の比較
の方法については開示されていない。また、特開平8−
16789号公報に開示された方法では、画像中の色を
グループ分けし、各グループに含まれる画素の度数をカ
ウントし、度数の比率を特徴量とし、この度数の比率に
より画像の比較を行う方法が開示されているが、具体的
な手段は説明されておらず、概念的な説明に留まってい
る。したがって、両公報においては、画像から色特徴を
特徴量として抽出し、この色特徴に基づいて画像間の比
較・検索を行う具体的手段は開示されていない。
【0006】今後、情報処理装置の高性能化及び情報の
デジタル化の促進に伴い、カラー画像を取り扱う頻度も
益々増加することを考慮すると、画像の特徴量として色
特徴を取り扱うことは非常に重要となり、画像から色特
徴を特徴量として抽出し、この色特徴に基づいて画像間
の比較・検索を行う装置がさらに要望される。
【0007】本発明は上記課題を解決すべくなされたも
のであり、その目的とするところは、画像から色特徴を
抽出し、この色特徴に基づいて画像の比較を行う画像比
較装置を提供することにある。
【0008】
【課題を解決するための手段】上記課題を解決するため
に、本発明に係る第1の画像特徴量比較装置は、画像の
色に関する特徴を示す色特徴に基づいて異なる画像間の
比較を行う画像特徴量比較装置において、色を所定の色
要素に基づき複数の色グループに分類し、該各色グルー
プに属する画素を計数することにより、前記各色グルー
プの画像全体に占める割合である占有率を算出する手段
と、色グループ名またはその色グループの代表色と、そ
の色グループの占有率とに基づいて、画像間の関連度を
算出する画像比較手段とを備える。
【0009】また、前記第1の画像特徴量比較装置にお
いて、検索キーとなる画像を指定する画像指定手段と、
検索対象となる画像を読み込む対象読込み手段と、該記
検索キーとなる画像および前記検索対象の画像から抽出
された色特徴に基づいて、両画像間の類似度を計算する
類似度計算手段と、該類似度に基づき両画像が類似して
いるか否かを判断し、類似しているときに前記検索対象
の画像を検索結果として出力する出力手段とを備えても
よい。
【0010】本発明に係る第1の記録媒体は、コンピュ
ータ読み取り可能な記録媒体であって、画像の色に関す
る特徴を示す色特徴に基づいて画像間の比較を行う画像
特徴量比較プログラムを記録している。この画像特徴量
比較プログラムは、色を所定の色要素に基づいて複数の
色グループに分類し、画像を構成する各画素の色を前記
色グループ毎に計数するステップと、各色グループの画
像全体に占める割合である占有率を算出するステップ
と、前記色グループ名または色グループの代表色と、そ
の占有率とに基づいて、画像間の関連度を算出するステ
ップとを有する。
【0011】また、前記画像特徴量比較プログラムは、
検索キーとなる画像を指定するステップと、該記検索キ
ーとなる画像および前記画像記憶手段に格納される検索
対象の画像から抽出されたそれぞれの色特徴に基づい
て、両画像間の類似度を計算するステップと、該類似度
に基づき両画像が類似しているか否かを判断し、類似し
ているときに前記検索対象の画像を検索結果として出力
するステップとを備えてもよい。
【0012】前記画像特徴量比較装置または前記画像特
徴量比較プログラムにおいて、画像間の類似度を求める
際には、前記占有率に基づいて色グループ名または色グ
ループの代表色に対して重み付けをするようにしてもよ
い。また、前記複数の色要素のそれぞれに対して重み付
けをするようにしてもよい。さらに、前記画像特徴量比
較装置または前記画像特徴量比較プログラムにおいて、
前記色を特定する色要素として、色合いを示す色相と、
あざやかさを示す彩度と、明るさの度合いを示す明度と
が用いられてもよい。
【0013】本発明に係る第2の画像特徴量比較装置
は、画像の第1の特徴量及び第2の特徴量に基づいて、
2つの画像を比較する画像特徴量比較装置であって、各
画像に対して、画像の第1の特徴量に応じて画像の第2
の特徴量に重み付けを行い、該重み付けされた第2の特
徴量どうしを比較することにより、画像間の比較を行う
特徴量比較手段を有する。
【0014】本発明に係る第2の記録媒体は、画像の第
1の特徴量及び第2の特徴量に基づいて、2つの画像を
比較する画像特徴量比較プログラムを記録し、前記画像
特徴量比較プログラムは、各画像に対して、画像の第1
の特徴量に応じて画像の第2の特徴量に重み付けを行う
ステップと、該重み付けされた第2の特徴量どうしを比
較することにより、画像間の比較を行うステップとを有
する。
【0015】
【発明の実施の形態】以下、添付の図面を用いて本発明
に係る画像特徴量比較装置の実施の形態を説明する。
【0016】本実施形態の画像特徴量比較装置は、画像
を比較する際に、画像の色に関する特徴量(以下、「色
特徴」という。)を抽出し、この色特徴に基づいて画像
間の比較を行うものである。
【0017】<画像特徴量比較装置の全体構成>図1に
本実施形態の画像特徴量比較装置(以下、「システム」
と称す。)の概略構成図を示す。図1に示すように、シ
ステムは中央演算処理(以下、「CPU」と称す。)を
備え、システム全体を制御する制御装置1を中心として
構成される。CPUには例えばインテル社製のペンティ
アム等が用いられる。この制御装置1には、画像あるい
は文字等の表示や、操作のための表示等を行うディスプ
レイ2と、各種入力、指示操作等を行うためのキーボー
ド3およびマウス4と、データ保管媒体であるフロッピ
ーディスク装置5aおよびハードディスク装置6と、文
字や画像データ等を印刷するプリンタ7と、画像データ
を取り込むためのスキャナ8と、CD−ROM9aに格
納されたデータを読み出すためのCD−ROM装置9b
と、音声出力のためのスピーカ10と、音声入力のため
のマイクロホン11とが接続される。
【0018】図2に本システムのブロック図を示す。C
PU201には、データバス220を介して、本システ
ムを制御するプログラムが格納されているROM203
と、CPU201が制御のために実行するプログラムや
データを一時的に格納するRAM204とが接続され
る。また、CPU201にデータバス220を介して接
続される回路には、画像あるいは文字等の表示のためデ
ィスプレイ2を制御する表示制御回路205と、キーボ
ード3からの入力を転送制御するキーボード制御回路2
06と、マウス4からの入力を転送制御するマウス制御
回路207と、フロッピーディスク装置5bを制御する
フロッピーディスク装置制御回路208と、ハードディ
スク装置6を制御するハードディスク装置制御回路20
9と、プリンタ7への出力を制御するプリンタ制御回路
210と、スキャナ8を制御するスキャナ制御回路21
1と、CD−ROM装置9bを制御するCD−ROM装
置制御回路212と、スピーカ10を制御するスピーカ
制御回路213と、マイクロホン11を制御するマイク
ロホン制御回路214とがある。さらに、CPU201
には、システムを動作させるために必要な基準クロック
を発生させるためのクロック202が接続され、また、
各種拡張ボードを接続するための拡張スロット215が
データバス220を介して接続される。なお、拡張スロ
ット215にSCSIIボードを接続し、このSCSI
Iボードを介してフロッピーディスク装置5b、ハード
ディスク装置6、スキャナ8またはCD−ROM装置9
b等を接続してもよい。
【0019】なお、上記システムにおいて、画像データ
保管媒体としてはフロッピーディスク5a、ハードディ
スク装置6を用いているが、光磁気ディスク(MO)等
の他の情報記憶媒体でもよい。また、画像データ入力装
置としてスキャナ8を用いているが、スチルビデオカメ
ラやデジタルカメラ等の他のデータ入力装置であっても
よい。さらに、出力装置としてプリンタ7を用いている
が、デジタル複写機等の他の出力装置であってもよい。
また、本システムでは、制御処理を実現するプログラム
をROM203に格納する。しかし、本プログラムの一
部または全部をフロッピーディスク5aやハードディス
ク装置6やCD−ROM9b等の情報記憶媒体に格納し
ておき、必要に応じて情報記憶媒体よりプログラムおよ
びデータをRAM204に読み出し、これを実行させて
もよい。
【0020】<画像特徴量比較装置で用いるデータベー
スおよび色グループ分類テーブル>また、本システムは
画像データを保管、管理するため、データおよびその検
索キーとなる付加情報等を含む画像データベースと、画
像から色特徴を抽出する際に参照される色グループ分類
テーブルとを有する。画像データベースおよび色グルー
プ分類テーブルは、ハードディスク装置6等の情報記憶
媒体上に論理的に構成されている。図3に、本システム
の画像データベースの構成の一例を示す。図3に示すデ
ータベース50は、管理する画像情報である「画像デー
タ」と、その画像データに対する検索キーの1つである
「キーワード」と、画像データの色に関する特徴を示す
色特徴と、検索情報である検索キー等の情報から構成さ
れる。
【0021】次に、色グループ分類テーブルについて説
明する。まず、HSL色空間について説明する。HSL
色空間とは、色を、色あいである色相(H)、あざやか
さの度合いである彩度(S)および明るさの度合いであ
る明度(L)の3つの要素により特定する場合に、図4
に示すように色相を水平面上の角度で、彩度を中心軸
(図中、上下方向に延びる軸)からの動径方向の距離
で、明度を中心軸上の座標で表すようにした空間であ
る。このように、色を、色相、彩度および明度で表すこ
とは、人間の直感により近い色の表し方である。本実施
形態では、HSL色空間を9個の領域に分け、すなわ
ち、色を9個の色グループに分類している。色グループ
分類テーブルはこの色グループの分類情報を格納するも
のである。図5に、色グループ分類テーブル55が格納
する分類情報、すなわち、各色グループにおける色相、
明度および彩度のそれぞれの範囲を示す。本システムは
この色グループ分類テーブル55に基づいて、画像を構
成する色が、どの色グループに属するかを判断する。図
5の(a)において、グループ番号1からグループ番号
3までは無彩色グループであり、グループ番号4からグ
ループ番号9までは有彩色グループである。図5の
(b)、(c)は、色が有彩色グループに属する場合
の、明度、彩度のさらに細かいグループ分けを示してい
る。すなわち、有彩色の場合、明度及び彩度は、0.0
0〜0.45の範囲の第1グループと、0.45〜0.
75の範囲の第2グループと、0.75〜1.00の範
囲の第3グループとにさらに細かくグループ分けされ
る。なお、本実施形態では、色グループをHSL色空間
における色相、彩度および明度に基づいて色をグループ
分けしているが、これに限らず、色を特定する他の色要
素に基づいてグループ分けしてもよい。
【0022】<画像特徴量比較装置の制御動作>以下
に、本システムの具体的な制御動作についてフローチャ
ートを用いて説明する。
【0023】<メインフロー>図6は本システムにおい
てCPU201により実行されるプログラムのメインル
ーチンを示すフローチャートである。本プログラムが起
動されると、まず、以降の各処理で必要なフラグ等のイ
ニシャライズや、初期メニュー画面の表示等を行う初期
設定処理が行われる(S1)。図7にこの初期メニュー
画面の一例を示す。初期メニュー画面21上では、所定
の処理を選択するための選択項目23〜25がアイコン
として表示されており、この選択項目23〜25の1つ
がユーザにより選択されることにより所定の処理が実行
される。なお、本システムにおいては、ディスプレイ2
等上に表示された初期メニュー画面21等の設定画面上
で、ユーザにより、キーボード3やマウス4等を介して
各種処理の選択、設定値の入力等が行われる。ステップ
S1の後、初期メニュー画面21上でユーザによるメニ
ュー選択がなされたか否かを判定する(S2)。ステッ
プS2において、「色特徴抽出」23が選択されれば、
指定された画像データから色特徴を抽出し、画像データ
とともに画像データベース50に登録する等の処理を行
う色特徴抽出処理(S3)へ進み、その後、ステップS
6へ進む。ステップS2において、「色特徴比較検索」
24が選択されれば、指定された画像データと、データ
ベース50に登録されている画像データの色特徴を比較
し、色特徴が類似する画像データを検索する処理を行う
色特徴比較検索処理(S4)へ進み、その後、ステップ
S6へ進む。ステップS2において、「その他のメニュ
ー」25が選択されれば、その他のメニュー処理を行い
(S5)、その後、ステップS6へ進む。ステップS2
において、メニュー選択されなければ、なにもせずにス
テップS6へ進む。ステップS6では、その他の処理を
実行し、すべての処理が終わるとステップS2へ戻り、
以後、同様の処理が繰り返される。
【0024】ここで、その他のメニュー処理(S5)に
ついては、一般的な検索システムと基本的に同様であ
り、本発明に直接関係しないのでここでの説明は省略
し、特に、色特徴抽出処理(ステップS3)および色特
徴比較処理(ステップS4)について以下に詳細に説明
する。
【0025】<画像特徴量比較装置における色特徴抽出
処理>最初に、色特徴抽出処理(ステップS3)につい
て図8のフローチャートを用いて説明する。
【0026】本制御において、まず、ユーザの指示によ
り画面29上でキーボード3等を介して指定された画像
データを取得する(S301)。ここで、画像データ
は、画像データベース50に登録されている画像や、フ
ロッピーディスク5a等の記録媒体上に保管されている
画像の他、スキャナ8等から読み込まれたものでもよ
い。次に、以後の処理の高速化を図るため、取得した画
像データを所定の大きさや形状にする正規化処理や、外
縁を求めるエッジ処理等を行う(S302)。その後、
色グループ分類テーブル55を参照して、画像から色特
徴を計算する(S303)。この色特徴の計算の処理の
詳細は後述する。最後に、計算された画像の色特徴を画
像データと関連づけて、データベース50に登録し(S
304)、この処理を終了する。
【0027】<ステップS303における色特徴の計算
処理>以下に、上記ステップS303における画像の色
特徴の計算処理について図9のフローチャートを用いて
説明する。
【0028】まず、画像を構成する画素の全てに対し
て、RGB値で表された画素の値をHSL値に変換する
(S3011)。次に、画像の各画素の色がどの色グル
ープに属するのかを判断し、色グループ毎に、その色グ
ループに属する画像の数をカウントする(S301
2)。画像の各画素がどの色グループに属するかは色グ
ループ分類テーブル55を参照して、画素の色相
(H)、明度(L)、彩度(S)の値に基づいて判断さ
れる。このとき、まず、画素がその彩度の値から無彩色
であるか否かが判断され、無彩色であるときは、色相に
かかわらず明度及び彩度に基づいて色グループが決定さ
れる。画素が無彩色でない場合(有彩色の場合)は、色
相のみで色グループが決定される。
【0029】その後、各色グループの色相、明度および
彩度の平均値を、カウントした画素の値に基づいて求め
る(S3013)。このグループの色相、明度および彩
度の平均値で定まる色をそのグループの平均色という。
色相の平均値Ha、彩度の平均値Sa、明度の平均値La
は、その色グループに属する画素数をn、その色グルー
プに属する各画素の色相、明度及び彩度をそれぞれ、h
i、li、si(i=1,2,…,n)、画像の全画素数をNとし
て次式で求められる。 色相の平均値Ha=(h1+h2+…+hn)/N …(1) 彩度の平均値Sa=(s1+s2+…+sn)/N …(2) 明度の平均値La=(l1+l2+…+ln)/N …(3)
【0030】ここで、画素が有彩色である場合の明度、
彩度の平均値については、色グループ内でさらに細かく
分類された前述の第1から第3の明度グループ及び彩度
グループについて計算する。すなわち、画素が有彩色で
ある場合は、明度、彩度について第1から第3のグルー
プに分類し、これらのグループの中で最多数の画素を含
むグループについて明度及び彩度の平均値を計算し、そ
の値をその色グループ全体の明度及び彩度の平均値とす
る。
【0031】各色グループに対して色相、明度および彩
度の平均値を求めた後、各色グループについて、色グル
ープに属する色が画像全体に占める割合(以下、「占有
率」という。)Rを求める(S3014)。画像におけ
る色グループの占有率Rは、その色グループに属する画
素数をn、画像全体の画素数をNとして次式で求められ
る。 R=n/N …(4) 以上のようにして、画像の色特徴として、各色グループ
毎の色相、明度および彩度の平均値(平均色)並びに占
有率を計算する。
【0032】以下に、色グループにおける色相、明度お
よび彩度の平均値並びに占有率の算出の具体例を示す。
今、処理対象の画像において、グループ番号9の色グル
ープに属する画素が以下のように10個ある場合を考え
る。 (H,S,L)=(275,0.80,0.90)、
(274,0.90,0.95)、(280,0.8
7,0.74)、(281,0.44,0.43)、
(275,0.55,0.73)、(273,0.5
1,0.72)、(279,0.50,0.73)、
(280,0.80,0.74)、(274,0.8
5,0.71)、(280,0.43,0.33)
【0033】グループ番号9の色グループに属する画素
は有彩色であるため、明度および彩度について、さらに
細かく分類されたグループにおいてそれらの平均値を求
める必要がある。この場合、明度について、第1グルー
プ(0.00〜0.45の範囲)に含まれる画素は2つ
あり、第2グループ(0.45〜0.75の範囲)に含
まれる画素は3つあり、第3グループ(0.75〜1.
00の範囲)に含まれる画素は5つある。また、彩度に
ついて、第1グループに含まれる画素は2つあり、第2
グループに含まれる画素は6つあり、第3グループに含
まれる画素は2つある。
【0034】このため、明度については最多数の画素を
含む第3グループが、また、彩度については最多数の画
素を含む第2グループが平均値を求めるために選択され
る。したがって、グループ番号9の色グループの明度の
平均値を計算する場合は、第3グループに含まれる画素
の値に基づいて計算され、彩度の平均値を計算する場合
は、第2グループに含まれる画素の値に基づいて計算さ
れる。具体的には以下のようになる。 色相の平均値Ha =(275+274+280+281+275 +273+279+280+274+280)/10 =277 彩度の平均値S =(0.74+0.73+0.72+0.73+0.74 +0.71)/6 =0.728 明度の平均値L =(0.80+0.90+0.87+0.80+0.85)/5 =0.844 占有率R=10/100=0.10
【0035】このようにして求められた色グループの平
均値により表される色を「特徴色」という。したがっ
て、画像の色特徴は、複数の特徴色と、それらの特徴色
が画像に占める割合である占有率とにより特徴づけられ
る。本システムでは、特徴色と占有率とに基づく色特徴
を画像から特徴量として抽出する。
【0036】<画像特徴量比較装置における色特徴比較
検索処理>次に、色特徴比較検索処理(S4)について
図10のフローチャートを用いて説明する。ここでは、
ユーザにより画像検索が行われる場合の処理について説
明する。すなわち、検索キーとなる画像(以下、「キー
画像」という。)がユーザーによりキーボード3等を介
して画面30上で指定され、このキー画像と画像データ
ベース50中に格納された画像とが色特徴に基づいて比
較され、色特徴が類似する画像が検索結果としてディス
プレイ2等の表示部に表示される処理を説明する。
【0037】まず、ユーザーが指定したキー画像の色特
徴をデータベース50からロードする(S401)。次
に、画像間の類似度を計算する際に用いる類似度の重み
を設定する(S402)。類似度の重みについての詳細
は後述するが、この類似度の重みはユーザにより設定さ
れてもよく、また、システムにおいて事前に設定された
値を用いてもよい。
【0038】次に、比較対象(検索対象)となる画像デ
ータを格納する画像データベース50においてレコード
ポインタをトップに移動する(S403)。レコードポ
インタにより指定される比較対象画像の色特徴をデータ
ベース50からロードする(S404)。キー画像の色
特徴と比較対象画像の色特徴とに基づいて両画像の類似
度を計算する(S405)。類似度の計算の詳細につい
ては後述する。その後、計算された類似度に基づいて、
すなわち、類似度と所定のしきい値とを比較することに
より、比較対象画像とキー画像とが類似しているか否か
を判断する(S406)。ステップS406の判断にお
いて、両画像が類似していない場合はステップS409
に進み、一方、類似している場合はステップS407に
進む。
【0039】ステップS407では、画像データベース
50において、現在のレコードポインタが示す画像の画
像情報をロードする。ここで、画像情報には、画像デー
タ並びに画像データのファイル名もしくは画像データの
保管位置を示すパス名等の属性情報等が含まれる。ロー
ドした画像情報を検索結果としてディスプレイ2等の表
示部に表示し(S408)、ステップS409に進む。
検索結果の表示例として、サムネイル画像を表示する方
法、画像の名前を表示する方法、サムネイルを生成した
元画像のファイル名やパスを表示する方法、元画像の入
手先を表示する方法などのバリエーションが考えられ
る。また、本実施形態では、類似画像が検索される度毎
に結果を表示するようにしているが、検索結果をハード
ディスク6やRAM204等の記憶媒体に記憶してお
き、検索が終了した後、まとめて検索結果を表示するよ
うにしてもよい。この際、類似性があると判定した結果
の画像の数をカウントし、その数を表示する方法も考え
られる。また、類似度の高い順に表示するようにしても
よい。
【0040】ステップS409では、レコードポインタ
を1つ進める。その後、画像データベース50中に、レ
コードポインタで示される次の比較対象の画像データが
あるか否かを判定する(S410)。画像データベース
50中に新たに検索するデータがなければ処理は終了
し、データがあればステップS404に戻り、画像デー
タベース50において比較対象の画像データがなくなる
まで、上記処理を繰り返す。以上のようにして、キー画
像と類似する画像を画像の色特徴に基づいて検索するこ
とができる。
【0041】なお、本システムにおいて、ユーザにより
キー画像とともにに検索精度の度合いを示す「あいまい
度」が指定されるようにしてよい。このとき、本システ
ムは、画像の類似性の判断(ステップS406)におい
て、あいまい度に応じて類似性を判断する際のしきい値
を変化させるようにする。例えば、あいまい度が高いほ
ど類似度の判定のしきい値を低く設定し、類似度の低い
ものも類似していると判断するようにしてもよい。この
ように、あいまい度を設定し、あいまい度に応じて類似
性の判断基準を変化させることにより、検索精度を自由
に変更することが可能となる。
【0042】また、上記処理においては、キー画像およ
び比較対象画像の色特徴が事前に画像データベース50
に登録され、この登録された色特徴データを用いて比較
検索処理が行われているが、画像の色特徴が必ずしも画
像データベース50に事前に登録されている必要はな
く、比較検索処理の都度、ステップS301〜S303
に示すような方法で画像から色特徴を抽出し、この抽出
した色特徴を用いて画像の比較検索を行うようにしても
よい。
【0043】<ステップS405における類似度の計算
>以下に、上記ステップS405における類似度の計算
について図11を用いて詳細に説明する。図11に示す
ようにキー画像Kは色特徴K1、K2、K3…Knを有す
る。キー画像の各色特徴Ki(i=1,2,…n)は、色グループ
の平均色を表す色相Hki、彩度Ski及び明度Lki並びに
平均色が画像に占める割合である占有率Rkiとから特徴
づけられる。また、比較対象画像Cは色特徴C1、C2
3…Cmを有し、各色特徴Cj(j=1,2,…m)は、色グルー
プの平均色を表す色相Hcj、彩度Scj及び明度Lcj並び
に平均色が画像に占める割合である占有率Rcjとから特
徴づけられる。類似度は、キー画像Kの色特徴と比較対
象画像Cの色特徴とに基づいて計算される。すなわち、
まず、キー画像Kの色特徴Kiの1つを、比較対象画像
Cの色特徴の全部Cj(j=1,2,…m)と比較し、それぞれの
色特徴の組み合わせにおいて、色相の類似度Hi、彩度
の類似度Siおよび明度の類似度Liを計算する。
【0044】ここで、色相の類似度Hi、彩度の類似度
i及び明度の類似度Liの計算方法を説明する。色相の
類似度Hiは、色が明るく色相の類似度が高い場合、す
なわち、明度が所定値以上でその明度差が所定値より小
さい場合は、類似度がさらに高くなるように計算する。
また、色が明るく色相の類似度が負になる場合は、類似
度がさらに低くなるようにする。彩度Siの類似度は、
単純に差分を計算する。明度の類似度Liは、比較する
色の両方が暗い場合は単純に差分を計算する。このと
き、どちらか一方でも明るい場合すなわち明度が所定値
以上の場合は、それらの明度差が大きいときは負の値に
なるように計算する。
【0045】具体的には以下のようにして求める。 (1)色相の類似度Hi: i)Ki、Cjが同じ色グループの場合、Hi=1.0 …(5a) ii)Ki、Cjが異なる色グループの場合、 a.Ki、Cjの片方のみ無彩色 Lmax>0.5(Ki、Cjの少なくとも一方が明るい
色)のとき、 Hi=−0.5 …(5b) Lmax≦0.5(Ki、Cjの両方とも暗い色)のとき、 Hi=−0.25 …(5c) b.Ki、Cj両方が無彩色 Lmax>0.5のとき、Hi=−0.25 …(5d) Lmax≦0.5のとき、Hi=0.0 …(5e) c.Ki、Cjの両方が有彩色 H0=色相差/180×(2.6666×色相差/180−4.6666) +1.0 …(5f) 上式(5f)によりH0を計算した後、高い方の明度L
max、H0の値に基づいて、以下のように類似度Hiを決
定する; Lmax≦0.5のとき、H=H0 …(5g) Lmax>0.5のとき、H0>0.0なら、Hi=H0×0.75 …(5h) H0≦0.0なら、Hi=H0×1.25 …(5i) (2)彩度の類似度Si: Si=1.0−2.0×(Smax−Smin) …(6) 但し、Smax=SkiとSCjの大きい方の値 Smin=SkiとSCjの小さい方の値 (3)明度の類似度Li:Lmax>0.55(Ki、Cj
少なくとも一方が明るい色)のとき、 Li=1.0−2.0×(Lmax−Lmin) …(7a) Lmax≦0.55(Ki、Cjの両方が暗い色)のとき、 Li=1.0−(Lmax−Lmin) …(7b) 但し、Lmax=LkiとLCjの大きい方の値 Lmin=LkiとLCjの小さい方の値
【0046】以上のようにして色相、彩度および明度の
類似度が計算されると、それぞれの類似度の重みWH
S、WLを考慮し、色特徴Kiに対する類似度Diを計算
する。 Di=Hi×WH+Si×WS+Li×WL …(8)
【0047】このときの類似度の重みWH、WL、WS
設定値の一例を図12に示す。この類似度の重みの設定
は、前述の比較検索処理のステップS402で行われ
る。図に示すように重みの設定値は、キー画像と比較対
象画像が、有彩色であるか無彩色であるかにより場合分
けされている。これは、明度、彩度が低い場合は、色相
の違いはさほど重要ではなく、類似性に対して影響が少
ないという考えに基づいている。すなわち、両画像の色
グループがともに有彩色の場合は色相に重みをつけ、両
画像の色グループがともに無彩色の場合は明度及び彩度
に重みをつけ、両画像の色グループが有彩色と無彩色の
場合は彩度に重みをつけるように、各類似度の重みを設
定している。このように、比較する色に応じて、色相、
彩度および明度に対する類似度を計算する際に、それぞ
れに対して重みを加えることにより、結果として人間の
視覚判断により近い類似度が得られる。
【0048】上述の方法で、キー画像Kの特徴色の1つ
iと、比較対象画像Cの全特徴色Cj(j=1,2,…m)との
間で色特徴の類似度Diが得られると、その中で類似度
の絶対値が最大となる類似度を選択し、その値をその特
徴色Kiの類似度Di'とする。同様に、全てのキー画像
Kの色特徴Ki(i=1,2,…n)について類似度Di'を求め、
この類似度Di'と占有率Rkiとを乗算したものを求め、
全ての色特徴Kiについて合計したものをキー画像Kと
比較対象画像Cとの間の類似度Dとする。すなわち、キ
ー画像Kと比較対象画像Cとの間の類似度Dは次式で計
算される。 類似度D=D1'×Rk1+D2'×Rk2+・・・+Dn'×Rkn …(9)
【0049】以上のようにして、本システムでは、画像
から色特徴を抽出する際に、色を所定のグループに分類
し、そのグループ毎に平均色と、その平均色が画像に占
める割合とを求め、これらを画像の特徴色として抽出す
るため、画像の色に関する特徴をより正確に表した色特
徴を抽出することができる。また、このように、抽出さ
れた色特徴に基づいて、画像間の比較を行うことにより
類似性の判断において画像の比較が高い精度で行える。
【0050】なお、本実施形態においては、色特徴の要
素の1つとして色グループの平均色を用いたが、色グル
ープの平均色に限らず、色グループ毎に定義された色グ
ループを代表する色(以下、「代表色」という。)であ
れば、これを用いてもよい。例えば、色グループ内で最
も出現頻度の高い画素の色をその色グループの代表色と
し、これを用いてもよい。また、色グループ名が示す色
を上記平均色の代わりに用いてもよい。
【0051】
【発明の効果】本発明の第1の画像特徴比較装置によれ
ば、画像の色特徴を、画像に含まれる色を色グループ毎
に分類し、色グループ名または色グループの代表色と、
その色の画像に占める割合とを求めることにより抽出す
る。これにより、画像全体の色に関する特徴をより正確
に保持した色特徴を抽出することができる。
【0052】また、このような色特徴を用いて画像間の
類似性の判断を行い、類似画像の検索を行うことによ
り、より正確に類似画像の検索が行える。
【0053】また、画像間の類似度を求める際に、占有
率に基づいて平均色に対して重み付けを行い、重み付け
られた値を用いて類似度の計算を行うため、より人の視
覚判断に近い画像比較が可能となる。
【0054】また、画像間の類似度を求める際に、色要
素の間で重み付けを行い、重み付けられた値を用いて類
似度の計算を行うため、より人の視覚判断に近い画像比
較が可能となる。
【0055】また、色要素として、色相、彩度および明
度を用いることにより、より人の視覚判断に近い画像比
較が可能となる。
【0056】本発明の第2の画像特徴量比較装置によれ
ば、画像の第1の特徴量に応じて画像の第2の特徴量に
重み付けを行い、この重み付けられた値を用いて画像間
の比較を行うため、より人の視覚判断に近い画像比較が
可能となる。
【図面の簡単な説明】
【図1】 本実施形態の画像特徴量比較装置の構成の概
略を示す図。
【図2】 制御装置を中心としたブロック図。
【図3】 画像データベースの構成図。
【図4】 HSL色空間を説明した図。
【図5】 色グループ分類テーブルの具体例を示す図。
【図6】 画像特徴量比較装置のメインのフローチャー
ト。
【図7】 データ入力または設定等の画面の表示例を示
した図。
【図8】 画像特徴量比較装置における色特徴抽出処理
のフローチャート。
【図9】 色特徴の計算処理のフローチャート。
【図10】 画像特徴量比較装置における色特徴比較処
理のフローチャート。
【図11】 キー画像と比較対象画像とを色特徴により
比較している様子を説明した図。
【図12】 類似度を計算する際の色相、明度および彩
度の重みの設定値の一例を示した図。
【符号の説明】
1…制御装置、 2…ディスプレイ、 3…キーボー
ド、 4…マウス、 5a…フロッピーディスク、 5
b…フロッピーディスク装置、 6…ハードディスク、
7…プリンタ、 8…スキャナ、 9a…CD−RO
M、 9b…CD−ROM装置、 10…スピーカ、
11…マイク、 21…初期設定画面、23〜25…選
択用アイコン、 29,30…設定用画面、 50…画
像データベース、 55…色グループ分類テーブル、
201…CPU、 202…クロック、 203…RO
M、 204…RAM。

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 画像の色に関する特徴を示す色特徴に基
    づいて異なる画像間の比較を行う画像特徴量比較装置に
    おいて、 色を所定の色要素に基づき複数の色グループに分類し、
    該各色グループに属する画素を計数することにより、前
    記各色グループの画像全体に占める割合である占有率を
    算出する手段と、 色グループ名またはその色グループの代表色と、その色
    グループの占有率とに基づいて、画像間の関連度を算出
    する画像比較手段とを備えたことを特徴とする画像特徴
    量比較装置。
  2. 【請求項2】 請求項1に記載の画像特徴量比較装置に
    おいて、 検索キーとなる画像を指定する画像指定手段と、 検索対象となる画像を読み込む対象読込み手段と、 該検索キーとなる画像および前記検索対象の画像から抽
    出された色特徴に基づいて、両画像間の類似の度合いを
    示す類似度を計算する類似度計算手段と、 該類似度に基づき両画像が類似しているか否かを判断
    し、類似しているときに前記比較対象の画像を検索結果
    として出力する出力手段とを備えることを特徴とする画
    像特徴量比較装置。
  3. 【請求項3】 請求項2に記載の画像特徴量比較装置に
    おいて、 前記画像間の類似度を求める際に、前記占有率に基づい
    て前記色グループ名または前記色グループの代表色に対
    して重み付けをすることを特徴とする画像特徴量比較装
    置。
  4. 【請求項4】 請求項2に記載の画像特徴量比較装置に
    おいて、 画像間の類似度を求める際に、前記色要素のそれぞれに
    対し重み付けをすることを特徴とする画像特徴量比較装
    置。
  5. 【請求項5】 請求項1ないし請求項4のいずれか1つ
    に記載の画像特徴量比較装置において、前記色を特定す
    る色要素は、色合いを示す色相と、あざやかさを示す彩
    度と、明るさの度合いを示す明度とからなることを特徴
    とする画像特徴量比較装置。
  6. 【請求項6】 画像の第1の特徴量及び第2の特徴量に
    基づいて、2つの画像を比較する画像特徴量比較装置で
    あって、 各画像に対して、画像の第1の特徴量に応じて画像の第
    2の特徴量に重み付けを行い、該重み付けされた第2の
    特徴量どうしを比較することにより、画像間の比較を行
    う特徴量比較手段を有することを特徴とする画像特徴量
    比較装置。
  7. 【請求項7】 画像の色に関する特徴を示す色特徴に基
    づいて異なる画像間の比較を行う画像特徴量比較プログ
    ラムを記録した記録媒体において、 色を所定の色要素に基づいて複数の色グループに分類
    し、画像を構成する各画素の色を前記色グループ毎に計
    数するステップと、 各色グループの画像全体に占める割合である占有率を算
    出するステップと、 前記色グループ名または色グループの代表色と、その占
    有率とに基づいて、画像間の関連度を算出するステップ
    とを有することを特徴とする画像特徴量比較プログラム
    を記録する記録媒体。
  8. 【請求項8】 請求項7に記載の記録媒体において、前
    記画像特徴量比較プログラムは、 検索キーとなる画像を指定するステップと、 検索対象の画像を読み込むステップと、 前記検索キーとなる画像および前記検索対象の画像から
    抽出された色特徴に基づいて、両画像間の類似度を計算
    するステップと、 該類似度に基づき両画像が類似しているか否かを判断
    し、類似しているときに前記検索対象の画像を検索結果
    として出力するステップとを有することを特徴とする画
    像特徴量比較プログラムを記録した記録媒体。
  9. 【請求項9】 請求項8に記載の画像特徴量比較装置に
    おいて、 画像間の類似度を求める際に、前記占有率に基づいて前
    記色グループ名または色グループの代表色に対して重み
    付けをすることを特徴とする画像特徴量比較装置。
  10. 【請求項10】 請求項8に記載の記録媒体において、 画像間の類似度を求める際に、前記色要素のそれぞれに
    対して重み付けをすることを特徴とする画像特徴量比較
    プログラムを記録した記録媒体。
  11. 【請求項11】 請求項7ないし請求項10のいずれか
    1つに記載の記録媒体において、 前記色を特定する色要素は、色合いを示す色相と、あざ
    やかさを示す彩度と、明るさの度合いを示す明度とから
    なることを特徴とする画像特徴量比較プログラムを記録
    した記録媒体。
  12. 【請求項12】 画像の第1の特徴量及び第2の特徴量
    に基づいて、2つの画像を比較する画像特徴量比較プロ
    グラムを記録した記録媒体において、 各画像に対して、画像の第1の特徴量に応じて画像の第
    2の特徴量に重み付けを行うステップと、該重み付けさ
    れた第2の特徴量どうしを比較することにより、画像間
    の比較を行うステップとを有することを特徴とするプロ
    グラムを記録した記録媒体。
JP25228797A 1997-09-17 1997-09-17 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 Expired - Fee Related JP3747589B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP25228797A JP3747589B2 (ja) 1997-09-17 1997-09-17 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体
US09/153,851 US6519360B1 (en) 1997-09-17 1998-09-16 Image processing apparatus for comparing images based on color feature information and computer program product in a memory

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25228797A JP3747589B2 (ja) 1997-09-17 1997-09-17 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JPH1196364A true JPH1196364A (ja) 1999-04-09
JP3747589B2 JP3747589B2 (ja) 2006-02-22

Family

ID=17235164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25228797A Expired - Fee Related JP3747589B2 (ja) 1997-09-17 1997-09-17 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US6519360B1 (ja)
JP (1) JP3747589B2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2349460A (en) * 1999-04-29 2000-11-01 Mitsubishi Electric Inf Tech Representing and searching for colour images
JP2002536748A (ja) * 1999-02-05 2002-10-29 サムスン エレクトロニクス カンパニー リミテッド カラー映像処理方法及びその装置
JP2002536728A (ja) * 1999-02-01 2002-10-29 エルジー エレクトロニクス インコーポレーテッド 信頼度を利用した代表カラー指定方法
JP2003500712A (ja) * 1999-05-17 2003-01-07 サムスン エレクトロニクス カンパニー リミテッド カラー映像処理方法
JP2003503804A (ja) * 1999-07-03 2003-01-28 エルジー エレクトロニクス インコーポレーテッド ビデオ領域代表カラー設定方法とデータ構造及び信頼度抽出方法
US6778697B1 (en) 1999-02-05 2004-08-17 Samsung Electronics Co., Ltd. Color image processing method and apparatus thereof
JP2004348706A (ja) * 2003-04-30 2004-12-09 Canon Inc 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム
JP2006031584A (ja) * 2004-07-21 2006-02-02 Dainippon Screen Mfg Co Ltd 画像の領域分割
US7062083B2 (en) 2001-01-09 2006-06-13 Samsung Electronics Co., Ltd. Image retrieval method based on combination of color and texture features
JP2006318250A (ja) * 2005-05-13 2006-11-24 Brother Ind Ltd 画像編集装置
US7212667B1 (en) 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
US7417640B1 (en) 1999-01-29 2008-08-26 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
JP2009238249A (ja) * 2009-07-14 2009-10-15 Fujitsu Ltd 画像処理装置
JP2009284084A (ja) * 2008-05-20 2009-12-03 Sharp Corp 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体
WO2010013291A1 (ja) * 2008-07-31 2010-02-04 国立大学法人広島大学 画像分割装置および画像分割方法
JP2010225172A (ja) * 2003-07-04 2010-10-07 Mitsubishi Electric R&D Centre Europe Bv 画像グループの表現方法、画像グループの記述子、画像グループの探索方法、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム
JP2010250663A (ja) * 2009-04-17 2010-11-04 Nikon Corp 画像マッチング装置、およびカメラ
US8131068B2 (en) 2008-06-06 2012-03-06 Nikon Corporation Image matching device and camera
JP2012226763A (ja) * 2006-01-20 2012-11-15 Kansai Paint Co Ltd 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体
JP2018054472A (ja) * 2016-09-29 2018-04-05 ケーディーアイコンズ株式会社 情報処理装置及びプログラム

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784918B1 (en) * 1998-12-22 2004-08-31 Intel Corporation System for obtaining state information from consumer electronic devices
US7016916B1 (en) * 1999-02-01 2006-03-21 Lg Electronics Inc. Method of searching multimedia data
JP2001282846A (ja) * 2000-03-29 2001-10-12 Canon Inc 画像検索方法及び装置
JP2002049631A (ja) * 2000-08-01 2002-02-15 Sony Corp 情報提供装置および方法、並びに記録媒体
US7253919B2 (en) * 2000-11-30 2007-08-07 Ricoh Co., Ltd. Printer with embedded retrieval and publishing interface
GB0101794D0 (en) * 2001-01-24 2001-03-07 Central Research Lab Ltd Monitoring responses to visual stimuli
US6952224B2 (en) * 2001-03-30 2005-10-04 Intel Corporation Object trackability via parametric camera tuning
US7415670B2 (en) * 2001-11-19 2008-08-19 Ricoh Co., Ltd. Printer with audio/video localization
US7314994B2 (en) * 2001-11-19 2008-01-01 Ricoh Company, Ltd. Music processing printer
US7424129B2 (en) * 2001-11-19 2008-09-09 Ricoh Company, Ltd Printing system with embedded audio/video content recognition and processing
US7861169B2 (en) * 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
US7747655B2 (en) * 2001-11-19 2010-06-29 Ricoh Co. Ltd. Printable representations for time-based media
US20040181815A1 (en) * 2001-11-19 2004-09-16 Hull Jonathan J. Printer with radio or television program extraction and formating
JP2003281153A (ja) * 2002-03-27 2003-10-03 Minolta Co Ltd 情報検索システム用サーバ及び端末装置
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
US7120300B1 (en) * 2002-05-14 2006-10-10 Sasken Communication Technologies Limited Method for finding representative vectors in a class of vector spaces
US20040169656A1 (en) * 2002-11-15 2004-09-02 David Piponi Daniele Paolo Method for motion simulation of an articulated figure using animation input
US20050210019A1 (en) * 2002-11-20 2005-09-22 Fujitsu Limited Method and apparatus for retrieving image from database, and computer product
US7703002B2 (en) * 2003-03-31 2010-04-20 Ricoh Company, Ltd. Method and apparatus for composing multimedia documents
US7739583B2 (en) 2003-03-31 2010-06-15 Ricoh Company, Ltd. Multimedia document sharing method and apparatus
US7536638B2 (en) * 2003-03-31 2009-05-19 Ricoh Co., Ltd. Action stickers for identifying and processing stored documents
US7757162B2 (en) * 2003-03-31 2010-07-13 Ricoh Co. Ltd. Document collection manipulation
US7509569B2 (en) * 2003-03-31 2009-03-24 Ricoh Co., Ltd. Action stickers for nested collections
US7275159B2 (en) * 2003-08-11 2007-09-25 Ricoh Company, Ltd. Multimedia output device having embedded encryption functionality
JP2005108230A (ja) * 2003-09-25 2005-04-21 Ricoh Co Ltd オーディオ/ビデオコンテンツ認識・処理機能内蔵印刷システム
US7528976B2 (en) * 2003-09-25 2009-05-05 Ricoh Co., Ltd. Stand alone printer with hardware/software interfaces for sharing multimedia processing
US7573593B2 (en) * 2003-09-25 2009-08-11 Ricoh Company, Ltd. Printer with hardware and software interfaces for media devices
US8077341B2 (en) 2003-09-25 2011-12-13 Ricoh Co., Ltd. Printer with audio or video receiver, recorder, and real-time content-based processing logic
US7511846B2 (en) * 2003-09-25 2009-03-31 Ricoh Co., Ltd. Printer having embedded functionality for printing time-based media
US7864352B2 (en) * 2003-09-25 2011-01-04 Ricoh Co. Ltd. Printer with multimedia server
US20050068573A1 (en) * 2003-09-25 2005-03-31 Hart Peter E. Networked printing system having embedded functionality for printing time-based media
US20050071763A1 (en) * 2003-09-25 2005-03-31 Hart Peter E. Stand alone multimedia printer capable of sharing media processing tasks
US7570380B2 (en) * 2003-09-25 2009-08-04 Ricoh Company, Ltd. Printer user interface
US7528977B2 (en) * 2003-09-25 2009-05-05 Ricoh Co., Ltd. Printer with hardware and software interfaces for peripheral devices
US7508535B2 (en) * 2003-09-25 2009-03-24 Ricoh Co., Ltd. Stand alone multimedia printer with user interface for allocating processing
US7505163B2 (en) * 2003-09-25 2009-03-17 Ricoh Co., Ltd. User interface for networked printer
US20050071746A1 (en) * 2003-09-25 2005-03-31 Hart Peter E. Networked printer with hardware and software interfaces for peripheral devices
US7440126B2 (en) * 2003-09-25 2008-10-21 Ricoh Co., Ltd Printer with document-triggered processing
WO2005055138A2 (en) * 2003-11-26 2005-06-16 Yesvideo, Inc. Statical modeling of a visual image for use in determining similarity between visual images
EP1722331B1 (en) * 2004-03-03 2010-12-01 NEC Corporation Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program
US7603615B2 (en) * 2004-03-30 2009-10-13 Ricoh Co., Ltd. Multimedia projector-printer
US8274666B2 (en) * 2004-03-30 2012-09-25 Ricoh Co., Ltd. Projector/printer for displaying or printing of documents
JP2006040085A (ja) * 2004-07-29 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7620238B1 (en) 2004-12-06 2009-11-17 Zirker Daniel R Virtual reality color sampler
US7570403B2 (en) * 2005-03-16 2009-08-04 Kabushiki Kaisha Toshiba Color image processing apparatus
US7737991B2 (en) * 2005-08-09 2010-06-15 Basf Corporation Method of visualizing a color deviation
US7961938B1 (en) * 2006-06-30 2011-06-14 Adobe Systems Incorporated Finding and structuring images based on a color search
JP4818033B2 (ja) * 2006-09-14 2011-11-16 キヤノン株式会社 画像再生装置、その制御方法、プログラム
JP4966248B2 (ja) * 2008-05-01 2012-07-04 株式会社リコー 画像処理装置、画像形成装置、画像処理方法、及びコンピュータプログラム
US8374914B2 (en) * 2008-08-06 2013-02-12 Obschestvo S Ogranichennoi Otvetstvennostiu “Kuznetch” Advertising using image comparison
US8406573B2 (en) * 2008-12-22 2013-03-26 Microsoft Corporation Interactively ranking image search results using color layout relevance
US20110142335A1 (en) * 2009-12-11 2011-06-16 Bernard Ghanem Image Comparison System and Method
JP5528121B2 (ja) * 2010-01-05 2014-06-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20110191334A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Smart Interface for Color Layout Sensitive Image Search
US8634640B2 (en) 2010-10-21 2014-01-21 Hewlett-Packard Development Company, L.P. Method and apparatus for selecting a color palette
US8983181B2 (en) 2011-11-28 2015-03-17 Psiflow Technology Inc. Method and system for determining the color of an object in a photo
CN102694958B (zh) * 2012-02-10 2013-12-18 华为终端有限公司 一种确定图像色相的方法和无线手持设备
US8837867B2 (en) * 2012-12-07 2014-09-16 Realnetworks, Inc. Method and system to detect and select best photographs
CN104298982B (zh) * 2013-07-16 2019-03-08 深圳市腾讯计算机***有限公司 一种文字识别方法及装置
WO2015016860A1 (en) 2013-07-31 2015-02-05 Hewlett-Packard Development Company, L.P. Printer cartridge and memory device containing a compressed color table
US10417771B2 (en) * 2015-05-14 2019-09-17 Intel Corporation Fast MRF energy optimization for solving scene labeling problems

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60145761A (ja) * 1984-01-06 1985-08-01 Nec Corp フアクシミリ装置の原稿イメ−ジ情報表示回路
JPS60157681A (ja) 1984-01-27 1985-08-17 Hitachi Ltd 画像図形の凹凸検出方法
JPH06121161A (ja) * 1991-05-14 1994-04-28 Fuji Xerox Co Ltd カラー画像処理装置の文字処理方式
JPH0528266A (ja) 1991-07-18 1993-02-05 Nec Corp テクスチヤ解析方法及び装置
US5533628A (en) * 1992-03-06 1996-07-09 Agri Tech Incorporated Method and apparatus for sorting objects by color including stable color transformation
JPH05274372A (ja) 1992-03-25 1993-10-22 Mitsubishi Electric Corp 画像の特徴色自動付加装置
JP3545007B2 (ja) 1993-03-17 2004-07-21 新日鉄ソリューションズ株式会社 データベース検索システム
JPH06295318A (ja) 1993-04-09 1994-10-21 Omron Corp キーワード付与方法及びその装置
US5943143A (en) * 1993-06-22 1999-08-24 Canon Kabushiki Kaisha Image processing system having color adjusting features
JP3234064B2 (ja) * 1993-09-02 2001-12-04 キヤノン株式会社 画像検索方法並びにその装置
KR100324989B1 (ko) * 1993-11-08 2002-06-24 마츠시타 덴끼 산교 가부시키가이샤 입력표시일체형정보처리장치
JPH07271949A (ja) 1994-03-29 1995-10-20 Matsushita Electric Ind Co Ltd 画像編集装置及び電子ファイリング装置
JPH0816789A (ja) 1994-07-05 1996-01-19 Kajima Corp 景観の色彩判定方法
DE69428293T2 (de) * 1994-07-21 2002-06-27 Toshiba Kawasaki Kk Gerät zur bildidentifizierung
US6088130A (en) * 1994-09-27 2000-07-11 Canon Kabushiki Kaisha Image processing apparatus and method
US6246804B1 (en) * 1994-11-15 2001-06-12 Canon Kabushiki Kaisha Image retrieval method and apparatus using a compound image formed from a plurality of detected regions
JP3427554B2 (ja) * 1995-03-01 2003-07-22 オムロン株式会社 画像処理装置及び方法
JPH08329096A (ja) 1995-05-30 1996-12-13 Minolta Co Ltd 画像データ検索装置
JP3461626B2 (ja) * 1995-07-28 2003-10-27 シャープ株式会社 特定画像領域抽出方法及び特定画像領域抽出装置
JPH09163161A (ja) * 1995-12-01 1997-06-20 Brother Ind Ltd 画像処理装置
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
JP3189870B2 (ja) * 1996-12-24 2001-07-16 シャープ株式会社 画像処理装置
US6035055A (en) * 1997-11-03 2000-03-07 Hewlett-Packard Company Digital image management system in a distributed data access network system

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721447B1 (en) 1999-01-02 2004-04-13 Lg Electronics Inc. Representative color designating method using reliability
US7417640B1 (en) 1999-01-29 2008-08-26 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
US7974465B2 (en) 1999-01-29 2011-07-05 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
US7760935B2 (en) 1999-01-29 2010-07-20 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
US8005296B2 (en) 1999-01-29 2011-08-23 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
US6941010B2 (en) 1999-02-01 2005-09-06 Lg Electronics Inc. Representative color designating method using reliability
JP2002536728A (ja) * 1999-02-01 2002-10-29 エルジー エレクトロニクス インコーポレーテッド 信頼度を利用した代表カラー指定方法
US7227987B2 (en) 1999-02-01 2007-06-05 Lg Electronics Inc. Representative color designating method using reliability
JP2002536748A (ja) * 1999-02-05 2002-10-29 サムスン エレクトロニクス カンパニー リミテッド カラー映像処理方法及びその装置
US6778697B1 (en) 1999-02-05 2004-08-17 Samsung Electronics Co., Ltd. Color image processing method and apparatus thereof
JP2002543539A (ja) * 1999-04-29 2002-12-17 ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ カラー画像を表現する方法、カラー画像を探索する方法、カラー画像を表現及び探索する装置、コンピュータシステム、コンピュータプログラム並びにコンピュータ読取り可能媒体
GB2349460A (en) * 1999-04-29 2000-11-01 Mitsubishi Electric Inf Tech Representing and searching for colour images
US7015931B1 (en) 1999-04-29 2006-03-21 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for representing and searching for color images
JP2010262673A (ja) * 1999-04-29 2010-11-18 Mitsubishi Electric R&D Centre Europe Bv カラー画像を表現する方法、カラー画像を表現する装置、制御装置、画像を表現するシステム、機械読取り可能媒体、コンピュータシステム、コンピュータプログラム、及びコンピュータ読取り可能媒体
JP2011146078A (ja) * 1999-04-29 2011-07-28 Mitsubishi Electric R&D Centre Europe Bv カラー画像を表現する方法、カラー画像を表現する装置、制御装置、画像を表現するシステム、機械読取り可能媒体、コンピュータシステム、コンピュータプログラム、及びコンピュータ読取り可能媒体
US7636094B2 (en) 1999-04-29 2009-12-22 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for representing and searching for colour images
GB2349460B (en) * 1999-04-29 2002-11-27 Mitsubishi Electric Inf Tech Method of representing colour images
JP2003500712A (ja) * 1999-05-17 2003-01-07 サムスン エレクトロニクス カンパニー リミテッド カラー映像処理方法
US7212667B1 (en) 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
US7453467B2 (en) 1999-07-03 2008-11-18 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
JP2003503804A (ja) * 1999-07-03 2003-01-28 エルジー エレクトロニクス インコーポレーテッド ビデオ領域代表カラー設定方法とデータ構造及び信頼度抽出方法
US7062083B2 (en) 2001-01-09 2006-06-13 Samsung Electronics Co., Ltd. Image retrieval method based on combination of color and texture features
JP2004348706A (ja) * 2003-04-30 2004-12-09 Canon Inc 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム
US7593961B2 (en) 2003-04-30 2009-09-22 Canon Kabushiki Kaisha Information processing apparatus for retrieving image data similar to an entered image
JP2010225172A (ja) * 2003-07-04 2010-10-07 Mitsubishi Electric R&D Centre Europe Bv 画像グループの表現方法、画像グループの記述子、画像グループの探索方法、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム
JP2006031584A (ja) * 2004-07-21 2006-02-02 Dainippon Screen Mfg Co Ltd 画像の領域分割
JP4539964B2 (ja) * 2004-07-21 2010-09-08 大日本スクリーン製造株式会社 画像の領域分割
US7808686B2 (en) 2005-05-13 2010-10-05 Brother Kogyo Kabushiki Kaisha Picture editor
JP4561465B2 (ja) * 2005-05-13 2010-10-13 ブラザー工業株式会社 画像編集装置
JP2006318250A (ja) * 2005-05-13 2006-11-24 Brother Ind Ltd 画像編集装置
JP2012226763A (ja) * 2006-01-20 2012-11-15 Kansai Paint Co Ltd 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体
JP2009284084A (ja) * 2008-05-20 2009-12-03 Sharp Corp 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体
US8131068B2 (en) 2008-06-06 2012-03-06 Nikon Corporation Image matching device and camera
US7853075B2 (en) 2008-07-31 2010-12-14 Hiroshima University Image segmentation apparatus and image segmentation method
WO2010013291A1 (ja) * 2008-07-31 2010-02-04 国立大学法人広島大学 画像分割装置および画像分割方法
JP2010250663A (ja) * 2009-04-17 2010-11-04 Nikon Corp 画像マッチング装置、およびカメラ
JP2009238249A (ja) * 2009-07-14 2009-10-15 Fujitsu Ltd 画像処理装置
JP2018054472A (ja) * 2016-09-29 2018-04-05 ケーディーアイコンズ株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
JP3747589B2 (ja) 2006-02-22
US6519360B1 (en) 2003-02-11

Similar Documents

Publication Publication Date Title
JP3747589B2 (ja) 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体
US7392233B2 (en) Image searching system, image searching method, and a recording medium storing an image searching program
JP2776295B2 (ja) 画像インデックス生成方法及び画像インデックス生成装置
US20070036371A1 (en) Method and apparatus for indexing and searching graphic elements
JP4340367B2 (ja) 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8094935B2 (en) Representative color extracting method and apparatus based on human color sense and data histogram distributions
US20040024758A1 (en) Image classification method, image feature space displaying method, program, and recording medium
JPWO2009072466A1 (ja) 画像分類装置および画像分類プログラム
JPH10154149A (ja) 類似オブジェクト検索方法および装置
US20080244384A1 (en) Image retrieval apparatus, method for retrieving image, and control program for image retrieval apparatus
JP6387026B2 (ja) 書籍探索装置、方法及びプログラム
JP2011039944A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP3718967B2 (ja) 画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体
JP4348956B2 (ja) 画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラム
JP2004192555A (ja) 情報管理方法、情報管理装置及び情報管理プログラム
JP2000048181A (ja) 画像比較装置、画像比較方法及び記録媒体
JPH10143670A (ja) 画像処理装置及び記録媒体
JPH11238077A (ja) 画像検索装置及び方法並びに画像検索プログラムを記録する記録媒体
JP4164907B2 (ja) カラー画像の領域統合方法およびプログラム記憶媒体
JP3199009B2 (ja) 画像蓄積・管理装置及び画像インデックス生成方法
JPH10340272A (ja) 類似画像検索装置及び方法
JP4207256B2 (ja) カラー画像の領域分割方法およびプログラム記憶媒体
JPH05108728A (ja) 画像のフアイリングならびに検索方法
JP2017027489A (ja) 情報処理装置及びプログラム
JP3671691B2 (ja) 類似画像検索装置、類似画像検索方法及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050707

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050707

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081209

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121209

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131209

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees