JP2001160062A - 画像データ検索装置 - Google Patents

画像データ検索装置

Info

Publication number
JP2001160062A
JP2001160062A JP34465099A JP34465099A JP2001160062A JP 2001160062 A JP2001160062 A JP 2001160062A JP 34465099 A JP34465099 A JP 34465099A JP 34465099 A JP34465099 A JP 34465099A JP 2001160062 A JP2001160062 A JP 2001160062A
Authority
JP
Japan
Prior art keywords
image
search
data
encoded data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP34465099A
Other languages
English (en)
Inventor
Toshiyuki Takahashi
利至 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP34465099A priority Critical patent/JP2001160062A/ja
Publication of JP2001160062A publication Critical patent/JP2001160062A/ja
Abandoned legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

(57)【要約】 【課題】 検索時間・画像伝送時間の高速化、および検
索の高精度化を実現することができる画像データ検索装
置を得る。 【解決手段】 画像を符号化する画像符号化手段１０
３、符号化データを蓄積する画像蓄積手段１０６、画像
中の対象物の領域を指定する対象物領域選択手段１０
４、画像の属性情報を符号化データと関連付ける属性入
力手段１０５、キーワードの入力および候補画像の選択
をする検索操作手段１０８、属性情報と入力されたキー
ワードとマッチングし、キーワードに関連する符号化デ
ータの検索を行うキーワード検索手段１０７、候補画像
として表示すべき符号化データを抽出するデータ抽出手
段１１２、抽出された候補画像の符号化データを復号す
る画像復号手段１０９、復号された候補画像の対象物の
領域を切り出す対象物領域抽出手段１１０、候補画像を
表示する画像表示手段１１１を備えている。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、データベースに蓄
積されている静止画像データを検索するシステムに係わ
り、特に画像を効率的に蓄積し、検索・伝送処理を高速
かつ高精度に行うことができ、さらに検索時間を事前に
通知することで効率的な検索作業を実現できる画像デー
タ検索装置に関するものである。
【０００２】
【従来の技術】図１７は従来の画像データ検索装置を示
すブロック図である。一般に画像データを検索するシス
テムは、図１７に示すように画像をデータベースとして
格納するデータベースシステムとそのデータベースを検
索するためのユーザインターフェースである検索制御シ
ステムに分けて考えることができ、両者はネットワーク
を介して接続される場合もあれば、同一の処理系に含ま
れる場合も考えられる。
【０００３】まず、データベースシステムは、スキャナ
やディジタルカメラ等で画像を撮影し電子的に扱えるデ
ィジタルデータとして画像を入力する画像入力部１０
１、画像蓄積時にそのデータ量を少しでも少なくするた
めに画像データを圧縮する画像符号化部１０３、検索用
の縮小画像を生成する縮小画像生成部１７０１、画像の
特徴や属性等をキーボード等から入力して画像と関連付
ける属性入力部１０５、画像をデータベースとして蓄積
する画像蓄積部１０６、画像に関連付けられている属性
情報等によりキーワード検索を行うキーワード検索部１
０７により構成される。
【０００４】一方、検索制御システムは、検索キーワー
ドを入力する等の検索に関する操作をユーザが行う検索
操作部１０８、圧縮されている画像データを伸張する画
像復号部１０９、検索された画像を表示する画像表示部
１１１により構成される。
【０００５】動作について説明する。まず、スキャナや
ディジタルカメラにより入力されたディジタル画像デー
タは画像符号化部１０３でＪＰＥＧ（Joint Photograph
ic Expert Group）等の符号化方式により圧縮され、符
号化データとして画像蓄積部１０６に蓄積される。一方
で、検索結果である候補画像の伝送の高速化のために縮
小画像を縮小画像生成部１７０１で作成し、同縮小画像
も符号化して画像蓄積部１０６に格納しておく。
【０００６】属性入力部１０５では、ディジタル画像が
取り込まれた日時を自動的に登録するとともに、キーボ
ード等からその画像に撮影されている対象物の特徴、属
性等を入力・登録し、符号化データとの関連付けを行
う。
【０００７】検索制御システムでは、例えば撮影日時
や、人（人名）、木、車等の検索したい画像のキーワー
ドを入力する。入力されたキーワードは、データベース
システム内のキーワード検索部１０７でキーワード検索
が行われ、マッチングした画像の縮小画像の符号化デー
タを検索制御システムに伝送する。
【０００８】検索制御システムでは、伝送されてきた候
補画像の符号化データを復号・表示し、その候補画像か
らユーザは目視による二次検索により絞り込みを行い、
再度所望の画像全体を送るよう検索操作部１０８を介し
てデータベースシステムに要求する。以上のような構成
の検索システムは、例えば特開平７−５６９４２号公報
にその技術が開示されている。
【０００９】また、キーワードによる検索ではなく、例
えば特開平１０−３４０２７２号公報に示されているよ
うに指定された検索対象領域における色情報の特徴を抽
出し、あるテンプレート画像との類似画像を画像処理に
より自動的に検索する方法もある。図１８にそのブロッ
ク構成図を示している。ユーザインタフェース部１８０
１では、画像表示部１１１に表示されている画像に対し
てマウス等を用いて検索対象領域を指定するとともに、
さらに複数の検索指定領域に対して「ＡＮＤ」や「Ｏ
Ｒ」処理による検索条件式を設定する。画像検索部１８
０２ではｎ×ｎのブロック内での代表的な色情報を抽出
し、検索条件に従ってテンプレート画像とのマッチング
をとり類似画像を検索するものである。
【００１０】
【発明が解決しようとする課題】先に説明した特開平７
−５６９４２号公報に示すように各蓄積画像に関連付け
られている属性情報に対してキーワード検索を行い、そ
の検索結果である候補画像をネットワークを介して画像
表示部１１１に表示する系を考えてみた場合、通常検索
対象とする画像は何らかの対象物（オブジェクト）を撮
影しており、背景領域と対象物の二つの領域に分けて考
えることができる。
【００１１】画像を検索するということはこの対象物を
検索することに他ならないが、この処理系では検索結果
となる候補画像を画像表示部１１１に送る際にその縮小
画像を送ることになるため、背景領域という二次検索に
不要な画像情報も伝送していることになり、伝送時間に
無駄があるという問題があった。
【００１２】また、検索用の縮小画像を個別に作成して
いるため、時間的に効率的な保存、伝送ができないとい
う課題があるとともに、蓄積容量的にも効率的な保存が
できないという問題があった。
【００１３】また、ネットワークで接続されている検索
制御システムから検索の操作を行うユーザは検索結果で
ある候補画像の伝送がいつ終了するか分からないため、
それが終わるまで席を立つことができなく作業効率が非
常に悪くなるという問題もあった。
【００１４】また、特開平１０−３４０２７２号公報に
示されているように、画像検索部１８０２で色を鍵とし
て画像処理により自動的にテンプレート画像との類似画
像を検索し、その検索結果の画像を画像表示部１１１に
表示する系を考えてみた場合、画像蓄積部１０６に必要
な画像符号化部に関する記載がないため、画像を蓄積す
る際に効率的な保存ができないという課題があった。
【００１５】また、仮に符号化・復号部を設けるか、ま
たは符号化されたデータが入力されることを前提にして
いた場合でも、画像全体を復号した後にオブジェクト領
域を切り出して検索を行うことになるため、その復号処
理時間によるオーバーヘッドは無視できないものとな
り、検索時間が長くなるという課題があった。
【００１６】また、特開平７−５６９４２号公報のよう
に縮小画像を個別に作成しておき、その縮小画像をベー
スに符号化・検索を行うことも考えられるが、先に説明
したように縮小画像を作成するというオーバーヘッドが
生じるため、蓄積容量的にも時間的にも効率的な保存・
伝送ができないという課題があった。
【００１７】特に符号化・復号処理を含めた系を考えた
場合、画像表示部１１１を介してユーザインターフェー
スから検索操作を行うユーザは、検索がいつ終了し、そ
の結果がいつ表示されるか分からないため、それが終わ
るまで席を立つことができなく作業効率が非常に悪くな
るという問題もあった。
【００１８】この発明は、上述のような課題を解決する
ためになされたもので、検索時間・画像伝送時間の高速
化、および検索の高精度化を実現することができる画像
データ検索装置を得ることを目的とする。
【００１９】
【課題を解決するための手段】この発明の画像データ検
索装置は、 （１）画像を符号化する画像符号化手段 （２）符号化された符号化データを蓄積する画像蓄積手
段 （３）画像中の対象物の領域を指定する対象物領域選択
手段 （４）画像の属性情報を入力し符号化データと関連付け
る属性入力手段 （５）キーワードの入力および候補画像の選択をする検
索操作手段 （６）属性情報と入力されたキーワードとマッチング
し、キーワードに関連付けられている符号化データの検
索を行うキーワード検索手段 （７）画像蓄積手段に蓄積されている符号化データから
候補画像として表示すべき符号化データを抽出するデー
タ抽出手段 （８）抽出された候補画像の符号化データを復号する画
像復号手段 （９）復号された候補画像の対象物の領域を切り出す対
象物領域抽出手段 （１０）候補画像を表示し、また選択された画像を表示
する画像表示手段 を備えている。
【００２０】また、 （１１）候補画像を抽出する抽出時間を設定する時間設
定手段 （１２）抽出時間に基づいて、データ抽出手段が符号化
データを抽出する時間を管理する時間管理手段 をさらに備えている。
【００２１】また、この発明の他の画像データ検索装置
は、 （１）画像を符号化する画像符号化手段 （２）符号化された符号化データを蓄積する画像蓄積手
段 （３）画像中の対象物の領域を指定する対象物領域選択
手段 （４）画像蓄積手段に蓄積されている符号化データから
候補画像として表示すべき符号化データを抽出するデー
タ抽出手段 （５）候補画像の符号化データを復号する第１の画像復
号手段 （６）復号された候補画像の対象物の領域を切り出す第
１の対象物領域抽出手段（７）候補画像を表示し、また
選択された画像を表示する画像表示手段 （８）類似画像検索の基となるテンプレート画像の選択
および候補画像の選択をする検索操作手段 （９）画像検索のために画像蓄積手段に蓄積されている
符号化データを一時的に伸張する第２の画像復号手段 （１０）画像検索のために復号された画像の対象物の領
域を切り出す第２の対象物領域抽出手段 （１１）検索操作手段で指定されたテンプレート画像と
類似する画像を検索する画像検索手段 を備えている。
【００２２】また、 （１２）画像検索手段における検索時間と第２の画像復
号手段の復号時間の和である１画像当たりの検索総和時
間を設定する時間設定手段 （１３）検索総和時間に基づいて、データ抽出手段が符
号化データを抽出する時間を管理する時間管理手段 をさらに備えている。
【００２３】また、この発明の他の画像データ検索装置
は、 （１）画像を符号化する画像符号化手段 （２）符号化された符号化データを蓄積する画像蓄積手
段 （３）画像中の対象物の領域を指定する対象物領域選択
手段 （４）画像の属性情報を入力し符号化データと関連付け
る属性入力手段 （５）キーワードの入力および類似画像検索の基となる
テンプレート画像の選択および候補画像の選択をする検
索操作手段 （６）属性情報と入力されたキーワードとマッチング
し、キーワードに関連付けられている符号化データの検
索を行うキーワード検索手段 （７）画像蓄積手段に蓄積されている符号化データから
候補画像として表示すべき符号化データを抽出するデー
タ抽出手段 （８）候補画像の符号化データを復号する第１の画像復
号手段 （９）復号された候補画像の対象物の領域を切り出す第
１の対象物領域抽出手段（１０）候補画像を表示し、ま
た選択された画像を表示する画像表示手段 （１１）画像検索のために画像蓄積手段に蓄積されてい
る符号化データを一時的に伸張する第２の画像復号手段 （１２）画像検索のために復号された画像の対象物の領
域を切り出す第２の対象物領域抽出手段 （１３）検索操作手段で指定されたテンプレート画像と
類似する画像を検索する画像検索手段 を備えている。
【００２４】また、 （１４）画像検索手段における検索時間と第２の画像復
号手段の復号時間の和である１画像当たりの検索総和時
間を設定する時間設定手段 （１５）検索総和時間に基づいて、データ抽出手段が符
号化データを抽出する時間を管理する時間管理手段 をさらに備えている。
【００２５】また、画像符号化手段は、 （１）符号化データに対してウェーブレット変換を施す
ウェーブレット変換手段 （２）ウェーブレット変換係数の値を離散化する量子化
手段 （３）対象物の領域に付与する優先度を設定する対象物
領域優先度設定手段 （４）対象物の領域に対応するウェーブレット変換係数
を特定する対象物領域マスクを生成する対象物領域マス
ク生成手段 （５）正気対象物領域マスクで示されるウェーブレット
変換係数の量子化値を、正気対象物領域優先度設定手段
により設定された優先度分だけスケールアップする対象
物領域スケールアップ手段 （６）量子化されたウェーブレット変換係数をグループ
化して符号化処理単位とする符号化処理単位構成手段 （７）各符号化処理単位を構成するウェーブレット変換
係数をビットプレーンごとに符号化しエントロピー符号
化データを生成するエントロピー符号化手段 （８）エントロピー符号化データに対して各画像の符号
化に用いられたパラメータを付加する符号化ストリーム
生成手段 を備えている。
【００２６】また、データ抽出手段は、画像表示手段に
おいて候補画像として表示すべき最低解像度画像を含む
符号化処理単位または対象物領域を含む符号化処理単位
を、画像蓄積手段に蓄積されている符号化ビットストリ
ームから抽出する。
【００２７】また、画像検索手段は、 （１）画像の色差データのヒストグラムを検出するヒス
トグラム検出手段 （２）検出されたヒストグラムから発生頻度の高い色成
分を検出するピーク値検出手段 （３）検索対象画像に多く含まれる色成分がテンプレー
ト画像に多く含まれる色成分に近い色成分であるか否か
を検出する類似色検出手段 （４）類似色検出手段の出力をカウントし検索対象画像
に多く含まれる色成分とテンプレート画像に多く含まれ
る色成分との類似色数を計測する類似色カウント手段 （５）類似色カウント手段の出力である類似色数を閾値
処理することで類似画像であるか否かを判定する類似画
像検出手段を備えている。
【００２８】
【発明の実施の形態】実施の形態１．図１は本発明の画
像データ検索装置を示すブロック図である。図１におい
て、１０１はディジタルカメラやスキャナなどによりデ
ィジタル画像として画像を取り込む画像入力部、１０２
はディジタル化した画像をディスプレイ等に表示する第
１の画像表示部、１０３はディジタル画像を圧縮しデー
タ量を削減する画像符号化部（画像符号化手段）、１０
４は背景領域上にある対象物の領域を指定する対象物領
域選択部であるＲＯＩ（Region of Interest）選択部
（対象物領域選択手段）である。
【００２９】また、１０５はキーボード等の入力装置か
ら画像の特徴や属性を入力する属性入力部（属性入力手
段）、１０６は画像符号化部で符号化された画像データ
をハードディスクや光ディスク等といった記憶媒体に格
納する画像蓄積部（画像蓄積手段）、１０７はキーワー
ドにより所望の画像を検索するキーワード検索部（キー
ワード検索手段）、１１２は画像蓄積部１０６に蓄積さ
れている符号化ストリームにおいてどの符号化処理単位
を伝送するかを制御する伝送制御部（システムが一つの
系で実現される場合においては、画像蓄積部１０６に蓄
積されている符号化データから候補画像として表示すべ
き符号化データを抽出するデータ抽出手段に相当）であ
る。１０１から１０７までと１１２は画像の蓄積・検索
を主な作業とするデータベースシステムを構成してい
る。
【００３０】一方、１０８は検索キーワードを入力した
り表示された候補画像から所望の画像を選択するといっ
た画像検索に関する操作をユーザが行う検索操作部（検
索操作手段）、１０９は伝送されてくる符号化画像デー
タを伸張する画像復号部（画像復号手段）、１１０は符
号化画像データのヘッダ等に含まれる画像情報からＲＯ
Ｉパラメータを抽出しＲＯＩ領域の切り出しを行う対象
物領域抽出部であるＲＯＩ抽出部（対象物領域抽出手
段）、１１１は伸張された画像をディスプレイ等に表示
する第２の画像表示部（画像表示手段）である。１０８
から１１１はユーザインタフェースから画像表示までを
担う検索制御システムを構成している。データベースシ
ステムと検索制御システムとは、同一の系で実現される
場合もあるが、本実施の形態ではネットワークを介して
接続されているものとする。同一の系で実現される場合
においては、画像蓄積部１０６に蓄積されている符号化
ストリームにおいてどの符号化処理単位を伝送するかを
制御する伝送制御部１１２は、画像蓄積部１０６に蓄積
されている符号化データから候補画像として表示すべき
符号化データを抽出するデータ抽出手段に相当する。
【００３１】次に動作について詳しく説明する。まず、
画像入力部１０１ではディジタルカメラで撮影する、カ
タログ等の文書をスキャナ等で読み取る、等といった画
像入力操作によりディジタル画像を生成し、その画像は
いったん第１の画像表示部１０２に表示される。
【００３２】ここで、現在表示されている画像に対し
て、ＲＯＩ選択部１０４では背景領域上にある対象物
（オブジェクト）の領域をマウス等のポインティングデ
バイスを用いて指定する。以後、このオブジェクトを指
定した注目領域をＲＯＩ領域と称することとする。
【００３３】さらに、属性入力部１０５では撮影日時を
自動的に記録するとともにキーボード等の入力装置を利
用して、例えば木や人、車等といった当該画像に関する
特徴をテキストで入力することができる。これら撮影日
時、ＲＯＩ領域、属性等は当該画像の付加情報として登
録され画像と関連付けられる。
【００３４】一方、画像符号化部１０３では図２に示す
構成で符号化が行われる。図２において、２０１はデジ
タル画像をウェーブレット変換して、そのウェーブレッ
ト変換係数を各サブバンドごとに出力するウェーブレッ
ト変換部、２０２はウェーブレット変換係数をしきい値
のセットと比較し量子化する量子化部（量子化手段）、
２０３はウェーブレット変換係数のうち選択されたＲＯ
Ｉ領域に対応する部分（ＲＯＩ変換係数）を特定するＲ
ＯＩマスクを作成するＲＯＩマスク生成部（対象物領域
マスク生成手段）、２０４は選択されたＲＯＩ領域に付
与する優先度Ｓを設定するＲＯＩ優先度設定部（対象物
領域優先度設定手段）、２０５は量子化されたウェーブ
レット変換係数のうちＲＯＩマスクで示されるＲＯＩ変
換係数の絶対値を、ＲＯＩ優先度設定部２０４で設定さ
れた優先度値Ｓ分だけスケールアップするＲＯＩスケー
ルアップ部（対象物領域スケールアップ手段）である。
【００３５】また、２０６は量子化されたウェーブレッ
ト変換係数を後段のエントロピー符号化部でエントロピ
ー符号化処理する単位ごとにまとめる符号化処理単位構
成部（符号化処理単位構成手段）、２０７は各符号化処
理単位を構成する量子化済みのウェーブレット変換係数
をビットプレーンごとに符号化するエントロピー符号化
部（エントロピー符号化手段）、２０８は画像サイズ、
サブバンド分割レベル数、フィルタ、ＲＯＩ領域などの
符号化パラメータとともに、各符号化処理単位より生成
された各ビットプレーンのエントロピー符号化データを
結合し１つの符号化ビットストリームを生成する符号化
ストリーム生成部（符号化ストリーム生成手段）であ
る。
【００３６】次に動作について説明する。第１の画像表
示部１０２で表示された画像はウェーブレット変換部２
０１に入力されるとＬ段階のウェーブレット変換を施し
て、そのウェーブレット変換係数を出力する。ウェーブ
レット変換部２０１は、入力されてくるデジタル画像に
対して例えば、図３（ｂ）に示すように、１段階目で
は、デジタル画像をＬＬ1（縦方向低周波成分、横方向
低周波成分）、ＨＬ1（縦方向低周波成分、横方向高周
波成分）、ＬＨ1（縦方向高周波成分、横方向低周波成
分）、ＨＨ1（縦方向高周波成分、横方向高周波成分）
にサブバンド分割してウェーブレット変換する。２段階
目では、１段階目での最低周波数成分ＬＬ1に対して１
段階目と同様なサブバンド分割を施すことでデジタル画
像をＬＬ2、ＬＨ2、ＨＬ2、ＨＨ2、ＬＨ1、ＨＬ1、ＨＨ
1にサブバンド分割してウェーブレット変換する（図３
（ｃ））。３段階目以降も、２段階目と同様に最低周波
数成分ＬＬ2に順次サブバンド分割を施すことでデジタ
ル画像をウェーブレット変換し、Ｌ段階のウェーブレッ
ト変換が完了するまで繰り返し実行する。
【００３７】量子化部２０２は、ウェーブレット変換部
２０１がウェーブレット変換係数を出力すると、そのウ
ェーブレット変換係数を有限個のしきい値と比較して量
子化し、量子化されたウェーブレット変換係数の値を出
力する。ウェーブレット変換係数の値が整数値として得
られている場合については、明示的な量子化処理を省略
し、各変換係数値をそのまま量子化結果として出力す
る。
【００３８】ＲＯＩ優先度設定部２０４は、ＲＯＩ領域
の画質を他領域に比べてどの程度高く保持して符号化す
るかを指定する優先度値Ｓを設定し、設定された値Ｓは
ＲＯＩマスクで指定されるＲＯＩ変換係数のスケールア
ップ処理を行うＲＯＩスケールアップ部２０５、およ
び、符号化データのヘッダ情報に加えるために符号化ス
トリーム生成部２０８へ送出される。
【００３９】ＲＯＩマスク生成部２０３では、ウェーブ
レット変換領域でのＲＯＩ領域を特定する作業を行う。
最初に原画像領域に対してＲＯＩ選択部１０４でＲＯＩ
領域を指定すると、その情報がＲＯＩマスク生成部２０
３に入力される。以降の処理は図４を例として説明す
る。図４（ｂ）、（ｃ）に示すように１レベルウェーブ
レット変換されたサブバンドであるＬＬ1，ＬＨ1，ＨＬ
1，ＨＨ1に対し、原画像領域のＲＯＩ領域に対応するウ
ェーブレット変換係数を特定する。続いて、図４（ｂ）
のＬＬ1バンド内のＲＯＩ領域を画像領域でのＲＯＩ領
域と見なして、同領域を再生するために必要な変換係数
を次の分割レベルであるサブバンドＬＬ2，ＬＨ2，ＨＬ
2，ＨＨ2内で特定する。同様な処理を符号化時に設定さ
れた分割レベル数Ｌに達するまで繰り返し適用した結果
が、注目領域を完全再構成するのに必要不可欠なウェー
ブレット変換係数を指し示す情報となる。これが図４
（ａ）に示すＲＯＩマスクとなる。
【００４０】実際に、符号化側で各サブバンドにおける
ＲＯＩ領域を特定するには、単純にダウンサンプリング
（間引き処理）だけを考慮して特定しても良いが、より
正確に行うには、ウェーブレット変換の関係式を辿って
その領域を特定しなければならない。具体的にはダウン
サンプリングに加えウェーブレットフィルタのフィルタ
範囲（フィルタ長）を考慮して各サブバンドでのＲＯＩ
領域を導出する。
【００４１】ＲＯＩ領域の形状が複雑な場合は、ウェー
ブレット変換係数の個数と同数の少なくとも１画素１ビ
ットのメモリ上にＲＯＩ変換係数であるか否かを示すマ
ップを保持する必要がある。注目領域の形状が長方形な
どの多角形の場合、多角形の頂点に対応する変換係数の
うち最も外側にある変換係数の位置を保持することで、
ＲＯＩ変換係数の判定結果を保持してもよい。
【００４２】ＲＯＩスケールアップ部２０５は、量子化
部２０２がウェーブレット変換係数を量子化すると、Ｒ
ＯＩマスクを参照して、ＲＯＩ変換係数を優先度値Ｓ分
だけスケールアップする。すなわち、ＲＯＩ変換係数の
絶対値をＳビットだけ左シフトすることにより、ＲＯＩ
変換係数をスケールアップする。スケールアップされた
ＲＯＩ変換係数を含むウェーブレット変換係数は、エン
トロピー符号化部２０７へ送出され、各符号化処理単位
ごとに最上位ビットプレーンから下位ビットプレーンに
向かってビットプレーンごとにエントロピー符号化が施
される。これらの動きを図５に示す。
【００４３】すなわち、網掛けした部分がＲＯＩ領域の
ウェーブレット変換係数でＳビットだけ他の領域に比べ
ＭＳＢ（Most Significant Bit）側にスケールアップさ
れている。また、スケールアップにより生じた空白部分
についてはウェーブレット係数として０を挿入してお
く。次にＭＳＢから順にビットプレーン符号化すること
によりＲＯＩ領域の画像が他の領域に比べ早く伝送さ
れ、復号側ではＲＯＩ領域の画像を他の領域よりも早期
に伝送、または高品質に表示することができる。
【００４４】符号化処理単位構成部２０６は、ＲＯＩス
ケールアップ部より出力されたウェーブレット変換係数
を、後段のエントロピー符号化部２０７でエントロピー
符号化処理する単位ごとにまとめる。各符号化処理単位
は、全てのサブバンドを構成するウェーブレット変換係
数、各サブバンドを構成するウェーブレット変換係数、
あるいは、各サブバンドを小ブロックに分割した各小ブ
ロックを構成するウェーブレット変換係数のいずれを選
んでも良い。なお、エントロピー符号化処理する単位と
して各サブバンドを小ブロックに分割したウェーブレッ
ト変換係数を選択すれば、符号化ビットストリームの区
切りをより細かく制御することが可能になる。
【００４５】エントロピー符号化部２０７は、各符号化
処理単位内の量子化済みウェーブレット変換係数の値
を、最上位ビットプレーンから下位ビットプレーンに向
かって順次ビットプレーンごとにエントロピー符号化処
理を行う。各ウェーブレット変換係数の符号ビット（si
gnビット）の符号化については、各ウェーブレット変換
係数のビットプレーン符号化で最初に有効ビットが符号
化された後で、同変換係数の１つ下位のビットプレーン
が符号化される前に行われる。
【００４６】符号化ストリーム生成部２０８は、画像サ
イズ、サブバンド分割レベル数、フィルタ、ＲＯＩパラ
メータなどの符号化パラメータとともに、各符号化処理
単位より生成された各ビットプレーンのエントロピー符
号化データを、どのプレーンの符号化データがどの並び
に埋め込まれているかを特定できるように結合して１つ
の符号化ビットストリームを生成する。各ビットプレー
ンの符号化データを結合する順序としては、符号化再生
画像の Mean Square Error（ＭＳＥ）を低減する意味で
の重要度の高い順に並べる、もしくは、低解像度を担う
符号化処理単位のビットプレーンの符号化データほど早
い順序で、かつ、各符号化処理単位内での並びは上位ビ
ットプレーンほど早い順序でならべるなどがあげられ
る。これらの結合順序において、解像度単位でビットプ
レーン符号化データを結合させる場合を解像度プログレ
ッシブ、ビットプレーン単位で低解像度から順に結合さ
せる場合をＳＮＲ（Signal to Noise Ratio）プログレ
ッシブと呼ぶこととする。
【００４７】図１にもどって、画像符号化部１０３より
出力される符号化データは画像蓄積部１０６に格納さ
れ、属性入力部１０５で入力した情報と関係づけられ
る。以上がデータベースシステムにおける蓄積作業の説
明になる。
【００４８】次に検索作業について説明する。ネットワ
ークを介してデータベースシステムと接続されている検
索制御システムにおいて、まず検索操作部１０８では、
撮影日時や検索対象物に関するキーワードを入力する。
入力されたキーワードはネットワークを介してデータベ
ースシステムのキーワード検索部１０７に入力される。
ここで、各画像に関連付けられている属性情報とのマッ
チングがとられ検索が行われる。
【００４９】伝送制御部１１２では検索結果となる候補
画像の符号化ビットストリームにおいて符号化処理単位
の伝送制御（または取捨選択）を行い、その符号化ビッ
トストリームは、ネットワークを介して検索制御システ
ムに伝送される。
【００５０】受信した符号化データは、画像復号部１０
９で伸張されディスプレイ等の第２の画像表示部１１１
に表示される。この時、検索結果となる候補画像を表示
する場合はＲＯＩ抽出部１１０で、符号化ストリームの
ヘッダ情報等からＲＯＩ領域を抽出し、そのＲＯＩ領域
を切り出して第２の画像表示部１１１に表示する。
【００５１】これは、ＲＯＩスケールアップ時にＲＯＩ
領域以外にウェーブレット変換係数０を挿入して符号化
しているために、実際にはＲＯＩ領域よりも大きなサイ
ズの画像が送られてくるためである。
【００５２】ユーザは伝送されたいくつかの候補画像の
中から所望の画像を検索操作部１０８を介して選択し、
その情報（画像番号）はデータベースシステムに通知さ
れる。データベースシステムでは通知された画像番号の
残りの符号化データを伝送制御部１１２を介して検索制
御システムに伝送し、画像復号部１０９で伸張した後、
第２の画像表示部１１１で画像全体を表示することにな
る。
【００５３】画像復号部１０９では図６に示す構成で復
号処理される。図６において、６０１は伝送されてくる
符号化データより符号化パラメータと各符号化処理単位
のエントロピー符号化データをそれぞれ抽出する符号化
データ分離部、６０２は抽出されたエントロピー符号化
データを各符号化処理単位ごとにビットプレーン単位で
エントロピー復号し、符号化処理単位ごとのウェーブレ
ット変換係数の量子化値を得るエントロピー復号部、６
０３は符号化データ分離部６０１より得られたＲＯＩ領
域情報と同領域へ付与された優先度値Ｓをもとに、ウェ
ーブレット変換係数におけるＲＯＩ領域を特定するＲＯ
Ｉマスクを生成するＲＯＩマスク生成部である。
【００５４】また、６０４はエントロピー復号されたビ
ットプレーンよりなるウェーブレット変換係数におい
て、ＲＯＩマスクを参照しＲＯＩ領域の変換係数の絶対
値を優先度値Ｓビットだけ右シフトすることでスケール
ダウンするＲＯＩスケールダウン部、６０５はＲＯＩス
ケールダウン部で得られたウェーブレット変換係数の量
子化値に逆量子化処理を施す逆量子化部、６０６は逆量
子化されたウェーブレット変換係数よりなるそれぞれの
符号化処理単位より構成される各サブバンドにウェーブ
レット逆変換を施し画像データを再構成するウェーブレ
ット逆変換部である。
【００５５】次に動作について説明する。符号化データ
分離部６０１は、各画像の符号化データより、画像サイ
ズ、サブバンド分割レベル数、フィルタ、ＲＯＩパラメ
ータ等の符号化パラメータ、および、エントロピー符号
化データを抽出し、エントロピー符号化データについて
はデータのどの部分がどの符号化処理単位に対応するも
のかを特定したうえで後段のエントロピー復号部に送出
する。
【００５６】エントロピー復号部６０２は、各画像のエ
ントロピー符号化データを、各符号化処理単位に対応す
る部分ごとにエントロピー復号し、その符号化処理単位
を構成するウェーブレット変換係数の量子化値を最上位
ビットプレーンから下位ビットプレーンに向かってビッ
トプレーンごとに再生する。各ウェーブレット変換係数
の符号（sign）ビットについては、各ウェーブレット変
換係数のビットプレーンごとの復号で最初に有効ビット
が再生された後で、かつ、同変換係数の１つ下位のビッ
トプレーンが符号化される前のいずれかのタイミングで
復号再生される。
【００５７】ＲＯＩマスク生成部６０３は、符号化デー
タ分離部６０１で抽出されたＲＯＩ領域情報により、ウ
ェーブレット変換係数におけるＲＯＩ領域を特定する。
具体的には、単純にアップサンプリング（補間処理）だ
けを考慮して特定しても良いが、より正確に行うにはウ
ェーブレット逆変換の関係式の逆を辿る必要がある。つ
まり、逆変換の出力であるＲＯＩ領域内の画素から入力
であるウェーブレット変換係数へ逆に辿りアップサンプ
リングとウェーブレットフィルタのフィルタ範囲（フィ
ルタ長）を考慮し各サブバンドでのＲＯＩ領域を導出す
る。
【００５８】ＲＯＩスケールダウン部６０４は、符号化
時にＲＯＩ領域のウェーブレット変換係数に施されたス
ケールアップを補償するために、ＲＯＩマスクを参照し
て優先度Ｓビット分だけスケールダウンする。すなわ
ち、ＲＯＩ領域内のウェーブレット変換係数の絶対値を
Ｓビットだけ右シフトすることによりＲＯＩ変換係数を
スケールダウンする。
【００５９】逆量子化部６０５は、ＲＯＩスケールダウ
ン部６０４で再構成されたウェーブレット変換係数の量
子化値に逆量子化処理を施す。符号化データ作成時に用
いられたウェーブレット変換が整数値を整数値に変換す
るタイプの Integer transform の場合、明示的な逆量
子化処理は省略される。
【００６０】ウェーブレット逆変換部６０６は、各サブ
バンドにおいてそれぞれの符号化処理単位より構成され
る逆量子化されたウェーブレット変換係数に対してウェ
ーブレット逆変換を施し画像データを再生する。符号化
送信側で、符号化データの生成時に適用されたウェーブ
レット変換の段数がＬである場合、Ｌ段階のウェーブレ
ット逆変換処理が施される。
【００６１】すなわち、１段階目では、画像の最低解像
度成分を担うサブバンドＬＬL（縦方向低周波成分、横
方向低周波成分）と１つ上の解像度レベルの情報を担う
３つのサブバンドＨＬL（縦方向低周波成分、横方向高
周波成分）、ＨＬL（縦方向高周波成分、横方向低周波
成分）、ＨＨL（縦方向高周波成分、横方向高周波成
分）にウェーブレット逆変換を施し、１つ上の解像度レ
ベルにある低周波画像ＬＬ L-1を合成する。
【００６２】２段階目では、ＬＬL-1とそれより１つ上
の解像度レベルの高周波成分の情報を担う３つのサブバ
ンドＨＬL-1、ＬＨL-1、ＬＬL-1にウェーブレット逆変
換を施し、１つ上の解像度レベルにある低周波画像ＬＬ
L-2を合成する。３段階目以降も、２段階目と同様にそ
の時点までに合成された低周波数成分画像に、それより
１つ上の解像度レベルの高周波成分の情報を担う３つの
サブバンドに順次ウェーブレット逆変換処理を施し、Ｌ
段階のウェーブレット逆変換が完了するまで処理を繰り
返し実行する。以上の処理は、符号化時に説明した図３
の例の反対の処理となる。
【００６３】ここで、図１にもどって、先のＲＯＩ符号
化を利用した伝送制御部１１２の動作について詳しく説
明する。一般に候補画像の伝送は高速化するためにサイ
ズの小さい画像を送っている。例えば、特開平７−５６
９４２号公報の場合には原画像とは別に縮小画像を用意
し、それを候補画像として伝送する技術が開示されてい
る。
【００６４】本実施の形態では、ウェーブレット変換に
より符号化データが多重解像度表現されているため、最
低周波数成分であるＬＬL（Ｌレベルのウェーブレット
変換をした場合）を伝送すれば、縮小画像をわざわざ作
る必要もなく、サイズの小さい画像を候補画像として伝
送することができる。
【００６５】今、図７に示すように符号化ストリームが
解像度プログレッシブに構成されていたとすると、伝送
制御部１１２では最低解像度の画像を伝送した時点（図
中▼）で伝送を中断させる。また符号化ストリームがＳ
ＮＲプログレッシブに構成されていれば、最低解像度の
画像は符号化ストリームの中に散在している（図中網掛
けのＬＬ2）ため、それを拾うように選択して伝送する
ことになる。
【００６６】しかしながら、候補画像として低解像度画
像を伝送すると画像全体を把握するのに効率的ではある
が、実際にはユーザが検索したい情報は画像中に撮影さ
れているオブジェクトであり、縮小画像を伝送してもそ
の背景領域に関する情報はそれほど大きな意味を持って
いるわけではない。
【００６７】本実施の形態では、画像符号化部１０３の
ＲＯＩ符号化処理でオブジェクトをＲＯＩ領域として指
定しているため、背景領域のデータを送らなくて済むよ
うになり、候補画像を高速に伝送することができるよう
になる。この時、例えば、ウェーブレット変換係数のビ
ット幅がＷＣビットであったとすると、優先度ＳにもＷ
Ｃビットを割り当ててＷＣビットまでのビットプレーン
を先に伝送することで、ＲＯＩ領域の画像を完全に伝送
した後に他の領域を伝送することができるようになる。
【００６８】この場合、解像度プログレッシブに符号化
ストリームが構成されていれば、伝送制御部１１２では
最低解像度画像のＷＣビットまでのビットプレーン符号
化データを伝送するように制御を行う。ＳＮＲプログレ
ッシブの場合はやはりＬＬ2のＷＣビットまでのビット
プレーンを抽出して伝送するように制御する。
【００６９】また、符号化ビットストリームは、ウェー
ブレット変換により多重解像度表現されているため、図
８に示すようなこともできる。例えば、原画像サイズが
５１２×５１２で、画像表示部１１１において各候補画
像がサイズ６４×６４の表示領域を割り当てられていた
とする。ＲＯＩ符号化を利用していなければ、３レベル
のウェーブレット分割を行い原画像に対して３レベル低
い解像度の画像ＬＬ3が候補画像として伝送されること
になる。ＲＯＩ符号化している場合には、例えばオブジ
ェクトのＲＯＩ領域が６４×６４であれば、原画像と同
一解像度の画像を伝送・表示することが可能になるわけ
である。
【００７０】つまり、画像表示部１１１で各候補画像の
表示サイズが決められている場合には、ＲＯＩ領域が収
まる範囲内でより高い解像度の候補画像を伝送・表示で
きるため、ユーザが所望の画像を選択するのにより詳し
い情報を表示することができ、二次検索であるユーザの
目視による絞込検索の精度を向上させることができる。
【００７１】ここで、画像表示部１１１における候補画
像の表示サイズに対してＲＯＩ領域が収まる範囲内の最
大の解像度をＦROIMAXとすると、伝送制御部１１２にお
ける動作は次のようになる。すなわち、符号化ビットス
トリームが解像度プログレッシブに構成されている場合
は、解像度ＦROIMAXまでの各解像度においてＷＣビット
までのビットプレーン符号化データを抽出して伝送す
る。またＳＮＲプログレッシブに構成されている場合に
は、ＷＣビットまでの各ビットプレーン符号化データに
おいて、解像度ＦROIMAXまでの符号化ストリームを抽出
して伝送する。
【００７２】なお、上述したＲＯＩ符号化を利用して候
補画像を伝送した後に、候補画像の中から所望の画像を
選択し画像全体を伝送する場合は、残りの符号化ストリ
ームを伝送すれば画像を完全に再構成できることにな
り、効率的なデータ伝送が可能になる。
【００７３】以上のように、本実施の形態１によれば、
検索結果である候補画像を検索制御システムに伝送する
際に、縮小画像を伝送する代わりにウェーブレット変換
の最低周波数成分ＬＬL（ウェーブレット変換の段数Ｌ
の場合）を伝送することで、縮小画像を個別に作成する
というオーバーヘッドがなく高速な候補画像の伝送・表
示が可能になるという効果を奏することができる。
【００７４】また、画像符号化部でＲＯＩ符号化を行う
ことにより、縮小画像（低解像度画像）内のオブジェク
トのみを伝送することができるようになるため、さらに
高速な候補画像の伝送・表示が可能になるという効果を
奏することができる。
【００７５】また、画像表示部において検索結果である
候補画像を表示する画像サイズが指定されている場合に
は、そのサイズにＲＯＩ領域が収まる範囲内の最大の解
像度で符号化ストリームを伝送できるため、ユーザは画
像表示部でより詳しい（解像度の高い）画像を見ること
ができ、二次検索である目視による絞込検索の精度を向
上させることができるという効果を奏することができ
る。
【００７６】実施の形態２．図９は本発明の画像データ
検索装置の他の例を示すブロック図である。図９におい
て、９０１は検索結果である候補画像の伝送時間を設定
する時間設定部（時間設定手段）、９０２は時間設定部
９０１で設定された時間に対して１画像あたりの伝送時
間を計算し、その伝送時間を管理する時間管理部（時間
管理手段）である。その他の構成は実施の形態１と同様
である。
【００７７】次に動作について説明する。実施の形態１
と同様にユーザが検索キーワードを検索制御部１０８か
ら入力すると、そのキーワードはデータベースシステム
のキーワード検索部１０７に通知され画像蓄積部１０６
の画像に関連付けられている画像情報に対して検索を実
行する。検索が終了すると、キーワード検索部１０７で
は検索制御システムの検索操作部１０８に検索終了を通
知するとともに、候補画像として検出された画像の数を
通知する。
【００７８】次に、ユーザが時間設定部９０１で候補画
像を伝送する時間を設定し、伝送を開始するコマンドを
発行すると、時間設定部９０１で設定された伝送時間は
時間管理部９０２に伝送される。この時、伝送時間は１
画像あたりの伝送時間でも良いし、通知された画像数全
部を伝送する時間を設定しても良い。なお、候補画像全
体を伝送する時間を設定した場合には、時間管理部９０
２で１画像あたりの伝送時間に変換される。時間管理部
９０２にはタイマーが用意されており、１つの候補画像
が伝送されるとタイマーがスタートし、１画像あたりの
伝送時間に到達すると、伝送終了コマンドを伝送制御部
１１２に対して発行する。
【００７９】伝送制御部１１２では伝送終了コマンドを
受信すると、符号化ビットストリームの中からエントロ
ピー符号化の区切りを見つけてそこで伝送を中断する。
このように符号化ビットストリームの伝送を中断して
も、エントロピー符号化の区切りで伝送が行われるため
画像復号部１０９での復号は可能である。さらにビット
プレーン符号化を行い符号化再生画像の Mean Square E
rror（ＭＳＥ）を低減する意味での重要度の高い順番で
送っているため、途中でデータが中断されても、画像が
空間的に欠けるようなことはなく、そのデータ量で再現
できる最高の画質の画像を表示することができる。
【００８０】また、これまでは候補画像の伝送時間につ
いて時間制御ができる点を述べてきたが、それに限った
ものではなく、例えば、ユーザが目視により二次検索し
候補画像の中から選択した画像全体の符号化データを伝
送する際にも伝送時間を制御することが可能となる。
【００８１】以上のように、画像の伝送時間を制御でき
る機構を設けることで、事前に伝送終了時間が分かるよ
うになるため、ユーザはいつ伝送が終了するかわからな
いという精神的不安から開放されるだけでなく、その時
間を利用して他の作業を行うことができるようになり時
間を効率的に使用できるようになるという効果を奏する
ことができる。尚、データベースシステムと検索制御シ
ステムが、同一の系で実現される場合には、上述の伝送
時間は、候補画像を抽出する抽出時間に相当する。
【００８２】実施の形態３．図１０は本発明の画像デー
タ検索装置のさらに他の例を示すブロック図である。図
１０において、１００１は、画像蓄積部に格納されてい
る画像からＲＯＩ領域のみを復号した画像に対してテン
プレート画像との類似画像を検索する画像検索部（画像
検索手段）、１００２は画像検索部１００１で検索され
た画像の類似度が高いか低いかにより当該画像を伝送す
るか否かを選択する伝送選択部、１００３は画像復号部
１０９と同様の機能を持つ画像復号部（第２の画像復号
手段）、１００４はＲＯＩ抽出部１１０と同様の機能を
持つ対象物領域抽出部であるＲＯＩ抽出部（第２の対象
物領域抽出手段）である。その他の構成は実施の形態１
と同様である。
【００８３】次に動作について説明する。実施の形態１
および２では、画像の検索は各画像に関連付けられた付
与されたキーワードによるものであるが、本実施の形態
では検索制御システムの第２の画像表示部１１１に表示
されている画像からある一つのテンプレート画像を選択
し、そのテンプレート画像と類似した画像をデータベー
スシステムにおける画像蓄積部１０６から自動的に検索
するシステムに関するものである。
【００８４】まず、検索制御システムの第２の画像表示
部１１１に、検索の基となるテンプレート画像を表示す
る。このテンプレート画像は過去の検索等により検索制
御システムに格納しておいた画像データでも良いし、新
たに撮影した画像でも良い。この時、このテンプレート
画像はデータベースシステムに格納しているデータと同
様に画像内のオブジェクトに対してＲＯＩ符号化されて
いるデータであるものとする。
【００８５】検索操作部１０８では、その画像を選択し
類似画像を検索する旨のコマンドをデータベースシステ
ムに発行するとともにそのテンプレート画像を伝送す
る。伝送するテンプレート画像は、実施の形態１で説明
したように伝送スピード、検索スピード向上の観点から
原画像よりもサイズの小さい画像（低解像度画像）を転
送するものとする。
【００８６】従って、テンプレート画像が過去の検索に
より得られた画像の場合は、その候補画像の符号化デー
タをテンプレート画像とすれば良く、新規に撮影した画
像の場合にはデータベースシステムにあるＲＯＩ選択部
１０４や画像符号化部１０３等といった処理系が検索制
御システムにも必要になる。
【００８７】データベースシステムに伝送されたテンプ
レート画像は、画像検索部１００１に一時的に格納され
る。本実施の形態における画像検索部１００１では、検
索処理の簡略化のために色情報を利用した検索を行うも
のとする。すなわち、画像検索部で一時的に格納された
テンプレート画像の符号化データに対して色差データの
みの伸張処理を画像復号部１００３で行った後、ＲＯＩ
抽出部でＲＯＩ領域の抽出、切り出しを行う。ＲＯＩ領
域の色差データが得られたら、そのヒストグラムを求
め、発生頻度の高い色成分をｎP個抽出し、それらの色
成分をＣTｎT（ｎTは０≦ｎT≦ｎPの整数）とする。
【００８８】次に、画像蓄積部１０６に格納されている
全ての符号化データから伝送制御部１１２でＲＯＩ領域
を含む符号化ビットストリームを抽出する。この時抽出
する符号化ビットストリームは、検索スピードの観点か
ら実施の形態１で説明した場合と同じようにサイズの小
さな画像（低解像度画像）とする。画像復号部１００
３、ＲＯＩ抽出部１００４ではテンプレート画像と同様
にＲＯＩ領域を含む色差データを復号すると、画像検索
部１００１では当該画像の色差データのヒストグラムを
求めると同時に、発生頻度の高い色成分をｎP個抽出
し、それらの色成分をＣSｎS（ｎSは０≦ｎS≦ｎPの整
数）とする。
【００８９】比較処理は、例えば図１１のように行う。
すなわち、色に関して類似性が高いか否かを判定するパ
ラメータをα、類似画像を検出するために必要な色成分
の個数Ｔｈ１を設定し、ＣTｎT±αの範囲内にあるＣS
ｎSの個数を検出し（ステップＳ５〜Ｓ１１）、それが
Ｔｈ１以上の場合類似画像と判定する（ステップＳ１２
〜Ｓ１３）。以上の処理を画像蓄積部１０６に格納され
ている各画像データに対して行うものとする。
【００９０】図１１はフローチャート形式で記載してい
るが、ブロック図形式では図１２のようになる。すなわ
ち、ヒストグラム検出部（ヒストグラム検出手段）１２
０１で現在処理している画像のヒストグラムを求め、ピ
ーク値検出部（ピーク値検出手段）１２０２では発生頻
度の高い色成分をｎP個検出し、類似色検出部（類似色
検出手段）１２０３では原画像における発生頻度の高い
色成分がテンプレート画像における発生頻度の高い色成
分の±αの範囲にあるか否かを検出し、類似色カウント
部（類似色カウント手段）１２０４では±αの範囲内の
色と判定された色成分の数をカウントし、類似画像検出
部（類似画像検出手段）１２０５では類似色カウント部
１２０４の出力である類似色数の閾値処理により最終的
に類似画像であるか否かを検出する。
【００９１】画像検索部１００１における類似画像であ
るか否かの検索結果は伝送選択部１００２に通知され、
伝送選択部１００２では類似画像であれば現在検索対象
となっている低解像度画像の符号化ビットストリームを
候補画像として送出し、類似画像でなければ送出しな
い。
【００９２】検索制御システムにおける画像復号部１０
９、ＲＯＩ抽出部１１０、第２の画像表示部１１１は実
施の形態１で説明した場合と同様に、伝送されてくる候
補画像の伸張を行いＲＯＩ領域の表示を行う。次に、伝
送されてきた候補画像の中からユーザが目視により絞込
検索を行い、所望の画像の伝送を検索操作部１０８を介
してデータベースシステムに要求する。
【００９３】以上のように、テンプレート画像との類似
画像を画像処理により自動的に検索するシステムにおい
て、画像を蓄積する際にウェーブレット変換を利用した
ＲＯＩ符号化を利用することにより、効率的なデータの
保存ができるという効果だけでなく、縮小画像を作るオ
ーバーヘッド無しに低解像度の検索対象画像を利用でき
ることと、符号化処理の過程で指定されるオブジェクト
領域（ＲＯＩ領域）を利用することで余計な背景領域を
検索対象としないで済むことにより、高精度かつ高速な
検索ができるようになるという効果を奏することができ
る。
【００９４】本実施の形態ではデータベースシステムと
検索制御システムはネットワークを介して接続している
ように記載しているが、これに限ったものではなく、両
システムが同一処理系に含まれる場合も同様の効果を奏
することができる。
【００９５】実施の形態４．本実施の形態では実施の形
態３で説明した検索処理と同様にテンプレート画像との
類似画像を検索する装置に関するものである。図１３は
本実施の形態の画像データ検索装置を示すブロック図で
ある。図１３において、１３０１は検索時間を設定する
時間設定部（時間設定手段）、１３０２は時間設定部１
３０１で設定された時間に対して１画像あたりの検索時
間を計算し、その検索時間を管理する時間管理部（時間
管理手段）である。その他の構成は実施の形態３と同様
である。
【００９６】次に動作について説明する。時間設定部１
３０１は検索にどれだけの時間をかけて良いかをユーザ
が決められる機能を実現するためのユーザインターフェ
ースである。ここで、画像１枚当たりにかけられる検索
時間を設定しても良いし、全ての画像を検索するのにか
けられる時間を設定しても良い。また、極端に短い時間
を設定しても検索するのに十分なデータが復号できると
は限らないため、過去の検索時間を参照して、最少時
間、最大時間、推奨時間等を表示するようにしても良
い。設定された検索時間はデータベースシステムの時間
管理部１３０２に通知される。全ての画像の検索時間が
通知される場合には時間管理部１３０２で１画像当たり
の検索時間に変換される。
【００９７】ところで、検索総和時間は画像検索部１０
０１における実際の検索時間と画像復号部１００３の復
号時間との和で表すことができるため、
【００９８】画像復号にかけられる時間＝検索総和時間
−実際の検索時間
【００９９】と、求めることができる。また、実際の検
索時間は時間管理部１３０２が画像検索部１００１を監
視することにより計測できるため、１画像当たりの復号
処理にかけられる時間は図１４のように求めることがで
きる。すなわち、直前画像の検索時間と現在の画像の復
号時間を１画像の検索総和時間とみなして、以下の式か
ら演算する。
【０１００】画像ｍの復号にかけられる時間＝検索総和
時間−画像（ｍ−１）の実際の検索時間
【０１０１】しかしながら、この方法では最初の画像の
復号時間を決められないため、ある程度の誤差は許容す
ることになるが、過去の平均的な検索時間を利用して復
号時間を設定すればその誤差をより小さな値にすること
ができる。
【０１０２】なお、伝送制御部１１２でも復号されるデ
ータを制御しているため、実際には前記「１画像当たり
の復号処理にかけられる時間」に到達する前に、伝送制
御部１１２からの符号化ストリームが伝送されてこなく
なる場合も考えられる。このような場合は、例えば伝送
するビットストリームの解像度を上げさらに詳しいデー
タを伝送しても良いし、余った時間を他の画像の復号に
割り当てるように制御しても良い。
【０１０３】時間管理部１３０２では、画像の復号処理
にかけられる時間をタイマーにセットし、画像復号の開
始と同時にタイマーをスタートさせる。タイマーが復号
時間に到達したら復号終了コマンドを画像復号部１００
３に通知する。画像復号部１００３では、復号終了コマ
ンドを受信すると、伝送制御部１１２から伝送されてく
る符号化ビットストリームの中からエントロピー符号化
の区切りを見つけてそこで復号を中断する。
【０１０４】なお、本符号化データはビットプレーン符
号化において符号化再生画像の Mean Square Error（Ｍ
ＳＥ）を低減する意味での重要度の高い順番で送ってい
るため、途中でデータが中断されても、画像が空間的に
欠けるようなことはなく、そのデータ量で再現できる最
高の画質を再現することができる。
【０１０５】復号処理が終了すると画像検索部の検索処
理がスタートするため、時間管理部１３０２ではその検
索時間を監視しておき、次の画像の復号時間の設定に備
えるようにする。
【０１０６】以上のように、画像の検索時間を制御でき
る機構を設けることで、事前に検索終了時間が分かるよ
うになるため、ユーザはいつ検索が終了するかわからな
いという精神的不安から開放されるだけでなく、その時
間を利用して他の作業を行うことができるようになり時
間を効率的に使用できるようになるという効果を奏する
ことができる。
【０１０７】本実施の形態ではデータベースシステムと
検索制御システムはネットワークを介して接続している
ように記載しているが、これに限ったものではなく、同
一処理系に含まれる場合も同様の効果を奏することがで
きる。
【０１０８】実施の形態５．図１５は本発明の画像デー
タ検索装置のさらに他の例を示すブロック図である。本
実施の形態は実施の形態３に対して、実施の形態１の図
１に示すキーワード検索部１０７、および属性入力部１
０５を追加することでキーワードによる検索と類似画像
による検索を同時に実現することができるようになり、
実施の形態３に記載した効果に加え、さらに検索精度が
向上するという効果を奏することができる。
【０１０９】実施の形態６．図１６は本発明の画像デー
タ検索装置のさらに他の例を示すブロック図である。本
実施の形態は実施の形態４に対して、実施の形態１の図
１に示すキーワード検索部１０７、および属性入力部１
０５を追加することでキーワードによる検索と類似画像
による検索を同時に実現することができるようになり、
実施の形態４に記載した効果に加え、さらに検索精度が
向上するという効果を奏することができる。
【０１１０】これまで説明してきた実施の形態において
ＲＯＩ領域の指定は１画像当たり１個所に限るものでは
なく、複数個のＲＯＩ領域を指定することが可能であ
る。
【０１１１】以上のように、属性、特徴等の情報を関連
付けてデータベースシステムに格納されている画像符号
化データに対してキーワード検索する画像検索システム
において、検索結果である候補画像を検索制御システム
に伝送する際に、縮小画像を伝送する代わりにウェーブ
レット変換の最低周波数成分ＬＬL（ウェーブレット分
割数Ｌの場合）を符号化したデータを伝送することで、
縮小画像を個別に作成するというオーバーヘッドがな
く、候補画像を高速に伝送・表示できるようになるとい
う効果を奏することができる。
【０１１２】また、画像符号化部でＲＯＩ符号化を行う
ことにより、縮小画像（低解像度画像）内のオブジェク
トのみを伝送することができるようになるため、候補画
像をさらに高速に伝送・表示できるようになるという効
果を奏することができる。
【０１１３】また、画像表示部において検索結果である
候補画像を表示する画像サイズが指定されている場合に
は、そのサイズにＲＯＩ領域が収まる範囲内の最大の解
像度で符号化ストリームを伝送できるため、ユーザは画
像表示部でより詳しい（解像度の高い）画像を見ること
ができ、二次検索である目視による絞込検索の精度を向
上させることができるという効果を奏することができ
る。
【０１１４】また、画像の伝送時間を制御できる機構を
設けることで、事前に伝送終了時間が分かるようになる
ため、ユーザはいつ伝送が終了するかわからないという
精神的不安から開放されるだけでなく、その時間を利用
して他の作業を行うことができるようになり時間を効率
的に使用できるようになるという効果を奏することがで
きる。
【０１１５】また、データベースに格納されている画像
の中からテンプレート画像との類似画像を画像処理によ
り自動的に検索する検索システムにおいて、画像を蓄積
する際にウェーブレット変換を利用したＲＯＩ符号化を
利用することにより、効率的なデータの保存ができる効
果だけでなく、縮小画像を作るオーバーヘッド無しに低
解像度の検索対象画像を利用できることと、符号化処理
の過程で指定されるオブジェクト領域（ＲＯＩ領域）を
利用して余計な背景領域を検索対象としないで済むこと
により、高精度かつ高速な検索ができるようになるとい
う効果を奏することができる。
【０１１６】また、画像の検索時間を制御できる機構を
設けることで、事前に検索終了時間が分かるようになる
ため、ユーザはいつ検索が終了するかわからないという
精神的不安から開放されるだけでなく、その時間を利用
して他の作業を行うことができるようになり時間を効率
的に使用できるようになるという効果を奏することがで
きる。
【０１１７】
【発明の効果】この発明の画像データ検索装置は、 （１）画像を符号化する画像符号化手段 （２）符号化された符号化データを蓄積する画像蓄積手
段 （３）画像中の対象物の領域を指定する対象物領域選択
手段 （４）画像の属性情報を入力し符号化データと関連付け
る属性入力手段 （５）キーワードの入力および候補画像の選択をする検
索操作手段 （６）属性情報と入力されたキーワードとマッチング
し、キーワードに関連付けられている符号化データの検
索を行うキーワード検索手段 （７）画像蓄積手段に蓄積されている符号化データから
候補画像として表示すべき符号化データを抽出するデー
タ抽出手段 （８）抽出された候補画像の符号化データを復号する画
像復号手段 （９）復号された候補画像の対象物の領域を切り出す対
象物領域抽出手段 （１０）候補画像を表示し、また選択された画像を表示
する画像表示手段 を備えている。そのため、画像符号化手段で符号化を行
うことにより、縮小画像（低解像度画像）内のオブジェ
クトのみを伝送することができるようになるため、高速
な候補画像の伝送・表示が可能になるという効果を奏す
ることができる。
【０１１８】また、 （１１）候補画像を抽出する抽出時間を設定する時間設
定手段 （１２）抽出時間に基づいて、データ抽出手段が符号化
データを抽出する時間を管理する時間管理手段 をさらに備えている。そのため、画像の伝送時間を制御
できる機構を設けることで、事前に伝送終了時間が分か
るようになるため、ユーザはいつ伝送が終了するかわか
らないという精神的不安から開放され、また、その時間
を利用して他の作業を行うことができるようになり時間
を効率的に使用できるようになるという効果を奏するこ
とができる。
【０１１９】また、この発明の他の画像データ検索装置
は、 （１）画像を符号化する画像符号化手段 （２）符号化された符号化データを蓄積する画像蓄積手
段 （３）画像中の対象物の領域を指定する対象物領域選択
手段 （４）画像蓄積手段に蓄積されている符号化データから
候補画像として表示すべき符号化データを抽出するデー
タ抽出手段 （５）候補画像の符号化データを復号する第１の画像復
号手段 （６）復号された候補画像の対象物の領域を切り出す第
１の対象物領域抽出手段 （７）候補画像を表示し、また選択された画像を表示す
る画像表示手段 （８）類似画像検索の基となるテンプレート画像の選択
および候補画像の選択をする検索操作手段 （９）画像検索のために画像蓄積手段に蓄積されている
符号化データを一時的に伸張する第２の画像復号手段 （１０）画像検索のために復号された画像の対象物の領
域を切り出す第２の対象物領域抽出手段 （１１）検索操作手段で指定されたテンプレート画像と
類似する画像を検索する画像検索手段 を備えている。そのため、テンプレート画像との類似画
像を検索する画像データ検索装置においても、縮小画像
（低解像度画像）内のオブジェクトのみを伝送すること
ができるようになるため、高速な候補画像の伝送・表示
が可能になるという効果を奏することができる。
【０１２０】また、 （１２）画像検索手段における検索時間と第２の画像復
号手段の復号時間の和である１画像当たりの検索総和時
間を設定する時間設定手段 （１３）検索総和時間に基づいて、データ抽出手段が符
号化データを抽出する時間を管理する時間管理手段 をさらに備えている。そのため、画像の伝送時間を制御
できる機構を設けることで、事前に伝送終了時間が分か
るようになるため、ユーザはいつ伝送が終了するかわか
らないという精神的不安から開放され、また、その時間
を利用して他の作業を行うことができるようになり時間
を効率的に使用できるようになるという効果を奏するこ
とができる。
【０１２１】また、この発明の他の画像データ検索装置
は、 （１）画像を符号化する画像符号化手段 （２）符号化された符号化データを蓄積する画像蓄積手
段 （３）画像中の対象物の領域を指定する対象物領域選択
手段 （４）画像の属性情報を入力し符号化データと関連付け
る属性入力手段 （５）キーワードの入力および類似画像検索の基となる
テンプレート画像の選択および候補画像の選択をする検
索操作手段 （６）属性情報と入力されたキーワードとマッチング
し、キーワードに関連付けられている符号化データの検
索を行うキーワード検索手段 （７）画像蓄積手段に蓄積されている符号化データから
候補画像として表示すべき符号化データを抽出するデー
タ抽出手段 （８）候補画像の符号化データを復号する第１の画像復
号手段 （９）復号された候補画像の対象物の領域を切り出す第
１の対象物領域抽出手段 （１０）候補画像を表示し、また選択された画像を表示
する画像表示手段 （１１）画像検索のために画像蓄積手段に蓄積されてい
る符号化データを一時的に伸張する第２の画像復号手段 （１２）画像検索のために復号された画像の対象物の領
域を切り出す第２の対象物領域抽出手段 （１３）検索操作手段で指定されたテンプレート画像と
類似する画像を検索する画像検索手段 を備えている。そのため、キーワードによる検索と類似
画像による検索を同時に実現することができるようにな
り、さらに検索精度が向上するという効果を奏すること
ができる。
【０１２２】また、 （１４）画像検索手段における検索時間と第２の画像復
号手段の復号時間の和である１画像当たりの検索総和時
間を設定する時間設定手段 （１５）検索総和時間に基づいて、データ抽出手段が符
号化データを抽出する時間を管理する時間管理手段 をさらに備えている。そのため、画像の伝送時間を制御
できる機構を設けることで、事前に伝送終了時間が分か
るようになるため、ユーザはいつ伝送が終了するかわか
らないという精神的不安から開放され、また、その時間
を利用して他の作業を行うことができるようになり時間
を効率的に使用できるようになるという効果を奏するこ
とができる。
【０１２３】また、画像符号化手段は、 （１）符号化データに対してウェーブレット変換を施す
ウェーブレット変換手段 （２）ウェーブレット変換係数の値を離散化する量子化
手段 （３）対象物の領域に付与する優先度を設定する対象物
領域優先度設定手段 （４）対象物の領域に対応するウェーブレット変換係数
を特定する対象物領域マスクを生成する対象物領域マス
ク生成手段 （５）正気対象物領域マスクで示されるウェーブレット
変換係数の量子化値を、正気対象物領域優先度設定手段
により設定された優先度分だけスケールアップする対象
物領域スケールアップ手段 （６）量子化されたウェーブレット変換係数をグループ
化して符号化処理単位とする符号化処理単位構成手段 （７）各符号化処理単位を構成するウェーブレット変換
係数をビットプレーンごとに符号化しエントロピー符号
化データを生成するエントロピー符号化手段 （８）エントロピー符号化データに対して各画像の符号
化に用いられたパラメータを付加する符号化ストリーム
生成手段 を備えている。そのため、検索結果である候補画像を伝
送する際に、縮小画像を伝送する代わりにウェーブレッ
ト変換の最低周波数成分を伝送することで、縮小画像を
個別に作成するというオーバーヘッドがなく高速な候補
画像の伝送・表示が可能になるという効果を奏すること
ができる。
【０１２４】また、データ抽出手段は、画像表示手段に
おいて候補画像として表示すべき最低解像度画像を含む
符号化処理単位または対象物領域を含む符号化処理単位
を、画像蓄積手段に蓄積されている符号化ビットストリ
ームから抽出する。そのため、効率的なデータ伝送を可
能とすることができる。
【０１２５】また、画像検索手段は、 （１）画像の色差データのヒストグラムを検出するヒス
トグラム検出手段 （２）検出されたヒストグラムから発生頻度の高い色成
分を検出するピーク値検出手段 （３）検索対象画像に多く含まれる色成分がテンプレー
ト画像に多く含まれる色成分に近い色成分であるか否か
を検出する類似色検出手段 （４）類似色検出手段の出力をカウントし検索対象画像
に多く含まれる色成分とテンプレート画像に多く含まれ
る色成分との類似色数を計測する類似色カウント手段 （５）類似色カウント手段の出力である類似色数を閾値
処理することで類似画像であるか否かを判定する類似画
像検出手段 を備えている。そのため、さらに効率的なデータ伝送を
可能とすることができる。
【図面の簡単な説明】
【図１】 本発明の画像データ検索装置を示すブロック
図である。
【図２】 画像符号化部の詳細を示すブロック図であ
る。
【図３】 サブバンド分割してウェーブレット変換する
動作を説明する図である。
【図４】 原画像領域のＲＯＩ領域に対応するウェーブ
レット変換係数を特定する動作を説明する図である。
【図５】 スケールアップされたＲＯＩ変換係数を含む
ウェーブレット変換係数が、ビットプレーンごとにエン
トロピー符号化が施される動作を説明する図である。
【図６】 画像復号部の復号処理の詳細を示すブロック
図である。
【図７】 符号化ストリームの例として解像度プログレ
ッシブとＳＮＲプログレッシブの構造を示す図である。
【図８】 原画像と同一解像度の画像を伝送・表示する
ことが可能になる理由を説明する図である。
【図９】 本発明の画像データ検索装置の他の例を示す
ブロック図である。
【図１０】 本発明の画像データ検索装置のさらに他の
例を示すブロック図である。
【図１１】 色に関して類似性が高いか否かを判定する
動作を示すフローチャートである。
【図１２】 色に関して類似性が高いか否かを判定する
動作を示すブロック図である。
【図１３】 本発明の画像データ検索装置のさらに他の
例を示すブロック図である。
【図１４】 １画像当たりの復号処理にかけられる時間
を求める様子を説明する図である。
【図１５】 本発明の画像データ検索装置のさらに他の
例を示すブロック図である。
【図１６】 本発明の画像データ検索装置のさらに他の
例を示すブロック図である。
【図１７】 従来の画像データ検索装置を示すブロック
図である。
【図１８】 テンプレート画像との類似画像を画像処理
により検索する従来の画像データ検索装置を示すブロッ
ク図である。
【符号の説明】
１０３ 画像符号化部（画像符号化手段）、１０４ Ｒ
ＯＩ選択部（対象物領域選択手段）、１０５ 属性入力
部（属性入力手段）、１０６ 画像蓄積部（画像蓄積手
段）、１０７ キーワード検索部（キーワード検索手
段）、１０８ 検索操作部（検索操作手段）、１０９
画像復号部（画像復号手段、第１の画像復号手段）、１
１０ ＲＯＩ抽出部（対象物領域抽出手段、第１の対象
物領域抽出手段）、１１１ 画像表示部（画像表示手
段）、１１２ 伝送制御部（データ抽出手段）、２０１
ウェーブレット変換部（ウェーブレット変換手段）、
２０２量子化部（量子化手段）、２０３ ＲＯＩマスク
生成部（対象物領域マスク生成手段）、２０４ ＲＯＩ
優先度設定部（対象物領域優先度設定手段）、２０５Ｒ
ＯＩスケールアップ部（対象物領域スケールアップ手
段）、２０６ 符号化処理単位構成部（符号化処理単位
構成手段）、２０７ エントロピー符号化部（エントロ
ピー符号化手段）、２０８ 符号化ストリーム生成部
（符号化ストリーム生成手段）、９０１，１３０１ 時
間設定部（時間設定手段）、９０２，１３０２ 時間管
理部（時間管理手段）、１００１ 画像検索部（画像検
索手段）、１００３ 画像復号部（第２の画像復号手
段）、１００４ ＲＯＩ抽出部（第２の対象物領域抽出
手段）、１２０１ ヒストグラム検出部（ヒストグラム
検出手段）、１２０２ ピーク値検出部（ピーク値検出
手段）、１２０３ 類似色検出部（類似色検出手段）、
１２０４ 類似色カウント部（類似色カウント手段）、
１２０５ 類似画像検出部（類似画像検出手段）。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/92 Ｈ０４Ｎ 5/91 Ｎ ５Ｃ０７８ 7/30 5/92 Ｈ 7/133 Ｚ Ｆターム(参考） 5B050 EA03 EA09 EA10 FA02 FA09 GA08 5B075 ND06 NK02 NK08 NK46 PP02 PP03 PP12 PQ02 PQ48 PR06 QM08 QP05 5C052 AA02 AA03 AB03 AB04 AC08 CC11 DD02 DD04 5C053 FA08 FA23 GA10 GB06 GB21 GB26 GB32 HA29 JA21 JA22 KA24 LA01 LA06 LA11 LA14 5C059 KK39 KK40 MA24 MB16 MC11 MC22 MC38 ME01 PP01 PP16 RC34 SS06 SS12 SS26 TA75 TB04 TC04 TC47 UA02 UA05 5C078 AA09 BA44 BA53 CA01

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 （１）画像を符号化する画像符号化手段 （２）符号化された符号化データを蓄積する画像蓄積手
    段 （３）上記画像中の対象物の領域を指定する対象物領域
    選択手段 （４）上記画像の属性情報を入力し上記符号化データと
    関連付ける属性入力手段（５）キーワードの入力および
    候補画像の選択をする検索操作手段 （６）上記属性情報と入力された上記キーワードとマッ
    チングし、該キーワードに関連付けられている上記符号
    化データの検索を行うキーワード検索手段 （７）上記画像蓄積手段に蓄積されている符号化データ
    から候補画像として表示すべき符号化データを抽出する
    データ抽出手段 （８）抽出された上記候補画像の符号化データを復号す
    る画像復号手段 （９）復号された上記候補画像の対象物の領域を切り出
    す対象物領域抽出手段 （１０）上記候補画像を表示し、また選択された画像を
    表示する画像表示手段 を備えたことを特徴とする画像データ検索装置。
  2. 【請求項２】 （１１）上記候補画像を抽出する抽出時
    間を設定する時間設定手段 （１２）上記抽出時間に基づいて、上記データ抽出手段
    が符号化データを抽出する時間を管理する時間管理手段 をさらに備えたことを特徴とする請求項１記載の画像デ
    ータ検索装置。
  3. 【請求項３】 （１）画像を符号化する画像符号化手段 （２）符号化された符号化データを蓄積する画像蓄積手
    段 （３）上記画像中の対象物の領域を指定する対象物領域
    選択手段 （４）上記画像蓄積手段に蓄積されている符号化データ
    から候補画像として表示すべき符号化データを抽出する
    データ抽出手段 （５）上記候補画像の符号化データを復号する第１の画
    像復号手段 （６）復号された上記候補画像の対象物の領域を切り出
    す第１の対象物領域抽出手段 （７）上記候補画像を表示し、また選択された画像を表
    示する画像表示手段 （８）類似画像検索の基となるテンプレート画像の選択
    および上記候補画像の選択をする検索操作手段 （９）画像検索のために画像蓄積手段に蓄積されている
    符号化データを一時的に伸張する第２の画像復号手段 （１０）画像検索のために復号された画像の対象物の領
    域を切り出す第２の対象物領域抽出手段 （１１）上記検索操作手段で指定されたテンプレート画
    像と類似する画像を検索する画像検索手段 を備えたことを特徴とする画像データ検索装置。
  4. 【請求項４】 （１２）上記画像検索手段における検索
    時間と上記第２の画像復号手段の復号時間の和である１
    画像当たりの検索総和時間を設定する時間設定手段 （１３）上記検索総和時間に基づいて、上記データ抽出
    手段が符号化データを抽出する時間を管理する時間管理
    手段 をさらに備えたことを特徴とする請求項３記載の画像デ
    ータ検索装置。
  5. 【請求項５】 （１）画像を符号化する画像符号化手段 （２）符号化された符号化データを蓄積する画像蓄積手
    段 （３）上記画像中の対象物の領域を指定する対象物領域
    選択手段 （４）上記画像の属性情報を入力し上記符号化データと
    関連付ける属性入力手段 （５）キーワードの入力および類似画像検索の基となる
    テンプレート画像の選択および候補画像の選択をする検
    索操作手段 （６）上記属性情報と入力された上記キーワードとマッ
    チングし、該キーワードに関連付けられている上記符号
    化データの検索を行うキーワード検索手段 （７）上記画像蓄積手段に蓄積されている符号化データ
    から候補画像として表示すべき符号化データを抽出する
    データ抽出手段 （８）上記候補画像の符号化データを復号する第１の画
    像復号手段 （９）復号された上記候補画像の対象物の領域を切り出
    す第１の対象物領域抽出手段 （１０）上記候補画像を表示し、また選択された画像を
    表示する画像表示手段 （１１）画像検索のために画像蓄積手段に蓄積されてい
    る符号化データを一時的に伸張する第２の画像復号手段 （１２）画像検索のために復号された画像の対象物の領
    域を切り出す第２の対象物領域抽出手段 （１３）上記検索操作手段で指定されたテンプレート画
    像と類似する画像を検索する画像検索手段 を備えたことを特徴とする画像データ検索装置。
  6. 【請求項６】 （１４）上記画像検索手段における検索
    時間と上記第２の画像復号手段の復号時間の和である１
    画像当たりの検索総和時間を設定する時間設定手段 （１５）上記検索総和時間に基づいて、上記データ抽出
    手段が符号化データを抽出する時間を管理する時間管理
    手段 をさらに備えたことを特徴とする請求項５記載の画像デ
    ータ検索装置。
  7. 【請求項７】 上記画像符号化手段は、 （１）上記符号化データに対してウェーブレット変換を
    施すウェーブレット変換手段 （２）ウェーブレット変換係数の値を離散化する量子化
    手段 （３）上記対象物の領域に付与する優先度を設定する対
    象物領域優先度設定手段 （４）上記対象物の領域に対応するウェーブレット変換
    係数を特定する対象物領域マスクを生成する対象物領域
    マスク生成手段 （５）正気対象物領域マスクで示されるウェーブレット
    変換係数の量子化値を、正気対象物領域優先度設定手段
    により設定された優先度分だけスケールアップする対象
    物領域スケールアップ手段 （６）量子化された上記ウェーブレット変換係数をグル
    ープ化して符号化処理単位とする符号化処理単位構成手
    段 （７）各符号化処理単位を構成する上記ウェーブレット
    変換係数をビットプレーンごとに符号化しエントロピー
    符号化データを生成するエントロピー符号化手段 （８）上記エントロピー符号化データに対して各画像の
    符号化に用いられたパラメータを付加する符号化ストリ
    ーム生成手段 を備えたことを特徴とする請求項１乃至４のいずれか記
    載の画像データ検索装置。
  8. 【請求項８】 上記データ抽出手段は、上記画像表示手
    段において候補画像として表示すべき最低解像度画像を
    含む符号化処理単位または対象物領域を含む符号化処理
    単位を、上記画像蓄積手段に蓄積されている符号化ビッ
    トストリームから抽出することを特徴とする請求項１乃
    至４のいずれか記載の画像データ検索装置。
  9. 【請求項９】 上記画像検索手段は、 （１）上記画像の色差データのヒストグラムを検出する
    ヒストグラム検出手段 （２）検出された上記ヒストグラムから発生頻度の高い
    色成分を検出するピーク値検出手段 （３）検索対象画像に多く含まれる色成分が上記テンプ
    レート画像に多く含まれる色成分に近い色成分であるか
    否かを検出する類似色検出手段 （４）上記類似色検出手段の出力をカウントし上記検索
    対象画像に多く含まれる色成分と上記テンプレート画像
    に多く含まれる色成分との類似色数を計測する類似色カ
    ウント手段 （５）上記類似色カウント手段の出力である類似色数を
    閾値処理することで類似画像であるか否かを判定する類
    似画像検出手段 を備えたことを特徴とする請求項３または４記載の画像
    データ検索装置。
JP34465099A 1999-12-03 1999-12-03 画像データ検索装置 Abandoned JP2001160062A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34465099A JP2001160062A (ja) 1999-12-03 1999-12-03 画像データ検索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34465099A JP2001160062A (ja) 1999-12-03 1999-12-03 画像データ検索装置

Publications (1)

Publication Number Publication Date
JP2001160062A true JP2001160062A (ja) 2001-06-12

Family

ID=18370919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34465099A Abandoned JP2001160062A (ja) 1999-12-03 1999-12-03 画像データ検索装置

Country Status (1)

Country Link
JP (1) JP2001160062A (ja)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016086A (ja) * 2001-07-02 2003-01-17 Sony Corp 情報処理システム、サーバ、端末装置、および広告サービス提供方法
JP2006129248A (ja) * 2004-10-29 2006-05-18 Sanyo Electric Co Ltd 画像符号化方法および装置、ならびに画像復号方法および装置
JP2006279397A (ja) * 2005-03-29 2006-10-12 Megachips Lsi Solutions Inc 画像強調装置
JP2006285615A (ja) * 2005-03-31 2006-10-19 Sony Corp 画像比較装置及び方法、画像検索装置及び方法、並びにプログラム及び記録媒体
JP2006319556A (ja) * 2005-05-11 2006-11-24 Mitsubishi Electric Corp 画像復号装置
JP2007312399A (ja) * 2007-05-31 2007-11-29 Sanyo Electric Co Ltd 画像符号化装置および画像復号装置、ならびにそれらを利用可能な画像表示装置および方法
WO2008114499A1 (ja) * 2007-03-20 2008-09-25 Panasonic Corporation 撮影装置および撮影方法
US7720295B2 (en) 2004-06-29 2010-05-18 Sanyo Electric Co., Ltd. Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
US7756345B2 (en) 2005-10-03 2010-07-13 Canon Kabushiki Kaisha Image compression data processing method, and image compression data processing apparatus
KR100971835B1 (ko) * 2004-10-29 2010-07-22 산요덴키가부시키가이샤 화상 복호 방법 및 장치
JP2010176706A (ja) * 2003-12-25 2010-08-12 Fujitsu Ltd 車両検索システムおよび車両検索方法
WO2010106632A1 (ja) * 2009-03-17 2010-09-23 キーパー＝スミス エル・エル・ピー 画像表示システム、画像表示装置、画像提供装置およびその方法
WO2010106631A1 (ja) * 2009-03-17 2010-09-23 キーパー＝スミス エル・エル・ピー 画像表示システム、画像表示装置、画像提供装置およびその方法
JP2011045138A (ja) * 2010-11-18 2011-03-03 Sanyo Electric Co Ltd 画像復号方法
JP2011114724A (ja) * 2009-11-27 2011-06-09 Canon Inc 表示制御装置及びその制御方法
US8005309B2 (en) 2004-02-09 2011-08-23 Sanyo Electric Co., Ltd. Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus
JP2013046151A (ja) * 2011-08-23 2013-03-04 Ricoh Co Ltd プロジェクタ、投影システム及び情報検索表示方法
US8634107B2 (en) 2011-09-26 2014-01-21 Fuji Xerox Co., Ltd. Print data processing system, print data processing method, and non-transitory computer readable medium
JP2015144929A (ja) * 2015-05-19 2015-08-13 キヤノン株式会社 画像処理方法および装置
EP3070658A1 (en) 2015-03-18 2016-09-21 Fujitsu Limited Data classifying program, data classifying method, and data classifying deivce
JP6539418B1 (ja) * 2017-10-27 2019-07-03 楽天株式会社 画像抽出装置、画像抽出方法及び画像抽出プログラム
JP2020187398A (ja) * 2019-05-10 2020-11-19 株式会社プロフィールド 情報処理装置、情報処理方法及びプログラム
JP2021072091A (ja) * 2019-10-30 2021-05-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム
CN116401392A (zh) * 2022-12-30 2023-07-07 以萨技术股份有限公司 一种图像检索的方法、电子设备及存储介质
EP2658094B1 (en) * 2006-07-13 2023-10-18 Protean Electric Limited Cooling motor with cooling plate arrangement
JP7474300B2 (ja) 2021-10-25 2024-04-24 アクシス アーベー ビデオデータ内の検索の実施に関連してビデオデータを符号化及び復号するための方法及びシステム

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016086A (ja) * 2001-07-02 2003-01-17 Sony Corp 情報処理システム、サーバ、端末装置、および広告サービス提供方法
JP2010176706A (ja) * 2003-12-25 2010-08-12 Fujitsu Ltd 車両検索システムおよび車両検索方法
US8005309B2 (en) 2004-02-09 2011-08-23 Sanyo Electric Co., Ltd. Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus
US8326058B2 (en) 2004-02-09 2012-12-04 Sanyo Electric Co., Ltd. Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus
US7720295B2 (en) 2004-06-29 2010-05-18 Sanyo Electric Co., Ltd. Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
KR100971835B1 (ko) * 2004-10-29 2010-07-22 산요덴키가부시키가이샤 화상 복호 방법 및 장치
US8150173B2 (en) 2004-10-29 2012-04-03 Sanyo Electric Co., Ltd. Image coding method and apparatus, and image decoding method and apparatus
US8208738B2 (en) 2004-10-29 2012-06-26 Sanyo Electric Co., Ltd. Image coding method and apparatus, and image decoding method and apparatus
KR100971833B1 (ko) * 2004-10-29 2010-07-22 산요덴키가부시키가이샤 화상 부호화 방법 및 장치
KR100971834B1 (ko) * 2004-10-29 2010-07-22 산요덴키가부시키가이샤 화상 부호화 방법 및 장치
JP2006129248A (ja) * 2004-10-29 2006-05-18 Sanyo Electric Co Ltd 画像符号化方法および装置、ならびに画像復号方法および装置
JP2006279397A (ja) * 2005-03-29 2006-10-12 Megachips Lsi Solutions Inc 画像強調装置
US8050506B2 (en) 2005-03-29 2011-11-01 Megachips Corporation Image enhancement device
US7869659B2 (en) 2005-03-31 2011-01-11 Sony Corporation Image-comparing apparatus, image-comparing method, image-retrieving apparatus and image-retrieving method
JP2006285615A (ja) * 2005-03-31 2006-10-19 Sony Corp 画像比較装置及び方法、画像検索装置及び方法、並びにプログラム及び記録媒体
JP2006319556A (ja) * 2005-05-11 2006-11-24 Mitsubishi Electric Corp 画像復号装置
JP4579049B2 (ja) * 2005-05-11 2010-11-10 三菱電機株式会社 画像復号装置および画像復号システム
US7756345B2 (en) 2005-10-03 2010-07-13 Canon Kabushiki Kaisha Image compression data processing method, and image compression data processing apparatus
EP2658094B1 (en) * 2006-07-13 2023-10-18 Protean Electric Limited Cooling motor with cooling plate arrangement
US7961222B2 (en) 2007-03-20 2011-06-14 Panasonic Corporation Image capturing apparatus and image capturing method
WO2008114499A1 (ja) * 2007-03-20 2008-09-25 Panasonic Corporation 撮影装置および撮影方法
JP2007312399A (ja) * 2007-05-31 2007-11-29 Sanyo Electric Co Ltd 画像符号化装置および画像復号装置、ならびにそれらを利用可能な画像表示装置および方法
JP4614373B2 (ja) * 2009-03-17 2011-01-19 エンパイア テクノロジー ディベロップメント エルエルシー 画像表示システム、画像表示装置、画像提供装置およびその方法
JP4573910B1 (ja) * 2009-03-17 2010-11-04 エンパイア テクノロジー ディベロップメント エルエルシー 画像表示システム、画像表示装置、画像提供装置およびその方法
WO2010106631A1 (ja) * 2009-03-17 2010-09-23 キーパー＝スミス エル・エル・ピー 画像表示システム、画像表示装置、画像提供装置およびその方法
US8013866B2 (en) 2009-03-17 2011-09-06 Empire Technology Development Llc Image display system, image display apparatus, image providing apparatus and method thereof
WO2010106632A1 (ja) * 2009-03-17 2010-09-23 キーパー＝スミス エル・エル・ピー 画像表示システム、画像表示装置、画像提供装置およびその方法
US8218054B2 (en) 2009-03-17 2012-07-10 Empire Technology Development Llc Image display system, image display apparatus, image providing apparatus and method thereof
JPWO2010106632A1 (ja) * 2009-03-17 2012-09-20 エンパイア テクノロジー ディベロップメント エルエルシー 画像表示システム、画像表示装置、画像提供装置およびその方法
JP2011114724A (ja) * 2009-11-27 2011-06-09 Canon Inc 表示制御装置及びその制御方法
JP2011045138A (ja) * 2010-11-18 2011-03-03 Sanyo Electric Co Ltd 画像復号方法
JP2013046151A (ja) * 2011-08-23 2013-03-04 Ricoh Co Ltd プロジェクタ、投影システム及び情報検索表示方法
US8634107B2 (en) 2011-09-26 2014-01-21 Fuji Xerox Co., Ltd. Print data processing system, print data processing method, and non-transitory computer readable medium
EP3070658A1 (en) 2015-03-18 2016-09-21 Fujitsu Limited Data classifying program, data classifying method, and data classifying deivce
JP2015144929A (ja) * 2015-05-19 2015-08-13 キヤノン株式会社 画像処理方法および装置
JP6539418B1 (ja) * 2017-10-27 2019-07-03 楽天株式会社 画像抽出装置、画像抽出方法及び画像抽出プログラム
JP2020187398A (ja) * 2019-05-10 2020-11-19 株式会社プロフィールド 情報処理装置、情報処理方法及びプログラム
JP7333027B2 (ja) 2019-05-10 2023-08-24 株式会社プロフィールド 情報処理装置、情報処理方法及びプログラム
JP2021072091A (ja) * 2019-10-30 2021-05-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム
JP7474300B2 (ja) 2021-10-25 2024-04-24 アクシス アーベー ビデオデータ内の検索の実施に関連してビデオデータを符号化及び復号するための方法及びシステム
CN116401392A (zh) * 2022-12-30 2023-07-07 以萨技术股份有限公司 一种图像检索的方法、电子设备及存储介质
CN116401392B (zh) * 2022-12-30 2023-10-27 以萨技术股份有限公司 一种图像检索的方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP2001160062A (ja) 画像データ検索装置
JP2630923B2 (ja) 画像認識方法及び装置
EP0933920B1 (en) Data processing apparatus and method and storage medium
US5946417A (en) System and method for a multiresolution transform of digital image information
US7437011B2 (en) Image processing apparatus and method
US6041147A (en) Content-based indexing of images by coding levels defined as a function of reduced entropy
JP3038143B2 (ja) 映像機器の物体別形状情報の減縮装置及びその減縮方法並びに多角近似化方法
US7664334B2 (en) Image encoder, image encoding method, recording medium and computer data signal embodied in a carrier wave
US6950471B2 (en) Coding device, coding method and storage medium
JP2002541738A (ja) 画像圧縮
JP3389369B2 (ja) 輪郭近似装置
JP2011108262A (ja) 少なくとも１つの画像及び画像群を表現する方法、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体
JP2003018602A (ja) 画像データ符号化および復号のための方法および装置
Efstratiadis et al. Hierarchical partition priority wavelet image compression
JP2000048036A (ja) 画像処理装置およびその方法
JP2001186516A (ja) 画像データの符号化復号化方法及び装置
US6594375B1 (en) Image processing apparatus, image processing method, and storage medium
JP4079315B2 (ja) ボリュームデータ符号化装置
JP2002199401A (ja) 画像符号化装置、画像復号化装置、電子カメラ、および記録媒体
US20020051489A1 (en) Image matching method, and image processing apparatus and method using the same
JP2626521B2 (ja) 画像符号変換装置
JP2005184062A (ja) 画像データ変換装置および画像データ変換プログラム
EP1365357A1 (en) Device for creating image feature from image having any shape
Idris et al. Spatio-temporal indexing of vector quantized video sequences
JP2004289284A (ja) 画像処理方法および画像処理装置ならびに画像処理プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20060529