JP2008148183A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】メタデータが付与されていないデジタル画像について、人物画像に加えて背景画像に応じたメタデータを容易に且つ正しく付与できるようにする。
【解決手段】デジタル画像を人物画像と背景画像とに区分する（Ｓ２０３）。そして、メタデータが既に付与されている人物画像と一致する人物画像を有するデジタル画像に、そのメタデータのうち人物に応じたメタデータを付与する（Ｓ２１１）。さらに、メタデータが既に付与されている背景画像と一致する背景画像を有するデジタル画像に、そのメタデータのうち背景に応じたメタデータを付与する（Ｓ２１６）。
【選択図】図２

Description

本発明は、前景画像を有するデジタル画像に、付帯データを付与する画像処理装置、画像処理方法、および画像処理プログラムに関する。

デジタルカメラなどの撮影装置を用いてデジタル画像を撮影する時、画像データ以外の多くの情報を表す付帯データ（例えば、画像の解像度、露出設定値、画像の圧縮の程度など）を、所定のファイルフォーマット（例えば「Ｅｘｉｆ（登録商標）」）に従って付与することが行われている。これらの付帯データはメタデータとも呼ばれている。このようにデジタル画像にメタデータを付与することによって、多くのデジタル画像の中から、付与したメタデータに基づいて、特定のデジタル画像を容易に抽出することができるようにしている。

さらに、このようなメタデータとして、デジタル画像が撮られた場所および撮影方向のデータや、被写体に応じた情報（人物名や風景名）のデータなど、撮影者が所望するメタデータなどを付与できるようになってきている。従って、撮影されたデジタル画像には、例えば被写体における前景画像が人物であればメタデータとして「人物名」が、また前景画像以外の背景画像についてはメタデータとして「背景に写っている建物名」や「撮影場所」が、それぞれデジタル画像を特定するメタデータとして付与されることが一般的に行われるようになってきた。

一方、例えば所謂フィルムカメラと称する撮影装置で、撮影者が以前より撮り貯めたスチール写真が多く存在している。このようなスチール写真は、一般的に家族など人物を写した撮影者にとって大切な写真が多い。このため、撮影者は、家族が写ったスチール写真を、スキャナなどといった入力装置を用いてデジタル画像に変換し、変換したデジタル画像をＣＤ−ＲＯＭなどの所定の記録媒体に保存することが行われるようになってきた。スチール写真は、フィルム表面の銀塩が劣化し、撮影画像が退色して観賞できなくなってしまうためである。

このようなスチール写真には、基本的にメタデータは付与されていないので、スチール写真を変換したデジタル画像には、基本的にメタデータは存在しないことになる。従って、例えばＣＤ−ＲＯＭなどの記録媒体に保存された多くのデジタル画像から、スチール写真を変換したデジタル画像を容易に抽出できるようにするためには、スチール写真を変換したデジタル画像にメタデータを付与しておく必要がある。

ところで、メタデータが付与されていないデジタル画像に対して、メタデータを付与する作業は、作業者が、デジタル画像の画像内容を確認しながら、所定の入力手段を用いて適切なデータを入力するという大変面倒な作業になる。また、このような付与作業において、例えば被写体の人物の名前を忘れ、人物名をメタデータとして入力することができない場合は、付与作業自体ができないことにもなる。そこで、このように、メタデータが付与されていないデジタル画像について、メタデータを自動的に付与するための方法が、特許文献１に提案されている。特許文献１には、取り込んだ画像内の人物の名前をその画像のメタデータに追加する技術が開示されている。

特開２００４−６２８６８号公報

しかしながら、特許文献１に開示された技術は、取り込んだ画像内の顔と一致した既知の顔の人物名をメタデータとして追加するものであり、前景画像となる人物画像を除く背景画像に応じたメタデータ（例えば、風景名）については、その付与方法について何ら技術開示がなされていない。従って、人物画像についてはメタデータを自動的に付与することができるものの、背景画像については前述したような付与作業を行う必要があり、容易にメタデータを付与することができないという課題がある。

本発明はこのような課題に鑑みてなされたもので、例えば人物画像といった前景画像を有するデジタル画像に、付帯データを自動的に付与する画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。これによって、メタデータが付与されていないデジタル画像について、前景画像に加えて背景画像に応じたメタデータを容易に且つ正しく付与できるようにするものである。

上記目的を達成する本発明の画像処理装置は、前景画像を有するデジタル画像に、付帯データを付与する画像処理装置であって、前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶部と、前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得部と、前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第１の画像区分部と、前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第２の画像区分部と、前記第１の画像区分部が区分した背景画像と、前記第２の画像区分部が区分した背景画像とが、一致するか否かを判定する一致判定部と、前記一致判定部が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与部と、を備えたことを要旨とする。

この構成によれば、デジタル画像を前景画像と背景画像とに区分する。そして、メタデータが既に付与されている背景画像と一致する背景画像を有するデジタル画像に、そのメタデータのうち背景に応じたメタデータを付与する。

従って、デジタル画像を前景画像と背景画像とに区分してメタデータを付与するので、それぞれの画像に最も適したメタデータが自動的に付与される確率が高くなる。また、デジタル画像を前景画像と背景画像とに区分するので、後述する背景画像の一致判定処理において、前景画像が背景画像に与える影響を排除することができ、一致判定の精度が高くなることが期待できる。

ここで、前記前景画像は人物画像であることとしてもよい。

人物画像は、一般にデジタル画像の画面全体領域に対して写っている画像領域が比較的大きい場合が多く存在する。従って、前景画像を人物画像として区分することによって、区分された背景画像についての一致判定の精度が高くなることが期待できる。従って、背景画像に応じたメタデータが、正しく付与されることが期待できる。

また、前記第１の画像区分部または前記第２の画像区分部は、前記人物画像を有するデジタル画像から顔画像を抽出し、前記抽出された顔画像領域について、顔の大きさに応じて予め定められた画像領域を前記人物画像として区分することとしてもよい。

こうすれば、顔の大きさに応じて予め定められた画像領域を人物画像として区分するので、背景画像の領域と人物画像の領域とを容易に区分することができる。従って、画像の一致判定処理において、人物画像の区分に関する処理負荷が軽減される。

本発明を、画像処理方法として捉えることもできる。すなわち、前景画像を有するデジタル画像に、付帯データを付与する画像処理方法であって、前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶工程と、前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得工程と、前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第１の画像区分工程と、前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第２の画像区分工程と、前記第１の画像区分工程が区分した背景画像と、前記第２の画像区分工程が区分した背景画像とが、一致するか否かを判定する一致判定工程と、前記一致判定工程が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与工程と、を備えたことを要旨とする。

本発明の画像処理方法によれば、上述した本発明の画像処理装置と同様の作用効果を得ることができる。なお、この画像処理方法は、上述した種々の態様を有する画像処理装置において実行してもよいし、他の態様を有する画像処理装置において実行してもよい。

さらに、本発明をコンピュータプログラムとして捉えることもできる。すなわち、前景画像を有するデジタル画像に、付帯データを付与する画像処理プログラムであって、前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶機能と、前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得機能と、前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第１の画像区分機能と、前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第２の画像区分機能と、前記第１の画像区分機能が区分した背景画像と、前記第２の画像区分機能が区分した背景画像とが、一致するか否かを判定する一致判定機能と、前記一致判定機能が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与機能と、をコンピュータに実現させることを要旨とする。

このプログラムが所定のオペレーションシステム上で実行されることによって、上述した画像処理方法が実行され、同じく上述した本発明の画像処理装置と同様の作用効果を得ることができる。このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよいし、インターネットなどの伝送媒体を介してコンピュータに授受されるものでもよい。

次に、本発明の実施の形態を実施例に基づいて説明する。図１は本発明の一実施例としての画像処理装置１００を示す構成図である。本実施例の画像処理装置１００は、基本的に、所定のオペレーティングシステムの下で、所定のアプリケーションプログラムを実行するパーソナルコンピュータである。こうしたコンピュータとしては、本実施例のような汎用のパーソナルコンピュータはもとより、サーバや大型コンピュータなどアプリケーションプログラムが動作するコンピュータであれば、いずれのコンピュータでも用いることができる。

このパーソナルコンピュータには、動画像や静止画像などのデジタル画像を供給するための供給機器としてのデジタルビデオカメラ１４０、ＣＤ−ＲＯＭ（ＤＶＤ−ＲＯＭ）１５０、デジタルカメラ１６０、スキャナ１７０が接続されている。また、パーソナルコンピュータを操作するユーザー（以降、単に「ユーザー」と呼ぶ）が、必要な操作入力を行うための入力機器としてのキーボード１３１およびマウス１３２が接続されている。また、画像処理に際して必要な画像や情報を表示するための表示機器としてのモニター１３０が接続されている。なお、デジタル画像の供給機器としては、図１に示したものの他に、ＵＳＢメモリやカード型のメモリなどが接続されてもよい。

パーソナルコンピュータは、画像処理のための演算処理を実行するＣＰＵ１１０と、その演算処理プログラムなどを記憶するＲＯＭ１１１と、デジタル画像を構成する画素の画素データを一時的に記録して保存するＲＡＭ１１２と、画像処理のためのアプリケーションソフトや供給機器から供給されたデジタル画像を格納するハードディスク（ＨＤ）１１３と、各供給機器との間のインターフェイスを司るＩ／Ｆ１２０と、各入力機器および表示機器との間のインターフェイスを司るＩ／Ｆ１２１とを備えている。それらは、バスライン１１５を介して必要なデータが授受されるように結線されている。

従って、ＣＰＵ１１０が、ＲＯＭ１１１に格納された演算処理プログラムやハードディスク１１３に格納されたアプリケーションソフトを読み出して実行することによって、記憶部１００ａ、取得部１００ｂ、第１の画像区分部１００ｃ、第２の画像区分部１００ｄ、第１の一致判定部１００ｅ、第２の一致判定部１００ｆ、第１のメタデータ付与部１００ｇ、第２のメタデータ付与部１００ｈとして機能する。各部は、主として以下の処理を司る。

記憶部１００ａは、Ｉ／Ｆ１２０を介して各供給機器から供給される付帯データ（以降、メタデータ）が付与されているメタデータ有デジタル画像の画像データを、付与されているメタデータとともにハードディスク１１３に格納して記憶する。取得部１００ｂは、供給機器（例えばスキャナ）から供給されたメタデータが付与されていないメタデータ無デジタル画像を、ＲＡＭ１１２の所定の記録エリアに記録して取得する。第１の画像区分部１００ｃは、ハードディスク１１３に格納されたメタデータ有デジタル画像を、前景画像としての人物画像と背景画像とに区分する。第２の画像区分部１００ｄは、ＲＡＭ１１２に記録されたメタデータ無デジタル画像を、前景画像としての人物画像と背景画像とに区分する。第１の一致判定部１００ｅは、区分されたメタデータ有デジタル画像の人物画像と、メタデータ無デジタル画像の人物画像とを比較し、２つの画像が一致するか否かを判定する。第２の一致判定部１００ｆは、区分されたメタデータ有デジタル画像の背景画像と、メタデータ無デジタル画像の背景画像とを比較し、２つの画像が一致するか否かを判定する。第１のメタデータ付与部１００ｇは、一致した人物画像が含まれるメタデータ有デジタル画像に付与されているメタデータのうち人物に応じたメタデータを、メタデータ無デジタル画像のメタデータとして付与する。第２のメタデータ付与部１００ｈは、一致した背景画像が含まれるメタデータ有デジタル画像に付与されているメタデータのうち、背景に応じたメタデータを、メタデータ無デジタル画像のメタデータとして付与する。

次に、以上の機能構成部を有する画像処理装置１００が行う画像処理について、図２のフローチャートに従って説明する。

この処理が開始されると、まずステップＳ２０１にて、既にメタデータが付与されている複数のメタデータ有デジタル画像を記憶する処理を行う。ＣＰＵ１１０は、Ｉ／Ｆ１２０を介して各供給機器から供給されるデジタル画像を、メタデータとともにハードディスク１１３に格納する。

次に、ステップＳ２０２にて、メタデータが付与されていないメタデータ無デジタル画像を取得する処理を行う。本実施例では、ユーザーがスキャナ１７０（図１）によってスチール写真をデジタル画像に変換するものとする。従って、ＣＰＵ１１０は、Ｉ／Ｆ１２０を介してスキャナ１７０から供給されるスチール写真を変換したデジタル画像について、その画像データをＲＡＭ１１２に記録することによって取得する。

図３（ａ）に、スキャナ１７０から供給されるスチール写真を変換したデジタル画像の一例を示す。このデジタル画像は、前述したようにメタデータ無デジタル画像であり、山を背景にして写した人物画像である。本実施例は、このデジタル画像に付与すべきメタデータとして、人物に応じたメタデータ（例えば、人物名）と背景に応じたメタデータ（例えば、背景名）とを、既にメタデータが付与されているメタデータ有デジタル画像から取得して付与しようというものである。

次に、ステップＳ２０３にて、メタデータ無デジタル画像を人物画像と背景画像に区分する処理を行う。この処理によって、図３（ｂ）に示したように、背景画像が存在しない人物画像と、図３（ｃ）に示したように、人物画像（図中、破線）が切り取られた背景画像とに区分される。

ところで、本実施例では、デジタル画像から人物画像の抽出処理を行うことによって人物画像と背景画像とを区分する。ＣＰＵ１１０は、ハードディスク１１３に格納された人物画像の抽出処理のためのアプリケーションソフトを読み出し、所定の処理を行って人物画像を抽出する。例えば、肌色検出処理によって顔画像を検出し、領域分割処理によって人物の身体に相当する画像領域を探索し、エッジ抽出処理によって身体と背景画像の境界を探索する。また、人物画像の抽出処理として、これらの処理技術の他に、鼻孔を検出して顔画像を検出したりする技術など既に多くの処理技術が開示されており、本実施例では、これらの処理技術を用いて人物画像を抽出するものとする。

次に、ステップＳ２０５にて、メタデータ有デジタル画像の１つを読み出す処理を行う。ＣＰＵ１１０はハードディスク１１３に格納されたメタデータ有デジタル画像を所定の順序（例えば、撮影日時の古い方から時系列順）で１つ読み出す。そして、ステップＳ２０６にて、メタデータ有デジタル画像を人物画像と背景画像に区分する処理を行う。

ステップＳ２０５で読み出したメタデータ有デジタル画像の一例を図４（ａ）に示す。このデジタル画像は、「△ロッジ」を背景にして写した人物画像である。そして、このデジタル画像には、メタデータとして、写っている人物名「太郎」と、背景名「△ロッジ」が付与されているものとする。

このメタデータ有デジタル画像を、ステップＳ２０６にて、人物画像と背景画像に区分する処理を行うことによって、図４（ｂ）に示したように背景画像が存在しない人物画像と、図４（ｃ）に示したように人物画像（図中、破線）が切り取られた背景画像とに区分される。人物画像と背景画像との区分方法は、前述したステップＳ２０３にて説明した方法と同様に行う。従って、ここでは説明を省略する。

次に、ステップＳ２０７にて、人物画像同士及び背景画像同士を比較する処理を行う。本実施例では、画像のパターンと画像データのヒストグラムを用いることとし、人物画像同士の比較を画像データのパターンマッチングによって行い、背景画像同士の比較を画像データのヒストグラムの比較によって行うものとする。なお、パターンマッチングやヒストグラムは、画像処理技術において周知の処理技術であるので、これらの処理についての説明は省略する。

ここで、人物画像同士の比較処理において、本実施例では、検出された顔画像についてパターンマッチングを行うものとする。ＣＰＵ１１０は、人物画像のうち肌色の画像領域を抽出し、抽出した画像領域を顔画像としてパターンマッチング処理を行う。なお、パターンマッチング処理に際しては、比較する２つの顔画像が同じ大きさになるように、いずれか一方の顔画像の大きさを、他方の顔画像の大きさと略一致する大きさに拡大または縮小する。画像の拡大または縮小処理は、画像を構成する画素の補間処理方法（例えば、バイ・リニア法など）によって行うことができる。

次にステップＳ２１０にて、人物画像は一致するか否かを判定処理する。本実施例では、ＣＰＵ１１０は、２つの顔画像を構成する画素の画素値を比較し、対応する各画素についての画素値の差分の総合計値が所定の閾値以内であるか否かによって２つの顔画像が一致するか否かを判定する。もとより、これ以外に、顔画像の一致が判定できる方法（例えば特許文献１に開示された方法）であれば、どのような方法を用いても差し支えない。

判定の結果、顔画像が一致、つまり人物画像が一致する場合（ステップＳ２１０：ＹＥＳ）、ステップＳ２１１にて、読み出したメタデータ有デジタル画像の人物に応じたメタデータを付与する処理を行い、ステップＳ２１５に進む。本実施例では、図３（ｂ）に示したデジタル画像の人物画像と、図４（ｂ）に示したデジタル画像の人物画像とが一致することから、ＣＰＵ１１０は、図４（ａ）に示したメタデータ有デジタル画像のメタデータのうち、人物に応じたメタデータである「太郎」を、図３（ａ）に示した、メタデータ無デジタル画像のメタデータとして付与する。

一方、判定の結果、人物画像が一致しない場合（ステップＳ２１０：ＮＯ）、何もしないで次のステップＳ２１５に進む。

次に、ステップＳ２１５では、背景画像は一致するか否かを判定処理する。本実施例では、ＣＰＵ１１０は、２つの背景画像を、前述したように画素の階調値と出現頻度との関係を示したヒストグラムとして表し、表された２つのヒストグラムを比較し、各階調値に対する出現頻度が所定の頻度差以内であるか否かによって２つの画像が一致するか否かを判定する。もとより、これ以外に、背景画像の一致が判定できる方法であれば、どのような方法を用いても差し支えない。

このように、本実施例では、人物画像と背景画像とを区分して、デジタル画像から人物画像を取り除いた画像を背景画像としている。従って、表されるヒストグラムには、人物画像の影響がほぼ排除されているので、背景画像のみを正しく比較することができるのである。

判定の結果、背景画像が一致する場合（ステップＳ２１５：ＹＥＳ）、ステップＳ２１６にて、読み出したメタデータ有デジタル画像の背景に応じたメタデータを付与する処理を行い、ステップＳ２２０に進む。

一方、判定の結果、背景画像が一致しない場合（ステップＳ２１５：ＮＯ）、何もしないで次のステップＳ２２０に進む。本実施例では、図３（ｃ）に示したメタデータ無デジタル画像の背景画像と、図４（ｃ）に示したメタデータ有デジタル画像の背景画像とは一致しないことから、背景画像に応じたメタデータは付与されない。

そして、ステップＳ２２０にて、読み出していないメタデータ有デジタル画像は存在するか否かを判定処理する。判定の結果、存在すれば（ＹＥＳ）、ステップＳ２０５に戻って上述したステップＳ２２０までの処理を繰り返す。ＣＰＵ１１０はハードディスク１１３に格納されたメタデータ有デジタル画像について、まだ読み出していないデジタル画像から、所定の順序に従って次の１つのデジタル画像を読み出す。

次に読み出されたメタデータ有デジタル画像の一例を図５（ａ）に示す。このデジタル画像は、「凸凹山」を背景にして写した人物画像である。そして、このデジタル画像には、メタデータとして、写っている人物名「次郎」と、背景名「凸凹山」が付与されているものとする。

そして、ステップＳ２０６にて人物画像と背景画像に区分する処理が行われ、このメタデータ有デジタル画像は、図５（ｂ）に示した人物画像と、図５（ｃ）に示した背景画像とに区分される。人物画像と背景画像との区分方法は、前述したステップＳ２０３にて説明した方法と同様である。

次に、前述したように、ステップＳ２０７にて、人物画像同士及び背景画像同士の比較処理が行われ、まずステップＳ２１０にて、人物画像は一致するか否かの判定処理が行われる。

ここでは、図３（ｂ）に示した人物画像と図５（ｂ）に示した人物画像は一致しないので（ステップＳ２１０：ＮＯ）、何もしないで次のステップＳ２１５に進む。

次に、ステップＳ２１５にて、背景画像は一致するか否かの判定処理が行われる。そして、背景画像が一致する場合（ステップＳ２１５：ＹＥＳ）、ステップＳ２１６にて、読み出したメタデータ有デジタル画像の背景に応じたメタデータを付与する処理を行い、ステップＳ２２０に進む。今度は、図３（ｃ）に示したメタデータ無デジタル画像の背景画像と、図５（ｃ）に示したメタデータ有デジタル画像の背景画像とが一致するので、ＣＰＵ１１０は、図５（ａ）に示したメタデータ有デジタル画像のメタデータのうち、背景に応じたメタデータである「凸凹山」を、図３（ａ）に示した、メタデータ無デジタル画像のメタデータとして付与する。

このような処理が、ハードディスク１１３に格納された総てのメタデータ有デジタル画像について行われ、読み出していないメタデータ有デジタル画像が存在しなくなると（ステップＳ２２０：ＮＯ）、本実施例での画像処理装置１００における画像処理が終了する。

ちなみに、本実施例では、図３（ａ）に示したメタデータ無デジタル画像には、上述したメタデータの付与処理の結果、メタデータとして「太郎」と「凸凹山」が付与される。従って、ユーザーは抽出を所望するデジタル画像が「凸凹山」を背景に「太郎」を写した画像である場合、メタデータ「太郎」と「凸凹山」とに基づいて、所望するデジタル画像を容易に抽出することができる。

上述したように、本実施例によれば、メタデータが付与されていないデジタル画像を人物画像と背景画像とに区分する。そして、区分した人物画像と一致する人物画像が写っているデジタル画像に既に付与されているメタデータのうち、人物に応じたメタデータを、メタデータが付与されていないデジタル画像に付与する。さらに、区分した背景画像と一致する背景画像が写っているデジタル画像に既に付与されているメタデータのうち、背景に応じたメタデータを、メタデータが付与されていないデジタル画像に付与する。この結果、ユーザーが抽出を所望するデジタル画像を、メタデータを用いて、大量のデジタル画像から容易に抽出することができる。

また、人物画像と背景画像とを区分してメタデータを付与するので、それぞれの画像に最も適したメタデータが付与される確率が高くなる。また、人物画像と背景画像とを区分するので、背景画像の一致判定処理において、人物画像が背景画像に与える影響を排除することができ、背景画像についての一致判定の精度が高くなることが期待できる。

以上、本発明の実施の形態について実施例により説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。以下、変形例を挙げて説明する。

（第１変形例）
上記実施例では、図２のステップＳ２０３（およびステップＳ２０６）において、顔画像の検出処理の他に、領域分割処理やエッジ抽出処理などの画像処理を行って人物画像を抽出することとした。しかしながら、このような処理は、演算回数も多く、また使用するメモリ領域も多く必要とすることから、画像処理に応じた負荷が重くなってしまう。そこで、変形例として、人物画像を、抽出した顔画像に基づいて予め決められた画像領域とすることとしてもよい。こうすれば、画像処理に応じた負荷を軽減することが可能となり、処理スピードが速くなることが期待できる。

本変形例について、図６と図７を用いて説明する。図６は、抽出した顔画像に対して、人物画像の画像領域の設定例を示した模式図である。図示するように人物画像領域は、図中網掛け部で示したように、横方向（図面左右方向）については、顔画像の横幅ＫＷの中心位置となる線ＫＣＸから、図面左側が長さＫＷ１、図面右側が長さＫＷ２とし、縦方向（図面上下方向）については、顔画像の縦幅ＫＨの中心位置となる線ＫＣＹから、図面上側が長さＫＨ１、図面下側が長さＫＨ２としている。

長さＫＷ１と長さＫＷ２は、顔の横幅ＫＷに対して肩幅を想定した長さを、顔を中心として横方向に設定したものである。また、長さＫＨ１と長さＫＨ２は、顔の縦幅ＫＨに対して、頭髪部分までの長さと足先までの長さを想定して設定したものである。このように人物画像の画像領域を予め定めておけば、顔画像を検出することによって、人物画像の画像領域をおおよそ抽出することができることになる。

こうして人物画像の画像領域を抽出した場合の一例を図７に示した。図７（ａ）は、図３（ａ）に示したメタデータ無デジタル画像に対して、本変形例による区分方法にて人物画像を区分した場合を示し、図７（ｂ）は、図５（ａ）に示したメタデータ有デジタル画像に対して、本変形例による区分方法にて人物画像を区分した場合を示している。

図７において、図中網掛け領域で示した矩形部分が、区分された人物画像の部分になる。図から明らかなように、図７（ａ）で示したメタデータ無デジタル画像については、背景画像の一部が人物画像として区分されるものの、人物画像の部分は殆ど背景画像として区分されないので、背景画像の一致判定処理に際して人物画像が影響を与える確率は小さい。また、図７（ｂ）で示したメタデータ有デジタル画像については、人物画像の一部分（左右の両手部分）が背景画像として区分されるものの、背景画像の大きさに対して画像領域が小さい場合は、ヒストグラムを大きく変化させることが無いので、一致判定処理に際して人物画像が影響を与える確率は小さいと考えて良い。

（第２変形例）
上記実施例では、図２のステップＳ２０７における人物画像同士の比較処理において、検出された顔画像についてパターンマッチングを行うものとした。本変形例では、人物画像全体の画像をヒストグラムによって比較処理することとしてもよい。

このように人物画像全体を比較することによって、例えば人物が横向きに写っていたり、顔が小さく写っていたりして顔画像のパターンマッチングが困難であるような場合に有効である。すなわち、人物画像全体を比較するので、例えば、服装が一致するデジタル画像を抽出することができる。この結果、服装が一致する、つまり人物が一致するデジタル画像を抽出することができ、人物に応じたメタデータを正しく付与することができることになる。また、顔画像の拡大縮小処理を行うことなく人物画像を比較することができるので、処理負荷も軽減できる可能性がある。

具体的な比較処理方法としては、前述した背景画像の比較処理と同様に、２つの人物画像を画素の階調値と出現頻度との関係を示したヒストグラムとして表し、表された２つのヒストグラムを比較し、各階調値の出現頻度が所定の頻度差以内であるか否かによって２つの画像が一致するか否かを判定すればよい。もとより、これ以外に、人物画像の一致が判定できる方法であれば、どのような方法を用いても差し支えない。

（第３変形例）
上記実施例では、ハードディスク１１３に格納された総てのメタデータ有デジタル画像について、所定の順序で１つずつ読み出し、メタデータ無デジタル画像との比較処理を行った。これは、前述しなかったが、こうすることで予め付与されたメタデータについて、人物に応じた総てのメタデータ、および背景に応じた総てのメタデータを付与することができるためである。

しかしながら、予め付与されたメタデータが、同じか凡そ一致している場合は、必ずしもメタデータ有デジタル画像の総てのデジタル画像との比較を行う必要はない。そこで本変形例として、人物画像について一致するデジタル画像が存在し、このデジタル画像に予め付与されている人物に応じたメタデータが、メタデータ無デジタル画像に付与された時点で、人物画像についての比較処理を終了することとしてもよい。また同じく、背景画像について一致するデジタル画像が存在し、このデジタル画像に予め付与されている背景に応じたメタデータが、メタデータ無デジタル画像に付与された時点で、背景画像についての比較処理を終了することとしてもよい。こうすれば、画像処理に応じた負荷が軽減される。

本変形例における具体的な処理については、図示しないが、図２に示した処理フローチャートにおいて、ステップＳ２１１の処理が１回された時点で、以降ステップＳ２１０とステップＳ２１１の処理を行わないようにする。また、ステップＳ２１６の処理が１回された時点で、以降ステップＳ２１５とステップＳ２１６の処理を行わないようにする。そして、ステップＳ２１１とステップＳ２１６の処理が両方１回行われた時点で、すべての処理を終了するようにすればよい。

（その他の変形例）
上記実施例では、メタデータ無デジタル画像をスキャナ１７０から取得するものとしたが、これに限るものではない。例えば、スチール写真をデジタルビデオカメラ１４０やデジタルカメラ１６０で撮影し、撮影したデジタル画像を取得することとしてもよい。あるいは、スチール写真などメタデータが付与されていない画像がデジタル画像として記録されているＣＤ−ＲＯＭ１５０から取得することとしてもよい。

また取得に際して、取得対象となるデジタル画像が多い場合、図１に示したモニター１３０に取得対象となるデジタル画像を一覧表示し、ユーザーがキーボード１３１やマウス１３２を操作して選択することとしてもよい。

また、メタデータ無デジタル画像は、スチール写真のように静止画像から変換されたデジタル画像以外に、動画像から変換されたデジタル画像であってもよい。この場合は、デジタルビデオカメラ１４０から、動画像を構成するフレーム画像を画像処理装置１００に供給する。なお、メタデータ無デジタル画像が動画像のフレーム画像のときは、被写体となる人物が動いている場合、周知のように、時系列順で連続するフレーム画像間の動きベクトル解析によって、人物画像を抽出することができる。

また、上記実施例において、人物画像あるいは背景画像が一致したメタデータ有デジタル画像の総てを、モニター１３０に一覧表示し、メタデータを付与すべき対象となるメタデータ有デジタル画像を、ユーザーがキーボード１３１やマウス１３２を操作して選択することとしてもよい。こうすれば、ユーザーが所望するメタデータを適切に付与することができる。

なお、上記実施例では、人物画像と背景画像の双方にメタデータを付与する構成としたが、人物画像のみ、または背景画像のみにメタデータを付与する構成としてもよい。また、上記実施例では、前景画像として人物画像を対象としたが、人物画像に限らず、特定の画像を前景画像として同様に本発明を適用できることは勿論である。

本発明の一実施例としての画像処理装置についての構成図。 実施例の画像処理装置が行う処理を説明するフローチャート。 （ａ）は、スチール写真を変換したデジタル画像の一例を示す模式図。（ｂ）は、そのデジタル画像から区分された人物画像を示す模式図。（ｃ）は、そのデジタル画像から区分された背景画像を示す模式図。 （ａ）は、読み出されたメタデータ有デジタル画像の一例を示す模式図。（ｂ）は、そのデジタル画像から区分された人物画像を示す模式図。（ｃ）は、そのデジタル画像から区分された背景画像を示す模式図。 （ａ）は、読み出された別のメタデータ有デジタル画像の一例を示す模式図。（ｂ）は、そのデジタル画像から区分された人物画像を示す模式図。（ｃ）は、そのデジタル画像から区分された背景画像を示す模式図。 顔画像に対して、人物画像の画像領域を定めた様子を示した模式図。 （ａ）は、第１変形例による区分方法にて人物画像を区分した場合を示す説明図。（ｂ）は、第１変形例による区分方法にて人物画像を区分した場合を示す説明図。

符号の説明

１００…画像処理装置、１００ａ…記憶部、１００ｂ…取得部、１００ｃ…第１の画像区分部、１００ｄ…第２の画像区分部、１００ｅ…第１の一致判定部、１００ｆ…第２の一致判定部、１００ｇ…第１のメタデータ付与部、１００ｈ…第２のメタデータ付与部、１１０…ＣＰＵ、１１１…ＲＯＭ、１１２…ＲＡＭ、１１３…ハードディスク、１１５…バスライン、１２０…Ｉ／Ｆ、１２１…Ｉ／Ｆ、１３０…モニター、１３１…キーボード、１３２…マウス、１４０…デジタルビデオカメラ、１６０…デジタルカメラ、１７０…スキャナ。

Claims (5)

1. 前景画像を有するデジタル画像に、付帯データを付与する画像処理装置であって、
   前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶部と、
   前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得部と、
   前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第１の画像区分部と、
   前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第２の画像区分部と、
   前記第１の画像区分部が区分した背景画像と、前記第２の画像区分部が区分した背景画像とが、一致するか否かを判定する一致判定部と、
   前記一致判定部が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与部と、
   を備えた画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記前景画像は人物画像であることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記第１の画像区分部または前記第２の画像区分部は、前記人物画像を有するデジタル画像から顔画像を抽出し、前記抽出された顔画像領域について、顔の大きさに応じて予め定められた画像領域を前記人物画像として区分することを特徴とする画像処理装置。
4. 前景画像を有するデジタル画像に、付帯データを付与する画像処理方法であって、
   前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶工程と、
   前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得工程と、
   前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第１の画像区分工程と、
   前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第２の画像区分工程と、
   前記第１の画像区分工程が区分した背景画像と、前記第２の画像区分工程が区分した背景画像とが、一致するか否かを判定する一致判定工程と、
   前記一致判定工程が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与工程と、
   を備えた画像処理方法。
5. 前景画像を有するデジタル画像に、付帯データを付与する画像処理プログラムであって、
   前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶機能と、
   前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得機能と、
   前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第１の画像区分機能と、
   前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第２の画像区分機能と、
   前記第１の画像区分機能が区分した背景画像と、前記第２の画像区分機能が区分した背景画像とが、一致するか否かを判定する一致判定機能と、
   前記一致判定機能が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与機能と、
   をコンピュータに実現させる画像処理プログラム。

Images