JP2007034724A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】対象画像の特徴が反映された変形画像を簡易に生成することを課題とする。
【解決手段】画像処理装置では、所定の顔画像が参照画像として予め記憶されており、入力画像が入力されると、所定の対応点探索手法を用いて、入力画像と参照画像との間で対応点を求め、入力画像の各対応点から参照画像の各対応点に対する変形ベクトルを自動算出する。そして、自動算出された変形ベクトルの中間点を変形先として設定し、かかる変形先に向けて入力画像を変形させることで変形画像を生成する。さらに、変形画像における各画素の画素値を近傍の局所領域における平均値および分散値で正規化するなどして、イラスト風の変形画像を生成する。
【選択図】 図１

Description

この発明は、処理対象である対象画像を変形させて変形画像を生成する画像処理装置、画像処理方法および画像処理プログラムに関する。

従来より、デジタルカメラ等で撮像された顔画像から似顔絵やイラストの画像を生成するなど、処理対象である対象画像を変形させて変形画像を生成する技術が知られている。例えば、特許文献１（特開２００２−１７５５３８号公報）や特許文献２（特開２００４−１２０１０８号公報）、特許文献３（特開平１０−７５４１４号公報）、特許文献４（特開平１０−５６７３号公報）には、顔画像から目、鼻、口等の各パーツの位置を検出し、その検出位置に予め用意した各パーツの画像を手動によって貼り付けることで似顔絵の画像を生成する技術が開示されている。

特開２００２−１７５５３８号公報 特開２００４−１２０１０８号公報 特開平１０−７５４１４号公報 特開平１０−５６７３号公報

しかしながら、上記した従来の技術では、以下に説明するように、変形画像の生成作業が面倒であるという課題や、変形画像において元画像の特徴を必ずしも反映できないという課題がある。

すなわち、上記した従来の技術では、手動によって各パーツの画像を貼り付ける必要があるので、変形画像の生成作業が面倒であるという課題がある。また、この従来の技術では、元の画像に見合ったパーツの画像が常に貼り付けられる訳ではないので、変形画像において元画像の特徴を必ずしも反映できないという課題がある。

なお、対象画像を変形させて変形画像を生成する技術としては、顔画像モーフィング処理（例えば、２枚の顔画像の間で手動によって対応点（変形ベクトル）を求め、この対応点に沿って顔画像をモーフィングさせることで似顔絵の画像を生成する手法）も知られているが、この顔画像モーフィング処理でも、手動によって顔画像間の対応点（変形ベクトル）を求める必要があるので、変形画像の生成作業が面倒であるという課題がある。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、対象画像の特徴が反映された変形画像を簡易に生成することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に係る発明は、処理対象である対象画像を変形させて変形画像を生成する画像処理装置であって、所定の対応点検索手法を用いて前記対象画像と所定の参照画像との間で対応点を求めて、当該対象画像から参照画像に対する変形ベクトルを算出する変形ベクトル算出手段と、前記変形ベクトル算出手段によって算出された変形ベクトルに基づいて前記対象画像を変形させることで前記変形画像を生成する変形画像生成手段と、を備えたことを特徴とする。

また、請求項２に係る発明は、上記の発明において、前記変形ベクトル算出手段は、前記処理対象の平均が表現された平均画像を前記参照画像として用いて、当該平均画像に対する変形ベクトルを算出し、前記変形画像生成手段は、前記平均画像に対して算出された変形ベクトルのプラス方向に前記対象画像を変形させることで前記変形画像を生成することを特徴とする。

また、請求項３に係る発明は、上記の発明において、前記変形ベクトル算出手段は、前記処理対象の平均が表現された平均画像を前記参照画像として用いて、当該平均画像に対する変形ベクトルを算出し、前記変形画像生成手段は、前記平均画像に対して算出された変形ベクトルのマイナス方向に前記対象画像を変形させることで前記変形画像を生成することを特徴とする。

また、請求項４に係る発明は、上記の発明において、前記変形画像生成手段によって生成された変形画像において、各画素の画素値を近傍の局所領域における平均値および分散値で正規化することで前記変形画像の平均分散正規化画像を生成する平均分散正規化画像生成手段をさらに備えたことを特徴とする。

また、請求項５に係る発明は、上記の発明において、前記平均分散正規化画像生成手段によって生成された平均分散正規化画像において、プラス成分を有する画素の値をゼロに変換することで前記変形画像のマイナス成分画像を生成するマイナス成分画像生成手段をさらに備えたことを特徴とする。

また、請求項６に係る発明は、上記の発明において、前記マイナス成分画像生成手段は、プラス成分の画素をゼロに変換するとともに、所定の値未満のマイナス成分を有する画素の値を当該所定の値に変換することで前記変形画像のマイナス成分画像を生成することを特徴とする。

また、請求項７に係る発明は、上記の発明において、前記平均分散正規化画像生成手段によって生成された平均分散正規化画像または前記マイナス成分画像生成手段によって生成されたマイナス成分画像に対してフィルタ処理を施すフィルタ処理手段をさらに備えたことを特徴とする。

また、請求項８に係る発明は、処理対象である対象画像を変形させて変形画像を生成する画像処理方法であって、所定の対応点検索手法を用いて前記対象画像と所定の参照画像との間で対応点を求めて、当該対象画像から参照画像に対する変形ベクトルを算出する変形ベクトル算出工程と、前記変形ベクトル算出工程によって算出された変形ベクトルに基づいて前記対象画像を変形させることで前記変形画像を生成する変形画像生成工程と、を含んだことを特徴とする。

また、請求項９に係る発明は、処理対象である対象画像を変形させて変形画像を生成する画像処理方法をコンピュータに実行させる画像処理プログラムであって、所定の対応点検索手法を用いて前記対象画像と所定の参照画像との間で対応点を求めて、当該対象画像から参照画像に対する変形ベクトルを算出する変形ベクトル算出手順と、前記変形ベクトル算出手順によって算出された変形ベクトルに基づいて前記対象画像を変形させることで前記変形画像を生成する変形画像生成手順と、をコンピュータに実行させることを特徴とする。

請求項１、８または９の発明によれば、所定の対応点検索手法を用いて対象画像と所定の参照画像との間で対応点を求めて、対象画像から参照画像に対する変形ベクトルを算出し、この変形ベクトルに基づいて対象画像を変形させることで変形画像を生成するので、対象画像と参照画像との間で変形ベクトル（対応点）が自動で算出され、かつ、対象画像が変形ベクトルに基づいて変形される結果、対象画像の特徴が反映された変形画像を簡易に生成することが可能である。

また、請求項２の発明によれば、処理対象の平均が表現された平均画像を参照画像として用いて、当該平均画像に対する変形ベクトルを算出し、この変形ベクトルのプラス方向に対象画像を変形させることで変形画像を生成するので、例えば、平均顔画像を参照画像として用いて変形ベクトルを算出し、この変形ベクトルのプラス方向に顔画像を変形させた似顔絵の画像を生成することで、均整のとれた顔にデフォルメされた似顔絵の画像を生成することも可能である。

また、請求項３の発明によれば、処理対象の平均が表現された平均画像を参照画像として用いて、当該平均画像に対する変形ベクトルを算出し、この変形ベクトルのマイナス方向に対象画像を変形させることで変形画像を生成するので、例えば、平均顔画像を参照画像として用いて変形ベクトルを算出し、この変形ベクトルのマイナス方向に顔画像を変形させた似顔絵の画像を生成することで、本人の個人特徴が強調された似顔絵の画像を生成することも可能である。

また、請求項４の発明によれば、変形画像における各画素の画素値を近傍の局所領域における平均値および分散値で正規化することで変形画像の平均分散正規化画像を生成するので、単純な二値化の階調変換処理に比較して、特徴が薄れない形で階調変換処理が行われる結果、対象画像の特徴が反映された平均分散正規化画像（変形画像）を生成することも可能である。

また、請求項５の発明によれば、平均分散正規化画像におけるプラス成分を有する画素の値をゼロに変換することで変形画像のマイナス成分画像を生成するので、単純なエッジ強調の階調変換処理に比較して、エッジ部分のみならず影部分も強調された変形画像が生成される結果、リアルな変形画像を生成することも可能である。

また、請求項６の発明によれば、プラス成分の画素をゼロに変換するとともに、所定の値未満のマイナス成分を有する画素の値を当該所定の値に変換することで変形画像のマイナス成分画像を生成するので、情報量を削減しつつ階調数を減らしたイラスト風の変形画像を生成することも可能である。

また、請求項７の発明によれば、平均分散正規化画像やマイナス成分画像に対してフィルタ処理を施すので、例えば、メディアンフィルタや積分フィルタを通すことで、エッジの広がりを制御しつつ細かなノイズが除去される結果、よりイラスト風の変形画像を生成することも可能である。

以下に添付図面を参照して、この発明に係る画像処理装置、画像処理方法および画像処理プログラムの実施例１および実施例２に分けて詳細に説明する。

以下の実施例１では、顔画像から似顔絵の画像を生成する似顔絵生成処理に本発明を適用した例を説明する。具体的には、実施例１に係る画像処理装置の概要および特徴を説明した後に、画像処理装置の構成、画像処理（似顔絵生成処理）の流れ、変形ベクトル算出処理の流れ、実施例１による効果を順に説明する。

［画像処理装置の概要および特徴］
最初に、図１を用いて、実施例１に係る画像処理装置の概要および特徴を説明する。図１は、実施例１の概要および特徴を説明するための図である。

実施例１に係る画像処理装置は、デジタルカメラ等で撮像された顔画像を入力画像として受け付け、この顔画像を変形させて似顔絵の画像を生成することを概要とする。そして、この画像処理装置は、以下に簡単に説明するように、本人の特徴が反映された似顔絵の画像を簡易に生成できる点に主たる特徴がある。

すなわち、図１に示すように、実施例１に係る画像処理装置では、所定の顔画像が参照画像として予め記憶されており、入力画像が入力されると、所定の対応点探索手法を用いて、入力画像から参照画像に対する変形ベクトルを算出する。つまり、所定の対応点探索手法を用いて入力画像と参照画像との間で対応点を求め、入力画像の各対応点から参照画像の各対応点に対する変形ベクトルを自動算出する。

その後、かかる画像処理装置では、自動算出された変形ベクトルに基づいて入力画像をモーフィングする。つまり、例を挙げれば、変形ベクトルの中間点を変形先として設定し、かかる変形先に向けて入力画像を変形させることで変形画像を生成する。さらに、この画像処理装置では、変形画像に対して階調変換処理を施して似顔絵の画像を生成する。つまり、変形画像における各画素の画素値を近傍の局所領域における平均値および分散値で正規化するなどして、イラスト風の変形画像を生成する。

したがって、実施例１に係る画像処理装置によれば、入力画像と参照画像との間で変形ベクトル（対応点）が自動で算出され、かつ、入力画像が変形ベクトルに基づいて変形されるので、上記した主たる特徴の如く、本人の特徴が反映された似顔絵の画像を簡易に生成することが可能である。なお、実施例において、「顔画像（入力画像）」は特許請求の範囲に記載の「対象画像」に対応し、「似顔絵の画像」は同じく特許請求の範囲に記載の「変形画像」や「平均分散正規化画像」、「マイナス成分画像」に対応する。

［画像処理装置の構成］
続いて、図２〜図１０を用いて、実施例１に係る画像処理装置の構成を説明する。図２は、実施例１に係る画像処理装置の構成を示すブロック図であり、図３は、入力画像および参照画像の例を示す図であり、図４は、変形ベクトルの例を示す図であり、図５は、入力画像の変形先の例を示す図であり、図６は、変形画像の例を示す図であり、図７は、階調変換画像の例を示す図であり、図８は、似顔絵の例を示す図であり、図９は、平均分散正規化画像の生成に用いる変換式を示す図であり、図１０は、マイナス成分画像の生成を説明するための図である。

図２に示すように、実施例１に係る画像処理装置１０は、画像入力部１１と、画像出力部１２と、画像入出力処理部１３と、記憶部１４と、モーフィング部１５と、階調変換部１６とから構成される。

このうち、画像入力部１１は、処理対象である対象画像（ここでは、顔画像）を画像処理装置１０に入力する手段であり、例えば、顔画像を撮像して入力する撮像部や、ネットワークから画像を受け付けて入力するインターフェース部、外部の二次記憶装置から画像を読み出して入力するインターフェース部がこれに該当する。なお、画像入力部１１によって入力された顔画像は、入力画像として記憶部１４に記憶される。

画像出力部１２は、画像処理装置１０の記憶部１４に記憶された各種の顔画像（例えば、後述するモーフィング部１５や階調変換部１６によって生成された似顔絵の画像など）を出力する手段であり、例えば、顔画像を表示して出力するモニタ（若しくはディスプレイ）や、ネットワークに対して画像を送信して出力するインターフェース部、外部の二次記憶装置に対して画像を出力するインターフェース部がこれに該当する。

画像出力処理部１３は、画像出力部１２に画像を出力する処理部である。具体的には、モーフィング部１５や階調変換部１６の処理状況に応じて、現に処理されている画像や最終的な処理済み画像などを記憶部１４から読み出して画像出力部１２に出力し、また、ユーザから出力対象となる画像の選択を受け付けて、選択された画像を記憶部１４から読み出して画像出力部１２に出力する。

記憶部１４は、後述するモーフィング部１５や階調変換部１６による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）であり、特に本発明に密接に関連するものとしては、変形ベクトルの算出に用いる参照画像（図３参照）、画像入力部１１から入力された入力画像（図３参照）、モーフィング部１５によって生成された変形画像、階調変換部１６によって生成された平均分散正規化画像、マイナス成分画像、フィルタ済画像などを記憶する。なお、参照画像は、入力画像の入力に先立って予め記憶部１４に記憶されている場合に限定されず、入力画像とともに入力されるようにしてもよい。

モーフィング部１５は、入力画像を変形させて変形画像を生成する処理部であり、特に本発明に密接に関連するものとしては、図２に示すように、変形ベクトル算出部１５ａと、変形先設定部１５ｂと、変形画像生成部１５ｃとを備える。なお、変形ベクトル算出部１５ａは特許請求の範囲に記載の「変形ベクトル算出手段」に対応し、変形先設定部１５ｂおよび変形画像生成部１５ｃは同じく「変形画像生成手段」に対応する。

かかるモーフィング部１５のうち、変形ベクトル算出部１５ａは、所定の対応点探索手法を用いて、入力画像から所定の参照画像（記憶部１４に記憶された参照画像）に対する変形ベクトルを算出する処理部である。具体的には、画像入力部１１から入力画像が入力されると（若しくは、記憶部１４に記憶された各種の画像のなかから処理対象となる入力画像がユーザによって選択されると）、変形ベクトル算出部１５ａは、所定の対応点探索手法を用いて、入力画像と参照画像との間で対応点を探索し、入力画像の各対応点から参照画像の各対応点に対する変形ベクトルを自動算出する（図３および図４参照）。

変形先設定部１５ｂは、変形ベクトル算出部１５ａによって算出された変形ベクトルに基づいて入力画像の変形先を設定する処理部である。具体的には、例えば、図５に示すように、変形ベクトル算出部１５ａによって算出された変形ベクトルの中間点を入力画像の変形先として設定する。

変形画像生成部１５ｃは、入力画像を変形させることで変形画像を生成する処理部である。具体的には、変形先設定部１５ｂによって設定された変形先（例えば、変形ベクトルの中間点）に向けて入力画像を変形させる（つまり、モーフィングさせる）ことで変形画像を生成する（図６参照）。

階調変換部１６は、モーフィング１５によって生成された変形画像の階調を変換する処理部であり、特に本発明に密接に関連するものとしては、図２に示すように、平均分散正規化画像生成部１６ａと、マイナス成分画像生成部１６ｂと、フィルタ部１６ｃとを備える。なお、平均分散正規化画像生成部１６ａは特許請求の範囲に記載の「平均分散正規化画像生成手段」に対応し、マイナス成分画像生成部１６ｂは同じく「マイナス成分画像生成手段」に対応し、フィルタ部１６ｃは同じく「フィルタ処理手段」に対応する。

かかる階調変換部１６のうち、平均分散正規化画像生成部１６ａは、モーフィング部１５によって生成された変形画像から当該変形画像の平均分散正規化画像を生成する処理部である。具体的には、図９に示す変換式に従い、モーフィング部１５によって生成された変形画像において、各画素の画素値を近傍の局所領域における平均値および分散値で正規化することで変形画像の平均分散正規化画像を生成する。

マイナス成分画像生成部１６ｂは、平均分散正規化画像生成部１６ａによって生成された平均分散正規化画像からマイナス成分画像を生成する処理部である。具体的には、図１０に示す変換規則に従い、平均分散正規化画像生成部１６ａによって生成された平均分散正規化画像において、プラス成分を有する画素の値をゼロに変換するとともに、所定の値（例えば「−ｋσ」）未満のマイナス成分を有する画素の値を当該所定の値に変換することで変形画像のマイナス成分画像を生成する。なお、所定の値（例えば「−ｋσ」）以上のマイナス成分を有する画素の値については、図１０に示すように、変換されない。

フィルタ部１６ｃは、マイナス成分画像生成部１６ｂによって生成されたマイナス成分画像に対してフィルタ処理を施す処理部である。具体的には、メディアンフィルタや積分フィルタに代表されるフィルタをマイナス成分画像に適用することで、エッジの広がりを抑えつつ細かなノイズを除去したフィルタ済画像を生成する。

このように、上記した階調変換部１６の各部によって図６に示すような変形画像の階調が変換されることによって、図７に示すような階調変換画像（つまり、最終的な処理済み画像である似顔絵の画像）が生成される。なお、図８に示す似顔絵の例も、上記したモーフィング部１５および階調変換部１６による処理によって生成されたものである。

ところで、上述してきた実施例１に係る画像処理装置１０であるが、既知のパーソナルコンピュータ、ワークステーション、携帯電話、ＰＨＳ端末、移動体通信端末またはＰＤＡなどの情報処理装置や、デジタルカメラやデジタルテレビなどの情報家電に、上記した各部の各機能を搭載することによって実現することもできる。

［画像処理（似顔絵生成処理）の流れ］
続いて、図１１を用いて、実施例１による画像処理（似顔絵生成処理）の流れを説明する。図１１は、実施例１による画像処理の流れを示すフローチャートである。

同図に示すように、実施例１に係る画像処理装置１０においては、入力画像となる顔画像が画像入力部１１から入力されると（ステップＳ１０１）、所定の対応点探索手法を用いて、入力画像から所定の参照画像に対する変形ベクトルを算出する（ステップＳ１０２）。なお、かかる変形ベクトル算出処理については図１２を用いて後述する。

変形ベクトルが算出されると、画像処理装置１０は、かかる変形ベクトルに基づいて入力画像の変形先を設定する（ステップＳ１０３）。具体的に例を挙げれば、変形ベクトルの中間点を入力画像の変形先として設定する。これに続いて、画像処理装置１０は、入力画像を変形させることで変形画像を生成する（ステップＳ１０４）。具体的には、上記のステップＳ１０４で設定された変形先（例えば、変形ベクトルの中間点）に向けて入力画像をモーフィングさせることで変形画像を生成する。

その後、画像処理装置１０は、変形画像の平均分散正規化画像を生成する（ステップＳ１０５）。具体的には、上記のステップＳ１０４で生成された変形画像において、各画素の画素値を近傍の局所領域における平均値および分散値で正規化することで変形画像の平均分散正規化画像を生成する。そして、画像処理装置１０は、平均分散正規化画像からマイナス成分画像を生成する（ステップＳ１０６）。具体的には、上記のステップＳ１０５で生成された平均分散正規化画像において、プラス成分を有する画素の値をゼロに変換するとともに、所定の値（例えば「−ｋσ」）未満のマイナス成分を有する画素の値を当該所定の値に変換することで変形画像のマイナス成分画像を生成する。

これに続いて、画像処理装置１０は、マイナス成分画像に対してフィルタ処理を施す（ステップＳ１０７）。具体的には、上記のステップＳ１０６で生成されたマイナス成分画像に対して、メディアンフィルタや積分フィルタに代表されるフィルタを適用することで、エッジの広がりを制御しつつ細かなノイズを除去したフィルタ済画像を生成する。上記した一連の処理を通じて、図８に示すような似顔絵の画像が生成される。

［変形ベクトル算出処理の流れ］
続いて、図１２を用いて、変形ベクトル算出処理（図１１に示すステップＳ１０２で実行される処理）の流れを説明する。図１２は、変形ベクトル算出処理の流れを示すフローチャートである。なお、以下で説明する処理は、実施例１に係る画像処理装置１０が用いる対応点探索手法の一例であり、これとは別の対応点探索手法を用いる場合でも同様に本発明を適用することができる。

同図に示すように、画像処理装置１０では、入力画像となる顔画像が画像入力部１１から入力され、かつ、記憶部１４から参照画像が読み出されると、参照画像を参照部分画像に分割する（ステップＳ２０１）。例えば、３２×３２画素の参照画像を７×７画素からなる２５個の参照部分画像に分割する。また、画像処理装置１０は、入力画像を入力部分画像に分割する（ステップＳ２０２）。例えば、３２×３２画素の入力画像２２を２１×２１画素からなる２５個の入力部分画像に分割する。

そして、画像処理装置１０は、この参照部分画像と入力部分画像との間における類似度画像を作成する（ステップＳ２０３）。例えば、入力部分画像と参照部分画像の類似度を画素値とする類似度画像の作成を各入力部分画像ごとに行って、複数の類似度画像を作成する。これに続いて、画像処理装置１０は、各類似度画像の画素値が最大となる位置（最大値の位置）を検出する（ステップＳ２０４）。

その後、画像処理装置１０は、４方向の累積加算処理（すなわち、画像の横方向であるｊ方向の累積加算処理、当該横方向の逆方向である−ｊ方向の累積加算処理、画像の縦方向であるｉ方向の累積加算処理、当該縦方向の逆方向である−ｉ方向の累積加算処理）をそれぞれ独立して行い（ステップＳ２０５）、ｊ、−ｊ、ｉ、−ｉ方向の累積加算された類似度画像の各画素の８近傍内の９画素の最大値をステップＳ２０３で作成された類似度画像の各画素に加算して各類似度画像を更新し（ステップＳ２０６）、続いて、この更新された類似度画像の最大値の位置を検出する（ステップＳ２０７）。

そして、画像処理装置１０は、各類似度画像の最大値の位置変動を算出し（ステップＳ２０８）、すべての最大値の位置変動が所定値以内であるか否かを調べ（ステップＳ２０９）、所定値以内でなければ（ステップＳ２０９否定）、ステップＳ２０５に移行して同様の処理を繰り返し、所定値以内であれば（ステップＳ２０９肯定）、この位置を対応点と決定する（ステップＳ２１０）。なお、上記のステップＳ２０９における処理は、各類似度画像の最大値の位置の前回の各類似度画像の最大値の位置からの変化分が所定値以内であるか否かを調べるという処理であり、所定値以内であれば、ステップＳ２１０において、更新処理後の各類似度画像の最大値の位置を入力画像の参照画像に対する対応点と決定する。

その上で、画像処理装置１０は、上記のステップＳ２１０で求まった各画像の各対応点を結んで、入力画像の各対応点から参照画像の各対応点に対する変形ベクトルを算出する（ステップＳ２１１）。なお、上記では説明の便宜上、ｊ方向の累積加算処理、−ｊ方向の累積加算処理、ｉ方向の累積加算処理および−ｉ方向の累積加算処理を順次行う例を示したが、これらはそれぞれ独立した処理を行うことができるので、並列処理化するようにしてもよい。

［実施例１の効果］
上述してきたように、実施例１によれば、モーフィング部１５において、所定の対応点探索手法を用いて、顔画像である入力画像から同じく顔画像である所定の参照画像に対する変形ベクトルを算出し、この変形ベクトルに基づいて入力画像を変形させることで変形画像を生成するので、入力画像と参照画像との間で変形ベクトル（対応点）が自動で算出され、かつ、入力画像が変形ベクトルに基づいて変形される結果、入力画像の特徴が反映された変形画像を簡易に生成することが可能である。さらに付言すれば、デジタルカメラ等で撮像された顔画像そのものを流通させると個人情報の漏洩として種々の問題が生じてしまうという課題があるが、本発明によれば、本人の特徴が反映された似顔絵を簡易に生成することが可能であるので、かかる似顔絵を用いることで、そのような課題を解決しつつ十分に個人を特定・認識できるというメリットが得られる。

また、実施例１によれば、階調変換部１６において、モーフィング部１５によって生成された変形画像における各画素の画素値を近傍の局所領域における平均値および分散値で正規化することで変形画像の平均分散正規化画像を生成するので、単純な二値化の階調変換処理に比較して、特徴が薄れない形で階調変換処理が行われる結果、入力画像の特徴が反映された平均分散正規化画像（変形画像）を生成することも可能である。つまり、単純な二値化の階調変換処理に比較して、本人の特徴が反映された似顔絵を生成することもできる。

また、実施例１によれば、階調変換部１６において、平均分散正規化画像におけるプラス成分を有する画素の値をゼロに変換することで変形画像のマイナス成分画像を生成するので、単純なエッジ強調の階調変換処理に比較して、エッジ部分のみならず影部分も強調された変形画像が生成される結果、リアルな変形画像を生成することも可能である。つまり、単純なエッジ強調の階調変換処理に比較して、リアルな似顔絵を生成することもできる。

また、実施例１によれば、階調変換部１６においてマイナス成分画像を生成する際に、プラス成分の画素をゼロに変換するとともに、所定の値（例えば「−ｋσ」）未満のマイナス成分を有する画素の値を当該所定の値に変換することで変形画像のマイナス成分画像を生成するので、情報量を削減しつつ階調数を減らしたイラスト風の変形画像を生成することも可能である。つまり、情報量を削減しつつ階調数を減らした上で、イラスト風の似顔絵を生成することもできる。

また、実施例１によれば、階調変換部１６において、マイナス成分画像に対してフィルタ処理を施すので、例えば、メディアンフィルタや積分フィルタを通すことで、エッジの広がりを制御しつつ細かなノイズが除去される結果、よりイラスト風の変形画像を生成することも可能である。つまり、よりイラスト風の似顔絵を生成することもできる。

さて、これまで実施例１に係る画像処理装置について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として種々の異なる実施例を説明する。

（１）参考画像および変更先
例えば、上記の実施例で示した参考画像（図３参照）は一例であり、本発明はこれに限定されるものではなく、いわゆる平均顔（特許請求の範囲に記載の「平均画像」）を参考画像として用いて変形ベクトルを算出するようにしてもよい。

また、上記の実施例では、変形ベクトルの中間点を変更先として設定する場合を説明したが、本発明はこれに限定されるものではなく、かかる変形ベクトルに対して任意の数値（プラスでもマイナスでもよい。また、１以上でも−１以下でもよい。）を掛け合わせて求まる位置を変更先として設定するようにしてもよい。

すなわち、例を挙げると、図１３に示すように、上記した平均顔を参考画像として用いて変形ベクトルを算出する一方で、この変形ベクトルのプラス方向（平均顔の方向）に入力画像を変形させることで変形画像を生成するようにしてもよい。このように、平均顔を参照画像として用いて算出した変形ベクトルのプラス方向に顔画像を変形させて似顔絵の画像を生成すれば、均整のとれた顔にデフォルメされた似顔絵の画像を生成することも可能である。

さらに、例を挙げると、図１４に示すように、上記した平均顔を参考画像として用いて変形ベクトルを算出する一方で、この変形ベクトルのマイナス方向（平均顔とは逆方向）に入力画像を変形させることで変形画像を生成するようにしてもよい。このように、平均顔を参照画像として用いて算出した変形ベクトルのマイナス方向に顔画像を変形させて似顔絵の画像を生成すれば、本人の個人特徴が強調された似顔絵の画像を生成することも可能である。

また、変形ベクトルに基づいて変更先を設定する場合には、対応点ごとに算出された変形ベクトルごとに異なる数値を掛け合わせて変更先を設定するようにしてもよい。つまり、例を挙げると、目については変形ベクトルのマイナス方向を変更先として設定し、口については変形ベクトルのプラス方向を変更先として設定するなど、対応点ごとに入力画像を変形するようにしてもよい。このようにすれば、顔における所定のパーツだけ本人の個人特徴が強調された似顔絵の画像を生成することも可能である。

（２）処理工程の省略
また、上記の実施例では、モーフィング部１５によるモーフィングおよび階調変換部１６による階調変換を行う画像処理装置を説明したが、本発明はこれに限定されるものではなく、入力画像に対してモーフィング部１５によるモーフィングのみを行う画像処理装置を構成してもよく、また、入力画像に対して階調変換部１６による階調変換のみを行う画像処理装置を構成してもよい。すなわち、モーフィング部１５によるモーフィングのみでも、また、階調変換部１６による階調変換のみでも、入力画像の特徴が反映された変形画像を簡易に生成することが可能である。

また、上記の実施例では、階調変換部１６による階調変換として、平均分散正規化画像生成、マイナス成分画像生成およびフィルタ処理を行う場合を説明したが、本発明はこれに限定されるものではなく、平均分散正規化画像生成のみを行うようにしてもよく、また、平均分散正規化画像生成およびマイナス成分画像生成のみを行うようにしてもよく、さらに、平均分散正規化画像生成およびフィルタ処理のみを行うようにしてもよい。つまり、いずれの場合でも、本人の特徴が反映された似顔絵、リアルな似顔絵、イラスト風の似顔絵など、入力画像の特徴が反映された変形画像を簡易に生成することが可能である。

また、上記の実施例では、階調変換部１６によるマイナス成分画像生成に際して、プラス成分の画素をゼロに変換するとともに、所定の値（例えば「−ｋσ」）未満のマイナス成分を有する画素の値を当該所定の値に変換することでマイナス成分画像を生成する場合を説明したが、本発明はこれに限定されるものではなく、プラス成分の画素をゼロに変換する処理のみを行うようにしてもよい（つまり、マイナス成分についてはいずれも変換しないようにしてもよい）。つまり、この場合でも、単純なエッジ強調の階調変換処理に比較して、リアルな似顔絵を生成することが可能である。

（３）他の変形画像
また、上記の実施例では、顔画像を入力画像として似顔絵を生成する場合を説明したが、本発明はこれに限定されるものではなく、塗り絵下地画像生成にも本発明を同様に適用することができる。つまり、本発明を塗り絵下地画像生成に適用することで、元の画像の特徴が反映された塗り絵下地を簡易に生成することが可能である。

さらに、本発明を風景画像などに適用することで、原風景の特徴が反映されたイラスト風の風景画を簡易に生成することが可能である。なお、デジタルカメラ等で撮像した画像をネットワーク経由で受け付けて、似顔絵や塗り絵下地を返信するネットサービスを提供することも可能である。

（４）システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した画像処理装置１０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、画像処理装置１０の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、画像処理装置１０にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

なお、本実施例で説明した画像処理方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上のように、本発明に係る画像処理装置、画像処理方法および画像処理プログラムは、処理対象である対象画像を変形させて変形画像を生成する場合に有用であり、特に、対象画像の特徴が反映された変形画像を簡易に生成することに適する。

実施例１の概要および特徴を説明するための図である。 実施例１に係る画像処理装置の構成を示すブロック図である。 入力画像および参照画像の例を示す図である。 変形ベクトルの例を示す図である。 入力画像の変形先の例を示す図である。 変形画像の例を示す図である。 階調変換画像の例を示す図である。 似顔絵の例を示す図である。 平均分散正規化画像の生成に用いる変換式を示す図である。 マイナス成分画像の生成を説明するための図である。 実施例１による画像処理の流れを示すフローチャートである。 変形ベクトル算出処理の流れを示すフローチャートである。 入力画像の変形先の例を示す図である。 入力画像の変形先の例を示す図である。

符号の説明

１０ 画像処理装置
１１ 画像入力部
１２ 画像出力部
１３ 画像出力処理部
１４ 記憶部
１５ モーフィング部
１５ａ 変形ベクトル算出部
１５ｂ 変形先設定部
１５ｃ 変形画像生成部
１６ 階調変換部
１６ａ 平均分散正規化画像生成部
１６ｂ マイナス成分画像生成部
１６ｃ フィルタ処理部

Claims (9)

1. 処理対象である対象画像を変形させて変形画像を生成する画像処理装置であって、
   所定の対応点検索手法を用いて前記対象画像と所定の参照画像との間で対応点を求めて、当該対象画像から参照画像に対する変形ベクトルを算出する変形ベクトル算出手段と、
   前記変形ベクトル算出手段によって算出された変形ベクトルに基づいて前記対象画像を変形させることで前記変形画像を生成する変形画像生成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記変形ベクトル算出手段は、前記処理対象の平均が表現された平均画像を前記参照画像として用いて、当該平均画像に対する変形ベクトルを算出し、
   前記変形画像生成手段は、前記平均画像に対して算出された変形ベクトルのプラス方向に前記対象画像を変形させることで前記変形画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記変形ベクトル算出手段は、前記処理対象の平均が表現された平均画像を前記参照画像として用いて、当該平均画像に対する変形ベクトルを算出し、
   前記変形画像生成手段は、前記平均画像に対して算出された変形ベクトルのマイナス方向に前記対象画像を変形させることで前記変形画像を生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記変形画像生成手段によって生成された変形画像において、各画素の画素値を近傍の局所領域における平均値および分散値で正規化することで前記変形画像の平均分散正規化画像を生成する平均分散正規化画像生成手段をさらに備えたことを特徴とする請求項１、２または３に記載の画像処理装置。
5. 前記平均分散正規化画像生成手段によって生成された平均分散正規化画像において、プラス成分を有する画素の値をゼロに変換することで前記変形画像のマイナス成分画像を生成するマイナス成分画像生成手段をさらに備えたことを特徴とする請求項４に記載の画像処理装置。
6. 前記マイナス成分画像生成手段は、プラス成分の画素をゼロに変換するとともに、所定の値未満のマイナス成分を有する画素の値を当該所定の値に変換することで前記変形画像のマイナス成分画像を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記平均分散正規化画像生成手段によって生成された平均分散正規化画像または前記マイナス成分画像生成手段によって生成されたマイナス成分画像に対してフィルタ処理を施すフィルタ処理手段をさらに備えたことを特徴とする請求項４、５または６に記載の画像処理装置。
8. 処理対象である対象画像を変形させて変形画像を生成する画像処理方法であって、
   所定の対応点検索手法を用いて前記対象画像と所定の参照画像との間で対応点を求めて、当該対象画像から参照画像に対する変形ベクトルを算出する変形ベクトル算出工程と、
   前記変形ベクトル算出工程によって算出された変形ベクトルに基づいて前記対象画像を変形させることで前記変形画像を生成する変形画像生成工程と、
   を含んだことを特徴とする画像処理方法。
9. 処理対象である対象画像を変形させて変形画像を生成する画像処理方法をコンピュータに実行させる画像処理プログラムであって、
   所定の対応点検索手法を用いて前記対象画像と所定の参照画像との間で対応点を求めて、当該対象画像から参照画像に対する変形ベクトルを算出する変形ベクトル算出手順と、
   前記変形ベクトル算出手順によって算出された変形ベクトルに基づいて前記対象画像を変形させることで前記変形画像を生成する変形画像生成手順と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images