JP2005225025A

JP2005225025A - 顔画像処理システム

Info

Publication number: JP2005225025A
Application number: JP2004034769A
Authority: JP
Inventors: Takeyoshi Iguchi; 竹喜井口
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2004-02-12
Filing date: 2004-02-12
Publication date: 2005-08-25
Also published as: US20070140555A1; WO2005078659A1

Abstract

【課題】原画像に画像処理を施こして得られた複数の顔画像を原画像と共に一覧として画像表示手段に表示して、ユーザが表示された顔画像の中から、最適な顔画像を容易に選択できるようにする。
【解決手段】撮影された顔画像に画像処理を施すことにより、前記顔画像の表情を変化させる表情変化手段、顔の肌色を変化させる肌色変化手段、顔を照明する照明条件を擬似的に変化させる照明変化手段、顔の撮影角度を擬似的に変化させる撮影角度変化手段
の中の少なくとも一つの変化手段と、画像表示手段と、操作手段とを有し、前記変化手段の中の少なくとも一つを前記操作手段により選択して前記顔画像に画像処理を施すことにより得た複数の顔画像を前記画像表示手段に変化の小さな顔画像から変化の大きな顔画像の順に並べて表示することを特徴とする顔画像処理システム。
【選択図】図１

Description

３
本発明は、人物の顔を撮影して得られた顔画像に、画像処理を施して生成した複数の顔画像を並べて表示し、表示された顔画像の中から最適な顔画像を選択するために用いられる顔画像処理システムに関する。

一般に、人物写真の良し悪しを決定する大きな要素は、写真に撮られた人物の表情と、顔色と、陰影と、顔の撮影角度である。これらの要素の中でも特に支配的な要素は表情である。しかしながら、人の表情は常に変化をしており、最適なシャッターチャンスを的確につかむことは困難である。また、場合によっては、被写体となった人物が、緊張感をはじめ、その他の事情により、希望する表情ができないこともある。

従来の、アナログ写真においては、撮影者による被撮影者に対する誘導技術と、機を逃さぬ的確なシャッターチャンスを捉える技術とにより、この問題に対応してきた。また、撮影された画像に不都合があり、且つ、再撮影が困難な場合には、撮影された元の画像に、レタッチと称する熟練者による手作業による修正を施すという対応もしてきた。とはいえ、このような手作業による修正は目つぶり顔の修正や顔の皺の除去等には程ほどの対応ができても、表情そのものを変化させることは困難であった。

最近のデジタル画像処理の進歩により、撮影した顔画像（原画像と称す）に画像処理を施すことにより、新たな表情の顔画像を作り出すことが可能となり、この技術に関わる提案も多く出されている（例えば、特許文献１参照。）。また、表情を変化させる画像処理よりも、より簡単な画像処理によって対応できる肌色変化（例えば、特許文献２参照。）、陰影変化（例えば、特許文献３参照。）、撮影角度変化（例えば、特許文献４参照。）に対応する画像処理についても多くの提案がなされている。

上述の各変化に対応する画像処理の中で、特に、デジタル画像処理により新たな表情を作り出すということは、単に、表情を変えた顔画像を作成して楽しむ、あるいは評価をするという目的のための手段として用いるだけではなく、原画像の表情をした人物に対し、普段笑うことの少ない人で表情筋の働きが悪く、うまく笑顔の表情が作れない場合、デジタル画像処理により作り出された新たな表情と同様な表情を、自分自身で作りだすことができるかもしれないという新たな可能性を示唆するための手段としても用いられる。

ある目的のために原画像に画像処理を施して得られた顔画像は画像表示手段に表示されて、また、場合によっては原画像と画像処理後の顔画像が並べて表示されて、目的とする顔画像を得るための確認用の画像となる。しかしながら、目的とする顔画像を得ることは簡単ではなく、同様な作業の試行錯誤を必要とすることが多い。

上述のような試行錯誤の回数を減らすために、画像処理を施して得られた複数の顔画像を画像表示手段に一覧として表示して、その中から最適な顔画像を選択するようにする提案もある。これにより、複数の顔画像を同時に比較することができ、最適な画像を選ぶことが容易になる場合もある。その場合とは、変化する要素が一つであり顔画像の特定の部位の変化が分かりやすいもの、例えば唇の色に変化、髪型の変化等である。

しかしながら、特に、表情が少しずつ変化した顔画像が表示されている場合、あるいは、二つ以上の要素が少しずつ変化した顔画像が表示されている場合、表示されている複数の顔画像の中から最良と思われる顔画像を簡単に選択することができないことも多い。
特開平１１−１６７６２６号公報特開２０００−１５１９８５号公報特開平７−４６５７７号公報（第２−３頁）特開２０００−２５９８３４号公報（第６頁、段落００７１）

本件は、上述のような状況に鑑みてなされたもので、その目的は、原画像に画像処理を施こして得られた複数の顔画像を原画像と共に一覧として画像表示手段に表示して、ユーザが表示された顔画像の中から、最適な顔画像を容易に選択できるようにするものである。また、画像処理を施すための指示操作の操作回数の減少を図るものである。

上述の課題は、以下の手段により達成される。
（１）撮影された顔画像に画像処理を施すことにより、前記顔画像の表情を変化させる表情変化手段、顔の肌色を変化させる肌色変化手段、顔を照明する照明条件を擬似的に変化させる照明変化手段、顔の撮影角度を擬似的に変化させる撮影角度変化手段の中の少なくとも一つの変化手段と、画像表示手段と、操作手段とを有し、前記変化手段の中の少なくとも一つを前記操作手段により選択して前記顔画像に画像処理を施すことにより得た複数の顔画像を前記画像表示手段に変化の小さな顔画像から変化の大きな顔画像の順に並べて表示することを特徴とする顔画像処理システム。
（２）撮影された顔画像に画像処理を施すことにより、前記顔画像の表情を変化させる表情変化手段、顔の肌色を変化させる肌色変化手段、顔を照明する照明条件を擬似的に変化させる照明変化手段、顔の撮影角度を擬似的に変化させる撮影角度変化手段の中の少なくとも二つの変化手段と、画像表示手段と、操作手段とを有し、前記顔画像と、前記変化手段の中から複数の変化手段を前記操作手段により選択して、第１の変化手段により画像処理を施して得た複数の顔画像を、前記画像表示手段の縦方向に変化の小さな顔画像から変化の大きな顔画像の順番に並べ、第２の変化手段により縦方向に並べられた前記顔画像に画像処理を施して得た複数の顔画像を、前記顔画像の横方向に変化の小さな顔画像から大きな顔画像の順番に並べて前記画像表示手段に表示することを特徴とする顔画像処理システム。
（３）前記画像表示手段の画像表示面に密着した透明な操作手段と、前記画像表示手段に並べて表示された複数の顔画像の中の任意の顔画像を、前記操作手段による指示操作によって、他の顔画像に隣接するように移動する顔画像移動手段とを有することを特徴とする第（１）項、もしくは第（２）項に記載の顔画像処理システム。
（４）前記画像表示手段に表示された複数の顔画像を選択するための選択手段と、前記選択手段により選択された顔画像をハードコピーとして出力する画像形成手段、もしくは、前記選択手段により選択された顔画像の画像データを情報媒体に入力する情報入力手段、もしくは、前記操作手段により選択された顔画像の画像データを他のシステムに転送する通信手段とを有することを特徴とする第（１）項乃至第（３）項のいずれかに記載の顔画像処理システム。

請求項１に記載の発明によれば、撮影した顔画像に施す、表情変化、肌色変化、陰影変化、撮影角度変化に対応する画像処理手段を容易に選択することができ、また、画像処理後の顔画像が、処理の程度が少しずつ異なった状態で一覧として表示されるので、画像の比較が容易となり短時間で最適な顔画像を選択することができる。

請求項２に記載の発明によれば、１回の画像処理手段の選択指示操作により原画像に一度に複数種類の画像処理を施して、画像処理後の顔画像をマトリクス状、あるいは立体状で画像表示手段に表示することができる。これにより、ユーザは複数種類の画像処理を施した場合の顔画像の変化を確認することができ、施す画像処理を選択するための指示操作の回数を減らすことができる。

請求項３に記載の発明によれば、画像表示手段に表示された複数の顔画像の中から、任意の顔画像同士を隣接させることができるので、画像のわずかな違いが認識でき、最適画像の選択が容易となる。

請求項４に記載の発明によれば、請求項１乃至３のいずれかに記載の発明により選択された最適な顔画像を、ハードコピーとして出力することや、記憶媒体に保存することや、他の情報機器へ画像情報として送信することができる。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係わる顔画像処理システムのブロック図である。なお、本図では、本発明の説明に直接関係しないブロックの記載を省略してある。

顔画像処理システムは、コンピュータシステムである制御手段Ｃ、デジタルカメラを備えた撮影手段Ｉ、制御手段Ｃから出力された画像を表示する画像表示手段Ｄ、透明電極を有し、画像表示手段Ｄの画像表示面に密着して取り付けられたタッチパネルである操作手段Ｔ、制御手段Ｃから送られた画像情報からハードコピーを出力する画像形成手段Ｐ、制御手段Ｃから送られた画像情報を所定の記憶媒体に記録する情報媒体記録手段Ｂ、制御手段Ｃと他の情報機器との間で画像情報を送受信するするためのインターフェイスである通信手段Ｒ等から構成されている。

制御手段Ｃは、ＣＰＵを有するコンピュータシステムで、演算ユニット（不図示）、メモリＭ、入出力インターフェイス（不図示）等から構成される。

メモリＭには、表情変化手段１０、肌色変化手段２０、照明変化手段３０、撮影角度変化手段４０、顔画像移動手段５０をはじめとする各種アプリケーションプログラムと、それらに係わるデータファイル、および、システムを制御するための制御プログラムやデータファイルが保存されている。

撮影手段Ｉは、デジタルカメラを備え、撮影した顔画像情報を制御手段Ｃに送る。送られた顔画像情報（原画像と称す）は、メモリＭの所定位置に保存される。なお、原画像は、通信手段Ｒを介して他の情報機器から、あるいは情報媒体記録手段Ｂを介してフロッピー（Ｒ）ディスク、ＣＤ、ＭＯ、ＤＶＤ等の適宜な情報記録媒体から取り込むこともできる。

また、上述したように画像表示手段Ｄの画像表示面には、透明シートと透明導電パターンとから構成されるタッチパネルである操作手段Ｔが密接して取り付けられているので、ユーザは、画像表示手段Ｄにて表示された画像の所定の箇所に触れることにより、制御手段Ｃに指示を出すことができる。

図２は、本発明による顔画像処理システムにより、原画像に画像処理を施し、最適な顔画像を選択する流れを示すフローチャートである。

原画像に画像処理を施す作業を始めるプログラムが起動すると、画像表示手段Ｄには、図３で示されるような原画像Ｇと、原画像Ｇに施す画像処理の種類を選択するための押しボタンとが表示される（ステップＳ１）。施す画像処理の選択は処理項目を表示している押しボタンに触れることによりなされる（ステップＳ２）。選択する項目数は、１項目でも良いし、複数項目でも良い。画面の選択完了のボタンが押されると、項目の選択が終了する（ステップ３）。

１項目が選択された場合、指定された項目の画像処理が施された顔画像は、施された画像処理の程度、即ち、顔画像の変化の程度に従って、例えば、図４にて示すように表情変化が指定されていたときには、原画像を先頭にして、口角が徐々に両頬に引き上げられていく程度が小さいものから大きいものへ、肌色変化が選択されていたときには（不図示）、所定の色が薄い色から濃い色へ、照明変化が選択されていたときには（不図示）、照明光が正面光から徐々に左へ、もしくは右へ徐々に回っていく回転角度に従って、撮影角度変化が選択されていたときには（不図示）、撮影位置が、正面から左へ、もしくは右へ徐々に回っていく回転角度に従って、画像表示手段Ｄに１列に並べられる。但し、表示する画像数が多い場合には複数列で表示しても良い。

また、２つの項目が選択された場合には、上述の１つの項目が選択された場合と同様な表示を第１の項目の画像処理を施した画像を並べて表示して、その下に他の項目の画像処理を施した画像を並べるという上下２列の形式で表示するモード１と、左端の縦方向に１項目で選択された画像処理を施した画像を画像処理の程度に従って並べ、左端に並べられた各顔画像を原画像として他の項目で選択された画像処理を施し横方向に画像処理の程度に従って並べるモード２を選択することができる。この選択は、２つの項目を選択して選択完了ボタンを押すと（ステップＳ２、Ｓ３、Ｓ４：Ｙ）、前記選択完了ボタンの下方に表示されるモード選択ボタン（ステップＳ６）を押すことによりなされる（ステップＳ７）。

上述したような流れで、原画像に施す画像処理の選択が終了すると、選択された画像処理を実行するプログラムである表情変化手段１０、肌色変化手段２０、照明変化手段３０、撮影角度変化手段４０、顔画像移動手段５０が選択され、逐次実行され、原画像に所定の画像処理が施される。

画像処理が終了すると（ステップＳ７）、施した画像処理が１種類の場合には図４（表示例１）のような複数の顔画像が画像表示手段Ｄに表示される（ステップＳ８）。２種類でモード１が選択されていた場合には図５（表示例２）のような表示となり、モード２が選択されていた場合には図６（表示例３）の様な表示となる。

なお、図中のａ、ｂは選択された変化を示す符号であり、符号の右側に付与されている数値は変化の大きさを示す。

本例においては、二つの変化手段が選択された場合のみ、さらに二つのモード選択ができるシステムの説明を行ったが、二つ以上の複数の変化手段を選択した場合、選択された前記複数の変化手段を、各々二つずつ組み合わせて前記モード２の処理を行って、結果を表示するようにしても良い。例えば、三つの変化項目が選択され、モード２が選択された場合には、前記変化項目の組み合わせから画像処理により得られるマトリクス画像の数は３種類となる。また、場合によっては、三つの変化項目に対応する画像処理を施し、結果を３次元の立体状に配置して表現しても良い。

表示された複数の顔画像の中から最適と思われる画像に触れ（ステップＳ９）、表示画面の下方に表示されている決定ボタンを押すことにより最適画像の選択がなされる（ステップＳ１０）。決定ボタンが押されると、選択された顔画像は所定のファイルに保存される（ステップＳ１１）。

前記所定ファイルに保存された画像情報は、画像形成手段Ｐによりハードコピーとして出力することや、フロッピー（Ｒ）ディスクドライブ、ＣＤ／Ｗ、ＭＯドライブ、ＤＶＤ／Ｗ等の記録手段である情報媒体記録手段Ｂによって所定の記録媒体に保存することができる。また、通信手段Ｒを介して、他の情報処理機器と画像情報の送受信をすることができる。

なお、前記所定ファイルに保存された画像情報は、新たな画像処理を施すための原画像として用いてもよい。

もし、最初に表示された複数の顔画像から最適と思われる画像の選択が困難である場合には、候補となるいくつかの画像を指にて移動して隣接させることによって詳細な比較を行い選択をすることができる（ステップＳ７）。この操作は、プログラムである顔画像移動手段５０の実行により実現される。

なお、表情変化手段１０は、眉毛、目、唇の形状もしくは角度等を変えることにより顔の表情を変化させるもので、図４の例においては唇の形状を少しずつ変化させて微笑みの程度を変化させている。

また、上述の例では、表情変化を微笑みの変化として説明をしているが、これに限らず、表情変化を細分化して微笑み以外に、きりりとした表情、怒りの表情等を設けて、眉、目尻等の関連部位を変化させてもよい。同様に、肌色変化を色と、濃度等の変化に、照明変化を、照明光の数、位置、角度等の変化に、撮影角度を左右、上下、斜め等の変化に細分化して、これら細分化した変化を選択できるようにしてもよい。

なお、ソフトウエアである表情変化手段１０をはじめ、肌色変化手段２０，照明手段３０、撮影角度変化手段４０、画像移動手段５０は、公知例で使用されている画像処理のソフトウエアをはじめ、市販されているソフトウエアの中から適宜のものを選択することができる。

顔画像処理システムのブロック図である。最適画像を選択する流れを示すフローチャートである。画像処理を選択するための画像表示例である。画像処理後の顔画像表示例１である。画像処理後の顔画像表示例２である。画像処理後の顔画像表示例３である。

符号の説明

１０表情変化手段
２０肌色変化手段
３０照明変化手段
４０撮影角度変化手段
５０顔画像移動手段
Ｂ情報媒体記録手段
Ｃ制御手段
Ｄ画像表示手段
Ｉ撮影手段
Ｍメモリ
Ｐ画像形成手段
Ｒ通信手段
Ｔ操作手段

Claims

撮影された顔画像に画像処理を施すことにより、前記顔画像の表情を変化させる表情変化手段、
顔の肌色を変化させる肌色変化手段、
顔を照明する照明条件を擬似的に変化させる照明変化手段、
顔の撮影角度を擬似的に変化させる撮影角度変化手段、
の中の少なくとも一つの変化手段と、
画像表示手段と、
操作手段と
を有し、
前記変化手段の中の少なくとも一つを前記操作手段により選択して前記顔画像に画像処理を施すことにより得た複数の顔画像を
前記画像表示手段に変化の小さな顔画像から変化の大きな顔画像の順に並べて表示することを特徴とする
顔画像処理システム。
撮影された顔画像に画像処理を施すことにより、前記顔画像の表情を変化させる表情変化手段、
顔の肌色を変化させる肌色変化手段、
顔を照明する照明条件を擬似的に変化させる照明変化手段、
顔の撮影角度を擬似的に変化させる撮影角度変化手段、
の中の少なくとも二つの変化手段と、
画像表示手段と、
操作手段と
を有し、
前記顔画像と、
前記変化手段の中から複数の変化手段を前記操作手段により選択して、
第１の変化手段により画像処理を施して得た複数の顔画像を、前記画像表示手段の縦方向に変化の小さな顔画像から変化の大きな顔画像の順番に並べ、
第２の変化手段により縦方向に並べられた前記顔画像に画像処理を施して得た複数の顔画像を、前記顔画像の横方向に変化の小さな顔画像から大きな顔画像の順番に並べて
前記画像表示手段に表示することを特徴とする
顔画像処理システム。
前記画像表示手段の画像表示面に密着した透明な操作手段と、
前記画像表示手段に並べて表示された複数の顔画像の中の任意の顔画像を、
前記操作手段による指示操作によって、他の顔画像に隣接するように移動する顔画像移動手段と
を有することを特徴とする請求項１、もしくは２に記載の顔画像処理システム。
前記画像表示手段に表示された複数の顔画像を選択するための選択手段と、
前記選択手段により選択された顔画像をハードコピーとして出力する画像形成手段、
もしくは、前記選択手段により選択された顔画像の画像データを情報媒体に入力する情報入力手段、
もしくは、前記操作手段により選択された顔画像の画像データを他のシステムに転送する通信手段
とを有することを特徴とする請求項１乃至３のいずれかに記載の顔画像処理システム。