JP2005222152A - 画像補正装置 - Google Patents
画像補正装置 Download PDFInfo
- Publication number
- JP2005222152A JP2005222152A JP2004026925A JP2004026925A JP2005222152A JP 2005222152 A JP2005222152 A JP 2005222152A JP 2004026925 A JP2004026925 A JP 2004026925A JP 2004026925 A JP2004026925 A JP 2004026925A JP 2005222152 A JP2005222152 A JP 2005222152A
- Authority
- JP
- Japan
- Prior art keywords
- image
- bright spot
- pupil
- unit
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
【課題】 レフ板やフラッシュを用いることなく、被写体の瞳に自然にキャッチライトを付加する画像補正技術を提供する。
【解決手段】 画像から被写体の瞳領域を検出し、キャッチライト(アイキャッチ)と認められる新たな画像を作成し、この画像を検出された瞳の画像に対して合成する。このとき、キャッチライトの大きさ,色,合成位置などを、被写体の身体要素(例えば瞳の大きさ,白目の色,顔の向きなど)に応じて決定することにより、自然な画像補正を実現する。
【選択図】 図1
【解決手段】 画像から被写体の瞳領域を検出し、キャッチライト(アイキャッチ)と認められる新たな画像を作成し、この画像を検出された瞳の画像に対して合成する。このとき、キャッチライトの大きさ,色,合成位置などを、被写体の身体要素(例えば瞳の大きさ,白目の色,顔の向きなど)に応じて決定することにより、自然な画像補正を実現する。
【選択図】 図1
Description
本発明は、画像を撮像する撮像装置や、画像を扱う情報処理装置やソフトウェア等に適用されて有効な技術に関する。
プロカメラマンの撮像手法として、被写体の瞳にキャッチライトと呼ばれる光の映り込み部分を発生させることにより、被写体の表情が豊かに生き生きとなるように撮像する方法が実施されている。このようなキャッチライトは、レフ板を用いることにより実現することができる。この場合、レフ板に反射した光が瞳に映り込むことにより、レフ板の形に応じたキャッチライトが被写体の瞳に発生する。また、キャッチライトは、撮像装置と連動したフラッシュを用いることによっても実現できる。
また、キャッチライトについて具体的に言及した画像補正技術ではないが、瞳の色を補正することによりカラーコンタクトをシミュレートする化粧シミュレーション技術など、瞳の画像に対して画像補正を行う技術もある(例えば特許文献1を参照)。
特開2000−151985号公報
しかしながら、上記した従来の技術にはそれぞれ問題があった。レフ板を用いる場合には、当然、撮像装置の他にレフ板が必要となっていた。さらに、被写体の瞳に対して適当なキャッチライトを実現させるためには、レフ板の大きさや形や位置など様々な要素を的確に設定する必要があった。このため、レフ板を用いることによりキャッチライトを実現させることは、ユーザが気軽に実施できるものではなかった。
フラッシュを用いる場合には、フラッシュの光源はレフ板に比べて小さいため、被写体の瞳に発生するキャッチライトの大きさが小さく、キャッチライトによる効果を十分に得られないという問題があった。また、フラッシュを用いる場合には、被写体に影ができる、画像が平面的になる、部分的に白飛びしてしまう、赤目現象が生じてしまう等の問題も発生してしまう。さらに、フラッシュを必要としない明るい場所であっても、キャッチライトのためにわざわざフラッシュをたかなくてはならないという問題もあった。
画像補正を行う場合には、レフ板やフラッシュを用いた場合の問題は生じない。しかし、上記のようにこれまでキャッチライトの画像補正について具体的に言及した技術はなく、自然なキャッチライトは表現できていなかった。
本発明では、レフ板やフラッシュを用いることなく、被写体の瞳に自然にキャッチライトを付加する画像補正技術を提供することを目的とする。
上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、入力された画像から被写体の瞳を検出する瞳検出手段,瞳検出手段によって検出された瞳の領域よりも小さく、瞳の領域よりも輝度値の高い画素によって構成される輝点画像を生成する輝点画像生成手段,及び瞳検出手段によって検出された瞳の画像に対し、輝点画像生成手段によって生成された輝点画像を合成する合成手段を備える。
「輝点画像」とは、被写体の瞳の画像に合成されることにより、この画像を見る者によ
ってキャッチライト(アイキャッチ)として認められる画像である。
ってキャッチライト(アイキャッチ)として認められる画像である。
本発明の第一の態様では、被写体の瞳に対して、キャッチライトとして認められる画像が合成される。このため、キャッチライトによる効果、即ち被写体の表情が豊かに生き生きと表現され、画像を見る者に対し良い印象を与える画像を生成することが可能となる。
また、本発明の第一の態様は、入力された画像から被写体の白目を検出する白目検出手段,及び白目検出手段によって検出された白目の領域における輝度値の統計値を算出する統計値算出手段をさらに備えるように構成されても良い。この場合、輝点画像生成手段は、統計値算出手段によって算出された統計値に基づいた画素値を輝度値の高い画素として用いる。
「統計値」とは、ここでは検出された白目の領域における輝度値の平均値,重心値,最頻値などを示す。また、統計値の代わりに、検出された白目の領域における画素値の中からランダムに選択された1以上の代表値が用いられても良い。
このように構成された本発明の第一の態様では、輝点画像の画素値は、被写体の白目の画素値に基づいて決定される。このため、被写体の目の色などに応じたより自然な画像を得ることが可能となる。
また、本発明の第一の態様は、入力された画像から被写体の顔の向きを推定する推定手段をさらに備えるように構成されても良い。この場合、合成手段は、推定手段によって推定された被写体の顔の向きに応じて、瞳領域における輝点画像を合成する位置を決定する。
合成手段は、例えば、瞳領域における輝点画像を合成する位置を、被写体の顔の向き方向に偏った位置として決定しても良い。このように構成されることにより、被写体の顔の向きと輝点画像の位置する方向が一致し、より自然な画像を得ることが可能となる。
また、本発明の第一の態様は、入力された画像の被写体の顔に照射されている照明の位置する方向を推定する照明方向推定手段をさらに備えるように構成されても良い。この場合、合成手段は、照明方向推定手段によって推定された照明の位置する方向に応じて、瞳領域における輝点画像を合成する位置を決定する。
照明方向推定手段は、例えば、被写体の顔における明度の分布を調べることにより推定を行うように構成されても良い。また、合成手段は、例えば、瞳領域における輝点画像を合成する位置を、照明が位置すると推定される方向に偏った位置として決定しても良い。このように構成されることにより、被写体の顔における明度分布の度合いと輝点画像の位置する方向が一致し、より自然な画像を得ることが可能となる。言い換えれば、このように構成されることにより、被写体の顔に光を照らしている照明が瞳で反射することにより輝点画像が生じたように見える画像を生成することができる。
また、本発明の第一の態様は、被写体の身体に関する大きさや長さなどを検出する身体値検出手段をさらに備えるように構成されても良い。この場合、輝点画像生成手段は、身体値検出手段によって検出された大きさや長さに基づいて輝点画像の大きさを決定する。
「被写体の身体」とは、被写体の身体全体のみを指すのではなく、被写体の身体の一部(例:頭,顔,首,手,脚,目,口,鼻,唇,瞳,鼻孔)又はその組み合わせも指す。よって、「被写体の身体に関する大きさや長さ」とは、被写体の身長や肩幅など身体全体における大きさや長さのみを指すのではなく、被写体の身体の一部の大きさ(例:頭の大き
さ,顔の大きさ,目の大きさ,口の大きさ,瞳の大きさ,鼻孔の大きさ)や長さ(首の長さ,手の長さ,脚の長さ,目と目の間隔,目の横幅,唇の幅,瞳の幅,鼻孔の間隔)も指す。
さ,顔の大きさ,目の大きさ,口の大きさ,瞳の大きさ,鼻孔の大きさ)や長さ(首の長さ,手の長さ,脚の長さ,目と目の間隔,目の横幅,唇の幅,瞳の幅,鼻孔の間隔)も指す。
このように構成されることにより、被写体の身体に関する大きさや長さに対して不自然な大きさの輝点画像が合成されることを防止できる。従って、より自然な画像を得ることが可能となる。
また、本発明の第一の態様は、瞳検出手段によって検出された瞳の領域に既に存在する輝点画像の数を数える計数手段を備えるように構成されても良い。この場合、合成手段は、計数手段による計数結果が所定の数よりも多い場合には処理を実行せず、計数結果が所定の数以下の場合には処理を実行する。
このように構成されることにより、原画像において既に十分な数の輝点画像を有している瞳の画像に対し、無駄に新たな輝点画像を合成する処理を行うことを省くことが可能となる。
また、本発明の第一の態様は、瞳検出手段によって検出された瞳の領域に、不適切な輝点画像が既に存在しているか否か判断する不適切輝点判断手段をさらに備えるように構成されても良い。このとき、不適切輝点判断手段によって不適切な輝点画像が存在していると判断された場合、合成手段は、瞳の画像において不適切な輝点画像を削除し、この瞳の画像に対して輝点画像生成手段によって生成された輝点画像を合成する。
「不適切な輝点画像」とは、画像を見る者に対して不快な印象を与える可能性のある輝点画像を指す。例えば、被写体の瞳の中心に存在する輝点画像は、不適切な輝点画像である。また、例えば、赤色の輝点画像(いわゆる赤目現象により生じる赤色部分)も不適切な輝点画像である。
このように構成されることにより、見る者に対し悪い印象を与えず良い印象を与える自然な画像を得ることが可能となる。
また、第一の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した第一の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。
本発明によれば、被写体の瞳に対して、キャッチライトとして認められる画像が合成される。キャッチライトによる効果、即ち被写体の表情が豊かに生き生きと表現され、画像を見る者に対し良い印象を与える画像を生成することが可能となる。
次に、図を用いて本発明による画像補正装置について説明する。本発明による画像補正装置は、高輝度の小領域からなる画像(以下、「輝点画像」と呼ぶ)を、被写体の瞳の画像中に合成することにより、仮想的にキャッチライトを発生させる。また、以下の説明では、瞳の画像中に存在する高輝度の小領域を輝点領域と呼ぶ。
なお、画像補正装置についての以下の説明は例示であり、本発明の構成は以下の説明に限定されない。また、以下の説明において人物画像とは少なくとも一つの人の目を含む画像であり、人物の顔の一部または全部を含む画像である。従って、人物画像とは、人物全
体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、人物画像は複数の人物についての画像を含んでも良い。さらに、人物画像には、背景に人物以外の風景(背景:被写体として注目された物も含む)や模様などのいかなるパターンが含まれても良い。
体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、人物画像は複数の人物についての画像を含んでも良い。さらに、人物画像には、背景に人物以外の風景(背景:被写体として注目された物も含む)や模様などのいかなるパターンが含まれても良い。
〔システム構成〕
画像補正装置1は、ハードウェア的には、バスを介して接続されたCPU(中央演算処理装置),主記憶装置(RAM),補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるROM(Read-Only Memory:EPROM(Erasable Programmable Read-Only Memory),EEPROM(Electrically Erasable Programmable Read-Only Memory),マスクROM等を含む
),FRAM(Ferroelectric RAM),ハードディスク等を指す。
画像補正装置1は、ハードウェア的には、バスを介して接続されたCPU(中央演算処理装置),主記憶装置(RAM),補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるROM(Read-Only Memory:EPROM(Erasable Programmable Read-Only Memory),EEPROM(Electrically Erasable Programmable Read-Only Memory),マスクROM等を含む
),FRAM(Ferroelectric RAM),ハードディスク等を指す。
図1は、画像補正装置1の機能ブロックを示す図である。画像補正装置1は、補助記憶装置に記憶された各種のプログラム(OS,アプリケーション等)が主記憶装置にロードされCPUにより実行されることによって、画像入力部2,顔検出部3,目検出部4,瞳状態判断部5,輝点作成部6,及び画像出力部7等を含む装置として機能する。顔検出部3,目検出部4,瞳状態判断部5,及び輝点作成部6は、プログラムがCPUによって実行されることにより実現される。また、顔検出部3,目検出部4,瞳状態判断部5,及び輝点作成部6は、それぞれが専用のチップとして構成されても良い。以下、画像補正装置1に含まれる各機能部について説明する。
〈画像入力部〉
画像入力部2は、人物画像の原画像のデータ(以下、「原画像のデータ」と呼ぶ)を画像補正装置1へ入力するためのインタフェースとして機能する。画像入力部2によって、画像補正装置1の外部から、原画像のデータが画像補正装置1へ入力される。画像入力部2は、画像補正装置1へ原画像のデータを入力するためのどのような既存技術を用いて構成されても良い。
画像入力部2は、人物画像の原画像のデータ(以下、「原画像のデータ」と呼ぶ)を画像補正装置1へ入力するためのインタフェースとして機能する。画像入力部2によって、画像補正装置1の外部から、原画像のデータが画像補正装置1へ入力される。画像入力部2は、画像補正装置1へ原画像のデータを入力するためのどのような既存技術を用いて構成されても良い。
例えば、ネットワーク(例えばローカル・エリア・ネットワークやインターネット)を介して原画像のデータが画像補正装置1へ入力されても良い。この場合、画像入力部2はネットワークインタフェースを用いて構成される。また、デジタルカメラやパーソナルコンピュータや記録装置(例えばハードディスクドライブ)等から原画像のデータが画像補正装置1へ入力されても良い。この場合、画像入力部2は、デジタルカメラやパーソナルコンピュータや記録装置と画像補正装置1とをデータ通信可能に接続する規格(例えばUSB(Universal Serial Bus)やSCSI(Small Computer System Interface)等の有
線接続やbluetooth等の無線接続の規格)に応じて構成される。また、記録媒体(例えば各種フラッシュメモリやフロッピー(登録商標)ディスクやCD(Compact Disk)やDVD(Digital Versatile Disc、Digital Video Disc))に記録された原画像のデータが画像補正装置1へ入力されても良い。この場合、画像入力部2は、記録媒体からデータを読み出す装置(例えばフラッシュメモリリーダやフロッピーディスクドライブやCDドライブやDVDドライブ)を用いて構成される。
線接続やbluetooth等の無線接続の規格)に応じて構成される。また、記録媒体(例えば各種フラッシュメモリやフロッピー(登録商標)ディスクやCD(Compact Disk)やDVD(Digital Versatile Disc、Digital Video Disc))に記録された原画像のデータが画像補正装置1へ入力されても良い。この場合、画像入力部2は、記録媒体からデータを読み出す装置(例えばフラッシュメモリリーダやフロッピーディスクドライブやCDドライブやDVDドライブ)を用いて構成される。
また、画像補正装置1がデジタルカメラ等の撮像装置又はデジタルカメラ等の撮像装置を備える各種装置(例えばPDA(Personal Digital Assistant)や携帯電話機)の内部に含まれ、撮像された人物画像が原画像のデータとして画像補正装置1へ入力されても良い。この場合、画像入力部2は、CCD(Charge-Coupled Devices)やCMOS(Complementary Metal-Oxide Semiconductor)センサ等を用いて構成される。また、画像補正装
置1が、プリンタやディスプレイ等の画像出力装置の内部に含まれ、出力データとしてこの画像出力装置に入力された人物画像が原画像のデータとして画像補正装置1へ入力され
ても良い。この場合、画像入力部2は、これらの画像出力装置に入力された原画像のデータを画像補正装置1において取り扱い可能なデータに変換する装置(例えばA/D変換装置)などを用いて構成される。
置1が、プリンタやディスプレイ等の画像出力装置の内部に含まれ、出力データとしてこの画像出力装置に入力された人物画像が原画像のデータとして画像補正装置1へ入力され
ても良い。この場合、画像入力部2は、これらの画像出力装置に入力された原画像のデータを画像補正装置1において取り扱い可能なデータに変換する装置(例えばA/D変換装置)などを用いて構成される。
また、入力部2は上記された複数の場合に応じることが可能となるように構成されても良い。例えば、上記された具体例のうち、複数の装置を用いて画像入力部2が構成されても良い。
〈顔検出部〉
顔検出部3は、画像入力部2から原画像のデータを受け取り、原画像から人の顔を検出し、検出された顔の位置や大きさ等を示す顔座標を特定する。顔検出部3は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部3は、顔の構成要素(目,鼻,耳など)に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部3は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部3は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部3は、ニューラルネットワークを使って教師信号による学習を行い、画像の濃淡値に基づいて顔らしい領域を顔として検出するように構成されても良い。また、顔検出部3による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。
顔検出部3は、画像入力部2から原画像のデータを受け取り、原画像から人の顔を検出し、検出された顔の位置や大きさ等を示す顔座標を特定する。顔検出部3は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部3は、顔の構成要素(目,鼻,耳など)に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部3は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部3は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部3は、ニューラルネットワークを使って教師信号による学習を行い、画像の濃淡値に基づいて顔らしい領域を顔として検出するように構成されても良い。また、顔検出部3による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。
また、顔検出部3は、原画像から複数の人の顔が検出された場合、特定の基準に従って処理の対象とする順番を決定する。所定の基準とは、例えば顔の大きさ、顔の向き、画像中における顔の位置などである。このとき、顔検出部3は、所定の基準から外れた顔を処理の対象外とするように構成されても良い。例えば、顔検出部3は、検出された複数の顔について大きいものから順に処理を行い、所定の大きさよりも小さい顔については処理を行わないように構成されても良い。
また、顔検出部3は、検出された顔の向きを推定する。顔の向きを推定する処理は、既存のどのような技術が適用されることにより実現されても良い。例えば以下に示す文献に記載の技術によって実現することができる。以下、被写体の顔の向きを示す場合、画像を見る者にとっての向きを記載する。即ち、被写体の顔の向きが被写体にとって右である場合は、その画像を見る者にとっての左方向に被写体の顔が向いているため、顔の向きを左と示す。
荒木祐一、島田伸敬、白井良明、"背景と顔の方向に依存しない顔の検出と顔方向の推
定"、信学技報 PRMU2001-217、pp.87-94(2000-01)、[平成15年11月28日検索]、インタ
ーネット<URL : http://www-cv.mech.eng.osaka-u.ac.jp/~araki/research2/PRMU2002Jan.pdf>
定"、信学技報 PRMU2001-217、pp.87-94(2000-01)、[平成15年11月28日検索]、インタ
ーネット<URL : http://www-cv.mech.eng.osaka-u.ac.jp/~araki/research2/PRMU2002Jan.pdf>
この文献に記載の技術が適用された場合、顔検出部3は、まず6種類の顔要素(右目,左目,右眉,左眉,鼻孔,口)の候補を抽出し、それぞれについて顔要素らしさを算出する。次に、顔検出部3は、一般化ハフ変換を用いて顔の候補領域を特定する。次に、顔検出部3は、弛緩法を用いて、顔の幾何学的関係を満たす顔特徴の組み合わせを顔として検出する。例えば、左向きの顔モデルに当てはまれば、顔検出部3はその顔の方向を左向きと推定し、右向きの顔モデルに当てはまれば、顔検出部3はその顔の方向を右向きと推定する。また、正面向きの顔モデルに当てはまる場合には、顔検出部3は顔の輪郭に対する両目の位置から顔の方向を推定する。
顔検出部3は、顔座標及び顔の向きの情報を含む顔情報を作成し、原画像のデータとと
もに顔情報を目検出部4へ渡す。
もに顔情報を目検出部4へ渡す。
〈目検出部〉
目検出部4は、顔検出部3によって特定された顔座標に基づいて、顔検出部3によって検出された顔における目の領域を検出する。そして、目検出部4は、検出された目の領域から、白目の領域(以下、「白目領域」と呼ぶ)と瞳(黒目)の領域(以下、「瞳領域」と呼ぶ)とを特定する。このとき、目の領域を検出する処理や、検出された目の領域の中から白目領域や瞳領域を特定する処理は、既存のどのような技術を適用することにより実現されても良い。以下に、目の領域を特定する処理と、特定された目の領域の中から白目領域や瞳領域を特定する処理とについて、それぞれ例を説明する。
目検出部4は、顔検出部3によって特定された顔座標に基づいて、顔検出部3によって検出された顔における目の領域を検出する。そして、目検出部4は、検出された目の領域から、白目の領域(以下、「白目領域」と呼ぶ)と瞳(黒目)の領域(以下、「瞳領域」と呼ぶ)とを特定する。このとき、目の領域を検出する処理や、検出された目の領域の中から白目領域や瞳領域を特定する処理は、既存のどのような技術を適用することにより実現されても良い。以下に、目の領域を特定する処理と、特定された目の領域の中から白目領域や瞳領域を特定する処理とについて、それぞれ例を説明する。
まず、目の領域を特定する処理の例について説明する。目検出部4は、目頭(目の領域のうち最も顔の内側に位置する点)、目尻(目の領域のうち顔の外側に最も近い点)、上瞼の上端、下瞼の下端の四点を検出する。このとき、目検出部4は、顔の領域について目のパターンマッチングを実施することで目のおよその領域を把握する。次に、目検出部4は、その領域においてエッジを検出することで上記四点を検出する。そして、目検出部4は、検出された四点を通る矩形によって囲まれる領域を目の領域として特定する。
また、目の領域の特定は以下のように実施されても良い。まず、目検出部4は、人物の目の中心位置を検出する。人物の目又は瞳の中心位置の検出法は、既存のどのような技術を適用することにより実現されても良い。具体的には、下記文献に記載の技術がある。
湯浅真由美、福井和広,山口修、「パターンとエッジの統合エネルギー最小化に基づく高精度な瞳検出」、信学技報、2000年、Vol.100、No.134、pp.79-84
なお、目検出部4は、目の領域を特定できない場合(例えば被写体の目が閉じてしまっている場合)、処理を終了するように構成されても良い。この場合、瞳状態判断部5や輝点作成部6は処理を実施せず、画像出力部7が原画像をそのまま出力するように構成されても良い。
次に、目検出部4は、検出された中心位置から所定の大きさ(例:人物の顔幅に基づいた大きさ,左右の目の中心位置の距離に基づいた大きさ)の領域を目の領域として特定する。
次に、特定された目の領域の中から白目領域や瞳領域を特定する処理の例について説明する。目検出部4は、目の領域から肌の色以外の領域を抽出する。そして、目検出部4は、抽出された領域から、白目領域や瞳領域を抽出する。具体的には、目検出部4では、目領域内で円のHough変換を実施し、瞳候補となる円を抽出する。そして、目検出部4は、検出された瞳候補から、左右の目の領域内に存在する円同士の距離や傾きや円の半径が所定の条件を満たす場合に、その円の対を左右の目における瞳として特定する。所定の条件とは、検出された被写体の顔の大きさや顔の向きや目の領域の大きさや左右の目尻を結ぶ線分の長さやその傾きなどに基づいて決定される。
また、目検出部4は、抽出された白目領域における画素値の統計値を算出する。統計値とは、例えば平均値,重心値,最頻値などを示す。
目検出部4は、抽出された瞳領域を示す情報,算出された統計値,及び被写体の顔の向きの情報を含む目情報を作成する。そして、目検出部4は、目情報を原画像のデータとともに瞳状態判断部5へ渡す。
〈瞳状態判断部〉
瞳状態判断部5は、目検出部4によって生成された目情報に基づいて、瞳領域に対して輝点作成部6が実行すべき画像補正の内容を決定する。
瞳状態判断部5は、目検出部4によって生成された目情報に基づいて、瞳領域に対して輝点作成部6が実行すべき画像補正の内容を決定する。
まず、瞳状態判断部5は、目検出部4によって特定された瞳領域の画像(以下、「瞳画像」と呼ぶ)を、拡散反射成分の画像と鏡面反射成分の画像とに分ける。拡散反射成分とは、反射面に対して一方向から入射した光が多方向へ反射することにより生じる光の成分を示す。一方、鏡面反射成分とは、反射面に対して一方向から入射した光が、入射角とほとんど等しい反射角により与えられる(およそ)一方向へ反射することにより生じる光の成分を示す。また、拡散反射部分とは、拡散反射成分の占める割合が高い画素を示し、鏡面反射部分とは、鏡面反射成分の占める割合が高い画素を示す。
瞳状態判断部5は、例えば以下の論文に記載の技術に基づいて、原画像を拡散反射成分の画像と鏡面反射成分の画像とに分ける処理を行う。
Robby T. Tan, Katsushi Ikeuchi, “Separating Reflection Components of Textured
Surfaces using a Single Image”, IEEE International Conference in Computer Vision 2003 (ICCV’03) Nice, France - October 13-16, 2003
Surfaces using a Single Image”, IEEE International Conference in Computer Vision 2003 (ICCV’03) Nice, France - October 13-16, 2003
この文献に記載の技術が適用された場合、瞳状態判断部5は、Maximum Chromaticityという値を用いて、画像内における拡散反射成分と鏡面反射成分との分離を行う。ここで、Maximum Chromaticityとは数1の式によって得られる値(c(x))である。なお、数1では上記引用文献の記載に従って“c”の上部にチルダ記号を付しているが、他の記載においては表記の都合上チルダ記号を用いることなく“c”と表記する。
図2は、Maximum Chromaticityに基づいた輝度値(Intensity)の分布の例を示す図で
ある。図2において、y軸方向に真っ直ぐ分布している部分の輝度値は、拡散反射部分の輝度値を示す。一方、Maximum Chromaticityの値に反比例するように曲線状に分布している部分の輝度値は、鏡面反射部分の輝度値を示す。瞳状態判断部5は、瞳領域の各画素についてMaximum Chromaticityを算出することにより、図2のようなグラフ上の分布を元に、拡散反射部分と鏡面反射部分とを区別する。
ある。図2において、y軸方向に真っ直ぐ分布している部分の輝度値は、拡散反射部分の輝度値を示す。一方、Maximum Chromaticityの値に反比例するように曲線状に分布している部分の輝度値は、鏡面反射部分の輝度値を示す。瞳状態判断部5は、瞳領域の各画素についてMaximum Chromaticityを算出することにより、図2のようなグラフ上の分布を元に、拡散反射部分と鏡面反射部分とを区別する。
図3は、鏡面反射部分における拡散反射成分を取得する原理を説明するための図である。図3には、二つの画素(不図示の画素A,B)それぞれについて、輝度値とMaximum Chromaticityとの関係が示されている。なお、画素A,Bは鏡面反射成分を含む鏡面反射部分であり、そのMaximum Chromaticityの値は図3のA1,B1によって表される値である。瞳状態判断部5は、鏡面反射部分における拡散反射成分を取得するため、画素A,Bに対応する点A1,B1が、グラフ中の拡散反射部分における画素のMaximum Chromaticityの値と同値になるように、即ちA2,B2に位置するようにそれぞれの画素値を図示された曲線(A1とA2,B1とB2を結ぶ曲線)に従って操作する。言い換えれば、拡散反射部分に従って形成されるy軸方向に真っ直ぐな直線L上の点A2,B2に位置するように、A,Bにおける輝度値が操作される。このような操作の後に画素A,Bついて得られる点A2,B2によって示される輝度値が、画素A,Bにおける拡散反射成分の値となり、瞳状態判断部5はこの値を用いることにより拡散反射成分画像を取得する。
次に、鏡面反射成分画像の取得法について説明する。各画素について、以下の条件が判断される。
1.原画像における隣接画素との輝度変化が、拡散反射成分画像における隣接画素との輝度変化と異なる。
2.この画素の色相が隣接画素の色相と同じである。
3.この画素がノイズ成分ではない。即ち、この画素のMaximum Chromaticityと隣接画素のMaximum Chromaticityとが異なる。
1.原画像における隣接画素との輝度変化が、拡散反射成分画像における隣接画素との輝度変化と異なる。
2.この画素の色相が隣接画素の色相と同じである。
3.この画素がノイズ成分ではない。即ち、この画素のMaximum Chromaticityと隣接画素のMaximum Chromaticityとが異なる。
瞳状態判断部5は、上記の三つの条件を満たす画素を鏡面反射部分であると判断する。そして、瞳状態判断部5は、鏡面反射部分と判断された画素の画素値を用いて鏡面反射成分画像を生成する。
次に、瞳状態判断部5は、鏡面反射成分画像を用いて、原画像の瞳領域に既に存在している輝点領域の数を数える。瞳状態判断部5は、鏡面反射成分画像において、鏡面反射部分の集合の数を輝点領域の数として数える。
まず、瞳状態判断部5は、鏡面反射成分画像について二値化を行う。二値化を行う際の閾値は、僅かな輝度しか有していない鏡面反射部分を輝点領域として数えることの無いように設計者によって適宜設定される。例えば、RGB表色系の256階調の画像において、RGB成分それぞれについて“60”が閾値と設定されても良い。図4は、二値化された鏡面反射成分画像の例を示す図である。以下、図4を用いて、瞳状態判断部5が原画像における輝点領域の数を数える際に行う処理について説明する。
図4(a)は、二値化された直後の鏡面反射成分画像の例を示す図である。このような画像に対し、瞳状態判断部5は、以下の条件に従って、画像中の白画素にラベルを付す処理を行う。なお、ここでは、白画素とは鏡面反射部分として判断された画素、即ち二値化される際にその輝度値が閾値を超えた画素を示す。また、黒画素とは、二値化された鏡面反射成分画像において白画素以外の画素、及び画像枠より外側の画素を示す。
条件1:上隣も左隣も黒画素の場合:新しいラベルを付す。
条件2:上隣が黒画素で左隣が白画素の場合:左隣の画素と同じラベルを付す。
条件3:上隣が白画素で且つ左隣が白画素で且つ上隣と左隣とのラベルが異なる場合:上隣の画素と同じラベルを付し、左隣と上隣とのラベルの対応関係を記憶する。
条件4:上隣が白画素で且つ条件3を満たさない場合:上隣の画素と同じラベルを付す。
条件2:上隣が黒画素で左隣が白画素の場合:左隣の画素と同じラベルを付す。
条件3:上隣が白画素で且つ左隣が白画素で且つ上隣と左隣とのラベルが異なる場合:上隣の画素と同じラベルを付し、左隣と上隣とのラベルの対応関係を記憶する。
条件4:上隣が白画素で且つ条件3を満たさない場合:上隣の画素と同じラベルを付す。
図4(b)は、上記した四つの条件に従って各白画素にラベリングを行った場合の例を示す図である。このとき、瞳状態判断部5は、条件3に従って(A,B,C)という対応関係、及び(D,E)という対応関係を記憶している。そして、上記四つの条件に従った処理の後、瞳状態判断部5は、条件3において記憶された対応関係に基づいて、白画素に付されたラベルの変更を行う。瞳状態判断部5は、記憶している対応関係に従って、関係するラベルの中から代表ラベルを一つ決定し、残るラベルを代表ラベルに変更する。図4(c)は、ラベルの変更が実施された後の例を示す図である。この場合、A及びDが代表ラベルとなり、Aとの対応関係が記憶されているB,CがAに変更され、Dとの対応関係が記憶されているEがDに変更される。なお、Fについては対応関係が記憶されていないため変更が行われない。このような処理により、例えば図4(c)の場合は、瞳状態判断部5は白画素により構成される領域が三つ存在すると判断できる。
次に、瞳状態判断部5は、この三つの領域それぞれについて面積(例えばそれぞれの領域に含まれる画素数や、外接する矩形の面積など)を求める。瞳状態判断部5は、各領域
についてその面積が閾値を超えるか否か判断し、閾値を超えなかった領域についてはノイズとみなす。そして、瞳状態判断部5は、その面積が閾値を超えた領域を輝点領域とみなし、その数を求める。例えば、面積の閾値が10ピクセルである場合、図4に示される画像には二つの輝点領域が含まれると判断される。
についてその面積が閾値を超えるか否か判断し、閾値を超えなかった領域についてはノイズとみなす。そして、瞳状態判断部5は、その面積が閾値を超えた領域を輝点領域とみなし、その数を求める。例えば、面積の閾値が10ピクセルである場合、図4に示される画像には二つの輝点領域が含まれると判断される。
瞳状態判断部5は、輝点領域の数に応じてその後の処理を決定する。輝点領域の数が“0”であった場合は、瞳状態判断部5は、補正情報を原画像のデータと共に輝点作成部6へ渡す。補正情報は、目検出部4によって抽出された瞳領域を示す情報,目検出部4によって算出された統計値,及び被写体の顔の向きの情報を含む。輝点領域の数が複数であった場合は、瞳状態判断部5は、原画像のデータを輝点作成部6へ渡す。この場合、瞳状態判断部5は補正情報を輝点作成部6へ渡さない。また、輝点領域の数が“1”であった場合は、瞳状態判断部5は輝点判定処理を行う。以下、輝点判定処理について説明する。
瞳状態判断部5は、瞳の中心Eと輝点領域の重心Gとを特定する。瞳の中心Eは、例えば瞳領域に外接する矩形の対角線の交点として特定される。輝点領域の重心Gは、例えば数2に示される式に基づいて特定される。
次に、瞳状態判断部5は、瞳の中心Eに対する輝点領域の重心Gの位置を特定する。例えば、瞳の中心Eに対し、輝点領域の重心Gが右/左/上/下/同位置のいずれに位置するか判断する。瞳状態判断部5は、例えば中心Eと重心Gとの距離Dを算出し、距離Dの値が閾値Th_Dよりも小さい場合に、中心Eと重心Gとは同位置にあると判断する。また、瞳状態判断部5は、距離Dの値が閾値Th_Dよりも大きい場合には、重心Gが中心Eに対して位置する方向(例:上下左右)について判断する。そして、顔が正面を向いておらず(斜めを向いており)且つ被写体の顔の向きと重心Gが中心Eに対して位置する方向とが一致する場合、又は顔が正面を向いており且つ重心Gと中心Eとが同位置にはないと認められる場合、瞳状態判断部5は、原画像のデータを輝点作成部6へ渡す。この場合、瞳状態判断部5は補正情報を輝点作成部6へ渡さない。一方、上記以外の場合には、瞳状態判断部5は、補正情報を原画像及び拡散反射成分画像と共に輝点作成部6へ渡す。
〈輝点作成部〉
輝点作成部6は、瞳状態判断部5から補正情報を受け取った場合に輝点作成処理を実施する。一方、輝点作成部6は、瞳状態判断部5から補正情報を受け取らなかった場合、瞳状態判断部5から受け取った原画像のデータを画像出力部7へ渡す。
輝点作成部6は、瞳状態判断部5から補正情報を受け取った場合に輝点作成処理を実施する。一方、輝点作成部6は、瞳状態判断部5から補正情報を受け取らなかった場合、瞳状態判断部5から受け取った原画像のデータを画像出力部7へ渡す。
輝点作成部6は、作成された新たな輝点画像を合成すべき瞳領域内における位置(以下、「輝点合成位置」と呼ぶ)を決定する。また、輝点作成部6は、補正情報の内容に応じて新たな輝点画像を作成する。次に、輝点作成部6は、拡散反射成分画像における瞳領域内の決定された位置に、作成された輝点画像を合成する。そして、輝点作成部6は、輝点画像が合成された拡散反射成分画像を原画像にさらに合成することにより補正画像を作成する。輝点作成部6は、このようにして作成された補正画像のデータを画像出力部7へ渡す。以下、輝点作成部6が行う処理について説明する。
図5は、輝点画像の合成位置の決定方法を示す図である。まず、輝点合成位置の決定方法について説明する。輝点作成部6は、新たに作成される輝点画像の重心と瞳領域の中心Eとの距離がTh_Dよりも大きくなるように、輝点合成位置を決定する。また、輝点作成部6は、被写体の顔の向きに応じて、瞳領域における輝点画像の合成位置を決定する。例えば輝点作成部6は、被写体の顔の向きと、瞳領域の中心Eに対する輝点画像の重心の位置とが同じ方向になるように輝点合成位置を決定する。以下に、輝点合成位置の具体的な決定方法を説明する。
まず、輝点作成部6は、瞳領域に外接する矩形A1A2A3A4を生成する。次に、輝点作成部6は、顔の向きに応じた処理を行う。顔の向きが正面,上,又は右の場合(図5(a)の場合)、輝点作成部6は、A2とA3とを結ぶ線分(対角線)をひき、この線分の長さを四等分する。そして、輝点作成部6は、A2と線分の中点との間の点a1を輝点合成位置として決定する。
顔の向きが下の場合(図5(b)の場合)、輝点作成部6は、まずA1とA2との中点であるA12,及びA3とA4との中点であるA34を特定する。次に、輝点作成部6は、A12とA34とを結ぶ線分をひき、この線分の長さを四等分する。そして、輝点作成部6は、A34と線分の中点との間の点b1を輝点合成位置として決定する。
顔の向きが左の場合(図5(c)の場合)、輝点作成部6は、A1とA4とを結ぶ線分(対角線)をひき、この線分の長さを四等分する。そして、輝点作成部6は、A1と線分の中点との間の点c1を輝点合成位置として決定する。
次に、輝点画像の作成処理について説明する。輝点作成部6は、補正情報に含まれる情報をもとに、瞳領域よりも小さい輝点領域により構成される輝点画像を作成する。例えば、輝点作成部6は、所定の半径を有する円として輝点画像を作成しても良い。また、輝点作成部6は、テンプレートを用いて輝点画像を作成しても良い。図6は、輝点画像のテンプレートの例を示す図である。図6に示すように、テンプレートとして、円以外に、三日月形、幅を持つ曲線、楕円形などの形を適用することができる。テンプレートの形は、図6に示される形に限定される必要はなく、他の形(例:三角形や四角形などの多角形,幅を持つ輪,幅を持つ直線)が適用されても良い。以下、輝点画像を作成するための具体的な処理について説明する。
まず、輝点作成部6は輝点画像の大きさ、即ち輝点領域の大きさを決定する。輝点作成部6は、瞳領域の大きさに応じて輝点領域の大きさを決定する。例えば、輝点作成部6は、瞳領域を円と仮定した場合の半径に応じて輝点領域の大きさを決定しても良い。また、輝点作成部6は、瞳領域に外接する矩形の辺の長さに応じて輝点領域の大きさを決定しても良い。また、輝点作成部6は、瞳領域の面積や瞳領域に含まれる画素数に応じて輝点領域の大きさを決定しても良い。
輝点画像が所定の半径を有する円として作成される場合、輝点作成部6は、瞳領域の大きさに応じてこの円の半径を決定する。また、輝点画像がテンプレートとして与えられる場合、輝点作成部6は、瞳領域の大きさに応じてテンプレートを拡大又は縮小し、テンプレートの大きさ(例えばテンプレートの一辺の長さや面積など)を決定する。
次に、輝点作成部6は、決定された大きさの輝点領域の各画素に対し輝度値を与えることにより、輝点画像を作成する。輝点作成部6は、被写体の白目領域における画素値の統計値に基づいて、輝点画像に対して与えられる輝度値を決定する。以下、統計値が平均値である場合を例として、具体的な処理の説明をする。
輝点作成部6は、補正情報から白目領域の画素値平均を取得する。輝点作成部6は、取得された画素値平均又はこの画素値平均に類似した画素値を、輝点画像の画素毎にランダムに生成し、生成された画素値を各画素に与える。類似した画素値は、所定の表色系及び所定の閾値に基づいて決定される。例えば、所定の表色系がRGB表色系で閾値が“5”である場合、白目領域の画素値平均のRGB各値においてランダムにプラスマイナス5の値が決定される。また、RGB表色系以外であっても、例えばHSL表色系やHSV表色系やLab表色系やCMY表色系など、どのような表色系に基づいて処理が行われても良い。ただし、各表色系に応じて閾値をそれぞれ設定する必要がある。
輝点作成部6は、作成された輝点画像を、原画像又は拡散反射成分画像の輝点合成位置に合成する。輝点作成部6は、瞳状態判断部5から拡散反射成分画像を受け取っている場合はこの拡散反射成分画像に輝点画像を合成する。一方、輝点作成部6は、瞳状態判断部5から拡散反射成分画像を受け取っていない場合には、瞳状態判断部5から受け取った原画像に輝点画像を合成することにより補正画像を生成する。合成位置は、例えば輝点画像が円として与えられる場合にはその中心位置と輝点合成位置とを合わせることにより決定される。また、例えば輝点画像がテンプレートとして与えられる場合には、合成位置は、テンプレートの中心位置や左端などの所定の位置と輝点合成位置とを合わせることにより決定される。
輝点作成部6は、輝点画像を拡散反射成分画像に対して合成した場合、さらに合成後の拡散反射成分画像を原画像に対して合成することにより補正画像を生成する。輝点作成部6は、補正画像を生成すると、この補正画像を画像出力部7へ渡す。
〈画像出力部〉
画像出力部7は、輝点作成部6によって作成された補正画像のデータを画像補正装置1の外部へ出力するためのインタフェースとして機能する。画像出力部7によって、画像補正装置1から、補正画像のデータが画像補正装置1の外部へ出力される。画像出力部7は、画像補正装置1から補正画像のデータを出力するためのどのような既存技術を用いて構成されても良い。
画像出力部7は、輝点作成部6によって作成された補正画像のデータを画像補正装置1の外部へ出力するためのインタフェースとして機能する。画像出力部7によって、画像補正装置1から、補正画像のデータが画像補正装置1の外部へ出力される。画像出力部7は、画像補正装置1から補正画像のデータを出力するためのどのような既存技術を用いて構成されても良い。
例えば、ネットワークを介して補正画像のデータが画像補正装置1から出力されても良い。この場合、画像出力部7はネットワークインタフェースを用いて構成される。また、パーソナルコンピュータ等の他の情報処理装置や記録装置へ補正画像のデータが出力されても良い。この場合、画像出力部7は、パーソナルコンピュータ等の他の情報処理装置や記録装置と画像補正装置1とをデータ通信可能に接続する規格に応じて構成される。また、記録媒体に対し補正画像のデータが出力(書き込み)されても良い。この場合、画像出力部7は、これらの記録装置又は記録媒体へデータを書き込む装置(例えばフラッシュメモリライタやフロッピーディスクドライブやCD−RドライブやDVD−Rドライブ)を用いて構成される。
また、画像補正装置1が、プリンタやディスプレイ等の画像出力装置の内部に含まれ、プリントアウトされる画像のデータやディスプレイに表示される画像のデータとして補正画像のデータが出力されるように構成されても良い。この場合、画像出力部7は、画像補正装置1において生成された補正画像のデータをこれらの画像出力装置において取り扱い可能なデータに変換する装置(例えばD/A変換装置)などを用いて構成される。
また、画像出力部7は上記された複数の場合に応じることが可能となるように構成されても良い。
〔動作例〕
図7は、画像補正装置1の動作例を示すフローチャートである。以下、図7を用いて、画像補正装置1の動作例について説明する。
図7は、画像補正装置1の動作例を示すフローチャートである。以下、図7を用いて、画像補正装置1の動作例について説明する。
まず、画像入力部2を介して、原画像が画像補正装置1に入力される(S01)。次に、顔検出部3が原画像から被写体の顔を検出する(S02)。また、顔検出部3は、検出された被写体の顔の向きを推定する(S03)。顔検出部3は、検出された顔の位置や推定された顔の向き等の情報を含む顔情報を目検出部4へ渡す。
目検出部4は、顔検出部3によって検出された顔における瞳を検出する(S04)。次に、目検出部4は、検出された瞳と同じ目における白目領域を検出し(S05)、検出された白目領域内の画素値の統計値を取得する(S06)。目検出部4は、顔検出部3によって推定された顔の向きや、目検出部4によって検出された瞳の位置や白目領域内の画素値の統計値などの情報を含む目情報を瞳状態判断部5へ渡す。そして、瞳状態判断部5及び輝点作成部6によって輝点補正処理が実行される(S07)。
図8は輝点補正処理における画像補正装置1の動作例を示すフローチャートである。次に、図8を用いて輝点補正処理における画像補正装置1の動作例について説明する。
輝点補正処理において、まず、瞳状態判断部5は、瞳画像を拡散反射成分画像と鏡面反射成分画像とに分解する(S08)。次に、瞳状態判断部5は、鏡面反射成分画像を用いることにより輝点領域の数を計数する(S09)。計数の結果、輝点領域の数が1よりも多い場合(S10−“>1”)、瞳状態判断部5は原画像のデータを輝点作成部6へ渡す。このとき、瞳状態判断部5は補正情報を輝点作成部6へ渡さない。原画像データを受け取った輝点作成部6は、この原画像データをそのまま画像出力部7へ渡す。そして、画像出力部7は、この原画像のデータを出力し(S13)、輝点補正処理を終了する。
S09における計数の結果、輝点領域の数が0である場合(S10−“=0”)、瞳状態判断部5は、補正情報と共に原画像のデータを輝点作成部6へ渡す。そして、輝点作成部6は輝点作成処理を実行する(S14)。
S09における計数の結果、輝点領域の数が1である場合(S10−“=1”)、瞳状態判断部5は、さらに輝点判定処理を実行する(S11)。図9は輝点判定処理における画像補正装置1の動作例を示すフローチャートである。以下、図9を用いて輝点判定処理における画像補正装置1の動作例について説明する。
輝点判定処理において、まず、瞳状態判断部5は、被写体の顔が斜めを向いていると推定されたか否か、即ち正面以外の方向(例えば上,下,左,右のいずれか)を向いていると推定されたか否か判断する。被写体の顔が斜めを向いていると推定された場合(S16−Yes)、瞳状態判断部5は輝点位置判定処理を実行する(S17)。図10は輝点位置判定処理における画像補正装置1の動作例を示すフローチャートである。以下、図10を用いて輝点位置判定処理における画像補正装置1の動作例について説明する。
輝点位置判定処理において、まず、瞳状態判断部5は、瞳の中心Eの位置を特定する(S24)。次に、瞳状態判断部5は、輝点領域の重心Gの位置を特定する(S25)。そして、瞳状態判断部5は、中心Eに対する重心Gの位置を特定し(S26)、輝点位置判定処理を終了する。
図9を用いた説明に戻る。瞳状態判断部5は、中心Eに対する重心Gの位置と、被写体の顔の向きとが一致するか否か判断する。一致する場合(S18−Yes)、瞳状態判断部5は、変数F(フラグF)を定義し、このフラグFに“0”を代入する(S19)。一
方、一致しない場合(S18−No)、瞳状態判断部5は、フラグFを定義し、このフラグFに“1”を代入する(S20)。
方、一致しない場合(S18−No)、瞳状態判断部5は、フラグFを定義し、このフラグFに“1”を代入する(S20)。
S16における処理の説明に戻る。S16において被写体の顔が斜めを向いていないと判断された場合(S16−No)、瞳状態判断部5は、距離判定処理を実行する(S21)。図11は距離判定処理における画像補正装置1の動作例を示すフローチャートである。以下、図11を用いて距離判定処理における画像補正装置1の動作例について説明する。
距離判定処理において、まず、瞳状態判断部5は、瞳の中心Eの位置を特定する(S27)。次に、瞳状態判断部5は、輝点領域の重心Gの位置を特定する(S28)。そして、瞳状態判断部5は、中心Eと重心Gとの距離Dを算出する(S29)。算出された距離Dの値が閾値Aよりも大きい場合(S30−Yes)、瞳状態判断部5は、輝点の重心Gと瞳の中心Eとの位置が異なると判断する(S31)。一方、算出された距離Dの値が閾値Aよりも小さい場合(S30−No)、瞳状態判断部5は、輝点の重心Gと瞳の中心Eとの位置が同じであると判断し(S32)、距離判定処理を終了する。
図9を用いた説明に戻る。瞳状態判断部5は、中心Eと重心Gとの位置が同じと判断された場合(S22−Yes)、フラグFを定義し、このフラグFに“1”を代入する(S20)。一方、瞳状態判断部5は、中心Eと重心Gとの位置が異なると判断された場合(S22−No)、フラグFを定義し、このフラグFに“0”を代入する(S23)。
図8を用いた説明に戻る。輝点判定処理において得られたフラグFの値が“0”であった場合(S12−“0”)、輝点領域の数が1よりも多い場合(S10−“>1”)と同じ処理が実行される(S13)。一方、フラグFの値が“1”であった場合(S12−“1”)、瞳状態判断部5は、補正情報と共に原画像のデータ及び拡散反射成分画像のデータを輝点作成部6へ渡す。そして、輝点作成部6は輝点作成処理を実行する(S14)。
図12は輝点作成処理における画像補正装置1の動作例を示すフローチャートである。以下、図12を用いて、輝点作成処理における画像補正装置1の動作例について説明する。輝点作成処理において、まず、輝点作成部6は、顔検出部3において被写体の顔の向きがいずれの方向と推定されたか判断する。顔の向きが左と推定されていた場合(S33−左)、輝点作成部6は、A1とA4とを結ぶ線分を四分割し、A1と線分の中点との間の点を輝点合成位置とする(S34)。顔の向きが下と推定されていた場合(S33−下)、輝点作成部6は、A12とA34とを結ぶ線分を四分割し、A34と線分の中点との間の点を輝点合成位置とする(S35)。また、顔の向きが正面,上,又は右と推定されていた場合(S33−正面/上/右)、輝点作成部6は、A2とA3とを結ぶ線分を四分割し、A2と線分の中点との間の点を輝点合成位置とする(S36)。
S34,S35,S36の処理の後、輝点作成部6は、輝点画像を作成する(S37)。そして、輝点作成部6は、作成された輝点画像を原画像に対して合成し、又は拡散反射成分画像に合成し且つ合成後の拡散反射成分画像をさらに原画像に合成し(S38)、輝点作成処理を終了する。
図8を用いた説明に戻る。輝点作成処理(S14)の後、輝点作成部6は、生成された補正画像を画像出力部7へ渡す。そして、画像出力部7は、補正画像を出力し(S15)、輝点補正処理を終了する。
〔作用/効果〕
画像補正装置1では、瞳状態判断部5によって、被写体の瞳の画像に対して輝点画像を
合成する処理(輝点作成処理)を実施するか否か判断される。このとき、瞳状態判断部5は、顔検出部3によって推定される被写体の顔の向き,瞳状態判断部5によって計数される輝点領域の数や輝点領域と瞳との位置関係(具体的には輝点領域の重心Gと瞳領域の中心Eとの位置関係)等に基づいて上記判断を行う。即ち、瞳状態判断部5は、被写体の顔や瞳の状態などに基づいて、輝点作成処理を行うか否か判断する。
画像補正装置1では、瞳状態判断部5によって、被写体の瞳の画像に対して輝点画像を
合成する処理(輝点作成処理)を実施するか否か判断される。このとき、瞳状態判断部5は、顔検出部3によって推定される被写体の顔の向き,瞳状態判断部5によって計数される輝点領域の数や輝点領域と瞳との位置関係(具体的には輝点領域の重心Gと瞳領域の中心Eとの位置関係)等に基づいて上記判断を行う。即ち、瞳状態判断部5は、被写体の顔や瞳の状態などに基づいて、輝点作成処理を行うか否か判断する。
このため、画像補正装置1では、常に被写体の瞳に輝点画像を合成する処理が実施されるのではなく、被写体の状態に応じて処理を実施するか否か判断され、その結果に応じて輝点画像を合成する処理が実施される。このため、新たに輝点画像を合成する必要のない画像に対しては、輝点作成処理が実行されない。例えば既に複数の輝点が瞳に含まれているような画像に対しては、新たに輝点画像を作成し合成したとしても、あまり効果が得られない。このような画像については、むしろ輝点画像の作成や合成の処理に要する時間やハードウェア資源が無駄となってしまう。このため、画像補正装置1では、このような無駄を省くことが可能となる。
また、画像補正装置1では、輝点画像の合成位置は、被写体の顔の向きに応じて決定される。例えば、被写体の瞳の右側に輝点画像を合成することにより、画像を見ている者に対し被写体の視線が右を向いているように印象づけることができる。即ち、被写体の瞳領域において輝点画像が偏った方向に存在する場合、その偏った方向へ被写体の視線が向いているように印象づけることができる。このため、画像補正装置1では、被写体の顔が向いている方向へ被写体の視線が向いているように印象づけることが可能となる。従って、被写体の顔の向きに応じたより自然な補正画像を得ることが可能となる。
また、画像補正装置1では、輝点画像の画素値は、被写体の白目の画素値に基づいて決定される。このため、被写体の目の色などに応じたより自然な補正画像を得ることが可能となる。
また、画像補正装置1では、輝点画像の大きさは、被写体の瞳の大きさ(瞳領域の大きさ)に基づいて決定される。このため、瞳の大きさに対して不自然な大きさの輝点画像が合成されることを防止し、より自然な補正画像を得ることが可能となる。
また、画像補正装置1では、瞳の画像に既に輝点領域が存在する場合であっても、その輝点領域が瞳の中心に位置する場合には、不適切な輝点領域であると判断される。このような不適切な輝点は、例えば撮像装置のレンズのそばにある発光面積の小さいフラッシュを発光させることにより発生する場合がある。一般的に、瞳の中心に輝点画像がある場合、その画像を見る者に対して不愉快,不自然などの悪い印象を与える。従って、このような場合、輝点作成部6は、拡散反射成分画像に対して新たな輝点画像を合成することにより、不適切と判断された輝点画像を削除し、新たな輝点画像を与える。このため、瞳の中心に輝点画像が無く、他の位置に輝点画像がある瞳の画像、即ち見る者に対し悪い印象を与えず良い印象を与える自然な画像を得ることが可能となる。
また、画像補正装置1は、デジタルビデオカメラのように動画像を撮像する機器に組み込まれることにより、動画像の各フレームに対して処理を行うように構成されても良い。
〔変形例〕
顔検出部3は、まずユーザによって手動で顔の位置が指示され(このときユーザは不図示の入力インタフェースを用いて指示を行う)、その指示に基づいて顔座標を特定するように構成されても良い。例えば、ユーザによって画像内の1又は複数の点が指示された場合、指示された点を含む顔の画像についての顔座標を特定するように顔検出部3が構成されても良い。また、例えば、ユーザによって画像内の領域が指示された場合、この領域内
に含まれる顔の画像についての顔座標を特定するように顔検出部3が構成されても良い。例えば、顔検出部3が原画像から人の顔を検出できなかった場合や、複数の顔が検出されてしまった場合などに有効である。また、このように位置がユーザによって指示される処理は、顔の位置に限らず、目の領域の位置や白目領域の位置や瞳領域の位置などを特定するために用いられても良い。
顔検出部3は、まずユーザによって手動で顔の位置が指示され(このときユーザは不図示の入力インタフェースを用いて指示を行う)、その指示に基づいて顔座標を特定するように構成されても良い。例えば、ユーザによって画像内の1又は複数の点が指示された場合、指示された点を含む顔の画像についての顔座標を特定するように顔検出部3が構成されても良い。また、例えば、ユーザによって画像内の領域が指示された場合、この領域内
に含まれる顔の画像についての顔座標を特定するように顔検出部3が構成されても良い。例えば、顔検出部3が原画像から人の顔を検出できなかった場合や、複数の顔が検出されてしまった場合などに有効である。また、このように位置がユーザによって指示される処理は、顔の位置に限らず、目の領域の位置や白目領域の位置や瞳領域の位置などを特定するために用いられても良い。
また、赤色の輝点領域(いわゆる赤目現象により生じる赤色部分)も不適切な輝点領域として判断されるように構成されても良い。
また、輝点作成部6は、被写体の顔の向きに応じて輝点画像のテンプレートを選択しても良い。例えば、輝点作成部6は、被写体の顔の向きが正面,上,又は右である場合は図6(c),図6(f),又は図6(i)のいずれかを選択する。このとき、輝点作成部6は
、これら三つの中からランダムに一つのテンプレートを選択しても良い。同様に、輝点作成部6は、被写体の顔の向きが下である場合は図6(b),図6(e),又は図6(h)の
いずれかを選択し、被写体の顔の向きが左である場合は図6(a),図6(d),又は図6(g)のいずれかを選択するように構成されても良い。
、これら三つの中からランダムに一つのテンプレートを選択しても良い。同様に、輝点作成部6は、被写体の顔の向きが下である場合は図6(b),図6(e),又は図6(h)の
いずれかを選択し、被写体の顔の向きが左である場合は図6(a),図6(d),又は図6(g)のいずれかを選択するように構成されても良い。
また、輝点画像のテンプレートは、図6に示すような単純な形状のみではなく、意味を持った記号(例:エクスクラメーション,アスタリスク,アルファベット,漢字,星形,ハート形)や複雑な形状を示すもの(例:商標,サービスマーク,キャラクター)であっても良い。
また、輝点作成部6は、輝点画像の各画素に対して同一の画素値を与えるように構成されても良いし、グラデーションとして画素値を与えるように構成されても良い。また、輝点作成部6は、合成色と基本色とを反転したカラーを乗算する「スクリーン処理」を用いて画素値を与えるように構成されても良い。
また、輝点作成部6は、輝点画像を生成することなく、原画像又は拡散反射成分画像に対して直接輝点画像を書き込むように構成されても良い。この場合、輝点画像を記憶するメモリや合成に要する時間などを省くことが可能となる。
また、輝点作成部6は、白目領域の統計値に基づくのではなく、予め定められた輝度値を用いることによって輝点画像を作成するように構成されても良い。例えば、既に輝度値が与えられているテンプレートを用い、このテンプレートの大きさを変化させることにより輝点画像を作成するように構成されても良い。
また、輝点作成部6は、被写体の瞳の大きさではなく、被写体の顔の大きさや両目の間隔や鼻孔の間隔など、被写体の身体に関する大きさ(長さ)であればどのような値に基づいて輝点画像の大きさを決定するように構成されても良い。
また、輝点作成部6は、被写体の顔に照射されている照明の位置する方向を推定し、この推定結果に基づいて輝点合成位置を決定するように構成されても良い。図13は、このように構成された場合の輝点作成処理部6による輝点作成処理の動作例を示すフローチャートである。以下に、このように構成された場合の輝点作成部6の処理について、図13を用いて説明する。
まず、輝点作成部6は、被写体の顔に照射されている照明の位置する方向を推定する。輝点作成部6は、例えば、被写体の顔における明度の分布を調べることによりこの推定を行う。言い換えれば、輝点作成部6は、例えば、被写体の顔において高い明度を有する画素が多く存在している方向から照明が照射されていると推定する。
具体的には、輝点作成部6は、まず、被写体の顔を複数の部分領域に分割する(S39)。図14は、複数の部分領域の例を示す図である。図14では、被写体の顔は左上領域8a,左下領域8b,右下領域8c,及び右上領域8dの四つの部分領域に分割される。次に、輝点作成部6は、それぞれの部分領域において肌色と認められる領域を特定し、この特定された各領域の明度の統計値(例:平均値,最頻値,重心)を算出する(S40)。輝点作成部6は、各領域において算出された値を比較し、最も明度の高い領域を特定する。輝点作成部6は、最も明度の高い領域の存在する方向から、照明が照射されていると推定する。
次に、輝点作成部6は、最も明度の高い領域の存在する方向と、瞳領域の中心Eに対する輝点画像の重心の位置とが同じ方向になるように輝点合成位置を決定する。例えば、図13において最も明度の高い領域が右上領域8dであった場合(S41−右上)、輝点作成部6は、瞳領域の中心Eに対して右上の方向に輝点画像の重心が位置するように輝点合成位置を決定する。具体的には、輝点作成部6は、図5におけるA2とA3とを結ぶ線分を四等分し、A2と線分の中点との間の点を基点合成位置とする(S45)。その他の部分領域が最も明度の高い領域だったとしても、それぞれに応じた処理が実行される(S42〜S44)。そして、輝点作成部6は、輝点画像を作成し(S46)、作成された輝点画像を合成する(S47)。
また、輝点作成部6は、照明の位置する方向を推定する際に、その画像ファイルに照明の位置する方向に関する情報がExif形式で記録されている場合、この情報を元に推定を行うように構成されても良い。
1 画像補正装置
2 画像入力部
3 顔検出部
4 目検出部
5 瞳状態判断部
6 輝点作成部
7 画像出力部
8a,8b,8c,8d 部分領域
2 画像入力部
3 顔検出部
4 目検出部
5 瞳状態判断部
6 輝点作成部
7 画像出力部
8a,8b,8c,8d 部分領域
Claims (9)
- 入力された画像から被写体の瞳を検出する瞳検出手段と、
前記瞳検出手段によって検出された瞳の領域よりも小さく、前記瞳の領域よりも輝度値の高い画素によって構成される輝点画像を生成する輝点画像生成手段と、
前記瞳検出手段によって検出された瞳の画像に対し、前記輝点画像生成手段によって生成された輝点画像を合成する合成手段と
を備える画像補正装置。 - 前記入力された画像から被写体の白目を検出する白目検出手段と、
前記白目検出手段によって検出された白目の領域における輝度値の統計値を算出する統計値算出手段とをさらに備え、
前記輝点画像生成手段は、前記統計値算出手段によって算出された統計値に基づいた画素値を前記輝度値の高い画素として用いる
請求項1に記載の画像補正装置。 - 前記入力された画像から被写体の顔の向きを推定する推定手段をさらに備え、
前記合成手段は、前記推定手段によって推定された被写体の顔の向きに応じて、前記瞳領域における前記輝点画像を合成する位置を決定する
請求項1又は2に記載の画像補正装置。 - 前記入力された画像の被写体の顔に照射されている照明の位置する方向を推定する照明方向推定手段をさらに備え、
前記合成手段は、前記照明方向推定手段によって推定された照明の位置する方向に応じて、前記瞳領域における前記輝点画像を合成する位置を決定する
請求項1又は2に記載の画像補正装置。 - 前記被写体の身体に関する大きさや長さを検出する身体値検出手段をさらに備え、
前記輝点画像生成手段は、前記身体値検出手段によって検出された大きさや長さに基づいて前記輝点画像の大きさを決定する請求項1〜4のいずれかに記載の画像補正装置。 - 前記瞳検出手段によって検出された瞳の領域に既に存在する輝点画像の数を数える計数手段をさらに備え、
前記合成手段は、前記計数手段による計数結果が所定の数よりも多い場合には処理を実行せず、前記計数結果が所定の数以下の場合には処理を実行する
請求項1〜5のいずれかに記載の画像補正装置。 - 前記瞳検出手段によって検出された瞳の領域に、不適切な輝点画像が既に存在しているか否か判断する不適切輝点判断手段をさらに備え、
前記不適切輝点判断手段によって不適切な輝点画像が存在していると判断された場合、前記合成手段は、前記瞳の画像において不適切な輝点画像を削除し、この瞳の画像に対して前記輝点画像生成手段によって生成された輝点画像を合成する
請求項1〜6のいずれかに記載の画像補正装置。 - 入力された画像から被写体の瞳を検出するステップと、
検出された瞳の領域よりも小さく、前記瞳の領域よりも輝度値の高い画素によって構成される輝点画像を生成するステップと、
検出された瞳の画像に対し、前記生成された輝点画像を合成するステップと
を情報処理装置に実行させるためのプログラム。 - 情報処理装置が、入力された画像から被写体の瞳を検出するステップと、
情報処理装置が、検出された瞳の領域よりも小さく、前記瞳の領域よりも輝度値の高い画素によって構成される輝点画像を生成するステップと、
情報処理装置が、検出された瞳の画像に対し、前記生成された輝点画像を合成するステップと
を含む画像補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004026925A JP2005222152A (ja) | 2004-02-03 | 2004-02-03 | 画像補正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004026925A JP2005222152A (ja) | 2004-02-03 | 2004-02-03 | 画像補正装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005222152A true JP2005222152A (ja) | 2005-08-18 |
Family
ID=34997746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004026925A Pending JP2005222152A (ja) | 2004-02-03 | 2004-02-03 | 画像補正装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005222152A (ja) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005310068A (ja) * | 2004-04-26 | 2005-11-04 | Noritsu Koki Co Ltd | 白目補正方法及びこの方法を実施する装置 |
JP2006040232A (ja) * | 2004-07-30 | 2006-02-09 | Canon Inc | 画像処理装置及びその方法、撮像装置、プログラム |
JP2006059092A (ja) * | 2004-08-19 | 2006-03-02 | Noritsu Koki Co Ltd | キャッチライト合成方法 |
JP2006072742A (ja) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | キャッチライト合成方法及び装置 |
JP2006072743A (ja) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | キャッチライト合成方法及び装置 |
JP2006285944A (ja) * | 2004-08-11 | 2006-10-19 | Fuji Photo Film Co Ltd | 被写体の構成要素を検出する装置および方法 |
JP2007281798A (ja) * | 2006-04-05 | 2007-10-25 | Fujifilm Corp | 赤目補正装置、赤目補正方法、および赤目補正プログラム |
JP2008158922A (ja) * | 2006-12-26 | 2008-07-10 | Aisin Seiki Co Ltd | 瞼検出装置、瞼検出方法及びプログラム |
JP2008276732A (ja) * | 2007-03-30 | 2008-11-13 | Fujifilm Corp | 画像処理装置、画像処理方法、画像管理装置、画像管理方法、プログラム、及び画像注文票 |
JP2008294762A (ja) * | 2007-05-24 | 2008-12-04 | Olympus Imaging Corp | 画像編集装置 |
JP2009224994A (ja) * | 2008-03-14 | 2009-10-01 | Olympus Imaging Corp | 撮影装置および撮影装置における画像合成方法 |
JP2010081201A (ja) * | 2008-09-25 | 2010-04-08 | Nikon Corp | 撮像装置 |
JP2010224775A (ja) * | 2009-03-23 | 2010-10-07 | Dainippon Printing Co Ltd | アイキャッチ合成装置及び方法 |
US7894666B2 (en) | 2004-07-30 | 2011-02-22 | Canon Kabushiki Kaisha | Image processing method and apparatus, image sensing apparatus, and program |
JP2011164141A (ja) * | 2010-02-04 | 2011-08-25 | Tatsumi Denshi Kogyo Kk | 自動写真作成装置 |
US8254712B2 (en) | 2007-03-30 | 2012-08-28 | Fujifilm Corporation | Image processing apparatus, image processing method, image managing apparatus, image managing method, computer program product, and image order sheet |
JP2013134411A (ja) * | 2011-12-27 | 2013-07-08 | Canon Inc | 焦点調節装置 |
KR20200090536A (ko) * | 2019-01-21 | 2020-07-29 | 김윤호 | 영상 합성 장치 및 방법 |
WO2022222075A1 (en) * | 2021-04-21 | 2022-10-27 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of generating image data, electronic device, apparatus, and computer readable medium |
WO2023276123A1 (ja) * | 2021-07-01 | 2023-01-05 | 日本電気株式会社 | 学習システム、推定システム、学習方法、及びコンピュータプログラム |
-
2004
- 2004-02-03 JP JP2004026925A patent/JP2005222152A/ja active Pending
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005310068A (ja) * | 2004-04-26 | 2005-11-04 | Noritsu Koki Co Ltd | 白目補正方法及びこの方法を実施する装置 |
JP2006040232A (ja) * | 2004-07-30 | 2006-02-09 | Canon Inc | 画像処理装置及びその方法、撮像装置、プログラム |
US7894666B2 (en) | 2004-07-30 | 2011-02-22 | Canon Kabushiki Kaisha | Image processing method and apparatus, image sensing apparatus, and program |
JP4537143B2 (ja) * | 2004-07-30 | 2010-09-01 | キヤノン株式会社 | 画像処理装置及びその方法、撮像装置、プログラム |
JP2006285944A (ja) * | 2004-08-11 | 2006-10-19 | Fuji Photo Film Co Ltd | 被写体の構成要素を検出する装置および方法 |
JP4507082B2 (ja) * | 2004-08-19 | 2010-07-21 | ノーリツ鋼機株式会社 | キャッチライト合成方法 |
JP2006059092A (ja) * | 2004-08-19 | 2006-03-02 | Noritsu Koki Co Ltd | キャッチライト合成方法 |
JP2006072742A (ja) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | キャッチライト合成方法及び装置 |
JP2006072743A (ja) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | キャッチライト合成方法及び装置 |
JP2007281798A (ja) * | 2006-04-05 | 2007-10-25 | Fujifilm Corp | 赤目補正装置、赤目補正方法、および赤目補正プログラム |
JP2008158922A (ja) * | 2006-12-26 | 2008-07-10 | Aisin Seiki Co Ltd | 瞼検出装置、瞼検出方法及びプログラム |
US8254712B2 (en) | 2007-03-30 | 2012-08-28 | Fujifilm Corporation | Image processing apparatus, image processing method, image managing apparatus, image managing method, computer program product, and image order sheet |
JP2008276732A (ja) * | 2007-03-30 | 2008-11-13 | Fujifilm Corp | 画像処理装置、画像処理方法、画像管理装置、画像管理方法、プログラム、及び画像注文票 |
JP2008294762A (ja) * | 2007-05-24 | 2008-12-04 | Olympus Imaging Corp | 画像編集装置 |
CN101311962B (zh) * | 2007-05-24 | 2011-12-28 | 奥林巴斯映像株式会社 | 图像编辑装置和控制图像编辑装置的方法 |
US8224036B2 (en) | 2007-05-24 | 2012-07-17 | Olympus Imaging Corp. | Image editing apparatus, method for controlling image editing apparatus, and recording medium storing image editing program |
JP2009224994A (ja) * | 2008-03-14 | 2009-10-01 | Olympus Imaging Corp | 撮影装置および撮影装置における画像合成方法 |
CN101534387B (zh) * | 2008-03-14 | 2011-05-18 | 奥林巴斯映像株式会社 | 摄影装置及摄影装置的图像合成方法 |
US8405713B2 (en) | 2008-03-14 | 2013-03-26 | Olympus Imaging Corp. | Image pickup apparatus and image combining method of image pickup apparatus |
JP2010081201A (ja) * | 2008-09-25 | 2010-04-08 | Nikon Corp | 撮像装置 |
JP2010224775A (ja) * | 2009-03-23 | 2010-10-07 | Dainippon Printing Co Ltd | アイキャッチ合成装置及び方法 |
JP2011164141A (ja) * | 2010-02-04 | 2011-08-25 | Tatsumi Denshi Kogyo Kk | 自動写真作成装置 |
JP2013134411A (ja) * | 2011-12-27 | 2013-07-08 | Canon Inc | 焦点調節装置 |
KR20200090536A (ko) * | 2019-01-21 | 2020-07-29 | 김윤호 | 영상 합성 장치 및 방법 |
KR102194909B1 (ko) * | 2019-01-21 | 2020-12-24 | 김윤호 | 영상 합성 장치 및 방법 |
WO2022222075A1 (en) * | 2021-04-21 | 2022-10-27 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of generating image data, electronic device, apparatus, and computer readable medium |
WO2023276123A1 (ja) * | 2021-07-01 | 2023-01-05 | 日本電気株式会社 | 学習システム、推定システム、学習方法、及びコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005222152A (ja) | 画像補正装置 | |
JP4396387B2 (ja) | 画像補正装置 | |
US10304166B2 (en) | Eye beautification under inaccurate localization | |
US8520089B2 (en) | Eye beautification | |
US8902326B2 (en) | Automatic face and skin beautification using face detection | |
JP4683200B2 (ja) | 髪領域の自動抽出方法 | |
US20090278958A1 (en) | Method and an apparatus for detecting a composition adjusted | |
WO2012120697A1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
US9135726B2 (en) | Image generation apparatus, image generation method, and recording medium | |
JP2008234208A (ja) | 顔部位検出装置及びプログラム | |
JP2006012062A (ja) | 画像処理装置及びその方法、プログラム、撮像装置 | |
JP2004094491A (ja) | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム | |
JP5949030B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP6111723B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2007272435A (ja) | 顔特徴抽出装置及び顔特徴抽出方法 | |
US20050147304A1 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
JP4219521B2 (ja) | マッチング方法および装置並びに記録媒体 | |
JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
JP2005275447A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4606304B2 (ja) | 近赤外線顔画像作成装置、近赤外線顔画像作成方法、及び顔画像照合装置 | |
JP2005242535A (ja) | 画像補正装置 | |
JP2005165983A (ja) | 人物顔のあご検出方法及びあご検出システム並びにあご検出プログラム | |
KR100618493B1 (ko) | 3차원 영상 자동 생성 장치 및 그 방법 | |
JP2005122319A (ja) | 撮影装置、その画像処理方法及びプログラム | |
Xu | Content Understanding for Imaging Systems: Page Classification, Fading Detection, Emotion Recognition, and Saliency Based Image Quality Assessment and Cropping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100112 |