JP3902887B2 - 唇抽出方法 - Google Patents
唇抽出方法 Download PDFInfo
- Publication number
- JP3902887B2 JP3902887B2 JP15859799A JP15859799A JP3902887B2 JP 3902887 B2 JP3902887 B2 JP 3902887B2 JP 15859799 A JP15859799 A JP 15859799A JP 15859799 A JP15859799 A JP 15859799A JP 3902887 B2 JP3902887 B2 JP 3902887B2
- Authority
- JP
- Japan
- Prior art keywords
- lip
- color component
- candidate region
- histogram
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Spectrometry And Color Measurement (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、人物の顔を含む画像から唇部分を抽出する方法に関する。
【０００２】
【従来の技術】
従来より、話者の唇の動き情報を検知し、この検知結果を利用して音声認識の認識精度を向上する試みがなされている。そして、唇の動き情報を検出するためには、話者の顔画像から唇部分を精度よく抽出する必要がある。
【０００３】
顔画像から唇部分を抽出する方法としては、１９９０年電子情報通信学会春期全国大会、Ｄ−３２９、ｐ７−８１、「顔画像からの唇特徴点の抽出法」などが知られている。
【０００４】
図１０は、従来の唇画像抽出装置の概要を示すブロック図である。
【０００５】
まず、話者の顔画像が背景分離部１００１に入力される。背景分離部１００１は、入力された顔画像に、その輝度情報を用いてＳｏｂｅｌ（エッジ抽出）オペレータをかけることによりエッジを抽出する。次に背景分離部１００１は、顔画像から、顔画像の最も外側のエッジよりも外側の部分を背景として分離し、顔面画像とする。背景を分離された顔面画像は、ＹＩＱ表色系変換部１００２に入力される。
【０００６】
ＹＩＱ表色系変換部１００２は、唇候補領域の決定するために、背景を分離された顔画像をＹＩＱ表色系へ色変換する。この色変換された画像は、唇候補領域決定部１００３に入力される。
【０００７】
唇候補領域決定部１００３は、通常は、顔画面中の色の中で唇部分を示す色が、最も大きなＱ軸値を示すことを考慮に入れて、Ｑ軸に関して濃度値の累積ヒストグラムをとる。次に、唇候補領域決定部１００３は、この累積ヒストグラムに、濃度値の高い方からｘ％の値で閾値処理を行うことで、唇候補領域を決定する。この、唇候補領域内の画像は唇抽出部１００４に入力される。
【０００８】
このときｘは（式１）から自動的に設定される。
ｘ＝（ｓ／（ｍ＋ｎ））×ｒａｔｉｏ×１００（％） …（式１）
ここで、ｍ×ｎは原画像の画素数、ｓは背景分離画像の画素数で、ｒａｔｉｏは顔の面積に対する唇部分の面積比を表すもので、経験的に定められる。
【０００９】
唇抽出部１００４は、唇候補領域内の画像から唇部分を抽出するため、Ｑ軸に関して濃度値の累積ヒストグラムをとり、Ｑ軸値により再度閾値処理を行う。このようにして唇画像が抽出される。
【００１０】
このときの閾値は、同様に累積ヒストグラムから（式２）で与えられるｙ％の値とする。
ｙ＝（ｓ’／（ｍ＋ｎ））×ｌｅｖｅｌ×１００（％） …（式２）
ここで、ｓ’は唇候補領域内の画素数、ｌｅｖｅｌは唇候補領域の面積に対する唇部分の面積比を表し、これも経験的に定められる。
【００１１】
以上のようにして、色成分ヒストグラムと閾値処理により、入力した話者の顔画像から唇部分を抽出することが可能である。
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の唇抽出方法では、色成分を用いて唇を抽出しているが、色成分は照明条件の影響を受けやすいという問題がある。
【００１３】
また、閾値設定のためにあらかじめ設定した係数を用いているため、男女差および化粧の有無など話者の個人差により、唇抽出の精度は影響を受けやすいという問題もある。
【００１４】
本発明はかかる点に鑑みてなされたものであり、照明など周囲の条件または、話者の個人差などに依存せずに顔画像から唇部分を精度よく抽出することを目的とする。
【００１５】
【課題を解決するための手段】
そこで、本発明の唇抽出方法では、顔画像から唇を含む第１の唇候補領域を決定する工程と、前記顔画像から前記第１の唇候補領域の全ての領域とその周辺の領域を含む第２の唇候補領域を決定する工程と、前記第１の唇候補領域の色成分ヒストグラムを作成する工程と、前記第２の唇候補領域の色成分ヒストグラムを作成する工程と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを作成する工程と、前記差分ヒストグラムにおけるピークを唇周辺の肌色部分の色成分によるものとし、そのピーク値に対応する色成分値に係数を掛けて得られる色成分値を閾値として設定する工程と、前記第１の唇候補領域の色成分ヒストグラムのピークを前記唇部分の色成分によるものとし、前記閾値よりも前記唇部分の色成分によるピーク側にある色成分の領域を唇部分として抽出する工程と、を具備することを特徴とする。
【００１６】
このように構成することで、第１の唇候補領域と第２の唇候補領域は共に唇部分を含み、第２の唇候補領域は第１の唇候補領域よりも広い範囲で唇周辺における肌色部分を含む。このため、前述の差分ヒストグラムは唇周辺の肌色部分の色成分ヒストグラムとなる。従って、差分ヒストグラムの分布から閾値を設定することにより、対象とする話者の肌と唇部分の色成分の境界を精度よく抽出することが可能となる。
【００１７】
また、閾値設定のために抽出する第１の唇候補領域、第２の唇候補領域ともに同じ画像を用いるため、照明など周囲の条件によって生じる、唇部分抽出精度の劣化も防ぐことも可能となる。
本発明の唇抽出装置では、顔画像から唇を含む第１の唇候補領域を決定する第１の唇候補領域決定部と、前記顔画像から前記第１の唇候補領域の全ての領域とその周辺の領域を含む第２の唇候補領域を決定する第２の唇候補領域決定部と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとを作成する色成分ヒストグラム作成部と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを作成し、前記差分ヒストグラムにおけるピ ークを唇周辺の肌色部分の色成分によるものとし、そのピーク値に対応する色成分値に係数を掛けて得られる色成分値を閾値として設定する閾値設定部と、前記第１の唇候補領域の色成分ヒストグラムのピークを前記唇部分の色成分によるものとし、前記閾値よりも前記唇部分の色成分によるピーク側にある色成分の領域を唇部分として抽出する唇抽出部と、を具備することを特徴とする。
【００１８】
【発明の実施の形態】
本発明の第１の態様にかかる唇抽出方法は、顔画像から唇を含む第１の唇候補領域を決定する工程と、前記顔画像から前記第１の唇候補領域の全ての領域とその周辺の領域を含む第２の唇候補領域を決定する工程と、前記第１の唇候補領域の色成分ヒストグラムを作成する工程と、前記第２の唇候補領域の色成分ヒストグラムを作成する工程と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを作成する工程と、前記差分ヒストグラムにおけるピークを唇周辺の肌色部分の色成分によるものとし、そのピーク値に対応する色成分値に係数を掛けて得られる色成分値を閾値として設定する工程と、前記第１の唇候補領域の色成分ヒストグラムのピークを前記唇部分の色成分によるものとし、前記閾値よりも前記唇部分の色成分によるピーク側にある色成分の領域を唇部分として抽出する工程と、を具備する。
【００１９】
このように差分ヒストグラムの分布から閾値を設定することにより、対象とする話者の肌と唇部分の色成分の境界を精度よく抽出することが可能となる。また、閾値設定のために抽出する第１の唇候補領域、第２の唇候補領域ともに同じ画像を用いるため、照明など周囲の条件によって生じる、唇部分抽出精度の劣化も防ぐことも可能となる。
【００２０】
本発明の第２の態様は、第１の態様にかかる唇抽出方法において、前記色成分ヒストグラムを求める色成分は、予め設定した係数をａ、ｂとして、作成するヒストグラムの色成分がＲＧＢ表色系の
（Ｒ−ａ・Ｇ−ｂ・Ｂ）
である。
【００２１】
このように構成することにより、入力する顔画像のＲＧＢ成分から容易に色成分ヒストグラムを作成することができる。
【００２２】
本発明の第３の態様は、第１の態様または第２の態様にかかる唇抽出方法において、第１の唇候補領域と第２の唇候補領域の面積比が１対１よりも大きく、１対３よりも小さい。
【００２３】
このような面積比にすることで、精度の高い閾値を設定できるので、唇の抽出も精度高くできる。
【００２４】
本発明の第４の態様は、第１の態様から第３の態様のいずれかにかかる唇抽出方法において、第１の唇候補領域を決定する工程は、顔画像から仮唇候補領域を決定する工程と、仮唇候補領域の色成分ヒストグラムを作成する工程と、予め作成した複数の話者の顔画像から唇部分を切り出す際に使用した複数の閾値の平均値である閾値を、仮唇候補領域の色成分ヒストグラムに用いて色成分による閾値処理を行うことにより、仮唇候補領域から唇部分を抽出し、２値化を行う工程と、抽出された唇部分を含む長方形の領域を切り出すことで決定した新たな唇候補領域を第１の唇候補領域とする工程と、を具備する。
【００２５】
以上のようにして、仮唇候補領域を使用して第１の唇候補領域を決定することにより、第１の唇候補領域を精度よく抽出することが可能となる。さらに、このように精度よく抽出された第１の唇候補領域を使用して唇画像を抽出するため、唇を精度よく抽出することができる。
【００２６】
本発明の第５の態様は、第１の態様から第３の態様のいずれかにかかる唇抽出方法において、第１の唇候補領域を決定する工程は、顔画像から仮唇候補領域を決定する工程と、仮唇候補領域の色成分ヒストグラムを作成する工程と、予め複数の話者の顔画像から唇部分を切り出して作成した唇抽出用テンプレートの色成分ヒストグラムと前記仮唇候補領域の色成分ヒストグラムを比較し、類似度のもっとも高い唇抽出用テンプレートの閾値を仮唇候補領域の色成分ヒストグラムに用いて色成分による閾値処理を行うことにより、仮唇候補領域から唇部分を抽出し、２値化を行う工程と、抽出された唇部分を含む長方形の領域を切り出すことで決定した新たな唇候補領域を第１の唇候補領域とする工程と、を具備する。
【００２７】
以上のようにして、仮唇候補領域を使用して第１の唇候補領域を決定することにより、第１の唇候補領域を精度よく抽出することが可能となる。さらに、このように精度よく抽出された第１の唇候補領域を使用して唇画像を抽出するため、唇を精度よく抽出することができる。
【００２８】
本発明の第６の態様は、第１の態様から第５の態様のいずれかにかかる唇抽出方法において、前記色成分ヒストグラムを求める色成分は、前記抽出した唇部分の色成分の分布と抽出した唇周辺部分の色分布に対し、ＲＧＢ色空間上で唇部分と唇周辺部分を２分する関数
ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０
を求め、唇抽出のために作成するヒストグラムの色成分を
ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ
とする。
【００２９】
このように唇部分と唇周辺部分を２分する関数により、抽出した唇部分の色成分の分布と抽出した唇周辺部分の色分布を唇部分と唇周辺部分とに簡単に２分することができる。また、唇部分と唇周辺部分を２分する関数から、閾値を設定するための色成分（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）の係数（ａ、ｂ、ｃ）を決定し、この係数により色成分ヒストグラムを作成することにより、より精度よく唇部分を抽出することが可能になる。
【００３０】
本発明の第７の態様は、第１の態様から第６の態様のいずれかにかかる唇抽出方法において、さらに、第１の唇候補領域の画像を輝度成分に変換し、エッジ抽出し、２値化した画像と、色成分により唇部分を抽出した画像の論理和を取った画像を唇抽出画像として出力する工程を有する。
【００３１】
このように色成分と輝度成分による唇抽出を行うことにより、より精度の高い唇部分の抽出が可能となる。
本発明の第８の態様に係る唇抽出装置は、顔画像から唇を含む第１の唇候補領域を決定する第１の唇候補領域決定部と、前記顔画像から前記第１の唇候補領域の全ての領域とその周辺の領域を含む第２の唇候補領域を決定する第２の唇候補領域決定部と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとを作成する色成分ヒストグラム作成部と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを作成し、前記差分ヒストグラムにおけるピークを唇周辺の肌色部分の色成分によるものとし、そのピーク値に対応する色成分値に係数を掛けて得られる色成分値を閾値として設定する閾値設定部と、前記第１の唇候補領域の色成分ヒストグラムのピークを前記唇部分の色成分によるものとし、前記閾値よりも前記唇部分の色成分によるピーク側にある色成分の領域を唇部分として抽出する唇抽出部と、を具備することを特徴とする。
本発明の第９の態様は、第８の態様にかかる唇抽出装置において、前記色成分ヒストグラムを求める色成分は、予め係数ａ，ｂを設定し、作成する色成分ヒストグラムの色成分がＲＧＢ表色系の（Ｒ−ａ・Ｇ−ｂ・Ｂ）であることを特徴とする。
本発明の第１０の態様は、第８の態様または第９の態様にかかる唇抽出装置において、前記第１の唇候補領域と前記第２の唇候補領域の面積比が１対１よりも大きく、１対３よりも小さいことを特徴とする。
【００３２】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３３】
（実施の形態１）
図１は、本発明にかかる音声認識装置の構成を示すブロック図である。この図を使用して、実施の形態１にかかる音声認識装置ついて説明する。
【００３４】
音声認識装置１０１は、画像入力部１０２と画像処理部１０３と音声入力部１０４と音声認識部１０５とを有する構成になっている。
【００３５】
画像入力部１０２は、話者の顔を撮影することによって得られた顔画像を出力する。画像入力部１０２としては、ＣＣＤカメラなどが考えられる。
【００３６】
画像処理部１０３は、画像入力部１０２から入力された顔画像から唇画像を抽出して出力する。画像処理部１０３は、顔面画像抽出部１０６と唇画像抽出部１０７とを有する構成になっている。
【００３７】
顔面画像抽出部１０６は、画像入力部１０２から入力された顔画像に、その輝度情報を用いてＳｏｂｅｌ（エッジ抽出）オペレータをかけてエッジを抽出する。次に顔面画像抽出部１０６は、最も外側のエッジよりも外側の部分顔画像の画像情報を背景として顔画像から分離し、顔面画像を作成する。顔面画像抽出部１０６は、顔面画像をＹＩＱ表色系変換に変換し、唇画像抽出部１０７に入力する。
【００３８】
なお、本実施の形態では、顔面画像抽出部１０６が顔画像から顔面画像を抽出する方法として、顔画像の輝度情報を用いてＳｏｂｅｌ（エッジ抽出）オペレータをかけてエッジを抽出する方法を用いたが、これ以外の方法を用いてもよく、これ以外の方法を用いた形態も本発明に包含される。
【００３９】
唇画像抽出部１０７は、入力された顔面画像から唇画像を抽出して音声認識部１０５に出力する。
【００４０】
音声入力部１０４は、マイクなどの集音装置により集音された音声を音声認識部１０５に出力する。
【００４１】
音声認識部１０５は、画像処理部１０３から入力された唇画像を用いて、音声入力部１０４から入力された音声認識をして、認識結果を出力する。
【００４２】
以下、本発明の特徴である唇抽出精度が高められた唇画像抽出部１０７の説明を詳細に行う。
【００４３】
図２は、実施の形態１にかかる唇画像抽出部の構成を示すブロック図である。
【００４４】
第１の唇候補領域決定部２０１は、入力された話者の顔面画像と唇を抽出するための情報から第１の唇候補領域を決定する。第１の唇候補領域の決定方法としては、前述の従来例における方法や、第２回画像センシングシンポジウム講演論文集、Ａ−１、ｐ１〜６、「色情報とＧＡを用いた顔画像抽出と個人照合の応用」に示されているような、予め用意された顔（または唇）抽出用テンプレートベクトル集合と遺伝的アルゴリズムを用いたパターンマッチングによる領域抽出法などが考えられる。なお、第１の唇候補領域の決定方法として、これら以外の技術を用いることも可能であり、これら以外の技術を使用して第１の唇候補領域の決定してもよい。
【００４５】
第２の唇候補領域決定部２０２は、入力された顔面画像から第１の唇候補領域の全てとその周辺を含むように決定された第２の唇候補領域を決定する。第１の唇候補領域と第２の唇候補領域の面積比は、１対１よりも大きく、１対３よりも小さくなっている。
【００４６】
色成分ヒストグラム作成部２０３は、第１の唇候補領域の色成分ヒストグラムおよび第２の唇候補領域の色成分ヒストグラムを作成する。図４において、色成分としてＲＧＢ表色系における（Ｒ−Ｇ−Ｂ）成分を横軸として示している。しかし、色成分として、このほかにも（Ｒ−Ｇ）成分、Ｒ／Ｇ成分、Ｒ／（Ｇ・Ｂ）成分、予め設定した係数をａ、ｂとして、（Ｒ−ａ・Ｇ−ｂ・Ｂ）成分を算出して用いることで入力する顔画像のＲＧＢ成分から容易に色成分ヒストグラムを作成できるようにすることや、前述の従来例に示されているＹＩＱ表色系におけるＱ成分や、ＨＳＶ表色系におけるＨ成分、Ｓ成分などを利用することで効果を上げることも可能である。
【００４７】
閾値設定部２０４は、第１の唇候補領域のヒストグラムと第２の唇候補領域のヒストグラムとの差分を取った差分ヒストグラムを作成し、この差分ヒストグラムのピーク値と予め設定された係数を掛けることにより得られる値に対応する色成分値を閾値として設定する。
【００４８】
唇抽出部２０５は、第１の唇候補領域のヒストグラムと閾値設定部２０４で決定した閾値から唇部分を抽出し、唇画像として出力する。
【００４９】
図３は、実施の形態１にかかる第１の唇候補領域および第２の唇候補領域を説明するための概略図である。
【００５０】
３０１は、唇部分であり、３０２は第１の唇候補領域決定部２０１により決定された第１の唇候補領域であり、３０３は第１の唇候補領域の全てとその周辺を含むように決定された第２の唇候補領域である。
【００５１】
図４は、実施の形態１にかかる第１の唇候補領域の色成分ヒストグラム（度数分布）と、第２の唇候補領域の色成分ヒストグラムと、第１の唇候補領域の色成分ヒストグラムと第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムと、を示す図である。
【００５２】
横軸は色成分（ＲＧＢ表色系における、（Ｒ−Ｇ−Ｂ）成分）、縦軸は色成分の度数である。４０１は第１の唇候補領域３０２の色成分ヒストグラム、４０２は第２の唇候補領域３０３の色成分ヒストグラム、４０３は第１の唇候補領域３０２の色成分ヒストグラムと第２の唇候補領域３０３の色成分ヒストグラムとの差分ヒストグラムである。また、４０４は、第２の唇候補領域の色成分ヒストグラムの第１のピークであり、４０５は、第２の唇候補領域の色成分ヒストグラムの第２のピークである。
【００５３】
以下、実施の形態１にかかる唇画像抽出部の動作について図２、図３および図４を使用して説明する。
【００５４】
初めに、第１の唇候補領域決定部２０１に話者の顔面画像と唇を抽出するための情報が入力される。第１の唇候補領域決定部２０１は、この顔面画像から第１の唇候補領域３０２を決定し、色成分ヒストグラム作成部２０３に出力する。
【００５５】
続いて、第２の唇候補領域決定部２０２が、入力された話者の顔面画像から、第１の唇候補領域３０２の全てとその周辺を含む領域を第２の唇候補領域３０３として新たに決定し、色成分ヒストグラム作成部２０３に出力する。
【００５６】
色成分ヒストグラム作成部２０３は、抽出した第１の唇候補領域３０２の色成分ヒストグラム４０１および第２の唇候補領域３０３の色成分ヒストグラム４０２を作成する。
【００５７】
図４からも明らかなように、第２の唇候補領域３０３の色成分ヒストグラム４０２には、第１のピーク４０４と第２のピーク４０５の２つのピークがある。また、第１の唇候補領域３０２の色成分ヒストグラム４０１には第２のピーク４０５と同じ位置にピークがある。
【００５８】
第１の唇候補領域３０２の色成分ヒストグラム４０１と第２の唇候補領域３０３の色成分ヒストグラム４０２とが共にピークを現わしている第２のピーク４０５は唇部分３０１の色成分によるものである。また、第２の唇候補領域３０３の色成分ヒストグラム４０２にのみはっきりと現れている第１のピーク４０４は、唇周辺の肌色部分の色成分によるものである。
【００５９】
従って、第１の唇候補領域３０２の色成分ヒストグラム４０１と第２の唇候補領域３０３の色成分ヒストグラム４０２との差分ヒストグラム４０３を作成することにより、唇周辺の肌色成分ヒストグラムを抽出することが可能となる。
【００６０】
閾値設定部２０４は、この肌色成分ヒストグラムである差分ヒストグラム４０３を作成し、そのピーク値を求め、このピーク値に対応する色成分値を求める。さらに、閾値設定部２０４は、このピーク値に対応する色成分値に予め設定された係数を掛けることにより得られる色成分値を閾値として設定し、唇抽出部２０５に出力する。
【００６１】
唇抽出部２０５は、第１の唇候補領域の色成分ヒストグラム４０１の色成分のうち閾値設定部２０４で決定した閾値よりも第２のピーク４０５側にある色成分の領域を唇部分として抽出し、唇画像を出力する。
【００６２】
また、第１の唇候補領域３０２と第２の唇候補領域３０３の面積比が１対１よりも大きく、１対３よりも小さい面積比になっている。このような面積比にすることで、精度よく閾値を求めることができるので、唇を精度よく抽出することができる。なお、面積比はこの比率以外でも周囲の環境および個人差によって変更しても構わない。
【００６３】
このように、実施の形態１にかかる唇画像抽出部によれば、第１の唇候補領域と第２の唇候補領域は共に唇部分を含み、第２の唇候補領域は第１の唇候補領域よりも広い範囲で唇周辺における肌色部分を含む。このため、差分ヒストグラムは唇周辺の肌色部分の色成分ヒストグラムとなる。従って、差分ヒストグラムの分布から閾値を設定することにより、対象とする話者の肌と唇部分の色成分の境界を精度よく抽出することが可能となる。
【００６４】
また、閾値設定のために抽出する第１の唇候補領域、第２の唇候補領域ともに同じ画像を用いるため、照明など周囲の条件によって生じる、唇部分抽出精度の劣化も防ぐことも可能となる。
【００６５】
よって、実施の形態１にかかる唇画像抽出部によれば、照明などの条件や、男女差、化粧（口紅）の有無など話者の個人差により、色成分ヒストグラムの分布が異なっても、これらの影響を受けることなく唇部分の抽出が可能となる。
【００６６】
（実施の形態２）
図５は、本発明の実施の形態２にかかる唇画像抽出部の構成を示すブロック図である。この図を使用して、唇画像抽出部の構成について詳細に説明する。
【００６７】
実施の形態２にかかる唇画像抽出部は、実施の形態１にかかる唇画像抽出部において、第１の唇候補領域決定方法として仮唇候補領域を用いる点が異なるのみである。また、既に説明した部分と同じ部分については同一の符号を付与してある。
【００６８】
仮唇候補領域決定部５０１は、実施の形態１で説明した第１の唇候補領域決定部２０１と同じ動作をし、唇候補領域を抽出し、この領域を仮唇候補領域とする。
【００６９】
色成分ヒストグラム作成部５０２は、仮唇候補領域の色成分（Ｒ−Ｇ−Ｂ）のヒストグラムを作成する。なお、色成分ヒストグラム作成部２０３と同様にこの色成分以外の色成分を使用しても良い。
【００７０】
閾値記憶部５０３は、実施の形態１にかかる唇画像抽出部により、予め複数の話者の複数の話者の顔画像から唇画像部分を抽出し、その際に用いた唇画像抽出のための閾値（色成分）の平均値を算出した閾値を記憶している。
【００７１】
唇抽出部５０４は、仮唇候補領域の色成分ヒストグラムと閾値記憶部５０３に記憶された閾値を用いて唇部分を抽出し、２値化し、唇画像として出力する。
【００７２】
第１の唇候補領域決定部５０５は、唇抽出部５０４から入力せれた唇部分を含む長方形の領域を切り出し、この領域をあらたに第１の唇候補領域として決定する。
【００７３】
以下に、実施の形態２にかかる唇画像抽出部の動作について説明する。
【００７４】
まず、仮唇候補領域決定部５０１に唇抽出の対象となる話者の顔面画像と唇情報が入力される。仮唇候補領域決定部５０１は、唇抽出の対象となる話者の顔面画像に対して、仮唇候補領域を決定し、色成分ヒストグラム作成部５０２に出力する。
【００７５】
続いて、色成分ヒストグラム作成部５０２が、入力された仮唇候補領域の色成分（Ｒ−Ｇ−Ｂ）のヒストグラムを作成し、唇抽出部５０４に出力する。
【００７６】
唇抽出部５０４は、色成分ヒストグラム作成部５０２から入力された仮唇候補領域の色成分ヒストグラムと閾値記憶部５０３に記憶されている閾値を用いて唇部分を抽出し２値化し、第１の唇候補領域決定部５０５に出力する。
【００７７】
第１の唇候補領域決定部５０５は、抽出された唇部分を含む長方形を切り出し、この領域を第１の唇候補領域として決定する。
【００７８】
以下の動作については実施の形態１と同じなので説明を省略する。
【００７９】
以上のように、実施の形態２にかかる唇画像抽出部によれば、仮唇候補領域を使用して第１の唇候補領域を決定することにより、精度よく第１の唇候補領域を抽出することが可能となる。さらに、このように精度よく抽出された第１の唇候補領域を使用して唇画像を抽出するため、唇画像を精度よく抽出することができる。
【００８０】
（実施の形態３）
図６は、本発明の実施の形態３にかかる唇画像抽出部の構成を示すブロック図である。この図を使用して実施の形態３にかかる唇画像抽出部の構成を説明する。なお、すでに説明した部分と同一の部分については同一の符号を付与してある。
【００８１】
実施の形態３にかかる唇画像抽出部は、実施の形態１にかかる唇画像抽出部おいて、第１の唇候補領域決定方法として仮唇候補領域を用いる点が異なるのみである。また、既に説明した部分と同じ部分については同一の符号を付与してある。
【００８２】
唇抽出用テンプレート６０１は、予め複数の話者の顔画像から唇部分を切り出して作成した色成分ヒストグラムと閾値が記憶している。
【００８３】
唇抽出部６０２は、唇抽出用テンプレート６０１の色成分ヒストグラムと仮唇候補領域の色成分ヒストグラムを比較する。そして、次に、唇抽出部６０２は、比較した結果、類似度のもっとも高い唇抽出用テンプレートの閾値を用いて仮唇候補領域の画像に対して唇部分の画像を抽出する。
【００８４】
以下、実施の形態３にかかる唇抽出部の動作について説明する。
【００８５】
まず、前述の実施の形態２と同じ方法により、仮唇候補領域の色成分ヒストグラムが作成され、唇抽出部６０２に入力される。
【００８６】
続いて、唇抽出部６０２は、唇抽出用テンプレート６０１の色成分ヒストグラムと仮唇候補領域の色成分ヒストグラムを比較する。そして、唇抽出部６０２は、比較した結果、類似度の最も高い唇抽出用テンプレート６０１の閾値を用いて仮唇候補領域の画像に対して唇部分を抽出し、出力する。
【００８７】
以下の動作については、実施の形態１または実施の形態２と同様なので説明を省略する。
【００８８】
以上のように、実施の形態３にかかる唇画像抽出部によれば、仮唇候補領域と唇抽出用テンプレートを使用して第１の唇候補領域を決定することにより、精度よく第１の唇候補領域を抽出することが可能となる。さらに、このように精度よく抽出された第１の唇候補領域を使用して唇画像を抽出するため、唇画像を精度よく抽出することができる。
【００８９】
（実施の形態４）
図７は本発明の実施の形態４にかかる唇画像抽出部の構成を示すブロック図である。この図を使用して実施の形態４にかかる唇画像抽出部の構成を説明する。なお、すでに説明した部分と同一の部分については同一の符号を付与してある。
【００９０】
仮唇部分の色成分分布作成部７０１は、唇抽出された部分の色成分の分布をＲＧＢの空間上で作成する。
【００９１】
仮唇周辺部分の色成分分布作成部７０２は、唇周辺部分の色成分の分布をＲＧＢの空間上で作成する。
【００９２】
色成分パラメータ決定部７０３は、ある与えられた色成分（Ｒ、Ｇ、Ｂ）が唇抽出された部分の色成分の分布と唇周辺部分の色成分の分布のいずれに属するかをＲＧＢ色空間上で判別するために用いる判別関数
ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０
を求める。また、判別関数は判別分析により求めることができる。判別関数の係数（ａ、ｂ、ｃ）を用いて第１の唇候補領域３０２と第２の唇候補領域３０３の色成分パラメータ（（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）を決定する。なお、実施の形態１に示した色成分（Ｒ−Ｇ−Ｂ）はａ＝１、ｂ＝−１、ｃ＝−１の場合に相当する。
【００９３】
色成分ヒストグラム作成部７０４は、係数（ａ、ｂ、ｃ）を用いて第１の唇候補領域３０２の色成分（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）ヒストグラムと、第２の唇候補領域３０３の色成分ヒストグラムを作成する。
【００９４】
図８は、実施の形態４にかかる唇抽出された部分の色成分の分布と唇周辺部分の色成分の分布をＲＧＢの色空間上に示した図である。
【００９５】
８０１は抽出された仮唇部分の色成分の分布をＲＧＢの色空間上に示したものであり、８０２は仮唇周辺部分の色成分の分布をＲＧＢの色空間上に示したものである。８０３は、ある与えられた色成分（Ｒ、Ｇ、Ｂ）が仮唇部分の集合と仮唇周辺部分の集合のいずれに属するかを判別するための判別関数（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０）を示す平面である。
【００９６】
以下、実施の形態４にかかる唇画像抽出部の動作について説明する。
【００９７】
まず、実施の形態１と同様な手順で唇部分を抽出する。
【００９８】
つぎに、仮唇部分の色成分分布作成部７０１がこの唇部分を仮唇部分とし、仮唇部分の色成分分布を作成し、出力する。同様に、仮唇周辺部分の色成分分布作成部７０２は、仮唇周辺の色成分分布を作成し、出力する。
【００９９】
次に、色成分パラメータ決定部７０３は、入力された仮唇部分の色成分の分布８０１と仮唇周辺部分の色成分の分布８０２に対して（ＲＧＢ）色空間上で判別分析を行い判別関数
ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０
を求め、この係数（ａ、ｂ、ｃ）を用いて第１の唇候補領域３０２と第２の唇候補領域３０３の色成分パラメータ（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）を決定し、出力する。
【０１００】
色成分ヒストグラム作成部７０４は、このようにして得られた、係数（ａ、ｂ、ｃ）を用いて第１の唇候補領域３０２の色成分ヒストグラムを作成し、出力する。さらに、色成分ヒストグラム作成部７０４は、第２の唇候補領域３０３の色成分（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）ヒストグラムを作成し、出力する。
【０１０１】
以下の動作については、既に説明した動作と同じであるので説明を省略する。
【０１０２】
以上のように、実施の形態４にかかる唇画像抽出部によれば、判別分析の判別関数により閾値を設定するための色成分（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）の係数（ａ、ｂ、ｃ）を決定し、この色成分を使用して色成分ヒストグラムを作成することにより、より精度よく唇部分を抽出することが可能となる。
【０１０３】
なお、実施の形態４では、唇部分と唇周辺部分を２分する関数として、判別分析によって求められた判別関数を使用したが、判別関数以外の関数、例えば唇抽出された仮唇部分の色成分分布８０１と仮唇周辺部分の色成分の分布８０２、それぞれの重心間の中点を通り、重心を結ぶ直線に直交する平面を表わす関数（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０）等を使用することも可能である。また、これらの判別関数以外の関数の係数（ａ、ｂ、ｃ）を用いることも当然のことながら可能である。
【０１０４】
（実施の形態５）
図９は、本発明の実施の形態５にかかる唇画像抽出部の構成を示すブロック図である。この図を使用して実施の形態５にかかる唇画像抽出部について詳細に説明する。なお、既に説明した部分と同一の部分については同一の符号が付与してある。
【０１０５】
輝度値変換部９０１は、第１の唇候補領域の画像データを輝度値で表わされる画像データに変換する。
【０１０６】
エッジ抽出部９０２は、輝度値で表わされた画像データにエッジオペレーターをかけることによりエッジを抽出し、さらに２値化する。
【０１０７】
画像合成部９０３は、色成分ヒストグラムを用いて抽出した唇画像とエッジ抽画像の論理和をとり、唇画像として出力する。
【０１０８】
以下、実施の形態５にかかる唇画像抽出部の動作について説明する。
【０１０９】
色成分ヒストグラムを用いて唇抽出する部分の処理は実施の形態１と同様であるので、説明を省略する。
【０１１０】
第１の唇候補領域決定部２０１が第１の唇候補領域抽出した後、輝度値変換部９０１は、第１の唇候補領域の画像データを輝度値で表わされる画像データに変換し、出力する。
【０１１１】
次に、エッジ抽出部９０２が、輝度値に変換された画像データにエッジオペレーターをかけることによりエッジを抽出し、さらに２値化して出力する。
【０１１２】
そして、画像合成部９０３が、実施の形態１と同様に色成分ヒストグラムを用いて抽出した唇画像とエッジ抽出部９０２から入力されたエッジ抽出画像の論理和をとり、これを唇画像として出力する。
【０１１３】
以上のようにして、実施の形態５にかかる唇画像抽出部によれば、色成分による唇抽出だけでなく輝度成分による唇抽出も行うことにより、より精度の高い唇部分の抽出が可能となる。
【０１１４】
以上説明してきたように、本発明の唇抽出方式では、照明などの条件や話者の個人差に影響を受けることなく、唇部分を精度よく抽出することが可能となる。
【０１１５】
また、実施の形態１から実施の形態５を適宜組み合わせることにより、さらに精度を上げることも可能である。
【０１１６】
さらに、本発明にかかる唇画像抽出部の構成は、図２、図５〜７、図９に限定されるものではなく、各処理部、例えば色成分ヒストグラム作成部を設ける数を増やす等して並列化し、処理を高速化することもできる。また、本発明にかかる唇画像抽出部の各処理部、例えば閾値設定部、色成分ヒストグラム作成部などに複数回の処理をさせることにより、小型化することもできる。
【０１１７】
また、本発明の説明では、唇画像抽出部を音声認識装置に適用したが、唇画像抽出部をこれ以外の装置に適用することも可能であり、本発明に含まれる。
【０１１８】
【発明の効果】
以上説明したように、本発明によれば、照明などの条件や話者の個人差に影響を受けることなく、唇部分を精度よく抽出することが可能となる。
【図面の簡単な説明】
【図１】 本発明にかかる音声認識装置の構成を示すブロック図
【図２】 本発明の実施の形態１にかかる唇画像抽出部の構成を示すブロック図
【図３】 実施の形態１にかかる第１の唇候補領域および第２の唇候補領域を説明するための概略図
【図４】 実施の形態１にかかる第１の唇候補領域の色成分ヒストグラムと、第２の唇候補領域の色成分ヒストグラムと、第１の唇候補領域の色成分ヒストグラムと第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを示す図
【図５】 本発明の実施の形態２にかかる唇画像抽出部の構成を示すブロック図
【図６】 本発明の実施の形態３にかかる唇画像抽出部の構成を示すブロック図
【図７】 本発明の実施の形態４にかかる唇画像抽出部の構成を示すブロック図
【図８】 実施の形態４にかかる唇抽出された部分の色成分の分布と唇周辺部分の色成分の分布をＲＧＢの色空間上に示した図
【図９】 本発明の実施の形態５にかかる唇画像抽出部の構成を示すブロック図
【図１０】 従来の唇画像抽出装置の概要を示すブロック図
【符号の説明】
１０１ 音声認識装置
１０２ 画像入力部
１０３ 画像処理部
１０４ 音声入力部
１０５ 音声認識部
１０６ 顔面画像抽出部
１０７ 唇画像抽出部
２０１、５０５ 第１の唇候補領域決定部
２０２ 第２の唇候補領域決定部
２０３、５０２ 色成分ヒストグラム作成部
２０４ 閾値設定部
２０５、５０４、６０２ 唇抽出部
５０１ 仮唇候補領域決定部
５０３ 閾値記憶部
６０１ 唇抽出用テンプレート
７０１ 仮唇部分の色成分分布作成部
７０２ 仮唇周辺部分の色成分分布作成部
７０３ 色成分パラメータ決定部
７０４ 色成分ヒストグラム作成部
９０１ 輝度値変換部
９０２ エッジ抽出部
９０３ 画像合成部
【発明の属する技術分野】
本発明は、人物の顔を含む画像から唇部分を抽出する方法に関する。
【０００２】
【従来の技術】
従来より、話者の唇の動き情報を検知し、この検知結果を利用して音声認識の認識精度を向上する試みがなされている。そして、唇の動き情報を検出するためには、話者の顔画像から唇部分を精度よく抽出する必要がある。
【０００３】
顔画像から唇部分を抽出する方法としては、１９９０年電子情報通信学会春期全国大会、Ｄ−３２９、ｐ７−８１、「顔画像からの唇特徴点の抽出法」などが知られている。
【０００４】
図１０は、従来の唇画像抽出装置の概要を示すブロック図である。
【０００５】
まず、話者の顔画像が背景分離部１００１に入力される。背景分離部１００１は、入力された顔画像に、その輝度情報を用いてＳｏｂｅｌ（エッジ抽出）オペレータをかけることによりエッジを抽出する。次に背景分離部１００１は、顔画像から、顔画像の最も外側のエッジよりも外側の部分を背景として分離し、顔面画像とする。背景を分離された顔面画像は、ＹＩＱ表色系変換部１００２に入力される。
【０００６】
ＹＩＱ表色系変換部１００２は、唇候補領域の決定するために、背景を分離された顔画像をＹＩＱ表色系へ色変換する。この色変換された画像は、唇候補領域決定部１００３に入力される。
【０００７】
唇候補領域決定部１００３は、通常は、顔画面中の色の中で唇部分を示す色が、最も大きなＱ軸値を示すことを考慮に入れて、Ｑ軸に関して濃度値の累積ヒストグラムをとる。次に、唇候補領域決定部１００３は、この累積ヒストグラムに、濃度値の高い方からｘ％の値で閾値処理を行うことで、唇候補領域を決定する。この、唇候補領域内の画像は唇抽出部１００４に入力される。
【０００８】
このときｘは（式１）から自動的に設定される。
ｘ＝（ｓ／（ｍ＋ｎ））×ｒａｔｉｏ×１００（％） …（式１）
ここで、ｍ×ｎは原画像の画素数、ｓは背景分離画像の画素数で、ｒａｔｉｏは顔の面積に対する唇部分の面積比を表すもので、経験的に定められる。
【０００９】
唇抽出部１００４は、唇候補領域内の画像から唇部分を抽出するため、Ｑ軸に関して濃度値の累積ヒストグラムをとり、Ｑ軸値により再度閾値処理を行う。このようにして唇画像が抽出される。
【００１０】
このときの閾値は、同様に累積ヒストグラムから（式２）で与えられるｙ％の値とする。
ｙ＝（ｓ’／（ｍ＋ｎ））×ｌｅｖｅｌ×１００（％） …（式２）
ここで、ｓ’は唇候補領域内の画素数、ｌｅｖｅｌは唇候補領域の面積に対する唇部分の面積比を表し、これも経験的に定められる。
【００１１】
以上のようにして、色成分ヒストグラムと閾値処理により、入力した話者の顔画像から唇部分を抽出することが可能である。
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の唇抽出方法では、色成分を用いて唇を抽出しているが、色成分は照明条件の影響を受けやすいという問題がある。
【００１３】
また、閾値設定のためにあらかじめ設定した係数を用いているため、男女差および化粧の有無など話者の個人差により、唇抽出の精度は影響を受けやすいという問題もある。
【００１４】
本発明はかかる点に鑑みてなされたものであり、照明など周囲の条件または、話者の個人差などに依存せずに顔画像から唇部分を精度よく抽出することを目的とする。
【００１５】
【課題を解決するための手段】
そこで、本発明の唇抽出方法では、顔画像から唇を含む第１の唇候補領域を決定する工程と、前記顔画像から前記第１の唇候補領域の全ての領域とその周辺の領域を含む第２の唇候補領域を決定する工程と、前記第１の唇候補領域の色成分ヒストグラムを作成する工程と、前記第２の唇候補領域の色成分ヒストグラムを作成する工程と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを作成する工程と、前記差分ヒストグラムにおけるピークを唇周辺の肌色部分の色成分によるものとし、そのピーク値に対応する色成分値に係数を掛けて得られる色成分値を閾値として設定する工程と、前記第１の唇候補領域の色成分ヒストグラムのピークを前記唇部分の色成分によるものとし、前記閾値よりも前記唇部分の色成分によるピーク側にある色成分の領域を唇部分として抽出する工程と、を具備することを特徴とする。
【００１６】
このように構成することで、第１の唇候補領域と第２の唇候補領域は共に唇部分を含み、第２の唇候補領域は第１の唇候補領域よりも広い範囲で唇周辺における肌色部分を含む。このため、前述の差分ヒストグラムは唇周辺の肌色部分の色成分ヒストグラムとなる。従って、差分ヒストグラムの分布から閾値を設定することにより、対象とする話者の肌と唇部分の色成分の境界を精度よく抽出することが可能となる。
【００１７】
また、閾値設定のために抽出する第１の唇候補領域、第２の唇候補領域ともに同じ画像を用いるため、照明など周囲の条件によって生じる、唇部分抽出精度の劣化も防ぐことも可能となる。
本発明の唇抽出装置では、顔画像から唇を含む第１の唇候補領域を決定する第１の唇候補領域決定部と、前記顔画像から前記第１の唇候補領域の全ての領域とその周辺の領域を含む第２の唇候補領域を決定する第２の唇候補領域決定部と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとを作成する色成分ヒストグラム作成部と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを作成し、前記差分ヒストグラムにおけるピ ークを唇周辺の肌色部分の色成分によるものとし、そのピーク値に対応する色成分値に係数を掛けて得られる色成分値を閾値として設定する閾値設定部と、前記第１の唇候補領域の色成分ヒストグラムのピークを前記唇部分の色成分によるものとし、前記閾値よりも前記唇部分の色成分によるピーク側にある色成分の領域を唇部分として抽出する唇抽出部と、を具備することを特徴とする。
【００１８】
【発明の実施の形態】
本発明の第１の態様にかかる唇抽出方法は、顔画像から唇を含む第１の唇候補領域を決定する工程と、前記顔画像から前記第１の唇候補領域の全ての領域とその周辺の領域を含む第２の唇候補領域を決定する工程と、前記第１の唇候補領域の色成分ヒストグラムを作成する工程と、前記第２の唇候補領域の色成分ヒストグラムを作成する工程と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを作成する工程と、前記差分ヒストグラムにおけるピークを唇周辺の肌色部分の色成分によるものとし、そのピーク値に対応する色成分値に係数を掛けて得られる色成分値を閾値として設定する工程と、前記第１の唇候補領域の色成分ヒストグラムのピークを前記唇部分の色成分によるものとし、前記閾値よりも前記唇部分の色成分によるピーク側にある色成分の領域を唇部分として抽出する工程と、を具備する。
【００１９】
このように差分ヒストグラムの分布から閾値を設定することにより、対象とする話者の肌と唇部分の色成分の境界を精度よく抽出することが可能となる。また、閾値設定のために抽出する第１の唇候補領域、第２の唇候補領域ともに同じ画像を用いるため、照明など周囲の条件によって生じる、唇部分抽出精度の劣化も防ぐことも可能となる。
【００２０】
本発明の第２の態様は、第１の態様にかかる唇抽出方法において、前記色成分ヒストグラムを求める色成分は、予め設定した係数をａ、ｂとして、作成するヒストグラムの色成分がＲＧＢ表色系の
（Ｒ−ａ・Ｇ−ｂ・Ｂ）
である。
【００２１】
このように構成することにより、入力する顔画像のＲＧＢ成分から容易に色成分ヒストグラムを作成することができる。
【００２２】
本発明の第３の態様は、第１の態様または第２の態様にかかる唇抽出方法において、第１の唇候補領域と第２の唇候補領域の面積比が１対１よりも大きく、１対３よりも小さい。
【００２３】
このような面積比にすることで、精度の高い閾値を設定できるので、唇の抽出も精度高くできる。
【００２４】
本発明の第４の態様は、第１の態様から第３の態様のいずれかにかかる唇抽出方法において、第１の唇候補領域を決定する工程は、顔画像から仮唇候補領域を決定する工程と、仮唇候補領域の色成分ヒストグラムを作成する工程と、予め作成した複数の話者の顔画像から唇部分を切り出す際に使用した複数の閾値の平均値である閾値を、仮唇候補領域の色成分ヒストグラムに用いて色成分による閾値処理を行うことにより、仮唇候補領域から唇部分を抽出し、２値化を行う工程と、抽出された唇部分を含む長方形の領域を切り出すことで決定した新たな唇候補領域を第１の唇候補領域とする工程と、を具備する。
【００２５】
以上のようにして、仮唇候補領域を使用して第１の唇候補領域を決定することにより、第１の唇候補領域を精度よく抽出することが可能となる。さらに、このように精度よく抽出された第１の唇候補領域を使用して唇画像を抽出するため、唇を精度よく抽出することができる。
【００２６】
本発明の第５の態様は、第１の態様から第３の態様のいずれかにかかる唇抽出方法において、第１の唇候補領域を決定する工程は、顔画像から仮唇候補領域を決定する工程と、仮唇候補領域の色成分ヒストグラムを作成する工程と、予め複数の話者の顔画像から唇部分を切り出して作成した唇抽出用テンプレートの色成分ヒストグラムと前記仮唇候補領域の色成分ヒストグラムを比較し、類似度のもっとも高い唇抽出用テンプレートの閾値を仮唇候補領域の色成分ヒストグラムに用いて色成分による閾値処理を行うことにより、仮唇候補領域から唇部分を抽出し、２値化を行う工程と、抽出された唇部分を含む長方形の領域を切り出すことで決定した新たな唇候補領域を第１の唇候補領域とする工程と、を具備する。
【００２７】
以上のようにして、仮唇候補領域を使用して第１の唇候補領域を決定することにより、第１の唇候補領域を精度よく抽出することが可能となる。さらに、このように精度よく抽出された第１の唇候補領域を使用して唇画像を抽出するため、唇を精度よく抽出することができる。
【００２８】
本発明の第６の態様は、第１の態様から第５の態様のいずれかにかかる唇抽出方法において、前記色成分ヒストグラムを求める色成分は、前記抽出した唇部分の色成分の分布と抽出した唇周辺部分の色分布に対し、ＲＧＢ色空間上で唇部分と唇周辺部分を２分する関数
ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０
を求め、唇抽出のために作成するヒストグラムの色成分を
ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ
とする。
【００２９】
このように唇部分と唇周辺部分を２分する関数により、抽出した唇部分の色成分の分布と抽出した唇周辺部分の色分布を唇部分と唇周辺部分とに簡単に２分することができる。また、唇部分と唇周辺部分を２分する関数から、閾値を設定するための色成分（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）の係数（ａ、ｂ、ｃ）を決定し、この係数により色成分ヒストグラムを作成することにより、より精度よく唇部分を抽出することが可能になる。
【００３０】
本発明の第７の態様は、第１の態様から第６の態様のいずれかにかかる唇抽出方法において、さらに、第１の唇候補領域の画像を輝度成分に変換し、エッジ抽出し、２値化した画像と、色成分により唇部分を抽出した画像の論理和を取った画像を唇抽出画像として出力する工程を有する。
【００３１】
このように色成分と輝度成分による唇抽出を行うことにより、より精度の高い唇部分の抽出が可能となる。
本発明の第８の態様に係る唇抽出装置は、顔画像から唇を含む第１の唇候補領域を決定する第１の唇候補領域決定部と、前記顔画像から前記第１の唇候補領域の全ての領域とその周辺の領域を含む第２の唇候補領域を決定する第２の唇候補領域決定部と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとを作成する色成分ヒストグラム作成部と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを作成し、前記差分ヒストグラムにおけるピークを唇周辺の肌色部分の色成分によるものとし、そのピーク値に対応する色成分値に係数を掛けて得られる色成分値を閾値として設定する閾値設定部と、前記第１の唇候補領域の色成分ヒストグラムのピークを前記唇部分の色成分によるものとし、前記閾値よりも前記唇部分の色成分によるピーク側にある色成分の領域を唇部分として抽出する唇抽出部と、を具備することを特徴とする。
本発明の第９の態様は、第８の態様にかかる唇抽出装置において、前記色成分ヒストグラムを求める色成分は、予め係数ａ，ｂを設定し、作成する色成分ヒストグラムの色成分がＲＧＢ表色系の（Ｒ−ａ・Ｇ−ｂ・Ｂ）であることを特徴とする。
本発明の第１０の態様は、第８の態様または第９の態様にかかる唇抽出装置において、前記第１の唇候補領域と前記第２の唇候補領域の面積比が１対１よりも大きく、１対３よりも小さいことを特徴とする。
【００３２】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３３】
（実施の形態１）
図１は、本発明にかかる音声認識装置の構成を示すブロック図である。この図を使用して、実施の形態１にかかる音声認識装置ついて説明する。
【００３４】
音声認識装置１０１は、画像入力部１０２と画像処理部１０３と音声入力部１０４と音声認識部１０５とを有する構成になっている。
【００３５】
画像入力部１０２は、話者の顔を撮影することによって得られた顔画像を出力する。画像入力部１０２としては、ＣＣＤカメラなどが考えられる。
【００３６】
画像処理部１０３は、画像入力部１０２から入力された顔画像から唇画像を抽出して出力する。画像処理部１０３は、顔面画像抽出部１０６と唇画像抽出部１０７とを有する構成になっている。
【００３７】
顔面画像抽出部１０６は、画像入力部１０２から入力された顔画像に、その輝度情報を用いてＳｏｂｅｌ（エッジ抽出）オペレータをかけてエッジを抽出する。次に顔面画像抽出部１０６は、最も外側のエッジよりも外側の部分顔画像の画像情報を背景として顔画像から分離し、顔面画像を作成する。顔面画像抽出部１０６は、顔面画像をＹＩＱ表色系変換に変換し、唇画像抽出部１０７に入力する。
【００３８】
なお、本実施の形態では、顔面画像抽出部１０６が顔画像から顔面画像を抽出する方法として、顔画像の輝度情報を用いてＳｏｂｅｌ（エッジ抽出）オペレータをかけてエッジを抽出する方法を用いたが、これ以外の方法を用いてもよく、これ以外の方法を用いた形態も本発明に包含される。
【００３９】
唇画像抽出部１０７は、入力された顔面画像から唇画像を抽出して音声認識部１０５に出力する。
【００４０】
音声入力部１０４は、マイクなどの集音装置により集音された音声を音声認識部１０５に出力する。
【００４１】
音声認識部１０５は、画像処理部１０３から入力された唇画像を用いて、音声入力部１０４から入力された音声認識をして、認識結果を出力する。
【００４２】
以下、本発明の特徴である唇抽出精度が高められた唇画像抽出部１０７の説明を詳細に行う。
【００４３】
図２は、実施の形態１にかかる唇画像抽出部の構成を示すブロック図である。
【００４４】
第１の唇候補領域決定部２０１は、入力された話者の顔面画像と唇を抽出するための情報から第１の唇候補領域を決定する。第１の唇候補領域の決定方法としては、前述の従来例における方法や、第２回画像センシングシンポジウム講演論文集、Ａ−１、ｐ１〜６、「色情報とＧＡを用いた顔画像抽出と個人照合の応用」に示されているような、予め用意された顔（または唇）抽出用テンプレートベクトル集合と遺伝的アルゴリズムを用いたパターンマッチングによる領域抽出法などが考えられる。なお、第１の唇候補領域の決定方法として、これら以外の技術を用いることも可能であり、これら以外の技術を使用して第１の唇候補領域の決定してもよい。
【００４５】
第２の唇候補領域決定部２０２は、入力された顔面画像から第１の唇候補領域の全てとその周辺を含むように決定された第２の唇候補領域を決定する。第１の唇候補領域と第２の唇候補領域の面積比は、１対１よりも大きく、１対３よりも小さくなっている。
【００４６】
色成分ヒストグラム作成部２０３は、第１の唇候補領域の色成分ヒストグラムおよび第２の唇候補領域の色成分ヒストグラムを作成する。図４において、色成分としてＲＧＢ表色系における（Ｒ−Ｇ−Ｂ）成分を横軸として示している。しかし、色成分として、このほかにも（Ｒ−Ｇ）成分、Ｒ／Ｇ成分、Ｒ／（Ｇ・Ｂ）成分、予め設定した係数をａ、ｂとして、（Ｒ−ａ・Ｇ−ｂ・Ｂ）成分を算出して用いることで入力する顔画像のＲＧＢ成分から容易に色成分ヒストグラムを作成できるようにすることや、前述の従来例に示されているＹＩＱ表色系におけるＱ成分や、ＨＳＶ表色系におけるＨ成分、Ｓ成分などを利用することで効果を上げることも可能である。
【００４７】
閾値設定部２０４は、第１の唇候補領域のヒストグラムと第２の唇候補領域のヒストグラムとの差分を取った差分ヒストグラムを作成し、この差分ヒストグラムのピーク値と予め設定された係数を掛けることにより得られる値に対応する色成分値を閾値として設定する。
【００４８】
唇抽出部２０５は、第１の唇候補領域のヒストグラムと閾値設定部２０４で決定した閾値から唇部分を抽出し、唇画像として出力する。
【００４９】
図３は、実施の形態１にかかる第１の唇候補領域および第２の唇候補領域を説明するための概略図である。
【００５０】
３０１は、唇部分であり、３０２は第１の唇候補領域決定部２０１により決定された第１の唇候補領域であり、３０３は第１の唇候補領域の全てとその周辺を含むように決定された第２の唇候補領域である。
【００５１】
図４は、実施の形態１にかかる第１の唇候補領域の色成分ヒストグラム（度数分布）と、第２の唇候補領域の色成分ヒストグラムと、第１の唇候補領域の色成分ヒストグラムと第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムと、を示す図である。
【００５２】
横軸は色成分（ＲＧＢ表色系における、（Ｒ−Ｇ−Ｂ）成分）、縦軸は色成分の度数である。４０１は第１の唇候補領域３０２の色成分ヒストグラム、４０２は第２の唇候補領域３０３の色成分ヒストグラム、４０３は第１の唇候補領域３０２の色成分ヒストグラムと第２の唇候補領域３０３の色成分ヒストグラムとの差分ヒストグラムである。また、４０４は、第２の唇候補領域の色成分ヒストグラムの第１のピークであり、４０５は、第２の唇候補領域の色成分ヒストグラムの第２のピークである。
【００５３】
以下、実施の形態１にかかる唇画像抽出部の動作について図２、図３および図４を使用して説明する。
【００５４】
初めに、第１の唇候補領域決定部２０１に話者の顔面画像と唇を抽出するための情報が入力される。第１の唇候補領域決定部２０１は、この顔面画像から第１の唇候補領域３０２を決定し、色成分ヒストグラム作成部２０３に出力する。
【００５５】
続いて、第２の唇候補領域決定部２０２が、入力された話者の顔面画像から、第１の唇候補領域３０２の全てとその周辺を含む領域を第２の唇候補領域３０３として新たに決定し、色成分ヒストグラム作成部２０３に出力する。
【００５６】
色成分ヒストグラム作成部２０３は、抽出した第１の唇候補領域３０２の色成分ヒストグラム４０１および第２の唇候補領域３０３の色成分ヒストグラム４０２を作成する。
【００５７】
図４からも明らかなように、第２の唇候補領域３０３の色成分ヒストグラム４０２には、第１のピーク４０４と第２のピーク４０５の２つのピークがある。また、第１の唇候補領域３０２の色成分ヒストグラム４０１には第２のピーク４０５と同じ位置にピークがある。
【００５８】
第１の唇候補領域３０２の色成分ヒストグラム４０１と第２の唇候補領域３０３の色成分ヒストグラム４０２とが共にピークを現わしている第２のピーク４０５は唇部分３０１の色成分によるものである。また、第２の唇候補領域３０３の色成分ヒストグラム４０２にのみはっきりと現れている第１のピーク４０４は、唇周辺の肌色部分の色成分によるものである。
【００５９】
従って、第１の唇候補領域３０２の色成分ヒストグラム４０１と第２の唇候補領域３０３の色成分ヒストグラム４０２との差分ヒストグラム４０３を作成することにより、唇周辺の肌色成分ヒストグラムを抽出することが可能となる。
【００６０】
閾値設定部２０４は、この肌色成分ヒストグラムである差分ヒストグラム４０３を作成し、そのピーク値を求め、このピーク値に対応する色成分値を求める。さらに、閾値設定部２０４は、このピーク値に対応する色成分値に予め設定された係数を掛けることにより得られる色成分値を閾値として設定し、唇抽出部２０５に出力する。
【００６１】
唇抽出部２０５は、第１の唇候補領域の色成分ヒストグラム４０１の色成分のうち閾値設定部２０４で決定した閾値よりも第２のピーク４０５側にある色成分の領域を唇部分として抽出し、唇画像を出力する。
【００６２】
また、第１の唇候補領域３０２と第２の唇候補領域３０３の面積比が１対１よりも大きく、１対３よりも小さい面積比になっている。このような面積比にすることで、精度よく閾値を求めることができるので、唇を精度よく抽出することができる。なお、面積比はこの比率以外でも周囲の環境および個人差によって変更しても構わない。
【００６３】
このように、実施の形態１にかかる唇画像抽出部によれば、第１の唇候補領域と第２の唇候補領域は共に唇部分を含み、第２の唇候補領域は第１の唇候補領域よりも広い範囲で唇周辺における肌色部分を含む。このため、差分ヒストグラムは唇周辺の肌色部分の色成分ヒストグラムとなる。従って、差分ヒストグラムの分布から閾値を設定することにより、対象とする話者の肌と唇部分の色成分の境界を精度よく抽出することが可能となる。
【００６４】
また、閾値設定のために抽出する第１の唇候補領域、第２の唇候補領域ともに同じ画像を用いるため、照明など周囲の条件によって生じる、唇部分抽出精度の劣化も防ぐことも可能となる。
【００６５】
よって、実施の形態１にかかる唇画像抽出部によれば、照明などの条件や、男女差、化粧（口紅）の有無など話者の個人差により、色成分ヒストグラムの分布が異なっても、これらの影響を受けることなく唇部分の抽出が可能となる。
【００６６】
（実施の形態２）
図５は、本発明の実施の形態２にかかる唇画像抽出部の構成を示すブロック図である。この図を使用して、唇画像抽出部の構成について詳細に説明する。
【００６７】
実施の形態２にかかる唇画像抽出部は、実施の形態１にかかる唇画像抽出部において、第１の唇候補領域決定方法として仮唇候補領域を用いる点が異なるのみである。また、既に説明した部分と同じ部分については同一の符号を付与してある。
【００６８】
仮唇候補領域決定部５０１は、実施の形態１で説明した第１の唇候補領域決定部２０１と同じ動作をし、唇候補領域を抽出し、この領域を仮唇候補領域とする。
【００６９】
色成分ヒストグラム作成部５０２は、仮唇候補領域の色成分（Ｒ−Ｇ−Ｂ）のヒストグラムを作成する。なお、色成分ヒストグラム作成部２０３と同様にこの色成分以外の色成分を使用しても良い。
【００７０】
閾値記憶部５０３は、実施の形態１にかかる唇画像抽出部により、予め複数の話者の複数の話者の顔画像から唇画像部分を抽出し、その際に用いた唇画像抽出のための閾値（色成分）の平均値を算出した閾値を記憶している。
【００７１】
唇抽出部５０４は、仮唇候補領域の色成分ヒストグラムと閾値記憶部５０３に記憶された閾値を用いて唇部分を抽出し、２値化し、唇画像として出力する。
【００７２】
第１の唇候補領域決定部５０５は、唇抽出部５０４から入力せれた唇部分を含む長方形の領域を切り出し、この領域をあらたに第１の唇候補領域として決定する。
【００７３】
以下に、実施の形態２にかかる唇画像抽出部の動作について説明する。
【００７４】
まず、仮唇候補領域決定部５０１に唇抽出の対象となる話者の顔面画像と唇情報が入力される。仮唇候補領域決定部５０１は、唇抽出の対象となる話者の顔面画像に対して、仮唇候補領域を決定し、色成分ヒストグラム作成部５０２に出力する。
【００７５】
続いて、色成分ヒストグラム作成部５０２が、入力された仮唇候補領域の色成分（Ｒ−Ｇ−Ｂ）のヒストグラムを作成し、唇抽出部５０４に出力する。
【００７６】
唇抽出部５０４は、色成分ヒストグラム作成部５０２から入力された仮唇候補領域の色成分ヒストグラムと閾値記憶部５０３に記憶されている閾値を用いて唇部分を抽出し２値化し、第１の唇候補領域決定部５０５に出力する。
【００７７】
第１の唇候補領域決定部５０５は、抽出された唇部分を含む長方形を切り出し、この領域を第１の唇候補領域として決定する。
【００７８】
以下の動作については実施の形態１と同じなので説明を省略する。
【００７９】
以上のように、実施の形態２にかかる唇画像抽出部によれば、仮唇候補領域を使用して第１の唇候補領域を決定することにより、精度よく第１の唇候補領域を抽出することが可能となる。さらに、このように精度よく抽出された第１の唇候補領域を使用して唇画像を抽出するため、唇画像を精度よく抽出することができる。
【００８０】
（実施の形態３）
図６は、本発明の実施の形態３にかかる唇画像抽出部の構成を示すブロック図である。この図を使用して実施の形態３にかかる唇画像抽出部の構成を説明する。なお、すでに説明した部分と同一の部分については同一の符号を付与してある。
【００８１】
実施の形態３にかかる唇画像抽出部は、実施の形態１にかかる唇画像抽出部おいて、第１の唇候補領域決定方法として仮唇候補領域を用いる点が異なるのみである。また、既に説明した部分と同じ部分については同一の符号を付与してある。
【００８２】
唇抽出用テンプレート６０１は、予め複数の話者の顔画像から唇部分を切り出して作成した色成分ヒストグラムと閾値が記憶している。
【００８３】
唇抽出部６０２は、唇抽出用テンプレート６０１の色成分ヒストグラムと仮唇候補領域の色成分ヒストグラムを比較する。そして、次に、唇抽出部６０２は、比較した結果、類似度のもっとも高い唇抽出用テンプレートの閾値を用いて仮唇候補領域の画像に対して唇部分の画像を抽出する。
【００８４】
以下、実施の形態３にかかる唇抽出部の動作について説明する。
【００８５】
まず、前述の実施の形態２と同じ方法により、仮唇候補領域の色成分ヒストグラムが作成され、唇抽出部６０２に入力される。
【００８６】
続いて、唇抽出部６０２は、唇抽出用テンプレート６０１の色成分ヒストグラムと仮唇候補領域の色成分ヒストグラムを比較する。そして、唇抽出部６０２は、比較した結果、類似度の最も高い唇抽出用テンプレート６０１の閾値を用いて仮唇候補領域の画像に対して唇部分を抽出し、出力する。
【００８７】
以下の動作については、実施の形態１または実施の形態２と同様なので説明を省略する。
【００８８】
以上のように、実施の形態３にかかる唇画像抽出部によれば、仮唇候補領域と唇抽出用テンプレートを使用して第１の唇候補領域を決定することにより、精度よく第１の唇候補領域を抽出することが可能となる。さらに、このように精度よく抽出された第１の唇候補領域を使用して唇画像を抽出するため、唇画像を精度よく抽出することができる。
【００８９】
（実施の形態４）
図７は本発明の実施の形態４にかかる唇画像抽出部の構成を示すブロック図である。この図を使用して実施の形態４にかかる唇画像抽出部の構成を説明する。なお、すでに説明した部分と同一の部分については同一の符号を付与してある。
【００９０】
仮唇部分の色成分分布作成部７０１は、唇抽出された部分の色成分の分布をＲＧＢの空間上で作成する。
【００９１】
仮唇周辺部分の色成分分布作成部７０２は、唇周辺部分の色成分の分布をＲＧＢの空間上で作成する。
【００９２】
色成分パラメータ決定部７０３は、ある与えられた色成分（Ｒ、Ｇ、Ｂ）が唇抽出された部分の色成分の分布と唇周辺部分の色成分の分布のいずれに属するかをＲＧＢ色空間上で判別するために用いる判別関数
ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０
を求める。また、判別関数は判別分析により求めることができる。判別関数の係数（ａ、ｂ、ｃ）を用いて第１の唇候補領域３０２と第２の唇候補領域３０３の色成分パラメータ（（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）を決定する。なお、実施の形態１に示した色成分（Ｒ−Ｇ−Ｂ）はａ＝１、ｂ＝−１、ｃ＝−１の場合に相当する。
【００９３】
色成分ヒストグラム作成部７０４は、係数（ａ、ｂ、ｃ）を用いて第１の唇候補領域３０２の色成分（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）ヒストグラムと、第２の唇候補領域３０３の色成分ヒストグラムを作成する。
【００９４】
図８は、実施の形態４にかかる唇抽出された部分の色成分の分布と唇周辺部分の色成分の分布をＲＧＢの色空間上に示した図である。
【００９５】
８０１は抽出された仮唇部分の色成分の分布をＲＧＢの色空間上に示したものであり、８０２は仮唇周辺部分の色成分の分布をＲＧＢの色空間上に示したものである。８０３は、ある与えられた色成分（Ｒ、Ｇ、Ｂ）が仮唇部分の集合と仮唇周辺部分の集合のいずれに属するかを判別するための判別関数（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０）を示す平面である。
【００９６】
以下、実施の形態４にかかる唇画像抽出部の動作について説明する。
【００９７】
まず、実施の形態１と同様な手順で唇部分を抽出する。
【００９８】
つぎに、仮唇部分の色成分分布作成部７０１がこの唇部分を仮唇部分とし、仮唇部分の色成分分布を作成し、出力する。同様に、仮唇周辺部分の色成分分布作成部７０２は、仮唇周辺の色成分分布を作成し、出力する。
【００９９】
次に、色成分パラメータ決定部７０３は、入力された仮唇部分の色成分の分布８０１と仮唇周辺部分の色成分の分布８０２に対して（ＲＧＢ）色空間上で判別分析を行い判別関数
ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０
を求め、この係数（ａ、ｂ、ｃ）を用いて第１の唇候補領域３０２と第２の唇候補領域３０３の色成分パラメータ（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）を決定し、出力する。
【０１００】
色成分ヒストグラム作成部７０４は、このようにして得られた、係数（ａ、ｂ、ｃ）を用いて第１の唇候補領域３０２の色成分ヒストグラムを作成し、出力する。さらに、色成分ヒストグラム作成部７０４は、第２の唇候補領域３０３の色成分（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）ヒストグラムを作成し、出力する。
【０１０１】
以下の動作については、既に説明した動作と同じであるので説明を省略する。
【０１０２】
以上のように、実施の形態４にかかる唇画像抽出部によれば、判別分析の判別関数により閾値を設定するための色成分（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）の係数（ａ、ｂ、ｃ）を決定し、この色成分を使用して色成分ヒストグラムを作成することにより、より精度よく唇部分を抽出することが可能となる。
【０１０３】
なお、実施の形態４では、唇部分と唇周辺部分を２分する関数として、判別分析によって求められた判別関数を使用したが、判別関数以外の関数、例えば唇抽出された仮唇部分の色成分分布８０１と仮唇周辺部分の色成分の分布８０２、それぞれの重心間の中点を通り、重心を結ぶ直線に直交する平面を表わす関数（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０）等を使用することも可能である。また、これらの判別関数以外の関数の係数（ａ、ｂ、ｃ）を用いることも当然のことながら可能である。
【０１０４】
（実施の形態５）
図９は、本発明の実施の形態５にかかる唇画像抽出部の構成を示すブロック図である。この図を使用して実施の形態５にかかる唇画像抽出部について詳細に説明する。なお、既に説明した部分と同一の部分については同一の符号が付与してある。
【０１０５】
輝度値変換部９０１は、第１の唇候補領域の画像データを輝度値で表わされる画像データに変換する。
【０１０６】
エッジ抽出部９０２は、輝度値で表わされた画像データにエッジオペレーターをかけることによりエッジを抽出し、さらに２値化する。
【０１０７】
画像合成部９０３は、色成分ヒストグラムを用いて抽出した唇画像とエッジ抽画像の論理和をとり、唇画像として出力する。
【０１０８】
以下、実施の形態５にかかる唇画像抽出部の動作について説明する。
【０１０９】
色成分ヒストグラムを用いて唇抽出する部分の処理は実施の形態１と同様であるので、説明を省略する。
【０１１０】
第１の唇候補領域決定部２０１が第１の唇候補領域抽出した後、輝度値変換部９０１は、第１の唇候補領域の画像データを輝度値で表わされる画像データに変換し、出力する。
【０１１１】
次に、エッジ抽出部９０２が、輝度値に変換された画像データにエッジオペレーターをかけることによりエッジを抽出し、さらに２値化して出力する。
【０１１２】
そして、画像合成部９０３が、実施の形態１と同様に色成分ヒストグラムを用いて抽出した唇画像とエッジ抽出部９０２から入力されたエッジ抽出画像の論理和をとり、これを唇画像として出力する。
【０１１３】
以上のようにして、実施の形態５にかかる唇画像抽出部によれば、色成分による唇抽出だけでなく輝度成分による唇抽出も行うことにより、より精度の高い唇部分の抽出が可能となる。
【０１１４】
以上説明してきたように、本発明の唇抽出方式では、照明などの条件や話者の個人差に影響を受けることなく、唇部分を精度よく抽出することが可能となる。
【０１１５】
また、実施の形態１から実施の形態５を適宜組み合わせることにより、さらに精度を上げることも可能である。
【０１１６】
さらに、本発明にかかる唇画像抽出部の構成は、図２、図５〜７、図９に限定されるものではなく、各処理部、例えば色成分ヒストグラム作成部を設ける数を増やす等して並列化し、処理を高速化することもできる。また、本発明にかかる唇画像抽出部の各処理部、例えば閾値設定部、色成分ヒストグラム作成部などに複数回の処理をさせることにより、小型化することもできる。
【０１１７】
また、本発明の説明では、唇画像抽出部を音声認識装置に適用したが、唇画像抽出部をこれ以外の装置に適用することも可能であり、本発明に含まれる。
【０１１８】
【発明の効果】
以上説明したように、本発明によれば、照明などの条件や話者の個人差に影響を受けることなく、唇部分を精度よく抽出することが可能となる。
【図面の簡単な説明】
【図１】 本発明にかかる音声認識装置の構成を示すブロック図
【図２】 本発明の実施の形態１にかかる唇画像抽出部の構成を示すブロック図
【図３】 実施の形態１にかかる第１の唇候補領域および第２の唇候補領域を説明するための概略図
【図４】 実施の形態１にかかる第１の唇候補領域の色成分ヒストグラムと、第２の唇候補領域の色成分ヒストグラムと、第１の唇候補領域の色成分ヒストグラムと第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを示す図
【図５】 本発明の実施の形態２にかかる唇画像抽出部の構成を示すブロック図
【図６】 本発明の実施の形態３にかかる唇画像抽出部の構成を示すブロック図
【図７】 本発明の実施の形態４にかかる唇画像抽出部の構成を示すブロック図
【図８】 実施の形態４にかかる唇抽出された部分の色成分の分布と唇周辺部分の色成分の分布をＲＧＢの色空間上に示した図
【図９】 本発明の実施の形態５にかかる唇画像抽出部の構成を示すブロック図
【図１０】 従来の唇画像抽出装置の概要を示すブロック図
【符号の説明】
１０１ 音声認識装置
１０２ 画像入力部
１０３ 画像処理部
１０４ 音声入力部
１０５ 音声認識部
１０６ 顔面画像抽出部
１０７ 唇画像抽出部
２０１、５０５ 第１の唇候補領域決定部
２０２ 第２の唇候補領域決定部
２０３、５０２ 色成分ヒストグラム作成部
２０４ 閾値設定部
２０５、５０４、６０２ 唇抽出部
５０１ 仮唇候補領域決定部
５０３ 閾値記憶部
６０１ 唇抽出用テンプレート
７０１ 仮唇部分の色成分分布作成部
７０２ 仮唇周辺部分の色成分分布作成部
７０３ 色成分パラメータ決定部
７０４ 色成分ヒストグラム作成部
９０１ 輝度値変換部
９０２ エッジ抽出部
９０３ 画像合成部
Claims (10)
- 顔画像から唇を含む第１の唇候補領域を決定する工程と、前記顔画像から前記第１の唇候補領域の全ての領域とその周辺の領域を含む第２の唇候補領域を決定する工程と、前記第１の唇候補領域の色成分ヒストグラムを作成する工程と、前記第２の唇候補領域の色成分ヒストグラムを作成する工程と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを作成する工程と、前記差分ヒストグラムにおけるピークを唇周辺の肌色部分の色成分によるものとし、そのピーク値に対応する色成分値に係数を掛けて得られる色成分値を閾値として設定する工程と、前記第１の唇候補領域の色成分ヒストグラムのピークを前記唇部分の色成分によるものとし、前記閾値よりも前記唇部分の色成分によるピーク側にある色成分の領域を唇部分として抽出する工程と、を具備することを特徴とする唇抽出方法。
- 前記色成分ヒストグラムを求める色成分は、予め係数ａ，ｂを設定し、作成する色成分ヒストグラムの色成分がＲＧＢ表色系の（Ｒ−ａ・Ｇ−ｂ・Ｂ）であることを特徴とする請求項１記載の唇抽出方法。
- 前記第１の唇候補領域と前記第２の唇候補領域の面積比が１対１よりも大きく、１対３よりも小さいことを特徴とする請求項１又は請求項２に記載の唇抽出方法。
- 前記第１の唇候補領域を決定する工程は、前記顔画像から仮唇候補領域を決定する工程と、前記仮唇候補領域の色成分ヒストグラムを作成する工程と、予め作成した複数の話者の顔画像から唇部分を切り出す際に使用した複数の閾値の平均値である閾値を、前記仮唇候補領域の色成分ヒストグラムに用いて色成分による閾値処理を行うことにより、前記仮唇候補領域から唇部分を抽出し、２値化を行う工程と、前記抽出された唇部分を含む長方形の領域を切り出すことで決定した新たな唇候補領域を前記第１の唇候補領域とする工程と、を具備することを特徴とする請求項１から請求項３のいずれかに記載の唇抽出方法。
- 前記第１の唇候補領域を決定する工程は、前記顔画像から仮唇候補領域を決定する工程と、前記仮唇候補領域の色成分ヒストグラムを作成する工程と、予め複数の話者の顔画像から唇部分を切り出して作成した唇抽出用テンプレートの色成分ヒストグラムと前記仮唇候補領域の色成分ヒストグラムを比較し、類似度のもっとも高い唇抽出用テンプレートの閾値を前記仮唇候補領域の色成分ヒストグラムに用いて色成分による閾値処理を行うことにより、前記仮唇候補領域から唇部分を抽出し、２値化を行う工程と、前記抽出された唇部分を含む長方形の領域を切り出すことで決定した新たな唇候補領域を前記第１の唇候補領域とする工程と、を具備することを特徴とする請求項１から請求項３のいずれかに記載の唇抽出方法。
- 前記色成分ヒストグラムを求める色成分は、前記抽出した唇部分の色成分の分布と前記抽出した唇周辺部分の色分布に対し、ＲＧＢ色空間上で唇部分と唇周辺部分を２分する関数
ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０
を求め、唇抽出のために作成するヒストグラムの色成分を
ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ
とすることを特徴とする請求項１から請求項５のいずれかに記載の唇抽出方法。 - さらに、前記第１の唇候補領域の画像を輝度成分に変換し、エッジ抽出し、２値化した画像と、前記色成分により唇部分を抽出した画像の論理和を取った画像を唇抽出画像として出力する工程を有することを特徴とする請求項１から請求項６のいずれかに記載の唇抽出方法。
- 顔画像から唇を含む第１の唇候補領域を決定する第１の唇候補領域決定部と、前記顔画像から前記第１の唇候補領域の全ての領域とその周辺の領域を含む第２の唇候補領域を決定する第２の唇候補領域決定部と、前記第１の唇候補領域の色成分ヒス トグラムと前記第２の唇候補領域の色成分ヒストグラムとを作成する色成分ヒストグラム作成部と、前記第１の唇候補領域の色成分ヒストグラムと前記第２の唇候補領域の色成分ヒストグラムとの差分ヒストグラムを作成し、前記差分ヒストグラムにおけるピークを唇周辺の肌色部分の色成分によるものとし、そのピーク値に対応する色成分値に係数を掛けて得られる色成分値を閾値として設定する閾値設定部と、前記第１の唇候補領域の色成分ヒストグラムのピークを前記唇部分の色成分によるものとし、前記閾値よりも前記唇部分の色成分によるピーク側にある色成分の領域を唇部分として抽出する唇抽出部と、を具備することを特徴とする唇抽出装置。
- 前記色成分ヒストグラムを求める色成分は、予め係数ａ，ｂを設定し、作成する色成分ヒストグラムの色成分がＲＧＢ表色系の（Ｒ−ａ・Ｇ−ｂ・Ｂ）であることを特徴とする請求項８記載の唇抽出装置。
- 前記第１の唇候補領域と前記第２の唇候補領域の面積比が１対１よりも大きく、１対３よりも小さいことを特徴とする請求項８又は請求項９に記載の唇抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15859799A JP3902887B2 (ja) | 1999-06-04 | 1999-06-04 | 唇抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15859799A JP3902887B2 (ja) | 1999-06-04 | 1999-06-04 | 唇抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000348173A JP2000348173A (ja) | 2000-12-15 |
| JP3902887B2 true JP3902887B2 (ja) | 2007-04-11 |
Family
ID=15675175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15859799A Expired - Fee Related JP3902887B2 (ja) | 1999-06-04 | 1999-06-04 | 唇抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3902887B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006170669A (ja) * | 2004-12-13 | 2006-06-29 | Mitsui Mining & Smelting Co Ltd | 青果物の品質検査装置 |
| JP2006172381A (ja) * | 2004-12-20 | 2006-06-29 | Dkk Toa Corp | 画像観測方法およびこの方法を実施する装置 |
| JP2007047949A (ja) * | 2005-08-08 | 2007-02-22 | Advanced Telecommunication Research Institute International | 口トラッキング装置及びコンピュータプログラム |
| KR100680278B1 (ko) | 2005-12-28 | 2007-02-07 | 고려대학교 산학협력단 | 입술모양 추출방법 및 그 장치 |
| JP2008090792A (ja) * | 2006-10-05 | 2008-04-17 | Yamaguchi Univ | 遺伝的アルゴリズムを用いた眼球検出法 |
| JP5023328B2 (ja) * | 2006-11-20 | 2012-09-12 | 国立大学法人山口大学 | 食事支援システム |
| KR100957194B1 (ko) | 2008-06-24 | 2010-05-11 | 동명대학교산학협력단 | 인간과 단말기간의 마우스 인터페이스 시스템 및 제어방법 |
| KR101035768B1 (ko) * | 2009-01-02 | 2011-05-20 | 전남대학교산학협력단 | 립 리딩을 위한 입술 영역 설정 방법 및 장치 |
| JP4831259B1 (ja) | 2011-03-10 | 2011-12-07 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
| JP6662052B2 (ja) * | 2016-01-14 | 2020-03-11 | 富士通株式会社 | 画像処理プログラム、画像処理装置、および画像処理方法 |
| WO2018139242A1 (ja) * | 2017-01-27 | 2018-08-02 | パナソニック株式会社 | 画像解析システム、画像解析方法及びプログラム |
-
1999
- 1999-06-04 JP JP15859799A patent/JP3902887B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000348173A (ja) | 2000-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100480781B1 (ko) | 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치 | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| JP3902887B2 (ja) | 唇抽出方法 | |
| JP2007257087A (ja) | 肌色領域検出装置及び肌色領域検出方法 | |
| JP4100885B2 (ja) | 帳票認識装置、方法、プログラムおよび記憶媒体 | |
| JP2000105829A (ja) | 顔パーツ検出方法及びその装置 | |
| JP2007272435A (ja) | 顔特徴抽出装置及び顔特徴抽出方法 | |
| JP4077094B2 (ja) | カラー文書画像認識装置 | |
| KR20150007880A (ko) | 영상 화질 개선 방법, 장치 및 기록 매체 | |
| KR20160115663A (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| CN111161281A (zh) | 一种人脸区域识别方法、装置及存储介质 | |
| KR101654287B1 (ko) | 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법 | |
| WO2011074014A2 (en) | A system for lip corner detection using vision based approach | |
| Arsic et al. | Improved lip detection algorithm based on region segmentation and edge detection | |
| JP2000339471A (ja) | 画像抽出方法およびその装置 | |
| JP2004246424A (ja) | 肌色領域の抽出方法 | |
| JP4439829B2 (ja) | データ分析装置およびデータ認識装置 | |
| Youlian et al. | Face detection method using template feature and skin color feature in rgb color space | |
| JP2007188407A (ja) | 画像処理装置及び画像処理プログラム | |
| KR101439190B1 (ko) | 이미지 처리 기반의 모바일 기기 구동 방법, 모바일 기기의 이미지 처리 방법 및 이를 이용하는 모바일 기기 | |
| JPH05108804A (ja) | ３次元物体の識別方法及びその実施装置 | |
| Nath et al. | Lip contour extraction scheme using morphological reconstruction based segmentation | |
| JP2001209808A (ja) | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 | |
| JP2007243987A (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| KR101327482B1 (ko) | 이파리 영상의 잎맥 검출 및 특징 추출 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |