JP4485837B2

JP4485837B2 - 皮膚画像のコンピュータ解析のための方法およびシステム

Info

Publication number: JP4485837B2
Application number: JP2004120783A
Authority: JP
Inventors: 智之門間
Original assignee: Shibuya Corp
Current assignee: Shibuya Corp
Priority date: 2003-04-29
Filing date: 2004-04-15
Publication date: 2010-06-23
Anticipated expiration: 2024-04-15
Also published as: JP2004321793A; US20040218810A1; US7233693B2

Description

本発明は概して皮膚画像のコンピュータ解析に関し、特には、人の皮膚のデジタル画像を処理して皮膚状態を評価し皮膚科学の用途に供するための方法およびシステムに関する。皮膚科学には医療用途および化粧品用途等がある。

情報技術は医療産業に浸透してきている。例えば、病理学者たちは、今やＣＣＤカメラや画像処理ソフトウェア、データファイリング装置の恩恵に浴し、病気や損傷によって病理学的に変化した器官の膨大な数のデジタル画像を蓄積し解析している。こうした技術は、病理学の分野では遠隔医療を実施するためにも用いられており、これは遠隔病理診断（テレパソロジー）と呼ばれている。

一方、皮膚科学の分野では、デジタル画像解析や遠隔医療の実施はほとんど試みられてきていない。これは、人の皮膚の表面で起きる身体的変化をデジタル方式で評価する手法が確立されていないためである。言い換えれば、人の皮膚の状態を測定する手法であって、測定された指標が人の皮膚の診断および／または処置の重要な要素を代表し得るような測定手法が、これまで確立していなかったということである。

例えば、特許文献１には、顔面の肌状態を客観的に分析する装置及び方法に関する技術が開示されているが、この技術は、予めデータベースに記憶された写真の中から被験者の撮影映像に最も似ているものを使用者に選択させるものであり、被験者の皮膚画像から直接、皮膚の状態を表す指標を求められるものではない。また、特許文献２には、明暗強調撮像装置で撮影した皮膚画像を解析し、皮膚表面の光学的美しさに相関する特性値を算出する技術が開示されているが、求められる指標が光学的美しさに限定され、しかも、この唯一の指標を求めるための明暗強調撮像装置という特殊な撮像が必要となる。また、特許文献３には、肌の表面を撮影して、毛穴の状態を表す指標やしみ・そばかすの濃さを表す指標を求める技術が開示されているが、この技術は、魚眼レンズを有するトリスペクトラル・カメラを撮影部位の皮膚に押し当てて、肌の撮影をすることが前提であるため、部分的な解析しかできないものであった。
特開平７−２８９５２４号公報特開平７−２３１８８３号公報特開平７−５５４４７号公報

したがって、デジタル方式で取り込まれた皮膚画像に基づいて人の皮膚の状態を全体的に且つ定量的に評価する手法が確立されれば、上述した遠隔医療だけでなく、医学的検査や治療において、いわゆる「実証的医療」や「インフォームドコンセント」が実現されるであろうし、また臨床教育の一助ともなろう。さらに、こうした皮膚の評価は、化粧品産業において化粧品商品を開発する際、および／またはそうして開発された化粧品を対面販売で顧客に販売する際に利用されるであろう。

本発明に係る方法およびシステムは、皮膚状態をデジタル方式で評価するための皮膚画像処理を提供する。まず、人体の一部の表面のデジタル画像をカメラから受け取る。カメラがデジタル画像を得る際、人体の一部の表面は白色灯で照らされ、カメラから離れたところに置かれる。

次に、受け取ったデジタル画像に対して複数種類の解析を行い、人体の皮膚状態を表す複数のデータを生成する。複数種類の解析としては、皮膚の色の評価、色素斑の評価、毛穴の評価、および／またはしわの評価等があろう。その後、生成したデータをディスプレーまたはデータベースへ出力する。

本発明に係る方法およびシステムは、コンピュータに実装されてもよく、そのコンピュータを、カメラを有する画像取り込み装置と接続してもよい。画像取り込み装置は、カメラと人体の一部の表面との間に一定の距離を設けることができる。

本発明によれば、皮膚表面から離れた場所に設置したカメラからデジタル方式で取り込まれた皮膚画像に基づいて、人の皮膚の状態を全体的に且つ定量的に評価することができる。

以下、本発明の実施の形態について図面を用いて説明する。説明には典型的な実施例が含まれているが、他の実施例も可能であり、また説明された実施例には、本発明の趣旨および範囲から逸脱することなく変更を加えてもよい。以下の詳細な説明および添付図面は、本発明を限定しない。代わりに本発明の範囲は、添付の特許請求の範囲に定義される。全ての図面および以下の説明を通じて、同一または類似の部品を参照する際は可能な限り同じ参照番号を用いる。

図１に示すように、本発明に係る皮膚画像処理システムには、皮膚画像撮影ボックス１００およびディスプレー１５５付きのコンピュータ１５０が含まれる。顔の皮膚の検査を受けるクライアントは、皮膚画像撮影ボックス１００の中へ頭１０５を入れる。壁１１０は、皮膚画像撮影ボックス１００に外側の構造を提供する。壁のうち、後ろ側の壁１１５は、クライアントの頭が箱１００の内側に楽に入ることができるようカーテンで形成してもよい。

箱１００の内側にはＣＣＤカメラ１２０が置かれ、右４５度の点１２２、前面の点１２４、左４５度の点１２６の間を自動的に移動するよう制御される。移動の点はこれら３点に限定されず、クライアントの顔面からの距離が実質的に同じ（この例では２００ｍｍ）であるような弧状線上で、何点でもどの位置でも選んでよい。代替の形態としては、最も右側の点と最も左側の点は４５度以外の角度（例えば４５度より大きい角度）にあってもよい。ＣＣＤカメラ１２０は、各点に位置する際、その撮影軸がクライアントの顔面に対して実質的に垂直になるように置かれる。そのような状態で、ＣＣＤカメラ１２０の移動によりクライアントの顔が走査され、走査の間に、間欠的にデジタル撮影が行われる。

ＣＣＤカメラ１２０は、例えば４００万画素を備え、クライアントの顔の高解像度画像を撮影する。この例では、一回の検査（走査）につき３枚のカラー画像、すなわち点１２４から撮影される正面顔画像、点１２２から撮影される右側顔画像、点１２６から撮影される左側顔画像が、自動的に撮影される。手動で画像を撮影するには、操作者（例えば医師）がシャッタースイッチ１４０を押す。

それらの画像のカラー信号は、例えばＵＳＢポートを介して、コンピュータ１５０に読み込まれる。コンピュータ１５０は、それらの画像を処理して、顔の皮膚の状態を代表する解析結果を生成する。取り込まれた画像および／または算出された解析結果は、操作者（例えば医師）に対して、また希望があればクライアント（例えば患者）に対して、ディスプレー１５５を介して表示される。

図２を用いて、皮膚画像撮影ボックス１００をさらに詳しく説明する。図２の左上図は、箱１００の上方からの透視図を示す。４つの光源１３１〜１３４が、移動するカメラ１２０の軌道の後ろに、実質的に等しい間隔で置かれている。各光源は標準白色光源である。光源とクライアントの顔との間に置かれた拡散板１６０（例えば乳白色のアクリル板）によって、拡散照明が実現されている。

図２の左下図は、箱１００の破線Ａ−Ａ’における断面を示す。クライアントの頭１０５は除いてある。拡散板１６０には、点１２２、１２４、１２６にそれぞれ対応する３つの穴１６２、１６４、１６６があり、カメラ１２０がクライアントの顔の画像を撮影できるようになっている。別の光源１３５が箱１００の天井に、さらに別の光源１３６が箱１００の床に置かれている。いずれの光源も、拡散板の、クライアントの顔からみて向こう側にある。

クライアントの顔は、頭頂押さえ１７０と下顎台１７５によって固定される。クライアントがアゴを台１７５に乗せ、頭上部を押さえ１７０に押し当てると、クライアントには、カメラ１２０用の３つの穴を除くすべての方向に、明るい乳白色の板が見えることになる。

図２の右上図は、箱１００の破線Ｂ−Ｂ’における断面を示す。クライアントの頭１０５も描いてある。頭頂押さえ１７０の内側の面には、カラーチャート１８０が置かれている。カラーチャート１８０には黒、白、肌色基準値、赤、緑、青が含まれてもよい。また、灰色（例えば黒から白までの１０段階の無彩色）が含まれてもよい。肌色基準値は単に比較の基準として働くので、箱１００の操作者または製造者が任意に決定または作成することができる。肌色基準値としては、異なった人種それぞれに見本を取って調べた皮膚の色の平均を用いてよく、カラーチャート１８０は、いくつかの人種に対応したいくつかの肌色基準値を含むことができる。

箱１００内のクライアントの顔の両横には照度センサ（図示しない）が置かれ、あらかじめ決められた範囲（例えば１００００Ｌｘ±３％）に照度を保持するよう、照度センサの出力に基づいて光源１３１〜１３６に加えられる電圧が制御される。さらに、各検査において、カメラ１２０と光源１３１〜１３６の位置に対して相対的に同じ位置に、押さえ１７０と台１７５によってクライアントの顔が固定されるのは、上述した通りである。ゆえに箱１００は、あるクライアントの皮膚の過去と現在の状態を比較し、かつ／またはあるクライアントの状態をデータベースに蓄積された他の実例と比較するための、十分な繰り返し性（再現性）を備える。

カラーチャート１８０の画像は、正面顔画像と同じく点１２４においてＣＣＤカメラ１２０によって取り込まれる。カラーチャート１８０の赤、緑、青、白に対応するＣＣＤカメラ１２０からの出力信号は、色温度を補正してＣＣＤの色感度を実質的に同じ状態に保つのに用いられる。

図３に示すように、カラーチャート画像付き正面顔画像、右側顔画像、左側顔画像は、皮膚画像撮影ボックス１００からコンピュータ１５０のメモリ３１０に読み込まれる。各画像には、多数の画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）信号が含まれている。

コンピュータ１５０にある１つ以上のモジュールは、メモリ３１０に格納された皮膚画像を解析して、皮膚状態を代表する結果を１つ以上生成することができる。これらのモジュールは、ソフトウェアによって、またはソフトウェアとハードウェアの組み合わせによって実行することができる。各モジュールが生成した結果は、ディスプレー１５５へ出力できるだけでなく、実例データベース２００に格納することもできる。上記の３つの顔画像のＲＧＢ信号は、生成された結果と一緒にディスプレー１５５および実例データベース２００へ送ってもよい。このようにＲＧＢ信号を評価結果とともに実例データベース２００に蓄積することにより、過去の実例についてもそのオリジナル画像を参照しながら検査することが可能になる。実例の名称、クライアントの年齢、性別等の個人情報も、評価結果とともに実例データベース２００に蓄積してよい。

コンピュータ１５０にある皮膚の色評価モジュール３２０は、メモリ３１０に格納された、ＲＧＢ信号を含む皮膚画像を処理して、「色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）」データを生成する。これらのデータは、皮膚の色の尺度として働く。皮膚の色を代表するこれらのＨＳＶデータは、ディスプレー１５５へ出力してもよいし、かつ／または実例データベース２００に蓄積してもよい。これらのＨＳＶデータはまた、皮膚の病気にかかったり痛んだりした（あるいは関心のある）部分（これについては以下に説明する）をクライアントの正常状態の皮膚から区別するための閾値を調整するために、他の評価モジュールで用いてもよい。なお、ＨＳＶモデルの代わりにＨＳＬ（色相、彩度、明度（Ｌ））カラーモデルなどの別の色変換システムを用いてもよい。

色素沈着評価モジュール３３０は、特に青（Ｂ）信号の皮膚画像を処理して、「面積、個数、濃度」データを生成する。濃度は、グレーレベルもしくは輝度レベルとも呼ばれる。このデータは、色素沈着部位（すなわちあるタイプの、皮膚の傷んだ部分）の程度を示す。本実施形態では、肉眼では確認しにくい大きさで皮膚表層にメラニン色素が凝集した部位を「色素沈着部位」として、「色素斑」とは区別して検査する。「色素沈着部位」の一つ一つは小さすぎて肉眼で検査できないが、モジュール３３０は、皮膚画像の青（Ｂ）信号に焦点を合わせることでこの検査を可能にする。上記の、色素沈着部位に関するデータは、ディスプレー１５５へ出力してもよいし、かつ／または実例データベース２００に蓄積してもよい。

毛穴評価モジュール３４０は、特に青（Ｂ）信号の皮膚画像を処理して、「面積、個数、濃度」データを生成する。このデータは、顕在的（目立つ）毛穴（すなわち別のタイプの、皮膚の傷んだ部分）の程度を示す。顕在的（目立つ）毛穴の一つ一つは小さすぎて肉眼で検査できないが、モジュール３４０は、皮膚画像の青（Ｂ）信号に焦点を合わせることでこの検査を可能にする。モジュール３４０はまた、形や大きさ等の画像の違いによって毛穴と色素沈着部位とを区別することができる。この画像の違いは、毛穴は皮膚の小さな円形の穴によって形作られた影であるのに対して、色素沈着部位は皮膚表面の内側に任意の形に沈着したメラニンであるという事実を反映する。上記の、顕在的（目立つ）毛穴に関するデータは、ディスプレー１５５へ出力してもよいし、かつ／または実例データベース２００に蓄積してもよい。

モジュール３３０が単に色素沈着部位を評価するよう構成されているのに対して、色素斑タイプ決定モジュール３５０は、皮膚画像を処理して、さらに多様な色素斑を評価する。広義の色素斑には、あらゆる形、あらゆる大きさの紅斑および褐色もしくは黒色の色素斑が含まれる。色素沈着部位は色素斑の一種とも考えられるが、コンピュータ１５０は、色素沈着部位を残りの色素斑とは別の、痛んだ部分の一種として扱うことができる。

紅斑は、皮膚の真皮中の血管のうっ血による。褐色の色素斑は、皮膚の表皮下の基底細胞層に沈着しているメラニンによる。黒色の色素斑は、表皮に沈着しているメラニンによる。ＲＧＢ信号それぞれの波長により、青（Ｂ）信号は浅い層の色素斑、すなわち黒色の色素斑が明瞭に現れるようにし、緑（Ｇ）信号は褐色の色素斑を明瞭に示し、赤（Ｒ）信号は深い層の紅斑を観察できるようにする。モジュール３５０は、一つ一つの色素斑がどの細胞層（１つまたは複数の細胞層）にできているかを調べるため、ＲＧＢ信号に対応する３つの濃度を色素斑１つについて取得することができる。

この例では、モジュール３５０は、緑（Ｇ）信号と青（Ｂ）信号を解析して、それぞれ褐色と黒色の色素斑を探す。色素沈着部位は黒色の色素斑の小さなものなので、モジュール３５０が青（Ｂ）信号に対して行う処理の一部は、モジュール３３０が行う処理と同じである。したがって、モジュール３５０はモジュール３３０が行う処理の一部を共有することができ、それに加えて、緑（Ｇ）信号の処理を行う。モジュール３５０はさらに、大きさを問わず色素斑として抽出された部分を処理し、「面積、形、青と緑の濃度、分布」データを生成する。

モジュール３５０が生成したこれらのデータは、目標とする色素斑のタイプを決定するための要素になる。色素斑に関するこれらのデータとそのタイプは、ディスプレー１５５へ出力してもよいし、かつ／または実例データベース２００に蓄積してもよい。色素斑のタイプには、肝斑（しみ）、雀卵斑（そばかす）、老人性色素斑等が含まれる。

実例データベース２００は、色素斑各タイプの代表的な「面積、形、濃度、分布」データを格納することができる。代表的なデータは、蓄積されたデータによって自動的に作成してもよいし、医師が手動により検証して作成してもよい。これらの代表的なデータを上記の目標とする色素斑のデータと比較することによって、モジュール３５０は目標とする色素斑のタイプを自動的に決定することができる。

コンピュータ１５０のモジュールには、しわ３次元解析モジュール３６０が含まれてもよい。このモジュールは、顔の少なくとも２つの平面画像からしわの３次元形状を計算することができる。モジュール３６０は、画像のモデル化技術を用いて青（Ｂ）信号を処理する。計算した３次元形状に基づいて、モジュール３６０はしわの幅、長さ、最大深さを測定する。しわ（すなわちさらに別のタイプの、皮膚の傷んだ部分）のこれらのデータは、ディスプレー１５５へ出力してもよいし、かつ／または実例データベース２００に蓄積してもよい。

しわを評価する場合には、ＣＣＤカメラ１２０は、４５度より短い間隔で移動、停止して画像を撮影し、また任意の角度から撮影を開始することができる。この場合、拡散板１６０は、拡散板１６０の穴１６２、１６４、１６６のうちの１つがカメラ１２０の撮影軸上に置かれるよう、ＣＣＤカメラ１２０とともに移動する。カメラ１２０がクライアントの顔の周囲を走査する間の、間欠デジタル撮影の間隔は、例えば５度でもよく、またこの角度は、しわの幅、長さ、および／または位置に基づいて調整することができる。

さらに具体的には、目標とするしわ（例えば顔の右側または左側のしわ）の位置がまず確認される。そこでＣＣＤカメラ１２０はしわ（例えば顔の左側）の前、任意の角度の位置に実際に移動する。モジュール３６０は自らのソフトウェアに、カメラ１２０の移動量を、例えば上述したように５度と設定する。その後、シャッタースイッチ１４０が押されて走査が開始される。

モジュール３６０はそこで、しわの前から撮影した顔画像と、その撮影した顔の側（この例では左側）とは逆の方向へ５度移動した位置から撮影したもう１つの顔画像とを入力する。モジュール３６０は、入力した上記２つの顔画像に基づいて、しわの最も深い部分をプロットする。モジュール３６０はさらに、しわのエッジ幅と、最も深い部分とエッジとの間の距離とを画素で数え、移動量（例えばtan5°）に基づいて最大深さを計算する。

上記の、３次元モデル化を用いたモジュール３６０によるしわの評価には、マイクロスコープで拡大した皮膚画像を用いてしわを測定する方法と比較して、次の利点がある。ビデオマイクロスコープを用いる場合、目標とするしわの溝と山が皮膚とマイクロスコープとの間の接触圧によって変形し、その結果重大な測定誤差が生じる。対照的に、本発明に係るしわ解析モジュール３６０は、目標とするしわの深さ、幅、長さを、クライアントの顔から離れた位置から撮影された２つの顔画像に基づいて決定することができ、ゆえに目標とするしわをより少ない誤差で評価することができる。

モジュール３２０、３３０、３４０、３５０が行う画像解析について、以下さらに詳しく説明する。皮膚の色評価モジュール３２０は、（正面顔画像については）図４および（右側顔画像および左側顔画像のそれぞれについては）図５に示すフローチャートに従って皮膚画像解析を行う。モジュール３２０はまず、顔の平らな部分を用いて皮膚の色を正確に測定するために、頬や額の領域のような、顔の平らな部分を割り出す。そのような平坦部認識の典型的な方法を図６に示す。

正面顔画像については、モジュール３２０はまずメモリ３１０から青（Ｂ）信号（図４の４０５）を入力して、その青画像に対して２値化とエッジ検出を行う（４１０）。その後、モジュール３２０は右目の領域、左目の領域、口の領域それぞれの重心（ＣＯＧ）を決定する（４２０）。

モジュール３２０はそこで、各ＣＯＧに代表される両目と口の位置の相互関係に基づいて、正面顔の右頬の領域（以下、「頬−ＲＦ」領域）と正面顔の左頬の領域（以下、「頬−ＬＦ」領域）とを決定する（４３０）。モジュール３２０はまた、両目の位置に基づいて額の領域も決定する（４３５）。

さらに詳しくは、両目と口の各ＣＯＧが図６Ａの白い丸のように決定された後、モジュール３２０は、右目のＣＯＧと左目のＣＯＧとをつなぐ第１の線と、口のＣＯＧを通って第１の線に平行な第２の線とを引く。モジュール３２０はそこで、第１の線と第２の線との中間で、両線から等しい距離となるところに線６１０を引く。モジュール３２０はさらに、右目のＣＯＧと左目のＣＯＧそれぞれから第２（口）の線に対して垂直となる線６２０および６２５を引き、右頬のエッジと左頬のエッジそれぞれの接線６３０および６３５を引く。頬−ＲＦ領域は、線６１０、６２０、６３０に接する円形の領域として決定する。頬−ＬＦ領域は、線６１０、６２５、６３５に接する円形の領域として決定する。

モジュール３２０はさらに、目の領域の上側エッジすなわち眉に接する水平線６４０と、線６４０の１センチメートル（ｃｍ）上にもう１つの水平線６４５とを引く。この例では、１画素は実際の顔においておよそ１００マイクロメートル（μｍ）に相当するので、線６４５は線６４０から１００画素離れていることになる。額の領域は、線６２０、６２５、６４５と、６４０の６センチメートル（ｃｍ）上のもう１つの水平線とに囲まれた長方形の領域として決定する。長方形の領域の高さは、クライアントの顔の大きさに基づいて調整することができる。

上記のように３つの平らな領域が決定したら、モジュール３２０は、メモリ３１０に格納されている正面顔画像からこれらの領域のＲＧＢ信号（図４の４４５）を抽出する（４５０）。モジュール３２０はまた、カラーチャート１８０の画像、特に肌色基準値の取り込み画像のＲＧＢ信号を抽出してもよい。モジュール３２０はそこで、例えばスミスのＨＳＶカラーモデルを用いて、抽出した各領域のＲＧＢ信号をＨＳＶ信号に変換する（４６０）。モジュール３２０はまた、比較のため、カラーチャートの肌色基準値のＲＧＢ信号をＨＳＶ信号に変換してもよい。

モジュール３２０は、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）それぞれの階調を持つ画素の個数を数えることによって、ＨＳＶ各信号から図１０Ａに示すような度数分布図を作成することができる（図４の４７０）。ＨＳＶ度数分布図は、頬−ＲＦ、頬−ＬＦ、および額の各領域について、かつ／またはこれら３つの領域すべてを組み合わせたものについて作成してもよい。図１０Ａの例で、ディスプレー１５５の各度数分布図は、操作者がクライアントの皮膚の色の変化を容易に理解できるようにするため、過去の検査結果と現在の検査結果とを示している。こうして、例えば操作者はホワイトニング化粧品の効果を確認することができる。

代わりにまたは加えて、モジュール３２０は、ＨＳＶ信号の平均を計算することができる（図４の４７０）。この平均は、ＨＳＶの各階調が０から２５５まで変化する場合、（Ｈ，Ｓ，Ｖ）＝（１５，９８，１６０）のようになる。このＨＳＶ平均は、頬−ＲＦ、頬−ＬＦ、および額の各領域について計算してもよいし、カラーチャート１８０の肌色基準値についても計算して、クライアントの各領域における皮膚の色と肌色基準値との違いを測定してもよい。

側面の顔画像については、モジュール３２０はまずメモリ３１０から青（Ｂ）信号（図５の５０５）を入力して、その青画像に対して２値化とエッジ検出を行う（５１０）。その後、モジュール３２０は頬の領域を囲むエッジ線を決定する（５２０）。これらのエッジ線を用いて、右側顔画像と左側顔画像とについてそれぞれ右側顔の右頬の領域（以下、「頬−ＲＲ」領域）と左側顔の左頬の領域（以下、「頬−ＬＬ」領域）とを決定する（５３０）。

さらに詳しくは、図６Ｂ（左側顔の例）に示すように、モジュール３２０は、髪の生え際に相当するエッジ線６５０と、あごの線に沿った接線６６０とを引く。モジュール３２０はさらに、目の下縁に接する水平線６７０と、鼻翼のいずれか（この例では左側）に沿って口のいずれかの端（この例では左側端）へ延びる線６８０とを引く。エッジ線６５０、６６０、６７０、６８０に囲まれた部分のＣＯＧがそこで決定する。頬−ＬＬ領域は、囲まれた部分のＣＯＧを中心としエッジ線のいくつかに接する最大限度を半径とする円形の領域として決定する。頬−ＲＲ領域は、同様に右側顔画像において決定する（図示しない）。

上記のように右側、左側それぞれの顔画像について平らな領域が決定したら、モジュール３２０は、メモリ３１０に格納されている、対応する側の顔画像からこの領域のＲＧＢ信号（図５の５４５）を抽出する（５５０）。モジュール３２０はそこで、例えばスミスのＨＳＶカラーモデルを用いて、抽出した各領域のＲＧＢ信号をＨＳＶ信号に変換する（５６０）。

モジュール３２０は、ＨＳＶ各信号から、頬−ＲＲおよび頬−ＬＬの各領域について、かつ／またはこれら２つの領域を組み合わせたものについて、度数分布図を作成することができる（５７０）。さらに、モジュール３２０は、図４のフローチャートに従って得た他の３つの領域のＨＳＶデータを入力し、これら５つ（頬−ＲＦ、ＬＦ、ＲＲ、ＬＬ、額）の領域すべてを組み合わせたものについてＨＳＶ度数分布図を作成することができる（図５の５８０）。

代わりにまたは加えて、モジュール３２０は、頬−ＲＲ、頬−ＬＬの各領域について、ＨＳＶ信号の平均を計算することができる（５７０）。図４および図５に示す解析の結果、クライアントの皮膚の色の指標として、（Ｈ，Ｓ，Ｖ）＝（１５，９８，１６０）のようなＨＳＶ平均が、５つ（頬−ＲＦ、ＬＦ、ＲＲ、ＬＬ、額）の各領域について作成される。皮膚の色の指標は、クライアントの各領域の皮膚の色（ＨＳＶ平均）とカラーチャートの肌色基準値（ＨＳＶ平均）との差として表してもよい。

さらにデータを圧縮するため、ただ１つのＨＳＶ平均でクライアントの皮膚の色を代表することができる。典型的な圧縮は、５つの領域のＨＳＶ指標の平均である。

色素沈着評価モジュール３３０は、図７に示すフローチャートに従って皮膚画像解析を行う。図７に示す作業が、正面、右側、左側の顔画像について別々に行われる。

モジュール３３０は、メモリ３１０から青（Ｂ）信号（７０５）を入力して、ノイズを除去するためにその青画像に対して平滑化を行う。モジュール３３０はそこでエッジ検出を行う（７１０）が、これは色素沈着部位がしばしば不明瞭な境界を有するためである。

モジュール３３０は青画像に対して２値化を行う（７３０）が、その前に、クライアントの皮膚の色の指標に基づいて２値化のための閾値を決定する（７２０）。モジュール３２０が上述のように決定した皮膚の色の指標によってクライアントの潜在的な皮膚色の範囲を特定することができ、２値化のための閾値は、この特定された潜在的な皮膚色の範囲よりも低い（暗い）水準に決定される。例えば、濃度が０から２５５まで変化する場合、色素斑を特定するための閾値は８０〜１３０の範囲に設定される。２値化後、モジュール３３０は、検出されたエッジに囲まれた各部分を塗りつぶす（７３０）。

モジュール３３０は、目的を色素沈着部位に絞っているので、塗りつぶされた部分の中で、あらかじめ決められた範囲、例えば０．６〜１．７ｍｍ（四方）内の大きさのものを選ぶ（７４０）。その後、モジュール３３０は、色素沈着部位として選ばれた各部分の、エッジに囲まれて塗りつぶされた黒い画素の個数を数えて、その面積を（画素の単位で、またはｍｍ²に変換して）測定する（７５０）。モジュール３３０はまた、色素沈着部位として選ばれたすべての部分の面積の合計も計算し、また色素沈着部位の総数も数える（７５０）。モジュール３３０はさらに、色素沈着部位一つ一つの青（Ｂ）信号（７０５）の平均濃度を計算する（７５０）。

３つ（正面、右側、左側）の顔画像から別々に得られたこれらの「面積、個数、濃度」データは、すべて実例データベース２００に蓄積される。３つの画像にまたがって二重または三重に数えられた色素沈着部位については、そのデータをそのまま格納してよい。クライアントの色素沈着部位の程度を決定するため、たった今得られたクライアントのデータは、クライアントと同じ年齢、性別等に分類されている実例データベース２００の多くのデータと、その場で統計的に比較することができる。

毛穴評価モジュール３４０は、図８に示すフローチャートに従って皮膚画像解析を行う。図８に示す作業が、正面、右側、左側の顔画像について別々に行われる。

モジュール３４０は、メモリ３１０から青（Ｂ）信号（８０５）を入力して、ノイズを除去するためにその青画像に対して平滑化を行う。モジュール３４０はエッジ検出もエッジに囲まれた部分の塗りつぶしも行わないが、これは毛穴の境界がたいてい取り込み画像において明瞭であり、毛穴は色素沈着部位よりも小さいためである。

モジュール３４０は青画像に対して２値化を行う（８２０）が、その前に、クライアントの皮膚の色の指標に基づいて２値化のための閾値を決定する（８１０）。モジュール３２０が上述のように決定した皮膚の色の指標によってクライアントの潜在的な皮膚色の範囲を特定することができ、２値化のための閾値は、この特定された潜在的な皮膚色の範囲よりもかなり低い（暗い）水準に決定される。毛穴の場合の２値化の閾値は、色素斑の場合よりも低め（暗め）に決定されるのである。例えば、濃度が０から２５５まで変化する場合、毛穴を特定するための閾値は０〜８０の範囲に設定される。

２値化後、モジュール３４０は黒い画素が集まって円形になっている部分を特定し（８３０）、特定した部分の中であらかじめ決められた範囲、例えば０．２６〜１．０ｍｍ（四方）内の大きさのものを顕在的（目立つ）毛穴として選ぶ（８４０）。その後、モジュール３４０は、顕在的（目立つ）毛穴として選ばれた各部分の黒い画素の個数を数えて、その面積を（画素の単位で、またはｍｍ²に変換して）測定する（８５０）。モジュール３４０はまた、顕在的（目立つ）毛穴として選ばれたすべての部分の面積の合計も計算し、また顕在的（目立つ）毛穴の総数も数える（８５０）。モジュール３４０はさらに、顕在的（目立つ）毛穴一つ一つの青（Ｂ）信号（８０５）の平均濃度を計算する（８５０）。

３つ（正面、右側、左側）の顔画像から別々に得られたこれらの「面積、個数、濃度」データは、すべて実例データベース２００に蓄積される。３つの画像にまたがって二重または三重に数えられた毛穴については、そのデータをそのまま格納してよい。クライアントの毛穴の悪化の程度を決定するため、たった今得られたクライアントのデータは、クライアントと同じ年齢、性別等に分類されている実例データベース２００の多くのデータと、その場で統計的に比較することができる。

色素斑タイプ決定モジュール３５０は、図９に示すフローチャートに従って皮膚画像解析を行う。図９に示す作業が、正面、右側、左側の顔画像について別々に行われる。

モジュール３５０は、メモリ３１０から緑（Ｇ）信号（９０５）を入力して、ノイズを除去するためにその緑画像に対して平滑化を行う。モジュール３５０はそこでエッジ検出を行う（９１０）が、これは色素斑がしばしば不明瞭な境界を有するためである。

モジュール３５０は緑画像に対して２値化を行う（９３０）が、その前に、クライアントの皮膚の色の指標に基づいて２値化のための閾値を決定する（９２０）。モジュール３２０が上述のように決定した皮膚の色の指標によってクライアントの潜在的な皮膚色の範囲を特定することができ、２値化のための閾値は、この特定された潜在的な皮膚色の範囲よりも低い（暗い）水準に決定される。２値化後、モジュール３５０は、検出されたエッジに囲まれた各部分を塗りつぶす（９３０）。

緑画像に対する上記の処理（９１０〜９３０）は図７に示した青画像に対する処理（７１０〜７３０）と同様であり、モジュール３５０はその後、青画像と緑画像についてそれぞれ黒色の色素斑と褐色の色素斑をすべて特定することができる（９４０）。モジュール３５０は、黒色または褐色の色素斑として選ばれた各部分の、エッジに囲まれて塗りつぶされた暗い画素の個数を数えて、その面積を（画素の単位で、またはｍｍ²に変換して）測定する（９５０）。モジュール３５０はまた各色素斑がどんなタイプの形（例えば円、楕円、多角形、帯等）かを決定する。さらに、各色素斑のエッジの状態を分類してもよい（９５０）。

モジュール３５０はさらに、黒色または褐色の色素斑一つ一つの青（Ｂ）、緑（Ｇ）各信号（７０５、９０５）の平均濃度を計算する（９５０）。モジュール３５０はさらに色素斑の分布、例えば顔のどの位置にいくつ色素斑があるかを決定する（９５０）。

その後、モジュール３５０はこれらの「面積、形、濃度、分布」パラメータを実例データベース２００に格納されているパラメータと比較する（９６０）。その結果、たった今検査したクライアントのデータと統計的に類似したデータをもつ色素斑のタイプが、そのクライアントの、目標とする色素斑のタイプであると決定される。

モジュール３５０の解析結果は、図１０Ｂに示すように表示してもよい。この例では、ディスプレー１５５は取り込まれたＲＧＢ顔画像とエッジ検出、２値化、塗りつぶしをした後の処理済みの青（Ｂ）または緑（Ｇ）画像とを表示しており、７つの色素斑１、２、３、４、５、６、７が特定されている。ディスプレー１５５はまた、この７つの色素斑それぞれの「面積、形、濃度、分布」データを含む表も表示する。モジュール３３０または３４０の解析結果は、図１０Ｂと同様に表示することができる。

上に詳しく説明したように、本発明に係る方法およびシステムによれば、一度に顔全体の中の複数の領域に基づいて皮膚の状態を評価することができる。複数の領域を含む顔画像は、デジタルカメラ撮影一回により取り込むこともできる。さらに、実質的に等しい距離だけ離れた位置から顔の表面を走査し（カメラを移動させ）、移動するカメラにより間欠的に静止画をデジタル撮影することによって、顔全体の画像を望ましい数だけ撮影することができる。

かかる方法およびシステムには、ビデオマイクロスコープの使用と比較して、関心のある部分１カ所だけではなく顔全体についても皮膚の状態を代表するパラメータを決定することができるという利点がある。顔全体のパラメータには、色素沈着部位または顕在的（目立つ）毛穴の総数や特定のタイプの色素斑の分布などが含まれる。加えて、かかる方法およびシステムによれば、効能の異なる複数の薬を異なる領域（例えば顔の右側と左側）に別々につけるという、クライアントでの臨床試験において、その結果を評価することが容易になる。

さらに、皮膚の色に対して色彩計を使用したり色素斑に対して別の診断方法を用いたりするのと比較して、本発明に係る方法およびシステムによれば、取り込んだ皮膚画像をさらに一般的な目的のために解析することができる。すわなち、本発明に係る方法およびシステムによれば、複数の観点から皮膚の状態を評価すること、つまり複数のタイプの、皮膚の傷んだ部分を、１つの画像に基づいて一度に測定することができる。

以上、本発明の実施形態について説明したが、上述の実施形態を本発明の範囲内で当業者が種々に変形、応用して実施できることは勿論である。例えば、上述した例における検査対象は人の顔の皮膚であるが、本発明に係る方法およびシステムによれば、背中、胸、関節などのような、人体の他の部分の外皮を調べることができる。また、皮膚損傷などさらに別のタイプの傷んだ部分を、上に説明したシステムが取り込んだ皮膚の画像に基づいてデジタル方式で評価することができる。

本発明は、例えば、皮膚の医学的検査や治療において、また、化粧品の開発や販売において、皮膚の状態を全体的に且つ定量的に評価するニーズに応えるものとして、有用である。

本実施形態に係る皮膚画像処理システム（皮膚画像撮影ボックスとディスプレー付きコンピュータを含む）の概観を示す図。本実施形態に係る皮膚画像撮影ボックスの構造の一例を、上方からの透視図（左上図）、顔の方向から見た正面図（左下図）、中央断面図（右上図）により示す図。本実施形態に係るコンピュータが行う皮膚画像処理の概要の一例を示す図。皮膚の色を評価するための、本実施形態に係る皮膚画像解析方法の一例を示すフローチャート。皮膚の色を評価するための、本実施形態に係る皮膚画像解析方法の他の例を示す図。皮膚の色の評価に適した領域を決定するために、正面顔画像（図６Ａ）、左側顔画像（図６Ｂ）において行われる処理の例を示す図。色素沈着部位を評価するための、本実施形態に係る皮膚画像解析方法の一例を示すフローチャート。顕在的（目立つ）毛穴を評価するための、本実施形態に係る皮膚画像解析方法の一例を示すフローチャート。色素斑のタイプを決定するための、本実施形態に係る皮膚画像解析方法の一例を示すフローチャート。皮膚の色（図１０Ａ）、色素斑（図１０Ｂ）を評価する場合にコンピュータが表示する情報の一例を示す図。

符号の説明

１００皮膚画像撮影システム
１８０カラーチャート
３１０メモリ
３２０皮膚の色評価モジュール
３３０色素沈着評価モジュール
３４０毛穴評価モジュール
３５０色素斑タイプ決定モジュール
３６０しわ３次元解析モジュール
１５５医師用のディスプレー
２００実例データベース

Claims

白色灯で照らされカメラから離れて置かれた人体の一部分の表面のデジタル画像を前記カメラから受信する受信手段と、
前記受信手段により受信した前記デジタル画像に対して複数種類の解析を行って前記人体の一部分の皮膚の状態を表す複数のデータを生成する処理手段と、
前記処理手段により生成された前記複数のデータを出力する出力手段とを備え、
前記処理手段は、前記複数種類の解析の１つとして、前記デジタル画像に含まれるカラー信号のうちあらかじめ決められた波長をもつカラー信号を処理して前記人体の一部分の皮膚の浅い層に形成された色素斑を評価し、かつ、前記複数種類の解析の１つとして、肉眼では確認しにくい色素沈着部位の程度を評価するために、前記カラー信号を処理して、前記デジタル画像上の所定閾値より濃度の高い部分のエッジ線を検出し、前記エッジ線に囲まれた部分であってあらかじめ決められた範囲の大きさをもつ部分を選択することを特徴とする皮膚画像処理装置。
前記処理手段は、前記複数種類の解析の１つとして、前記デジタル画像に含まれるカラー信号のうちあらかじめ決められた波長をもつカラー信号を処理して前記人体の一部分の皮膚の表面に存在する毛穴を評価することを特徴とする請求項１に記載の皮膚画像処理装置。
前記処理手段は、顕在的な毛穴の程度を評価するために、前記カラー信号を処理して前記デジタル画像上の円形に形成された所定閾値より濃度の高い部分であってあらかじめ決められた範囲の大きさをもつ部分を選択することを特徴とする請求項２に記載の皮膚画像処理装置。
前記処理手段は、前記複数種類の解析の１つとして、前記デジタル画像に含まれるカラー信号のうち少なくとも２つのカラー信号を処理して前記人体の一部分の皮膚の異なる層に形成された色素斑を評価することを特徴とする請求項１に記載の皮膚画像処理装置。
固定された配置場所を人体の一部分に提供する部品と、
前記固定された場所に間接照明を提供する白色灯と、
前記部品によって固定された前記人体の一部分の表面のデジタル画像を得るカメラと、
前記白色灯で照らされ前記カメラから離れて置かれた前記人体の一部分の表面の前記デジタル画像を前記カメラから受信する受信手段と、
前記受信手段により受信した前記デジタル画像に対して複数種類の解析を行って前記人体の一部分の皮膚の状態を表す複数のデータを生成する処理手段と、
前記処理手段により生成された前記複数のデータを出力する出力手段とを備え、
前記処理手段は、前記複数種類の解析の１つとして、前記デジタル画像に含まれるカラー信号のうちあらかじめ決められた波長をもつカラー信号を処理して前記人体の一部分の皮膚の浅い層に形成された色素斑を評価し、かつ、前記複数種類の解析の１つとして、肉眼では確認しにくい色素沈着部位の程度を評価するために、前記カラー信号を処理して、前記デジタル画像上の所定閾値より濃度の高い部分のエッジ線を検出し、前記エッジ線に囲まれた部分であってあらかじめ決められた範囲の大きさをもつ部分を選択することを特徴とする皮膚画像処理システム。
コンピュータによる皮膚画像解析方法であって、
白色灯で照らされカメラから離れて置かれた人体の一部分の表面のデジタル画像を前記カメラから受け取る工程と、
前記デジタル画像に対して複数種類の解析を行って前記人体の皮膚の状態を表す複数のデータを生成する工程と、
前記デジタル画像と前記皮膚の状態を表すデータとを表示する工程とを備え、
前記複数のデータを生成する工程では、前記複数種類の解析の１つとして、前記デジタル画像に含まれるカラー信号のうちあらかじめ決められた波長をもつカラー信号を処理して前記人体の一部分の皮膚の浅い層に形成された色素斑を評価し、かつ、前記複数種類の解析の１つとして、肉眼では確認しにくい色素沈着部位の程度を評価するために、前記カラー信号を処理して、前記デジタル画像上の所定閾値より濃度の高い部分のエッジ線を検出し、前記エッジ線に囲まれた部分であってあらかじめ決められた範囲の大きさをもつ部分を選択することを特徴とする皮膚画像解析方法。
コンピュータが皮膚画像処理装置として機能するように、コンピュータに読み取られ使用されることが可能なプログラムであって、前記コンピュータに、
白色灯で照らされカメラから離れて置かれた人体の一部分の表面のデジタル画像を前記カメラから受け取らせ、
前記デジタル画像に対して複数種類の解析を行って前記人体の皮膚の状態を表す複数のデータを生成させ、
前記人体の皮膚の状態を表すデータを出力させ、
前記複数のデータを生成させる際には、前記複数種類の解析の１つとして、前記デジタル画像に含まれるカラー信号のうちあらかじめ決められた波長をもつカラー信号を処理させて前記人体の一部分の皮膚の浅い層に形成された色素斑を評価させ、かつ、前記複数種類の解析の１つとして、肉眼では確認しにくい色素沈着部位の程度を評価するために、前記カラー信号を処理させて、前記デジタル画像上の所定閾値より濃度の高い部分のエッジ線を検出させ、前記エッジ線に囲まれた部分であってあらかじめ決められた範囲の大きさをもつ部分を選択させることを特徴とするプログラム。