JP7044120B2 - 識別装置、識別器学習方法、識別方法及びプログラム - Google Patents

Description

本発明は、識別装置、識別器学習方法、識別方法及びプログラムに関する。

従来、撮像された患部が悪性であるか否かを識別する識別装置として、例えば特許文献１に開示された診断装置が知られている。この診断装置では、皮膚画像データに対して、部位強調、構造明瞭化、回転、反転等の画像変換を実行して画像データを増量し、増量された画像データを複数の識別器に入力している。そして、複数の識別器の識別結果を統合して最終的な識別結果を得ることによって、従来よりも識別精度を向上させている。

特開２０１７－４５３４１号公報

特許文献１に開示されているような従来のアンサンブル識別器では、複数の識別器を用いることによって、単一の識別器による識別よりも識別精度を向上させることができた。しかし、複数の識別器に入力される画像データは、いずれも元の画像データを画像変換したものに過ぎず、画像データに含まれる情報が増えるわけではないため、識別精度の向上には限界があった。

本発明は、上記問題を解決するためになされたものであり、従来よりもさらに識別精度の向上を図ることができる識別装置、識別器学習方法、識別方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の識別装置は、
白色光を含む第１照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第１受光光を受光して撮像することにより得られた第１画像データと、前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第２照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第２受光光を受光して撮像することにより得られた第２画像データとに基づいて学習された識別器であって、角栓を含む患部が写されている第２画像データを識別対象とする角栓有用識別器と、角栓が無い患部が写されている第２の画像データを識別対象とする角栓無用識別器と、を含む識別器と、
前記第１画像データを取得する第１画像データ取得手段と、
前記第２画像データを取得する第２画像データ取得手段と、
前記第２画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定手段と、
前記第２画像データが前記角栓有無判定手段により角栓有と判定された場合は前記角栓有用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別し、前記第２画像データが前記角栓有無判定手段により角栓無と判定された場合は前記角栓無用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別する最終識別手段と、
を備える。

本発明によれば、従来よりもさらに識別精度の向上を図ることができる。

実施形態１に係る識別装置の処理概要を説明する図である。 実施形態１に係る識別装置の機能構成を示す図である。 実施形態１に係る識別器学習処理のフローチャートである。 実施形態１に係る学習データ生成処理のフローチャートである。 実施形態１に係る識別処理のフローチャートである。 変形例１に係る識別装置の機能構成を示す図である。 変形例１に係る統合画像学習処理のフローチャートである。 変形例１に係る統合学習データ生成処理のフローチャートである。 変形例１に係る統合画像識別処理のフローチャートである。 変形例２に係る統合画像識別処理のフローチャートである。 変形例３に係る識別装置の機能構成を示す図である。 変形例３に係る角栓有無画像学習処理のフローチャートである。 変形例３に係る採用識別器決定・学習処理のフローチャートである。 変形例３に係る採用識別器決定・学習処理における交差検証を説明する図である。 変形例３に係る角栓有無利用識別処理のフローチャートである。

以下、本発明の実施形態に係る識別装置等について、図表を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。

（実施形態１）
本発明の実施形態１に係る識別装置１００は、図１に示すように、まず患部に、第１照射光としての白色光（可視光の各波長の光が均等に混じった光。）を照射した場合と、患部に照射した場合に患部が蛍光反応を示すような第２照射光（例えば、波長が３２０ｎｍ～４４０ｎｍ、好ましくは、４０５ｎｍの光。）を照射した場合とで、高速連写でそれぞれについて可視光による撮影を行う。そして、識別装置１００は、この連写撮影により得られた、白色光を照射した場合の白色光照射可視光撮影画像データ（以下「白色光画像データ」という）及び紫外光を照射した場合の紫外光照射可視光撮影画像データ（以下「紫外光画像データ」という）を、それぞれの画像データ用に学習した識別器で識別する。そして、識別装置１００は、この２つの識別結果に基づいて最終的な識別結果を得る。なお、高速連写とは、連写基準時間（例えば１秒）以下の時間間隔での連続した撮影のことをいう。

白色光を照射して撮影すると、角栓は、初期のものは白っぽく写り、進行すると酸化し、メラニンと同様に黒っぽく写る。しかし、紫外光を照射すると角栓は蛍光反応を示し、進行度によって黄色から赤色に光る。したがって、紫外光を照射して可視光で撮影すると、角栓の存在を確認しやすくなる。そして、患部に角栓が多く存在する場合は、悪性腫瘍により毛根が破壊されていないことを示し、その患部は良性である可能性が高い。識別装置１００は、このことを利用し、白色光画像データによる識別結果と紫外光画像データによる識別結果とに基づいて最終的な識別結果を得ることにより、識別精度を向上させる。なお、患部を高速連写するのは、白色光画像データと紫外光画像データとの間での画像の位置ずれ及び経時変化を極力少なくするためである。

また、上述したように、紫外光を照射すると、角栓は蛍光反応を示すが、より詳細には、患部に角栓が増えると（患部が良性の可能性が高いと）、ポルフィリン蛍光波長（例えば、中心蛍光波長：６３０ｎｍ）が増加する。

さらに、紫外光の照射により蛍光反応を示すものは角栓に限られない。例えば、細胞が癌、又は、癌の手前の状態である異形状態になると、自己蛍光物質量が変化し、対応する蛍光波長の蛍光強度が変化する。したがって、これを可視光カメラで撮影することにより、各蛍光波長の増減を検出することができ、患部が癌等の悪性である場合の識別精度も向上させることができる。

具体的には、細胞が癌等の状態になると、例えば上皮細胞がダメージを受けることにより細胞内の酸素が少なくなり、それにより、ＮＡＤＨ（ｒｅｄｕｃｅｄ Ｎｉｃｏｔｉｎａｍｉｄｅ Ａｄｅｎｉｎｅ Ｄｉｎｕｃｌｅｏｔｉｄｅ：還元型ニコチンアミドアデニンジヌクレオチド）が増大し、ＦＡＤ（Ｆｌａｖｉｎ Ａｄｅｎｉｎｅ Ｄｉｎｕｃｌｅｏｔｉｄｅ：フラビンアデニンジヌクレオチド）が減少する。また、間質細胞のコラーゲンは、ダメージを受けることにより減少し、ポリフィリンも減少する。これらのコラーゲン、ＮＡＤＨ、ＦＡＤ及びポリフィリンの蛍光波長は、励起波長を変化させると変化するものの、基本的には、コラーゲン、ＮＡＤＨ、ＦＡＤ、ポルフィリンの順に中心蛍光波長が長い。例えば、紫外光を励起光として照射した時の中心蛍光波長の例を挙げると、コラーゲンでは４００ｎｍ、ＮＡＤＨでは４５０ｎｍ、ＦＡＤでは５２０ｎｍ、ポルフィリンでは６３０ｎｍとなる。

さらに、紫外光照射を利用した患部の識別は、皮膚だけでなく、他の部位でも利用できる。特に、皮膚に存在するメラニンは紫外線を吸収するため、メラニンが少ない部位（例えば口腔、大腸粘膜、子宮頚部等）の方が吸収される紫外線が少なくなり、本発明を適用することにより、高い識別精度を得られることが期待できる。さらに子宮頚部は、口腔内や大腸内に比べて、粘膜固有層と粘膜筋板が無いため、間質までの経路が短く、コラーゲンによる蛍光反応を高い感度で検出できると考えられる。

本実施形態では、患部の一例として、皮膚が患部である場合で説明しているので、角栓による蛍光（黄色から赤色）を考慮し、紫外光を照射した患部を可視光カメラで撮影したＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）の３ｃｈ（Ｃｈａｎｎｅｌ）の画素値のうち、Ｒ値、Ｇ値及びＢ値、又はＲ値及びＧ値を用いることを想定している。一方、皮膚以外の患部（例えば粘膜）の場合は、角栓が無く、黄色から赤色の蛍光を考慮する必要がないので、ＲＧＢの画素値のうちＧ値及びＢ値のみを用いてもよい。ただし、角栓が無い患部を対象とする場合でも、Ｒ値の成分は少ないもののゼロではないため、Ｒ値、Ｇ値及びＢ値を用いてもよい。

実施形態１に係る識別装置１００は、図２に示すように、制御部１０、記憶部２０、照射部３１、撮像部３２、出力部３３、通信部３４、操作入力部３５、を備える。

制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成され、記憶部２０に記憶されたプログラムを実行することにより、後述する各部（白色光画像データ取得部１１、紫外光画像データ取得部１２、第１白色光画像識別器１３、第１紫外光画像識別器１４、第１最終識別部１５）の機能を実現する。

記憶部２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、制御部１０のＣＰＵが実行するプログラム及び必要なデータを記憶する。

照射部３１は、白色ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の白色光を第１照射光として発光するデバイスと、紫外光ＬＥＤ等の紫外光を第２照射光として発光するデバイスと、を備え、撮像部３２で撮像する部位（患者の患部等）に白色光又は紫外光を照射する。制御部１０は、照射部３１に対し、白色光と紫外光のどちらの光を照射するかについて指示することができる。なお、照射部３１は、白色光を含んでいる光であれば、他の光（例えば紫外光）を含んだ光であっても、第１照射光として照射してよい。また、照射部３１は、患部に照射した場合に該患部が蛍光反応を示すような光を含んでいれば、紫外光に限らず、任意の光（例えば赤外光）を含む光を第２照射光として照射してよい。また、本実施形態において、紫外光には近紫外光が含まれる。

撮像部３２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を備え、学習用の画像データ又は識別する（未知の）画像データを撮像する。撮像部３２は、受光する可視光を光の三原色に色分解するために、イメージセンサの前にカラーフィルタが設けられているが、蛍光光を適切に受光するために、イメージセンサの前にさらに別のフィルタが設けられていてもよい。また、撮像部３２は、蛍光光を適切に表すために、撮像した画像データにデジタルフィルタをかけてもよい。制御部１０は、撮像部３２で撮像した画像データをＲＧＢの３ｃｈの画素値の集合からなる画像データとして取得する。

なお、本実施形態では撮像部３２が可視光を受光するものとして説明するが、撮像部３２は可視光に限らず任意の光（例えば、可視光に加えて（又は可視光に替えて）紫外光や赤外光を含む光等）を含む光を受光して撮像してもよい。その場合、受光する光により、フィルタの種類を変更（例えば紫外線を抽出するフィルタを設ける等）してもよい。

また、制御部１０は、画像データの取得の際に、必ずしも撮像部３２で画像を撮像しなくてもよい。例えば、記憶部２０に画像データが記憶されている場合は、制御部１０は、記憶部２０から画像データを読み出すことによって画像データを取得してもよい。また、制御部１０は、通信部３４を介して外部のサーバ等から画像データを取得してもよい。このように記憶部２０や外部のサーバ等から画像データを取得する場合、識別装置１００は、照射部３１及び撮像部３２を備えなくてもよい。

出力部３３は、制御部１０が、撮像部３２で撮像した画像データに写っている患部を識別した結果等を出力するためのデバイスである。例えば、出力部３３は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。この場合、出力部３３は、表示部として機能する。ただし、識別装置１００は、出力部３３としてこのようなディスプレイ（表示部）を備えてもよいし、ディスプレイに代えて、外部のディスプレイを接続するためのインタフェースとしての出力部３３を備えてもよい。識別装置１００は、インタフェースとしての出力部３３を備える場合は、出力部３３を介して接続した外部のディスプレイに識別結果等を表示する。

通信部３４は、外部の他の装置（例えば、画像データのデータベースが格納されているサーバ等）とデータの送受信を行うためのデバイス（ネットワークインタフェース等）である。制御部１０は、通信部３４を介して画像データ等を取得することができる。

操作入力部３５は、識別装置１００に対するユーザの操作入力を受け付けるデバイスであり、例えば、キーボード、マウス、タッチパネル等である。識別装置１００は、操作入力部３５を介して、ユーザからの指示等を受け付ける。

次に、制御部１０の機能について説明する。制御部１０は、白色光画像データ取得部１１、紫外光画像データ取得部１２、第１白色光画像識別器１３、第１紫外光画像識別器１４、第１最終識別部１５、の機能を実現する。

白色光画像データ取得部１１は、白色光（第１照射光）が照射された患部から反射した反射光（第１受光光）を受光して撮像することにより得られた白色光画像データを取得する。白色光画像データは、ＲＧＢ色空間の色要素であるＲＧＢの３ｃｈの画素値の集合からなる画像データであり、画素毎に、当該画素の赤の度合を示すＲ値、当該画素の緑の度合いを示すＧ値、当該画素の青の度合いを示すＢ値を、含む。白色光画像データは、第１画像データとも呼ばれる。また、白色光画像データ取得部１１は、第１画像データ取得手段として機能する。

紫外光画像データ取得部１２は、紫外光（第２照射光）が照射された患部における蛍光反応によって発生した光を含む光（第２受光光）を受光して撮像することにより得られた紫外光画像データを取得する。紫外光画像データも白色光画像データと同様に、ＲＧＢの３ｃｈの画素値の集合からなる画像データであり、画素毎に、Ｒ値、Ｇ値及びＢ値を、含む。紫外光画像データは、第２画像データとも呼ばれる。また、紫外光画像データ取得部１２は、第２画像データ取得手段として機能する。

第１白色光画像識別器１３及び第１紫外光画像識別器１４は、どちらもＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の一種である畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）による画像の識別器である。ＣＮＮによる識別器を実現するプログラムを実行することにより、制御部１０は、第１白色光画像識別器１３としても機能し、また、第１紫外光画像識別器１４としても機能する。

第１白色光画像識別器１３は、白色光画像データ取得部１１が取得した白色光画像データが入力される入力層と、入力された白色光画像データの識別結果が出力される出力層と、入力層と出力層との間の中間層と、を有し、白色光画像データに写っている患部を識別した結果を出力層から出力する。第１白色光画像識別器１３は、第１識別器とも呼ばれる。また、第１白色光画像識別器１３は、各画像データに写っている患部について良性か悪性かを示す正解ラベルが付与された学習データセットで学習させることにより、患部が撮像された白色光画像データを入力すると、出力層から当該患部が悪性である確率が出力されるようになる（出力層から当該患部が良性である確率が出力されるように学習させることも可能だが、本実施形態では当該患部が悪性である確率が出力されるように学習するものとする）。したがって、第１白色光画像識別器１３は、当該患部が悪性であるか否かを識別する第１識別手段として機能する。

第１紫外光画像識別器１４は、紫外光画像データ取得部１２が取得した紫外光画像データが入力される入力層と、入力された紫外光画像データの識別結果が出力される出力層と、入力層と出力層との間の中間層と、を有し、紫外光画像データに写っている患部を識別した結果を出力層から出力する。第１紫外光画像識別器１４は、第２識別器とも呼ばれる。また、第１紫外光画像識別器１４は、各画像データに写っている患部について良性か悪性かを示す正解ラベルが付与された学習データセットで学習させることにより、患部が撮像された紫外光画像データを入力すると、出力層から、当該患部が悪性である確率が出力されるようになる（出力層から当該患部が良性である確率が出力されるように学習させることも可能だが、本実施形態では当該患部が悪性である確率が出力されるように学習するものとする）。したがって、第１紫外光画像識別器１４は、当該患部が悪性であるか否かを識別する第２識別手段として機能する。

第１最終識別部１５は、第１白色光画像識別器１３からの出力（白色光画像データに写っている患部が悪性である確率）と、第１紫外光画像識別器１４からの出力（紫外光画像データに写っている患部が悪性である確率）と、の両者を用いて最終的な識別結果を得る。基本的には、第１最終識別部１５は、第１白色光画像識別器１３からの出力と第１紫外光画像識別器１４からの出力とを単純に加算平均して最終的な識別結果を得るが、これに限定されるものではない。第１最終識別部１５は、第１白色光画像識別器１３からの出力と第１紫外光画像識別器１４からの出力とのそれぞれに適切な重みを乗算して、両出力の加重平均を取って、最終的な識別結果を得てもよい。第１最終識別部１５は、最終識別手段として機能する。

以上、識別装置１００の機能構成について説明した。次に、識別器学習処理について、図３を参照して説明する。この処理は、白色光画像データや紫外光画像データによる学習データを用いて第１白色光画像識別器１３及び第１紫外光画像識別器１４を教師あり学習で学習させるための処理であって、これらの学習の際に実行されるが、少なくとも後述する識別処理が実行される前に実行を完了している必要がある。

まず、制御部１０は、第１白色光画像識別器１３及び第１紫外光画像識別器１４のＣＮＮの教師あり学習に必要な学習データセットを生成するために、学習データ生成処理を実行する（ステップＳ１０１）。この学習データ生成処理は、第１白色光画像識別器１３を学習させるための白色光学習データセットと、第１紫外光画像識別器１４を学習させるための紫外光学習データセットと、を生成する処理であり、処理の詳細は後述する。ここで、学習データセットとは、正解ラベルが付与された画像データからなる学習データの集合である。また、正解ラベルとは、その正解ラベルが付与された画像データに写っている患部が良性か悪性かを示すものである。

本実施形態では、患部を撮像した画像データを入力すると、その患部の悪性度の確率が出力されるようなＣＮＮを学習させたいので、学習データセットに含まれる画像データには、「良性／悪性」が正解ラベルとして付与される。なお、学習データセットが既に用意されている場合には、ステップＳ１０１の処理は省略でき、その場合は、既に用意されている白色光学習データセット及び紫外光学習データセットを用いて、以降の処理を行う。また、ＣＮＮに、患部が悪性である確率を出力させるのではなく、患部がどのような疾患である可能性が高いかを、疾患毎の確率で出力させるようにＣＮＮを学習させることも可能である。この場合、学習データには、患部の疾患名（例えば、メラノーマ（悪性）、基底細胞癌（悪性）、色素性母斑（良性）、脂漏性角化症（良性）等）が正解ラベルとして付与された画像データを用いる。

図３に戻り、次に、制御部１０は、ステップＳ１０１で生成された白色光学習データセットを用いて、第１白色光画像識別器１３のＣＮＮを学習させる（ステップＳ１０２）。具体的には、制御部１０は、白色光学習データセットから、正解ラベルが付与された白色光画像データを１つ取り出す。そして、当該白色光画像データを第１白色光画像識別器１３のＣＮＮの入力層に入力した時に出力層から出力される値と、当該白色光画像データに付与されている正解ラベルと、の差分（誤差）が小さくなるように、誤差逆伝播法により、ＣＮＮ内の重み係数を更新する。そして、制御部１０は、白色光学習データセットから、他の白色光画像データを１つ取り出しては、また誤差逆伝播法により、ＣＮＮ内の重み係数を更新するという処理を繰り返し行う。この繰り返し回数は任意であるが、例えば、白色光学習データセットに含まれる白色光画像データの数だけ繰り返すことにより、全ての白色光画像データで１回ずつＣＮＮ内の重み係数を更新させてもよい。

次に、制御部１０は、ステップＳ１０１で生成された紫外光学習データセットを用いて、第１紫外光画像識別器１４のＣＮＮを学習させ（ステップＳ１０３）、識別器学習処理を終了する。ステップＳ１０３での具体的な処理内容は、白色光画像データの代わりに紫外光画像データを用いる点を除けば、ステップＳ１０２での処理内容と同様である。ステップＳ１０２及びステップＳ１０３は、学習ステップとも呼ばれる。

以上、識別器学習処理について説明した。次に、上記ステップＳ１０１で実行される学習データ生成処理について、図４を参照して説明する。なお、学習データ生成処理を実行する際には、良性か悪性かが判明している患部が用意されている（又は患部を撮影する度に当該患部の良性／悪性を診断する）必要がある。ただし、学習データ生成処理は、数か月、数年等、長期間にわたって、実行され続けてもよく、例えば、医師が、数か月にわたって、新たな患部を診察する度に、以下のステップＳ１１１～ステップＳ１１５の処理が実行されるようにしてもよい。

まず、白色光画像データ取得部１１は、患部に、照射部３１で白色光を照射した状態で、患部から反射した可視光を撮像部３２で受光して撮像（可視光撮影）し、白色光画像データを取得する（ステップＳ１１１）。

次に、紫外光画像データ取得部１２は、ステップＳ１１１で撮影した患部に、照射部３１で紫外光を照射した状態で、患部からの可視光（反射した光及び発生した蛍光光を含む）を撮像部３２で受光して撮像（可視光撮影）し、紫外光画像データを取得する（ステップＳ１１２）。なお、ステップＳ１１１の可視光撮影とステップＳ１１２の可視光撮影とは、できるだけ時間をあけずに高速連写で撮影することが望ましいが、実施形態１においては、高速連写撮影に限定されるものではなく、２～３分の時間をあけて撮影してもよいし、さらに言えば、数日の時間をあけて撮影してもよい。

次に、制御部１０は、ステップＳ１１１及びステップＳ１１２で撮影した患部の正解ラベルを操作入力部３５から取得する（ステップＳ１１３）。例えば、撮影した患部について、医師が良性か悪性かを診断し、その診断結果（良性／悪性）が操作入力部３５を介して入力されることにより、制御部１０は、診断結果を取得する。なお、診断結果を得るまでには、例えば、生検（病変を切除）して病理検査結果を得たり、非生検でエキスパート複数名のコンセンサスで決めたりと、時間を要することも多いので、ステップＳ１１３の実行に数日、数か月、または数年の時間を要してもよい。ここで取得した診断結果が、ステップＳ１１１及びステップＳ１１２で撮影した画像データに付与される正解ラベルとなる。

そして、制御部１０は、ステップＳ１１１で取得した白色光画像データにステップＳ１１３で取得した正解ラベルを付与して白色光学習データを生成し、記憶部２０に保存されている白色光学習データセットに追加する（ステップＳ１１４）。なお、記憶部２０にまだ白色光学習データセットが保存されていないなら、今回生成した白色光学習データ１つのみからなる白色光学習データセットを記憶部２０に保存する。

次に、制御部１０は、ステップＳ１１２で取得した紫外光画像データにステップＳ１１３で取得した正解ラベルを付与して紫外光学習データを生成し、記憶部２０に保存されている紫外光学習データセットに追加する（ステップＳ１１５）。なお、記憶部２０にまだ紫外光学習データセットが保存されていないなら、今回生成した紫外光学習データ１つのみからなる紫外光学習データセットを記憶部２０に保存する。

そして、制御部１０は、学習データ生成処理を終了するか否かを判定する（ステップＳ１１６）。例えば、医師が予め用意した患部の撮影結果と診断結果の入力を全てし終えた場合等、医師が操作入力部３５から学習データ生成処理の終了の指示を入力すると、終了と判定されることになる。終了すると判定されなければ（ステップＳ１１６；Ｎｏ）、ステップＳ１１１に戻る。

終了すると判定されたら（ステップＳ１１６；Ｙｅｓ）、学習データ生成処理を終了し、識別器学習処理（図３）のステップＳ１０２からの処理に戻る。なお、上述の学習データ生成処理では、白色光学習データセットと紫外光学習データセットとを同時に生成したが、両者の一方の学習データセットのみを生成してもよい。例えば、既に白色光学習データセットが存在している場合には、上述の処理のうち、白色光画像データに関する処理をスキップして、紫外光学習データセットのみを生成してもよい。

また、上述したように、画像が撮影されてから診断が確定するまでの時間（ステップＳ１１２とステップＳ１１３の間）や、診察と診察の間（ループで繰り返されるステップＳ１１１の間隔）は数か月以上を要することもある。したがって、学習データ生成処理の前に、上述のステップＳ１１１～ステップＳ１１３と同様の処理によって取得した画像データ及び正解ラベルを予めデータベースに記憶しておき、このデータベースから画像データ及び正解ラベルを読み出すことによって、学習データ生成処理を行ってもよい。

以上説明した学習データ生成処理及び識別器学習処理により、第１白色光画像識別器１３及び第１紫外光画像識別器１４それぞれのＣＮＮが学習される。次に、このようにして学習された第１白色光画像識別器１３及び第１紫外光画像識別器１４を用いて、識別対象の（未知の）患部の良性／悪性を識別（推論）する識別処理について、図５を参照して説明する。

まず、白色光画像データ取得部１１は、識別対象の患部に、照射部３１で白色光を照射して、白色光が照射された患部から反射した可視光を受光して撮像部３２で撮像することにより得られた画像のＲ値、Ｇ値及びＢ値を、白色光画像データとして取得する（ステップＳ２０１）。ステップＳ２０１は、第１画像データ取得ステップとも呼ばれる。

次に、紫外光画像データ取得部１２は、識別対象の患部に、照射部３１で紫外光を照射した状態で、紫外光が照射された患部からの可視光（反射した光及び発生した蛍光光を含む）を受光して撮像部３２で撮像することにより得られた画像のＲ値、Ｇ値及びＢ値を、紫外光画像データとして取得する（ステップＳ２０２）。ステップＳ２０２は、第２画像データ取得ステップとも呼ばれる。なお、ステップＳ２０１の可視光撮影とステップＳ２０２の可視光撮影とは、できるだけ時間をあけずに高速連写で撮影することが望ましいが、実施形態１においては、高速連写撮影に限定されるものではなく、２～３分の時間をあけて撮影してもよいし、さらに言えば、数日、数か月の時間をあけて撮影してもよい。

そして、制御部１０は、ステップＳ２０１で取得した白色光画像データを第１白色光画像識別器１３に入力し、第１白色光画像識別器１３による識別結果（第１白色光画像識別器１３のＣＮＮの出力値）を取得する（ステップＳ２０３）。

次に、制御部１０は、ステップＳ２０２で取得した紫外光画像データを第１紫外光画像識別器１４に入力し、第１紫外光画像識別器１４による識別結果（第１紫外光画像識別器１４のＣＮＮの出力値）を取得する（ステップＳ２０４）。

そして、第１最終識別部１５は、ステップＳ２０３で取得した第１白色光画像識別器１３のＣＮＮの出力値と、ステップＳ２０４で取得した第１紫外光画像識別器１４のＣＮＮの出力値と、の加算平均（両者の和／２）を計算して、計算した加算平均を最終的な識別結果（最終識別結果）として求める（ステップＳ２０５）。ステップＳ２０５は、最終識別ステップとも呼ばれる。

そして、制御部１０は、最終識別結果を出力部３３に表示し（ステップＳ２０６）、識別処理を終了する。

上述の識別処理では、通常の白色光画像データによる識別結果と、紫外光画像データによる識別結果と、を統合して最終的な識別結果を得ることができる。白色光画像データのみでは、例えば角栓とメラニンとの判別が困難な場合があるが、紫外光画像データを用いることにより、これらの判別が容易になる。そして、上述したように角栓が多い患部は良性の可能性が高い。したがって、上述のようにして求めた最終識別結果を用いることにより、従来の（白色光画像データのみによる）識別と比較して、識別性能を向上させることができる。

なお、上述の紫外光画像データ取得部１２は、識別対象の患部に、照射部３１で紫外光を照射した状態で、紫外光が照射された患部からの可視光（反射した光及び発生した蛍光光を含む）を撮像部３２で受光して撮像することにより得られた画像のＲ値、Ｇ値及びＢ値を、紫外光画像データとして取得していた。しかし、角栓の識別の際に重要な画素値はＲ値とＧ値であるため、Ｂ値を用いなくても識別性能にあまり影響はないと考えることもできる。そこで、紫外光画像データ取得部１２は、上述のようにして撮像部３２で撮像することにより得られた画像のうちのＲ値及びＧ値を、紫外光画像データとして取得することにしてもよい。

この場合、第１紫外光画像識別器１４のＣＮＮの入力層は、Ｒ値及びＧ値からなる（Ｂ値を含まない）紫外光画像データが入力されるように構成する。そして、識別器学習処理の際には、制御部１０は、Ｒ値及びＧ値からなる紫外光画像データを用いて生成した紫外光画像学習データセットを利用して、第１紫外光画像識別器１４を学習させる。このようにすることにより、第１最終識別部１５は、第１白色光画像識別器１３によりＲＧＢ３ｃｈからなる白色光画像データを用いて患部を識別した結果と、第１紫外光画像識別器１４によりＲＧ２ｃｈからなる紫外光画像データを用いて患部を識別した結果と、を統合して最終識別結果を求めることができる。

この場合、紫外光画像データはＲＧ２ｃｈだけで済むので、ＲＧＢ３ｃｈを用いる場合に比べてデータ量を削減することができる。また、上述したように、紫外光画像データのＲＧ２ｃｈを用いれば、角栓の有無を判別できると考えられるため、この場合でも、従来の（白色光画像データのみによる）識別と比較して、識別性能を向上させることができる。

また、実施形態１においては、白色光学習データセットと紫外光学習データセットとは独立している。このため、例えば、白色光学習データセットについては、公開されている学習データを用いることにより、上述の学習データ生成処理のうちの白色光画像データに関する処理をスキップして、学習データ生成処理に要する時間を短縮することができる。また、患部を識別する際も、白色光画像データと紫外光画像データとを高速連写で撮影する必要がないため、高速連写のための設備を導入する必要がない。

（変形例１）
上述の実施形態１では、白色光画像データと紫外光画像データとをそれぞれ別々の識別器に入力して患部の識別を行った。しかし、白色光画像データと紫外光画像データとをまとめて１つの識別器に入力することも考えられる。このような変形例１について説明する。

変形例１に係る識別装置１０１の機能構成は、図６に示すように、実施形態１に係る識別装置１００の第１白色光画像識別器１３、第１紫外光画像識別器１４及び第１最終識別部１５を、統合画像識別器１６に置き換えた構成である。

統合画像識別器１６も、第１白色光画像識別器１３及び第１紫外光画像識別器１４と同様に、ＤＮＮの一種であるＣＮＮによる画像データを入力データとする識別器であり、ＣＮＮによる識別器を実現するプログラムを実行することにより、制御部１０は、統合画像識別器１６として機能する。ただし、第１白色光画像識別器１３及び第１紫外光画像識別器１４は、１つの画像データを入力データとして受け付けるのに対し、統合画像識別器１６は、２つの画像データが１つにまとめられた統合画像データを入力データとして受け付ける。

つまり、統合画像識別器１６は、白色光画像データ取得部１１が取得したＲＧＢ３ｃｈの白色光画像データと、紫外光画像データ取得部１２が取得したＲＧＢ３ｃｈの紫外光画像データと、がまとめられたＲＧＢ６ｃｈからなる統合画像データが入力される入力層と、入力された統合画像データの識別結果が出力される出力層と、入力層と出力層との間の中間層と、を有し、統合画像データ（６ｃｈ）を構成する白色光画像データ及び紫外光画像データに写っている患部を識別した結果を出力層から出力する。

識別装置１０１のその他の構成は、識別装置１００の構成と同様なので、説明を省略する。次に、統合画像識別器１６を教師あり学習で学習させる統合画像学習処理について、図７を参照して説明する。この処理は、統合画像識別器１６を学習させる際に実行されるが、少なくとも後述する統合画像識別処理が実行される前に実行を完了している必要がある。

まず、制御部１０は、統合画像識別器１６のＣＮＮの教師あり学習に必要な統合学習データセットを生成するために、統合学習データ生成処理を実行する（ステップＳ３０１）。統合学習データ生成処理の詳細は後述するが、統合学習データセットとは、正解ラベルが付与された統合画像データの集合である。変形例１における統合画像データとは、高速連写で撮影された、ＲＧＢ３ｃｈの白色光画像データと、ＲＧＢ３ｃｈの紫外光画像データと、が１つにまとめられたＲＧＢ６ｃｈからなる画像データである。

次に、制御部１０は、ステップＳ３０１で生成された統合学習データセットを用いて、統合画像識別器１６のＣＮＮを学習させる（ステップＳ３０２）。具体的には、制御部１０は、統合学習データセットから、正解ラベルが付与された統合画像データを１つ取り出す。そして、当該統合画像データを統合画像識別器１６のＣＮＮの入力層に入力した時に出力層から出力される値と、当該統合画像データに付与されている正解ラベルと、の差分（誤差）が小さくなるように、誤差逆伝播法により、ＣＮＮ内の重み係数を更新する。そして、制御部１０は、統合学習データセットから、他の統合画像データを１つ取り出しては、また誤差逆伝播法により、ＣＮＮ内の重み係数を更新するという処理を繰り返し行う。この繰り返し回数は任意であるが、例えば、統合学習データセットに含まれる統合画像データの数だけ繰り返すことにより、全ての統合画像データで１回ずつＣＮＮ内の重み係数を更新させてもよい。

ステップＳ３０２で統合画像識別器１６のＣＮＮを学習させたら、統合画像学習処理を終了する。次に、上記ステップＳ３０１で実行される統合学習データ生成処理について、図８を参照して説明する。なお、統合学習データ生成処理を実行する際には、上述した学習データ生成処理と同様に、良性か悪性かが判明している患部が用意されている（又は患部を撮影する度に当該患部の良性／悪性を診断する）必要がある。ただし、学習データ生成処理と同様に、統合学習データ生成処理は、数か月、数年等、長期間にわたって、実行され続けてもよく、例えば、医師が、数か月にわたって、新たな患部を診察する度に、以下のステップＳ３１１～ステップＳ３１４の処理が実行されるようにしてもよい。

統合学習データ生成処理のステップＳ３１１からステップＳ３１３までの各処理は、実施形態１に係る学習データ生成処理（図４）のステップＳ１１１からステップＳ１１３までの各処理と同様なので、説明を省略する。ただし、ステップＳ３１１の可視光撮影とステップＳ３１２の可視光撮影とは、高速連写により、連写基準時間以下の時間間隔で行われる。つまり、ステップＳ３１１で取得される白色光画像データの撮像タイミングと、ステップＳ３１２で取得される紫外光画像データの撮像タイミングと、の時間差は、連写基準時間以下となる。

そして、制御部１０は、ステップＳ３１１で取得した白色光画像データ（ＲＧＢ３ｃｈ）とステップＳ３１２で取得した紫外光画像データ（ＲＧＢ３ｃｈ）とを統合して１つにまとめた統合画像データ（ＲＧＢ６ｃｈ）に、ステップＳ３１３で取得した正解ラベルを付与して統合学習データを生成し、記憶部２０に保存されている統合学習データセットに追加する（ステップＳ３１４）。なお、記憶部２０にまだ統合学習データセットが保存されていないなら、今回生成した統合学習データ１つのみからなる統合学習データセットを記憶部２０に保存する。

次に、制御部１０は、統合学習データ生成処理を終了するか否かを判定する（ステップＳ３１５）。例えば、医師が予め用意した患部の撮影結果と診断結果の入力を全てし終えた場合等、医師が操作入力部３５から統合学習データ生成処理の終了の指示を入力すると、終了と判定されることになる。終了すると判定されなければ（ステップＳ３１５；Ｎｏ）、ステップＳ３１１に戻る。

終了すると判定されたら（ステップＳ３１５；Ｙｅｓ）、学習データ生成処理を終了し、統合画像学習処理（図７）のステップＳ３０２からの処理に戻る。

以上説明した統合学習データ生成処理及び統合画像学習処理により、統合画像識別器１６のＣＮＮが学習される。次に、このようにして学習された統合画像識別器１６を用いて、識別対象の（未知の）患部の良性／悪性を識別（推論）する統合画像識別処理について、図９を参照して説明する。

統合画像識別処理のステップＳ４０１及びステップＳ４０２の処理は、実施形態１に係る識別処理（図５）のステップＳ２０１及びステップＳ２０２の各処理と同様なので、説明を省略する。ただし、ステップＳ４０１の可視光撮影とステップＳ４０２の可視光撮影とは、高速連写により、連写基準時間以下の時間間隔で行われる。つまり、ステップＳ４０１で取得される白色光画像データの撮像タイミングと、ステップＳ４０２で取得される紫外光画像データの撮像タイミングと、の時間差は、連写基準時間以下となる。

そして、制御部１０は、ステップＳ４０１で取得した白色光画像データ（ＲＧＢ３ｃｈ）と、ステップＳ４０２で取得した紫外光画像データ（ＲＧＢ３ｃｈ）とを１つにまとめて、統合画像データ（ＲＧＢ６ｃｈ）を生成する（ステップＳ４０３）。そして、制御部１０は、生成した統合画像データを統合画像識別器１６に入力し、統合画像識別器１６による識別結果を取得する（ステップＳ４０４）。

そして、制御部１０は、統合画像識別器１６による識別結果を出力部３３に表示し（ステップＳ４０５）、統合画像識別処理を終了する。

上述の統合画像識別処理では、通常の白色光画像データの情報と、角栓が容易に判別できる紫外光画像データの情報と、の両方の情報が含まれた統合画像データを用いて識別することができるので、従来の（白色光画像データのみによる）識別と比較して、識別性能を向上させることができる。また、白色光画像データの撮像タイミングと紫外光画像データの撮像タイミングとの時間差を連写基準時間以下とすることにより、白色光画像データと紫外光画像データとの間での画像の位置ずれを極力少なくすることができる。そして、識別の際に用いる識別器は１つの統合画像識別器１６のみなので、識別処理を単純化できる。

（変形例２）
紫外光画像データにおいて、角栓を判別する際に重要な成分はＲＧ２ｃｈである。そこで、白色画像データ（ＲＧＢ３ｃｈ）と紫外光画像データのうちＲＧ２ｃｈとをまとめて１つの識別器に入力することも考えられる。このような変形例２について説明する。

変形例２に係る識別装置１０２の機能構成は、図６に示すように、実施形態１に係る識別装置１００の第１白色光画像識別器１３、第１紫外光画像識別器１４及び第１最終識別部１５を、統合画像識別器１６に置き換えた構成である。この構成は、変形例１に係る識別装置１０１と同様であるが、識別装置１０１の統合画像識別器１６が入力画像データとして受け付ける統合画像データはＲＧＢ６ｃｈ分の画像データであるのに対し、識別装置１０２の統合画像識別器１６が入力画像データとして受け付ける統合画像データは、紫外光画像データのうちの青（Ｂ）のｃｈが除去された５ｃｈ分の画像データである点が異なる。変形例２における統合画像データは、高速連写で撮影された、白色光画像データのＲＧＢ３ｃｈと、紫外光画像データのうちのＲＧ２ｃｈと、が１つにまとめられた５ｃｈからなる画像データである。

つまり、変形例２では、統合画像識別器１６は、白色光画像データ取得部１１が取得した白色光画像データのＲＧＢ３ｃｈと、紫外光画像データ取得部１２が取得した紫外光画像データのうちのＲＧ２ｃｈと、がまとめられた５ｃｈからなる統合画像データが入力される入力層と、入力された統合画像データの識別結果が出力される出力層と、入力層と出力層との間の中間層と、を有し、統合画像データ（５ｃｈ）を構成する白色光画像データ及び紫外光画像データに写っている患部を識別した結果を出力層から出力する。

識別装置１０２のその他の構成は、識別装置１０１の構成と同様なので、説明を省略する。また、統合画像識別器１６を学習させる統合画像学習処理及び統合学習データ生成処理も、統合画像データが６ｃｈ分のデータではなく、５ｃｈ分のデータであることを除けば、変形例１に係る統合画像学習処理（図７）及び統合学習データ生成処理（図８）と同様なので、説明を省略する。変形例２において、識別対象の（未知の）患部の良性／悪性を識別（推論）する統合画像識別処理について、図１０を参照して説明する。

変形例２に係る統合画像識別処理のステップＳ４５１からステップＳ４５２までの処理は、変形例１に係る統合画像識別処理（図９）のステップＳ４０１からステップＳ４０２までの処理と同様なので、説明を省略する。ただし、ステップＳ４５２では、紫外光画像データ取得部１２は、Ｒ値及びＧ値からなる（Ｂ値を含まない）紫外光画像データを取得してもよい。

そして、制御部１０は、ステップＳ４５１で取得した白色光画像データ（ＲＧＢ３ｃｈ）と、ステップＳ４５２で取得した紫外光画像データ（ＲＧ２ｃｈ）とを１つにまとめて、５ｃｈの統合画像データを生成する（ステップＳ４５３）。そして、制御部１０は、生成した統合画像データを統合画像識別器１６に入力し、統合画像識別器１６による識別結果を取得する（ステップＳ４５４）。

そして、制御部１０は、統合画像識別器１６による識別結果を出力部３３に表示し（ステップＳ４５５）、統合画像識別処理を終了する。

上述の変形例２に係る統合画像識別処理では、通常の白色光画像データの情報と、角栓が容易に判別できる紫外光画像データの情報と、の両方の情報が含まれた統合画像データを用いて識別することができるので、従来の（白色光画像データのみによる）識別と比較して、識別性能を向上させることができる。さらに、変形例２に係る統合画像識別処理では、紫外光画像データをＲ値及びＧ値のみの２ｃｈのデータとしているので、変形例１に係る統合画像処理に比べて処理の負荷を軽くすることができ、また、学習に必要なデータ量も減らすことができる。

（変形例３）
紫外光画像データを用いることで、角栓の有無を比較的簡単に判定できることは上述した。このことを利用して、学習データを後述する角栓有用の学習データと角栓無用の学習データに分類し、この分類された学習データを用いて、角栓有用の識別器と角栓無用の識別器とをそれぞれ学習させることも考えられる。このような変形例３について以下に説明する。

変形例３に係る識別装置１０３の機能構成は、図１１に示すように、実施形態１に係る識別装置１００に、第２白色光画像識別器１７、第２紫外光画像識別器１８及び第２最終識別部１９を追加した構成である。

第２白色光画像識別器１７は、第１白色光画像識別器１３と同様に、白色光画像データに写っている患部を識別する識別器である。ただし、変形例３に係る第１白色光画像識別器１３は、画像データのうち角栓が含まれているもの（角栓有画像データ）に写っている患部を識別対象とする識別器である。そして、第２白色光画像識別器１７は、画像データのうち角栓が確認できないもの（角栓が少し存在するかもしれないが、蛍光するほどは存在しないため、角栓の存在を確認できない画像データ。角栓が完全に無いとは言い切れないが、以下、便宜上「角栓無画像データ」という。）に写っている患部を識別対象とする識別器である。

また、第２紫外光画像識別器１８は、第１紫外光画像識別器１４と同様に、紫外光画像データに写っている患部を識別する識別器である。ただし、変形例３に係る第１紫外光画像識別器１４は、紫外光画像データのうち角栓有画像データ（角栓有第２画像データとも呼ばれる）に写っている患部を識別対象とする識別器であり、第２紫外光画像識別器１８は、紫外光画像データのうち角栓無画像データ（角栓無第２画像データとも呼ばれる）に写っている患部を識別対象とする識別器である。角栓が無い（又は低レベルしか存在しない）場合は、角栓による蛍光は生じないが、上述したように、例えば、癌等があれば、別（例えば青色～緑色等）の蛍光が生じる。したがって、第２紫外光画像識別器１８では、角栓以外による蛍光を用いて患部を識別することができる。

変形例３に係る第１最終識別部１５は、第１白色光画像識別器１３からの出力（角栓を含む白色光画像データに写っている患部の識別結果）と、第１紫外光画像識別器１４からの出力（角栓を含む紫外光画像データに写っている患部の識別結果）と、の両者を用いて、後述する採用識別器決定・学習処理を行い、それによって決定及び学習された採用識別器を用いて、最終的な識別結果を得る。また、第２最終識別部１９は、第２白色光画像識別器１７からの出力（角栓を含まない白色光画像データに写っている患部の識別結果）と、第２紫外光画像識別器１８からの出力（角栓を含まない紫外光画像データに写っている患部の識別結果）と、の両者を用いて後述する採用識別器決定・学習処理を行い、それによって決定及び学習された採用識別器を用いて、最終的な識別結果を得る。

識別装置１０３のその他の構成は、識別装置１００の構成と同様なので、説明を省略する。次に、識別装置１０３における学習処理である角栓有無画像学習処理について、図１２を参照して説明する。この処理は、第１白色光画像識別器１３、第１紫外光画像識別器１４、第２白色光画像識別器１７、第２紫外光画像識別器１８を教師あり学習で学習させる際に実行されるが、少なくとも後述する角栓有無利用識別処理が実行される前に実行を完了している必要がある。

まず、制御部１０は、各識別器のＣＮＮの教師あり学習に必要な統合学習データセットを生成するために、統合学習データ生成処理を実行する（ステップＳ５０１）。ここで、変形例３における統合学習データセットに含まれる統合画像データとは、高速連写で撮影された、白色光画像データのＲＧＢ３ｃｈと、紫外光画像データのＲＧＢ３ｃｈと、が１つにまとめられたＲＧＢ６ｃｈからなる画像データである。したがって、ステップＳ５０１で実行される統合学習データ生成処理は、変形例１における統合学習データ生成処理（図８）と同様である。ステップＳ５０１では、制御部１０は、統合画像データに正解ラベルを付与した統合学習データを複数生成することによって、統合学習データセットを生成する。ただし、変形例３では、統合学習データ生成処理（図８）において、ステップＳ３１１の可視光撮影とステップＳ３１２の可視光撮影とを、高速連写で撮影しなくてもよい。

次に、制御部１０は、ステップＳ５０１で生成された各統合学習データを構成する紫外光画像データに含まれるＲ値及びＧ値の最大値が、角栓判定閾値以上か否かにより、当該統合学習データに、角栓の有無を示すラベルを付与する（ステップＳ５０２）。例えば、各画像データに含まれる各画素値（Ｒ値、Ｇ値及びＢ値の各々）が、それぞれ０以上２５５以下であり、角栓判定閾値が１２８であるとすると、紫外光画像データに含まれるＲ値の最大値が１２８以上であるか、又は、Ｇ値の最大値が１２８以上であれば、当該紫外光画像データを含む統合学習データに「角栓有」のラベルが付与される。また、紫外光画像データに含まれるＲ値の最大値が１２８未満であり、かつ、Ｇ値の最大値も１２８未満であれば、当該紫外光画像データを含む統合画像データに「角栓無」のラベルが付与される。

なお、上述したように、本実施形態においては、「角栓無」のラベルは、角栓が完全に無いことを示しているわけではなく、角栓がＲＧＢの画素値に基づいて確認できないことを示しており、角栓が少し存在していても、Ｒ値及びＧ値の最大値が角栓判定閾値未満の場合（蛍光が確認できない場合）には、「角栓無」のラベルが付与される。また、ステップＳ５０２では、紫外光画像データ全体を対象とはせず、画像中の患部以外の部分（非腫瘍部分）について、その部分の画像データのＲ値及びＧ値の最大値が、角栓判定閾値以上か否かにより、角栓の有無を示すラベルを付与してもよい。いずれにしても、ステップＳ５０２では、対象となる紫外光画像データ中に、１つでも角栓判定閾値以上になるＲ値又はＧ値が存在すれば、当該紫外光画像データを含む統合学習データに「角栓有」のラベルが付与される。

なお、ここでの角栓判定閾値やラベルの付与方法は一例である。例えば、角栓判定閾値をＲ値の閾値とＧ値の閾値に分け、紫外光画像データに含まれるＲ値の最大値が角栓判定Ｒ閾値（例えば８０）以上であるか、又は、Ｇ値の最大値が角栓判定Ｇ閾値（例えば１６０）以上であれば、当該紫外光画像データを含む統合学習データに「角栓有」のラベルが付与されるようにしてもよい。これ以外でも、角栓の有り又は無し（若しくは角栓が低レベル以下しか存在しない）の判定が可能なら、角栓判定閾値の設定は任意に行うことができる。また、角栓有無画像学習処理においては、角栓の有無を示すラベルについて、角栓判定閾値によらず、患部の良性／悪性と同様に、医師の診断結果に基づいて付与してもよい。

上記の方法に限らず、制御部１０は、任意の方法で角栓の有無を判定してよい。そして、制御部１０は、任意の方法で判定した角栓の有無に基づいて、各統合学習データに角栓の有無を示すラベルを付与してよい。ステップＳ５０２は、角栓有無判定ステップとも呼ばれる。

次に、制御部１０は、ステップＳ５０１で生成された統合学習データセットに含まれる複数の統合学習データのうち、ステップＳ５０２で「角栓有」のラベルが付与された統合学習データ（角栓有用の学習データ）を用いて、後述する採用識別器決定・学習処理を行い、第１最終識別部１５が角栓有用識別器として採用する識別器（又は識別器の組合せ）の決定と学習を行う（ステップＳ５０３）。ステップＳ５０３で決定された識別器（又は識別器の組合せ）は、角栓有用識別手段として機能する。

そして、制御部１０は、ステップＳ５０１で生成された統合学習データセットに含まれる複数の統合学習データのうち、ステップＳ５０２で「角栓無」のラベルが付与された統合学習データ（角栓無用の学習データ）を用いて、後述する採用識別器決定・学習処理を行い、第２最終識別部１９が角栓無用識別器として採用する識別器（又は識別器の組合せ）の決定と学習を行い（ステップＳ５０４）、角栓有無画像学習処理を終了する。ステップＳ５０４で決定された識別器（又は識別器の組合せ）は、角栓無用識別手段として機能する。

次に、ステップＳ５０３やステップＳ５０４で実行される採用識別器決定・学習処理について、図１３を参照して説明する。ここで、この採用識別器決定・学習処理の対象となる識別器（採用識別器の候補となる識別器なので候補識別器とも呼ばれる）は、「角栓有」のラベルが付与された統合学習データを用いる場合は、第１白色光画像識別器１３及び第１紫外光画像識別器１４であり、「角栓無」のラベルが付与された統合学習データを用いる場合は、第２白色光画像識別器１７及び第２紫外光画像識別器１８である。

まず、制御部１０は、白色光画像データ用の「識別器Ａ」（第１白色光画像識別器１３又は第２白色光画像識別器１７）について後述する交差検証を行い、識別器Ａの評価値である第１評価値を取得する（ステップＳ５５１）。なお、評価値とは、識別器による識別結果の正しさを評価した値（例えば正解率）である。そして、評価値を求める際に用いる評価データセットは、画像データとその正解ラベルとからなる評価データの集合であり、評価データセットのデータ構造は学習データセットと同様である。

次に、制御部１０は、紫外光画像データ用の「識別器Ｂ」（第１紫外光画像識別器１４又は第２紫外光画像識別器１８）についても交差検証を行い、識別器Ｂの評価値である第２評価値を取得する（ステップＳ５５２）。

そして、制御部１０は、「識別器Ａ＋識別器Ｂ（識別器Ａの出力値と識別器Ｂの出力値の加算平均）」についても交差検証を行い、「識別器Ａ＋識別器Ｂ」（識別器Ａと識別器Ｂの組合せ）の評価値である第３評価値を取得する（ステップＳ５５３）。ステップＳ５５１からステップＳ５５３までの処理は、検証ステップとも呼ばれる。

次に、制御部１０は、上述のステップＳ５５１～Ｓ５５３で取得された３つの評価値ののうち、最も高い評価値に対応する識別器Ａと、識別器Ｂと、識別器Ａ及び識別器Ｂの組み合わせと、のいずれか１つを、対応する第１最終識別部１５及び第２最終識別部１９の一方が採用する採用識別器として決定する（ステップＳ５５４）。ステップＳ５５４は、決定ステップとも呼ばれる。ここでは、「角栓有」のラベルが付与された統合学習データを用いる場合は、第１最終識別部１５が角栓有用識別器として採用する採用識別器が決定される。また、「角栓無」のラベルが付与された統合学習データを用いる場合は、第２最終識別部１９が角栓無用識別器として採用する採用識別器が決定される。

そして、全ての統合学習データ（ただし、該当する角栓有無ラベルが付与されたもの）を用いて当該採用識別器を学習させ（ステップＳ５５５）、採用識別器決定・学習処理を終了する。

ここで、上述のステップＳ５５１～Ｓ５５３で行われる交差検証について、図１４を参照して説明する。一般にｎ分割交差検証では、全ての学習データセットのうちの１／ｎを評価データセットとして用い、残りの（ｎ－１）／ｎをその評価データセットで検証する（評価値を求める）際の一時的な学習データセットとして用いる。図１４の上の図は、ｎ＝３の場合の例、すなわち３分割交差検証の例を示している。

ここで、学習データセット全体から評価値を取得する方法を、識別器Ａを例として説明する。ただし、評価値を取得するにあたり、本実施形態では識別結果（識別器の出力）は確率で与えられるので、正解ラベルと識別結果との単純比較はできない。そこで、正解ラベルを数値化した値（正解値）と識別器の出力（確率）との差が小さいほど大きな評価値となるように評価値を設定する。

まず、学習データの最初の２／３（教師データ）を用いて識別器Ａを学習させる。そして、学習後の識別器Ａに、学習データの残りの１／３（評価データ）を入力したときの識別器Ａの出力を、（各評価データに付与されている）正解ラベルを数値化した値（正解値）と比較する。そして、識別器Ａの出力と正解値との差が小さいほど、評価値１が大きい値となるように評価値１を設定する。

本実施形態では、識別器Ａの出力は患部の悪性度の確率（０．０以上１．０以下）なので、正解ラベルを数値化すると、例えば正解ラベルが「良性」の場合の正解値は０．０、「悪性」の場合の正解値は１．０と定義できる。したがって、「識別器Ａの出力と正解値との差」は、正解ラベルが「良性」の場合は（識別器Ａの出力－０．０）となり、正解ラベルが「悪性」の場合は（１．０－識別器Ａの出力）となる。そして、評価データのそれぞれを識別器Ａに入力したときの「識別器Ａの出力と正解値との差」を、全ての評価データについて足した値（差の総和）を求め、その値（差の総和）の逆数を評価値１とする。

次に、学習データセットに含まれる学習データのうち最初の１／３と後ろの１／３とを教師データとして用いて識別器Ａを学習させ、学習データの真ん中の１／３を評価データとして用いて学習後の識別器Ａを評価した評価値を評価値２とする。そして、学習データセットに含まれる学習データのうち後ろの２／３を教師データとして用いて識別器Ａを学習させ、学習データの最初の１／３を評価データとして用いて学習後の識別器Ａを評価した評価値を評価値３とする。評価値２及び評価値３の算出方法は上述の評価値１の算出方法と同様である。そして、評価値１と評価値２と評価値３の合計（又は平均値等でもよい）を、今回用いた学習データセット全体から得られる識別器Ａの評価値（第１評価値）とする。

上述では識別器Ａを例にして、評価値（第１評価値）の算出方法を説明したが、識別器Ｂの評価値（第２評価値）も同様にして求めることができる。そして、識別器Ａと識別器Ｂの組み合わせ（識別器Ａ＋識別器Ｂ）の評価値（第３評価値）は、以下のようにして求めることができる。

まず、識別器Ａと識別器Ｂをそれぞれ、学習データの最初の２／３を教師データとして用いて学習させる。そして、学習後の識別器Ａ及び識別器Ｂにそれぞれ、学習データの残りの１／３（評価データ）を入力したときの識別器Ａの出力と識別器Ｂの出力の平均値を、（各評価データに付与されている）正解ラベルを数値化した値（正解値）と比較する。そして、識別器Ａの出力と識別器Ｂの出力の平均値と、正解値と、の差が小さいほど、評価値１が大きい値となるように評価値１を設定する。評価値２及び評価値３についても同様に求め、評価値１と評価値２と評価値３の合計（又は平均値等でもよい）を、今回用いた学習データセット全体から得られる、識別器Ａ及び識別器Ｂの組合せ（識別器Ａ＋識別器Ｂ）の評価値（第３評価値）とする。

上述の採用識別器決定・学習処理（図１３）のステップＳ５５１～Ｓ５５３では、識別器Ａ、識別器Ｂ、識別器Ａ＋識別器Ｂ（識別器Ａの出力値と識別器Ｂの出力値の加算平均）の３種類のパターン（識別器又は識別器の組合せ）について、それぞれ上記のようにして、学習データセット全体から得られる評価値が取得される。そして、ステップＳ５５４では、最も高い評価値が得られたパターン（識別器又は識別器の組合せ）が、採用識別器（すなわち角栓有用識別器、角栓無用識別器）として決定される。そして、ステップＳ５５５では、決定された採用識別器が、統合学習データセットに含まれる全ての統合学習データを用いて、学習させられる。

ただし、図１４における学習データセットとは、角栓有無画像学習処理（図１２）のステップＳ５０３から採用識別器決定・学習処理（図１３）が呼び出された場合は、「角栓有」ラベルが付与された全ての統合学習データからなる学習データセットである。また、角栓有無画像学習処理（図１２）のステップＳ５０４から採用識別器決定・学習処理（図１３）が呼び出された場合は、「角栓無」ラベルが付与された全ての統合学習データからなる学習データセットである。

例えば、学習データセットが「角栓有」のラベルが付与された全ての統合学習データからなり、最も高い評価値が得られた識別器のパターンが、「識別器Ａ＋識別器Ｂ（識別器Ａの出力値と識別器Ｂの出力値の加算平均）」であるなら、第１最終識別部１５が「第１白色光画像識別器１３の出力値と第１紫外光画像識別器１４の出力値の加算平均」を角栓有用識別器の出力として採用することが決定され、制御部１０は、統合学習データセットに含まれる「角栓有」のラベルが付与された全ての統合画像データ（ＲＧＢ６ｃｈからなる画像データ）を用いて第１白色光画像識別器１３と第１紫外光画像識別器１４とをそれぞれ学習させる。

また、学習データセットが「角栓無」のラベルが付与された全ての統合学習データからなり、最も高い評価値が得られた識別器のパターンが、「識別器Ａ」であるなら、第２最終識別部１９が「第２白色光画像識別器１７」を角栓無用識別器として採用することが決定され、制御部１０は、統合学習データセットに含まれる「角栓無」のラベルが付与された全ての統合学習データを用いて第２白色光画像識別器１７を学習させる。このように、学習データセットについては、「角栓有」のラベルが付与されているもの（角栓有用統合学習データ）と、「角栓無」のラベルが付与されているもの（角栓無用統合学習データ）の２種類あり、角栓有用及び角栓無用の各々について、識別器の３パターン（「識別器Ａ」、「識別器Ｂ」、「識別器Ａ＋識別器Ｂ」）の中から、最も高い評価値が得られた識別器のパターンについて、学習が行われる。

なお、上述の説明では、識別器のパターンが「識別器Ａ＋識別器Ｂ」であった場合の出力値を、「識別器Ａの出力値と識別器Ｂの出力値の加算平均」としたが、加算平均に限定しなくてもよい。制御部１０は、例えば、様々な重みを用いた加重平均の複数のパターンも交差検証の候補に加え、これら全てのパターンについて、上記の交差検証を行って、最も高い評価値が得られたパターンの識別器（又は識別器の様々な加重平均での組合せ）を、採用する識別器として決定してもよい。また、候補識別器自体も、識別器Ａと識別器Ｂの２つに限定する必要はない。例えば、患部の病変領域の周辺をクロップ（切り出し）してそのサイズを正規化する前処理を行った画像を入力することにより当該患部を識別する識別器、患部を撮影した画像をエッジ強調する前処理を行った画像を入力することにより当該患部を識別する識別器等の他の識別器も、識別器Ａ、識別器Ｂと同様に候補識別器に加えて交差検証を行ってもよい。そして、これら全ての候補識別器及び候補識別器の組合せの中で、交差検証により最も高い評価値が得られたものを、患部を識別する識別器として採用する採用識別器として決定してもよい。

以上説明した採用識別器決定・学習処理、並びに、角栓有無画像学習処理により、第１白色光画像識別器１３、第１紫外光画像識別器１４、第２白色光画像識別器１７及び第２紫外光画像識別器１８のＣＮＮが学習される。角栓有無画像学習処理では、学習データを角栓の有無によって分けて各識別器を学習させることができる。このため、角栓有用の識別器は角栓有の画像データのみで学習でき、また角栓無用の識別器は角栓無の画像データのみで学習できるので、効率良く学習することができる。また、採用識別器決定・学習処理においては、交差検証を行うことにより、最も識別性能が高いと考えられる識別器（又は識別器の組合せ）を採用識別器（第１最終識別部１５、第２最終識別部１９）として決定することができる。

次に、このようにして学習された後に、識別対象の（未知の）患部の良性／悪性を識別（推論）する角栓有無利用識別処理について、図１５を参照して説明する。

ステップＳ６０１及びステップＳ６０２の処理は、変形例１に係る識別処理（図９）のステップＳ４０１及びステップＳ４０２の各処理と同様なので、説明を省略する。ただし、変形例３では、ステップＳ６０１の可視光撮影とステップＳ６０２の可視光撮影とを、高速連写で撮影しなくてもよい。

そして、制御部１０は、ステップＳ６０２で取得した紫外光画像データに含まれるＲ値及びＧ値の最大値が角栓判定閾値以上であるか否かを判定する（ステップＳ６０３）。ステップＳ６０３は、角栓有無判定ステップとも呼ばれる。また、制御部１０は、ステップＳ６０３において、角栓有無判定手段として機能する。

紫外光画像データに含まれるＲ値及びＧ値の最大値が角栓判定閾値以上であるなら（ステップＳ６０３；Ｙｅｓ）、第１最終識別部１５は上述の角栓有無画像学習処理で決定した角栓有用識別器により、患部を識別する（ステップＳ６０４）。例えば、角栓有用識別器が「識別器Ａ＋識別器Ｂ（識別器Ａの出力値と識別器Ｂの出力値の加算平均）」であるなら、第１最終識別部１５は、ステップＳ６０１で取得した白色光画像データを第１白色光画像識別器１３に入力して得られる第１白色光画像識別器１３の出力値と、ステップＳ６０２で取得した紫外光画像データを第１紫外光画像識別器１４に入力して得られる第１紫外光画像識別器１４の出力値と、の加算平均により最終的な識別結果を得る。

一方、紫外光画像データに含まれるＲ値及びＧ値の最大値が角栓判定閾値未満であるなら（ステップＳ６０３；Ｎｏ）、第２最終識別部１９は上述の角栓有無画像学習処理で決定した角栓無用識別器により、患部を識別する（ステップＳ６０５）。例えば、角栓無用識別器が「識別器Ａ」であるなら、第２最終識別部１９は、ステップＳ６０１で取得した白色光画像データを第２白色光画像識別器１７に入力して得られる第２白色光画像識別器１７の出力値により最終的な識別結果を得る。

そして、制御部１０は、第１最終識別部１５又は第２最終識別部１９による最終的な識別結果を出力部３３に表示し（ステップＳ６０６）、角栓有無利用識別処理を終了する。

なお、ステップＳ６０３における角栓の有無の判定方法は一例である。角栓有無画像学習処理（図１２）のステップＳ５０２と同様に、角栓判定閾値を角栓判定Ｒ閾値（例えば８０）と角栓判定Ｇ閾値（例えば１６０）とに分けて設定してもよいし、上記の方法に限らず、制御部１０は、任意の方法で角栓の有無を判定してよい。

上述の角栓有無利用識別処理では、比較的識別が容易な角栓の有無で識別器を使い分けることにより、角栓の有無に応じて最適化された識別器を用いて患部を識別することができるので、従来の（白色光画像データのみによる）識別と比較して、識別性能を向上させることができる。

（変形例３の変形例）
変形例３では、学習データを角栓有用の学習データと角栓無用の学習データとに分類し、分類した学習データのそれぞれを用いて、専用の識別器（角栓有用の識別器及び角栓無用の識別器）をそれぞれ学習させた。しかし、学習データの分類の仕方は角栓の有無による分類に限定されない。例えば、変形例３の変形例として、学習データを顔及び頭皮用の学習データと体全体用の学習データとに分類し、分類した学習データのそれぞれを用いて、専用の識別器（顔及び頭皮用の識別器及び体全体用の識別器）をそれぞれ学習させる実施形態も考えられる。

変形例３では、角栓の有無を示す角栓有無ラベルを統合学習データのそれぞれに付与したが、変形例３の変形例では、体のどの部位の患部を撮影した画像であるかを示す部位ラベル（例えば「頭皮」、「顔」等）を統合学習データのそれぞれに付与することにより、学習データを、顔及び頭皮用の学習データ（患部の部位が顔又は頭皮の学習データ）と、体全体用の学習データ（患部の部位によらない学習データ）とに分類する。

そして、角栓有無画像学習処理（図１２）と同様の処理（ただし、「角栓有」の学習データの代わりに部位ラベルが「頭皮」又は「顔」の学習データを用い、「角栓無」の学習データの代わりに（部位選別を行わない）全ての学習データを用いる。以下「部位利用学習処理」と言う。）により、顔及び頭皮用識別器と、体全体用識別器を学習する。

角栓は、体の部位の中で、特に顔や頭皮に存在する可能性が高い（顔や頭皮以外の体の部位には角栓はほとんど存在しない）ので、患部を撮影した画像中に角栓が存在する場合、その患部は顔や頭皮に存在する患部である可能性が高い。したがって、変形例３の変形例では、角栓有無利用識別処理（図１５）と同様の処理（ただし、ステップＳ６０４では顔及び頭皮用識別器で識別し、ステップＳ６０５では体全体用識別器で識別する。以下「部位利用識別処理」と言う。）で患部を識別することができる。

変形例３の変形例では、上述の部位利用学習処理において、角栓の有無によらず、部位ラベルに基づいて各部位に特化した識別器を学習させることができるので、角栓が検出されなかった場合の顔や頭皮の学習データも顔及び頭皮用識別器の学習に用いることができる。そして、上述の部位利用識別処理においては、角栓が検出されたら（角栓はほとんどの場合、顔又は頭皮にしか存在しないので）、顔及び頭皮用に特化した顔及び頭皮用識別器を用いることにより、識別性能をさらに向上させることができる。

（その他の変形例）
なお、上述の実施形態及び変形例では、ＣＮＮによる識別器を実現するプログラムを制御部１０が実行することにより、制御部１０は、第１白色光画像識別器１３、第１紫外光画像識別器１４、統合画像識別器１６、第２白色光画像識別器１７、第２紫外光画像識別器１８、としても機能することとしていたが、これに限られない。識別装置１００，１０１，１０２，１０３は、制御部１０とは別のデバイス（例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等）を備え、当該デバイスにより、第１白色光画像識別器１３、第１紫外光画像識別器１４、統合画像識別器１６、第２白色光画像識別器１７、第２紫外光画像識別器１８、の機能を実現してもよい。

また、上述の実施形態及び変形例は適宜組み合わせることができる。例えば、変形例３に変形例１又は変形例２を組み合わせて、「識別器Ａ＋識別器Ｂ（識別器Ａの出力値と識別器Ｂの出力値の加算平均）」の代わりに、または、これらに加えて、白色光画像データのＲＧＢ３ｃｈと紫外光画像データのＲＧＢ３ｃｈとを１つにまとめた６ｃｈの統合画像データ又は白色光画像データのＲＧＢ３ｃｈと紫外光画像データのＲＧ２ｃｈとを１つにまとめた５ｃｈの統合画像データを入力データとする統合画像識別器１６を用いて識別を行うようにしてもよい。

この場合、統合画像識別器１６についても、角栓有画像データに写っている患部を識別対象とする第１統合画像識別器と、角栓無画像データに写っている患部を識別対象とする第２統合画像識別器と、をそれぞれ用意する。そして、角栓有の統合学習データを用いた採用識別器決定・学習処理のステップＳ５５３では、第１統合画像識別器の評価値を求める。そして、角栓無の統合学習データを用いた採用識別器決定・学習処理のステップＳ５５３では、第２統合画像識別器の評価値を求める。

また、実施形態１に係る識別装置１００においても、識別器学習処理（図３）の後に、変形例３の採用識別器決定・学習処理（図１３）を行って、最も高い評価値が得られる識別器のパターンで識別した結果を、識別処理（図５）のステップＳ２０５における識別結果としてもよい。

また、上述の実施形態及び変形例においては、画像データの色を表現する色空間として、ＲＧＢ色空間を用い、色要素としてＲ値、Ｇ値及びＢ値を用いて説明した。しかし、色空間はＲＧＢ色空間に限定されない。例えば、ＹＵＶ色空間や、Ｌａｂ色空間を用いてもよい。

また、上述の実施形態及び変形例においては、照射部３１は第２照射光として、紫外光を発光するものとして説明したが、紫外光は例示である。第２照射光は角栓等が蛍光反応を生じる光であれば任意の光でよい。例えば、照射部３１は第２照射光として、可視光の紫外光寄りの光（例えば波長が４１０ｎｍ～４７０ｎｍ、好ましくは４４０ｎｍ以下の光）を照射してもよい。

なお、識別装置１００，１０１，１０２，１０３の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施形態では、識別装置１００，１０１，１０２，１０３が行う識別処理等のプログラムが、記憶部２０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｃ）、メモリカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
白色光を含む第１照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第１受光光を受光して撮像することにより得られた第１画像データを取得する第１画像データ取得手段と、
前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第２照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第２受光光を受光して撮像することにより得られた第２画像データを取得する第２画像データ取得手段と、
前記第１画像データ及び前記第２画像データに基づいて、前記患部を識別する最終識別手段と、
を備える識別装置。

（付記２）
前記第１画像データ取得手段は、前記第１受光光を受光して撮像することにより得られた画像を、色空間の全ての色要素を用いて、前記第１画像データとして取得し、
前記第２画像データ取得手段は、前記第２受光光を受光して撮像することにより得られた画像を、前記色空間の一部の色要素を用いて、前記第２画像データとして取得する、
付記１に記載の識別装置。

（付記３）
前記第１画像データ取得手段は、前記第１受光光を受光して撮像することにより得られた画像のＲ値、Ｇ値及びＢ値を、前記第１画像データとして取得し、
前記第２画像データ取得手段は、前記第２受光光を受光して撮像することにより得られた画像のＲ値及びＧ値を、前記第２画像データとして取得する、
付記２に記載の識別装置。

（付記４）
前記最終識別手段は、前記第１画像データと前記第２画像データとを統合した統合画像データが入力されると前記患部を識別した結果を出力する識別器を用いて前記患部を識別する、
付記１から３のいずれか１つに記載の識別装置。

（付記５）
前記取得された第１画像データに基づいて、前記患部が悪性であるか否かを識別する第１識別手段と、
前記取得された第２画像データに基づいて、前記患部が悪性であるか否かを識別する第２識別手段と、をさらに備え、
前記最終識別手段は、前記第１識別手段による識別結果及び前記第２識別手段による識別結果に基づいて、前記患部を識別する、
付記１から３のいずれか１つに記載の識別装置。

（付記６）
前記第２画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定手段と、
前記角栓有無判定手段により角栓有と判定された前記第２画像データと、前記第１画像データと、に基づいて、前記患部を識別する角栓有用識別手段と、
前記角栓有無判定手段により角栓無と判定された前記第２画像データと、前記第１画像データと、に基づいて、前記患部を識別する角栓無用識別手段と、をさらに備え、
前記最終識別手段は、
前記第２画像データが前記角栓有無判定手段により角栓有と判定された場合は前記角栓有用識別手段による識別結果に基づいて前記患部を識別し、
前記第２画像データが前記角栓有無判定手段により角栓無と判定された場合は前記角栓無用識別手段による識別結果に基づいて前記患部を識別する、
付記１から３のいずれか１つに記載の識別装置。

（付記７）
前記角栓有無判定手段は、前記第２画像データに含まれるＲ値及びＧ値の最大値が角栓判定閾値以上か否かにより、前記患部の角栓の有無を判定する、
付記６に記載の識別装置。

（付記８）
前記第１画像データの撮像タイミングと前記第２画像データの撮像タイミングとの時間差は、連写基準時間以下である、
付記１から７のいずれか１つに記載の識別装置。

（付記９）
識別装置における識別器学習方法であって、
白色光を含む第１照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第１受光光を受光して撮像することにより得られた第１画像データを取得する第１画像データ取得ステップと、
前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第２照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第２受光光を受光して撮像することにより得られた第２画像データを取得する第２画像データ取得ステップと、
前記第１画像データ及び前記第２画像データに基づいて、前記患部を識別する識別器を学習する学習ステップと、
を備える識別器学習方法。

（付記１０）
前記第１画像データの撮像タイミングと前記第２画像データの撮像タイミングとの時間差は、連写基準時間以下である、
付記９に記載の識別器学習方法。

（付記１１）
前記第１画像データ取得ステップでは、前記第１受光光を受光して撮像することにより得られた画像を、色空間の全ての色要素を用いて、前記第１画像データとして取得し、
前記第２画像データ取得ステップでは、前記第２受光光を受光して撮像することにより得られた画像を、前記色空間の一部の色要素を用いて、前記第２画像データとして取得する、
付記９又は１０に記載の識別器学習方法。

（付記１２）
前記第２画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定ステップをさらに備え、
前記学習ステップでは、
前記角栓有無判定ステップで角栓有と判定された前記第２画像データと、前記第１画像データと、に基づいて、角栓有と判定された前記患部を識別する角栓有用識別器を学習し、
前記角栓有無判定ステップで角栓無と判定された前記第２画像データと、前記第１画像データと、に基づいて、角栓無と判定された前記患部を識別する角栓無用識別器を学習する、
付記９から１１のいずれか１つに記載の識別器学習方法。

（付記１３）
前記角栓有無判定ステップでは、前記第２画像データに含まれるＲ値及びＧ値の最大値が角栓判定閾値以上か否かにより、前記患部の角栓の有無を判定する、
付記１２に記載の識別器学習方法。

（付記１４）
複数の候補識別器のそれぞれに対して、また、複数の前記候補識別器の組合せに対して、それぞれ識別結果の正しさを評価した値である評価値を取得する検証ステップと、
前記検証ステップで取得した前記候補識別器のそれぞれの評価値及び前記候補識別器の組合せの評価値に基づいて、前記候補識別器のそれぞれ及び前記候補識別器の組合せの中から、前記患部を識別する識別器として採用する採用識別器を決定する決定ステップと、
をさらに備え、
前記学習ステップでは、前記決定ステップで決定された採用識別器を学習する、
付記９から１３のいずれか１つに記載の識別器学習方法。

（付記１５）
前記検証ステップでは、前記第１画像データに基づいて前記患部を識別する第１識別器の評価値である第１評価値と、前記第２画像データに基づいて前記患部を識別する第２識別器の評価値である第２評価値と、前記第１識別器の出力値と前記第２識別器の出力値との平均値に基づく前記患部の識別の評価値である第３評価値と、を取得し、
前記決定ステップでは、前記第１評価値、前記第２評価値及び前記第３評価値のうちの最大値に基づいて、前記採用識別器を決定する、
付記１４に記載の識別器学習方法。

（付記１６）
識別装置における識別方法であって、
白色光を含む第１照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第１受光光を受光して撮像することにより得られた第１画像データを取得する第１画像データ取得ステップと、
前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第２照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第２受光光を受光して撮像することにより得られた第２画像データを取得する第２画像データ取得ステップと、
前記第１画像データ及び前記第２画像データに基づいて、前記患部を識別する最終識別ステップと、
を備える識別方法。

（付記１７）
識別装置のコンピュータに、
白色光を含む第１照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第１受光光を受光して撮像することにより得られた第１画像データを取得する第１画像データ取得ステップ、
前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第２照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第２受光光を受光して撮像することにより得られた第２画像データを取得する第２画像データ取得ステップ、及び、
前記第１画像データ及び前記第２画像データに基づいて、前記患部を識別する最終識別ステップ、
を実行させるためのプログラム。

１０…制御部、１１…白色光画像データ取得部、１２…紫外光画像データ取得部、１３…第１白色光画像識別器、１４…第１紫外光画像識別器、１５…第１最終識別部、１６…統合画像識別器、１７…第２白色光画像識別器、１８…第２紫外光画像識別器、１９…第２最終識別部、２０…記憶部、３１…照射部、３２…撮像部、３３…出力部、３４…通信部、３５…操作入力部、１００，１０１，１０２，１０３…識別装置

Claims (12)

1. 白色光を含む第１照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第１受光光を受光して撮像することにより得られた第１画像データと、前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第２照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第２受光光を受光して撮像することにより得られた第２画像データとに基づいて学習された識別器であって、角栓を含む患部が写されている第２画像データを識別対象とする角栓有用識別器と、角栓が無い患部が写されている第２の画像データを識別対象とする角栓無用識別器と、を含む識別器と、
   前記第１画像データを取得する第１画像データ取得手段と、
   前記第２画像データを取得する第２画像データ取得手段と、
   前記第２画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定手段と、
   前記第２画像データが前記角栓有無判定手段により角栓有と判定された場合は前記角栓有用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別し、前記第２画像データが前記角栓有無判定手段により角栓無と判定された場合は前記角栓無用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別する最終識別手段と、
   を備えることを特徴とする識別装置。
2. 前記第１画像データ取得手段は、前記第１受光光を受光して撮像することにより得られた画像を、色空間の全ての色要素を用いて、前記第１画像データとして取得し、
   前記第２画像データ取得手段は、前記第２受光光を受光して撮像することにより得られた画像を、前記色空間の一部の色要素を用いて、前記第２画像データとして取得することを特徴とする、
   請求項１に記載の識別装置。
3. 前記第１画像データ取得手段は、前記第１受光光を受光して撮像することにより得られた画像のＲ値、Ｇ値及びＢ値を、前記第１画像データとして取得し、
   前記第２画像データ取得手段は、前記第２受光光を受光して撮像することにより得られた画像のＲ値及びＧ値を、前記第２画像データとして取得することを特徴とする、
   請求項２に記載の識別装置。
4. 前記角栓有無判定手段は、前記第２画像データに含まれるＲ値及びＧ値の最大値が角栓判定閾値以上か否かにより、前記患部の角栓の有無を判定することを特徴とする、
   請求項３に記載の識別装置。
5. 前記識別器は、前記第１画像データと前記第２画像データとを統合した統合画像データが入力されると前記患部を識別した結果を出力するように学習されていることを特徴とする、
   請求項１から４のいずれか１項に記載の識別装置。
6. 前記第１画像データの撮像タイミングと前記第２画像データの撮像タイミングとの時間差は、連写基準時間以下であることを特徴とする、
   請求項１から５のいずれか１項に記載の識別装置。
7. 識別装置における識別器学習方法であって、
   白色光を含む第１照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第１受光光を受光して撮像することにより得られた第１画像データを取得する第１画像データ取得ステップと、
   前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第２照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第２受光光を受光して撮像することにより得られた第２画像データを取得する第２画像データ取得ステップと、
   前記第２画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定ステップと、
   前記角栓有無判定ステップで角栓有と判定された前記第２画像データと前記第１画像データとに基づいて、前記識別器に含まれる角栓有と判定された前記患部が悪性であるか否かを識別する角栓有用識別器を学習し、前記角栓有無判定ステップで角栓無と判定された前記第２画像データと前記第１画像データとに基づいて、前記識別器に含まれる角栓無と判定された前記患部が悪性であるか否かを識別する角栓無用識別器を学習する学習ステップと、
   を含むことを特徴とする識別器学習方法。
8. 前記角栓有無判定ステップでは、前記第２画像データに含まれるＲ値及びＧ値の最大値が角栓判定閾値以上か否かにより、前記患部の角栓の有無を判定することを特徴とする、
   請求項７に記載の識別器学習方法。
9. 前記第１画像データの撮像タイミングと前記第２画像データの撮像タイミングとの時間差は、連写基準時間以下であることを特徴とする、
   請求項７又は８に記載の識別器学習方法。
10. 前記第１画像データ取得ステップでは、前記第１受光光を受光して撮像することにより得られた画像を、色空間の全ての色要素を用いて、前記第１画像データとして取得し、
    前記第２画像データ取得ステップでは、前記第２受光光を受光して撮像することにより得られた画像を、前記色空間の一部の色要素を用いて、前記第２画像データとして取得することを特徴とする、
    請求項７から９のいずれか１項に記載の識別器学習方法。
11. 識別装置における識別方法であって、
    前記識別装置は、白色光を含む第１照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第１受光光を受光して撮像することにより得られた第１画像データと、前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第２照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第２受光光を受光して撮像することにより得られた第２画像データとに基づいて学習された識別器であって、角栓を含む患部が写されている第２画像データを識別対象とする角栓有用識別器と、角栓が無い患部が写されている第２の画像データを識別対象とする角栓無用識別器と、を含む識別器を備え、
    前記第１画像データを取得する第１画像データ取得ステップと、
    前記第２画像データを取得する第２画像データ取得ステップと、
    前記第２画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定ステップと、
    前記第２画像データが前記角栓有無判定ステップにて角栓有と判定された場合は前記角栓有用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別し、前記第２画像データが前記角栓有無判定ステップにて角栓無と判定された場合は前記角栓無用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別する最終識別ステップと、
    を含むことを特徴とする識別方法。
12. 識別装置のコンピュータが実行するプログラムであって、
    前記識別装置は、白色光を含む第１照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第１受光光を受光して撮像することにより得られた第１画像データと、前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第２照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第２受光光を受光して撮像することにより得られた第２画像データとに基づいて学習された識別器であって、角栓を含む患部が写されている第２画像データを識別対象とする角栓有用識別器と、角栓が無い患部が写されている第２の画像データを識別対象とする角栓無用識別器と、を含む識別器を備え、
    前記コンピュータを、
    前記第２画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定手段、
    前記第２画像データが前記角栓有無判定手段により角栓有と判定された場合は前記角栓有用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別し、前記第２画像データが前記角栓有無判定手段により角栓無と判定された場合は前記角栓無用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別する最終識別手段、
    として機能させるためのプログラム。

Images