JP7346600B2 - 子宮頸がん自動診断システム - Google Patents

Description

本発明は、子宮頸がん自動診断システムに関し、特に子宮頸がんを自動診断するために必要な子宮頸部データを正確な基準によって分類して機械学習し、当該機械学習に基づいて子宮頸がんを自動診断する子宮頸がん自動診断システムに関する。

子宮頸がんは、韓国女性が恐れるがん順位の一つを占めているところ、これは、子宮摘出によって妊娠、出産に対する影響を受ける可能性があり、女性としての喪失感を感じる恐れがあるためである。

２０１３年の統計によれば、韓国内の子宮頸がん患者数は、２６，２０７人であって、女性がんのうち４位を占めている（保健福祉部の資料）。また、子宮頸がんは、韓国内で検診を勧告する７大がんに属し、１９９９年に国家がん検診事業に含まれることに従って早期診断の比率が増加している傾向にある。最近では、子宮頸部「０期」がんと呼ばれる子宮頸部上皮内癌（前癌段階）も増加傾向にあるところ、性経験のある女性に毎年検診を受けるように勧告しているのが実情である。

その検診に関する市場の現況を調べてみると、まず、若い女性の子宮頸部上皮内癌の比率が増加していて、２０１６年から検診対象が３０才から２０才に下方調整された。特に、他のがんとは異なって、子宮頸部細胞検査の検診に関する検診費用の３００％に対して健康保険特典が適用される。ところで、検診の偽陰性率（すなわち、誤診率）が最大５５％に達していて、その補完策として子宮頸部拡大撮影検査を併行することが勧告されているところ、２０１３年を基準として世界子宮頸がん検診市場は、約６．８６兆ウォン規模であって、このうち、子宮頸部拡大撮影検査は、３０％を占めて、約２兆ウォンの規模に達する。

図１は、従来、子宮頸がんを診断するために施行された子宮頸部細胞検査および子宮頸部拡大撮影検診の方式を概略的に示す概念図であり、図１の下段を参照すると、女性被検体の膣の外部で所定の撮影装置（例えば図１に示された子宮頸部拡大鏡）を通じて子宮頸部に対する撮影画像が獲得されると、これを分析して、その結果を利用することによって、子宮頸がんに対する検診の誤診率を下げることが出来る。

ところで、従来の子宮頸部拡大鏡を活用するとき、医療スタッフは、教育と経験に照らして当該子宮頸部の画像に対して子宮頸がんの発病の有無を確認するが、このような方式は、反復的であり、曖昧な場合が多いので、熟練した医師にとっても時間が長くかかり、正確度も共に下がる可能性がある。

このような短所を克服するために、子宮頸部に対する撮影画像を獲得し、獲得した子宮頸部の画像から子宮頸がんに対する機械学習モデルに基づいて被検体の子宮頸がん発病の有無に関する分析情報を生成して提供する子宮頸がん発病の有無に対する判定装置も紹介されている。

このような判定装置の性能を評価するための主な要素は、学習に使用される画像を正確に分類整理して、学習を進めなければならないという点である。このようなデータ分類整理が正確で明確に行われないなら 、子宮頸がん発病の有無に関する分析正確度が落ちる。通常、子宮頸がん腟鏡検査（ｃｏｌｐｏｓｃｏｐｙ）の画像は、撮影環境および撮影者によって、一般医療画像とは異なって多様な形態で現れる。したがって、子宮頸がんの発病の有無を判定する装置においては、学習に使用される画像をより明確で厳格な基準によって分類して学習を進める必要がある。

また、明確で厳格な基準によって学習データを分類して機械学習を行ったとしても、その診断（分析）結果に誤診が発生し得るので、このような場合、専門医による評価が行われるようにして、機械学習に基づいて子宮頸がんを自動診断する分析装置の信頼性を高めたり、診断性能を補助できるシステムの導入が切実に要求される。

韓国特許登録第１０－０８５０３４７号公報 韓国特許公開第１０－２０１６－００４７７２０号公報

これより、本発明は、上述した必要性に応じて創案された発明であって、本発明の主な目的は、子宮頸がんを自動診断するために必要な学習用子宮頸部データを正確な基準によって分類して機械学習し、当該機械学習に基づいて子宮頸がんを自動診断する子宮頸がん自動診断システムを提供することにあり、

ひいては、本発明の他の目的は、特定形態の子宮頸部の画像のみに対して過度な学習が進行されたり、反対に特定の種類の画像に対して学習が行われない現象が発生しないようにして、子宮頸部の正確な診断が行われ得るように誘導する子宮頸がん自動診断システムを提供することにある。

また、本発明の他の目的は、機械学習モデルに基づいて自動分析された様々な情報を読影医（専門家）に提供して読影の便宜性を提供することはもちろん、読影医により評価された入力情報がリアルタイム再学習に利用され得るようにユーザーインターフェース画面を構成して、機械学習モデルの性能が持続的に改善できるようにする子宮頸がん自動診断システムを提供することにある。

前述した目的を達成するための本発明の実施例による子宮頸がん自動診断システムは、

学習モードで外部装置あるいは保存部から伝達された子宮頸部に対する未分類撮影画像データを多段階分類基準の組み合わせによって分類して、新しい分類基準別学習データとして生成する学習データ生成部と、

子宮頸部撮影画像を前処理する撮影画像前処理部と、

学習モードで上記分類基準別に生成された学習データの特徴を学習する子宮頸がんに対する機械学習モデルを含み、上記機械学習モデルは、診断モードで上記前処理した子宮頸部撮影画像に対して子宮頸がんの発病の有無に関する診断情報を生成する子宮頸がん診断部と、

上記診断情報を表示し、読影医による評価情報を入力できるユーザーインターフェース画面を表示出力する画面表示制御部と、

上記ユーザーインターフェース画面を通じて入力された評価情報のうち、再学習時に必要な情報を抽出して、上記機械学習モデルの再学習を要請する再学習データ生成部と、

上記子宮頸がんの発病の有無に関する診断情報と上記ユーザーインターフェース画面を通じて入力された評価情報を保存する診断および評価情報保存部；を含むことを特徴とする。

上述したシステム構成において、上記学習データ生成部は、分類基準別学習データの数的バランスを調整するために、上記分類基準別学習データに対してミラーリングあるいはクロッピングを適用して、追加学習データをさらに生成することをさらに他の特徴とし、

ひいては、上記学習データ生成部は、

カラーを分類基準とする１段階分類基準と、撮影画像データ内の子宮頸部の大きさを分類基準とする２段階分類基準と、子宮頸部画像データ内のカラーと形態の組み合わせを分類基準とする３段階分類基準と、露出と焦点を分類基準とする４段階分類基準のうち少なくとも２つ以上の分類基準の組み合わせを利用して分類することをさらに他の特徴とする。

場合によっては、上記学習データ生成部は、

カラーを分類基準とする１段階分類基準によって上記子宮頸部に対する未分類撮影画像データを１次分類し、上記１次分類した未分類撮影画像データ内の子宮頸部の大きさを分類基準とする２段階分類基準によって２次分類し、上記２次分類した未分類撮影画像データ内のカラーと形態の組み合わせを分類基準とする３段階分類基準によって子宮頸部に対する未分類撮影画像データを３次分類することを特徴とする。

なお、上述した子宮頸がん自動診断システムにおいて、上記１段階分類基準は、酢酸反応画像、ルゴール液反応画像、グリーンフィルター画像、一般画像をそれぞれ識別するためのカラー値を分類基準値として含み、

上記３段階分類基準は、子宮頸部画像データ内で血液、粘液、ループ、膣拡大鏡、治療痕、手術器具のうちいずれか一つ以上を識別するためのカラー値と形態の組み合わせを分類基準値として含むことをさらに他の特徴とする。

ひいては、上記子宮頸がん診断部は、上記機械学習モデルに基づいて被検体の子宮頸部撮影画像に対して子宮頸がんに対する陰性、非定型、陽性および悪性の有無に関する分類情報と、当該分類情報の正確性情報と、陰陽性判定情報と形態学的所見情報を含む診断情報を生成することを特徴とし、

上記画面表示制御部は、被検体の子宮頸部撮影画像の全部または一部の表示領域、同一被検体に対して以前に撮影した他の画像の履歴情報表示領域、被検体情報露出領域、陰陽性判定情報入力領域、形態学的所見情報入力領域、撮影画像の品質に関する技術的欠陥情報入力領域、上記機械学習モデルに基づいて導き出された上記診断情報出力領域、読影医所見入力領域に分割される画面を上記ユーザーインターフェース画面に表示出力することを特徴とする。

上述した技術的課題解決手段によれば、本発明の実施例による子宮頸がん自動診断システムは、多段階の分類基準の組み合わせによって子宮頸部に対する未分類撮影画像データを分類して、機械学習モデルのような人工知能網を学習させる場合、単に一つ（カラー、形態、明るさなど）の特性のみを有する分類基準を利用して分類したデータを活用して学習させることより、さらに多様な特性を有する画像データに対して学習が行われ得るので、より正確な病変の診断が行われ得るという長所がある。

また、本発明は、分類基準別学習データの数的バランスを調整するための追加学習データをさらに生成して学習に利用するようにすることで、特定形態の子宮頸部（がん）画像データのみに対して過度な学習が進行されたり、反対に特定形態（あるいは種類）の画像に対して学習が進行されない現象が発生しないようにすることによって、子宮頸部に対する病変の有無を正確に診断できる効果を提供する。

ひいては、本発明は、機械学習モデルに基づいて子宮頸がんに対する病変の有無を自動診断し、当該結果をユーザーインターフェース画面を通じて外部に表示するものの、上記ユーザーインターフェース画面に読影医が評価情報を入力するように誘導し、当該評価情報のうち一部を抽出して機械学習モデルの再学習に活用することによって、機械学習モデルの性能を持続的にアップグレードさせることができるという利点がある。

従来、子宮頸がんを診断するために施行された子宮頸部細胞検査および子宮頸部拡大撮影検診の方式を概略的に示す概念図である。 本発明の実施例による子宮頸がん自動診断システムの構成例示図である。 本発明の実施例による子宮頸部学習データ分類方法を説明するための図である。 本発明の実施例による子宮頸部学習データ生成のための多段階分類基準をより詳細に説明するための図である。 本発明の実施例による子宮頸がん自動診断過程を説明するための図である。 本発明の実施例による子宮頸がん自動診断過程で提供されるユーザーインターフェース（ＵＩ；ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）画面例示図である。 本発明の実施例による子宮頸がん自動診断過程で提供されるユーザーインターフェース（ＵＩ；ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）画面例示図である。 本発明の実施例による子宮頸がん自動診断過程で提供されるユーザーインターフェース（ＵＩ；ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）画面例示図である。 本発明の実施例による子宮頸がん自動診断過程で提供されるユーザーインターフェース（ＵＩ；ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）画面例示図である。 本発明の実施例による子宮頸がん自動診断過程で提供されるユーザーインターフェース（ＵＩ；ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）画面例示図である。 悪性の異型血管（Ａｔｙｐｉｃａｌ Ｖｅｓｓｅｌｓ）例示図である。

後述する本発明に対する詳細な説明は、本発明の目的、技術的解決法および長所を明らかにするために本発明が実施できる特定の実施例を例示として図示する添付の図面を参照する。これらの実施例は、通常の技術者が本発明を実施できるのに十分に詳細に説明される。

そして、本発明の詳細な説明および請求項にわたって「学習」は、手続きにより機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を行うことを称する用語であるところ、人間の教育活動のような精神的作用を指すように意図されたものではないことを通常の技術者なら理解できる。また、本発明の詳細な説明および請求項にわたって、「含む」という単語およびその変形は、他の技術的特徴、付加物、構成要素または段階を除くものと意図されたものではない。通常の技術者に本発明の他の目的、長所および特性が、一部は本明細書から、そして、一部は本発明の実施から現れる。以下の例示および図面は、実例として提供され、本発明を限定するものと意図されたものではない。さらに、本発明は、本明細書に表示された実施例のすべての可能な組み合わせを網羅する。本発明の多様な実施例は互いに異なるが、相互排他的である必要はないことが理解されなければならない。例えば、ここに記載されている特定の形状、構造および特性は、一つの実施例に関連して本発明の思想および範囲を離脱することなく、他の実施例で具現できる。また、それぞれの開示された実施例内の個別構成要素の位置または配置は、本発明の思想および範囲を離脱することなく、変更できることが理解されなければならない。したがって、後述する詳細な説明は、限定的な意味として取ろうとするのではなく、本発明の範囲は、適切に説明される場合、その請求項が主張するのと均等なすべての範囲とともに、添付の請求項のみによって限定される。図面において類似の参照符号は、様々な側面にわたって同一または類似の機能を指す。

本明細書で別途表示されたり、明確に文脈に矛盾しない限り、単数で示された項目は、その文脈において別途要求されない限り、複数を含む。また、本発明を説明するに際して、関連した公知構成または機能に対する具体的な説明が本発明の要旨を不明にすることができると判断される場合には、その詳細な説明は省略する。

以下、通常の技術者が本発明を容易に実施できるようにするために、本発明の好ましい実施例に関して添付の図面を参照して詳細に説明することとする。

参考までに、本発明に利用される機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）の一つであるＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；合成神経網）モデルは、人工神経網を多層で積んだ形態で簡略に説明できる。すなわち、これは、深い構造のネットワークという意味で深い神経網（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ディープニューラルネットワーク）で表現され、通常、多層のネットワークからなる構造で多量のデータを学習させることによって、それぞれのイメージの特徴を自動で学習し、これを通じて、目的関数のエラー（ｅｒｒｏｒ）を最小化させる方法でネットワークを学習させる形態である。これは、一見して人間の脳の神経細胞間の連結で表現されるところ、これによって、人工知能の代表格に位置づけられている。特に、ＣＮＮは、イメージのような２次元イメージの分類に適合したモデルであって、イメージの各領域を複数のフィルターを利用して特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を作成する合成層（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）と、特徴マップの大きさを減らして位置や回転の変化に不変な特徴を抽出できるようにするプーリング層（ｐｏｏｌｉｎｇ ｌａｙｅｒ；ｓｕｂ－ｓａｍｐｌｉｎｇ ｌａｙｅｒ）を繰り返すことによって、点、線、面など低レベルの特徴から複雑で意味のある高レベルの特徴まで多様なレベルの特徴を抽出できるようになり、最終的に、完全連結層（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を通じて抽出した特徴を既存モデルの入力値として利用すると、さらに高い正確度の分類モデルを構築できるという長所がある。

図２は、本発明の実施例による子宮頸がん自動診断システムの構成図を例示した図である。本発明の実施例による子宮頸がん自動診断システム（２００）は、図示のように、画像撮影装置（１００）、保存媒体（３００）、通信部（４００）および表示部（５００）と連結されて動作可能な一つのコンピュータシステムあるいはサーバーコンピュータシステムであってもよく、コンピュータシステムのメモリに設置されて実行可能なコードデータの集合体（応用プログラムの形態）で具現されてもよい。

図２を参照すると、本発明の実施例による子宮頸がん自動診断システム（２００）は、通信部（４００）を通じて遠隔地に位置する読影医のコンピューティング装置（不図示）と直接または間接的に通信できる。もちろん、読影医は、表示部（５００）に表示されたユーザーインターフェース画面を通じて後述する評価情報を直接入力（キーボード、マウス利用）することもできる。

画像撮影装置（１００）は、診断モードで被検体の子宮頸部撮影画像を獲得して、後述する子宮頸がん自動診断システム（２００）に伝達し、保存媒体（３００）は、後述する機械学習モデルが学習する子宮頸部に対する未分類撮影画像データを保存する。

以下、子宮頸がん自動診断システム（２００）の構成を図２を参照して付加説明すると、本発明の実施例による子宮頸がん自動診断システム（２００）は、

学習モードで外部装置あるいは保存部（保存媒体、３００）から伝達された子宮頸部に対する未分類撮影画像データを多段階分類基準の組み合わせによって分類して、新しい分類基準別学習データとして生成する学習データ生成部（２１０）と、

子宮頸部撮影画像を前処理（画質改善、ブラーリング、ノイズ処理）する撮影画像前処理部２２０と、

学習モードで上記分類基準別に生成された学習データの特徴を学習する子宮頸がんに対する機械学習モデルを含み、上記機械学習モデルは、診断モードで上記前処理した子宮頸部撮影画像に対して子宮頸がんの発病の有無に関する診断情報を生成する子宮頸がん診断部（２６０）と、

上記診断情報を表示し、読影医による評価情報を入力できるユーザーインターフェース画面を表示出力する画面表示制御部（２５０）と、

上記ユーザーインターフェース画面を通じて入力された評価情報のうち再学習時に必要な情報を抽出して、上記機械学習モデルの再学習を要請する再学習データ生成部（２３０）と、

上記子宮頸がんの発病の有無に関する診断情報と上記ユーザーインターフェース画面を通じて入力された評価情報を保存する診断および評価情報保存部（２４０）を含む。

参考までに、上記多段階分類基準、被検体に対する診断情報と評価情報は、保存媒体（３００）に保存され得る。

学習データ生成部（２１０）は、学習モードで生成された分類基準別学習データの数的バランスを調整するために、上記分類基準別学習データに対して上下あるいは左右ミラーリングあるいはクロッピング技術を適用して追加学習データをさらに生成することによって、特定形態の子宮頸部（がん）画像データのみに対して過度な学習が進行されたり、反対に特定形態（あるいは種類）の画像に対して正常な学習が進行されない現象が発生しないようにする。

なお、学習データ生成部（２１０）は、学習モードで子宮頸部に対する未分類撮影画像データを分類するに際して、カラーを分類基準とする１段階分類基準と、撮影画像データ内の子宮頸部の大きさを分類基準とする２段階分類基準と、子宮頸部画像データ内のカラーと形態の組み合わせを分類基準とする３段階分類基準と、露出と焦点を分類基準とする４段階分類基準のうち少なくとも２つ以上の分類基準の組み合わせを利用して分類することを特徴とする。

具体的な具現方法において学習データ生成部（２１０）は、

カラーを分類基準とする１段階分類基準によって子宮頸部に対する未分類撮影画像データを１次分類し、上記１次分類した未分類撮影画像データ内の子宮頸部の大きさを分類基準とする２段階分類基準によって２次分類し、上記２次分類した未分類撮影画像データ内のカラーと形態の組み合わせを分類基準とする３段階分類基準によって上記子宮頸部に対する未分類撮影画像データを３次分類することができる。

また、学習データ生成部（２１０）は、上記３次分類した子宮頸部に対する未分類撮影画像データを露出と焦点を分類基準とする４段階分類基準によって４次分類することもできる。このような４段階分類基準は、１段階分類基準に先立って最優先的に適用されて、診断不可（病変が識別されない場合）な撮影画像データをフィルタリングするための学習データとして活用できる。例えば露出が不足／過多である場合、ヒストグラムが一方に極端に偏るので、これを利用して分類することができ、焦点が合わない場合、エッジ（ｅｄｇｅ：境界線）が検出されなかったり、色の対比が曖昧に現れるので、このような特性を利用して分類（４次分類）することができる。

付加的に、上記学習データ生成部（２１０）は、カラーを分類基準とする１段階分類基準によって上記子宮頸部に対する未分類撮影画像データを１次分類するものの、上記１段階分類基準は、酢酸反応画像、ルゴール液反応画像、グリーンフィルター画像、一般画像のうちいずれか一つ以上をそれぞれ識別するためのカラー値を分類基準値として含む。

また、学習データ生成部（２１０）は、上記１次分類した未分類撮影画像データ内の子宮頸部の大きさ、例えば画像内の子宮頸部の大きさ１５０％、１００％、８０％、５０％、拡大鏡およびその他の部分を含むような大きさを分類基準によって２次分類する。

ひいては、学習データ生成部（２１０）は、２次分類した子宮頸部に対する未分類撮影画像データから子宮頸部画像データ内のカラーと形態の組み合わせを分類基準とする３段階分類基準によって上記子宮頸部に対する未分類撮影画像データを３次分類するものの、上記３段階分類基準は、子宮頸部画像データ内で少なくとも血液、粘液、ループ、膣拡大鏡、治療痕、手術器具のうちいずれか一つ以上を識別するためのカラー値と形態の組み合わせを分類基準値として含んで子宮頸部に影響を与える異物を分類する。

例えば、血液は、主に子宮頸部の中央から下方へ流れる赤色の形態で現れ、粘液は、主に子宮頸部の中央から下方へ流れるうすい黄色の形態で現れ、ループは、子宮頸部の中央に主に位置し、一般的にブーメラン状のワイヤが明確に現れる。膣拡大鏡およびその他手術器具は、ピンク色の子宮頸部とは異なる色相（銀色、青色、…）で現れるので、各異物のカラーと形態の組み合わせ特性を利用すると、上記に例示したように、子宮頸部に影響を与える異物を分類することができる。

例示した１次～４次分類過程では、ディープラーニング技法であるＣＮＮを使ってそれぞれの分類を進めることができる。１次と２次および４次分類では、抽出するフィーチャー（ｆｅａｔｕｒｅ）が明確なので、少ないレイヤー（ｌａｙｅｒ）の構成でも高い正確度の分類が可能であり、３次分類では、抽出するフィーチャーが多いので、深いレイヤーで構成して正確度を高めることができる。

以下、図３と図４を参照して本発明の実施例による子宮頸がん自動診断システム（２００）の学習データ分類方法をより具体的に説明することとする。

まず、図３は、本発明の実施例による子宮頸部学習データ分類方法を説明するための図であり、図４は、本発明の実施例による子宮頸部学習データ生成のための多段階分類基準をより詳細に説明するための図である。

図３を参照すると、まず、子宮頸部に対する未分類撮影画像データに対する学習を進めるのに先立って、保存媒体（３００）には、画像撮影装置（１００）あるいは外部装置から伝達された子宮頸部に対する未分類撮影画像データが受信（段階Ｓ１００）されたり、保存されていると仮定する。

このような仮定の下に、管理者から学習モードの実行命令があると、学習データ生成部（２１０）は、子宮頸部に対する未分類撮影画像データそれぞれに対してＣＮＮのような神経網アルゴリズムに基づいて分類するものの、複数の多段階分類基準の組み合わせによって分類して優先保存（段階Ｓ２００）とする。

例えば、学習データ生成部（２１０）は、カラーを分類基準とする１段階分類基準によって上記子宮頸部に対する未分類撮影画像データを優先的に１次分類する。

１次分類のために、学習データ生成部（２１０）は、酢酸反応画像、ルゴール液反応画像、グリーンフィルター画像、一般画像それぞれ識別するためのカラー値を分類基準値として含むことによって、上記の４つの画像を分類することができる。

具体的に、酢酸反応画像は、白色の斑が子宮頸部に現れるので、ピンク色の子宮頸部および膣と区分が可能である。ルゴール液反応画像は、茶色または濃い橙色カラーが現れ、グリーンフィルター画像は、画像全般にわたってグリーンが強く現れるので、このような各画像の特徴を示すカラー値を分類基準値として活用して子宮頸部に対する未分類撮影画像データを分類することができる。

１次分類が完了すると、学習データ生成部（２１０）は、上記１次分類した撮影画像データ内の子宮頸部の大きさを分類基準とする２段階分類基準によって２次分類する。

子宮頸部は、５００ウォン鋳貨大きさに相当する円形で、通常、画像内の中央部分に位置する。したがって、画像内の子宮頸部の大きさ（１５０％、１００％、８０％など）を基準として子宮頸部のみを拡大した画像、子宮頸部全体が表示される画像、子宮頸部が画像の８０％程度表示される画像、子宮頸部が画像の５０％程度表示される画像、子宮頸部と拡大鏡およびその他の部分が含まれた画像のように２次分類することができる。

以後、学習データ生成部（２１０）は、上記２次分類した子宮頸部画像データ内のカラーと形態の組み合わせを分類基準とする３段階分類基準によって子宮頸部に影響を与える異物を３次分類する。

上述したように、血液は、主に子宮頸部の中央から下方へ流れる赤い色の形態で現れ、粘液は、主に子宮頸部の中央から下方へ流れるうすい黄色の形態で現れ、ループは、子宮頸部の中央に主に位置し、一般的にブーメラン状のワイヤが明確に現れる。膣拡大鏡およびその他手術器具は、ピンク色の子宮頸部とは異なる色相（銀色、青色、…）で現れるので、各異物のカラーと形態の組み合わせ特性を利用すると、上記に例示したように、子宮頸部に影響を与える異物を分類することができる。

以上で説明したように、多段階分類基準の組み合わせによって分類した分類基準別撮影画像データは、保存媒体（３００）あるいはシステム（２００）内部のメモリに一時保存されてもよい。

未分類撮影画像データの分類が完了すると、学習データ生成部（２１０）は、上記分類基準別に分類された子宮頸部に対する撮影画像データを分類基準別学習データとして生成して保存媒体（３００）に保存（段階Ｓ３００）する。このような学習データ生成過程で学習データ生成部（２１０）は、分類基準別学習データの数的バランスを調整するために追加学習データをさらに生成できるが、追加学習データは、各分類基準別学習データに基づいて生成することが好ましい。

追加学習データを生成するための方法としては、ミラーリングを利用して左右が変わる垂直ミラーリングと上下が変わる水平ミラーリングを使用でき、クロッピングを利用して原本より小さい大きさで上／下／左／右を基準としてクロッピングを実行して、追加学習データを生成できる。また、ミラーリングとクロッピングを一緒に使用すると、最大１６倍の追加学習データの生成が可能である。

参考までに、上記例では、１段階分類基準、２段階分類基準、３段階分類基準の組み合わせを適用して学習データを生成したが、１段階および２段階分類基準の組み合わせ、１段階および３段階分類基準の組み合わせ、２段階および３段階分類基準の組み合わせを適用して学習データを生成でき、単に図４に示されたように、１段階～３段階分類基準をそれぞれ適用して、子宮頸部に対する未分類撮影画像データを分類して分類基準別学習データとして使用することもできる。

以上のように、多段階分類基準の組み合わせによって子宮頸部に対する未分類撮影画像データが分類されて学習データが生成されると、子宮頸部に対する機械学習モデル（２６２）は、分類基準別に生成された学習データの特徴に対して学習と検証を実行（段階Ｓ４００）する。もし、子宮頸部に対する未分類撮影画像データが追加的に確保されると、上述した学習モードを再度実行する。

以上で説明したように、本発明の実施例による子宮頸がん自動診断システム（２００）は、多段階の分類基準の組み合わせによって子宮頸部に対する未分類撮影画像データを分類して学習データを生成するので、学習データの分類数が多くなり、学習データの分類数が多くなれば多くなるほど、多様な特性を有する画像データに対して学習が行われて、結局、病変の有無をより正確に診断できる効果を得ることができる。

また、本発明は、分類基準別学習データの数的バランスを調整するための追加学習データをさらに生成して学習に利用するようにすることで、特定形態の子宮頸部（がん）画像データのみに対して過度な学習が進行されたり、反対に、特定形態（あるいは種類）の画像に対して学習が進行されない現象が発生しないようにすることによって、子宮頸部に対する病変の有無を正確に診断できる効果を提供する。

以下、上述した多段階の分類基準の組み合わせによって子宮頸部に対する未分類撮影画像データを分類して生成された学習データを利用して機械学習モデル（２６２）を学習させた子宮頸がん自動診断システム（２００）の子宮頸がん自動診断過程を説明することとする。

図５は、本発明の実施例による子宮頸がん自動診断過程を説明するための図であり、図６ａ～図６ｅは、本発明の実施例による子宮頸がん自動診断過程で提供されるユーザーインターフェース（ＵＩ；ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）画面を例示した図である。

図５を参照すると、まず、診断モードで子宮頸がん自動診断システム（２００）は、被検体の子宮頸部に対する撮影画像を獲得（段階Ｓ４１０）する。被検体の子宮頸部に対する撮影画像は、画像撮影装置（１００）から獲得することもでき、通信部（４００）あるいは保存媒体を通じて外部から獲得することもできる。このように獲得した子宮頸部に対する撮影画像（５１４）は、画面表示制御部（２５０）により図６ａに示されたように、ユーザーインターフェース画面に表示される。上記撮影画像（５１４）と共に、患者である被検体の情報が、図６ａに示されたように、被検体情報入力領域（５１０）を通じて表示できるようにユーザーインターフェース画面を構成できる。

獲得した被検体の子宮頸部に対する撮影画像をユーザーインターフェース画面に表示するのに先立って、より正確な診断情報を生成するために、撮影画像前処理部（２２０）は、上記子宮頸部撮影画像に対して前処理を行うことが好ましい。ここで、前処理は、上記撮影画像の照度およびノイズに強くするためのＲＧＢ－ＨＳＶ変換、ヒストグラム平坦化などを通した画像画質改善、ブラーリング（ｂｌｕｒｒｉｎｇ）およびノイズ処理のうち少なくとも一つを含んでもよい。

さらに図５を参照すると、被検体の子宮頸部に対する撮影画像を獲得して前処理完了すると、子宮頸がん診断部（２６０）の機械学習モデル（２６２）は、上記前処理した子宮頸部撮影画像に対して子宮頸がんの発病の有無に関する診断情報を生成（段階Ｓ４２０）する。

上記機械学習モデル（２６２）は、あらかじめ入力された多数の訓練用情報、すなわち、（ｉ）多段階分類基準の組み合わせによる分類基準別学習データ、（ｉｉ）該多数の学習データ画像に子宮頸がんの病変が存在するか否かのデータ、およびもし病変が存在すると、（ｉｉｉ）当該画像のどの部分に該病変が存在するかを表示したデータを含む情報を利用して子宮頸がんの発病の有無に関する診断情報を生成する。参考までに、上記機械学習モデル（２６２）は、ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；合成神経網）モデルであってもよく、ＣＮＮとＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）を結合したモデルであってもよい。

機械学習モデル（２６２）の正確度と信頼度を高めるために、多量の訓練用学習データが必要であり、訓練用学習データが多ければ多いほど、機械学習モデルの正確度および信頼度が向上することができる。

なお、上記診断情報は、子宮頸がんに対する陰性（ｎｅｇａｔｉｖｅ）、非定型（ａｔｙｐｉｃａｌ）、陽性（ｐｏｓｉｔｉｖｅ）および悪性の有無に関する分類情報を含んでもよい。また、上記分類情報は、該分類がどれくらい正確であるかを示す確率情報を含んでもよい。

より具体的に、上記診断情報は、陰性などうか、陽性なら、その危険性が高いか低いか（ｌｏｗ ｃａｎｃｅｒ ｒｉｓｋ ｖｓ．ｈｉｇｈ ｃａｎｃｅｒ ｒｉｓｋ）に関する情報である陰陽性判定情報を含んでもよく、Ａｃｅｔｏｗｈｉｔｅ Ｅｐｉｔｈｅｌｉｕｍ、Ｍｏｓａｉｃ、Ｅｒｏｓｉｏｎ ｏｒ ｕｌｃｅｒａｔｉｏｎ、Ｉｒｒｅｇｕｌａｒ ｓｕｒｆａｃｅ ｃｏｎｔｏｕｒ、Ｐｕｎｃｔａｔｉｏｎ、Ａｔｙｐｉｃａｌ Ｖｅｓｓｅｌｓ、Ｄｉｓｃｏｌａｒａｔｉｏｎなどの形態学的所見情報をさらに含んでもよい。

上記診断情報は、画面表示制御部（２５０）により、図６ｂに示したように、多数の撮影画像（５１４）に対応出来るようにリスト化して提供できる。図６ｂに示したユーザーインターフェース画面には、被検体情報（５２０）、入力時点情報（５２２）、機械学習モデル（２６２）により算出された分類情報および確率情報によって子宮頸がんの発病が疑われるかどうかを示す情報（「ｓｕｓｐｉｃｉｏｕｓ」で表示される、５２４）が表示される。ひいては、図６ｂに示されたユーザーインターフェース画面には、Ｓ４２０段階に続く後続段階を継続実行できるように特定の撮影画像に対応する「Ｅｖａｌｕａｔｉｏｎ」ボタン（５２６）が図示されている。

上記「Ｅｖａｌｕａｔｉｏｎ」ボタン（５２６）を通じて、読影医は、機械学習モデルに基づいて自動診断された子宮頸がんの発病の有無を読影し、評価情報を入力できる。すなわち、「Ｅｖａｌｕａｔｉｏｎ」ボタン（５２６）の操作があると、画面表示制御部（２５０）は、子宮頸がんの発病の有無を読影できるように様々な画面を支援する。

例えば、図６ｃに示されたように、撮影画像の全部または一部をユーザーインターフェース画面上に提供することによって、読影医は、医学的に特異な領域があるか否かを判断しつつ、ツールボックスを利用して必要な様々な表示を行うことができる（例えば、四角形、矢印、テキスト入力など）。

また、画面表示制御部（２５０）は、ユーザーインターフェース画面を通じて入力される読影医の命令に対応する診断情報を表示でき、読影医による評価情報を入力できるように支援（段階Ｓ４３０）する。

評価情報というのは、提供される診断情報が正確な否か、すなわち診断情報に含まれた発病の有無が正しいか否かに関する情報、および上記診断情報に含まれた分類情報が正しいか否か、正しくないと、どの分類が正しいかに関する情報を含んでもよい。

また、上記評価情報は、撮影画像の品質に関する情報、例えば、撮影画像の技術的欠陥に関する情報を含んでもよい。例えば、このような技術的欠陥は、撮影画像に粘液（ｍｕｃｕｓ）や血液が多すぎて、該撮影画像に対する正確な判定が困難であるか、撮影画像の角度や撮影した部位の位置に起因して子宮頸がんの発病の有無を確認しにくいものであってもよく、酢酸反応が存在しなければならないにもかかわらず、該酢酸反応が不十分であるか（ｉｎｓｕｆｆｉｃｉｅｎｔ ａｃｅｔｉｃ ａｃｉｄ ｒｅａｃｔｉｏｎ）、焦点ずれ（ｏｕｔ ｏｆ ｆｏｃｕｓ）、過多露出、過小露出に該当する画像の問題であってもよい。

図６ｄは、画面表示制御部（２５０）により表示されるユーザーインターフェース画面を示すものであり、撮影画像の全部または一部（５４０）が表示される領域、同一被検体に対して以前に撮影した他の画像の履歴情報（５４１）が表示される領域、図６ａに示されたように、被検体情報露出領域（５４２）、陰陽性判定情報が入力されうる陰陽性判定情報入力領域（５４３）、読影医により形態学的所見情報が入力されうる形態学的所見情報入力領域（５４４）、撮影画像（５４０）の技術的欠陥に関する情報が入力されうる技術的欠陥情報入力領域（５４５）、上記機械学習モデル（２６２）により導き出された診断情報を示す人工知能診断情報出力領域（５４６）および読影医が上記撮影画像に基づく所見を入力できるユーザー所見入力領域（５４７）がユーザーインターフェース画面上に表示されるところ、これによって、自動診断情報に対応する子宮頸がんの発病の有無を読影医が評価することが容易になる。

なお、読影医は、図６に示されたユーザーインターフェース画面を通じて被検体子宮頸部に対する撮影画像と機械学習モデル（２６２）に基づいて分析された診断情報に対する評価情報を入力すると、診断および評価情報保存部（２４０）は、子宮頸がんの発病の有無に関する診断情報と上記ユーザーインターフェース画面を通じて入力された読影医の評価情報を保存媒体（３００）に保存（段階Ｓ４４０）するか、管理者あるいは読影医の要請時に表示部（５００）に出力する。

なお、上記ユーザーインターフェース画面を通じて評価情報が入力されると、再学習データ生成部（２３０）は、ユーザーインターフェース画面を通じて入力された評価情報のうち再学習時に必要な情報、例えば陰陽性判定情報、技術的欠陥情報などを抽出して機械学習モデル（２６２）の再学習を要請できる。

また、上述した評価情報は、医療結果レポートの形式で加工されて提供されることもできるところ、例えば、このために提供されるユーザーインターフェースは、図６ｅによく示されており、医療結果レポート（５５０）は、子宮頸がんの発病の有無、分類情報などを含んでもよい。このような医療結果レポートは、撮影画像を最初獲得した場所（すなわち、撮影地）、撮影画像の読影が行われた場所から遠く離れたところに位置する他の装置を通じて提供されることもできる。

以上の実施例では、子宮頸がん自動診断システム（２００）に読影医が位置して評価情報を入力する場合を仮定して説明したが、特別な変形なしで撮影画像、診断情報を通信部（４００）を通じて遠隔地に位置する読影医に伝送して評価情報が入力されるようにすることができる。

以上で説明した本発明の実施例によれば、あらかじめ学習された機械学習モデル（２６２）に基づいて子宮頸がんに対する発病の有無を自動診断できるので、医療スタッフが子宮頸部拡大鏡を通じて獲得した子宮頸部撮影画像を直接観察し、教育と経験に基づいて個々に子宮頸部の状態を確認する従来の方式に比べて、より速くて正確に子宮頸がんの発病の有無を自動診断できるという長所がある。

また、本発明は、評価情報をさらに上記機械学習モデルに対する再学習の資料として活用できるので、さらに正確な読影を行うことができるという長所がある。

なお、上述した実施例では、カラーを分類基準とする１段階分類基準と、撮影画像データ内の子宮頸部の大きさを分類基準とする２段階分類基準と、子宮頸部画像データ内のカラーと形態の組み合わせを分類基準とする３段階分類基準と、露出と焦点を分類基準とする４段階分類基準を例示したが、学習データ生成部（２１０）は、図７に示したような悪性の異型血管（Ａｔｙｐｉｃａｌ Ｖｅｓｓｅｌｓ）パターンを分類基準とする５段階分類基準をさらに追加して、５段階分類基準単独あるいは５段階分類基準と上記で例示した他の分類基準の組み合わせによって子宮頸部に対する未分類撮影画像データを分類して、学習データを生成することもできる。

図７に示した悪性の異型血管パターンに対する学習が行われると、子宮頸がん診断部（２６０）は、学習された機械学習モデルに基づいて悪性の異型血管パターンを示す子宮頸がんの発病の有無に対する診断を生成できる。

上記実施例の説明に基づいて当該技術分野における通常の技術者は、本発明がソフトウェアおよびハードウェアの結合を通じて達成されるか、ハードウェアだけで達成されうるという点を明確に理解できる。本発明の技術的解決法の対象物または先行技術に寄与する部分は、多様なコンピューター構成要素を通じて行われ得るプログラム命令語の形態で具現されて、機械読み取り可能な記録媒体に記録されてもよい。上記機械読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含んでもよい。上記機械読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであるか、コンピューターソフトウェア分野における通常の技術者に公知となって使用可能なものであってもよい。

機械読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラにより作成されるような機械語コードだけでなく、インタープリタなどを使ってコンピューターにより実行できる高級言語コードも含まれる。上記ハードウェア装置は、本発明による処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成でき、その逆も同様である。上記ハードウェア装置は、プログラム命令語を保存するためのＲＯＭ／ＲＡＭなどのようなメモリと結合され、上記メモリに保存された命令語を実行するように構成されるＣＰＵやＧＰＵのようなプロセッサを含んでもよく、外部装置と信号を送受信できる通信部を含んでもよい。しかも、上記ハードウェア装置は、開発者により作成された命令語を伝達されるためのキーボード、マウス、その他外部入力装置を含んでもよい。

以上、本発明が具体的な構成要素などのような特定事項と限定された実施例および図面により説明されたが、これは、本発明のより全般的な理解を助けるために提供されるものに過ぎず、本発明が上記実施例に限定されるものではなく、本発明の属する技術分野における通常の知識を有する者なら、このような記載から多様な修正および変形を図ることができる。したがって、本発明の思想は、上記説明された実施例に限定されて定められるものではなく、後述する特許請求範囲だけでなく、この特許請求範囲と均等にまたは等価的に変形された全てのものは、本発明の思想の範疇に属すると言える。

Claims (8)

1. 学習モードで外部装置あるいは保存部から伝達された子宮頸部に対する未分類撮影画像データを多段階分類基準のうち一つあるいはこれらの組み合わせによって分類して、新しい分類基準別学習データとして生成する学習データ生成部と、
   子宮頸部撮影画像を前処理する撮影画像前処理部と、
   学習モードで上記分類基準別に生成された学習データの特徴を学習する子宮頸がんに対する機械学習モデルを含み、上記機械学習モデルは、診断モードで上記前処理した子宮頸部撮影画像に対して子宮頸がんの発病の有無に関する診断情報を生成する子宮頸がん診断部と、
   上記診断情報を表示し、読影医による評価情報を入力できるユーザーインターフェース画面を表示出力する画面表示制御部と、
   上記ユーザーインターフェース画面を通じて入力された評価情報のうち再学習時に必要な情報を抽出して、上記機械学習モデルの再学習を要請する再学習データ生成部と、
   上記子宮頸がんの発病の有無に関する診断情報と上記ユーザーインターフェース画面を通じて入力された評価情報を保存する診断および評価情報保存部、を含み、
   上記学習データ生成部が、
   カラーを分類基準とする１段階分類基準と、撮影画像データ内の子宮頸部の大きさを分類基準とする２段階分類基準と、子宮頸部画像データ内のカラーと形態の組み合わせを分類基準とする３段階分類基準と、露出と焦点を分類基準とする４段階分類基準のうち少なくとも２つ以上の分類基準の組み合わせを利用して未分類撮影画像データを分類することを特徴とする子宮頸がん自動診断システム。
2. 学習モードで外部装置あるいは保存部から伝達された子宮頸部に対する未分類撮影画像データを多段階分類基準のうち一つあるいはこれらの組み合わせによって分類して、新しい分類基準別学習データとして生成する学習データ生成部と、
   子宮頸部撮影画像を前処理する撮影画像前処理部と、
   学習モードで上記分類基準別に生成された学習データの特徴を学習する子宮頸がんに対する機械学習モデルを含み、上記機械学習モデルは、診断モードで上記前処理した子宮頸部撮影画像に対して子宮頸がんの発病の有無に関する診断情報を生成する子宮頸がん診断部と、
   上記診断情報を表示し、読影医による評価情報を入力できるユーザーインターフェース画面を表示出力する画面表示制御部と、
   上記ユーザーインターフェース画面を通じて入力された評価情報のうち再学習時に必要な情報を抽出して、上記機械学習モデルの再学習を要請する再学習データ生成部と、
   上記子宮頸がんの発病の有無に関する診断情報と上記ユーザーインターフェース画面を通じて入力された評価情報を保存する診断および評価情報保存部、を含み、
   上記学習データ生成部が、
   カラーを分類基準とする１段階分類基準によって上記子宮頸部に対する未分類撮影画像データを１次分類し、上記１次分類した未分類撮影画像データ内の子宮頸部の大きさを分類基準とする２段階分類基準によって２次分類し、上記２次分類した未分類撮影画像データ内のカラーと形態の組み合わせを分類基準とする３段階分類基準によって子宮頸部に対する未分類撮影画像データを３次分類することを特徴とする子宮頸がん自動診断システム。
3. 上記１段階分類基準が、酢酸反応画像、ルゴール液反応画像、グリーンフィルター画像、一般画像をそれぞれ識別するためのカラー値を分類基準値として含み、
   上記３段階分類基準が、子宮頸部画像データ内で血液、粘液、ループ、膣拡大鏡、治療痕、手術器具のうちいずれか一つ以上を識別するためのカラー値と形態の組み合わせを分類基準値として含むことを特徴とする、請求項１または２に記載の子宮頸がん自動診断システム。
4. 学習モードで外部装置あるいは保存部から伝達された子宮頸部に対する未分類撮影画像データを多段階分類基準のうち一つあるいはこれらの組み合わせによって分類して、新しい分類基準別学習データとして生成する学習データ生成部と、
   子宮頸部撮影画像を前処理する撮影画像前処理部と、
   学習モードで上記分類基準別に生成された学習データの特徴を学習する子宮頸がんに対する機械学習モデルを含み、上記機械学習モデルは、診断モードで上記前処理した子宮頸部撮影画像に対して子宮頸がんの発病の有無に関する診断情報を生成する子宮頸がん診断部と、
   上記診断情報を表示し、読影医による評価情報を入力できるユーザーインターフェース画面を表示出力する画面表示制御部と、
   上記ユーザーインターフェース画面を通じて入力された評価情報のうち再学習時に必要な情報を抽出して、上記機械学習モデルの再学習を要請する再学習データ生成部と、
   上記子宮頸がんの発病の有無に関する診断情報と上記ユーザーインターフェース画面を通じて入力された評価情報を保存する診断および評価情報保存部、を含み、
   上記学習データ生成部が、
   カラーを分類基準とする１段階分類基準と、撮影画像データ内の子宮頸部の大きさを分類基準とする２段階分類基準と、子宮頸部画像データ内のカラーと形態の組み合わせを分類基準とする３段階分類基準と、露出と焦点を分類基準とする４段階分類基準と、悪性の異型血管パターンを分類基準とする５段階分類基準それぞれあるいは上記１～５段階分類基準のうち少なくとも２つ以上の分類基準の組み合わせを利用して未分類撮影画像データを分類することを特徴とする子宮頸がん自動診断システム。
5. 上記学習データ生成部が、分類基準別学習データの数的バランスを調整するために上記分類基準別学習データに対してミラーリングあるいはクロッピングを適用して、追加学習データをさらに生成することを特徴とする、請求項１～４のいずれか一項に記載の子宮頸がん自動診断システム。
6. 上記子宮頸がん診断部が、
   上記機械学習モデルに基づいて被検体の子宮頸部撮影画像に対して子宮頸がんに対する陰性、非定型、陽性および悪性の有無に関する分類情報と、該分類情報の正確性情報と、陰陽性判定情報と形態学的所見情報を含む診断情報を生成することを特徴とする、請求項１～４のいずれか一項に記載の子宮頸がん自動診断システム。
7. 上記画面表示制御部が、
   被検体の子宮頸部撮影画像の全部または一部表示領域、同一被検体に対して以前に撮影した他の画像の履歴情報表示領域、被検体情報露出領域、陰陽性判定情報入力領域、形態学的所見情報入力領域、撮影画像の品質に関する技術的欠陥情報入力領域、上記機械学習モデルに基づいて導き出された上記診断情報出力領域、読影医所見入力領域に分割される画面を上記ユーザーインターフェース画面に表示出力することを特徴とする、請求項１～４のいずれか一項に記載の子宮頸がん自動診断システム。
8. 上記多段階分類基準が、悪性の異型血管パターンを一つの分類基準として含むことを特徴とする、請求項１～４のいずれか一項に記載の子宮頸がん自動診断システム。