JP6231885B2 - 頸部を検査する医療機器 - Google Patents

Description

本発明は、頸部の光学的検査の分野、特に膣鏡診の分野に関する。

頸部から生じる癌は、多くの国々で女性の第１位の癌である。女性の癌の約３０％は、例えばインドでは毎年１０００００件より多くの新しい例が子宮頸ガンに起因すると診断されている。

子宮頸ガンの肯定的なスクリーニングテストの後、通常、膣鏡検査が、頸部の異常領域の特定のために第２の診断段階として婦人科医により用いられる。膣鏡は、子宮頸ガンの診断を助けるために子宮頸部の拡大視覚的検査に用いられる強力な光源を備えた低倍率、立体的、両眼視野顕微鏡である。

膣鏡が用いられる世界的に適用される子宮頸ガンの定期検査は、酢酸及びヨウ素溶液の頸部への投与に対する組織の反応を含む。

膣鏡は、異常組織を示唆する視覚的手掛かりを特定するために用いられる。膣鏡は、頸部、膣、外陰表面の視野を拡大するための点灯する単対物双眼顕微鏡として機能する。表面構造の全体的印象を得るために、低倍率（２ｘ乃至６ｘ）が用いられ得る。中倍率（８ｘ乃至１５ｘ）及び高倍率（１５ｘ乃至２５ｘ）は、膣及び頸部を評価するために用いられる。より進行した前癌状態又は癌性病変の存在を示し得る特定の血管パターンを識別するために、高倍率が必要な場合が多い。頸部表面の異なる態様を強調表示するために、種々の光フィルタが利用可能である。

酢酸（通常３−５％）が、例えば消毒綿又はスプレイを用いて頸部に適用される。

酢酸による白色化が高い核密度と関連するので、新生組織形成高い危険を有する領域又は癌は、変化する白色調を現す。用度「酢酸による白色化」は、酢酸の適用前に白く見える角化又は白斑症領域とは対照的に用いられる。移行部（transformation zone）は、多くの前癌状態及び癌性病変が最も多く生じる頸部にある重要部位である。移行部及び視覚化された病変の全体的な程度を調べる能力は、適切な膣鏡検査が達成可能か否かを決定する。

酢酸の適用後に白色化した又は異常な血管パターンを有する頸部の領域は、生体検査を検討される場合が多い。異常領域を強調表示するのを助け、及び化生領域を疑わしい病変から区別するために、ヨウ素溶液が頸部に適用される。

検査終了後、膣鏡専門家は、最も高い可視的変態を有する領域を決定し、長い生体検査器具を用いてこれらの領域から生検を行っても良い。多くの医師及び患者は、麻酔が不要であると考える。しかしながら、一部の膣鏡専門家は、現在、局部麻酔薬又は頸部ブロックのような局部麻酔を推奨し使用し、特に多くの生体検査用検体が採取される場合に患者の不快さを軽減させている。

上述のプロトコルに従った膣鏡検査を正しく解釈するためには、豊富な訓練が必要である。インドは中国のような新興成長市場では、訓練されたリソース及び専門的知識の欠如が、この効率的診断ツールの使用を制限している。同じ状況は、有資格医療職員が不足している先進工業国にも当てはまる。

膣鏡診断は、子宮頸部の病気の正確な診断のために、専門知識を必要とし特定の画像特徴の検出を含む。これは、この領域の自動化を困難にしている。診断するために考慮される幾つかの特徴のうち１つの重要な特徴は、頸部領域に存在する赤点斑である。それらは、異常な血管構造の印であり、それらの存在は頸部の前癌性及び癌性病変の存在と有意に相関している。

本発明は、独立請求項において、医療機器、コンピュータプログラム、該医療機器の動作方法、及びビデオ位置合わせ方法を提供する。実施形態は、従属請求項で定められる。

本発明は、膣鏡診画像内に存在する赤点斑マークを確実に識別する方法を提供し得る。本発明の実施形態は、階層的濾過アプローチ、その後に続く、異なる種類の赤点斑（精細／粗／拡散）を検出し及び診断支援のためにそれらの領域をセグメント化するために学習に基づくフレームワーク、を提供し得る。本発明の実施形態は、赤点斑検出を次の２段階に分け得る。（１）粗レベル赤点斑検出。これは、関心点検出に基づき、関心点検出の後に、誤検出されたオブジェクトを除去するためにオブジェクトフィルタリングの幾つかのステップが続く。（２）精細レベル赤点斑検出。学習に基づくフレームワークは、粗検出された赤点斑を確実に分類するために用いられる。最後のステップは、赤点斑マークを含む領域を定めることである。テストは、前癌性病変の様々な重症度を有する３５個のデータセットに対して実行され、テストセットについて平均精度９８．２％が達成された。

現在の膣鏡診検査は、主観的であり、解釈のために婦人科医の知識及び経験に依存する。したがって、本発明の目的は、処理から主観性を除去することである。本発明の別の目的は、学習曲線を短縮し診断を支援することにより、膣鏡診の有用性を向上させることである。本発明の別の目的は、ユーザ（婦人科医）により良い信頼性を提供することである。本発明の更に別の目的は、癌の重症度の低度についての定量的指標を提供することである。

上述の目的は、本発明によるシステム又は方法により達成される。

本発明によると、頸部の光学検査のためのシステムが提供され、前記システムは、光学拡大手段、照射手段、少なくとも１つの刺激及び／又は造影剤の管理のための投薬手段、画像化手段、及び画像処理手段を有する。前記画像処理手段は、主要フレーム抽出手段、任意で、グレア除去手段、オブジェクト検出手段（「オブジェクト検出器」とも呼ばれる）、不明瞭度変化検出手段、を有する。

本願明細書で用いられるグレアは、正反射を表し得る。したがって、グレア除去手段は、幾つかの実施形態では、正反射除去手段であっても良い。

好適な実施形態では、前記システムは、データ入力及びデータ出力のためのオペレータインタフェース手段を更に有する。このようなインタフェース手段は、例えば、ディスプレイスクリーン、キーボード、マウス、タッチスクリーン、タッチパッド、ジョイスティック等である。

望ましくは、前記刺激及び／又は造影剤は、酢酸及び／又はヨウ素溶液、望ましくはルゴール溶液又はシラー溶液を有するグループから選択される。本発明の明細書から明らかになるように、当業者は、通常の業務により個別の文献において代替の刺激及び／又は造影剤を見出し得る。したがって、このような代替の刺激及び／又は造影剤は、本発明により提供される保護範囲に包含される。

別の好適な実施形態では、画像化手段は、デジタル画像化装置、又は非デジタルカメラ及びフレーム取り込み器を有する。前記デジタル画像化装置は、望ましくはデジタルカメラである。前記デジタル又は非デジタルカメラは、望ましくは、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Metal Oxide Semiconductor）カメラを有する。

別の好適な実施形態では、光学拡大手段は、膣鏡である。膣鏡は、子宮頸ガンの診断を助けるために子宮頸部の拡大視覚的検査に用いられる強力な光源を備えた低電力、立体的、両眼視野顕微鏡であっても良い。膣鏡は、立体鏡である必要はない。

別の好適な実施形態では、前記システムは、光学拡大手段、照射手段、刺激剤の管理のための投薬手段、画像化手段、画像処理手段、及び／又はオペレータインタフェース手段を有するグループから選択された少なくとも１つの手段を制御するコンピュータワークステーション、を更に有する。

本発明の別の実施形態では、患者の頸部の光学検査の方法が提供される。前記方法は、
（ａ）少なくとも１回、刺激及び／又は造影剤を頸部に適用するステップ；
（ｂ）刺激剤の各適用の前及び後で、前記頸部の拡大画像を取得するステップ；
（ｃ）前記画像内の基本的解剖学的オブジェクト、つまりＯｓ、柱状領域、及び移行帯を識別するステップ；
（ｄ）不明瞭度差スコアを生成するステップ；を有する。

前記患者は、望ましくは哺乳動物であり、特に望ましくは霊長類であり、更に特に望ましくは人間である。重要なことに、上述のステップは、必ずしも所与の順序で実行される必要がない。

本発明の別の好適な実施形態では、前記刺激及び／又は造影剤は、不明瞭度差スコア探知剤、及び／又は移行帯探知剤を有するグループから選択された少なくとも１つである。

不明瞭度差スコア探知剤は、以下の２つの異なる目的を有する。第１に、基本的解剖学的オブジェクトが、前記探知剤による刺激及び／又は造影の後に識別できる。第２に、不明瞭度差スコア探知剤は、個々の組織内の高い核密度と相関のある酢酸による白色化の程度として、新生物又は前癌過程を示す不明瞭度差スコアを生成するために役立つ。

移行帯探知剤は、望ましくは、濃い色（例えば、ヨウ素溶液は濃い紫色又は「赤褐色」とも呼ばれる茶色を有する）を有し、それぞれ頸部、又は後者の領域若しくは形状の移行帯を検出するための造影剤として役立つ。

前記不明瞭度差スコア探知剤は、望ましくは酢酸であり、前記移行帯探知剤は、望ましくはルゴール溶液又はシラー溶液のようなヨウ素溶液である。したがって、本発明による方法の更に別の好適な実施形態では、少なくとも１つの画像又はフレームは、不明瞭度差スコア探知剤の適用前及び後（便宜のため、以下ではこれらの画像は「酢酸処理前画像及び酢酸処理後画像」と称されるが、これらの用語は他の不明瞭度差スコア探知剤と関連しても用いられる）、及び／又は移行帯探知剤の適用前及び後（便宜のため、以下ではこれらの画像は「ヨウ素溶液処理前画像及びヨウ素溶液処理後画像」と称されるが、これらの用語は他の移行帯探知剤と関連しても用いられる）に取得される。

当業者は、当然ながら、代替の刺激及び／又は造影剤を別個の文献から通常業務により得ることができる。より高い核密度の領域を検出するために使用できる代替剤は、例えば、メチレンブルーである。したがって、このような代替の刺激及び／又は造影剤は、本発明により提供される保護範囲に包含される。これは、用語「酢酸処理前画像及び酢酸処理後画像」及び／又は「ヨウ素溶液処理前画像及びヨウ素溶液処理後画像」にも当てはまる。代替案が酢酸又はヨウ素溶液に用いられる場合、これらの用語は相応して変更される。

本発明による方法の他の好適な実施形態では、以下のステップのうちの少なくとも１つが実行される。
（ａ）前記酢酸処理後画像及び／又は前記酢酸処理後画像内で、Ｏｓ及び柱状領域が識別され、
（ｂ）前記ヨウ素溶液処理後画像内で、一時的移行帯が識別され、
（ｃ）前記一時的移行帯は、前記酢酸処理前画像及び酢酸処理後画像にマッピングされ、
（ｄ）前記酢酸処理前画像及び前記酢酸処理後画像内で、前記Ｏｓ及び柱状領域を前記一時的移行帯から減算することにより、実際の移行帯が識別される。

したがって、前記実際の移行帯の識別は、２ステップアプローチである。（ｉ）上述のリストの第１のステップ（ステップｂ）では、影響を受けた頸部ゾーンがヨウ素溶液処理で示される色変化に基づき移行帯を暫定的に検出するために、ヨウ素溶液処理後画像が処理される。キーフレーム抽出器から得られたヨウ素溶液処理後画像は、色に基づくＫ平均クラスタリングを用いて２個のクラスタにセグメント化される。２個のクラスタのうちの小さい方が選択される。このクラスタの凸包は、一時的移行帯として定められる。（ｉｉ）上述のリストの第２のステップ（ステップｃ）では、一時的移行帯が酢酸処理前及び後画像にマッピングされ、次に、上述のリストの実際の移行帯を定めるために（ステップｄ）、上述のリストの（ステップａに従って検出された）検出されたＯｓ及び円柱状領域が減算される。酢酸処理前及び後画像は、移行帯を識別する前に位置合わせされ得る。図６及び７に、個々の画像分析処理を示す。

本発明による方法の特に好適な実施形態では、前記不明瞭度差スコアは、少なくとも１つの酢酸処理前画像及び１つの酢酸処理後画像の画像処理により生成される。前記処理では、望ましくは、これらの画像の実際の移行帯データのみが、実際の移行帯の前の識別に基づき用いられる。

本発明による方法の別の好適な実施形態では、本発明による方法に従って決定される前記実際の移行帯（又は望ましくはその形状及び／又は全体面積）、及び／又は本発明による方法に従って決定される前記不明瞭度差スコアは、新生物及び／又は前癌過程を示す。

非常に多くの場合、ヨウ素溶液染色後に決定される前記実際の移行帯、及び後者の前記酢酸処理後画像へのマッピングも、前癌領域を示し得る。この定義によると、少なくとも１つの酢酸処理前画像及び１つの酢酸処理後画像の画像処理により決定される前記不明瞭度差スコアは、前癌領域内の白色化の程度、及び癌の程度若しくは重症度を決定するのに役立つ。

別の実施形態では、前記実際の移行帯の形状及び／又は全面積は、癌を示し得る。したがって、前記不明瞭度差スコアは、疑わしい新生物又は癌領域を確認し又は破棄するために用いることができる。

特に望ましいことに、頸部の拡大画像の取得、基本的解剖学的オブジェクトの識別及び／又は不明瞭度差スコアの生成は、画像化手段及び／又は画像処理手段を用いて実行される。

望ましくは、膣鏡はこの目的のために用いられる。

更に望ましいことに、頸部の拡大画像の取得は、
−画像ストリームをキャプチャするステップ；
−前記画像ストリームから相関画像シーケンスを識別するステップ；
−前記シーケンスからキー画像を識別するステップ；
−前記画像を前処理するステップ；を有する。

相関画像シーケンスの識別及び／又はキーフレームの識別は、望ましくは：
−ショット境界を識別するステップ；
−ショットを分類するステップ；
−キーフレームを選択するステップ；を有する。

さらに、望ましくは、前記画像内の基本的解剖学的オブジェクトの識別は：
−ピクセルのＫ平均クラスタリングを用いて、該ピクセルの色に基づき酢酸処理前画像及び酢酸処理後画像を２個のクラスタにセグメント化するステップ、
−最小クラスタをＯｓ＋柱状上皮領域として一緒にラベル付けするステップ、
−Ｏｓ及び柱状上皮領域の両方の中で小さなバラバラのクラスタを繰り返し除去するステップ、
−最小分散量子化を用いてＯｓ及び柱状上皮を分けるステップ、を有する。

特に望ましい実施形態では、不明瞭度差スコアの生成は：
−酢酸処理後画像の移行帯内の主要な不明瞭度変化を有する画像ピクセルを識別するステップ；
−前記画像ピクセルを前記酢酸処理前画像の対応するピクセルにマッピングするステップ；
−次式を用いて前記不明瞭度差スコアを求めるステップ；

を有する。

更に望ましいことに、本発明による方法は、人間のパピローマウイルスのＰＡＰテスト及び／又は分子テストを有するグループから選択された少なくとも１つのステップを更に有する。

ＰＡＰテスト（前世紀の前半にこのテストを開発したDr.George Papanicolaouにちなんで名付けられた）は、前癌状態の及び悪性の過程を検出するために婦人科で用いられるスクリーニングテストである。検鏡は、子宮の頸部の外口及び子宮頸部から細胞を集めるために用いられる。これらの細胞は、組織学的に異常について、特に頸部の新生物又は癌過程について検査される。

人間のパピローマウイルス（ＨＰＶ）は、人間に感染可能なウイルスのパピローマウイルス属のメンバである。ＨＰＶ感染は、子宮頸ガンのほぼ全ての例の原因である。頸部から採取されたサンプル内のウイルス性核酸の存在は、頸部のＨＰＶ感染を示し、したがって頸部内に新生物又は癌過程を発現する患者の危険性の指標である。ＰＣＲのような最新の分子診断技術は、サンプル内のＨＰＶの迅速な検出を可能にする。このようなテストの１つは、Qiagenにより製造され、digene HC２ HPV DNAテストとして流通している。

本発明による方法と前述の２つのテストのうちの１つとの組合せは、頸部内の癌検出の精度、感度及び再現性を更に向上させる。

さらに、本発明による方法を実行するための本発明によるシステムの使用方法が提供される。

一態様によると、本発明は、頸部の光学検査のためのシステムを提供し、前記システムは、光学拡大手段、照射手段、少なくとも１つの刺激及び／又は造影剤の管理のための投薬手段、画像化手段、及び画像処理手段を有する。前記画像処理手段は、
−キーフレーム抽出手段、
−任意で、グレア除去手段、
−オブジェクト検出手段、
−不明瞭度変化検出手段、を更に有する。

別の実施形態では、前記システムは、データ入力及びデータ出力のためのオペレータインタフェース手段を更に有する。

別の実施形態では、光学拡大手段は、膣鏡である。

別の実施形態では、前記システムは、光学拡大手段、照射手段、刺激剤の管理のための投薬手段、画像化手段、画像処理手段、及び／又はオペレータインタフェース手段を有するグループから選択された少なくとも１つの手段を制御するコンピュータワークステーション、を更に有する。

別の態様では、本発明は、患者の頸部の光学検査の方法を提供する。前記方法は、
（ａ）少なくとも１回、刺激及び／又は造影剤を頸部に適用するステップ；
（ｂ）刺激剤の各適用の前及び後で、前記頸部の拡大画像を取得するステップ；
（ｃ）前記画像内の基本的解剖学的オブジェクト、つまりＯｓ、柱状領域、及び移行帯を識別するステップ；
（ｄ）不明瞭度差スコアを生成するステップ；を有する。

本発明の別の実施形態では、前記刺激及び／又は造影剤は、不明瞭度差スコア探知剤、及び／又は移行帯探知剤を有するグループから選択された少なくとも１つである。

別の実施形態では、前記不明瞭度差スコア探知剤は酢酸であり、及び／又は前記移行帯探知剤はヨウ素溶液である。

別の実施形態では、少なくとも１つの画像は、前記不明瞭度差スコア探知剤の適用前及び後（「酢酸前画像及び酢酸処理後画像」）、及び／又は前記移行帯探知剤の適用前及び後（「ヨウ素溶液処理前画像及びヨウ素溶液処理後画像」）に取得される。

前記方法の別の実施形態では、
（ａ）前記酢酸処理後画像内で、Ｏｓ及び柱状領域が識別され、
（ｂ）前記ヨウ素溶液処理後画像内で、一時的移行帯が識別され、
（ｃ）前記一時的移行帯は、前記酢酸処理後画像にマッピングされ、
（ｄ）前記酢酸処理前画像及び前記酢酸処理後画像内で、前記Ｏｓ及び柱状領域を前記一時的移行帯から減算することにより、実際の移行帯が識別される。

別の実施形態では、前記不明瞭度差スコアは、少なくとも１つの酢酸処理前画像及び１つの酢酸処理後画像の画像処理により生成される。

別の実施形態では、（ａ）前記実際の移行帯、及び／又は（ｂ）前記不明瞭度差スコアは、新生物又は癌過程を示す。

別の実施形態では、前記画像内の基本的解剖学的オブジェクトの識別は：
−ピクセルのＫ平均クラスタリングを用いて、該ピクセルの色に基づき酢酸処理前画像及び酢酸処理後画像を２個のクラスタにセグメント化するステップ、
−最小クラスタをＯｓ＋柱状上皮領域として共にラベル付けするステップ、
−Ｏｓ及び柱状上皮領域の両方の中で小さなバラバラのクラスタを繰り返し除去するステップ、
−最小分散量子化を用いてＯｓ及び柱状上皮を分けるステップ、を有する。

別の実施形態では、不明瞭度差スコアの生成は：
−酢酸処理後画像の移行帯内の主要な不明瞭度変化を有する画像ピクセルを識別するステップ；
−前記画像ピクセルを前記酢酸処理前画像の対応するピクセルにマッピングするステップ；
−次式を用いて前記不明瞭度差スコアを求めるステップ；

を有する。

別の実施形態では、前記方法は、人間のパピローマウイルスについてのＰＡＰテスト及び／又は分子テストを行うステップ、を更に有する。

別の態様では、本発明は、本発明の実施形態による方法を実行するための本発明の実施形態によるシステムを提供する。

一態様では、本発明は、頸部を検査する医療機器を提供する。前記医療機器は、頸部画像を取得する光学検査システムを有する。本願明細書で用いられる頸部画像は、頸部を記述する画像を含む。前記医療機器は、前記医療機器を制御するプロセッサを更に有する。前記医療機器は、前記プロセッサによる実行のための機械実行命令を含むメモリを更に有する。前記命令の実行は、前記プロセッサに、さらに、前記光学検査システムを用いて前記頸部画像を取得させる。前記命令の実行は、プロセッサに、さらに、デジタルフィルタを用いて関心点位置セットを計算させる。幾つかの実施形態では、前記デジタルフィルタは、Harris Corner Detectorである。

前記命令の実行は、プロセッサに、さらに、前記関心点位置セット及び形態フィルタを用いてフィルタリングされた関心点位置セットを計算させる。前記形態フィルタは、関心点セットの光学特性を用いて、どの関心点がフィルタリングされるべきかを決定する。例えば、赤点斑マークは、背景に対して暗く、点のような特性を有する。

前記命令の実行は、前記プロセッサに、さらに、前記フィルタリングされた関心点位置セット及び近隣に基づくフィルタを用いて削減された関心点位置セットを計算させる。標準的に、赤点斑マークは、群をなして一緒に生じる。赤点斑マークの除外、又は他の赤点斑マークから離れているフィルタリングされた関心点は、偽陽性を排除するのに役立つ。

別の実施形態では、前記命令の実行は、さらに、訓練された分類モジュール及び前記削減された関心点位置セットを用いて、分類された関心点位置セットを計算させる。訓練されたパターン検出ソフトウェアモジュールは、赤点斑マークが既存の又は予め知られている赤点斑マークと類似しているかどうかを検出又は決定するために用いられ得る。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、第２の近隣に基づくフィルタ及び前記分類された関心点位置セットを用いて赤点斑ポイント位置セットを計算させる。前記第２の近隣に基づくフィルタは、赤点斑マークの集団を検査し、それらを用いて偽陽性の除去を助ける。前記命令の実行は、前記プロセッサに、さらに、赤点斑ポイント位置を用いて赤点斑マーク領域を計算させる。

別の実施形態では、前記訓練された分類モジュールは、ランダムツリー分類モジュールである。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、前記第１の関心点位置セットを計算する前に、前処理フィルタで頸部画像内の除外位置セットを生成させる。前記デジタルフィルタは、前記除外位置セットを用いて前記関心点セットを生成する。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、前記光学検査システムを用いて第２の頸部画像を取得させる。前記命令の実行は、前記プロセッサに、さらに、前記デジタルフィルタを用いて第２の関心点位置セットを計算させる。前記命令の実行は、前記プロセッサに、さらに、前記第２の関心点位置セット及び前記形態フィルタを用いて第２のフィルタリングされた関心点位置セットを計算させる。前記命令の実行は、前記プロセッサに、さらに、前記第２のフィルタリングされた関心点位置セット及び前記近隣に基づくフィルタを用いて第２の削減された関心点位置セットを計算させる。前記命令の実行は、前記プロセッサに、さらに、前記訓練された分類モジュール及び前記第２の削減された関心点位置セットを用いて第２の分類された関心点位置セットを計算させる。前記命令の実行は、前記プロセッサに、さらに、前記第２の近隣に基づくフィルタ及び前記第２の分類された関心点位置セットを用いて第２の赤点斑位置セットを計算させる。赤点斑マーク領域は、赤点斑ポイント位置及び第２の赤点斑ポイント位置を用いる。

別の実施形態では、前記第１の頸部画像は、第１の酢酸処理前画像である。

別の実施形態では、前記第１の頸部画像は、第１の緑色フィルタ画像である。

別の実施形態では、前記第１の頸部画像は、第１の酢酸処理後画像である。前記第２の頸部画像は、第２の酢酸処理前画像である。

別の実施形態では、前記第２の頸部画像は、第２の酢酸処理前画像である。

別の実施形態では、前記第２の頸部画像は、第２の緑色フィルタ画像である。

別の実施形態では、前記第２の頸部画像は、第２の酢酸処理後画像である。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、画像位置合わせモジュールを用いて前記第１の画像及び前記第２の画像を位置合わせさせる。画像位置合わせでは、前記第１の画像内の特徴は、前記第２の画像内で識別される。

別の実施形態では、前記命令の実行は、前記プロセッサに、複数の画像フレームを有するビデオデータを取得することにより、前記第１の頸部画像及び前記第２の頸部画像を取得させる。前記命令の実行は、前記プロセッサに、複数の画像フレームから前記第１の頸部画像及び前記第２の頸部画像を選択させる。前記命令の実行は、前記プロセッサに、さらに、複数の画像フレームを有する前記ビデオデータを受信させる。前記命令の実行は、前記プロセッサに、さらに、前記複数の画像フレームから選択された連続画像フレームの各対の間の移行モデルを決定させる。前記命令の実行は、前記プロセッサに、さらに、連続画像フレームの各対の間の移行モデルから累積的移行モデルを計算させる。前記命令の実行は、前記プロセッサに、さらに、前記累積的移行モデルを用いて、前記複数の画像フレームの各々を位置合わせさせる。前記命令の実行は、前記プロセッサに、さらに、前記累積的移行モデルを用いて、前記第１の頸部画像及び前記第２の頸部画像の位置合わせを提供させる。基本的に、前記ビデオデータは、多くの異なる画像フレームを有する。移行モデルは、隣接する画像フレームの各々の間の変化を計算するために用いられる。次に、累積的移行モデルは、前記第１の頸部画像と前記第２の頸部画像との間の位置合わせを計算するために用いられる。これは、前記第１の頸部画像と前記第２の頸部画像との間のより正確な位置合わせを提供するという利点を有し得る。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、連続画像フレームの少なくとも１つの対の間の移行モデルの決定の失敗を検出させる。失敗は、例えば、連続画像フレームの対の間の移行モデルを決定する能力であっても良い。前記命令の実行は、前記プロセッサに、さらに、前記失敗の前の前記ビデオデータから選択された第１の画像フレームから第１の画像のセグメント化を計算させる。前記命令の実行は、前記プロセッサに、さらに、前記失敗の後の前記ビデオデータから選択された第２の画像フレームから第２の画像のセグメント化を計算させる。両方の場合において前記画像のセグメント化は、標準的な画像セグメント化ソフトウェアモジュールを用いて計算されても良い。例えば、画像セグメント化モジュールは、画像内の頸部の特定の鳥類学的特徴（ornithological features）を認識するための専用コードを有しても良い。画像セグメント化モジュールは、可変モデル又は他のモデル化手段のようなものを用いて画像セグメント化を実行しても良い。

前記命令の実行は、前記プロセッサに、さらに、前記第１の画像フレームと前記第２の画像フレームとの間の第２の移行を決定させる。前記命令の実行は、前記プロセッサに、さらに、前記第２の移行を用いて、前記累積的移行モデルを修正させる。基本的に、前記第１及び第２の画像セグメント化は、前記第２の画像フレームを前記第１の画像フレームに位置合わせする方法を提供する。したがって、画像セグメントは、前記第１の画像フレームと前記第２の画像フレームとの間の移行を計算するために用いられても良い。次に、これは、前記累積的移行モデルを修復又は修正するためのブリッジとして用いられても良い。

幾つかの実施形態では、前記第２の移行モデルは、隣接フレーム間の移行モデルが決定されるのと同じ方法で決定される。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、連続画像フレームの少なくとも１つの対の間の移行の決定の失敗を検出させる。前記命令の実行は、前記プロセッサに、さらに、前記失敗の前の前記ビデオデータをから第１の画像を選択させる。前記命令の実行は、前記プロセッサに、さらに、前記失敗の後の前記ビデオデータをから第２の画像フレームを選択させる。前記命令の実行は、前記プロセッサに、さらに、前記第１の画像と前記第２の画像との間の第２の移行を決定させる。前記命令の実行は、前記プロセッサに、さらに、前記第２の移行を用いて、前記累積的移行モデルを修正させる。幾つかの実施形態では、前記第２の移行は、連続画像フレームの対の間の移行モデルが決定されるのと同じ方法で実行され得る。

別の実施形態では、前記第１の頸部画像は、造影剤前及び／又は刺激剤前画像である。前記第２の頸部画像は、造影剤後及び／又は刺激剤後画像である。前記命令の実行は、前記プロセッサに、さらに、画像内の基本的解剖学的オブジェクトを識別させる。例えば、基本的解剖学的オブジェクトは、Ｏｓ、柱状領域、及び移行帯であっても良いが、これらに限定されない。前記命令の実行は、前記プロセッサに、さらに、不明瞭度差スコアを生成させる。前記プロセッサのこれらのステップは、例えば、患者の頸部の光学的検査の方法を実行するために用いられても良い。方法は、少なくとも１回、刺激剤及び／又は造影剤を頸部に適用するステップを有しても良い。方法は、刺激剤の各適用の前及び後に、頸部の拡大画像を取得するステップを更に有しても良い。方法は、画像内の基本的解剖学的オブジェクト、つまりＯｓ、柱状領域及び移行帯を識別するステップを更に有しても良い。方法は、不明瞭度差スコアを生成するステップを更に有しても良い。

別の実施形態では、前記第２の頸部画像は、前記第１の頸部画像内の少なくとも部分的に拡大された領域を示す拡大画像である。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、ディスプレイに、前記第１の頸部画像に重ね合わされた赤点斑マーク領域を表示させる。

別の態様では、本発明は、頸部を検査する医療機器を制御するプロセッサによる実行のための機械実行命令を有するコンピュータプログラムを提供する。前記医療機器は、頸部画像を取得する光学検査システムを有する。前記命令の実行は、前記プロセッサに、さらに、前記光学検査システムを用いて前記頸部画像を取得させる。前記命令の実行は、プロセッサに、さらに、デジタルフィルタを用いて関心点位置セットを計算させる。前記命令の実行は、前記プロセッサに、さらに、前記関心点位置セット及び形態フィルタを用いてフィルタリングされた関心点位置セットを計算させる。前記命令の実行は、前記プロセッサに、さらに、前記フィルタリングされた関心点位置セット及び近隣に基づくフィルタを用いて削減された関心点セットを計算させる。前記命令の実行は、前記プロセッサに、さらに、訓練された分類モジュール及び前記削減された関心点セットを用いて分類された関心点位置セットを計算させる。

前記命令の実行は、前記プロセッサに、さらに、第２の近隣に基づくフィルタ及び前記分類された関心点位置セットを用いて赤点斑位置セットを計算させる。前記命令の実行は、前記プロセッサに、さらに、赤点斑ポイント位置を用いて赤点斑マーク領域を計算させる。

別の態様では、本発明は、ビデオ位置合わせ方法を提供し、当該方法は、複数の画像フレームを有するビデオデータを受信するステップを有する。方法は、前記複数の画像フレームから選択された連続画像フレームの各対の間の移行を決定するステップを更に有する。方法は、連続画像フレームの各対の間の移行から累積的移行モデルを計算するステップを更に有する。方法は、累積変換を用いて複数の画像フレームの各々を位置合わせするステップを更に有する。本実施形態は、ビデオデータ内のフレームを互いに位置合わせする効率的な方法を提供するので、有益であり得る。

別の実施形態では、移行を決定するためにLucas-Kanade追跡アルゴリズムが用いられる。

別の実施形態では、移行は、ＳＩＦＴ特徴を追跡することにより決定される。

別の実施形態では、移行は、特徴の一致を引き出すための同時ローカライゼーション及びマッピングアルゴリズムにより決定される。

別の実施形態では、方法は、連続画像フレームの少なくとも１つの対の間の移行の決定の失敗を検出するステップを更に有する。方法は、前記失敗の前の前記ビデオデータから選択された第１の画像フレームから第１の画像のセグメント化を計算するステップを更に有する。方法は、前記失敗の後の前記ビデオデータから選択された第２の画像フレームから第２の画像のセグメント化を計算するステップを更に有する。方法、前記第１の画像フレームと前記第２の画像フレームとの間の第２の移行を決定するステップを更に有する。方法は、前記第２の移行を用いて前記累積的移行を修正するステップを更に有する
幾つかの実施形態では、前記第２の移行の決定は、連続画像フレームの各対の間の移行の決定と同じ方法で実行され得る。

別の実施形態では、方法は、連続画像フレームの少なくとも１つの対の間の移行の決定の失敗を検出するステップを更に有する。方法は、前記累積的移行モデルから低信頼性の決定された移行を除去するステップを更に有する
別の実施形態では、方法は、連続画像フレームの少なくとも１つの対の間の移行の決定の失敗を検出するステップを更に有する。方法は、前記失敗の前の前記ビデオデータから選択された第１の画像フレームから第１の画像のセグメント化を計算するステップを更に有する。方法は、前記失敗の後の前記ビデオデータから選択された第２の画像フレームから第２の画像のセグメント化を計算するステップを更に有する。前記第１及び第２の画像セグメント化は、第３の画像セグメント化技術を用いて決定されても良い。方法は、前記第１の画像セグメント化及び前記第２の画像セグメント化を用いて前記累積的移行モデルを修正するステップを更に有する
別の実施形態では、方法は、連続画像フレームの少なくとも１つの対の間の移行の決定の失敗を検出するステップを更に有する。方法は、前記失敗の前の前記ビデオデータから第１の画像フレームを選択するステップを更に有する。方法は、前記失敗の後の前記ビデオデータから第２の画像フレームを選択するステップを更に有する。

方法、前記第１の画像と前記第２の画像との間の第２の移行を決定するステップを更に有する。方法は、前記第２の移行を用いて前記累積的移行を修正するステップを更に有する
幾つかの実施形態では、前記第２の移行は、連続画像の各対の間の移行を決定する移行と同じ方法で実行され得る。

別の実施形態では、前記第１の画像セグメント化は、第１の輪郭である。前記第２の画像セグメント化は、第２の輪郭である。前記命令の実行は、前記プロセッサに、さらに、前記第１の輪郭と前記第２の輪郭との間の移行を決定させる。前記累積的移行は、前記移行を用いて修正される。

別の実施形態では、前記移行は、輪郭に基づく照合を用いて決定される。

別の実施形態では、第１の画像セグメント化及び第２の画像セグメント化は、関心領域内で実行される。

別の実施形態では、方法は、前記関心領域を受信するステップを更に有する。これは、別のコンピュータシステムから又はユーザにより操作されているユーザインタフェースからの関心領域の受信であっても良い。方法は、ソフトウェアモジュールにより決定された関心領域を受信するステップを更に有しても良い。

別の実施形態では、関心領域はオペレータから受信される。

別の実施形態では、移行は、特徴識別アルゴリズムを用いて連続画像フレームの各対の間の特徴の一致を特定することにより決定される。移行は、さらに、前記特徴の一致を用いて移行を計算することにより決定される。

別の実施形態では、前記特徴識別アルゴリズムは、ラッピング及び変換を用いて隣接フレーム間の同じ特徴をマッピングするよう動作する。

別の態様では、本発明は、前述のビデオ位置合わせ方法のうちの如何なる１つを実行するコンピュータプログラムを提供する。

別の態様では、本発明は、頸部画像を取得する光学検査システムを有する医療機器を提供する。前記医療機器は、前記医療機器を制御するプロセッサを更に有する。前記医療機器は、前記プロセッサによる実行のための機械実行命令を含むメモリを更に有する。前記命令の実行は、前記プロセッサに、さらに、生理食塩水処理された頸部の画像を取得させる。前記生理食塩水処理された頸部の画像は、頸部が生理食塩水溶液で洗浄された後に取得された頸部画像である。前記命令の実行は、前記プロセッサに、さらに、前記光学検査システムを用いて複数の酢酸により白色化した頸部の画像を取得させる。前記複数の酢酸により白色化した頸部の画像は、頸部が酢酸溶液で洗浄された後に取得された頸部画像である。前記複数の酢酸により白色化した頸部の画像は、異なる時間に取得され、酢酸による白色化の動態が検査され又は決定されるようにしても良い。前記命令の実行は、前記プロセッサに、さらに、前記光学検査システムを用いてヨウ素処理された頸部の画像を取得させる。前記ヨウ素処理された頸部の画像は、ヨウ素浴液又は溶液が適用された後に取得された頸部画像である。

前記命令の実行は、前記プロセッサに、さらに、前記酢酸により白色化した頸部の画像を用いて酢酸による白色化の動態スコアを計算させる。前記命令の実行は、前記プロセッサに、さらに、前記酢酸により白色化した頸部の画像を用いて酢酸による白色化のマージンスコアを計算させる。前記命令の実行は、前記プロセッサに、さらに、前記酢酸により白色化した頸部の画像及び前記生理食塩水処理された頸部の画像を用いて血管パターンスコアを計算させる。血管パターンは、酢酸により白色化した頸部の画像及び生理食塩水処理された頸部の画像の両者に注記される。生理食塩水処理された頸部の画像内に存在していた血管パターンが酢酸により白色化した頸部の画像内では消えている場合、これは癌性腫瘍の存在を示し得る。

前記命令の実行は、前記プロセッサに、さらに、前記ヨウ素処理された頸部の画像を用いてヨウ素染色スコアを計算させる。前記ヨウ素染色スコアは、頸部内の組織によるヨウ素吸収の位置により決定されるスコアである。前記命令の実行は、前記プロセッサに、さらに、酢酸による白色化の動態スコア、酢酸による白色化のマージンスコア、血管パターンスコア、及びヨウ素染色スコアを加算することにより膣鏡診インデックススコアを決定させる。本実施形態は、膣鏡診インデックススコアの決定が診断を行うための医師の訓練又は子宮頸ガンを診断する際の医師の支援において助けとなるので、有利であり得る。

別の実施形態では、前記医療機器は、ディスプレイ及びユーザインタフェースを更に有する。ディスプレイは、情報又はグラフィックを表示するよう構成されるディスプレイであっても良い。前記ユーザインタフェースは、ユーザによるデータの入力又は応答のために用いられ得る如何なる装置も包含する。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、前記ディスプレイに、前記酢酸により白色化した頸部の画像のうちの少なくとも１つを表示させる。前記命令の実行は、前記プロセッサに、さらに、前記ディスプレイに、前記酢酸による白色化の動態スコアを表示させる。前記命令の実行は、前記プロセッサに、さらに、前記ユーザインタフェースから、修正された酢酸による白色化の動態スコアを受信させる。前記膣鏡診インデックススコアは、前記修正された酢酸による白色化の動態スコアを用いて少なくとも部分的に決定される。本実施形態は、医師又は医療提供者が前記酢酸により白色化した頸部の画像のうちの少なくとも１つ及び前記酢酸による白色化の動態スコアを見ることを望み得るので、有利であり得る。次に、医師又は医療提供者は、前記酢酸による白色化の動態スコアに同意し又は同意しなくても良い。これは、医師の訓練において有用であり得る。これは、医療機器の動作及び機能の訓練においても有用であり得る。例えば、前記酢酸による白色化の動態スコアは、時間に依存する酢酸により白色化した頸部の画像の不明瞭度インデックスを用いて決定されても良い。前記修正された酢酸による白色化の動態スコアを受信するステップは、酢酸による白色化の動態過程にスコアを付ける精度を向上させるために用いられ得る実験データを提供しても良い。

別の態様では、前記命令の実行は、前記プロセッサに、さらに、前記ディスプレイに、前記酢酸により白色化した頸部の画像のうちの少なくとも１つを表示させる。前記命令の実行は、前記プロセッサに、さらに、前記ディスプレイに、前記酢酸による白色化のマージンスコアを表示させる。前記命令の実行は、前記プロセッサに、さらに、前記ユーザインタフェースから、修正された酢酸による白色化のマージンスコアを受信させる。前記膣鏡診インデックススコアは、前記修正された酢酸による白色化のマージンスコアを用いて少なくとも部分的に決定される。本実施形態は、再び、医師又は他の医療提供者に訓練機会を提供し得るので、並びに前記修正された酢酸による白色化のマージンスコアが前記酢酸により白色化した頸部の画像のより正確なスコアリング処理を提供し得る実験データを提供するために用いられ得るので、有利であり得る。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、前記ディスプレイに、前記酢酸により白色化した頸部の画像のうちの少なくとも１つを表示させる。前記命令の実行は、前記プロセッサに、さらに、前記ディスプレイに、前記血管パターンスコアを表示させる。前記命令の実行は、前記プロセッサに、さらに、前記ユーザインタフェースから、修正された血管パターンスコアを受信させる。前記膣鏡診インデックススコアは、前記修正された血管パターンスコアを用いて少なくとも部分的に決定される。再び、本実施形態は、医師又は医療提供者を訓練するために有用であり、前記修正された血管パターンスコアの受信は、血管パターンをスコアリングするアルゴリズムを向上させるために有用であり得る。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、前記ディスプレイに、前記酢酸により白色化した頸部の画像のうちの少なくとも１つを表示させる。前記命令の実行は、前記プロセッサに、さらに、前記ディスプレイに、前記ヨウ素染色スコアを表示させる。前記命令の実行は、前記プロセッサに、さらに、前記ユーザインタフェースから、修正されたヨウ素染色スコアを受信させる。前記膣鏡診インデックススコアは、前記修正されたヨウ素染色スコアを用いて少なくとも部分的に決定される。本実施形態は、医師及び／又は医療提供者を訓練するのを助ける方法を提供し得るので、有利であり得る。また、前記修正されたヨウ素染色スコアの受信は、ヨウ素染色のより正確なスコアリングを提供し得る。前記ヨウ素染色スコアは、頸部の異なる領域をヨウ素吸収陽性領域及びヨウ素吸収陰性領域に分けることから得られても良い。前記修正されたヨウ素染色スコアは、ヨウ素吸収した領域の正しい識別、及びそれら領域の移行帯に対する位置を修正するのを助けるために用いられても良い。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、前記酢酸により白色化した頸部の画像の不明瞭度インデックススコアを決定させる。前記酢酸による白色化の動態スコアは、前記不明瞭度インデックススコアを用いて少なくとも部分的に計算される。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、前記酢酸により白色化した頸部の画像の時間に依存する不明瞭度インデックスを計算させる。不明瞭度インデックススコアは、前記時間に依存する不明瞭度インデックスを所定の不明瞭度インデックス範囲にビニングすることにより、前記時間に依存する不明瞭度インデックスから決定される。基本的に、各酢酸により白色化した頸部の画像の不明瞭度インデックスが決定されても良い。これは、時間に依存する不明瞭度インデックスとしてプロットされ又は格納される。次に、所定の不明瞭度インデックス範囲又は基準のセットを用いて、前記時間に依存する不明瞭度インデックスは、幾つかの異なるスコアのうちの１つにビニングされても良い。このビニングは、実験的に決定された基準を用いても良い。例えば、医師は、酢酸により白色化した頸部の画像のセットを用いて診断を行い得る。次に、酢酸により白色化した頸部の画像の膨大な数のセットに基づく医師の診断を用いて、特定の不明瞭度インデックススコアの正しいビニングが決定され得る。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、前記酢酸により白色化した頸部の画像のうちの少なくとも１つを選択させる。前記命令の実行は、前記プロセッサに、さらに、前記酢酸により白色化した頸部の画像のうちの少なくとも１つの中の移行帯を識別させる。前記命令の実行は、前記プロセッサに、さらに、前記酢酸により白色化した頸部の画像のうちの少なくとも１つの中の酢酸による白色化のマージンを識別させる。前記酢酸による白色化のマージンスコアは、前記移行帯及び前記酢酸による白色化のマージンを用いて少なくとも部分的に計算される。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、酢酸による白色化の境界の鮮明度を決定するために少なくとも１つの酢酸により白色化した頸部の画像を閾値化させる。前記酢酸による白色化のマージンスコアは、前記酢酸による白色化の境界の鮮明度を用いて少なくとも部分的に計算される。

別の実施形態では、前記酢酸による白色化のマージンが前記移行帯の外側である場合、前記酢酸による白色化のマージンスコアは、第１の値を割り当てられる。前記酢酸による白色化のマージンが前記移行帯の内側である場合、前記酢酸による白色化のマージンスコアは、前記酢酸による白色化の境界の鮮明度を所定の閾値と比較することにより、第２の値又は第３の値を割り当てられる。本実施形態は、実験的に用いられるデータが酢酸による白色化のマージンスコアを正確に決定するために用いられ得るので、有利であり得る。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、生理食塩水処理された頸部の画像内のモザイク、赤点斑マーク領域、及び／又は特殊な血管を識別させる。前記命令の実行は、前記プロセッサに、さらに、複数の酢酸処理された頸部の画像から選択された１つの酢酸処理された頸部の画像内の酢酸処理後のモザイク、酢酸処理後の赤点斑マーク領域、及び／又は酢酸処理後の特殊な血管を識別させる。酢酸処理後のモザイク、酢酸処理後の赤点斑マーク領域、及び酢酸処理後の特殊な血管は、単に酢酸浴液又は洗浄が頸部に適用された後に識別可能なモザイク、赤点斑マーク領域、及び特殊な血管である。前記血管パターンスコアは、モザイクと酢酸処理後のモザイク、赤点斑マーク領域と酢酸処理後の赤点斑マーク領域、特殊な血管と酢酸処理後の特殊な血管、及びこれらの組合せ、のうちのいずれか１つの間の差を用いて計算される。これは、これらの構造が酢酸が適用された後に消失する場合、頸部内の癌の存在を示し得るので、有用であり得る。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、前記ヨウ素処理された頸部の画像内の移行帯を識別させる。前記命令の実行は、前記プロセッサに、さらに、前記ヨウ素処理された頸部の画像のカラーヒストグラムを生成させる。前記命令の実行は、前記プロセッサに、さらに、前記カラーヒストグラムを用いて、前記ヨウ素処理された頸部の画像をヨウ素陽性領域及びヨウ素陰性領域に閾値化させる。ヨウ素染色スコアは、移行帯内のヨウ素陽性領域を識別することにより少なくとも部分的に計算される。

別の実施形態では、前記ヨウ素染色スコアは、移行帯がヨウ素陽性である場合に第１のヨウ素値を割り当てられる。前記ヨウ素染色スコアは、移行帯がヨウ素陽性及びヨウ素陰性である場合に第２のヨウ素値を割り当てられる。前記ヨウ素染色スコアは、酢酸により白色化した領域がヨウ素陰性である場合に第３の値を割り当てられる。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、前記ユーザインタフェースを用いて注釈を受信させる。前記命令の実行は、前記プロセッサに、さらに、前記ディスプレイに、前記注釈を表示させる。これは、医師及び医療提供者の訓練において特に有用であり得る。これは、医師に特定の患者の健康に関して情報を提供する際にも有用であり得る。

別の実施形態では、前記命令の実行は、前記プロセッサに、さらに、患者記録に前記注釈を格納させる。幾つかの実施形態では、前記注釈は、画像と共に格納されても良い。これは、熟練した医師又は医療提供者が異なる医師又は医療提供者が使用し及び患者を診断若しくは治療する際に役立ち得る患者記録に注釈又は所見を入力できるので、有用であり得る。

＜定義＞
本願明細書で用いられるように、用語「光学拡大手段」は、光学画像を拡大可能な装置又はアルゴリズム、例えば拡大レンズ、顕微鏡、又は拡大がデジタル的に若しくは電子的に実行されるデジタル画像処理システムに関する。

本願明細書で用いられるように、用語「膣鏡」は、子宮頸ガンの診断を助けるために子宮頸部の拡大視覚的検査に用いられる強力な光源を備えた低倍率、立体的、両眼視野顕微鏡である。幾つかの例では、膣鏡は、立体及び双眼視野顕微鏡であっても良い。他の例では、膣鏡は単眼顕微鏡である。

用語「Ｏｓ」は、子宮腔の内部の狭い部分である頸部の外口に関連する。これは、頂点と基底との間の中ほどにある子宮表面に観察される狭部として知られる僅かな狭窄に対応する。

用語「円柱領域」は、頸部の上皮領域に関連する。子宮頸膣部は、非角化層を成す扁平上皮を有する。子宮頸部（子宮内でより基部に近い）は、単純な円柱上皮、つまり「円柱領域」を有する。

用語「移行帯」は、子宮頸部と子宮頸膣部の境界に隣接する領域に関連する。移行帯は、普通の生活の間に何回も化生を経験する。しかしながら、この化生の可能性は、この領域の癌の危険性を増大させる。移行帯は、子宮頸癌が最も起こりやすい。

用語「一時的移行帯」は、ヨウ素溶液が染色した後に条件付きで検出される移行帯に関連する。

用語「実際の移行帯」は、酢酸処理後の画像に一時的移行帯をマッピングした後に決定される移行帯に関連する。実際の移行帯は、腫瘍又は癌性過程の危険性が高いため「癌性領域」とも呼ばれる場合が多い。

用語「調剤手段」は、時間、容量及び位置に関して制御される方法で、少なくとも１つの刺激及び／又は造影剤を所与の対象に適用するのに有用な装置に関連する。望ましくは、このような調剤手段は、注射器、ピペット、等である。

用語「フレーム取り込み器」は、アナログビデオフレーム画像化装置の出力を変換可能な装置、又は更なる画像処理のためにアナログスキャンをデジタル画像に変換するコンバータを意味する。

用語「キーフレーム抽出手段」は、少なくとも１つの酢酸処理前画像、酢酸処理後画像及びヨウ素溶液処理後画像を自動的に識別できる装置又はアルゴリズムに関連する。

用語「グレア除去手段」は、例えばデジタル画像内のグレアを除去可能な装置又はアルゴリズムに関連する。

用語「画像処理手段」（又は画像プロセッサ）は、デジタル画像データを入力、計算及び出力可能なデジタル画像処理装置又はソフトウェアに関連する。

用語「不明瞭度変化検出手段」（又は不明瞭度変化検出器）は、例えば本願明細書に記載されるような少なくとも２つの対応する画像における不明瞭度の変化を検出可能なデジタル画像処理装置又はソフトウェアに関連する。

用語「オブジェクト検出手段」（又はオブジェクト検出器）は、デジタル画像内のオブジェクトを検出及び／又は識別可能なデジタル画像処理装置又はソフトウェアに関連する。

本願明細書で用いられる「コンピュータ可読記憶媒体」は、コンピューティング装置のプロセッサにより実行可能な命令を格納できる如何なる有形記憶媒体も含む。コンピュータ可読記憶媒体は、コンピュータ可読非一時的記憶媒体として表されても良い。コンピュータ可読記憶媒体は、有形コンピュータ可読媒体として表されても良い。幾つかの実施形態では、コンピュータ可読記憶媒体は、コンピューティング装置のプロセッサによりアクセス可能なデータを格納できても良い。コンピュータ可読記憶媒体の例は、フロッピディスク、穿孔テープ、穿孔カード、磁気ハードディスクドライブ、固体ハードディスク、フラッシュメモリ、ＵＳＢサムドライブ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、光ディスク、光磁気ディスク、プロセッサのレジスタファイルを含むが、これらに限定されない。光ディスクの例は、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、例えばＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＷ又はＤＶＤ−Ｒディスクを含む。コンピュータ可読記憶媒体は、コンピュータ装置によりネットワーク又は通信リンクを介してアクセス可能な種々の記録媒体も表す。例えば、データはモデムを介して、インターネットを介して、又はローカルエリアネットワークを介して読み出されても良い。コンピュータ可読記憶媒体への言及は、場合によっては複数のコンピュータ可読記憶媒体であると解釈されるべきである。１又は複数のプログラムの種々の実行可能コンポーネントは、異なる場所に格納されても良い。コンピュータ可読記憶媒体は、例えば、同じコンピュータシステム内の複数のコンピュータ可読記憶媒体であっても良い。コンピュータ可読記憶媒体は、例えば、複数のコンピュータシステム又はコンピューティング装置に渡り分散されたコンピュータ可読記憶媒体であっても良い。

「コンピュータメモリ」又は「メモリ」は、コンピュータ可読記憶媒体の一例である。コンピュータメモリは、プロセッサに直接アクセス可能な如何なるメモリであっても良い。コンピュータメモリの例は、ＲＡＭメモリ、レジスタ、レジスタファイルを含むがこれらに限定されない。「コンピュータメモリ」又は「メモリ」への言及は、場合によっては複数のメモリであると解釈されるべきである。メモリは、例えば、同じコンピュータシステム内の複数のメモリであっても良い。メモリは、複数のコンピュータシステム又はコンピューティング装置に渡り分散された複数のメモリであっても良い。

「コンピュータ記憶装置」又は「記憶装置」は、コンピュータ可読記憶媒体の一例である。コンピュータ記憶装置は、如何なる不揮発性コンピュータ可読記憶媒体であっても良い。コンピュータ記憶装置の例は、ハードディスクドライブ、ＵＳＢサムドライブ、フロッピドライブ、スマートカード、ＤＶＤ、ＣＤ−ＲＯＭ及び固体ハードディスクドライブを含むがこれらに限定されない。幾つかの実施形態では、コンピュータ記憶装置は、コンピュータメモリを含んでも良い。或いは逆も同様である。「コンピュータ記憶装置」又は「記憶装置」への言及は、場合によっては複数の記憶装置であると解釈されるべきである。記憶装置は、例えば、同じコンピュータシステム又はコンピューティング装置内の複数の記憶装置であっても良い。記憶装置は、複数のコンピュータシステム又はコンピューティング装置に渡り分散された複数の記憶装置であっても良い。

本願明細書で用いられるように「プロセッサ」は、プログラム又は機械実行命令を実行可能な電子部品を包含する。「プロセッサ」を有するコンピューティング装置への言及は、場合によっては１より多いプロセッサ又はプロセッサコアを含むとして解釈されるべきである。プロセッサは、例えばマルチコアプロセッサであっても良い。プロセッサは、単一のコンピュータシステム内の又は複数のコンピュータシステムの間に分散されたプロセッサの集合も表し得る。用語コンピューティング装置は、場合によっては、それぞれ１又は複数のプロセッサを有するコンピューティング装置の集合体又はネットワークを表すとして解釈されるべきである。多くのプログラムは、同一のコンピューティング装置内にある又は複数のコンピューティング装置に渡って分散され得る複数のプロセッサにより実行される命令を有する。

本願明細書で用いられる「ユーザインタフェース」は、ユーザ又はオペレータにコンピュータ又はコンピュータシステムとの相互作用を可能にするインタフェースを含む。「ユーザインタフェース」は、「ヒューマンインタフェース装置」として表されても良い。ユーザインタフェースは、情報又はデータをオペレータに提供し及び／又は情報又はデータをオペレータから受信しても良い。ユーザインタフェースは、オペレータからの入力をコンピュータにより受信させ、ユーザにコンピュータからの出力を提供しても良い。言い換えると、ユーザインタフェースは、オペレータにコンピュータを制御又は操作させても良い。また、インタフェースは、コンピュータにオペレータの制御又は操作の効果を示させても良い。ディスプレイ又はグラフィカルユーザインタフェースへのデータ又は情報の表示は、オペレータへのデータの提供の一例である。キーボード、マウス、トラックボール、タッチパッド、ポインティングスティック、グラフィックタブレット、ジョイスティック、ゲームパッド、ウェブカメラ、ヘッドセット、ギアスティック、ステアリングホイール、ペダル、有線グローブ、ダンスパッド、リモコン、１又は複数のスイッチ、１又は複数のボタン、加速度形を通じたデータの受信は、全て、オペレータからの情報又はデータの受信を可能にするユーザインタフェースコンポーネントの例である。

本願明細書で用いられる「ハードウェアインタフェース」は、コンピュータシステムのプロセッサに外部コンピューティング装置及び／又は機器と相互作用させ及び／又は制御させるインタフェースを含む。ハードウェアインタフェースは、プロセッサに、制御信号又は命令を外部コンピューティング装置及び／又は機器へ送信させても良い。ハードウェアインタフェースは、プロセッサに、外部コンピューティング装置及び／又は機器とデータを交換させても良い。ハードウェアインタフェースの例は、ユニバーサルシリアルバス、ＩＥＥＥ１３９４ポート、パラレルポート、ＩＥＥＥ１２８４ポート、シリアルポート、ＲＳ２３２ポート、ＩＥＥＥ４８８ポート、Ｂｌｕｅｔｏｏｔｈ（登録商標）コネクション、無線ローカルエリアネットワークコネクション、ＴＣＰ／ＩＰコネクション、Ｅｔｈｅｒｎｅｔ（登録商標）コネクション、制御電圧インタフェース、ＭＩＤＩインタフェース、アナログ入力インタフェース、及びデジタル入力インタフェースを含むが、これらに限定されない。

本願明細書で用いられる「ディスプレイ」又は「ディスプレイ装置」は、画像又はデータを表示するために適応される出力装置又はユーザインタフェースを含む。ディスプレイは、視覚的、聴覚的、及び／又は触覚的データを出力しても良い。ディスプレイの例は、コンピュータモニタ、テレビジョンスクリーン、タッチスクリーン、触覚電子ディスプレイ、点字スクリーン、陰極線管（ＣＲＴ）、蓄積管、Ｂｉｓｔａｂｌｅディスプレイ、電子ペーパ、ベクトルディスプレイ、平面パネルディスプレイ、真空蛍光ディスプレイ（ＶＦ）、発光ダイオード（ＬＥＤ）ディスプレイ、電子発光ディスプレイ（ＥＬＤ）、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、プロジェクタ、及びヘッドマウントディスプレイを含むが、これらに限定されない。

本発明の上述の及び他の態様は、本願明細書に記載される実施形態から明らかであり、それらの実施形態を参照して教示される。以下の図面がある。
Philips Goldway膣鏡を示す。 本発明による方法のフロー図を示す。 膣鏡画像を自動化する方法のフロー図を示す。 酢酸が頸部に適用される過程を示す膣鏡画像を示す。 生膣鏡画像を示す。 グレアピクセルの除去された同じ画像を示す。 本発明による方法により識別された膣鏡画像内のオブジェクト、つまり頸部（１）、移行帯（２）、円柱上皮（３）及びＯｓ（４）を示す。 酢酸が適用された後に撮られた膣鏡画像を示す。 一緒に識別されたＯｓ及び円柱上皮領域を示す。 別個のＯｓ及び円柱状領域を示す。 小さなバラバラなクラスタを除去した後にマークを外されたＯｓ及び円柱上皮を示す。 ヨウ素溶液処理後画像内で識別された一時的移行帯を示す（黒線）。 酢酸処理後画像にマッピングされた一時的移行帯を示す。 実際の移行帯を示す。 酢酸処理後画像内の移行帯を示す。 移行帯の主要な及び軽微な不明瞭度変化へのクラスタ化を示す。 主要な不明瞭度変化を有する酢酸処理後の移行帯内のピクセルを示す。 酢酸処理前画像内の対応するピクセルを示す。 酢酸処理前画像を示す。 １分後の酢酸処理後画像を示す。 不明瞭度差スコア＝１８．４６を有する不明瞭画像を示す。 酢酸処理前画像を示す。 ３分後の酢酸処理後画像を示す。 不明瞭度差スコア＝４３．２８の不明瞭度差を有する不明瞭画像を示す。 本発明の一実施形態による方法を示すフロー図である。 本発明の一実施形態による医療機器を示す。 頸部画像を示す。 本発明の一実施形態に含まれる幾つかのソフトウェアモジュールの関係を示す。 本発明の一実施形態による方法を示すフロー図である。 訓練された分類モジュールとして用いられるＲＴ又はランダムツリーをどのように構築するかの例を示す。 ランダムツリー分類を構築する特徴の計算を示すフロー図を示す。 ツリー数に対する赤点斑サンプルテストセットエラーのグラフを示す。 頸部画像を示す。 前処理後の画像１７００を示す。 画像１８００内に位置する検出された関心点を示す画像１７００を示す。 形態学的フィルタリング後の画像１９００を示す。 近隣フィルタリング後の画像２０００を示す。 ＲＴ分類器を用いた後の画像２１００を示す。 第２の近隣フィルタリング後の画像２２００を示す。 頸部内部領域で見付かった赤点斑を示す。 赤点斑の強調表示された頸部の緑色フィルタ画像を示す。 僅かな赤点斑を有する頸部の酢酸処理後画像を示す。 低強度の赤点斑を有する頸部のズーム画像を示す。 炎症を有し赤点斑の存在しない頸部画像を示す。 頸部領域内に存在する赤点斑に似た多くの白い腺を有する酢酸処理後画像を示す。 本発明の更なる実施形態による方法を示すフロー図である。 本発明の一実施形態による医療機器の一例を示す。 自動膣鏡の一般的ワークフローを示すフロー図である。 特徴に基づく追跡の一例を示す。 本発明の更なる実施形態による方法を示すフロー図である。 本発明の更なる実施形態による医療機器を示す。 本発明の更なる実施形態による医療機器の機能構成要素を示すブロック図である。 本発明の更なる実施形態による方法を示すブロック図である。 酢酸により白色化した頸部の画像の一例を示す。 ヨウ素処理された頸部の画像の一例を示す。 ２つのヒストグラムを示す。 ヨウ素処理された頸部の画像及び同じ頸部の酢酸処理された頸部の画像を示す。 一連の６枚の異なる頸部画像を示す。 酢酸処理前及び後画像内のＯｓの検出を説明する一連の３枚の頸部画像を示す。 本発明の一実施形態によるユーザインタフェースを示す。 一連の６枚の頸部画像を示す。 赤点斑の印の識別を説明するための酢酸により白色化した同じ頸部の画像の３つのバージョンを示す。 酢酸により白色化した同じ頸部の画像の３つのバージョンを示す。 同一の頸部の２枚の画像を示す。 本発明の一実施形態によるユーザインタフェースを示す。 コンジローマ様癌を発生した頸部の画像、辺縁明瞭な頸部画像、及びロールしたマージンの頸部画像を説明する３枚の酢酸による白色化の画像を示す。 不明瞭度指数の３つのサブクラスを説明する、３枚の酢酸により白色化した頸部の画像を示す。 時間に対する不明瞭度指数のグラフを示す。 図４９に示したユーザインタフェースの異なる図を示す。 頸部画像の一例を示す。 モザイク領域の示された図５４に示したものと同じ頸部の画像である。 図４９に示したユーザインタフェースの異なる図を示す。 図４９に示したユーザインタフェースの異なる図を示す。 図４９に示したユーザインタフェースの異なる図を示す。 図４９に示したユーザインタフェースの異なる図を示す。 図４９に示したユーザインタフェースの異なる図を示す。 陽性のヨウ素吸収、部分的ヨウ素吸収、及び陰性のヨウ素吸収６１０６を説明するヨウ素処理された頸部の画像を示す。 Reid膣鏡指数に基づくスコアを説明する表を示す。

本発明による膣鏡（図１参照）は、キーフレーム抽出器、プリプロセッサ、オブジェクト検出器、及び不明瞭度変化検出器を有する。キーフレーム抽出器は、婦人科医に表示される膣鏡から来るビデオを入力として取り入れる。同じ光学倍率の頸部領域を含む画像（酢酸処理前、酢酸処理後、及びヨウ素溶液処理後）が抽出される（本願では、単語フレーム及び画像は、同義的に用いられる）。プリプロセッサでは、画像内の正反射により生じたグレアが除去される。これにより、良好なグレア対バックグランド比を提供するカラー画像から特徴画像が抽出される。特徴画像内の領域を含むグレアが検出され、該グレアにより影響を受ける全てのピクセルをカバーするために拡張される。次に、影響を受ける領域内のグレアは、基礎的な画像特徴の推定におけるフィリング（filling）により除去される。

次に、グレアの除去された画像は、オブジェクト検出器へ送信される。オブジェクト検出器は、画像を処理して、カラー及び強度情報を用いるセグメント化技術に基づき、Ｏｓ、円柱上皮及び移行帯を識別する。

次に、この情報は、移行帯内の白色化度及び癌化の程度を推定するために、不明瞭度変化検出器により用いられる。図２及び３に、提案する方法のフロー図を示す。

キーフレーム抽出器は、膣鏡から出力される２Ｄビデオを入力として取り入れる。キーフレーム抽出器は、ショット境界を識別し次に各ショットから関連画像を抽出することにより、ビデオをショットに分ける。抽出した画像の種類は、同じ倍率を有する、酢酸処理前画像、酢酸処理後画像、及びヨウ素溶液処理後画像である。

＜ショット境界識別器＞
膣鏡診を行っている間、異なる拡大レベルで及び頸部への酢酸（図４Ａ参照）若しくはヨウ素溶液のような異なる薬品の適用で頸部を診ることは、一般的なビデオ処理アプリケーションでは異なるショットとして考えられる。ショット／ビューは、時間及び空間で連続する動作を表す、膣鏡からキャプチャされた一連の相関画像として定められる。「ビュー境界」は、本願明細書では、膣鏡診を行っている間のあるビューから別のビューへ切り替わる点として定められる。汎用ビデオアプリケーションの環境における伝統的なショット境界検出アルゴリズムが、ショット境界を検出するために用いることができる。カラー特徴は、ショット検出のために用いられる。

＜キーフレーム選択＞
ショットが識別されると、キー画像が各ショットから自動的に選択される。キーフレームは、酢酸処理前、酢酸処理後、及びヨウ素溶液処理後のショットからである。ショット内の各フレーム又は画像は、頸部の色、テクスチャ、領域、等に基づく特徴セットと共に記述される。スコアαは、各フレームに割り当てられ、用いられる特徴セットの関数である。最大αを有するフレームは、ショット内のキーフレームとして選択される。

＜プリプロセッサ＞
プリプロセッサは、キーフレーム抽出器により選択されたキー画像を入力として取り入れる。頸部画像の品質は、グレア／グリント／正反射を含む多くの要因による。グレアは、影響を受けるピクセル内の色情報を消失させるので、画像分析アルゴリズムを信用できないものにしてしまう。したがって、膣鏡画像からグレアを除去する必要があり、これはプリプロセッサで行われる。グレア領域は、小さな、飽和したハイコントラスト領域として検出される。画像「Ｉ」はＲＧＢ色空間で開かれる。ＲＧＢ色空間のＧ成分は、良好なグレア対バックグランド比を提供するので、特徴空間として用いられる。Ｇ成分により生成されるヒストグラムの極大が、識別され、これは飽和値を表す。グレアピクセルに対するマスクが生成され、画像「Ｉ」からグレアピクセルを除去するために画像「Ｉ」に適用される（図４Ｃ参照）。

＜オブジェクト検出器＞
オブジェクト検出器は、グレアピクセルがフィルタ除去されたキーフレーム画像を入力として取り入れる。オブジェクト検出器は、頸部（１）、Ｏｓ（４）等、円柱上皮（３）、及び移行帯（２）の関連オブジェクトを識別することを目的とする（図４Ｄ参照）。
＜Ｏｓ及び円柱状領域検出＞
Ｏｓ及び円柱状領域は、以下のステップを用いて識別される。
−色に基づきピクセルを２つのクラスタにするピクセルのＫ平均クラスタリングを用いて酢酸処理後膣鏡画像をセグメント化する
−最小クラスタは、Ｏｓ＋円柱上皮領域としてラベル付けされる
−最小分散量子化を用いてＯｓ及び円柱状領域を分ける
−Ｏｓ及び円柱状領域の両方の中にある小さなバラバラのクラスタを繰り返し除去する。
図５に個々の画像分析処理を示す。

＜移行帯検出＞
酢酸処理後画像内の移行帯の検出は、２ステップのアプローチである。第１のステップでは、影響を受けた頸部ゾーンがヨウ素溶液処理で示される色変化に基づき移行帯を暫定的に検出するために、ヨウ素溶液処理後画像が処理される。キーフレーム抽出器から得られたヨウ素溶液処理後画像は、色に基づくＫ平均クラスタリングを用いて２個のクラスタにセグメント化される。２個のクラスタのうちの小さい方が選択される。このクラスタの凸包は、一時的移行帯として定められる。この次の第２のステップでは、一時的移行帯が酢酸処理前及び後画像にマッピングされ、次に、実際の移行帯を定めるために検出されたＯｓ及び円柱状領域が減算される。酢酸処理前及び後画像は、移行帯を識別する前に位置合わせされ得る。図６に個々の画像分析処理を示す。

＜不明瞭度変化検出器＞
このモジュールは、酢酸処理前及び後画像内で識別された移行帯を入力として取り入れ、全ての酢酸処理前及び後画像について、酢酸処理前画像に対する不明瞭度差スコアを生成する。概して、酢酸処理後画像において、主要な不明瞭度変化を示す移行帯内のピクセルが識別され、それらは酢酸処理後画像内の対応するピクセルと比較される。不明瞭度差スコアを生成するステップは次の通りである。
−酢酸処理後画像内の移行帯のＲＧＢ値をＬａｂ色空間（Ｌ成分が明度／白色度の人間の知覚と良く一致する）に変換する
−（臨床的に実施された不透明白色と半透明白色を一致させるために）移行帯内のピクセルを２レベルの白色領域、つまり主要な不明瞭度変化及び軽微な不明瞭度変化にクラスタ化する
−軽微な不明瞭度変化を有するピクセルを除去する
−酢酸処理前画像内で主要な不明瞭度変化に対応するピクセルを識別する。

最後に、各酢酸処理後画像は、次式を用いて酢酸処理前画像に対する不明瞭度差スコアを与えられる。

ここで、次の通りである。

Ｉ＝酢酸処理前画像内の主要ピクセルを有する画像、
Ｊ＝酢酸処理後画像内の主要ピクセルを有する画像、
Ｎ＝主要な不明瞭度変化を有するピクセルの数
ｒ＝主要な不明瞭度変化を有するバイナリ画像、
（ｉ，ｊ）＝画像Ｉ／Ｊ／ｒの空間領域のピクセル。

図７及び８に、個々の画像分析処理を示す。

図９は、本発明の一実施形態による方法を示すフロー図である。ステップ９００で、頸部画像は、光学検査システムを用いて取得される。次にステップ９０１で、デジタルフィルタを用いて、関心点位置セットが計算される。次にステップ９０２で、関心点位置セット及び形態フィルタを用いて、フィルタリングされた関心点位置セットが計算される。次にステップ９０３で、フィルタリングされた関心点位置セット及び近隣に基づくフィルタを用いて、削減された関心点位置セットが計算される。次にステップ９０４で、訓練された分類モジュール及び削減された関心点位置セットを用いて、分類された関心点位置セットが計算される。次にステップ９０６で、第２の近隣に基づくフィルタ及び分類された関心点位置セットを用いて、赤点斑位置のセットが計算される。最後にステップ９０８で、赤点斑ポイント位置を用いて、赤点斑マーク領域が計算される。

図１０は、本発明の一実施形態による医療機器１０００を示す。医療機器は、光学検査システム１００２及びコンピュータ１００４を有する。コンピュータ１００４は、プロセッサ１００６を有するプロセッサ１００６は、ハードウェアインタフェース１００８、ユーザインタフェース１０１０、コンピュータ記憶装置１０１２及びコンピュータメモリ１０１４に結合される。光学検査システム１００２はハードウェアインタフェース１００８に結合される。これは、光学検査システム１００２に、コンピュータ１００４へ画像を転送できるようにする。コンピュータ記憶装置１０１２内に、光学検査システム１００２で取得された頸部画像１０１６が格納される。コンピュータ記憶装置１０１２内には、頸部画像１０１６から計算された関心点セット１０１８もある。コンピュータ記憶装置１０１２内には、関心点セット１０１８を用いて計算されたフィルタリングされた関心点セット１０２０もある。コンピュータ記憶装置１０１２内には、フィルタリングされた関心点セット１０２０から計算された削減された関心点セット１０２２もある。コンピュータ記憶装置１０１２内には、削減された関心点セット１０２２から計算された削減された分類された関心点セット１０２４がある。コンピュータ記憶装置１０１２内には、分類された関心点セット１０２４から計算された赤点斑位置セット１０２６もある。最後に、コンピュータ記憶装置１０１２内には、赤点斑位置セット１０２６から計算された赤点斑マーク領域１０２８もある。

コンピュータメモリ１０１４内には、制御モジュールがある。制御モジュールは、医療機器１０００の動作及び機能を制御するコンピュータ実行可能コードを含む。コンピュータ記憶装置１０１４内には、デジタルフィルタ１０３２がある。デジタルフィルタ１０３２は、頸部画像１０１６から関心点セット１０１８を計算するために用いられた。コンピュータメモリ１０１４内には、形態フィルタ１０３４がある。形態フィルタ１０３４は、関心点セット１０１８からフィルタリングされた関心点セット１０２０を計算するために用いられるコンピュータ実行可能コードを含む。コンピュータメモリ１０１４内には、近隣に基づくフィルタ１０３６がある。近隣に基づくフィルタ１０３６は、フィルタリングされた関心点セット１０２０から削減された関心点セット１０２２を計算するために用いられたコンピュータ実行可能コードを含む。コンピュータメモリ１０１４内には、訓練された分類モジュール１０３８がある。訓練された分類モジュール１０３８は、削減された関心点セット１０２２から分類された関心点セット１０２４を計算するために用いられるコンピュータ実行可能コードを含む。コンピュータメモリ１０１４は、第２の近隣に基づくフィルタ１０４０を更に含む。第２の近隣に基づくフィルタ１０４０は、分類された関心点セット１０２４から赤点斑位置セット１０２６を計算するために用いられるコンピュータ実行可能コードを含む。次に、制御モジュール１０３０又はコンピュータコードは、赤点斑位置セット１０２６から赤点斑マーク領域１０２８を計算するために用いられる。

子宮頸ガンは、発展途上世界において女性の主な死因である。子宮頸ガンの高い死亡率は、自覚の欠如、並びにこれらの地域におけるスクリーニング及び診断リソースの欠如に起因する。膣鏡診は、早期の子宮頸ガン（前癌病変又は微小癌）の診断における基本的ステップである。膣鏡診は、適切に膣鏡を用いて、頸部領域を調べること及び頸部画像を取得することを含む。膣鏡検査は、前処理を有しない顕微分析、緑色フィルタ、酢酸及びルゴールヨウ素液の使用後の分析を含む、熟練を要する処理である幾つかのステップで行われる。婦人科医は、各画像又はビデオを注意深く検査し、Reidインデックスのような定められた指標に基づく蓄積スコアのための全ての所見を集める。

膣鏡診の解釈は難しいので、膣鏡診はオペレータ自身及びオペレータ間で大きく変動する。また、膣鏡診を行うためには婦人科医は監督下でそのような検査を少なくとも５０回行う必要があるだろう。したがって、画像内の異常な特徴を検出し正確且つ客観的膣鏡診評価を与える自動システムを有することが不可欠である。赤点斑及びモザイクパターンは、Reidインデックスを計算する際に大きな重要性を有する。

赤点斑は、間質内の末端容器の先端が間質突起を通り上皮表面に達するときに現れる。それらは、酢酸により白色化した領域内に赤い点として現れる。赤点斑は、２種類に分類される。（１）微赤点斑、（２）粗赤点斑である。微赤点斑は、正常又は低悪性度領域である。一方、粗赤点斑は、高悪性度の前癌病変を示す。

赤点斑検出は、子宮頸ガンの診断又はスクリーニングのための自動膣鏡画像分析の主要な構成要素のうちの１つである。これらの特徴は、画像内のグループで又は孤立して現れ得る。赤点斑検出は、正反射、表面及び粘液分泌の複雑な特性のような重なり合う雑音の多い要因のために困難な作業である。別の主な困難は、膣鏡診手順の種々の段階における赤点斑マークの出現の多様性である。赤点の小さな大きさ及び強度も、赤点斑検出を困難な作業にする。

酢酸処理前、緑色フィルタ、酢酸処理後画像のような種々の段階で取得される膣鏡画像内の赤点斑領域を検出及びセグメント化する強靱な方法が記載される。このアプローチの結果は、少なくとも次の２つの方法で用いられ得る。
−診断の向上のために病変を等級付ける際に膣鏡専門家を支援する、
−自動膣鏡システムに送り込む。

本発明の実施形態は、以下の問題又は欠点を克服し得る。

−微細な赤点斑パターンの検出。これは、微細な赤点斑検出に基づき画像を適切にズーム／拡大するよう膣鏡専門家を導く。

−膣鏡診手順の種々の段階における赤点斑マークの出現。本発明の実施形態は、酢酸処理前、緑色フィルタ、酢酸処理後画像のような種々の段階で取得される膣鏡画像内の赤点斑領域を検出及びセグメント化する強靱な方法を提供する。

−現在の方法の粗悪な感度及び特異性は、本発明により克服される。本発明の実施形態は、微細な赤点斑を客観的に検出すると共に白色分泌腺、正反射、等の種々の紛らわしいパターンに対して強靱な方法を提供し得る。

−熟練したリソースの欠如。本発明の実施形態は、膣鏡診の所見の容易な解釈を達成するのを助ける自動システムの少なくとも一部を提供し得る。

−手動手順の粗悪な効率。本発明の実施形態は、赤点斑パターンの自動検出により効率の増大したシステムを提供し得る。

膣鏡画像内の赤点斑パターンは、特定するのが困難である。時々、赤点斑パターンの微細な特定のために、それらは医師の目から隠れたままである。例えば、以下のＣＩＮ２として診断された患者の例はこれを良く説明している。

図１１は、頸部画像１１００を示す。マークされた領域１１０２は、簡単に特定される赤点斑ポイントを有する領域を示す。画像１１００内でマーク付けされた領域１１０４及び１１０６は、あまり簡単に見えない赤点斑マークを有する領域を示す。画像１１０８は、領域１１０４の引き伸ばしズームインである。赤点斑領域１１１０は、画像１１０８内に示される。画像１１１２は、領域１１０６のズームインである、画像１１１２内に、マークされた赤点斑領域１１１４がある。画像１１１６は、赤点斑ポイントが強調表示された画像１１１０を示す。

図１１は、赤点斑パターンの微細な特性を示す。つまり、画像１１００は「知覚し易い」赤点斑マークを含む元の画像を示し、画像１１１６は検出された赤点斑マークを示し、画像１１０８及び１１１２は赤点斑パターンを肉眼で検出し難い、強調表示された赤点斑点領域を有する拡大領域を示す。

図１１は、前癌状態の例を識別するためにこれらの微細な赤点斑パターンを検出するシステムの必要性を説明する。これらのパターンを検出する他の代替案は、異なる領域の画像を撮るために膣鏡で拡大表示することであるが、これはより多くの膣鏡時間を含み、処理の効率を悪くする。

したがって、本発明の実施形態は、微細な赤点斑パターンを検出するために膣鏡画像分析をより効率的に且つ正確にし得る。

現在の手動診療の他の欠点は、処理の主観性である。一般的に、膣鏡専門家は、種々の異常な特徴に、それらの存在／不存在、粒度及び他の基準に基づき、スコアを与える必要がある。特徴を見逃す又は特徴を識別する際に誤る可能性があることが明らかである。本発明の実施形態は、赤点斑パターンの自動解釈によりこの人間の主観性を克服し得る。

本発明の実施形態は、以下の特徴を有し得る。
−ビデオ膣鏡に組み込まれる赤点斑検出モジュール、
−膣鏡のビデオキャプチャモジュールと視覚ディスプレイモジュールの間に置かれる赤点斑検出モジュール、
−角検出、それに続く複数の拒否ステップを用いる着想に基づく赤点斑検出モジュールであって、複数の拒否ステップは、局所分析に基づく経験則、正しい赤点斑と誤った赤点斑との間を区別する近隣赤点斑ポイントの信頼性を含む、
−赤点斑を確実に検出する２つの主な段階（粗レベル及び精細レベル）を有する赤点斑検出モジュール。これは、白色分泌腺、正反射、等のような偽陽性をフィルタリングする、
−孤立した赤点斑及び群をなす赤点斑を検出する２つより多いコンポーネントを有する赤点斑検出モジュール、
−異なる膣鏡画像、つまり酢酸処理前、酢酸処理後、緑色フィルタ、及びズーム／拡大画像において、赤点斑を検出する赤点斑検出モジュール、
−赤点斑が存在する頸部内領域を強調表示する赤点斑検出モジュール。

図１２は、赤点斑検出モジュールの詳細ブロック図を示す。図１２は、本発明の一実施形態に含まれる幾つかのソフトウェアモジュールの関係を示す。モジュール１２００は、膣鏡からのビデオをキャプチャするビデオキャプチャモジュールである。次に、ビデオキャプチャモジュール１２００は、赤点斑検出モジュール１２０１にデータを渡す。次に、赤点斑検出モジュール１２０１は、膣鏡のビデオディスプレイ１２０２にデータを渡す。膣鏡画像は、以下の領域を含み得るとき前処理されても良い（１３００）。
−正反射又は酢酸による白色化の結果であり得る光る／白っぽい領域
−目立って赤色又は暗赤色の血液領域
−頸部ＯＳのために非常に暗い領域
−外部オブジェクト及び頸部の近隣領域
−関心のある頸部領域のマスキング。

子宮頸ガンの診断では、頸部領域の赤点斑を見付けることは有益である。したがって、我々のシステムへの入力は、セグメント化された頸部領域である。マスク画像は、全ての真の又は検索可能な領域を含み計算される。これは、外部オブジェクトの問題を排除するのを助ける。

粗レベル赤点斑検出（ステップ１３０８）は、赤点斑マークを検出する幾つかのステップを有し、良好な感度及び中程度の特異性を有する信頼できる検出精度を与える。精度は、精細レベルの赤点斑検出に更に拡張される。

関心点（ＩＰ）検出（ステップ１３０２）は、初期の粗レベル赤点斑推定を検出するために用いられても良い。Harris角検出器が用いられても良い。マスク画像上のＩＰは、最後のステップで計算されても良い。しかし、これは、赤点斑検出に関連する粗悪な特異性を有する。つまり、検出される多くのＩＰは偽赤点斑である。図７Ｂに１０２２個のＩＰが示される。これらのＩＰは、ＳＥＴ１としてラベル付けされる。

形態学的操作に基づくフィルタリング。検出された関心点セットは、形態学的経験則を適用することにより最後のステップで精緻化されても良い。最後のステップで検出される多くの点、ピーク、線、等がある。我々が用いた１つの重要な手掛かりは、背景に対して赤点斑が暗いという特徴、及び赤点斑の位置に似た特性である。画像は、暗い／明るいＩＰ、その方向及びアスペクト比、等を探すためにバイナリ形式にされる。このステップは、１０２２個から３８４個の点へと多くの削減を与える。我々は、フィルタリングされた点をＳＥＴ２と呼ぶ。

近隣赤点斑の信頼性に基づくフィルタリング。大部分の赤点斑は群をなして現れた。ＳＥＴ１内に存在する点は、ＳＥＴ２に存在しても良く又は存在しなくても良い。以下に方法を段階毎に示す。
（ａ）ＳＥＴ２内の点「ｙ」を選択する。
（ｂ）点「ｙ」の近隣にある点（Ｎ（ｙ））が分析され、そのうちの何個がＳＥＴ１に存在しＳＥＴ２に存在しないかが調べられる。この数はＮ_Ｆと呼ばれ、誤った点の数である。
（ｃ）同様に、ＳＥＴ２の点「ｙ」について、近隣の点（Ｎ（ｙ））は、ＳＥＴ１内で分析され、そのうちの何個がＳＥＴ１及びＳＥＴ２に存在するかが調べられる。これらはＮ_Ｃと呼ばれ、正しい点の数である。
（ｄ）Ｎ_Ｆ＞＞Ｎ_Ｃの場合、ＳＥＴ２内で選択された点はフィルタリングされる。
（ｅ）この手順は、ＳＥＴ２内の全ての点について繰り返される。詳細には次式の通りである。

このステップは、正反射／角、等の近くの誤って検出された赤点斑を除去する。このステップは、３８４個から１８５個の点へと約５０％の削減を与える。

粗レベル赤点斑検出ステップは、赤点斑マークの可能性が非常に高い候補を与える。しかしながら、臨床的には、白色の腺、白色の輪、境界上の点、等のような依然として多くの誤検出が存在する。それらの全ては、真の赤点斑マークに非常に類似している。主に雑音による影響を受け粗野な伝統的な発見に基づくアプローチでそれらをフィルタリングすることは不可能である。したがって、学習に基づくフレームワークは精細レベルの赤点斑検出に展開された（ステップ１３１４）。ランダムツリーは、真及び偽の赤点斑の例を含む有意に多数の例で訓練するために無作為に選ばれた。

（１）ランダムツリー。ＲＴ（ランダムツリー）は、バギング（bagging）アプローチにより構築され、各ＲＴはランダムに選択された特徴で訓練される。
ａ）訓練。図１３に、訓練及び分類器の構造を示す。３０００個のサンプルが２５個のデータセットから集められた。最適ツリーセットは、ツリー数の増加と共にテスト誤り率を調べることにより見出された。
ｂ）テスト。サンプルをテストするために、特徴ベクトルが用いられ、該特徴ベクトルを用いて全てのＲＴをテストした。各ＲＴは票（vote）を与えられ、候補に合意が与えられる。これらの票の平均は、点が真の赤点斑マークであることの確率的指標として計算された。この指標は、所与の候補の強度と呼ばれる。低い強度を示す点は、フィルタリングされた。このステップは、（粗検出された）１８５個から１４５個の点への削減を与える。

（２）孤立した赤点斑検出及びフィルタリング。知られているように及び上述のように、赤点斑は群をなして生じるとき、より多くの関連を有する。この最後のステップは、赤点斑が孤立しているか及び強度が低いかを検出することにより、偽赤点斑を削除する。幾つかの精緻化段階の後、孤立した幾つかの偽陽性が残される。したがって、このステップは、多くの残された誤検出赤点斑を除去する。このステップは、１４５個から４５個の点への削減を与える。

（３）赤点斑グループ化及び領域区分。検出した赤点斑ポイントの最終セットは、赤点斑領域を形成するために、画像投入操作（image closing operation）を用いて一緒にグループ化される。

図１２に、主な構成要素を含む詳細なフローチャートを示す。以下の図では、ＲＴ（ランダムツリー）の構造、及び最適ツリー数をどのように選択するかを示す。

図１３は、本発明の一実施形態による方法を示すフロー図である。先ず、ステップ１３００で、画像の前処理が行われる。次に、ステップ１３０２で、関心点の検出が実行される。次に、ステップ１３０４で、形態学的経験則に基づく最初のフィルタリングが実行される。次に、ステップ１３０６で、信頼性のある赤点斑に基づくフィルタリングが実行される。ステップ１３０２、１３０４、１３０６は、粗レベル赤点斑検出１３０８であると考えられる。次に、ステップ１３１０が実行される。ステップ１３１０で、ＲＴ分類器が用いられ、赤点斑マークを分類する。次に、ステップ１３１２で、孤立した赤点斑マークがフィルタリングされる。ステップ１３１０、１３１２は、精細レベル赤点斑検出１３１４であると考えられる。ステップ１３１６で、赤点斑マークはグループ化されて赤点斑領域を形成し、結果が保存される。

図１４は、訓練された分類モジュールとして用いられるＲＴ又はランダムツリーをどのように構築するかの例を示す。先ず、ステップ１４００でサンプル収集が実行される。次に、ステップ１４０２で、特徴計算が実行される。ステップ１４０４で、１０％のサンプルが、テストの実行を見合わされる。次に、ステップ１４０６で、訓練セット選択肢が選択される。ランダム選択肢は、ツリーに非依存性を導入するために用いられる。全特徴のうちの２５パーセントがランダムに選択され、各ツリーを構築するために用いられる。次に、ステップ１４０８で、ツリーは、訓練セットを用いて構築され、格納される。次に、ステップ１４１０で、テストセットで相互検証が実行される。これらは、訓練で用いられなかったデータのセットである。ステップ１４１２は、質問「５０個のツリーが構築されたか？」を有する決定ボックスである。答えがいいえ（Ｎｏ）の場合、方法はステップ１４０６に戻り、５０個のツリーが構築されるまで、ステップ１４０６、１４０８及び１４１０が繰り返される。５０個のツリーが構築された場合、テストが実行される。

図１５は、ランダムツリー分類を構築する特徴の計算を示すフロー図を示す。ステップ１５００で、入力ブロックが取り入れられる。次に、ステップ１５０２で、４１×４１ピクセルの近隣ウインドウが検査される。４１×４１ピクセルのウインドウは、経験的に最適サイズであることが分かっている。次に、ステップ１５０４で、カラーピクセルのヒストグラムが計算される。赤点斑マークは赤点なので、赤色のヒストグラムは赤点斑マークを識別するのに有用である。ヒストグラム比は、強度変動に対して方法をより強靱にする。次に、ステップ１５０６で、ウインドウの全てのカラーチャネルについてGabor特徴が計算される。Gabor特徴は、画像の周波数領域特性を捕らえる強力な候補（contender）である。赤点斑は鋭い強度変化を有するので、特定のフーリエ領域特性又は形跡を有する。フーリエスケールは、各方向に用いられる。これは、カラーチャネル毎に全部で２０個の特徴である。最後に、ステップ１５０８で、ヒストグラム及びGabor特徴がベクトル化され、特徴ベクトルを形成する。

図１６は、ツリー数１６００に対する赤点斑サンプルテストセットのエラー１６０２のグラフを示す。図１６に示すテストセットエラーは、１個の無関係、８％のエラー又は１０個のツリーで９８．２％の精度が達成されることを示す。この図は、１０個のツリーの使用が正確な赤点斑検出のために十分であることを示す。

図１６は、赤点斑検出システムのフローを説明する例示的な画像を示す。子宮頸部内部領域の赤点斑は、黒点として見える。これらは黒い円により強調表示される。

図１７は、頸部画像１７００を示す。頸部画像１７００内には、赤点斑を有する２つの領域１７０２がある。次のステップでフィルタリングされる点は、黒い円で強調表示される。

本発明の実施形態は、多くの内部変化を有する３５個のデータセットを用いてテストされた。分類器は訓練され、熟達者と比較して９８．２％のテスト精度を達成した。

赤点斑マークは、ＣＩＮ１、ＣＩＮ２及びＣＩＮ３の例に存在し得る。また、赤点斑マークは、子宮頸部内部領域と同様に子宮頸部外部領域にも存在する。幾つかの例示的な結果を、批評と共に以下に示す。

図１８は、前処理１８００後の画像１７００を示す。

図１９は、画像１８００内に位置する検出された関心点１９００を示す画像１７００を示す。オブジェクトのような全ての点が検出され、合計の点の数＝１０２２である。

図２０は、形態学的フィルタリング２０００後の画像１９００を示す。この図は、最後のステップで検出された点の形態学的フィルタリング後の出力を示し、点の数＝３８４である。

図２１は、近隣フィルタリング２１００後の画像２０００を示す。近隣信頼性方法を適用した後の出力は、点の数＝１８３である。

図２２は、ＲＴ分類器を用いた後の画像２１００を示す。関心領域２２０２は、画像２２００内でマークされる。領域２２０２は、ズーム画像２２０４内に示される。ランダムツリーで各点を分類した後の出力は、点の数＝１８３である。

図２３は、第２の近隣フィルタリングを用いた後の画像２２００を示す。孤立した赤点斑検出及びＲＴに基づくフィルタリングの出力は、点の数＝４５である。関心領域２３０２は、画像２３００内に示される。画像２３０４は、領域２３０２の拡大である、
図２４は、頸部内部領域で見付かった赤点斑を示す。頸部画像２４００が示される。関心領域２４０２は、画像２４００内でマークされる。関心領域２４０２は、ズームイン又は引き伸ばされ、画像２４０４内に示される。画像２４０６は、赤点斑位置と共に画像２４００を示す。画像２４０８は、赤点斑領域と共に画像２４００を示す。

図２５は、赤点斑の強調表示された緑色フィルタ画像を示す。画像２５００は頸部画像である。画像２５００内に、マークされた関心領域２５０２がある。画像２５０４は、領域２５０２のズームインを示す。画像２５０６は、赤点斑位置と共に画像２５００を示す。画像２５０８は、赤点斑領域と共に画像２５００を示す。

図２６は、僅かな赤点斑を有する酢酸処理後画像を示す。画像２６００は頸部画像である。画像２６００内に、マークされた関心領域２６０２がある。画像２６０４は、領域２６０２の拡大画像である。画像２６０６は、赤点斑位置を有する画像２６００である。画像２６０８は、赤点斑領域を有する画像２６００である。

図２７は、低強度の赤点斑を有する拡大画像を示す。画像２７００は拡大された頸部画像である。２７０２は、画像２４００内でマークされた関心領域である。画像２７０４は、関心領域２７０２の拡大である、画像２７０６は、赤点斑位置を有する画像２７００である。画像２７０８は、赤点斑領域を有する画像２７００である。

図２８は、炎症を有し赤点斑の存在しない頸部画像２８００を示す。画像２８０２は、赤点斑位置を有する画像２８００である。画像２８０４は、マークされた赤点斑領域を有する画像２８００である。留意すべきことに、画像２８０２及び２８０４には目に見える赤点斑位置又は領域が存在しない。

図２９は、頸部領域内に存在する赤点斑に似た多くの白い腺を有する酢酸処理後画像を示す。画像２９００は元の頸部画像を示す。矢印２９０１は、白い腺の位置を示す。画像２９０２は、赤点斑位置を有する画像２９００である。画像２９０４は、赤点斑領域を有する画像２９００である。留意すべきことに、赤点斑位置及び領域は、画像２９０２及び２０９４では見えない。

図３０は、本発明の一実施形態による方法を示すフロー図である。ステップ３０００で、複数の画像フレームを有するビデオデータが受信される。ステップ３００２で、複数の画像フレームから選択された連続画像フレームの各対の間の移行が決定される。次に、ステップ３００４で、連続画像フレームの各対の間の移行から累積的移行モデルが計算される。最後に、ステップ３００６で、複数の画像フレームの各々は、累積的移行を用いて位置合わせされる。

図３１は、本発明の一実施形態による医療機器３１００の一例を示す。留意すべきことに、図３１に示した実施形態の特徴は、図１０に示した特徴と結合されても良い。特に、図３１に示した特徴は、検査経過中に得られる複数の画像を位置合わせするのに有用であり得る。これらは、同じ倍率であっても良く、又は拡大画像の間であっても良い。

コンピュータ１００４及び光学検査システム１００２の機能は、図１０に示したものと等しい。コンピュータ記憶装置１０１２は、光学検査システム１００２で取得されるビデオデータ３１０２を含むとして示される。さらに、コンピュータ記憶装置１０１２は、ビデオデータ３１０２のフレーム間で計算された移行セット３１０４を含むとして示される。さらに、コンピュータ記憶装置１０１２は、移行セット３１０４から計算された累積的移行３１０５を有するとして示される。累積的移行３１０５は、共にコンピュータ記憶装置１０１２内に格納されているとして示される第１の画像３１０６と第２の画像３１０８との間にある。第１の画像３１０６と第２の画像３１０８は、ビデオデータ３１０２から選択される。さらに、コンピュータ記憶装置１０１２は、累積的移行３１０５から計算された第１の画像３１０６及び第２の画像３１０８の位置合わせを含むとして示される。

コンピュータメモリ１０１４は、画像変換モジュール３１１０を有するとして示される。画像変換モジュール３１１０は、ビデオデータ３１０２の隣接フレーム間の移行セット３１０４を計算するために用いられる。コンピュータメモリ１０１４は、移行セット３１０４から累積的移行３１０５を計算するために用いられた累積的移行計算モジュール３１１２を有するとして示される。さらに、コンピュータメモリ１０１４は、画像位置合わせモジュール３１１４を有するとして示される。画像位置合わせモジュール３１１４は、累積的移行３１０５を用いて第１の画像３１０６と第２の画像３１０８との間の位置合わせ３１０９を計算するために用いられたコンピュータ実行可能コードを含む。

膣鏡診は、特にインド及び中国のような発展途上国で、子宮頸ガンの診断及びスクリーニングのために広く用いられている。図１は、Philips Goldwayのデジタル膣鏡、及び図４に示された膣鏡により取得された例示的な画像膣鏡ビデオデータの解釈は、自明ではなく、何年もの技能を必要とする。発展途上国、特に遠隔の農村部では、この技能は存在しないかも知れない。

図３２は、自動膣鏡の一般的ワークフローを示すフロー図である。ステップ３２００で、膣鏡ビデオが入力される。次に、画像は、画像拡張３２０２を通る。これは、グリント除去及び緑色フィルタリングなどを含んでも良い。次に、ステップ３２０４で、画像位置合わせが実行される。フレーム間動き補償、酢酸処理前及び後並びにヨウ素加処理後の画像化、さらに画像の拡大中の補正のために画像の整列が実行される。次に、ステップ３２０６で、画像は、領域を検出し特徴を抽出するために処理される。例えば、酢酸による白色化を画像化している間に、ヨウ素による染色及び目に見える基礎的血管構造に加えてマージン及び時間遅延が決定され得る。最後にステップ３００８で、収集されたデータの分類が実行され、幾つかの実施形態では、診断が実行されても良い。幾つかの状況における診断は、データを提示される医師により行われても良い。

図３２は、自動膣鏡システムのステップ又は構成要素を示す。ここで、以下の目的で入力ビデオフレームを整列するために画像位置合わせが必要である。
−患者の組織及び体の動きの補償、
−カメラの動きの補償、膣鏡検査では、臨床医学者は、頸部の異なる部分を検査するためにカメラを動かす必要がある、
−異なる染色液を有する画像を整列する（食塩水、酢酸、ルゴールヨウ素溶液）、
−異なるズームの画像を整列する、膣鏡検査では、臨床医学者は、異なる診断用特徴を診るためにズームイン及びズームアウトする必要がある。正確な画像位置合わせは、診断用特徴を抽出するために極めて重大である。画像位置合わせなしでは、複数の画像に関連する診断用特徴（例えば、酢酸による白色化の反応速度）を抽出することが出来ないかも知れない。

本発明の実施形態は、以下を提供する。
−正確な画像位置合わせは、いかなる新しいハードウェア（例えば、３Ｄ画像化）の導入することなく、Philips Goldwayの現在の膣鏡製品で行うことができる。
−現在の膣鏡製品に追加できる新しい特徴は、例えば、婦人科医に安定化した膣鏡ビデオを提供する。

本発明の実施形態は、以下の特徴を有し得る。
−ビデオ位置合わせは、対の観点からビデオ内の連続フレーム間の位置合わせの移行モデルを繰り返し連結することにより行われる。
−関心領域（ＲＯＩ）セグメント化は、画像位置合わせと統合される。
＋位置合わせが失敗した場合、ＲＯＩセグメント化は、画像位置合わせを再初期化するために用いられる。
＋位置合わせに対して得られた特徴照合は、ＲＯＩセグメント化のために用いることができる。
−画像位置合わせは、２フレーム間の局所的特徴の対応を見出すことにより行われる。
＋特徴照合の３つの実施形態がある。Lukas-Kanade追跡法（ＫＬＴ）、ＳＩＦＴ特徴検出及び照合、並びにＳＬＡＭ（Simultaneous Localization and Mapping）である。
＋検出した特徴の一致数は、位置合わせの信頼性／精度として検査される。少なすぎる場合、現在フレームの位置合わせはスキップされる。

膣鏡ビデオ位置合わせは、全ての入力ビデオフレームを基準フレーム（又はテンプレートフレーム）に揃えるために用いられる。基準フレームは、通常は最初のフレームが選択される。代替は、セグメント化アルゴリズム（以下を参照）が関心領域（例えば、頸部）の検出に成功した膣鏡ビデオの第１の部分内のフレームを用いることである。膣鏡検査過程では、頸部の外観は、（１）カメラの動き、（２）酢酸のような造影剤により誘起される変化、（３）カメラの倍率により有意に変化する。したがって、長い時間間隔で取得された２つのビデオフレームを整列することは非常に困難である（又は不可能である）。提案される解決策は次の通りである。

−対の観点から連続フレーム間の位置合わせを行う。例えば、フレームｎ＋１乃至フレームｎを位置合わせし、移行モデルＴ［ｎ＋１->ｎ］を保つ。連続フレーム間では外観の変化は比較的小さいので、位置合わせは高い精度で行うことができる。

−所与のフレームｔに対して、移行モデルＴ［ｔ->ｔ−１］、Ｔ［ｔ−１->ｔ−２］、Ｔ［２->１］を繰り返し連結することにより、フレーム１との位置合わせが行われる。

（１）関心領域（ＲＯＩ）セグメント化
−関心領域（ＲＯＩ）セグメント化は、画像位置合わせと統合される。入力ビデオフレームでは、膣鏡診断に関連する関心領域（例えば、頸部領域）は、最初にセグメント化される。次に、位置合わせは、セグメント化された領域に焦点を当てる。つまり、特徴（抽出及び）照合がこの領域にのみ実行される。この利点は、以下を有し得る。

−（ビデオフレーム全体と比較して）画像パッチに焦点を当てることにより、特徴の一致を引き出す過程が高速化される。これは、例えばＫＬＴ追跡法で、計算コストを低減し得る。

−信頼性の低い特徴照合又は誤った照合（つまり、偽陽性）を削減する。例えば、ＳＩＦＴ特徴照合では、ＲＯＩセグメント化なしでは、フレーム１内のＲＯＩ内の１特徴がフレーム２内のＲＯＩの外側にある特徴と照合され得る。ＲＯＩセグメント化により、この種の誤った照合は回避できる。

ＲＯＩセグメント化は、手動で、半自動的に、又は自動的に行われても良い。例えば、半自動的の場合、臨床医学者は、ビデオ内でクリックしてＲＯＩが存在する場所を示すことができる。自動ＲＯＩセグメント化では、これは異なる方法で行うことができ、例えば、色空間内のクラスタリング又は予め訓練されたオブジェクト検出器を用いて行うことができる。位置合わせのために得られた特徴の一致は、ＲＯＩセグメント化を向上させるために用いることができる。例えば、フレーム１とフレーム２との間の抽出された特徴の一致は、フレーム２内のＲＯＩセグメント化の付加的証拠として用いられる（フレーム１内の全ての特徴がＲＯＩ内に存在する場合）。

画像位置合わせは、例えば、（モーションブラーを生じる）極めて大きな動き及び閉鎖（臨床医学者が綿で頸部を清浄している又は酢酸のような造影剤を適用しているとき）の場合には失敗し得る。これらの場合には、ＲＯＩセグメント化は、ＲＯＩが入力フレーム内で検出されるとき、位置合わせを再初期化するために適用される。代替として、位置合わせに基づく特徴が考慮されても良い。

（２）特徴検出及び照合
セグメント化されたＲＯＩについて、局所的特徴の一致を見付けることにより、位置合わせが行われる。特徴の一致は、異なる方法で実施できる。

−一実施形態では、Lukas-Kanade追跡法（又はＫＬＴ追跡）が適用され、特徴を追跡し又は局所的近隣にある一致を見付ける。

−別の実施形態では、ＳＩＦＴ特徴が検出され、２つのビデオフレーム間で照合される。

−別の実施形態では、ＳＬＡＭ（Simultaneous Localization and Mapping）法が用いられ、特徴の一致を得る。

所与のビデオフレーム内で見付かる特徴の一致の量は、２つのフレーム間の類似性に依存する。通常、２つの連続ビデオフレーム間の段階的な外観の変化又は小さな動きでは、多数の特徴の一致が得られる。特徴の一致の数は、位置合わせに関する指標の信頼性（又は精度レベル）として用いることができる。特徴の一致の数が閾より低い場合、２つのフレーム間に（例えば大きな動き又は閉鎖による）大きな相違があることを示す。この場合、現在フレームの位置合わせはスキップされ、次の入力フレームへ進む。このように、位置合わせエラーは、（上述の繰り返しで）累積されない。多数のフレームがスキップされる場合、２つのフレーム（つまり、現在フレームと参照フレーム）が大きく相違する危険性が高まり、位置合わせが困難又は危険であることを示す。位置合わせは、ＲＯＩセグメント化により再初期化される。つまり、テンプレートフレームを再設定する。

（３）画像位置合わせ
最後に、検出された特徴の一致に基づき、（フレーム１をフレーム２と揃える）移行モデルが推定される。ビデオ内の画像変動にしたがって、異なる変換方法が適用できる。移行モデルでは、フレーム１はフレーム２に位置合わせされる。上述のように、対に基づく画像位置合わせが、連続フレームについて行われる。

図３３は、特徴に基づく追跡の一例を示す。画像３３００及び画像３３０２を並べて示す。画像３３００は時間ｔにおけるものであり、画像３３０２は時間ｔ＋１におけるものである。線により結合された点は、対応する特徴を示す。枠３３０４は、２つの画像内の同一位置を表し、フレーム３３００と３３０２との間の動きを示すために用いられる。このような特徴に基づく追跡は、複数の画像フレームから選択された連続画像フレームの各対の間の移行を決定するために用いられても良い。

図３４は、本発明の一実施形態による方法を示すフロー図である。先ず、ステップ３４００で、生理食塩水処理された頸部の画像は、光学検査システムを用いて取得される。次に、ステップ３４０２で、複数の酢酸により白色化した頸部の画像は、光学検査システムを用いて取得される。次に、ステップ３４０４で、ヨウ素処理された頸部の画像は、光学検査システムを用いて取得される。次に、ステップ３４０６で、酢酸による白色化の動態スコアは、酢酸により白色化した頸部の画像及び生理食塩水処理された頸部の画像を用いて計算される。次に、ステップ３４０８で、酢酸による白色化のマージンスコアは、酢酸により白色化した頸部の画像を用いて計算される。次に、ステップ３４１０で、血管パターンスコアは、酢酸により白色化した頸部の画像及び生理食塩水処理された頸部の画像を用いて計算される。次に、ステップ３４１２で、ヨウ素染色スコアは、ヨウ素処理された頸部の画像を用いて計算される。最後に、ステップ３４１４で、膣鏡診インデックススコアは、酢酸による白色化の動態スコア、酢酸による白色化マージンスコア、血管パターンスコア、及びヨウ素染色スコアを加算することにより決定される。

図３５は、本発明の更なる実施形態による医療機器３５００を示す。図３５に示す実施形態は、図１０に示した実施形態と非常に似ている。コンピュータ記憶装置１０１２及びメモリ１０１４は、図１０に示した実施形態のコンピュータ記憶装置１０１２及びコンピュータメモリ１０１４内に示されるデータオブジェクト及び実行可能コードも示し得る。

コンピュータ記憶装置１０１２は、光学検査システム１００２を用いて取得された生理食塩水処理された頸部の画像３５０２、酢酸により白色化した頸部の画像３５０４、及びヨウ素処理された頸部の画像３５０６を含むとして示される。コンピュータ記憶装置１０１２は、酢酸による白色化の動態スコア３５０８、酢酸による白色化のマージンスコア３５１０、血管パターンスコア３５１２、及びヨウ素染色スコア３５１４を更に含むとして示される。コンピュータ記憶装置１０１２は、膣鏡診インデックススコア３５１６を更に含むとして示される。

さらに、コンピュータメモリ１０１４は、酢酸による白色化の動態スコア計算モジュール３５２０を有するとして示される。酢酸による白色化の動態スコア計算モジュール３５２０は、プロセッサ１００６に、酢酸により白色化した頸部の画像３５０４及び生理食塩水処理された頸部の画像３５０２を用いて酢酸による白色化の動態スコア３５０８を計算させるコンピュータ実行可能コードを含む。さらに、コンピュータメモリ１０１４は、酢酸による白色化のマージンスコア計算モジュール３５２２を有するとして示される。酢酸による白色化のマージンスコア計算モジュール３５２２は、プロセッサ１００６に、酢酸により白色化した頸部の画像３５０４を用いて酢酸による白色化のマージンスコア３５０８を計算させるコンピュータ実行可能コードを含む。

さらに、コンピュータメモリ１０１４は、血管パターンスコア計算モジュール３５２４を有するとして示される。血管パターンスコア計算モジュール３５２４は、プロセッサ１００６に、酢酸により白色化した頸部の画像３５０４及び生理食塩水処理された頸部の画像３５０２を用いて血管パターンスコア３５１２を計算させるコンピュータ実行可能コードを含む。さらに、コンピュータメモリ１０１４は、ヨウ素染色スコア計算モジュール３５２６を有するとして示される。ヨウ素染色スコア計算モジュール３５２６は、プロセッサ１００６に、ヨウ素処理された頸部の画像３５０６を用いてヨウ素染色スコア３５１４を計算させるコンピュータ実行可能コードを含む。さらに、コンピュータメモリ１０１４は、膣鏡診インデックススコア計算モジュール３５２８を有する。膣鏡診インデックススコア計算モジュール３５２８は、プロセッサ１００６に、酢酸による白色化の動態スコア３５０８、酢酸による白色化のマージンスコア３５１０、血管パターンスコア３５１２及びヨウ素染色スコア３５１４を用いて膣鏡診インデックススコア３５１６を計算させるコンピュータ実行可能コードを含む。

図３５に示した実施形態は、過程から主観を除去するのに有用であり、婦人科医のようなユーザの学習期間を削減し得る。頸部から生じる癌が世界の女性の２番目に多い癌であるので、このようなシステムは有益であり得る。インドは、世界で生じる癌の約２３％を占める。膣鏡は、前癌状態及び早期侵襲的子宮頸ガン病変の診断／格付けのため並びに生体検査の場所を特定するために、婦人科医により用いられる。膣鏡の専門家は以下に概略を述べるステップに従うが、異なる設定で変化し、彼らの訓練に基づき得る。例えば、米国ではルゴールヨウ素溶液のステップはスキップされる。

膣鏡検査には幾つかのステップがある。先ず、生理食塩水が適用され、如何なる分泌物も洗浄され取り除かれる。次に、画像が取得されても良い。次に、緑色フィルタが用いられ、更に多くの画像が取得されても良い。緑色フィルタは、血管パターンの検査を可能にする。次に、３−５％の酢酸溶液が適用されても良い。頸部の外観の経時変化、変化期間及び時間は、検査の一部として記録される。次に、ルゴールヨウ素溶液が適用され、ヨウ素の部分的及び完全な吸収が検査される。最後に、如何なる異常組織領域から検体が採取されても良い。これらのステップは、非常に大きな主観を含む。したがって、子宮頸ガンのインデックスを提供するための膣鏡の使用にも非常に大きな主観が存在する。

膣鏡を用いた診断は、新米膣鏡専門家では長い学習曲線を有することも分かっている。実際の患者に基づく対話型学習は、新米膣鏡専門家の学習曲線を加速させるために文献で引用されている。

本発明の実施形態は、膣鏡検査のインデックスを自動的に生成し、前癌状態及び早期癌病変の重症度を格付けする方法及び／又はシステムを提供し得る。これは、新米膣鏡専門家の学習曲線も加速する。既存の方法と異なり、本発明の方法は、臨床医学者により用いられる又は再検討される膣鏡インデックスを生成し得る。

膣鏡の自動スコア方法は、以下の利点を有し得る。
−癌の重症度を格付けする観測者の変動を低減する、
−子宮頸ガンを客観的にスコア付けし、これを自動的に行う、
−婦人科医に対話型方法で職業訓練を提供し、彼らの学習曲線を加速する。

本発明の実施形態は、自動化又は半自動化方法のために、画像／ビデオ分析アルゴリズムの組合せを用いて膣鏡との対話型方法で膣鏡診インデックスを提供する方法を提供し得る。

このようなシステムの特徴は、以下を含み得る。

１．自動スコアリング。提案のシステムは、膣鏡診手順を実行しながらビデオ膣鏡からキャプチャされたデータを分析し、膣鏡診インデックスを自動的に提供する。

２．スコア計算のためのパラメータ選択。パラメータを選択する基準又はスコアを計算するための臨床医学者の所見は、ユーザに表示される。臨床医学者の所見は、主に、酢酸による白色化の動態、酢酸による白色化のマージン、血管パターン及びヨウ素染色である。各所見は、アルゴリズムにより提供される「信頼性レベル」と関連付けられる。信頼性レベルにより、医師は、（自動分析ソフトウェアにとって）どの所見が未決定かを知ることができる。低信頼性の所見の場合、医師は、それらを手動で調べ、その所見を確認することができる。ユーザは、選択されたパラメータに合意する／同意しない選択肢を有する。膣鏡専門家は、より良い診断を与えるために選択されたパラメータを分析することに集中し得る。

３．選択されたパラメータの領域注釈。提案のシステムは、選択されたパラメータを示す画像内の領域に注釈を付け得る。注釈を付された領域は、膣鏡専門家自身又は他者を訓練するために、膣鏡専門家により用いることができる。

４．注釈を付された領域の格納。これらの注釈を付された領域は、異常の予後を追跡するために又は生体検査／処置のために将来参照するために、患者の病歴と共に格納され得る。

５．スコアの種類の選択。膣鏡専門家は、癌病変の重症度を格付けするために、臨床的に用いられるインデックスのリスト、例えばReidスコア、変形Reidスコア、簡易Reid、Swedeスコア、等から選択できる。

６.さらに、膣鏡検査のスコアリング方法における発展又は変更も、基本的パラメータがシステムにより自動的に計算されるように包含され得る。

標準的な膣鏡は、以下の４つのコンポーネントを有し得る。
（１）光源を有するカメラ、
（２）ビデオキャプチャユニット、
（３）ディスプレイユニット、及び
（４）患者情報を管理するデータ管理ユニット、である。図３６に膣鏡のブロック図を示す。

図３６は、本発明の一実施形態による医療機器の機能構成要素を示すブロック図である。ブロック３６００は、カメラ及び光源である。カメラ及び光源は、ビデオキャプチャユニット３６０２にデータを提供する。ビデオキャプチャユニットからの画像は、視覚的ディスプレイユニット３６０４及びソフトウェアを実行するプロセッサへ転送される。ソフトウェアは、データ管理ユニット３６０８にも提供され得る自動スコアリング方法３６１０を提供する。データ管理ユニット３６０８は、データをプロセッサにも提供し得る。プロセッサは、自動スコアリング３６１０を行い、自動スコアリングの結果は視覚的ディスプレイユニット３６０４に表示されても良い。

図３７は、本発明の一実施形態による方法を示すブロック図である。先ず、ステップ３７００で自動領域検出が実行される。次に、ステップ３７０２で、関連する解剖学的所見の自動検出が実行される。次に、ステップ３７０４で、個々の所見の自動分類が実行される。最後に、ステップ３７０６で、膣鏡検査のスコアが生成される。

本発明の実施形態による解剖学的領域検出を以下に説明する。先ず、関連オブジェクトが、頸部画像内で識別される。つまり、Ｏｓ、移行帯（ＴＺは古いＳＣＪ（Squamo Columnar Junction）及び新しいＳＣＪにより決定された領域である）、及び頸部である。

関心領域、つまり頸部領域は、画像の赤色成分に動的閾値化スキームを用い、次に酢酸処理前及び後画像についてのＫ平均クラスタリングにより、自動的に識別される。クラスタが画像の大きさの１０分の１（これは経験則により決定された）より小さい大きさを有する領域を識別した場合、頸部は画像内で見えないと結論づけた。その他の場合、クラスタは、頸部領域であると考えられる。アルゴリズムは、２０１枚の酢酸処理前及び後画像について検証され、９５％の例で正確なセグメント化の結果を与えた。ルゴールヨウ素溶液画像の例では、非頸部領域から頸部領域を区別するためにOtsu閾値化が用いられた。上述のアルゴリズムを用いて酢酸処理画像及びルゴールヨウ素溶液処理後画像内で識別された頸部領域は次の通りである。

図３８は、酢酸により白色化した頸部の画像３８００の一例を示す。画像３８００内で識別された頸部領域３８０２がある。

図３９は、ヨウ素処理された頸部の画像３９００の一例を示す。ヨウ素処理された頸部の画像３９００内で識別された頸部領域３９０２がある。

古いＳＣＪ検出は、２段階アプローチである。第１のステップでは、ルゴールヨウ素溶液の適用で示される色変化に基づき移行帯を暫定的に検出するために、ルゴールヨウ素溶液処理後画像が処理される。ルゴールヨウ素溶液処理後画像は、色に基づくＫ平均クラスタリングを用いて２つのクラスタＩＬ１及びＩＬ２にセグメント化される。移行帯を含むクラスタの赤色成分（ＩＬ１（Ｒ））のヒストグラムは正規分布に従うが、他のクラスタではそうではないことが分かる。移行帯を含むクラスタを自動的に識別するために、我々は正規分布をモデル化した。両方のクラスタの赤色成分のヒストグラムをＨ（ＩＬ１（Ｒ））と表す。

図４０は、２つのヒストグラム４０００、４００２を示す。ヒストグラム４０００は、移行帯を表すクラスタ内の赤色値の正規分布を示す。ヒストグラム４００２は、移行帯を含まない赤色値のランダム分布を示す。画像４０００では、移行帯を表すクラスタ内の赤色値の正規分布が調べられる。画像４００２では、移行帯を含まない赤色値のランダム分布及びＨ（ＩＬ２（Ｒ））が調べられる。２つのヒストグラム４０００、４００２は平滑化され、Ｈ（ＩＬ１（Ｒ））及びＨ（ＩＬ２（Ｒ））のピークの数が特定される。１つのピークのみを含むヒストグラムは、移行帯を含むクラスタに属すると考えられる。次に、我々は、このクラスタ内の小さなバラバラの領域を繰り返し除去した。このクラスタの凸包は、ＩＬ内の一時的移行帯として定められる。第２のステップで、ルゴールヨウ素溶液処理画像内で識別された一時的移行帯は、位置合わせ技術を用いて、酢酸処理後画像及び酢酸処理前画像にマッピングされる。これは、酢酸処理前画像及び酢酸処理後画像内の古いＳＣＪ領域を区別する。

図４１は、ヨウ素処理された頸部の画像４１００及び同じ頸部の酢酸処理された頸部の画像４１０２を示す。両方の図には、識別された頸部領域４１０４がある。また、ヨウ素処理後画像から酢酸処理後画像にマッピングされた古いＳＣＪ４１０６も示す。

新しいＳＣＪ領域の識別は、特徴抽出及び分類の２段階処理である。これは、特徴を識別するために頸部領域を入力として取り入れる。使用される標準的な特徴は、平均赤色、赤色の標準偏差、空間ピクセル位置、並びに赤色の緑色に対する比及び赤色の青色に対する比である。空間ピクセル位置、並びに赤色の緑色に対する比及び赤色の青色に対する比は、頸部領域全体に適用され、平均赤色及び赤色の標準偏差は、頸部領域内の４×４及び５×５ピクセルブロックに適用される。新しいＳＣＪ領域の初期閾値化は、平均赤色及び赤色の標準偏差に基づき行われる。

このＲ／Ｇ、Ｒ／Ｂ及び空間位置で閾値化された画像は、関数Prob_pixel_NewSCJ=ImgRed.*(R２G).*(R２B).*Gradientを用いて初期確率を与える。この初期確率及び１次分類を用いて、条件付きランダムフィールドモデル（Conditional Random Field Model）により後の確率が計算される。画像がＣＲＦにより分類された後、新しいＳＣＪと考えられる主要領域が抽出される。図４２に、新しいＳＣＪを識別した幾つかの結果を示す。図４２は、一連の６個の異なる頸部画像を示す。これらの各画像では、新しいＳＣＪ領域４２０２が識別されている。

酢酸処理前及び後画像内のＯｓ検出は、識別された新しいＳＣＪ領域にも適用される。新しいＳＣＪ領域は、円柱上皮及びＯｓを含む。これらの領域の両者は、最小分散量子化を用いて、その後に円柱上皮及びＯｓ内の小さなバラバラの領域を繰り返し除去することにより、分けられる。代替として、両方の領域は、Otsu閾値化を用いても分けられ得る。自動的に、頸部の２次元表現では、Ｏｓは円柱上皮内部にある。これは、Ｏｓ領域を円柱上皮領域から識別する手掛かりとして用いられる。図４３に、Ｏｓ検出アルゴリズムの幾つかの結果を示す。

図４３は、酢酸処理前及び後画像内のＯｓの検出を説明する一連の３枚の頸部画像を示す。Ｏｓは４３０２でラベル付けされている。

次に、関連する膣鏡診所見の自動検出を説明する。関連する解剖学的領域が画像内で識別されると、ユーザは、識別された解剖学的領域から自動的に計算された膣鏡診所見のリストを示される。

図４４は、本発明の一実施形態によるユーザインタフェース４４００を示す。このユーザインタフェース４４００では、頸部画像４４０２が表示される。領域４４０４は、頸部画像４４０２の異なる領域を選択可能にする膣鏡所見又はボックスを示す。ボックス４４０６は、有望な診断を示す。このユーザインタフェースでは、関連する膣鏡所見は自動的にユーザに表示された。

膣鏡検査のスコアリングに貢献する幾つかの関連する臨床的所見の自動識別は、次の通りである。

酢酸による白色化。酢酸処理前及び後画像内で識別された移行帯は、古いＳＣＪと新しいＳＣＪとの間の領域である。不明瞭度差スコアは、全ての酢酸処理後画像について、酢酸処理前画像に対して計算され、存在、大きさ、位置、移行帯に対する位置の情報、及び酢酸により白色化した上皮の格付けを提供し得る。図４５に、酢酸処理後画像セットについて、酢酸処理前画像に対して得られた不明瞭度差スコアの一例を示す。

図４５は、一連の６枚の頸部画像４５００、４５０２、４５０４、４５０６、４５０８、４５１０を示す。画像４５００は、酢酸処理前画像を示す。画像４５０２は、酢酸処理の後１分後の同一の頸部を示す。画像４５０４は、不明瞭度差スコア１８．４６を有する不透明画像を示す。画像４５０６は、画像４５００と同じである。画像４５０８は、酢酸処理の後３分後の同一の頸部を示す。画像４５１０は、画像４５０６及び４５０８から計算された不透明画像を示す。画像４５１０の不明瞭度差スコアは４３．２８である。

この処理の後に、酢酸により白色化した領域の境界から特徴を計算し、それらを鮮明、不明瞭、又は羽毛状（feathered）に分類する。分類のための特徴の１つは、境界におけるゼロ交差数である。「ゼロ交差」は、境界の兆候が陽性から陰性に又は陰性から陽性に変化する境界上の点である。辺縁明瞭な境界は、不明瞭な境界より多くのゼロ交差を有する。

頸部領域に存在する赤点斑マークは、子宮頸ガンの診断のための別の重要な特徴である。それらは、異常な血管構造の印であり、それらの存在は頸部の前癌性及び癌性病変の存在と有意に相関している。階層的フィルタリングアプローチが用いられ、その後に、異なる種類の赤点斑（精細／粗／拡散）を検出し及び診断支援のためにそれらの領域をセグメント化するために学習に基づくフレームワークが続く。このアプローチは、２つの段階を有しても良い。
（１）粗レベル赤点斑検出。これは、関心点検出に基づき、関心点検出の後に、誤検出されたオブジェクトを除去するためにオブジェクトフィルタリングの幾つかのステップが続く。
（２）精細レベル赤点斑検出。学習に基づくフレームワークは、粗検出された赤点斑を確実に分類するために構築される。図４６に、赤点斑検出の一例を示す。

図４６は、酢酸により白色化した同じ頸部の画像の３つのバージョン４６００、４６０２、４６０４を示す。図４６は、赤点斑マークの識別を説明する。画像４６００は生頸部画像である。画像４６０２は、個々の赤点斑マーク４６０６の識別を説明する。画像４６０４は、赤点斑マークが集中している赤点斑マーク領域４６０８を示す。

モザイクパターンは、癌の重症度の計算に貢献する別の重要な特性である。それらの存在は、前癌性及び癌病変の存在と有意に相関する。それらは、テクスチャに基づく分析を用いて検出される。図４７に、例示的な結果を示す。

図４７は、酢酸により白色化した同じ頸部の画像の３つのバージョン４７００、４７０２、４７０４を示す。この画像では、モザイクパターンの識別が説明される。画像４７００は生画像である。画像４７０２は、モザイク領域４６０６の識別を示す。画像４７０４は、多数のモザイクが存在する領域４７０８を強調表示する線を示す。

特殊な血管は、癌の重症度の病期を定めるための重要な基準を与える。

我々は、色に基づくフィルタリング、その後の線に基づく検出により、特殊な血管を検出した。白色環及び腺の存在は、移行帯の通常の特徴であるが、異常な病変の場合には環がより広い。白色環は次のように識別される。白色環は円形又は円柱状の形状なので、円検出のHough変換は、白色腺の外観を有する候補を識別するために用いられる。次のステップで、識別された候補は、実際の白色腺を識別するために、白色、サイズ、移行帯内の位置、等のような特定の特徴に基づきフィルタリングされ除去される。

図４８は、同一の頸部の２枚の画像４８００、４８０２を示す。画像４８００では、白色腺である可能性のある領域４８０４が識別され又はマーク付けされる。画像４８０２は、白色腺として識別される可能性のある領域４８０４を示す。基本的に、画像４８００内で識別された候補及び白色腺は、画像４８０２に示すようにフィルタリングの後に識別される。

頸部のヨウ素染色の結果は、膣鏡検査のスコアを生成するのに重要である。未熟な上皮化生はヨウ素陰性になるが、成熟した上皮化生はルゴールヨウ素溶液で部分的又は完全に茶色に染められる。低度の前癌病変はヨウ素陰性であるが、高度の前癌病変はマスタードイエローに染まる。ヨウ素変化を自動的に決定するために、ヨウ素陰性及び陽性領域はOtsu閾値化を用いて分けられる。この後に、ヨウ素陰性領域が移行帯内に存在するか否かが識別される。ヨウ素陰性領域が移行帯内又は酢酸による白色化領域が存在する場所で識別された場合、ヨウ素陰性領域の境界が分析される。我々は、境界にあるゼロ交差の総数を計算した。ゼロ交差数が閾より多い場合、境界は不明瞭であり、その他の場合には境界は鮮明であると考えられる。

次に、個々の所見の自動分類を説明する。このステップでは、個々の所見の各々（酢酸による白色化の動態、酢酸による白色化のマージン、血管パターン及びヨウ素染色）は、以下の図に示すように、前述の臨床的所見の自動検出に基づき、ユーザに自動的に独立したスコアを与える。この部分は、上述の第２の特徴に位置する。システムは、どのスコアが与えられるかの確かさを示す。ユーザは、システムにより提供されたスコアに合意する又は合意しない選択肢を有する。

この部分の主な目的は、４つの異なる臨床的所見に基づき膣鏡記録にスコアを与えることである。
１．マージン（酢酸による白色化領域のマージンにより表される）
２．色（酢酸による白色化の動態により表される）
３．血管（モザイク、赤点斑及び特殊な血管により表される）
４．ヨウ素染色（ヨウ素の色吸収により表される）。

酢酸による白色化領域が識別されると、これらの領域の境界が得られる。図４９に示すように、酢酸による白色化のマージンは大きく３種類に更に分類できる。図４９は、本発明の一実施形態によるユーザインタフェース４９００を示す。ユーザインタフェース４９００は、頸部画像４９０２を示す。頸部画像４９０２の隣に、酢酸による白色化のマージンスコア４９０４、酢酸による白色化の動態スコア４９０６、血管パターンスコア４９０８、及びヨウ素染色スコア４９１０が示される。この下に、スコア調整セレクタがある。スコア調整セレクタ４９１２は、医療提供者が評価に合意しない場合、酢酸による白色化マージンスコア４９０４を調整するために、医療提供者により用いられる。このユーザインタフェースを用いて、異なるスコアが選択でき、画像４９０２が表示され、スコアはスコア調整セレクタ４９１２で変更できる。

酢酸による白色化マージンが移行帯の外側にある場合、ゼロのスコアが与えられる。酢酸による白色化領域が移行帯の内側にある場合、我々は、境界におけるゼロ交差数を計算した。「ゼロ交差」は、境界の兆候が陽性から陰性に又は陰性から陽性に変化する境界上の点である。辺縁明瞭な境界は、不明瞭な境界より多くのゼロ交差を有する。辺縁明瞭な境界と不明瞭な境界を区別する閾は、経験的に決定される。辺縁明瞭な境界を有する酢酸による白色化領域は、スコア１を与えられる。異なる不明瞭度インデックスを有する酢酸による白色化領域により囲まれた不明瞭な境界は、スコア２を与えられる。図５０は、異なるマージンのスコアを有する例を示す。

図５０は、コンジローマ様癌を発生した頸部の画像５００２、辺縁明瞭な頸部画像５００４、及びロールしたマージンの頸部画像５００６を説明する３枚の酢酸による白色化の画像５００２、５００４、５００６を示す。

図５１に示すように、酢酸による白色化動態は大きく３種類に更に分類できる。図５１は、不明瞭度指数の３つのサブクラスを説明する、３枚の酢酸により白色化した頸部の画像５１０２、５１０４、５１０６を示す。画像５１０２は雪のように白い外観を示し、画像５１０４は光沢のない白い外観を示し、画像５１０６は濃い白色の外観を示す。３つのサブクラスの各々について、不明瞭度指数は、以下のパターンを示す。これは、色の臨床的所見のスコアを決定する。

図５２は、時間５２００に対する不明瞭度指数５２０２のグラフを示す。このグラフでは、３つのサブクラスがある。サブクラス１ ５２０４は画像５１０２に対応し、サブクラス２ ５２０６は画像５１０４に対応し、サブクラス３ ５２０８は画像５１０６に対応する。

図５３に示すように、サブクラス１はスコア０を与えられ、サブクラス２はスコア１を与えられ、サブクラス３はスコア２を与えられる。図５３は、ユーザインタフェース４９００の別の図を示す。この例では、酢酸による白色化の動態スコア４９０６が選択されている。この例では、スコア調整セレクタ４９１２は、ユーザが酢酸により白色化した頸部の画像を雪のような白、光沢のない白、又は濃い白に選択できる。

次に、モザイク、赤点斑及び特殊な血管により表される血管の識別を説明する。これらの赤点斑及びモザイクパターンの粗さ又は精細さに基づき、血管所見は３つのサブクラスに分けられる。赤点斑及びモザイクが精細な場合には、スコア０が与えられる。赤点斑及びモザイクが粗い場合には、スコア２が与えられる。表面の血管が存在しない場合、スコア１が与えられる。特殊な血管は、色に基づくフィルタリング、その後の線に基づく検出により、検出できる。以下の図は、精細／粗モザイク及びパターン、並びにそれらがどのようにスコアを与えられるかの例を示す。

モザイクパターンは多様な外観で現れ、以下のような異なるタグを与えることができる。
−タイル状の均一な構造
−粗いモザイク
−精細なモザイク
−部分的に可視の早期モザイク及び不規則構造
−正反射を生じる***モザイク
−明確に見えない弱いモザイク
−特殊／正常な血管の散在するモザイク
−赤点斑の散在するモザイク
−血液又は円柱上皮に近い領域にあるモザイク。

強靱な学習に基づくアプローチは、これらのパターンを識別するために用いられても良い。このアプローチは、モザイクパターンの外観の拡大縮小、均一、粗さ、鏡面性及び雑音のような複数の変動を処理する能力を生来備えている。本発明の実施形態は、大部分の類似するパターンを区別し、最終的に真のモザイク領域を検出する能力を有し得る。

特徴選択は、このようなクラス内変動を解決するために、オブジェクトのセグメント化により実行されても良い。フラクタルに基づく特徴の後に勾配特徴のヒストグラムの共起性に基づく複数段階の分類アプローチが用いられても良い。これは、異なる形状を有するオブジェクトを確実に区別するので、有利なアプローチであり得る。これらは、特に異なる形状及び方向を有するオブジェクトを検出するために、オブジェクト検出において最も成功する特徴の一つである。全体のフレームワークは、パターン認識団体で近年人気を得ているランダムフォレスト（Random Forest）に基づく。

訓練されたパターン認識エンジン又はプログラムは、モザイク検出及び分類のために用いられても良い。赤点斑検出に関して前述したように、学習エンジンを訓練する第１のステップは、訓練データの生成である。これは、失敗したサンプルを選択することにより分類器を連続的に向上させる管理された方法で行われる。約５０例が訓練目的で用いられ、訓練例は合計で約１００００サンプルであった。各サンプルは、ウインドウサイズ６０×６０を有する訓練のために選択された点の近隣で取り込まれたカラー画像パッチである。これら全てのサンプルは、格納され、将来計算のために用いられる。

次に、特徴計算を説明する。前述のように、２種類の特徴が用いられる。第１の特徴は、有向勾配のヒストグラムの共起性（cohog）であり、訓練段階で得られた全てのサンプルに渡り計算される。これらは、単純な６０×１のカラーヒストグラム（各チャネル２０ビン、３つの色チャネル）特徴と合わせられ、明度変動に対して堅牢にする。第２の特徴セットは、フラクタルであり、線、円、自己相似性のようなオブジェクトの自然幾何学を抽出する際に助けとなる。これは、胸部超音波画像を分類するために用いられている。

複数段階のランダムフォレストは、堅牢性と感度を達成するために用いられている。システムは、２つの段階を有する。第１の段階は、フラクタルに基づく特徴に基づく。第２の段階は、ｃｏｈｏｇ特徴に基づく。

フラクタル特徴による検査精度は、１００００検査サンプルの６％から選択されたランダムに選択された検査セットを用いて、８４％である。ｃｏｈｏｇ特徴による第２の分類器は、１００００検査サンプルの６％から選択されたランダムに選択された検査セットを用いて、８６％の検査精度を達成した。実践として、訓練及び検査セットは、分離され排除される。

図５４は、頸部画像５４００の一例を示す。図５５は、モザイク領域５５０２、５５０４、５５０６の示された同じ頸部の画像５４００である。領域５５０２は、モザイクが存在する信頼性の低い領域を示す。領域５５０４は、モザイクが存在する信頼性の中程度の領域を示す。領域５５０６は、モザイク領域が存在する信頼性の高い領域を示す。

図５６は、再びユーザインタフェース４９００を示す。図５６では、頸部画像５６００は頸部にある精細なモザイクパターンを示す。

図５７は、再びユーザインタフェース４９００を示す。本例では、頸部画像５７００は頸部にある粗いモザイクパターンを示す。

図５８は、再びユーザインタフェース４９００を示す。本例では、頸部画像５８００は頸部にある精細な赤点斑マークを示す。

図５９は、再びユーザインタフェース４９００を示す。本例では、頸部画像５９００は粗い赤点斑マークを有する頸部を示す。

ヨウ素染色。図６０及び図６１に示すように、ヨウ素染色は大きく３種類に更に分類できる。図６０は、再びユーザインタフェース４９００を示す。本例では、頸部画像は、ヨウ素処理された頸部画像６０００である。

図６１は、ヨウ素処理された頸部の３枚の画像６１０２、６１０４、６１０６を示す。画像６１０２は、陽性ヨウ素吸収を示す。画像６１０４は、部分的ヨウ素吸収を示す。３番目の画像６１０６は、陰性ヨウ素吸収を示す。画像６１０２は第１のサブクラスに対応し、画像６１０４は第２のサブクラスに対応し、画像６１０６は第３のサブクラスに対応する。

ヨウ素変化を自動的に決定するために、ヨウ素陰性（黄色）及び陽性領域（濃い茶色）はOtsu閾値化を用いて分けられる。ヒストグラムに基づくアプローチは、領域がヨウ素陰性又はヨウ素陽性かを分類するために用いられる。この後に、ヨウ素陰性領域が移行帯内に存在するか否かが識別される。陽性ヨウ素吸収が移行帯内にある場合、ゼロのスコアが与えられる。黄色及び茶色の両方の領域が移行帯内にある場合、スコア１が与えられる。酢酸により白色化した領域が黄色を示す場合、スコア２が与えられる。

４個全ての臨床的所見がスコアを与えられると、それらは加算され、最終的／全体的スコアを膣鏡検査／記録に与える。

図６２は、Reid膣鏡指数に基づくスコア６２００を有する表を示す。スコア６２００は、酢酸による白色化のスコア、酢酸による白色化マージンスコア、血管パターンスコア、及びヨウ素染色スコアの値を加算することにより決定される。スコアに依存して、有望な診断である対応する組織像６２０２がある。スコア０−２では、組織像はＣＩＮ１が有望である。この場合、病変は前癌状態であり得る。スコアが３乃至４の間の場合、重なり合う病変が存在しても良く、癌はＣＩＮ１又はＣＩＮ２が有望である。この場合、患者は更なる検査により追跡したいと望むかも知れない。スコアが５乃至８の間の場合、組織像はＣＩＮ２又は３が有望であり、患者又は被検者は治療が必要な可能性がある。

種々の膣鏡診インデックスが臨床的に用いられ、膣鏡専門家はそれらのうちの如何なる１つを用いることを好む。幾つか名前を挙げると、Reid、修正Reid、簡易Reid、Swedeスコア等である。幾つかの実施形態では、基本的解剖学的特徴が自動的に検出され、ユーザが臨床的に用いられる如何なるインデックス付け方法も選択できるようにしても良い。

本発明は図面及び上述の説明で詳細に説明されたが、このような図面及び説明は説明及び例であり、本発明を限定するものではない。本発明は開示された実施形態に限定されない。開示された実施形態の他の変形は、図面、詳細な説明、及び請求項を読むことにより、当業者に理解され請求項に記載された発明を実施する際に実施されうる。留意すべき点は、用語「有する（comprising）」は他の要素又は段階を排除しないこと、及び単数を表す語（a、an）は複数を排除しないことである。特定の量が相互に異なる従属請求項に記載されるという事実は、これらの量の組合せが有利に用いることが出来ないことを示すものではない。請求項中のいかなる参照符号も請求の範囲又は本発明の範囲を制限するものと考えられるべきではない。

１ 頸部
２ 移行帯
３ 円柱上皮
４ Ｏｓ
１０００ 医療機器
１００２ 光学検査システム
１００４ コンピュータ
１００６ プロセッサ
１００８ハードウェアインタフェース
１０１０ ユーザインタフェース
１０１２ コンピュータ記憶装置
１０１４コンピュータメモリ
１０１６ 頸部画像
１０１８ 関心点セット
１０２０ フィルタリングされた関心点セット
１０２２ 削減された関心点セット
１０２４ 分類された関心点セット
１０２６ 赤点斑位置セット
１０２８ 赤点斑マーク領域
１０３０ 制御モジュール
１０３２ デジタルフィルタ
１０３４ 形態フィルタ
１０３６ 近隣に基づくフィルタ
１０３８ 訓練された分類モジュール
１０４０ 第２の近隣に基づくフィルタ
１１００ 頸部画像
１１０２ 容易に位置を特定された赤点斑ポイントを有する領域
１１０４ 第１の領域
１１０６ 第２の領域
１１０８ 第１の領域の拡大
１１１０ 赤点斑領域
１１１２ 第２の領域の拡大
１１１４ 赤点斑領域
１１１６ 赤点斑ポイントが強調表示された画像１１１０
１６００ ツリー数
１６０２ 赤点斑サンプルテストエラー
１７００ 頸部画像
１７０２ 赤点斑を有する領域
１８００ 前処理後の画像１７００
１９００ 検出された関心点を示す画像１７００
２０００ 形態フィルタリング後の画像１９００
２１００ 近隣フィルタリング後の画像２０００
２２００ ＲＴ分類器を用いた後の画像２１００
２２０２ 関心領域
２２０４ 関心領域の拡大
２３００ 第２の近隣フィルタリング後の画像２２００
２３０２ 関心領域
２３０４ 関心領域の拡大
２４００ 頸部画像
２３０２ 関心領域
２４０４ 領域２４０２の拡大画像
２４０６ 赤点斑位置を有する画像２４００
２４０８ 赤点斑領域を有する画像２４００
２５００ 頸部画像
２５０２ 関心領域
２５０４ 領域２５０２の拡大画像
２５０６ 赤点斑位置を有する画像２５００
２５０８ 赤点斑領域を有する画像２５００
２６００ 頸部画像
２６０２ 関心領域
２６０４ 領域２６０２の拡大画像
２６０６ 赤点斑位置を有する画像２６００
２６０８ 赤点斑領域を有する画像２６００
２７００ 頸部画像
２７０２ 関心領域
２７０４ 領域２７０２の拡大画像
２７０６ 赤点斑位置を有する画像２７００
２７０８ 赤点斑領域を有する画像２７００
２８００ 頸部画像
２８０２ 赤点斑位置を有する画像２８００
２８０４ 赤点斑領域を有する画像２８００
２９００ 頸部画像
２９０２ 赤点斑位置を有する画像２９００
２９０４ 赤点斑領域を有する画像２９００
３１００ 医療機器
３１０２ ビデオデータ
３１０４ 移行セット
３１０５ 累積的移行
３１０６ 第１の画像
３１０８ 第２の領域
３１０９ 第１及び第２の画像の位置合わせ
３１１０ 画像変換モジュール
３１１２ 累積的移行計算モジュール
３１１４ 画像位置合わせモジュール
３３００ 画像
３３０２ 画像
３３０４ ボックス
３５００ 医療機器
３５０２ 生理食塩水処理された頸部の画像
３５０４ 酢酸により白色化した頸部の画像
３５０６ ヨウ素処理された頸部の画像
３５０８ 酢酸による白色化の動態スコア
３５１０ 酢酸による白色化のマージンスコア
３５１２ 血管パターンスコア
３５１４ ヨウ素染色スコア
３５１６ 膣鏡診インデックススコア
３５２０ 酢酸による白色化の動態スコア計算モジュール
３５２２ 酢酸による白色化のマージンスコア計算モジュール
３５２４ 血管パターンスコア計算モジュール
３５２６ ヨウ素染色スコア計算モジュール
３５２８ 膣鏡診インデックススコア計算モジュール
３８００ 酢酸により白色化した頸部の画像
３８０２ 頸部領域
３９００ ヨウ素処理された頸部の画像
３９０２ 頸部領域
４０００ ヒストグラム
４００２ ヒストグラム
４１００ ヨウ素処理された頸部の画像
４１０２ 酢酸処理された頸部の画像
４１０４ 頸部領域
４１０６ 古いＳＣＪ領域
４２０２ 新しいＳＣＪ領域
４３０２ Ｏｓ
４４００ ユーザインタフェース
４４０２ 頸部画像
４４０４ 膣鏡所見
４４０６ 診断
４５００ 生理食塩水処理された頸部の画像
４５０２ 酢酸により白色化した頸部の画像
４５０４ 不明瞭画像
４５０６ 生理食塩水処理された頸部の画像
４５０８ 酢酸により白色化した頸部の画像
４５１０ 不明瞭画像
４６００ 酢酸により白色化した頸部の画像
４６０２ 酢酸により白色化した頸部の画像
４６０４ 酢酸により白色化した頸部の画像
４６０６ 赤点斑マーク
４６０８ 赤点斑領域
４７００ 酢酸により白色化した頸部の画像
４７０２ 酢酸により白色化した頸部の画像
４７０４ 酢酸により白色化した頸部の画像
４７０６ モザイク領域
４７０８ 強調表示されたモザイク領域
４８００ 頸部画像
４８０２ 頸部画像
４８０４ 候補白色腺
４８０８ 白色腺
４９００ ユーザインタフェース
４９０２ 頸部画像
４９０４ 酢酸による白色化のマージンスコア
４９０６ 酢酸による白色化の動態スコア
４９０８ 血管パターンスコア
４９１０ ヨウ素染色スコア
４９１２ スコア調整セレクタ
５００２ コンジローマ様癌を生じた頸部の画像
５００４ 鮮明なマージンの頸部画像
５００６ ロールしたマージンの頸部画像
５１０２ 雪のように白い頸部の画像
５１０４ 光沢のない白色の頸部の画像
５１０６ 濃い白色の頸部の画像
５２００ 時間
５２０２ 不明瞭インデックス
５２０４ サブクラス１
５２０６ サブクラス２
５２０８ サブクラス３
５４００ 頸部画像
５５０２ 低信頼性モザイク領域
５５０４ 中信頼性モザイク領域
５５０６ 高信頼性モザイク領域
５６００ 精細なモザイクを示す頸部画像
５７００ 粗いモザイクを示す頸部画像
５８００ 精細な赤点斑を示す頸部画像
５９００ 粗い赤点斑を示す頸部画像
６０００ ヨウ素処理された頸部の画像
６１０２ ヨウ素処理された頸部の画像内の陽性ヨウ素吸収
６１０４ ヨウ素処理された頸部の画像内の陽性ヨウ素吸収
６１０４ ヨウ素処理された頸部の画像内の陽性ヨウ素吸収
６２００ スコア
６２０２ 組織像

Claims (15)

1. 医療機器であって：
   −頸部画像を取得する光学検査システム；
   −前記医療機器を制御するプロセッサ；
   −前記プロセッサにより実行される機械実行可能命令を有するメモリ；
   を有し、前記命令の実行は、前記プロセッサに：
   前記プロセッサが前記光学検査システムを用いて取得した複数の画像フレームを有するビデオデータから、第１の頸部画像及び第２の頸部画像を取得させ；
   前記第１の頸部画像について、
   −デジタルフィルタを用いて関心点位置セットを計算させ；
   −前記関心点位置セット及び形態フィルタを用いてフィルタリングされた関心点位置セットを計算させ；
   −前記フィルタリングされた関心点位置セット及び近隣に基づくフィルタを用いて削減された関心点位置セットを計算させ；
   −前記削減された関心点セット及び訓練された分類モジュールを用いて分類された関心点位置セットを計算させ；
   −前記分類された関心点位置セット及び第２の近隣に基づくフィルタを用いて赤点斑位置セットを計算させ；
   −前記赤点斑位置を用いて赤点斑マーク領域を計算させ；
   −前記赤点斑マーク領域を出力させ；
   前記第２の頸部画像について、
   −前記デジタルフィルタを用いて第２の関心点位置セットを計算させ；
   −前記第２の関心点位置セット及び前記形態フィルタを用いて第２のフィルタリングされた関心点位置セットを計算させ；
   −前記第２のフィルタリングされた関心点位置セット及び前記近隣に基づくフィルタを用いて第２の削減された関心点位置セットを計算させ；
   −前記訓練された分類モジュール及び前記第２の削減された関心点セットを用いて第２の分類された関心点位置セットを計算させ；
   −前記第２の近隣に基づくフィルタ及び前記第２の分類された関心点位置セットを用いて第２の赤点斑位置セットを計算させ、前記赤点斑マーク領域は、前記赤点斑位置及び前記第２の赤点斑位置を用いて計算され；
   前記第１の頸部画像及び前記第２の頸部画像を位置合わせさせ、前記位置合わせは、前記プロセッサに：
   −前記複数の画像フレームから選択された連続画像フレームの各対の間の移行モデルを決定させ；
   −前記連続画像フレームの各対の間の移行モデルから累積的移行モデルを計算させ；
   −前記累積的移行モデルを用いて前記第１の頸部画像及び前記第２の頸部画像の位置合わせを提供させる；
   ことにより行われる、
   医療機器。
2. 前記第１の頸部画像は生理食塩水処理された頸部の画像であり、前記命令の実行は、前記プロセッサに、さらに：
   −前記光学検査システムを用いて複数の酢酸により白色化した頸部の画像を取得させ；
   −前記光学検査システムを用いてヨウ素処理された頸部の画像を取得させ；
   −前記酢酸により白色化した頸部の画像を用いて酢酸による白色化の動態スコアを計算させ；
   −前記酢酸により白色化した頸部の画像を用いて酢酸による白色化のマージンスコアを計算させ；
   −前記酢酸により白色化した頸部の画像及び前記生理食塩水処理された頸部の画像を用いて、血管パターンスコアを計算させ；
   −前記ヨウ素処理された頸部の画像を用いてヨウ素染色スコアを計算させ；
   −前記酢酸による白色化の動態スコア、前記酢酸による白色化のマージンスコア、前記血管パターンスコア、及び前記ヨウ素染色スコアを加算することにより、膣鏡診インデックススコアを決定させる；
   請求項１に記載の医療機器。
3. 前記医療機器は、ディスプレイ及びユーザインタフェースを更に有する請求項２に記載の医療機器。
4. 前記命令の実行は、前記プロセッサに、さらに：
   −前記ディスプレイに少なくとも１つの前記酢酸により白色化した頸部の画像を表示させ；
   −前記ディスプレイに前記酢酸による白色化の動態スコアを表示させ；
   −前記ユーザインタフェースから修正された酢酸による白色化の動態スコアを受信させ、前記膣鏡診インデックススコアは、前記修正された酢酸による白色化の動態スコアを用いて少なくとも部分的に決定される；
   請求項３に記載の医療機器。
5. 前記命令の実行は、前記プロセッサに、さらに：
   −前記ディスプレイに少なくとも１つの前記酢酸により白色化した頸部の画像を表示させ；
   −前記ディスプレイに前記酢酸による白色化のマージンスコアを表示させ；
   −前記ユーザインタフェースから修正された酢酸による白色化のマージンスコアを受信させ、前記膣鏡診インデックススコアは、前記修正された酢酸による白色化のマージンスコアを用いて少なくとも部分的に決定される；
   請求項３又は４に記載の医療機器。
6. 前記命令の実行は、前記プロセッサに、さらに：
   −前記ディスプレイに少なくとも１つの前記酢酸により白色化した頸部の画像を表示させ；
   −前記ディスプレイに前記血管パターンスコアを表示させ；
   −前記ユーザインタフェースから修正された血管パターンスコアを受信させ、前記膣鏡診インデックススコアは、前記修正された血管パターンスコアを用いて少なくとも部分的に決定される；
   請求項３、４又は５に記載の医療機器。
7. 前記命令の実行は、前記プロセッサに、さらに：
   −前記生理食塩水処理された頸部の画像内でモザイク、前記赤点斑マーク領域、及び／又は特殊な血管を識別させ；
   −前記酢酸により白色化した頸部の画像から選択された１つの酢酸により白色化した頸部の画像内で酢酸処理後のモザイク、酢酸処理後の赤点斑マーク領域、及び／又は酢酸処理後の特殊な血管を識別させ、前記血管パターンスコアは、前記モザイク及び前記酢酸処理後のモザイク；前記赤点斑マーク領域及び前記酢酸処理後の赤点斑マーク領域；及び前記特殊な血管及び前記酢酸処理後の特殊な血管；並びにそれらの組合せ；のうちの１つの間の差を用いて計算される、請求項３乃至６のいずれか一項に記載の医療機器。
8. 前記第１の頸部画像は：第１の酢酸処理前画像、第１の緑色フィルタ画像、及び第１の酢酸処理後画像のうちのいずれか１つであり；前記第２の頸部画像は：第２の酢酸処理前画像、第２の緑色フィルタ画像、及び第２の酢酸処理後画像のうちのいずれか１つである；請求項１乃至７のいずれか一項に記載の医療機器。
9. 前記命令の実行は、前記プロセッサに、さらに：
   −連続画像フレームの少なくとも１つの対の間の移行モデルの決定の失敗を検出させ；
   −前記失敗の前の前記ビデオデータから選択された第１の画像フレームから第１の画像セグメント化を計算させ；
   −前記失敗の後の前記ビデオデータから選択された第２の画像フレームから第２の画像セグメント化を計算させ；
   −前記第１の画像フレームと前記第２の画像フレームとの間の第２の移行を決定させ；
   −前記第２の移行を用いて前記累積的移行モデルを修正させる；
   請求項１乃至８のいずれか一項に記載の医療機器。
10. 前記命令の実行は、前記プロセッサに、さらに：
    −連続画像フレームの少なくとも１つの対の間の移行の決定の失敗を検出させ；
    −前記失敗の前の前記ビデオデータから第１の画像フレームを選択させ；
    −前記失敗の後の前記ビデオデータから第２の画像フレームを選択させ；
    −前記第１の画像フレームと前記第２の画像フレームとの間の第２の移行を決定させ；
    −前記第２の移行を用いて前記累積的移行モデルを修正させる；
    請求項１乃至８のいずれか一項に記載の医療機器。
11. 前記第１の頸部画像は造影剤前及び／又は刺激剤前画像であり、前記第２の頸部画像は造影剤後及び／又は刺激剤後画像であり、前記命令の実行は、前記プロセッサに、さらに：
    −前記第１及び第２の頸部画像内の基本的解剖学的オブジェクト、つまりＯｓ、柱状領域及び移行帯を識別させ；
    −不明瞭度差スコアを生成させる；
    請求項１乃至１０のいずれか一項に記載の医療機器。
12. 前記第２の頸部画像は、前記第１の頸部画像内の少なくとも部分的に拡大された領域を示す拡大画像である、請求項１乃至１１のいずれか一項に記載の医療機器。
13. 前記命令の実行は、前記プロセッサに、さらに、ディスプレイに前記第１の頸部画像に重ね合わされた前記赤点斑マーク領域を表示させる、請求項１乃至１２のいずれか一項に記載の医療機器。
14. 医療機器を制御するプロセッサによる実行のための機械実行可能命令を有するコンピュータプログラムであって、前記医療機器は、頸部画像を取得する光学検査システムを有し；
    前記命令の実行は、前記プロセッサに：
    前記プロセッサが前記光学検査システムを用いて取得した複数の画像フレームを有するビデオデータから、第１の頸部画像及び第２の頸部画像を取得させ；
    前記第１の頸部画像について、
    −デジタルフィルタを用いて関心点位置セットを計算させ；
    −前記関心点位置セット及び形態フィルタを用いてフィルタリングされた関心点位置セットを計算させ；
    −前記フィルタリングされた関心点位置セット及び近隣に基づくフィルタを用いて削減された関心点位置セットを計算させ；
    −前記削減された関心点セット及び訓練された分類モジュールを用いて分類された関心点位置セットを計算させ；
    −前記分類された関心点位置セット及び第２の近隣に基づくフィルタを用いて赤点斑位置セットを計算させ；
    −前記赤点斑位置を用いて赤点斑マーク領域を計算させ；
    前記第２の頸部画像について、
    −前記デジタルフィルタを用いて第２の関心点位置セットを計算させ；
    −前記第２の関心点位置セット及び前記形態フィルタを用いて第２のフィルタリングされた関心点位置セットを計算させ；
    −前記第２のフィルタリングされた関心点位置セット及び前記近隣に基づくフィルタを用いて第２の削減された関心点位置セットを計算させ；
    −前記訓練された分類モジュール及び前記第２の削減された関心点セットを用いて第２の分類された関心点位置セットを計算させ；
    −前記第２の近隣に基づくフィルタ及び前記第２の分類された関心点位置セットを用いて第２の赤点斑位置セットを計算させ、前記赤点斑マーク領域は、前記赤点斑位置及び前記第２の赤点斑位置を用いて計算され；
    前記第１の頸部画像及び前記第２の頸部画像を位置合わせさせ、前記位置合わせは、前記プロセッサに：
    −前記複数の画像フレームから選択された連続画像フレームの各対の間の移行モデルを決定させ；
    −前記連続画像フレームの各対の間の移行モデルから累積的移行モデルを計算させ；
    −前記累積的移行モデルを用いて前記複数の画像フレームの各々を位置合わせさせ；
    −前記累積的移行モデルを用いて前記第１の頸部画像及び前記第２の頸部画像の位置合わせを提供させる；
    コンピュータプログラム。
15. 医療機器の作動方法であって、前記医療機器は、頸部画像を取得する光学検査システムと、プロセッサ及びメモリを有し前記光学検査システムに結合されるコンピュータと、を有し、前記メモリは、前記プロセッサにより実行される制御モジュール、デジタルフィルタ、形態フィルタ、近隣に基づくフィルタ、訓練された分類モジュール、第２の近隣に基づくフィルタ、画像変換モジュール、累積的移行計算モジュール、画像位置合わせモジュール、を格納し；
    前記作動方法は：
    前記プロセッサが前記光学検査システムを用いて取得した複数の画像フレームを有するビデオデータから、前記プロセッサが第１の頸部画像及び第２の頸部画像を取得するステップ；
    前記第１の頸部画像について：
    −前記プロセッサが前記デジタルフィルタを用いて関心点位置セットを計算するステップ；
    −前記プロセッサが前記関心点位置セット及び前記形態フィルタを用いてフィルタリングされた関心点位置セットを計算するステップ；
    −前記プロセッサが前記フィルタリングされた関心点位置セット及び前記近隣に基づくフィルタを用いて削減された関心点位置セットを計算するステップ；
    −前記プロセッサが前記削減された関心点セット及び前記訓練された分類モジュールを用いて分類された関心点位置セットを計算するステップ；
    −前記プロセッサが前記分類された関心点位置セット及び前記第２の近隣に基づくフィルタを用いて赤点斑位置セットを計算するステップ；
    −前記プロセッサが前記赤点斑位置を用いて赤点斑マーク領域を計算するステップ；
    前記第２の頸部画像について：
    −前記プロセッサが前記デジタルフィルタを用いて第２の関心点位置セットを計算するステップ；
    −前記プロセッサが前記第２の関心点位置セット及び前記形態フィルタを用いて第２のフィルタリングされた関心点位置セットを計算するステップ；
    −前記プロセッサが前記第２のフィルタリングされた関心点位置セット及び前記近隣に基づくフィルタを用いて第２の削減された関心点位置セットを計算するステップ；
    −前記プロセッサが前記訓練された分類モジュール及び前記第２の削減された関心点セットを用いて第２の分類された関心点位置セットを計算するステップ；
    −前記プロセッサが前記第２の近隣に基づくフィルタ及び前記第２の分類された関心点位置セットを用いて第２の赤点斑位置セットを計算するステップであって、前記赤点斑マーク領域は、前記赤点斑位置及び前記第２の赤点斑位置を用いて計算される、ステップ；
    前記プロセッサが前記第１の頸部画像及び前記第２の頸部画像を位置合わせするステップであって：
    −前記プロセッサが前記画像変換モジュールを用いて前記複数の画像フレームから選択された連続画像フレームの各対の間の移行モデルを決定するステップ；
    −前記プロセッサが前記累積的移行計算モジュールを用いて前記連続画像フレームの各対の間の移行モデルから累積的移行モデルを計算するステップ；
    −前記プロセッサが前記画像位置合わせモジュールを用いて前記累積的移行モデルを用いて前記第１の頸部画像及び前記第２の頸部画像の前記位置合わせを提供するステップ；
    を含むステップ；
    を有する方法。

Images