JP6587610B2 - 映像医療機器により取得した画像を処理するシステムおよびそのシステムの作動方法 - Google Patents

Description

本発明は、一般に、画像および映像処理に関し、特に、順次取得された画像、特に、映像医療機器を介して取得された画像の解釈可能性を特徴づけるシステムおよび方法に関する。

映像取得装置は、大量のデータを生成する。このデータを効率的に使用することが、映像編集、映像要約、ならびに映像管理および解析に関する他の多くの用途に対して重要である。

Ｋｏｐｒｉｎｓｋａａ ｅｔ ａｌ．，（"Ｔｅｍｐｏｒａｌ ｖｉｄｅｏ ｓｅｇｍｅｎｔａｔｉｏｎ：Ａ ｓｕｒｖｅｙ．"，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，１６（５），４７７-５００（２００１））で示されたように、時間的映像セグメンテーションは、ほとんどの既存の映像管理ツールで重要なステップである。多くの異なる種類のアルゴリズムが、時間的セグメンテーションを実行するために開発されてきた。

初期の技術は、ピクセル差を使用したカット境界検出もしくは画像グループ化、ヒストグラム比較、エッジ差、およびモーション解析などに焦点を当てていたが、米国特許第７７８３１０６Ｂ２号明細書および米国特許第８３６３９６０Ｂ２号明細書などのより最近の方法では、同じ目的を達成するために、画像類似性メトリックス、分類、およびクラスタリングも使用している。

Ｓｕｎ，Ｚ．ｅｔ ａｌ．（"Ｒｅｍｏｖａｌ ｏｆ ｎｏｎ−ｉｎｆｏｒｍａｔｉｖｅ ｆｒａｍｅｓ ｆｏｒ ｗｉｒｅｌｅｓｓ ｃａｐｓｕｌｅ ｅｎｄｏｓｃｏｐｙ ｖｉｄｅｏ ｓｅｇｍｅｎｔａｔｉｏｎ"，Ｐｒｏｃ．ＩＣＡＬ ｐｐ．２９４−２９９（２０１２））およびＯｈ，Ｊ．−Ｈ．ｅｔ ａｌ．（"Ｉｎｆｏｒｍａｔｉｖｅ ｆｒａｍｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｏｒ ｅｎｄｏｓｃｏｐｙ ｖｉｄｅｏ"，Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ，１１（２），１１０−１２７（２００７））による用途において、時間的映像セグメンテーションの問題は、情報画像とノイズ画像との間を区別する分類問題として再定式化することができる。

米国特許第２００７０２４５２４２Ａ１号明細書において、時間的映像セグメンテーションは、映像要約を生成するように、シーン間の類似性の計算と結びつけられてきた。

医療機器分野において、特に、内視鏡の分野において、動きパターンの評価は、長い映像の解析において、重要な役割を担ってきた。

米国特許第７２００２５３Ｂ２号明細書では、摂取可能撮像カプセルの動きを評価し、時間に対して動き情報を表示するシステムが開示されている。

同様の動き情報は、米国特許第２０１００１９４８６９Ａ１号明細書において、内視鏡映像の時間的映像セグメンテーションのために使用された。映像の内容の高速スクリーニングは、各時間的セグメントの第１の画像を表示することのみによって実現され、したがって、他の全ての画像をスキップする。

画像をスキップすることなく内視鏡での高速映像スクリーニングで同じ目的に対処するために、米国特許第２０１００１９４８６９Ａ１号明細書では、推定された動きに反比例する再生速度を計算するために動き評価に依存している。

映像モザイクツールに依存することにより、連続した画像が重複している内視鏡による映像の効率的な表示が、米国特許第８２１８９０１Ｂ２号明細書で開示されている。

内視鏡映像全体の解釈を容易にするために、Ａｎｄｒｅ，Ｂ．ｅｔ ａｌ．（"Ａ Ｓｍａｒｔ Ａｔｌａｓ ｆｏｒ Ｅｎｄｏｍｉｃｒｏｓｃｏｐｙ ｕｓｉｎｇ Ａｕｔｏｍａｔｅｄ Ｖｉｄｅｏ Ｒｅｔｒｉｅｖａｌ"，Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ，１５（４），４６０−４７６（２０１１））は、現在の映像に関して視覚的に同様だが、注釈付きの例を表示するよう、現在の映像と、外部データベースからの映像との間の視覚的な類似性に依存する方法を提案した。

意味情報との視覚的類似性を補完するための同様の手法が、Ａｎｄｒｅ，Ｂ．ｅｔ ａｌ．（"Ｌｅａｒｎｉｎｇ Ｓｅｍａｎｔｉｃ ａｎｄ Ｖｉｓｕａｌ Ｓｉｍｉｌａｒｉｔｙ ｆｏｒ Ｅｎｄｏｍｉｃｒｏｓｃｏｐｙ Ｖｉｄｅｏ Ｒｅｔｒｉｅｖａｌ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，３１（６），１２７６−１２８８（２０１２））により開示されている。関連したトピック（Ａｎｄｒｅ，Ｂ．ｅｔ ａｌ．"Ａｎ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ａｐｐｒｏａｃｈ ｔｏ ｓｅｔｕｐ ｄｉｆｆｉｃｕｌｔｙ ｌｅｖｅｌｓ ｉｎ ｔｒａｉｎｉｎｇ ｓｙｓｔｅｍｓ ｆｏｒ ｅｎｄｏｍｉｃｒｏｓｃｏｐｙ ｄｉａｇｎｏｓｉｓ"，ＭＩＣＣＡＩ（ｐｐ．４８０−４８７）．Ｂｅｉｊｉｎｇ：ＬＮＣＳ（２０１０））について、所与の内視鏡映像の解釈に関連付けられた難易度を評価する手段が提示されている。

臨床的状況では、映像解析は、一連の手順の間に実行される必要があるだろう。計算時間の問題を回避するために、（米国特許第２０１１０２７４３２５Ａ１号明細書では）画像取得を続けながら、計算集約型タスクを実行するために連続画像のフリーズバッファを活用する方法が開示されている。

上述の作業で示すように、先行技術は、医療機器で取得される映像を効率的に使用することに対して実際に必要性が存在していることを示している。映像データを効率的に使用することは、臨床的状況および非臨床的状況の両方で扱われてきたが、以前の手法は、医療機器で取得した映像を構成する画像の解釈可能性を特徴づけるための方法を教示しない。

本発明の目的の１つは、映像医療機器で取得したデータの利用の効率を向上することである。

この目的のため、臨床意思決定をサポートするために、画像の解釈可能性を特徴づけるシステムおよび方法を開示する。本明細書で開示する方法は、映像医療機器により順次取得される画像の特性に基づき、以下を備える。
・解釈可能性基準とも称する、少なくとも１つの画像の定量的基準を定義するステップ
・順次画像をバッファに格納するステップ
・バッファ内の各画像に対して、第１のアルゴリズムを使用して、前記解釈可能性基準に基づいて少なくとも１つの出力を決定するステップ
・前記出力をタイムラインに貼り付けるステップ
これにより、医療映像データの利用者は、取得のほとんどの解釈可能部分について注意を集中することが可能になる。

画像を取得するための映像医療機器は、当業者にとって既知の任意の機器とすることができ、その例には、限定するものではないが、内視顕微鏡、光コヒーレンス断層撮影装置、古典的な内視鏡、高精細内視鏡、狭帯域撮像内視鏡、ＦＩＣＥ（登録商標）内視鏡、ダブルバルーン小腸内視鏡、ズーム内視鏡、蛍光内視鏡、２Ｄ／３Ｄ超音波撮像、エコー内視鏡、または他の任意の介入的撮像モダリティなどがある。

変形例によれば、本方法は、前記タイムラインと共に前記バッファの画像を表示するステップをさらに備える。有利には、本方法は、前記タイムラインのカーソルを使用してタイムライン内で表示画像の位置を示すステップをさらに備える。

第１のアルゴリズムの出力は、一組みの離散値の中の値とすることができる。この値は、典型的に、英数字値とすることができる。この場合、タイムラインは、等しい出力を有する連続画像に対応する時間的領域で形成することができる。これらの時間的領域は、関心映像の時間的分類または時間的セグメンテーションを構成することができる。二進出力の特定の場合において、これらの時間的領域は、関心映像の時間的二進セグメンテーションを構成することができる。

第１のアルゴリズムの出力はまた、連続的なスカラ値またはベクトル値とすることができる。場合によっては、アルゴリズムは、２つの異なる出力を有する可能性があり、一方は離散値、他方は連続的なスカラ値またはベクトル値である。診断に関連した１つの例には、第１の離散的出力が予測診断クラスを示し、一方、他の連続的な出力が、各所定の診断クラスに属する確率を示すであろう。

変形例によれば、第１のアルゴリズムの出力の値は、色によって表され、前記色は、表示されたタイムライン上で重ね合わされる。第１のアルゴリズムの出力の値は、現在表示されている画像の側に表示してもよい。

変形例によれば、等しい出力を有する連続画像に対応する時間的領域が定義された場合、本方法は、少なくとも１つの時間的領域を選択するステップと、前記時間的領域に対応する画像をバッファから抽出するステップとをさらに備えることができる。抽出画像は、例えば、ストレージ装置に格納することができる。抽出画像はまた、第２のアルゴリズムを使用して処理することができ、第２のアルゴリズムの出力が表示される。例えば、第２のアルゴリズムはコンテンツベース映像もしくは画像検索アルゴリズム、画像もしくは映像モザイクアルゴリズム、または画像もしくは映像分類アルゴリズムなどとすることができる。

少なくとも１つの時間的領域の選択は、完全に自動で実行することができ、または何らかの利用者との対話処理に依存することもできる。例えば、第２のアルゴリズムは、全てのセグメント化された時間的領域に対して、画像の完全な組を使用することができる。第２のアルゴリズムは、単純な選択アルゴリズムに基づいてもよく、または選択された領域を選ぶために利用者との対話処理を要求してもよい。

変形例によれば、第１のアルゴリズムは、バッファの各画像と関連付けられた中間結果を生成することができる。したがって、本方法は、内部データベースに前記中間結果を格納するステップを備えることができる。例えば、内部データベースは、バッファの各アップデートの際にアップデートすることができる。変形例によれば、第１のアルゴリズムは、内部データベースの中間結果を使用することができる。

時間的領域に対応する画像が第２のアルゴリズムを使用して抽出および処理された場合、前記第２のアルゴリズムは、内部データベースの中間結果を使用することができる。

変形例によれば、解釈可能性基準は、動力学的安定性とすることができる。

例えば、動力学的安定性は、特徴一致の解析を使用して評価することができる。特徴は、規則的な、または摂動グリッドに位置付けることができる。例えば、グリッドの摂動は、局所的画像突極性によって引き起こされる。

投票マップは、動力学的安定性を判断する投票数を選択およびカウントするために使用することができる。

動力学的安定性は、最初に連続する画像のペアワイズ方式で実行することができ、信号処理ステップは、動力学的安定性の出力を提供するために、最初の動力学的安定性信号について実行することができる。

対象となる臨床用途により、解釈可能性基準は、非限定リスト、すなわち、動力学的安定性、画像間の類似性、例えば、バッファ内の画像間の類似性、カテゴリに属する確率、例えば、所定の組のカテゴリの所与のカテゴリに属する確率、画像の品質、診断もしくは意味解釈を提案することの困難さ、画像の特性もしくは非特性、または画像のあいまいさの中の少なくとも１つとすることができる。

さらに、解釈可能性基準は、バッファ内の画像と、外部データベース内の画像との間の類似性を使用することができる。

本発明の上記および他の目的、特徴、動作効果、ならびに利点は、以下の説明および添付図面から明らかになるであろう。

充分な解釈可能性の時間的領域を強調するタイムラインに関して表示されている医療機器により取得された映像の模式図である。

離散値によりラベル付けされた時間的領域を強調するタイムラインに関して表示されている医療機器により取得された映像の模式図である。

連続的な出力の時間的進展を表すタイムラインに関して表示されている医療機器により取得された映像の模式図である。

充分な解釈可能性の時間的領域を強調するタイムラインに関して表示されている医療機器により取得された映像の模式図である。 現在の時間的領域に関する類似性基準により外部データベースから選択された映像および追加のメタデータを備える一組みのケースを示す図である。

連続する画像の一致および一致品質に基づく閾値選定を示す図である。

ローカル画像記述子を位置決めするための改良方式を示す図である。 ローカル画像記述子を位置決めするための改良方式を示す図である。

外れ値除去のための初期解釈可能ラベルタイムラインの処理を示す図である。 外れ値除去のための初期解釈可能ラベルタイムラインの処理を示す図である。

動作の基本モードでは、医療映像取得装置は、本システムへの入力として機能する。リアルタイム映像処理を取得中に実行することができ、画像を表示することができる。その間に、画像は、有限の先入れ先出し（ＦＩＦＯ）バッファに待ち行列に入れられ、リアルタイム計算の予想結果を、内部データベースに格納することができる。

動作の第２のモードでは、本システムは、入力として映像医療機器により以前に記録された映像を使用することができる。この場合、映像を構成する画像はまた、ＦＩＦＯバッファに待ち行列に入れられる。リアルタイム計算を取得中に実行し、画像と共に記録する場合、計算の結果を内部データベースにロードすることができる。

動作の両方のモードで、内部データベースは、画像バッファがアップデートされる度にアップデートされるであろう。

入力バッファに格納された画像のレビュー時に、本システムは、バッファを構成する画像の解釈可能性を自動的に特徴づけ、バッファ内の画像の内容に対応するタイムラインに出力を貼り付ける。解釈可能性の特徴は、以前に実行したリアルタイム計算、および後処理計算に依存してもよい。

対象となる臨床用途に応じて、解釈可能性は、さまざまな基盤基準により特徴づけることができる。これらの基準は、限定するものではないが、以下のさまざまな概念に関することができる。
・動力学的安定性
・バッファ内の画像の類似性
・以前の画像に対して画像によってカバーされていない新規情報の量
・画質
・アーチファクトの存在および重要性
・撮像されたアーチファクトの性質および種類
・所定の組のカテゴリ内の所与のカテゴリ、例えば、診断クラスに属する確率
・画像の特性もしくは非特性
・画像のあいまいさ、例えば、一組みの診断クラスに関する視覚的あいまいさ
・診断もしくは意味解釈を提案することの困難さ

内視鏡において、撮像プローブは、典型的に、画像を取得するために、組織と接触して、または組織に近接して配置される。リアルタイム収集を、視野域を横切るミラースキャニングにより実行することができる。ミラースキャニングの間、組織に対してプローブが連続的に動くため、画像は、動きアーチファクトを受ける。これらのアーチファクトの大きさは、典型的に、画像の解釈可能性と相関する。実際に、あまりに多くの動きが観測された場合、組織の細胞構造が強く歪む可能性があり、画像を解釈困難にする可能性がある。

ほとんどの映像医療機器において、利用者は、撮像プローブまたは撮像検出器を患者上に、または患者内に誘導し、領域の関心度および解釈可能性に関連した領域に、ある時間の間、留める。

したがって、本発明のいくつかの実施形態において、解釈可能性は、対象物に対する撮像プローブの動きの関数とすることができる。言い換えると、いくつかの実施形態において、解釈可能性は、動力学的安定性の点から特徴づけることができる。

他の状況において、解釈可能性を、モデルベース計算機能に関連付けることは、実行するには複雑である可能性がある。しかしながら、画像の外部データベースが、専門家の利用者によって何らかの解釈可能性基準に従って以前に取得および注釈付けされている場合がある可能性がある。本発明の他の実施形態において、機械学習アルゴリズムを使用して、利用可能な注釈付き外部データベースから学習することによって、新規画像の解釈可能性を推測することができる。

さらに他の状況において、映像の解釈可能性は、映像医療機器で取得された画像の変動を識別することに依存する可能性がある。この場合、利用者は、同様の画像が互いにグループ化されていることに関心があるであろう。本発明の実施形態は、それらの類似性に従って画像をクラスタリングすることによって解釈可能性を特徴づけるよう学習する、他の形式の機械を使用してもよい。

いくつかの視覚化技術を使用して、少なくとも１つの画像特徴出力を表示することができ、一方、利用者は、すでに記録された映像の再生、バッファされた映像の再生、または映像医療機器によって現在取得されている画像の視覚化を行う。バッファに格納された各画像に対して、計算された出力値は、文字もしくはラベルなどの離散的な情報、または連続的なスカラもしくはベクトル値とすることができる。

図１から図４に示したように、出力値は、映像のタイムライン１１に貼り付けることができ、タイムライン１１は、タイムライン１１における表示画像１０の時間を示す時間カーソル１５を備える。本発明の一実施形態によれば、映像の全ての画像に対して計算された出力値を表す色が、映像のタイムラインに直接重ね合わされ、映像内の画像の解釈可能性についての時系列ビューを利用者に提供する。出力値を説明する凡例はまた、利用者が理解しやすくなるように表示することができる。

現在の表示画像１０に対して計算された出力値、またはこの値を表す色はまた、現在の表示画像の側に表示して、図２に示すように（要素２９）、現在の時間カーソル１５によって隠されている可能性のある出力値を複製することができる。

離散化出力の場合、各出力値は、ある所定の色によって表すことができる。図１は、二進出力がタイムライン１１内に所定のグレイ１２色またはホワイト１４色によって表された場合を示す。タイムライン内の所与の位置でのグレイ（または、ホワイト）色は、例えば、映像のこの位置での画像が充分な（または、不充分な）品質であることを示すことができ、または以前の画像に対して動力学的に安定（または、不安定）であることを示すことができる。

図２は、出力が４つの別々の値に離散化された場合を示し、その値のそれぞれが、別々の色、すなわち、ホワイト２４、ライトグレイ（ドット）２８、ダークグレイ（波線）２２、またはブラック（ハッチ）２６によって表される。出力値の間に順序関係が存在する場合、この順序は、値がマッピングされたグレイレベルの間で、保持することができる。そうでない場合、ランダム順序を選ぶことができる。これらの４つのグレイ値は、例えば、完全に解釈不可能、解釈困難、部分的に解釈可能、完全に解釈可能といった、４つの解釈可能レベルを表すことができる。これらの４つのグレイ値はまた、例えば、充分に解釈可能ではない、充分に解釈可能で組織タイプＡに属する、充分に解釈可能で組織タイプＢに属する、充分に解釈可能で組織タイプＣに属する、を表すことができ、これらの３つの組織タイプの間には順序関係は存在しない。

連続的な出力の場合（図３）、各出力値は、例えば、ＲＧＢ、ＨＳＬ、ＨＳＶ、またはＹＵＶトリプレット値に出力値をマッピングすることによって自動的に判断することができる色によって、依然として表すことができる。ルックアップテーブルを使用して、連続的な出力を色に変換することができる。出力がｎ次元ベクトル（ｎ≦３）である場合、同じマッピング処理を適合させることができる。出力がｎ次元ベクトル（ｎ＞３）である場合、マッピング処理は、例えば、３次元主成分解析から計算することができる。連続的な色値３２は、例えば、画質、または以前の画像内の局所的領域と一致する画像内の局所的領域の割合を示すことができる。図３は、そのような視覚化により、利用者が、映像内の連続的な画像解釈可能性値の時間的進展を理解することを可能にすることができる方法を示す。

利用者が現在取得している画像の視覚化だけを行っている特定の場合において、少なくとも１つの出力値が、この画像に対して実行中に計算することができる。前記出力値、すなわち、この値を表す色は、この現在取得中の画像の側に表示することができる。

多くの場合、映像データの利用者は、直接に医師であるだけでなく、第２の計算アルゴリズムであってもよい。特徴づけられた解釈可能性を使用して、適切な解釈可能性の時間的領域で単独でさらなる計算を実行する、本発明の一実施形態を開示する。

離散的出力がタイムラインに貼り付けられた場合、時間的領域は、等しい出力値を有する連続的な画像に対応する最大のセグメントとしてタイムラインにおいて定義することができる。現在の時間的領域は、現在の時間カーソルが属する時間的領域として定義される。その場合、利用者との対話処理を定義することができ、利用者に、潜在的に以下のことを可能にする。
・少なくとも１つの出力の表示を無効または可能にする
・現在の時間的領域とは異なる時間的領域に属する最も近い次の時点に、時間カーソルを移動する
・現在の時間的領域とは異なる時間的領域に属する最も近い以前の時点に、時間カーソルを移動する
・少なくとも１つの時間的領域を選択する
・時間的領域を修正および変更する
・選択された時間的領域と関連付けられた画像をストレージ装置に格納し、場合によっては、それら画像に注釈を付ける
・現在の時間的領域で、または利用者によって選択された少なくとも１つの時間的領域で、少なくとも１つの第２のアルゴリズムを起動する前記第２のアルゴリズムは、入力として、時間的領域と関連付けられた画像サブシーケンスを使用する。第２のアルゴリズムは、例えば、これらの入力画像サブシーケンスを分類するステップまたはモザイク化するステップで構成することができる。
・少なくとも１つの第２のアルゴリズムによって生成された少なくとも１つの出力を視覚化するステップであり、前記第２のアルゴリズムは、潜在的に、現在の時間的領域で自動的に起動する。有利には、この第２の出力は、何らの利用者との対話処理無しに、自動的に表示してもよい。

第２のアルゴリズムによるこの状況では、解釈可能性はまた、データを後続の計算で使用する方法の点から定義することができる。専用の映像モザイク化技術を使用して、映像シーケンスから多くの連続した画像を整列および融合することによって映像の視野域を広くすることができる。この処理は、連続した画像が充分な重なりを共有し、撮像装置と関心対象物との間に何らかの動きが観測された場合にのみ働く。本発明の一実施形態において、解釈可能性は、動力学的安定性という点から定義することができ、映像モザイク化ツールが充分な解釈可能性の領域で適用することができる。

別の実施形態によれば、映像モザイク化を少なくとも２つの映像サブシーケンスに適用して、より大きな視野域画像を生成した場合、画像モザイク化技術を後に使用して、一致する画像モザイクを検出および関連付け、空間的にそれらを登録し、融合して、さらに大きな視野角の画像を生成することができる。一致するモザイクの検出はまた、利用者との対話処理に依存してもよい。

映像医療機器で取得した映像シーケンスの解釈を容易にするために、コンテンツベース映像検索ツールを、類似性ベース推論を活用する手段として使用することができる。所与の映像シーケンスに対して、医師には、外部データベースから、映像シーケンスと視覚的に同様で、専門家によって以前に注釈付けられたケースの組を提示することができる。医療機器で取得した映像シーケンスは、可変解釈可能性の部分を含んでもよいし、異なる組織型の組み合わせを含んでもよい。したがって、これらのコンテンツベース映像検索ツールの関連性は、リクエストとして、解釈可能性の点から一致している映像の部分を選ぶことに決定的に依存する可能性がある。本発明の一実施形態において、解釈可能性特徴を使用して、入力映像を、解釈可能性が充分なサブ部分に分割し、前記サブ部分は、コンテンツベース映像検索アルゴリズムのための少なくとも１つのクエリを構築するために使用される。

一変形例によれば、サブ部分は、コンテンツベース映像検索アルゴリズムのためにクエリを生成するために異なる方法で使用することができる。例えば、各サブ部分を使用して、独立クエリを生成することができる。あるいは、全ての組のサブ部分を使用して、単一クエリを生成してもよい。それでもなお、利用者は、これらのサブ部分のサブセットを選択して、単一クエリを生成するよう要求することができる。

別の変形例によれば、利用者はまた、第２のアルゴリズムを再開する前に、第１のアルゴリズムによってもたらされた時間的セグメンテーションを修正することができる。

図４Ａおよび図４Ｂは、第２のアルゴリズムが、関心映像の現在の時間的領域で起動されているコンテンツベース映像検索処理である場合を示す。第２のアルゴリズムによって生成され、利用者に表示される出力は、３つの参照映像（４１、４２、４３）とそれらに対する注釈（４４、４５、４６）から成り、注釈は、例えば、基準映像の診断クラスを含む。参照映像は、図４Ａでカーソル１５によって選択された現在の時間的領域と関連付けられた隣接画像の組と最も視覚的に類似するよう外部データベースから抽出されている。

別の実施形態によれば、離散的ラベルの場合には、本発明はまた、各領域で第２のアルゴリズムを自動的に実行することを可能にする。

別の実施形態によれば、離散的ラベルの場合には、本発明はまた、全てのラベル付けされた領域のコンテンツを独立して、自動的に格納することが可能であり、二進ラベルのサブケースでは、所与のラベルに対応する連結した全ての時間的領域を、ストレージ装置に格納することを可能にする。
［動力学的安定性］

画像登録ベース手法を使用して、映像シーケンス内の動力学的に安定した時間的領域を識別することができる。これは、例えば、時間的に連続した画像を実際に登録して、次いで、登録アルゴリズムによって発見された空間変換の品質を解析することによって、実行することができる。

別の例は、画像登録アルゴリズムのステップのサブセットのみを使用し、このサブセットによってもたらされる結果の品質を解析することである。これは、特徴一致ベースアルゴリズムの場合に実行することができ、特徴一致と空間変換モデルとの整合性を見ることにより、動力学的安定性についての情報を推測することを可能にする。

同じ特徴一致を、局所的整合性の点から解析し、空間変換に対するモデリングエラーに対するより堅実な結果を取得してもよい。

（Ｖｅｒｃａｕｔｅｒｅｎ，Ｐｅｒｃｈａｎｔ，Ｌａｃｏｍｂｅ，＆ Ｓａｖｏｉｒｅ，２０１１で）提示されたような、同時に複数の画像を登録する、より高度な方法を使用して、動力学的安定性を推測してもよい。

図５は、特徴のグリッドに依存して動力学的安定性を解析するための１つの可能な実施形態をより詳細に示す。バッファに格納された一連の順次画像５１の各画像５２は、画像上の空間位置のグリッド（５７）と関連付けられる（ステップＩ）。グリッド（５７）の各点（５８）は、その点の周りの所与のスケールを有する局所的空間領域と関連付けられており、同様に、各領域は、記述子、すなわち、数値署名と関連付けられる。ある画像からの各記述子を、以前の画像からの数値的に同様の記述子に一致させること（ステップＩＩＩ）により、画像（５４）内のグリッド（５９）の各点を、以前の画像（５３）のグリッド（５７）上の別の点に一致させることを可能にし、前記一致点は、記述子が同様であるために視覚的に同様である局所的領域と関連付けられる。その場合、一致の解析は、所定の空間変換モデルに対する局所的整合性または整合性を評価するよう実行される。整合性があまりに低いと推定された場合、画像は、以前の画像に対して動力学的に不安定であると考えられる。

画像を記述子のグリッドとして示すことは、高密度局所画像記述、または、略して、高密度記述としばしば称される。互換的に、これらの手法に対して、グリッドベースという用語を使用する可能性もある。グリッドの各点はまた、キー点と称する可能性もある。

グリッドベース局所画像記述に依存することの利点の１つは、同じ記述子を、映像シーケンスの安定性を特徴づけること、およびコンテンツベース映像検索タスクを実行することの両方に使用することができることである。これにより、どちらのタスクを実行する場合でも、計算時間を節約することが可能となる。

局所画像記述は、グリッドベースであるかを問わず、コンピュータビジョン、パターン認識、および医療撮像で広く使われており、さまざまな目的を担っている。多くのさまざまな記述子が、現在利用可能であり、そのような識別子には、これらに限定するものではないが、ＬＢＰ、ＳＩＦＴ、ＳＵＲＦＴ、ＨｏＧ、およびＧＬＯＨなどがある。正確な適用に応じて、さまざまな計算要件、性能要件、実装要件の容易化などを各オプションに繋げることができる。

キー点ローカライゼーションは、コンピュータビジョンで非常に重要なこともある。大抵の場合、キー点の規則的なグリッドは、最も一般的な選択ではない。状況によっては、キー点が、最大突出点に正確に配置されていることが有利である。

典型的に、画像の１次および２次の微分を使用して、最大突出点を検出し、対応する局所的位置のスケールを推定することができる。例えば、周知のＨａｒｒｉｓ検出器は、ヘッセ行列のトレースを使用して、角を検出する。他の検出器は、ヘッセ行列の行列式であるラプラシアン推定器を使用する。最大突出点が検出された場合、キー点は、突極性検出器によってもたらされたスケールにより対応する位置に設定することができる。

グリッドの場合と同様に、突出点から生じたキー点は、次いで、局所画像記述子を計算するために使用することができる。その場合、相違推定値を、記述子の間で計算することができ、キー点一致が得られ、これを変換モデルによって解析または調整することができる。変換モデルの例には、これらに限定するものではないが、カメラ用途に適した投影モデル、どちらも顕微鏡用途に適した移動モデルおよび剛体変換モデル、ならびに組織の歪みを包含することができる変形可能モデルがある。

キー点一致方法には、典型的に、いくつかの制約がある。例えば、一致率を良好にするには、充分突出点にキー点をローカライズするだけでなく、画像領域全体にわたって分散させる必要がある場合が多い。

キー点を充分突出点に配置させることは、典型的に、撮像パラメータの変更に関して、キー点のローカライゼーションをより堅実にする。したがって、これにより、キー点一致をより正確にすることによって、登録アルゴリズムの性能を向上することができる。

キー点一致処理の間、キー点を多くの他のキー点と関連付けようとしながら単一のレスポンスを有することは、より良好であることが多い。画像内にキー点の無い空間領域が無いようにすることが望ましいことも多い。これは、キー点の良好な分布を必要とする。

これらに限定されないが、以下を含むさまざまな取得の影響の下で不変である記述子を選ぶこともまた有利であることが多い。
・強度変化観測された画像信号は、実際、全体的および局所的光反射、照射の強度、光退色効果、および撮像アーチファクトなどに応じて変化する可能性がある。
・空間の歪み記載された領域の観測された形態は、視点に応じて変化する可能性があり、組織は、呼吸、心拍、計器との接触によりさまざまな画像の間で変化する可能性があり、利用者は、計器の倍率を変える可能性があり、および装置はアーチファクトを生成する可能性などがある。

状況によっては、記述および相違点測定処理は、人間の視覚をできる限り模倣することから利益を得ることができる。ほとんどの場合、ある画像から別の画像に正確に関連した領域に関して充分な記述−相違点の組を選ぶことは、少なくとも最も頻繁に有利である。

突出点の検出と、その後に続く標準的な局所的領域記述が、いくつかの用途における制約のほとんどに答えるが、多くのさまざまな医療撮像問題について良好に分散された突出領域を発見することに失敗することを示している。医療画像は、実際に、滑らかであるが、表面がでこぼこであることも多く、多くのコンピュータビジョンの特定のツールが必要とする角のエッジがないことも多い。

医療撮像の状況でのこれらの制約に答えるために、医療画像に固定スケールでグリッドベース記述を適用することが、しばしば興味深い選択肢となる。情報は、実際に、多くの医療画像内のあらゆる場所に分散させることができる。

登録のためにグリッドベース記述に依存することは、困難なタスクであると考えられることが多い。突極性検出ベース方法と比較すると、記述−相違点の組の選択は、一致の正確度により影響する。本方法によって扱われる必要のある非常に多くの数の外れ値一致も生成する。

臨床分野で使用される何らかの撮像走査装置はまた、かなり強い動きアーチファクトに繋がる可能性がある。組織が撮像プローブと接した場合、これは、予測することが複雑であるか、または予期しない変形をもたらす可能性がある。

以下において、１つの例示的な記述子、すなわち、いくつかの医療撮像問題について効果的であると示されているＳＩＦＴ記述子に注目し、局所的画像記述子の概念のいくつかを説明する。他の任意の局所的画像記述子を使用してもよいことを想起すべきである。

ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）アルゴリズムは、キー点検出および画像記述の両方を含む。グリッドベース記述手法では、キー点検出は、要求されない可能性があり、ＳＩＦＴの記述子部分のみが使用される可能性がある。

勾配情報を使用して、画像の局所的領域について記述することができる。より具体的には、指向性勾配のヒストグラム（ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ）は、効率的な結果を示している。局所的画像領域内で、ヒストグラムは、局所的領域のさまざまなサブ領域で生成され、いくつかの離散化配向ビンに従ってサブ領域における勾配の強さをまとめることができる。その場合、全体の局所的画像領域は、所定の順序で全てのサブ領域ヒストグラムを連結する１つの最終ヒストグラムによって記述することができる。

窓化の概念はまた、記述子上の勾配の大きさの寄与により良好に重み付けするために重要な役割を果たすことが多い。窓化は、典型的に記述子全体に適用される。ガウス核は、最も一般的な窓化選択であるが、他の種類の窓（ブラックマン、ハミング、コサインなど）を使用してもよい。

ガウス窓は、有限のサポートを有し、その実際の実装態様は、切り捨て、または再帰的フィルタリングなどの、近似の、またはより複雑な形式に依存するであろう。多くの場合において、ガウス窓の標準偏差σに依存する距離の後のガウス窓のサポートを切り捨てることは有利であろう。典型的には、切り捨て距離ｒは、σに比例するよう選択することができる。例えば、通常、ｒ＝σ／２を使用するが、他の任意の関係を使用することもできる。

窓化方針が定義されると、窓化値を、最終ヒストグラム生成の間に、窓化関数に従って、各勾配情報を重み付けすることによって、記述子の生成で使用することができる。

場合によっては、画像の任意の回転下で、不変である局所記述子を取得することが有利である可能性がある。このことは、これらに限定されないが、以下を含む多くの他の手段によって実現してもよい。
・局所的領域全体の中の配向のモードまたは平均を発見すること、およびこの主配向に従って領域または勾配値を再配向すること
・サブ領域内の局所的領域を細分割するために円形バンドを使用すること

記述子領域に対する主配向を定義することは、例えば、記述子の局所的領域全体について第１の勾配配向ヒストグラムを計算することによって行うことができる。このヒストグラム生成処理は、サブ領域ヒストグラム生成処理とは異なる可能性があり、そのようなサブ領域ヒストグラム生成処理には、例えば、以下がある。
・主配向を計算するために使用される角度ビンの数は、サブ領域ヒストグラムを計算するために使用される角度ビンの数より多いことが有利であろう。これにより、回転変化に対してより高い不変性をもたらす可能性のある、より正確な再配向方針を有することを可能にすることができる。
・別の窓化関数を使用して、各勾配サンプルの寄与に重み付けしてもよい。

主配向が局所的領域全体の配向ヒストグラムのモードとして定義された場合、この勾配ヒストグラムにおける最も高いピークが、この主配向の値をもたらす。同様に、平均値が必要とされる可能性があり。その場合、勾配ヒストグラムでの内側平均を使用することは、３６０°の角度のラッピングを考慮するために有利であろう。ピークを発見することはまた、サブビン正確度により、および潜在的により堅実な手法で、ピークの位置を識別するために、スプラインまたはガウスなどの局所的モデルを当てはめることによって、ある形式の正規化を使用することから利益を得ることができる。

モードが定義のために使用される場合、選択されたモードごとに１つの、いくつかの記述子を生成するためにいくつかの異なるモードを使用することが望まれる可能性もある。いくつかのモードを選択することは、例えば、最高ピークと二次ピークとの間の比較に基づいて行うことができる。二次ピークの高さが最も高い高さに充分近い場合、例えば、その数分の一より大きい場合、その状態を保持することに関心を持つであろう。対応する閾値を決定することは、異なる手段により実行してもよく、そのような手段は、これらに限定するものではないが、経験則、試行錯誤、相互検証、および最適化などを含む。

主配向が与えられた場合、サンプル勾配配向値は、角度差およびトリリニア補間を使用して、サブ領域の勾配ヒストグラムに分散させることができる。したがって、サンプルの位置および角度は、補間の間に考慮することができる。

円形切り捨ておよび円形対称窓化関数を使用することの利点の１つは、サンプルが再配向後の切り捨て領域の内側にあるか、外側にあるかのチェックを無くすることを可能にすることによって、一部の計算時間を節約することを可能にすることである。

再配向は、必ずしも必要であるわけではないことに留意されたい。例えば、映像の連続画像間に顕著な回転を観測することができない場合、またはほとんど観測されない場合、回転不変性は、より高い計算要件に繋がる可能性があるので、無用であるか、または有害ですらある可能性がある。連続画像に顕著な回転が存在しないことは、例えば、内視鏡映像において、標準的な場合である。実際に、撮像プローブは、典型的に、トルクに対して高い抵抗を有する。したがって、組織に対する撮像プローブの回転は、多くの場合、無視することができる。

局所的記述子における重要な概念の１つは、観察の少なくとも１つのスケールの決定である。このスケールは、用途固有の知識のおかげで、自動的に定義することができるか、固定することができる。キー点検出の状況では、スケールは、典型的には、検出処理の間に判断される。グリッドベース手法の状況では、所定のスケールを固定することは、より自然な選択であると理解されるであろう。しかしながら、他の選択を行ってもよい。

前述のように、所定のスケールを選択することは、用途固有の知識に従って実行することができる。例えば、内視鏡を使用する場合、少数の細胞のみに焦点を当てる数ミクロン、および細胞構造パターンに焦点を当てる数十ミクロンなどの、解剖学的に意味のあるスケールに関連した１つまたは複数のスケールを使用することが有利であろう。

本発明の別の実施形態によれば、少なくとも１つの最適なスケールを、所与のスケールで何らかの形式の画像内エネルギーを最適化することによって、または所与のスケールで画像全体にわたって平均突極性を最適化することによって、画像の全体の組でトレーニングデータベースの検出をしてもよい。

あるスケールが与えられた場合、所与の固定ピクセルサイズで画像パッチに局所的画像領域を再サンプリングすることが有利であろう。これは、標準スケール−スペース手法で実行することができる。画像Ｉ（ｘ，ｙ）の典型的なスケールスペース変換は、Ｌ（ｘ，ｙ，ｓ）＝Ｇ（ｘ，ｙ，ｓ）○Ｉ（ｘ，ｙ）によって定義することができ、ここで、ｓは、スケール因子であり、○は、ｘおよびｙでの畳み込み演算であり、Ｇは、２Ｄガウス関数である。このスケール−スペースを使用して、所望の固定サイズに局所的領域をダウンサンプリングする前に、局所的流域を平滑化する。

入力画像が、光学部品の品質、および画像再構築処理などの、何らかのパラメータから生じるあるσ０によってすでに自然に平滑化されたと考えることが有利であろう。ダウンスケーリングする前に画像を平滑化するために使用される標準偏差の値は、例えば、ｓを直接使用する代わりに√（ｓ−σ_０）を使用することによって、この自然な平滑化を判断することができる。

グリッドベース手法がとられ、観測の固定スケールが提供された場合、画像内に実際に存在する全ての可能な構造を取得するのに充分小さいが、計算要件を削減するのに充分大きいグリッドステップを選択することが有利であろう。

有利な選択の１つは、スケール因子に比例するようグリッドステップを選択することとすることができる。計算コストを減らすために、整数比例因子を選択することもまた有利であろう。このように、再サンプリングされたピクセルおよび局所的記述子に対するサンプルは、共存する。したがって、サンプル補間のステップの１つは、避けることができる。

グリッド手法は、正確で効率的な結果を示すことが多いが、状況によっては、グリッドからの一致結果を修正するのに有利であろう。実際に、一致の正確度は、グリッドステップに限定される。グリッドステップを減らすことはオプションであるが、これは、計算コストを増大させるという代価を払うことになる。本発明の一実施形態において、ディザリングの形式は、量子化誤差をランダム化するため、したがって、その平均を下げるためにグリッド点位置で使用することができる。

図６に示したように、意図的なノイズを規則的なグリッド（６２）の点位置６３に加えて、乱れたグリッド６４を生成することができる。このノイズの標準偏差は、元のグリッドに充分近い乱れたグリッド６４の点位置６５を保持するために、元のグリッド６２ステップの４分の１未満であることが好ましい。これは、場合によっては、画像全体の有効範囲を充分にすることを保証するために重要である。

別の実施形態において、元の点は、シード点で見られ、それぞれ、ノイズのさまざまなインスタンスでいくつかの点を生成することができる。シード点ごとに１つのノイズインスタンスを選択することは、単純な乱れグリッドに繋がるが、最も多くのインスタンスを選択することは有益である可能性がある。

さらに別の実施形態において、グリッド点位置に加えられたノイズは、ランダムでは生成されないが、基盤画像に対応する突極性マップによって駆動される。点の元の規則的なグリッドから開始すると、各グリッド点は、隣接する突出画像点によって引きつけられ、元の位置によって引きつけられる。２つの引きつけ間の競合により、乱れたグリッド点の最終位置を定義する。同様に、グリッド点の間に反発力を加える。この手法の場合、記述子は、画像にわたって良好に分散されるが、画像内の突出点にも焦点を当て、潜在的に、より正確な一致を行う。

より詳細には、１つの例示的な構成により、元のグリッド点への引きつけは、その点が制限された円形領域内にある限り、引きつけがない場合、二進とすることができ、その点が制限領域の外にある場合、引きつけは無限とすることができる。何らのグリッド点反発力も使用しない場合、グリッド点は、制限領域内の最も突出した画像点と共存してしまうであろう。

画像突極性マップの導出は、限定するものではないが、２次微分ベース基準や情報理論的基準などの、標準突極性基準を使用して行うことができる。

図５に示したように、画像記述５４が利用可能である場合、この画像の記述子５９は、バッファ内の以前の画像５３の記述子５７に一致させることができる。一致の組（ＩＩ）は、ここで、これらの２つの画像間で動きが安定していたかどうかを評価するために解析することができる。

良好な記述子一致を発見するために、可能な選択の１つは、相違点測定によってもたらされるようなｋ個の最近接記述子に依存することである。最近接点を活用するためにいくつかのアルゴリズム手法を開示する。

２つの記述子の間の相違点を観測するために、ユークリッド距離が最も単純な選択であり、しばしば充分な結果をもたらす。しかしながら、距離、疑似距離、またはより特別なアルゴリズムによる他の相違点測定を使用してもよく、そのような相違点測定には、これらに限定するものではないが、χ^２、マハラノビス距離、およびＥａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅ（ＥＭＤ）などがある。状況によっては、そのような相違点測定を使用することは、潜在的に、特徴一致のためにより良好な結果に繋がる可能性がある。

ユーグリッド距離は、任意の寸法の任意の点を比較するために広く使用される。しかしながら、記述子は、正規化してもよく、例えば、関心領域内の勾配の局所的分布を表すことができる。この状況において、記述子の間の相違点測定は、ＥＭＤなどの確率密度関連距離に依存することから利益を得ることができる。

上記の場合でも、ユーグリッド距離または二乗ユークリッド距離は、計算上の理由のために関心が高いであろう。

相違点測定の場合、２組の記述子の間の全ての可能なペアの相違点を計算することができる。これは、相違点マトリクスＤの生成を可能にし、Ｄ（ｉ，ｊ）＝相違（第１の組からのｉ番目の記述子，第２の組からのｊ番目の記述子）である。これは、場合によっては、２つの問題を引き起こす。第１の問題は、Ｄマトリクスを生成するための計算が複雑であることである。第２の問題は、この処理が、多数の外れ値を生成する可能性があることである。両方の態様を改善することが有用であろう。計算コストを減らすために、例えば、正確な最近傍ツールではなく近似最近傍ツールに依存することによって、一致での何らかの誤差を許容することができる。外れ値の数を減らすために、例えば、有用な一致のリストに加える前に、各一致を検証することが可能である。そのようなステップは、最も近い一致に集中するだけでなく、ｋ個の最も近い一致を探すことも必要とする可能性がある。

力ずくの方法による取組みの計算の複雑度を見ると、Ｎ個の記述子の２組にわたってｋ個の最良一致を探すことを考える場合、各記述子は同じサイズｎを有し、力ずくの方法のｋ最近傍（ｋ−ＮＮ）検索アルゴリズムの複雑度は、正確に、Ｏ（（Ｃ（ｎ）＋ｋ）．Ｎ^２）であり、Ｃ（ｎ）は、相違点測定のコストである。ユークリッド距離の場合では、Ｃ（ｎ）は、ｎにほぼ等しい。ｋ個のより良好な結果を得るために各行を部分的にソートするためのコストは、平均でＯ（ｋＮ）である。したがって、正確な検索の複雑度は、Ｏ（（ｎ＋ｋ）．Ｎ^２）である。

計算の複雑度を下げるために、近似最近傍法を使用してもよい。このように減らすことは、例えば、データパーティショニングに依存することによって実現することができる。二進ｎ−ｄツリーは、次元ｎの別々の点に構築される。これは、葉の主要な点が子に到達するまで、各子に対して再帰的に行われる。クラスタリングとして中央値分割を使用しながらこのツリーを構築することは、θ（ｎＮｌｏｇ_２（Ｎ））の線形複雑度を有する。任意のクラスタリング方法を、二進ツリーにデータを分割するために使用することができることに留意されたい。一般的に、単純な中央値分割が典型的に使用されるが、階層的Ｋ平均法または他のクラスタリングアルゴリズムもまた、この特定の用途のために広く使用されている。

ｎ−ｄツリーが構築されると、検索アルゴリズムが、ツリーのトップから、最後の葉に走り、第１の最近接点に達する。Ｎクエリのｋ個の最近接点を近似的に検索することの複雑度は、ほぼＯ（ｋＮｌｏｇ（Ｎ））である。ｎ−ｄツリー構造およびｎ−ｄツリーでの近似検索の複雑度は、Ｏ（（ｎ＋ｋ）Ｎｌｏｇ（Ｎ））である。

演算の基本モードでは、一致のために画像の各ペアに対して、第１の（または、第２の）画像に対してｎ−ｄツリーを構築し、第２の（または、第１の）画像からの各記述子を、このｎ−ｄツリーにおけるｋ個の最近接記述子に一致させることができる。どちらの順序も、必要であれば、同時に実行してもよい。

計算時間をさらに節約するために、２つの画像ごとのみに、１つのｎ−ｄツリーを構築することが有利であろう。これは、ｎ−ｄツリーを生成するために２つの画像のどちらを使用するかを選択することができる場合に実現することができる。実際に、ｎ−ｄツリーを生成するために第２の画像を選択することによって開始することができ、次いで、第３の画像が第２の画像に対して一致した場合、第２の画像に対するｎ−ｄツリーは、すでに利用可能であるとして使用される。第４の画像が第３の画像と一致する場合、新規ｎ−ｄツリーを、第４の画像のために構築し、以下同様である。

ある画像ペアから次へｎ−ｄツリーを移動するために、本発明は、有利には、上記した内部データベースを活用することができる。

力ずくの手法またはより進歩した手法の場合、第１の組における各記述子は、第２の組における最近接記述子と関連付けられることができる。この一致は、必ずしも対称的ではない。有利には、対称性チェック機能を使用して、一致を検証し、外れ値を除外することが可能である。第２の組において、第１の組からの記述子の、最良一致の場合、第１の組において、第２の組の記述子に最も近い記述子が、第１の組からの最初の記述子と正確に同じ記述子である場合、一致が検証されるであろう。対称性チェックの実装は、画像ごとに１つのｎ−ｄツリーを構築および格納することから利益を得ることができる。

対称性チェックにより多くの外れ値を除外することができる可能性があるが、場合によっては、外れ値除去をさらに修正することが有益である可能性がある。誤関連のほとんどを除去することは、一致のより容易で、より正確で、より堅実な分析をもたらすことを可能にする。誤一致をもたらす典型的なケースは、これらに限定するわけではないが、以下を含む。
・重複記述子の不足２つの連続した画像に関係する任意の自明でない空間変換の場合、連続した画像の間に重複が存在する可能性があるが、ほとんどの場合において、第２の画像内に存在しない第１の画像における空間領域が存在するであろう。非重複領域におけるそれらの記述子に対して、関連付けられるべき他の画像内に良好な記述子が存在しない。
・フラット記述子画像内に非常に少ないコントラストまたはフラット領域を伴う領域は、任意の信頼できる勾配情報を有さない。勾配の分布は均一であり、撮像システムの固有ノイズによって駆動される。これは、フラット領域の間のランダム一致に繋がる可能性がある。同じ問題は、単一方向に沿ってのみコントラストを示す領域に対するあまり厳正ではない方法で現れる可能性がある。これは、いわゆる、窓問題である。

上記で開示した対称性は、これら２つのカテゴリにおける多くの外れ値を除外するのに役立つであろうことに留意されたい。しかしながら、他の方法がより有益である可能性もある。撮像装置の中には、実際に、キャリブレーションの不確かさ、ビネット効果、および光学部品の傷などのため、画像の上部に静的ノイズパターンを生成する可能性のあるものがある。この設定のセットアップでは、何ら有用なコントラストを有さない画像が、依然として、上述のアーチファクトのいくつかから生じる小コントラストを有する。したがって、フラット領域は、完全にフラットではない可能性がある。その場合、その静的ノイズからの弱い勾配情報は、記述子と関連付けられながら、考慮することができる。これらの悪い一致は、場合によっては、対称性によって除去されず、識別に向けて一致にバイアスがかけられるであろう。

一致が信頼できると判断するために、現在の記述子と他の組における最近接記述子との相違点と、第２の最近接記述子との相違点との間の比率分析が提案されている。キー点検出を使用する場合に、このことは実際に良好に機能するが、このことは、重複領域を記述することができ、したがって、同様の記述子を有することができる場合のグリッドにおいて、適切に動作しない。キー点検出は、全ての局所的領域が、入力画像内のほとんどの非重複領域を説明することを確実にする記述子位置に繋がることができる。グリッドベース画像記述手法を使用する場合、記述子によってカバーされる領域は、無視できない重複を有する可能性がある。例えば、重複の約８０％が有益であると思われる場合がある。その場合、２つの空間隣接局所的領域の記述子が同様であろうことを意味する。したがって、最近接記述子および第２の最近接記述子は、同様に、現在の記述子と非常に類似した相違点を有するであろう。

本発明の一実施形態によれば、現在の記述子と他の組の最近接記述子との相違点と、ｋ番目の最近接記述子との相違点との間の比率分析を使用することができる。ｋの選択は、グリッドの構造を念頭におきながら行う必要がある。例えば、ｋ＝５（または、ｋ＝９）を選択することは、最良一致のために直接４連結（または、８連結）グリッド点が考慮されないことを保証する。この比率の閾値により、正常値のほとんどを保持しながら、多くの外れ値を除外することを可能にすることができる。

そのような比率分析は、有用な結果をもたらす。というのも、正確な一致と最近接の不正確な一致との比較により、不正確な一致と、最近接の他の不正確な一致との比較より大きな差異が導かれるためである。標準手法では、比較点として第１の最近接一致を使用していたが、本開示では、ｋ番目の一致を使用することで、正しい一致と高い重複を有する領域からのほぼ全ての正しい一致を考慮に入れることを避ける。前述のように、使用される記述子グリッドの密度に依存するパラメータｋを適合させることは有益である。グリッドが高密度になれば、比率で使用される第２の記述子を探すことがさらに必要になる。

本発明の別の実施形態によれば、所与の閾値を超える相違点を有する全ての一致を取り除くことも可能である。閾値は、全体的に所定の閾値とすることができ、相違について観測された統計に基づいて所与のペアの画像に対して全体的に計算することができ、またはある点の局所的近傍で観察された相違に基づいて局所的に計算することができる。局所的画像領域記述子の実際のコンテンツを考慮する、より複雑なオプションも想起することができる。

連続した画像のペアおよびフィルタリングされた一致の組の場合、それらを解析して、ある画像から他の画像への動力学的安定性を評価することを続けることができる。

一実施形態によれば、一致の解析は、その一致が、離散化空間変換パラメータの組内で投票する、したがって、投票マップを生成することなどのように実行される。充分な数の投票数を有するパラメータは、均一な投票と考えられる。その場合、均一な投票と不均一な投票との間のパーセンテージは、動力学的安定性に対する信頼性評価として使用される。

連続する画像のペアとフィルタリングされた一致の組とが与えられた場合、画像を登録、または整列することを可能にする空間変換を推定することを望む可能性がある。医療画像の場合、そのような登録は、これらに限定されないが、以下の理由のいくつかにより、潜在的に困難なタスクになることが多い。

異なる時点で同じ組織領域を撮像する場合、観測される画像信号は、正反射、光退色、血管新生もしくは酸化の変化、および励起光の量の変化などにより変化する可能性がある。

他の機器の存在、血液および他の生体液体の存在、スモーク、ならびに***物などの存在のため、オクルージョンが発生する可能性がある。

組織構造はまた、呼吸、心拍、患者の動きもしくは組織と機器との接触などにより、変形する可能性があり、撮像プローブを含む。したがって、局所的変形は、２つの連続した画像を登録している間、考慮する必要がある可能性がある。

撮像装置はまた、場合によっては、あまりに複雑で、ペアの画像登録のタスクのために適切にモデル化されない可能性がある独自の動きアーチファクトを生成する可能性がある。例えば、撮像走査装置の場合では、所与の画像に対する撮像視野域の走査を、鏡により実行することができる。これは、異なる時点で各ピクセルを取得してもよいことを意味する。撮像プローブが組織に対して移動している場合、視野域内で変動している強い歪みが引き起こされる可能性がある。場合によっては、組織に対する撮像プローブの移動が、画像を取得している間一定である場合、歪みをモデル化し、補償することができる。しかしながら、大抵の場合、特に、移動が迅速になる場合に、プローブの動きがより複雑になり、容易にモデル化できない。

状況によっては、撮像装置は、画像を生成するために画像再構築およびキャリブレーション情報に依存する。キャリブレーションは、不正確である可能性があり、時間とともに変化する可能性さえある。このことは、画像登録をバイアスする可能性のある静的ノイズパターンに繋がる可能性があり、または画像登録のタスクを複雑にする可能性のある視覚的外観の変化に繋がる可能性がある。

大抵の場合、撮像装置は、画像登録処理をガイドするのに有用であろうトラッキング情報を何ら有していない。また、トラッキング情報が利用可能である場合でも、その正確度は、視野域に比べてかなり大きい可能性がある。これは、特に、内視鏡の分野で真であるが、患者の動きのためほとんどの撮像装置に対して保持されるであろう。

場合によっては、上記の理由が依然として存在する場合でさえも、画像に対するそれらの影響は充分に小さく、画像間の空間変換を直接推定し、動力学的安定性について判断するための結果を解析することができる。同じ理由が画像についてより大きな影響を有する他の場合では、そのような手法は、小さな割合の画像ペアに対してのみ行うことができる。したがって、これは、動力学的安定性の推定における不安定性に向けてバイアスをかけることに繋がる可能性がある。実際に、画像の間の全体的な動きが平滑であると考えることができるが、画像の多くのペアが、潜在的に、適切に登録されない可能性がある。

本発明の一実施形態によれば、空間変換モデルを発見することが、動力学的解析を推定するのに充分である場合に焦点を当てる。空間変換は、これらに限定するものではないが、移動、剛体変形、アフィン変換、射影変換、および動きによる歪みを考慮に入れるためにねじれ変形を伴う移動などを含む、古典的な、または古典的ではないモデルのいくつかとすることができる。この状況では、一致は、変換モデルを適合するため入力データとして働くことができる。勾配降下およびシミュレーテッドアニーリングなど、またはＲＡＮＳＡＣ、ＭＳＡＣなどのランダムサンプリング法、最小二乗フィッティング、最小トリミング二乗、加重最小二乗フィッティング、ならびにＬ_１フィッティングなどのような、最適化ベース方式を、全て使用することができる。空間変換モデルを次第に修正するもののような、階層的フィッティング手法もまた、より堅実な結果をもたらす助けとなるであろう。

その場合、動力学的安定性は、最終空間変換モデルに対する正常値の数を見ることによって、および一致の総数もしくは保持された一致の総数と比較することによって、評価することができる。

動力学的安定性はまた、最終空間変換を使用することによって、および標的画像を他の画像上にワーピングした後で画像の間の重複の領域について類似性スコアを計算することによって、評価することができる。類似性スコアは、医療撮像で使用される標準的な、または標準的でない類似性スコアの１つとすることができ、これらに限定するものではないが、平方差の和、正規化相関、相互情報、および正規化勾配場などが含まれる。

この場合、動力学的安定性は、登録類似性スコアによって評価される。類似性スコアを最適化する登録への直接手法も可能であり、場合によっては、より良好な結果に繋がる可能性があることに留意されたい。他の場合によっては、動力学的安定性が類似性スコアの点から評価された場合でも、特徴一致ルートに進むことが、極小値で捕らえられる傾向が低い、より堅実な結果に繋がる可能性がある。正確な実装態様によっては、計算コストが、選択したルートによって大きく変化する可能性もある。

変換モデルを一致データに適合することは、場合によっては、実に効果的であろうが、モデルを定義することがあまりに複雑で、実際には使用できない場合もあるだろう。本発明の別の実施形態によれば、動力学的安定性に対する２つの連続した画像の間の一致を解析するためのより局所的な手法を使用することができる。有利には、本発明は、空間変換の正確なモデルに焦点を当てないが、画像間の相当に空間的に均一な空間変換を有する確率を評価することを可能にする。このため、記述子一致によってもたらされる局所的移動に依存する類似性スコアを提案する。

本発明の一実施形態によれば、連続する画像の間の類似性スコアは、投票マップを介して生成することができる。投票マップは、一致した記述子によって発見された各局所的移動の寄与度をまとめた２Ｄヒストグラムである。寄与度は、関連付けの品質によって、２つの一致した記述子の間の相違点の関数によって重み付けすることができ、または全てが単位重量を単純に有することができる。

投票マップは、離散化投票ビンを使用する。有利には、画像記述に対する規則的なグリッドの場合、投票マップの解像度は、記述グリッドの解像度と等しくなるように選択することができる。この場合、投票マップのサイズは、典型的に、第１の画像における１つのグリッド点から、他の画像における別のグリッド点への全ての可能な移動を可能にするよう、グリッドの２倍のサイズとする。

摂動グリッドの場合では、またはキー点検出の場合では、投票マップの解像度を選択することは、必要な正確度に従って行うことができる。

２つの画像の間の重複は、移動の振幅に依存することに留意されたい。そのため、全ての移動が、同じ最大数の投票を受け取ることができるわけではない。実際に、単純な構成において、識別変換のみが、全ての投票を受け取る可能性がある。一次元での半分の視野域の移動を考慮する場合、および矩形画像を使用する場合、重複は、半分の一致のみが正確な移動に対して投票することができることを意味する半分の画像に対応する。

この潜在的バイアスを考慮するために、投票マップは、投票ビンごとの最大数の潜在票に従って、さらに重み付けすることができる。有利には、投票マップにおける所与の移動に対する最大数の潜在票は、画像記述のために使用されるグリッドの空間編成を示す２つのマスク画像の畳み込みにより計算することができる。

撮像装置によっては、画像の視野域は、四角ではないが、典型的には、円形、または他の任意の形態とすることができる。投票マップの正規化を計算するために、全ての有効な記述子が１で満たされ、無効な記述子が０で満たされたマスク画像を生成することができる。

マスクの畳み込みの後、各可能な移動に対する最大数の寄与因子にわたる潜在的寄与因子の比率を含む寄与マップを取得する。その値は、０と１の間である。本発明の一実施形態によれば、充分な数の記述子一致によって投票することができる移動のみを考慮することが望まれる可能性がある。

投票マップは、以下のように正規化することができる。投票マップにおける各エントリは、寄与マップの値が所与の閾値を超える場合に寄与マップの値によって割算されるか、そうでない場合は（すなわち、寄与マップの値が閾値未満である場合）０を割り当てられる。

正規化投票マップが計算されると、空間変換が移動によって良好に表すことができる場合に、典型的に、期待される移動の周りの投票マップに主なピークが観測される。

非線形変換を含む、より複雑な空間変換の場合、典型的に、多くのピークが、正規化されているかいないかに関わらず、投票マップ内に現れる。本発明の一実施形態によれば、全てのピークは、動力学的安定性を評価するために考慮される。このため、投票マップの値に関する単純な閾値が、充分均一である全ての投票を選択するために使用することができる。その場合、選択された均一投票に対応する投票マップにおける全ての値を、動力学的安定性に関連した全体的な整合性を評価するためにまとめることができる。

以前の手法では、ある程度拡張された局所的画像領域で共有された移動のみを考慮することを保証することができる。これは、必要とされるほとんどの重要な変換をカバーすることができるが、場合によっては、より洗練された手法が必要とされる可能性がある。本発明の別の実施形態によれば、一致は、以下のルールに従って選択される。一致の近傍を考えると、単純な変換モデルの堅実な推定を実行する。この近傍に対する中心一致は、モデル変換への距離に応じて選択することができる。この方法では、局所的に均一な一致のみが、全体的な整合性を評価するために保持される。

有利には、選択などの、局所的空間変換のモデルに依存することは、一致によって生成される変位場の単純な平滑化、フィルタリング、または正規化によることによって実行することができる。

連続した画像の間の空間変換の整合性が計算されると、整合性についての単純閾値が、動力学的安定性の指標として使用することができる。

計算の複雑度をさらに減らすために、マルチスケール手法を使用することができる。第１のステップとして、記述子の粗いグリッドを使用することができる。低粒度とは、このグリッドから生じた推定があまり正確ではないことを意味するが、記述子の数の減少は、アルゴリズムを遥かに高速に実行させる。粗いグリッドを使用して発見された結果の場合、一致の検出が容易である画像ペアと、容易には一致できない画像ペアとをすでに検出することができる。容易ではない画像ペアの場合、細かいグリッドを使用してアルゴリズムを実行することができる。有利には、容易に画像ペアを区別するため、かなり保守的なルールを使用して決定することができる。

比較のために粗いグリッドと、次いで細かいグリッドとを使用する代わりに、本発明は、内部データベースが細かいグリッドから構築されたｎ−ｄツリーを保存するために使用された場合にも同様のスピードアップを実現することができる。これが実行された場合、ある画像における粗いグリッドは、他の画像の細かいグリッドに、効率的に一致させることができる。これは、記述子の２つの粗いグリッドを使用することが、離散化誤差が増加することを意味するので、有利である。したがって、グリッドが、あまりにもひどく誤一致し、アルゴリズムが、安定した連続画像のペアを正確に示さないかもしれないという可能性があるであろう。しかしながら、記述子の１つの細かいグリッドを使用することによって、離散化誤差が、完全な細かいグリッドの場合と同様に保たれる。１つの粗いグリッドを使用する場合により高くなるのは、投票マップにおけるノイズのみである。

いくつかの記述スケールを使用する場合、同じ一連の手順を、粗いスケールから細かいスケールに移動し、スケールが動力学的安定性の確信的推定を行うことを可能にする場合いつでも停止される、標準マルチスケール方式で適用してもよい。

別の実施形態によれば、いくつかのスケールを同時に使用して、上記の解析を多値解析で実行することによって拡張することができるマルチスケール投票マップを生成することができる。

連続した画像の安定性を超えて、動力学的安定性の概念は、安定したサブシーケンスがただ１つの、または少数の分離画像に制限されるべきではなく、ただ１つの、または少数の不安定画像によって分けられた安定したサブシーケンスが接合されるべきである、という考えをカバーすることが好ましい可能性がある。

この目的のために、図７Ａおよび図７Ｂで示すように、本発明の一実施形態によれば、時間的領域における数学的形態学的演算を使用することができる。連続した画像の解析が、動力学的安定性の二進情報（７１、７２）を伴うタイムラインに繋がった場合、形態学的閉演算（図７Ａに示す）を使用して、安定したサブシーケンスの間の小さなギャップ（７３）を満たすことができ、一方、形態学的開演算（図７Ｂに示す）を使用して、安定している（７５）が、あまりに短いサブシーケンスを除外することができる。

図７Ａおよび図７Ｂに示したように、この手法は、初期の時間的セグメンテーションにおける偽陰性および偽陽性のいくつかを避けることを可能にすることができる。

数学的形態学的演算の前に画像ペア動力学的安定性解析の結果を二値化する代わりに、本発明はまた、動力学的解析の連続出力について、直接、信号処理ツールを使用することを可能にする。単純なガウススムージング、グレースケールモルフォロジー、反復法、およびグラフカットなどを、この目的のために使用することができる。グラフカット手法の場合、１つの可能性のある実施形態では、正規化因子（平滑化）として２つの連続した画像の間の連続的な動力学的安定性解析（または、その伝達関数）を使用し、データとして、定数因子、前処理結果、または画像もしくは一致の標準偏差などの他の任意のデータ駆動信号などを使用することができる。
［高度内部データベースの使用］

一実施形態によれば、本発明は、その場で、現在取得した画像を処理することができる。最初は空である内部データベースが生成され、以前に取得した画像のその場での処理の結果によって、次第に満たすことができる。この内部データベースは、画像バッファの各アップデートの際にアップデートすることができる。

内部データベースは、領域レベルで、画像レベルで、または映像サブシーケンスレベルで、計算することができる中間結果を格納することができる。前記の中間結果は、これらに限定するものではないが、以下を含むことができる。
・全体的および局所的視覚特性
・全体的および局所的フレーム間類似性距離
・全体的および局所的変位領域
・視覚特性クラスタリングから構築されるｖｉｓｕａｌ ｗｏｒｄ
・視覚的署名
・映像サブシーケンスの間の類似性距離
・関心映像の映像サブシーケンスから、外部データベースの映像への類似性距離
・すでに取得および注釈付けされた画像または映像を含む外部データベースから抽出された事後知識情報

例えば、内部データベースは、格納された中間結果の生成および処理をサポートする、ｋ−ｄツリーまたはランダムフォレストなどの、グラフベース構造を含むことができる。前記処理は、これらに限定されないが、以下を含む。
・視覚特性のクラスタリング
・映像サブシーケンスと関連付けられた視覚的署名の計算
・視覚的署名の間の距離の計算
［分類ベース方式および回帰ベース方式］

一実施形態によれば、離散的出力の場合では、本発明の第１のアルゴリズムは、画像に対応するラベルを推定するために分類子を使用することができる。分類子は、単純なルールベースのものとしてもよく、または外部訓練データベースから訓練される機械学習に依存してもよく、画像の組が、ラベルまたは注釈などのグラウンドトルースデータと関連付けられる。

別の実施形態によれば、連続的出力の場合では、本発明の第１のアルゴリズムは、画像に対応するラベルまたは連続的出力を推定するために、回帰アルゴリズムを使用することができる。回帰アルゴリズムは、単純最小二乗回帰アルゴリズムとしてもよく、または外部訓練データベースから訓練される機械学習に依存してもよく、画像の組が、連続的なグラウンドトルースデータと関連付けられる。

分類または回帰のために第１のアルゴリズムによって潜在的に使用される機械学習ツールは、例えば、サポートベクターマシン、アダプティブブースト、ｋ最近傍投票によってフォローされるコンテンツベース画像検索、人工ニューラルネットワーク、およびランダムフォレストなどに基づくことができる。
［視覚的類似性評価およびクラスタリング］

一実施形態によれば、本発明は、関心映像の画像コンテンツのみに依存することによって、完全に教師無しの方法で動作することができる。

第１のアルゴリズムは、入力として、バッファに格納された全ての画像をとり、出力として、各画像と関連付けられたクラスタをもたらす、完全に教師無しのクラスタリングアルゴリズムとすることができる。一実施形態によれば、画像と関連付けられたクラスタは、映像バッファ内の画像に対応する位置でタイムライン上に重ね合わせることができる色にマッピングすることができる。

教師無しクラスタリングアルゴリズムは、Ｋ平均クラスタリング、階層的クラスタリング、平均シフト（Ｍｅａｎ Ｓｈｉｆｔ）クラスタリング、グラフカット、ランダムフォレストベースクラスタリング、Ｒａｎｄｏｍ Ｆｅｒｎｓ、または他の任意の標準クラスタリングアルゴリズムに基づくことができる。クラスタリングアルゴリズムは、内部データベースに格納された中間結果を使用することができる。

一実施形態によれば、視覚的署名は、ｂａｇ−ｏｆ−ｖｉｓｕａｌ−ｗｏｒｄｓ、Ｈａｒａｌｉｃｋ特徴、もしくは不変散乱畳み込みネットワークなどの、任意の適切な技術を使用して、訓練データベースとして内部データベースに依存する、バッファに格納された各画像に対して構築される。その場合、画像の教師無しクラスタリングは、それらの視覚的署名に基づいて実行することができる。
［解釈可能性特徴と第２のアルゴリズムとの結合］

第１のアルゴリズムが、各画像に対して、少なくとも１つの離散的出力をもたらした場合、第２のアルゴリズムは、等しい出力の連続的な画像で造られた映像サブシーケンスに適用され、表示すべき少なくとも１つの出力をもたらすことができる。上記のように、そのような離散的出力は、関心映像の時間的セグメンテーションと称することができる。第２のアルゴリズムは、第１のアルゴリズムの少なくとも１つの出力、内部データベースに格納された中間結果、および外部データベースに格納されたデータなどを使用することができる。

一実施形態によれば、第１のアルゴリズムは、関心映像において、第２のアルゴリズムに対して最適なクエリである映像サブシーケンスを検出する手段を提供する。

第２のアルゴリズムは、これらに限定されないが、以下を含む。
・少なくとも１つの映像サブシーケンスからより大きな視野域の画像を生成するための画像または映像モザイク
・例えば、関連映像を視覚的シーンにクラスタ化するための、映像サブシーケンスの教師無しクラスタリング、
・例えば、各映像サブシーケンスの視覚的非特性を推定するための、映像サブシーケンスの教師無し特徴づけ
・例えば、予測診断もしくは病理学的クラスおよび予測の信頼レベルを、映像サブシーケンスと、または完全な関心映像と、関連付けるための、映像サブシーケンスの教師あり分類
・例えば、所与の病理学的クラスに属する各映像サブシーケンスの完全な関心映像の確率を推定する、映像サブシーケンスの教師あり回帰
・例えば、各映像サブシーケンスの、または診断もしくは病理学的クラスの組に対する完全な関心映像の、視覚的あいまいさを推定するための、映像サブシーケンスの教師あり特徴づけ
・例えば、クエリと視覚的に同様のすでに注釈付けされた映像を外部データベースから抽出するための、クエリとしての少なくとも１つの映像サブシーケンスを伴う、コンテンツベース映像または画像検索

一実施形態によれば、第２のアルゴリズムがコンテンツベース検索アルゴリズムである場合、本発明により、利用者が、典型的には、医師が、第１のアルゴリズムの結果から、半自動化方式で第２のアルゴリズムに対して再生可能クエリを効率的に生成することを可能にする。状況によっては、これにより、クエリとしてアンカット映像を使用する場合と比較する場合、または完全自動化クエリ構造と比較する場合、検索機能を強化することを可能とすることができる。そのような半自動化手法により、専門家によって慎重に構成されたクエリの性能に迫ることも可能になる可能性がある。

これを実現するために、本クエリ構造手法は、２つのステップに分解することができる。第１のステップにおいて、関心サブシーケンスのセットへの元の映像の自動化時間的セグメンテーションが、動力学的安定性または画質評価などの、上記した方法のいずれかにより、実行することができる。第２のステップは、セグメント化されたサブシーケンスのサブセットの高速利用者選択から成る。医師は、第１のステップによって提供されたサブシーケンスを保持または破棄するよう、単純に求められるであろう。可能なサブシーケンスのそれぞれが、異なる組織型の画像を潜在的に備えることができるが、セグメンテーションステップは、典型的に、元のアンカット映像よりもずっとつじつまの合う各サブシーケンスを生成する。したがって、簡易化された利用者との対話処理によって、高速および再生可能なクエリ構造が可能となり、医師が、選択されたサブシーケンス内の、および選択されたサブシーケンスの間の充分な視覚的類似性を伴いクエリを構築することを可能にする。

一変形例において、利用者は、各セグメント化されたサブシーケンスを簡潔に再調査し、自身が興味のあるものについてクリックすることを求められる。この全てを一連の手順の間に実行することができるので、時間的セグメンテーションは、有利には、リアルタイムで適合可能とすることができる。

サブシーケンスの利用者が選択したサブセットの場合、本発明は、このサブセットを使用して、コンテンツベース検索アルゴリズムが外部データベースを照会するための視覚的署名を生成することができる。その場合、最も視覚的に類似する場合が、貼り付けられ得る任意の潜在的な注釈と共に、医師に提示され得る。

一変形例において、ｂａｇ ｏｆ ｖｉｓｕａｌ ｗｏｒｄｓ方法、Ｈａｒａｌｉｃｋ特徴、または他の任意の適合可能な方法を使用して、選択された映像サブシーケンス内の各画像に対して、画像ごとに１つの署名を計算することができる。これらの署名を平均化することによって、各サブシーケンスおよび各映像は、検索目的で使用することができる視覚的署名と関連付けることができる。

別の変形例において、映像ごとに１つの署名を計算するのではなく、各サブシーケンスは、次いで、検索目的で使用することができる１つの視覚的署名に関連付けることができる。その場合、全てのサブシーケンスに対して検索された場合は、それらの対応する初期サブシーケンスクエリと視覚的な類似性によって、プールおよび再利用することができる。

上記から明確になるであろうように、計算上の理由のため、第１のアルゴリズムと第２のアルゴリズムとの両方が、同じ中間計算に依存する場合、そのような計算は、一度に１回だけ実行してもよく、２つのアルゴリズム間で共有してもよい。例えば、これは、動力学的安定性に基づく時間的セグメンテーションおよびｂａｇ ｏｆ ｗｏｒｄｓに基づくコンテンツベース検索の両方に対して、ＳＩＦＴおよびＳＵＲＦなどの規則的な高密度グリッドなどの、特徴記述子の共通組に依存する場合である。

本発明の上記説明は、当業者が、最良の態様であると現在考えられるものを作成および使用することを可能にするが、当業者は、本明細書における特定の実施形態、方法、および例示の変形、組み合わせ、および均等物の存在を理解および認識するであろう。したがって、本発明は、上記で説明した実施形態、方法、および例によって限定されず、開示したような本発明の範囲および主旨内の全ての実施形態および方法によって限定される。

Claims (11)

1. 映像医療機器により順次取得される画像を処理するシステムの作動方法であって、
   前記システムが、バッファに前記取得された画像を格納するステップと、
   前記システムが、前記バッファ内の各画像に対して、第１のアルゴリズムの少なくとも１つの第１の出力値を自動的に判断するステップとを備え、前記第１の出力値は、少なくとも１つの、画像の定量的基準に基づいており、
   前記第１のアルゴリズムの前記少なくとも１つの第１出力値は、一組の離散値内の出力値であり、
   前記第１のアルゴリズムは、ある画像からの少なくとも１つの領域を別の画像の領域に関連づけるために局所画像記述子の間の相違推定値を計算し、
   前記システムが、等しい第１出力値をもつ連続画像からなる複数の映像サブシーケンスへの前記画像の自動化時間的セグメンテーションを実行するステップと、
   前記システムが、前記バッファにおける現在表示されている前記画像の位置を示すタイムラインを、前記現在表示されている前記画像の側に表示し、前記第１出力値を前記タイムラインに貼り付けるステップと、
   前記システムが、第２のアルゴリズムを用いて少なくとも１つの前記映像サブシーケンスを処理し、少なくとも１つの第２出力値を供給するステップとをさらに備え、
   前記第２のアルゴリズムは、
   外部データベースに対するクエリとして前記少なくとも１つの映像サブシーケンスを用いてコンテンツベースで画像または映像を検索するアルゴリズムと、
   前記少なくとも１つの映像サブシーケンスからより大きな視野域の画像を生成するように構成された画像または映像のモザイクアルゴリズムと、
   予測診断もしくは病理学的クラスおよび予測の信頼レベルを前記少なくとも１つの映像サブシーケンスに関連づけるように構成された教師あり分類アルゴリズムと、
   前記少なくとも１つの映像サブシーケンスが所与の病理学的クラスに属する確率を推定するように構成された教師あり回帰アルゴリズムと、
   診断もしくは病理学的クラスの組に対する前記少なくとも１つの映像サブシーケンスの視覚的あいまいさを推定するように構成された教師あり特徴づけアルゴリズムと、
   前記少なくとも１つの映像サブシーケンスの視覚的非典型性を推定するように構成された教師無し特徴づけアルゴリズムと、
   から構成される一組のアルゴリズム内の一つのアルゴリズムである、
   方法。
2. 前記第２のアルゴリズムは、外部データベースに対するクエリとして前記少なくとも１つの映像サブシーケンスを用いてコンテンツベースで画像または映像を検索するアルゴリズムであり、
   前記システムが、ユーザに前記サブシーケンスのサブセットを選択させるステップと、
   前記システムが、前記選択されたサブセットに対して視覚的署名を計算するステップと、
   前記システムが、前記視覚的署名を用いてコンテンツベースで画像または映像を検索するアルゴリズムによって外部データベースを照会し、視覚的に類似する映像または画像を検索するステップと、
   前記システムが、一組の視覚的に類似する映像または画像を関連づけられた注釈と共にユーザに提示するステップと、
   をさらに備える、
   請求項１に記載の方法。
3. 前記第１のアルゴリズムは教師無しクラスタリングアルゴリズムであり、前記第１のアルゴリズムの少なくとも１つの出力は各画像に関連づけられたクラスタである、
   請求項１に記載の方法。
4. 前記教師無しクラスタリングアルゴリズムは、前記バッファ内の各画像に対して計算された視覚的署名にもとづいて実行される、
   請求項３に記載の方法。
5. 前記選択されたサブセットに対して視覚的署名を計算する前記ステップは、
   選択されたサブセットにおいて各画像に対する視覚的署名を計算するステップと、
   前記選択されたサブセットにおいて前記画像の前記視覚的署名を平均化するステップと、
   各サブセットを前記平均化された視覚的署名に関連づけるステップと、
   を備える、
   請求項２に記載の方法。
6. 前記局所画像記述子は、強度変化、空間歪み、および／または画像回転に関して不変である、
   請求項１に記載の方法。
7. 前記システムが、前記第２出力値を表示するステップをさらに備える、
   請求項１に記載の方法。
8. 前記第１のアルゴリズムまたは第２のアルゴリズムの少なくとも一方が、外部データベースを使用する、
   請求項１から７のいずれか一項に記載の方法。
9. 前記第１のアルゴリズムまたは第２のアルゴリズムの少なくとも一方が、機械学習に基づく、
   請求項１から８のいずれか一項に記載の方法。
10. 前記定量的基準は、動力学的安定性、画像間の類似性、カテゴリに属する確率、画像または映像の典型性、画像または映像の非典型性、画質、アーチファクトの存在、の中の１つである、
    請求項１から９のいずれか一項に記載の方法。
11. 映像医療機器により順次取得された画像を処理するシステムであって、前記システムは、請求項１から１０のいずれか一項に記載の方法の各ステップを実行する手段を備える、システム。

Images