JP2016517114A - 画像注釈のグループ化 - Google Patents

画像注釈のグループ化 Download PDF

Info

Publication number
JP2016517114A
JP2016517114A JP2016508173A JP2016508173A JP2016517114A JP 2016517114 A JP2016517114 A JP 2016517114A JP 2016508173 A JP2016508173 A JP 2016508173A JP 2016508173 A JP2016508173 A JP 2016508173A JP 2016517114 A JP2016517114 A JP 2016517114A
Authority
JP
Japan
Prior art keywords
annotations
annotation
unit
image
medical images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016508173A
Other languages
English (en)
Other versions
JP6546156B2 (ja
Inventor
セフェンステル,メルレイン
フレデリク ペーテルス,ヨースト
フレデリク ペーテルス,ヨースト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016517114A publication Critical patent/JP2016517114A/ja
Application granted granted Critical
Publication of JP6546156B2 publication Critical patent/JP6546156B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

画像注釈をグループ化するシステムが開示されている。表示ユニット(1)は、解剖学的オブジェクトの表示を含む対象(5)に関する複数の医用画像を表示するように構成される。注釈ユニット(2)は、ユーザインターフェース(4)を介して複数の医用画像の複数の注釈(3)の入力に関する情報を受けるように構成され、各注釈は、複数の医用画像のうち1つの画像に相対する幾何学的情報を含む。グループ化ユニット(4)は、幾何学的情報、及び、同じオブジェクトに属する注釈(3)の幾何学的関係の一般的な特性を定めるルールのセットに基づき、複数の注釈の中から注釈のグループを検出するように構成される。注釈のグループの検出は、複数の医用画像間の幾何学的関係にさらに基づく。

Description

本発明は、画像注釈をグループ化することに関し、特に、放射線学的検査における医用画像の審査の間に付けられる画像注釈をグループ化することに関する。
放射線学的検査を解釈する過程において、放射線科医は、コンピュータワークステーションを使用して画像に注釈を付けることができる。例えば、注釈を画像に加えて、画像によって表される特定のオブジェクトの測定を可視化するか、又は、関心のある特定の構造を指すことができる。例えば、注釈は、矢印若しくは他のシンボル等のシンボル及び/又は文字列を含み得る。
例えば、注釈は、デジタル画像上に重ねられ、さらに、ビットマップとしてその画像と共に格納されてもよい。或いは、注釈は、例えば表示状態として等、元画像と共に別のデジタルオブジェクトとして格納されてもよい。注釈付き画像のスナップショットが、例えば、放射線報告文書内に格納されてもよい。
特許文献1は、画像に視覚的に注釈を付ける方法及びシステムを記載している。デジタルの医用及びヘルスケア画像等の画像に対する注釈及び注解は、画像情報と一緒に構造化されたベクトル表現で単一の不揮発性ポータブルファイルにおいて、又は、画像とは別のファイルにおいて格納されてもよいということが述べられている。注釈は、点、線及び多角形の図、並びに、テキスト記号、ラベル又は定義及びキャプション又は説明から構成されてもよい。注釈は、ユーザ定義のグループとしてグループ化及び操作を促進する様式で構造化されてもよい。
WO2004/057439(A2)
画像に注釈を付けるための改善されたシステムを有するということは有利である。
この懸念により焦点を当てるために、本発明の第1の態様は、画像注釈をグループ化するシステムを提供する。当該システムは、
表示スクリーン上に、対象に関する複数の医用画像を表示する表示ユニットであって、複数の医用画像は、少なくとも1つの解剖学的オブジェクトの表示を含む、表示ユニットと、
ユーザから、複数の医用画像に関する入力を受け、さらに、該入力から、複数の医用画像にわたって1つ又は複数の注釈を作成する注釈ユニットであって、各注釈は幾何学的情報を含む、注釈ユニットと、
上記1つ又は複数の注釈の中から注釈のグループを検出するグループ化ユニットであって、検出は、単一の解剖学的オブジェクトに属する注釈の幾何学的関係の特性を定めるルールのセットに基づき、及び、複数の医用画像間の幾何学的関係に基づき上記幾何学的情報を処理することを含む、グループ化ユニットと、
を含む。
当該システムは、同じオブジェクトに属する注釈を、画像データセットの異なる関連する画像上に描かれているとしても、グループ化することを可能にする。単一の患者に関連する異なる画像データセットの関連する画像上の注釈をグループ化することさえ可能である。これは、ユーザからの助けを必要とすることなく注釈に構造を加える。そのような構造は、注釈に含有される情報を機械により利用可能にすることに寄与することができ、さらに、注釈の自動処理及び注釈の情報の自動化された抽出を促進する。ルールは、単一の解剖学的オブジェクトに属する注釈の幾何学的関係の一般的な特性を定めてもよい。例えば、ルールは、特定のヘルスケア領域における医用画像において頻繁に発生する解剖学的オブジェクトの大きさ及び形状に適応されてもよい。このように当該システムは、ルールに基づき、同じオブジェクトに属しているように見える2つ以上の注釈を自動的にグループ化する。
表示ユニットは、指示を表示するように構成されてもよく、その指示の注釈はあるグループに属している。これは、どの注釈が共に属しているか見ることを可能にするため、グループ化の有用な応用である。さらに、グループ化の正確さをユーザが検証するのを可能にする。さらに、当該システムは、ユーザがさらなる入力を提供する場合に、即時フィードバックとして指示をユーザに提供してもよい。
幾何学的情報は、医用画像に関する注釈の位置、及び/又は、医用画像に関する注釈の定位、及び/又は、注釈の形状を含んでもよい。これらのタイプの幾何学的情報は、グループを決定するために使用することができる非常に関連した重要性があるルールの使用を可能にする。
グループ化ユニットは、異なる医用画像に関連している少なくとも2つの注釈間の幾何学的関係を、異なる医用画像間の幾何学的関係及び上記少なくとも2つの注釈の幾何学的情報に基づき決定するように構成される幾何学的ユニットを含んでもよい。これは、グループ化ユニットの有利な実行の選択肢を提供する。
注釈ユニットは、複数の注釈のうち少なくとも2つの注釈の入力の時間を示す時間情報を受けるようにさらに構成されてもよい。グループ化ユニットは、その時間情報にさらに基づき検出を行うように構成されてもよい。これは、注釈の作成間の時間遅延が、注釈が同じオブジェクトに属しているかどうかの指示であり得るため、検出をより信頼できるものにする。
グループ化ユニットは、幾何学的情報に基づき、第1の注釈の周囲の第1の領域、及び、第2の注釈の周囲の第2の領域を決定する領域ユニット、並びに、第1の領域及び第2の領域の重複領域を決定する重複ユニットを含んでもよい。グループ化ユニットは、重複領域のサイズに基づき注釈のグループの検出を行うように構成されてもよい。これは、重複領域を考慮に入れるルールに基づきグループ化が行われるのを可能にし、関連した重要性があるルールに対する基礎を提供するとわかった。
第1の注釈の幾何学的情報は、第1の線の指示を含んでもよく、さらに、第2の注釈の幾何学的情報は、第2の線の指示を含んでもよい。グループ化ユニットは、第1の線と第2の線との交差点の位置に基づき、第1の注釈及び第2の注釈が同じグループに属しているかどうかを検出するように構成されてもよい。定められた交差点は、注釈が同じグループに属しているかどうかを決定するための関連した重要性がある情報を提供するとわかった。
注釈ユニットは、文字列を含むテキストの注釈、及び、複数の非テキストの注釈の入力に関する情報を受けるように構成されてもよい。各非テキストの注釈はシンボルを含んでもよい。グループ化ユニットは、幾何学的情報に基づき、テキストの注釈に最も近い非テキストの注釈を検出するように、及び、複数の非テキストの注釈のうち最も近い非テキストの注釈と共にテキストの注釈をグループ化するように構成されてもよい。これは、非テキストの注釈と共にテキストの注釈をグループ化するための適切なルールであるとわかった。
複数の医用画像は、既知の幾何学的関係を有する、異なって方向づけられ再構成された面を含んでもよい。神経学磁気共鳴(MR)検査及び他のタイプの検査において、異なって方向づけられ再構成された面において注釈が付けられることはかなり標準的である。放射線科医が病変の体積の評価を望む場合、例えば、放射線科医は、2つの異なる再構成された面を使用して三次元で測定することができる。従って、そのような測定から結果として生じる注釈は、そのような異なって方向づけられ再構成された面にわたってグループ化されてもよい。
複数の医用画像は、2つの画像シリーズで構成されてもよい。さらに、当該システムは、2つの画像シリーズを位置合わせして、複数の医用画像間の幾何学的関係を取得するレジストレーションユニットを含んでもよい。そのようなものとして、ルールのセットを、注釈が同じシリーズに付けられたかのように適用することができる。例えば、同じ患者から作成された2つの画像シリーズを位置合わせして、2つの画像シリーズ間の幾何学的関係を取得してもよい。これら2つの画像シリーズのそれぞれのシリーズにおいて付けられる注釈は、2つの画像シリーズ間の幾何学的関係を使用してグループ化されてもよい。
グループ化ユニットは、複数の医用画像において類似の座標にて位置している注釈に基づき注釈のグループを検出するように構成されてもよい。従って、異なる画像シリーズの対応するスライスに関して付けられる注釈は、画像内の類似の座標にて位置する場合に共に属することができ、特に、大きさ及び/又は形状がさらに匹敵している場合にそうである。
ルールのセットは、単一の臨床所見に属する注釈の幾何学的関係の特性を定めてもよい。
本発明の別の態様において、ワークステーションが、本明細書において先に明記されたシステムを含む。
本発明の別の態様において、画像注釈をグループ化する方法が提供される。当該方法は、
表示スクリーン上に、対象に関する複数の医用画像を表示するステップであって、複数の医用画像は、少なくとも1つの解剖学的オブジェクトの表示を含む、ステップと、
ユーザから、複数の医用画像に関する入力を受け、さらに、該入力から、複数の医用画像にわたって1つ又は複数の注釈を作成するステップであって、各注釈は幾何学的情報を含む、ステップと、
幾何学的情報、及び、同じオブジェクトに属する注釈の幾何学的関係の特性を定めるルールのセットに基づき、並びに、複数の医用画像間の幾何学的関係に基づき複数の注釈の中から注釈のグループを検出するステップと、
を含む。
別の態様において、本発明は、明記される方法をプロセッサシステムに行わせる命令を含むコンピュータプログラムプロダクトを提供する。
別の態様において、
表示スクリーン上に少なくとも1つの画像を表示する表示ユニットであって、少なくとも1つの画像は、少なくとも1つのオブジェクトの表示を含む、表示ユニットと、
ユーザから、上記少なくとも1つの画像に関する入力を受け、さらに、該入力から、1つ又は複数の注釈を作成する注釈ユニットであって、各注釈は幾何学的情報を含む、注釈ユニットと、
上記1つ又は複数の注釈の中から注釈のグループを検出するグループ化ユニットであって、検出は、単一のオブジェクトに属する注釈の幾何学的関係の特性を定めるルールのセットに基づき上記幾何学的情報を処理することを含む、グループ化ユニットと、
を含むシステムが提供されてもよい。
別の態様において、
表示スクリーン上に少なくとも1つの画像を表示するステップであって、少なくとも1つの画像は、少なくとも1つのオブジェクトの表示を含む、ステップと、
上記少なくとも1つの画像の複数の注釈の入力に関する情報を受けるステップであって、各注釈は、上記少なくとも1つ画像のうち1つの画像に相対する幾何学的情報を含む、ステップと、
幾何学的情報、及び、同じオブジェクトに属する注釈の幾何学的関係の特性を定めるルールのセットに基づき複数の注釈の中から注釈のグループを検出するステップと、
を含む方法が提供されてもよい。
本発明の上記の実施形態、実行及び/又は態様のうち2つ以上が、有用であると考えられるいかなる方法においても組み合わされてよいということが当業者によって正しく理解されることになる。
記載される当該システムの修正及び変更に対応するワークステーション、方法及び/又はコンピュータプログラムプロダクトの修正及び変更が、本願の説明に基づき当業者によって行われ得る。
本発明の上記及び他の態様が、図面から明らかになり、さらに、以下において図面を参考にして解明されることになる。
画像注釈をグループ化するシステムの図である。 画像注釈をグループ化する方法の流れ図である。 画像注釈をグループ化するシステムの代わりとなる実施形態の図である。 周囲に重複した領域を有する2つの注釈を例示した図である。 周囲に領域を有する注釈を例示した図である。 いくつかの注釈を有する医用画像を示した図である。
図1は、画像注釈をグループ化するシステムを例示している。当該システムは、専用の電子回路として、ソフトウェア又はハードウェアで実行されてもよい。例えば、ソフトウェアは、コンピュータワークステーション上で実行されるように構成されてもよい。或いは、ソフトウェアは、クライアントサーバシステム又はいかなる他の分散型コンピュータシステムで作動するように構成されてもよい。当該システムは、表示スクリーン10を有する表示装置に送られる出力信号を制御するように構成される表示ユニット1を含んでもよい。表示ユニット10は、少なくとも1つの画像5を表示スクリーン10上に表示するように構成されてもよい。画像5は、画像データベースから、又は、画像取得装置等のいかなる他の供給源からも得ることができる。画像データベースは、画像データ保管通信システム(PACS)又は健康記録システム等、医用画像データベースであってもよい。画像5は、二次元画像又は三次元画像又は高次元画像であってもよい。画像5はまた、画像シリーズ、又は、複数の画像スライスを含む画像であってもよい。画像は、放射線画像、X線画像、コンピュータ断層撮影(CT)画像、磁気共鳴(MR)画像、超音波検査画像、又は、いかなる他のタイプの画像であってもよい。画像5は、少なくとも1つのオブジェクトを表してもよい。このオブジェクトは、解剖学的構造又は別の種類のオブジェクトであってもよい。
本発明は医用画像処理システムの例を使用して本明細書において説明されているけれども、本発明はそれに限定されないということが理解されることになる。例えば、本発明は、写真画像にも適用されてよく、オブジェクトは、写真にとることができるいかなるオブジェクトでもある。
当該システムは、ユーザによって作動され得る制御を提供するように構成されるユーザインターフェース7を含んでもよい。これらの制御は、例えばマウス、キーボード及び/又はタッチスクリーンによって作動され得るボタン、スライダー等を含んでもよい。ユーザインターフェース4を使用して、目視及び注釈付けのために、データベースから画像5を選択してもよい。
当該システムは、ユーザインターフェース7に作動連結される注釈ユニット2をさらに含んでもよい。注釈ユニット2は、ユーザインターフェース7からユーザによる画像の注釈の入力に関する信号を受けてもよい。特に、ユーザインターフェース7は、ユーザが画像5内の特定の位置を指す、及び、画像内のその位置にて注釈を作成するのを可能にしてもよい。各注釈は、注釈の位置及び/又は定位を決定する1つ又は複数の特徴点又は特徴パラメータ等の幾何学的情報を含んでもよい。この情報は、注釈ユニット2によって受けられる。さらに、注釈ユニット2は、例えばどのシンボルを注釈は含んでいるか等、どのタイプの注釈が作成されるかに関する情報を受けてもよい。注釈は、位置及び/又は定位に従って画像の上に重ねられるシンボルを含んでもよい。シンボルは、矢印、線、又は、いかなる他の適したシンボルであってもよい。注釈は、テキストキャラクタ又は文字列も含んでよい。このテキストも、特徴パラメータに従って画像の上に重ねることができる。ユーザインターフェース7は注釈ユニット2と共に、ユーザが、画像上のどこに次の注釈が描かれることになるかに関して制限されることなく、例えば異なる位置にて等、異なる幾何学的情報を用いて注釈を画像5に順次加えるのを可能にしてもよい。注釈ユニット2は、複数の注釈3として生成する注釈を格納する、及び、その複数の注釈3をグループ化ユニット4に送るように構成されてもよい。
或いは、注釈ユニット2は、例えば画像データベース等のデータベース13から、画像5の注釈と共に注釈情報を受けるように構成されてもよい。組合せも可能であり、例えば、ユーザインターフェース7を使用して新たな注釈を作成してもよく、その注釈は、注釈ユニット2によってデータベース13内に格納されてもよい。後に見られる場合、これらの注釈は、データベース13からロードされてもよく、さらに任意で、新たな注釈が、ユーザインターフェース7を介してユーザによって加えられてもよい。データベース13からの注釈も、ユーザインターフェース7を介して受けられる新たに作成された注釈も、グループ化ユニット4に送られた複数の注釈3において組み合わせることができる。
グループ化ユニット4は、複数の注釈3の中から注釈のグループ6を検出するように構成されてもよい。グループ化ユニット4は、どの注釈がグループに属するかを示すグループ化情報6を生成するように構成されてもよい。グループ化情報6は、複数の注釈3の中からいくつかの注釈のグループを同定する情報を含有してもよい。グループ化情報6は、データベース13内に格納されてもよい。画像のグループ化は、注釈が、画像5によって表されている同じオブジェクトに関している場合にグループ化されるように行われてもよい。グループ化ユニット4は、どの注釈が同じオブジェクトに属しているかを決定するために発見的アルゴリズムを含んでもよい。この発見的アルゴリズムは、複数のルールを含んでもよい。アルゴリズム及びルールは、特定の適用領域における画像及びオブジェクトの一般的な特性を考慮に入れるように設計されてもよい。そのような適用領域は、特定のタイプの医用画像及び/又は病態であり得る。例えば、***のマンモグラフィ画像は、足のX線画像とは異なる特定の寸法を有する特定のオブジェクトを含有する。ルールはこの違いを考慮に入れることができ、それは、当該システムを用いて注釈が付けられる適したオブジェクトの寸法を考慮に入れるようにルールを設計することによって行うことができる。幾何学的情報、及び、同じオブジェクトに属する注釈の幾何学的関係の一般的な特性を定めるルールのセットに基づき、グループ化ユニット4は、画像内の同じオブジェクトに属する注釈のグループを検出する。グループは、特定の確率又は可能性を用いてグループ化ユニット4によって検出されてもよく、確信を有する必要はない。
表示ユニット1は、どの注釈がグループに属しているかの指示を表示するように構成されてもよい。この指示は、注釈の色づけ若しくは強調表示によって、又は、さらなるシンボルを表示することによって行われてもよい。例えば、グループのうち全ての注釈が、同じ色で表示されてもよく、さらに、他の注釈が異なる色で表示されてもよい。その指示は、(例えば数秒等)一時的に、又は、(注釈及び画像が表示されている限り)持続的に示されてもよい。例えば、注釈がユーザインターフェース7において作成され且つ注釈ユニット2によって受けられるとすぐに、グループ化ユニット4は、新たに作成された注釈は、1つ又は複数の現存する注釈と共にグループを形成するかどうかを検出することができる。新たに作成された注釈がグループに属している場合、そのグループの指示が、ユーザに対する即時フィードバックとして表示ユニット1によって表示され得る。ユーザインターフェース7は、グループ化ユニット4によって検出されるグループ化をユーザがくつがえすのを可能にするインターフェースを提供してもよい。例えば、グループ化ユニット4がグループを検出しなかった場合に、ユーザは、新たに作成された注釈がそのグループに属さないということを示すことができるか、又は、ユーザは、新たに作成された注釈が実際に他の注釈若しくは現存する注釈のグループに属しているということを示すことができる。
グループ化された注釈の代わりとなる表示の選択肢として、特定のグループに属していない全ての注釈を(一時的に)隠すこと、又は、特定のグループに属している全ての注釈を(一時的に)隠すことも可能である。
表示ユニット1によって表示される上記少なくとも1つの画像は、複数の画像であってもよい。これらの画像は、各画像の座標を共通の座標系に変換することができるため、異なる画像内の点を互いに関係づけることができるという意味で、既知の幾何学的関係を有していてもよい。そのような座標変換は、複数の画像のうちある画像間の幾何学的関係を定める。ユーザインターフェース7及び注釈ユニット2は、ユーザが複数の画像のうちこれらの画像のそれぞれに注釈を作成するのを可能にするように構成されてもよい。グループ化ユニット4は、複数の画像間の幾何学的関係にさらに基づき注釈のグループを決定するように構成されてもよい。このように、同じオブジェクトが2つ以上の画像に描写され得る場合に、異なる画像の注釈を、同じオブジェクトに関している場合にグループ化することができる。
グループ化ユニット4は、異なる画像に関連している少なくとも2つの注釈3間の幾何学的関係を、異なる画像間の幾何学的関係及び上記少なくとも2つの注釈の幾何学的情報に基づき決定するように構成される幾何学的ユニット8を含んでもよい。
注釈ユニット2は、複数の注釈のうち少なくとも2つの注釈の入力の時間を示す時間情報を受けるようにさらに構成されてもよい。グループ化ユニット4は、時間情報にさらに基づき、画像のグループの検出を行うように構成されてもよい。例えば、発見的アルゴリズムが、同じグループに属している2つの画像の可能性を決定してもよく、さらに、そのような発見的アルゴリズムは、2つの連続する注釈間の時間差に対する閾値に基づき、2つの注釈が迅速に交互に付けられた場合にこの可能性を高めることができる。
グループ化ユニット4は、幾何学的情報に基づき、第1の注釈の周囲の第1の領域、及び、第2の注釈の周囲の第2の領域を決定する領域ユニット9を含んでもよい。そのような領域は、注釈を含有する最も小さい長方形であってもよく、例えば、その長方形の周囲に縁をおそらく有している。しかし、他の領域も可能である。グループ化ユニット4は、第1の領域及び第2の領域の重複領域を決定するように構成される重複ユニット11をさらに含んでもよい。この重複は、第1の領域と第2の領域とを比較することによって決定することができる。グループ化ユニット4は、重複領域のサイズに基づき注釈のグループの検出を行うように構成されてもよい。例えば、第1の領域及び/又は第2の領域のサイズと比較された重複領域のサイズは、基準として使用することができる。領域のさらなる詳細な例は、図4及び図5を参考にして、本願の説明においてどこかに記載されている。
第1の注釈の幾何学的情報は第1の線の指示を含んでもよく、さらに、第2の注釈の幾何学的情報は第2の線の指示を含んでもよい。そのような線は、例えば、矢印又は線分の線形拡張であってもよい。グループ化ユニット4は、第1の線と第2の線との交差点の位置を検出するように構成されてもよい。この交差点は、第1の注釈及び第2の注釈が同じグループに属しているかどうかの指示として使用することができる。例えば、交差点が注釈から所定の距離内にある場合に、2つの注釈は同じグループに属していると考慮することができる。これは、2つの注釈が矢印であり且つどちらの矢印も交差点に向かって指している場合になおさらそうであり得る。そのような考慮は、2つの注釈が同じグループに属しているかどうかを確定するためにルールを使用して形式化することができる。交差点の例が図6において与えられている。
注釈ユニット2は、テキストの注釈及び非テキストの注釈の入力に関する情報を受けるように構成されてもよい。本明細書において、テキストの注釈は文字列を含み、さらに、非テキストの注釈は非テキストのシンボルを含む。グループ化ユニット4は、複数の非テキストの注釈のうち最も近い非テキストの注釈と共にテキストの注釈をグループ化するように構成されてもよい。この目的のために、グループ化ユニット4は、幾何学的情報に基づき、非テキストの注釈の中から、テキストの注釈に最も近い非テキストの注釈を検出するように構成されてもよい。
上記のように、当該システムは医用システムであってもよく、上記少なくとも1つの画像は医用画像を含んでもよく、さらに、上記少なくとも1つのオブジェクトは解剖学的オブジェクトを含んでもよい。しかし、これは限定ではない。
図2は、画像注釈をグループ化する方法を例示している。当該方法は、表示するステップ(ステップ201)、受けるステップ(ステップ202)及び検出するステップ(ステップ203)を含んでもよい。より具体的には、表示するステップ201は、表示スクリーン上に少なくとも1つの画像を表示することを含んでもよい。その少なくとも1つの画像は、少なくとも1つのオブジェクトの表示を含んでもよい。
ステップ202は、上記少なくとも1つの画像の複数の注釈の入力に関する情報を受けることを含んでもよい。各注釈は、上記少なくとも1つの画像のうち1つの画像に相対する幾何学的情報を含んでもよい。
ステップ203は、複数の注釈の中から注釈のグループを検出することを含んでもよい。この検出は、幾何学的情報、及び、同じオブジェクトに属する注釈の幾何学的関係の特性を定めるルールのセットに基づき得る。
この方法は、例えば、本願の説明に記載される当該システムの機能性の説明に基づき修正及び/又は拡張されてもよい。当該方法は、コンピュータプログラムプロダクト上で実行されてもよい。
図3は、注釈をグループ化するシステムを含む画像処理システムの別の実施形態を例示している。当該システムは、ユーザ301の制御下でデータベース又は取得装置(図示せず)からの画像を表示する視環境302を含んでもよい。当該システムはグループ化ユニット307を含んでもよく、該ユニットは、メタデータ及び注釈のセットが与えられると、注釈の空間座標及び/又はさらなるコンテクスト情報に基づき、どの注釈が、画像302に描写されている同じ物理的実体を参照しているかを確定する。グループ化ユニット307の出力は、複数の注釈のグループ305を含んでもよく、各注釈のグループは、別の物理的実体を参照している。規準化ユニット309が、XML等の機械可読のフォーマット304にオブジェクトのリスト305をフォーマットするために提供されてもよく、機械可読のフォーマット304は、例えば、ユーザ301によって作成されたレポート303に添付されてもよい。
注釈クローラ306が、グループ化ユニットに対する入力を生成するか又はその出力を消費するように構成されてもよい。注釈クローラ306は、画像視環境302に接続され且つユーザが注釈を付けたかどうかを検出するユニットを含んでもよい。画像注釈が検出される場合、注釈クローラ306は、注釈の空間座標を集めるように構成されてもよい。これらの空間座標は、例えば開始点及び終了点を含んでもよい。空間座標は、シリーズ識別名及び/又はスライス識別名(マルチスライス画像シリーズの場合)をさらに含んでもよい。注釈クローラ306は、他のコンテクスト情報をさらに収集してもよい。注釈クローラ306は、その情報を、グループ化ユニット307等、当該システムの他の構成要素に送る。コンテクスト情報は、注釈が作成された時間を示すタイムスタンプ;画像を作成するために使用される画像処理モダリティ;画像化される体部;シリーズ情報(例えば画像処理の面);画像化される患者の患者人口統計学;画像が見られた条件(例えば、注釈を作成したユーザ301の眼球の追跡);画像をセグメント化するように構成される画像セグメンテーションソフトウェアの出力;及び/又は注釈行為のパターン;のいずれも含んでもよい。
当該システムは、ユーザインタラクションユニット308をさらに含んでもよい。ユーザインタラクションユニット308は、標準化されたフォーマット(機械可読のフォーマット304)で複数のグループの注釈を受け入れる、及び、それをグラフィカルな形でユーザに表示するように構成されてもよい。このユニットは、例えば、記述的ラベルを加える、訂正する又は放射線レポートに送る等、適切なユーザとの相互作用を提供するように構成されてもよい。
グループ化ユニット307の入力は、画像の座標が付けられた注釈のセットを含んでもよい。注釈は、以下の情報項目:検査シリーズ、画像番号(CT及びMR等のマルチスライスデータセットの場合)、注釈タイプ、注釈に添付される記述的ラベル、注釈に関与する特徴点、注釈の作成の時間を示すタイムスタンプを含んでもよい。注釈タイプは、例えば、長さ測定、楕円、テキスト、角度の測定、又は、矢印であり得る。可能であれば、グループ化ユニットには、第2のアルゴリズムによって得られる他のコンテクスト情報を付けることができる。そのような情報は、(例えば、線の周囲の最も小さい長方形又は円等)注釈の特徴点から得られる点に関する情報を含んでもよい。コンテクスト情報は、(例えば画像内の器官を検出するための)画像セグメンテーションデータも含む。コンテクスト情報は、(例えば、複数の注釈を作成しながら放射線科医が1つの領域のみに焦点を合わせているかどうかを決定するための)視線追跡ソフトウェアによって提供される放射線視線追跡情報も含み得る。
情報規準化ユニット309は、利用可能な全ての情報を消費し、さらにそれを、XMLのAnnotation Image Markup拡張等、「フレーム」又は他のデータ構造に関して標準化するように構成されてもよい。公的に入手可能か又は専売であり得る根底にあるデータ構造は、複数の注釈及び個々の注釈を含む抽出された所見を含むいくつかの概念を区別することができる。情報規準化ユニット309は、注釈情報又はメタデータのうちそれぞれがデータ構造内の正しいスポットに挿入されるということを、ブックキーピングロジックを介して確実にするように構成されてもよい。結果として、情報のうち1つ又は複数の情報に対するマシンルッキング(machine looking)は、それを自動的に見つけることができる。
ユーザインタラクションユニット308は、理解しやすい様式でユーザにグループ化された注釈を表示し、ユーザが修正、拡張を行う、及び、グループ化ユニットによる不正確な推測の結果を訂正するのを可能にするように構成されてもよい。
図4は、2つの注釈が同じグループに属しているかどうかを検出するために使用することができるコンテクスト情報の一例を例示している。これは、図1、図2又は図3の実施形態に適用されてもよい。例えば、線分である2つの注釈401及び402を考慮されたい。線分401は端点405及び406を有し、線分402は端点407及び408を有している。これらの端点は、注釈の「特徴点」の例であってもよい。異なるタイプの注釈が、特徴点として作用し得る特定の点を有してもよく、その注釈の特徴点を使用して、注釈の位置、大きさ及び/又は定位を表してもよい。しかし、他の種類の注釈のパラメトリゼーションも可能である。領域ユニット9は、線分401の周囲の第1の領域403、及び、線分402の周囲の第2の領域404を決定するように構成されてもよい。重複ユニット11は、重複領域405を決定するように構成されてもよく、重複領域405は、第1の領域403及び第2の領域404が重複している領域である。
図4の例において、上記領域は、対角線として線分を有する長方形である。図5は、注釈401の周囲の拡大された領域501を示している。図5において、領域501は、線分401をその対角線として有する長方形403、及び、その長方形403の周囲に縁502を含む。しかし、図4及び図5は、どのようにして領域403、404、501及びその重複領域405を決定することができるかの例のみを示している。これらの領域及び重複領域は、応用のニーズに従って(例えば凸包を含む)多くの異なる方法で決定することができる。
例えば、図4において例示された注釈401及び402は、2つの測定注釈を表してもよく、どちらも、この場合は長さを報告するテキストの注釈を伴い得る。検査シリーズ、画像番号及び含まれるピクセルを、コンテクスト源(contextual source)から得ることができる。グループ化ユニット4が、注釈401、402の周囲の領域403、404の重複405に基づき、これら2つの注釈401及び402が(画像内に示されている)同じ物理的オブジェクトに属しているかどうかを決定してもよい。
図6は、マルチスライス画像データセットのアキシャルスライスである医用画像600を示している。2つの矢印の注釈601及び602は、ユーザによって入力されている。交差点603は、矢印601及び602を通過する線の交差点である。この交差点は、矢印の注釈601及び602の矢じりに比較的近い。その結果、グループ化ユニット4は、2つの矢印の注釈601及び602は同じオブジェクトに属しているということを確定することができる。矢印の注釈601も602も、同じオブジェクト604を指しているため、この結論は正しいということが分かり得る。
画像600の2つの線の注釈605及び607は、2つの線分を画定している。これらの線分は交差している。交差している線分は同じグループに属しているというルールを適用することによって、グループ化ユニット4は、線の注釈605及び607はグループを形成するということを検出する。さらに、テキストの注釈606は、「B:16mm」という文字列である。テキストの注釈606に最も近い非テキストの注釈は、線の注釈605である。テキストの注釈はその最も近い非テキストの注釈と共にグループ化されるというルールを適用することによって、グループ化ユニット4は、線の注釈605及びテキストの注釈606はグループを形成するということを検出することができる。テキストの注釈608は、「A:18mm」という文字列である。ここでも、テキストの注釈はその最も近い非テキストの注釈と共にグループ化されるというルールを適用することによって、グループ化ユニット4は、線の注釈607及びテキストの注釈608はグループを形成するということを検出することができる。これらのグループは連結されて、注釈605、606、607及び608が全て同じオブジェクトに属しているということを決定してもよい。画像においてオブジェクト609を認識することができ、グループ化ユニット4によるグループ化は正しいということが明らかである。
当該システムが画像セグメンテーションを支持する場合、グループ化ユニット4は、セグメンテーション情報、すなわち、オブジェクト604及び609の幾何学的情報を受けることもできる。この場合、ルールは、オブジェクトに重なっている注釈はそのオブジェクトに属しており、従って、同じオブジェクトに重なっている全てのオブジェクトは、同じグループに属しているというルールを用いて拡張されてもよい。
グループ化ユニット4は、適切に優先順位が決められた、いかなる所与の2つ以上の注釈も同じ物理的実体に関するかどうかを決定するルールのベース12を使用して実行することができる。そのようなルールの例として、以下のものが挙げられる。
同じ画像上の2つの交差している線分は同じ物理的実体に属している。
2つの注釈の周囲の領域は重複しており、さらに、2つの注釈の周囲の領域の面積の和と比較した重複領域の面積が特定の閾値を超えている。注釈の周囲の領域は、例えば、注釈を含む最も小さい長方形であり得、その最も小さい長方形は、任意選択で、縁を用いて拡張されている。しかし、例えば注釈の周囲の凸包等、注釈の周囲の領域を画定する他の方法も可能である。
同じ画像上の2つの線測定が(例えば1cm等)近くであり、(例えば2秒等)特定の時間間隔内で行われた場合、それらは同じ実体に属している。
2つの注釈であって、互いから(例えば最大で2cm離れた距離等)所定の距離内にあり、さらに、これら2つの注釈を描く間に別のスライスをユーザが調べなかった方法で付けられたいかなる2つの注釈も、同じ物理的実体に属している。これを決定するために、グループ化ユニット4は、ユーザインターフェース4をモニターして、他のスライスが、2つの注釈の作成の間に調べられているかどうかを決定してもよい。
2つの注釈が、(例えば器官は、最大直径が2cmである等)特定のサイズの器官上で(例えば最大で1cm等)所定の距離内で互いに近くで付けられた場合、それらは共に属している。画像セグメンテーションは、器官の位置及びサイズを決定するために利用されてもよい。
同じ画像上で付けられた2つの矢印の注釈を通る2つの線の交差点が、双方の矢じりによって指し示され、さらに、双方の矢じりが、交差点から(例えば2cm等)所定の距離内にある場合、その矢印の注釈は同じグループに属している。
テキストの注釈は、最も近い非テキストの注釈に属している。
上記のルールは単に有用なルールの例であるということが理解されることになり、本発明の範囲を限定するように意図されない。さらに、上記のルールのブール結合を、高められた精度に対して構想することができる。例えば、ルールは、「2つの線分が交差しており、さらに、5秒の間隔以内に付けられた場合に、それらは同じ物理的実体に属している」として定義することができる。
グループ化ユニット4は、画像にわたる注釈を相関させるために利用することもできる。神経学磁気共鳴(MR)検査及び他のタイプの検査において、異なって方向づけられ再構成された面において注釈が付けられるということはかなり標準的である。放射線科医が病変の体積の評価を望む場合、例えば、放射線科医は、2つの異なる再構成された面を使用して三次元で測定することができる。2つの異なる再構成された面は、共通の三次元座標システムを使用して双方の再構成された面における点を同定することができるように、既知の幾何学的関係を有してもよい。この幾何学的関係は、再構成方法から、又は、例えば画像レジストレーション技術を使用することによって既知であってもよい。例えば、ユーザによって作成された2つの注釈であって、第1の再構成された面における1つの注釈及び第2の再構成された面における1つの注釈を考慮されたい。これらの注釈は、それぞれの面の2つの点間の線分又は距離測定であってもよい。そのような距離測定は、測定の2つの点を接続する線分も表す。ルールが、異なる再構成された面における2つのそのような注釈が同じグループに属しているかどうかを決定するために設定されてもよい。そのようなルールは、例えば、2つの線分を接続し且つ双方の線分に直交する接続線分があるかどうかを評価することができる。そのような接続線分が存在する場合、ルールは、その2つの注釈は同じグループに属しているということを規定してもよい。或いは、ルールは、そのような接続線分が存在し、且つ、注釈のうちどちらか又は双方の線分の長さと比較して接続線分の長さが所定の閾値を下回る場合に、その2つの注釈は同じグループに属しているということを規定してもよい。どちらのルールも、その線分が交差している場合に2つの注釈が同じグループに属しているということをさらに規定してもよい。
例えば、1つの測定がアキシャル面において行われ、さらに、他の測定がサジタル面において行われる、すなわち、異なって方向づけられた面上で行われる場合、測定に対応している注釈はそのボクセルベースの幾何学的関係に基づき関連しており、従って、同じ臨床所見に関しているということを決定することができる。従って、注釈は、同じグループに属しているとして検出されるという点で相互に関連があり得る。
レジストレーションユニット(図示せず)が、2つの検査シリーズを位置合わせするために存在している場合、注釈が同じシリーズ上で付けられたかのようにルールのセットを適用することができる。例えば、同じ患者から作成される2つの画像シリーズが位置合わせされて、その2つの画像シリーズ間の幾何学的関係を得ることができる。これら2つの画像シリーズのそれぞれのシリーズにおいて付けられる注釈は、2つの画像シリーズ間の幾何学的関係を使用してグループ化することができる。
或いは、異なる画像シリーズの対応するスライスに関して付けられる注釈は、画像内の類似の座標にて位置している場合に共に属することができ、サイズ及び/又は形状においてさらに匹敵する場合に特にそうである。
ユーザが注釈を作成するに従いどの注釈が共に属しているかに関する即時フィードバックをユーザに与えることは、特に有用であり得る。この目的のために、グループ化ユニット4(又は307)は、バックグラウンドにおいて不変に作動するように構成することができる。新たな注釈が作成される場合、注釈ユニット2はグループ化ユニット4をトリガすることができる。グループ化ユニットが、新たに作成された注釈を1つ又は複数の現存する注釈と共にグループ化する場合、注釈のグループは、表示ユニット1又は視環境302によって強調されてもよい。この強調は、短期間又は連続的に行われてもよい。2つの注釈のグループ化が表示ユニット1又は視環境302によって示される瞬間には、ユーザは、マウス又はキーボード上のホットキーを用いたジェスチャー等、適したユーザ入力によってグループ化を取り消すことができる。
当該システムを利用して、個々の画像注釈よりも高いレベルで定められる患者特異的な所見のレポジトリを構築することができる。所見は、物理的実体に関する注釈のグループに関連づけることができる。各所見は、その注釈を介して画像座標に遡ることができる。そのようなレポジトリは、効率的な報告、臨床データベースの入力、患者が表している場合のワークフローの推進、所見に対する段階分け分析の実行、又は、抽象的な所見のオブジェクトと画像との間の即時のナビゲーションを含むいくつかの方法で使用することができる。
本発明は、本発明を実行するように適応されたコンピュータプログラム、特にキャリア上又はキャリア内のコンピュータプログラムにも適用されるということが正しく理解されることになる。プログラムは、ソースコード、オブジェクトコード、中間コードソース(code intermediate source)、及び、部分的にコンパイルされた形のもの等のオブジェクトコードの形であってもよいか、又は、本発明による方法の実行における使用に適したいかなる他の形であってもよい。そのようなプログラムは、多くの異なる建築設計を有してもよいということも正しく理解されることになる。例えば、本発明による方法又はシステムの機能性を実行するプログラムコードは、1つ又は複数のサブルーチンに再分割されてもよい。これらのサブルーチンの中から機能性を配分する多くの異なる方法が当業者には明らかになる。サブルーチンは、1つの実行可能なファイルにおいて共に格納され、自己完結プログラムを形成してもよい。そのような実行可能なファイルは、例えばプロセッサ命令及び/又は(例えばJava(登録商標)インタープリタ命令等の)インタープリタ命令等、コンピュータにより実行可能な命令を含んでもよい。或いは、サブルーチンのうち1つ又は複数又は全てのサブルーチンが、少なくとも1つの外部のライブラリファイルにおいて格納され、さらに、例えば実行時間にて、静的又は動的に主プログラムにリンクされてもよい。主プログラムは、複数のサブルーチンのうち少なくとも1つのサブルーチンに対する少なくとも1つの呼び出しを含有している。サブルーチンは、互いに対する呼び出しも含んでよい。コンピュータプログラムプロダクトに関する一実施形態は、本明細書において明記される方法のうち少なくとも1つの方法の各処理ステップに対応するコンピュータにより実行可能な命令を含む。これらの命令は、サブルーチンに再分割され、及び/又は、静的若しくは動的にリンクされ得る1つ又は複数のファイルにおいて格納されてもよい。コンピュータプログラムプロダクトに関する別の実施形態は、本明細書において明記されるシステム及び/又はプロダクトのうち少なくとも1つの各手段に対応するコンピュータにより実行可能な命令を含む。これらの命令は、サブルーチンに再分割され、及び/又は、静的若しくは動的にリンクされ得る1つ又は複数のファイルにおいて格納されてもよい。
コンピュータプログラムのキャリアは、プログラムを担持することができるいかなる実体又は装置であってもよい。例えば、キャリアは、例えばCD ROM若しくは半導体ROM等の記憶媒体、又は、例えばフラッシュドライブ若しくはハードディスク等の磁気記録媒体を含んでもよい。さらに、キャリアは、電気若しくは光ケーブルを介して、又は、無線通信機若しくは他の手段によって運ばれ得る電気若しくは光信号等の伝達キャリアであってもよい。そのような信号でプログラムが具体化される場合、キャリアは、そのようなケーブル又は他の装置若しくは手段によって構成されてもよい。或いは、キャリアは、プログラムが埋め込まれる集積回路であってもよく、集積回路は、関連性のある方法を行うか、又は、関連性のある方法の実行において使用されることになるように適応される。
上記の実施形態は、本発明を限定するのではなく、本発明を例示していること、及び、当業者は、付随の特許請求の範囲から逸脱することなく多くの代わりとなる実施形態を設計することが可能になることに留意されたい。特許請求の範囲において、括弧内に置かれたいかなる参照番号も、特許請求の範囲を限定するとして解釈されるべきではない。「含む」という動詞及びその活用形の使用は、特許請求の範囲に列挙されていない要素又は段階の存在を除外しない。要素の前の不定冠詞は、複数のそのような要素の存在を除外しない。本発明は、いくつか異なる要素を含むハードウェアによって、及び、適切にプログラムされたコンピュータによって実行することができる。いくつかの手段を列挙する装置の請求項において、これらの手段のうちいくつかを、ハードウェアの1つの同じアイテムによって具体化することができる。特定の手段が互いに異なる従属項において記載されているという単なる事実は、これらの手段の組合せを役立つよう使用することができないと示しているわけではない。
特許文献1は、画像に視覚的に注釈を付ける方法及びシステムを記載している。デジタルの医用及びヘルスケア画像等の画像に対する注釈及び注解は、画像情報と一緒に構造化されたベクトル表現で単一の不揮発性ポータブルファイルにおいて、又は、画像とは別のファイルにおいて格納されてもよいということが述べられている。注釈は、点、線及び多角形の図、並びに、テキスト記号、ラベル又は定義及びキャプション又は説明から構成されてもよい。注釈は、ユーザ定義のグループとしてグループ化及び操作を促進する様式で構造化されてもよい。
非特許文献1は、セグメント化されたCT画像に対する外部のテキストラベルを生成するための動的なラベリングシステムを記載している。このシステムは、異なるラベリングの態様を考慮して2Dスライスを見ながらラベルの優れた配置を見出すということが述べられている。同じオブジェクトがCTスライスにおいて二度以上現れる場合に、このシステムは、1つのラベルのもと、同じオブジェクトのこれらの異なる部分をグループ化することができるということがさらに述べられており、これは、出力画像をより信頼できるものにすると言われている。
WO2004/057439(A2) Muhammad Masud Tarek,"Textual labeling of segmented structures in 2D CT slice views,"Proceedings of 2009 12th International Conference on Computers and Information Technology(ICIT 2009),pages477−482
この懸念により焦点を当てるために、本発明の第1の態様は、画像注釈をグループ化するシステムを提供する。当該システムは、
表示スクリーン上に、対象に関する複数の医用画像を表示する表示ユニットであって、複数の医用画像は、少なくとも1つの解剖学的オブジェクトの表示を含む、表示ユニットと、
ユーザから、複数の医用画像に関する入力を受け、さらに、該入力から、複数の医用画像にわたって1つ又は複数の注釈を作成する注釈ユニットであって、各注釈は幾何学的情報を含む、注釈ユニットと、
上記1つ又は複数の注釈の中から注釈のグループを検出するグループ化ユニットであって、検出は、単一の解剖学的オブジェクトに属する注釈の幾何学的関係の特性を定めるルールのセットに基づき上記幾何学的情報を処理することを含さらに、注釈のグループを検出することは、複数の医用画像間の幾何学的関係に基づく、グループ化ユニットと、
を含む。
本発明の別の態様において、画像注釈をグループ化する方法が提供される。当該方法は、
表示スクリーン上に、対象に関する複数の医用画像を表示するステップであって、複数の医用画像は、少なくとも1つの解剖学的オブジェクトの表示を含む、ステップと、
ユーザから、複数の医用画像に関する入力を受け、さらに、該入力から、複数の医用画像にわたって1つ又は複数の注釈を作成するステップであって、各注釈は幾何学的情報を含む、ステップと、
幾何学的情報、及び、同じオブジェクトに属する注釈の幾何学的関係の特性を定めるルールのセットに基づき複数の注釈の中から注釈のグループを検出するステップであって、注釈のグループを検出することは、複数の医用画像間の幾何学的関係に基づく、ステップと、
を含む。

Claims (15)

  1. 画像注釈をグループ化するシステムであって、
    表示スクリーン上に、対象に関する複数の医用画像を表示する表示ユニットであり、前記複数の医用画像は、少なくとも1つの解剖学的オブジェクトの表示を含む、表示ユニットと、
    ユーザから、前記複数の医用画像に関する入力を受け、さらに、該入力から、前記複数の医用画像にわたって1つ又は複数の注釈を作成する注釈ユニットであり、各注釈は幾何学的情報を含む、注釈ユニットと、
    前記1つ又は複数の注釈の中から注釈のグループを検出するグループ化ユニットであり、前記検出は、単一の解剖学的オブジェクトに属する注釈の幾何学的関係の特性を定めるルールのセットに基づき、及び、前記複数の医用画像間の幾何学的関係に基づき前記幾何学的情報を処理することを含む、グループ化ユニットと、
    を含むシステム。
  2. 前記表示ユニットは、指示を表示するように構成され、前記指示の注釈は前記グループに属している、請求項1に記載のシステム。
  3. 前記幾何学的情報は、前記少なくとも1つの医用画像に相対する前記注釈の位置、及び/又は、前記少なくとも1つの医用画像に関する前記注釈の定位、及び/又は、前記注釈の形状を含む、請求項1又は請求項2に記載のシステム。
  4. 前記グループ化ユニットは、画像データセットの異なる医用画像に関連している少なくとも2つの注釈間の幾何学的関係を、前記異なる医用画像間の前記幾何学的関係及び前記少なくとも2つの注釈の幾何学的情報に基づき決定する幾何学的ユニットを含む、請求項1乃至3のいずれか一項に記載のシステム。
  5. 前記注釈ユニットは、前記複数の注釈のうち少なくとも2つの注釈の入力の時間を示す時間情報を受けるようにさらに構成され、さらに、
    前記グループ化ユニットは、前記時間情報にさらに基づき前記検出を行うように構成される、請求項1乃至4のいずれか一項に記載のシステム。
  6. 前記グループ化ユニットは、前記幾何学的情報に基づき、第1の注釈の周囲の第1の領域、及び、第2の注釈の周囲の第2の領域を決定する領域ユニット、並びに、前記第1の領域及び前記第2の領域の重複領域を決定する重複ユニットを含み、さらに、
    前記グループ化ユニットは、前記重複領域のサイズに基づき前記注釈のグループの検出を行うように構成される、請求項1乃至5のいずれか一項に記載のシステム。
  7. 第1の注釈の幾何学的情報は、第1の線の指示を含み、第2の注釈の幾何学的情報は、第2の線の指示を含み、さらに、前記グループ化ユニットは、前記第1の線と前記第2の線との交差点の位置に基づき、前記第1の注釈及び前記第2の注釈が同じグループに属しているかどうかを検出するように構成される、請求項1乃至6のいずれか一項に記載のシステム。
  8. 前記注釈ユニットは、文字列を含むテキストの注釈、及び、複数の非テキストの注釈の入力に関する情報を受けるように構成され、各非テキストの注釈はシンボルを含み、さらに、前記グループ化ユニットは、前記幾何学的情報に基づき、前記テキストの注釈に最も近い非テキストの注釈を検出するように、及び、前記複数の非テキストの注釈のうち前記最も近い非テキストの注釈と共に前記テキストの注釈をグループ化するように構成される、請求項1乃至7のいずれか一項に記載のシステム。
  9. 前記複数の医用画像は、既知の幾何学的関係を有する、異なって方向づけられ再構成された面を含む、請求項1乃至8のいずれか一項に記載のシステム。
  10. 前記複数の医用画像は、2つの画像シリーズで構成され、さらに、当該システムは、前記2つの画像シリーズを位置合わせして、前記複数の医用画像間の幾何学的関係を取得するレジストレーションユニットを含む、請求項1乃至9のいずれか一項に記載のシステム。
  11. 前記グループ化ユニットは、前記複数の医用画像において類似の座標にて位置している注釈に基づき前記注釈のグループを検出するように構成される、請求項10に記載のシステム。
  12. 前記ルールのセットは、単一の臨床所見に属する注釈の幾何学的関係の特性を定める、請求項1乃至11のいずれか一項に記載のシステム。
  13. 請求項1に記載のシステムを含むワークステーション。
  14. 画像注釈をグループ化する方法であって、
    表示スクリーン上に、対象に関する複数の医用画像を表示するステップであり、前記複数の医用画像は、少なくとも1つの解剖学的オブジェクトの表示を含む、ステップと、
    ユーザから、前記複数の医用画像に関する入力を受け、さらに、該入力から、前記複数の医用画像にわたって1つ又は複数の注釈を作成するステップであり、各注釈は幾何学的情報を含む、ステップと、
    前記1つ又は複数の注釈の中から注釈のグループを検出するステップであり、単一の解剖学的オブジェクトに属する注釈の幾何学的関係の特性を定めるルールのセットに基づき、及び、前記複数の医用画像間の幾何学的関係に基づき前記幾何学的情報を処理することを含む、ステップと、
    を含む方法。
  15. 請求項14に記載の方法をプロセッサシステムに行わせる命令を含むコンピュータプログラム。
JP2016508173A 2013-04-19 2014-04-17 画像注釈のグループ化 Active JP6546156B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361813676P 2013-04-19 2013-04-19
US61/813,676 2013-04-19
EP13171060.0 2013-06-07
EP13171060 2013-06-07
PCT/EP2014/057889 WO2014170431A1 (en) 2013-04-19 2014-04-17 Grouping image annotations

Publications (2)

Publication Number Publication Date
JP2016517114A true JP2016517114A (ja) 2016-06-09
JP6546156B2 JP6546156B2 (ja) 2019-07-17

Family

ID=48576316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016508173A Active JP6546156B2 (ja) 2013-04-19 2014-04-17 画像注釈のグループ化

Country Status (5)

Country Link
US (1) US10497157B2 (ja)
EP (1) EP2987144B1 (ja)
JP (1) JP6546156B2 (ja)
CN (1) CN105144242B (ja)
WO (1) WO2014170431A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021121960A (ja) * 2020-07-17 2021-08-26 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 画像注釈方法、装置、電子設備、記憶媒体、及びプログラム
WO2023209884A1 (ja) * 2022-04-27 2023-11-02 オリンパスメディカルシステムズ株式会社 医療支援システムおよび画像表示方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6595193B2 (ja) * 2014-03-11 2019-10-23 キヤノンメディカルシステムズ株式会社 読影レポート作成装置および読影レポート作成システム
KR101850772B1 (ko) * 2015-05-27 2018-04-23 삼성에스디에스 주식회사 의료용 메타 데이터베이스 관리 방법 및 그 장치
JP6711676B2 (ja) * 2016-04-13 2020-06-17 キヤノン株式会社 医用レポート作成装置及びその制御方法、医用レポート作成システム、並びに、プログラム
WO2018094553A1 (zh) 2016-11-22 2018-05-31 上海联影医疗科技有限公司 显示方法和装置
WO2018099810A1 (en) * 2016-11-29 2018-06-07 Koninklijke Philips N.V. Ultrasound imaging system and method
RU2739713C1 (ru) * 2016-12-08 2020-12-28 Конинклейке Филипс Н.В. Обучение аннотированию объектов в изображении
US10839520B2 (en) * 2017-03-03 2020-11-17 The United States Of America, As Represented By The Secretary, Department Of Health & Human Services Eye tracking applications in computer aided diagnosis and image processing in radiology
CN110537178B (zh) 2017-04-20 2024-06-11 皇家飞利浦有限公司 用于针对发现的指示而对图像切片进行计算机辅助搜索的***和方法
US10552978B2 (en) 2017-06-27 2020-02-04 International Business Machines Corporation Dynamic image and image marker tracking
WO2019170493A1 (en) * 2018-03-08 2019-09-12 Koninklijke Philips N.V. Interactive self-improving annotation system for high-risk plaque burden assessment
JP7322409B2 (ja) * 2018-08-31 2023-08-08 ソニーグループ株式会社 医療システム、医療装置および医療方法
WO2020045536A1 (en) * 2018-08-31 2020-03-05 Sony Corporation Medical system, medical apparatus, and medical method
CN109712176A (zh) * 2018-11-28 2019-05-03 众安信息技术服务有限公司 一种多序列图像的标注方法及***
US11048864B2 (en) * 2019-04-01 2021-06-29 Adobe Inc. Digital annotation and digital content linking techniques
US11455733B2 (en) * 2020-06-16 2022-09-27 Xue Feng System and method to improve model-based organ segmentation with image post-processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080545A (ja) * 2007-09-25 2009-04-16 Topcon Corp 医療情報処理装置
JP2013132514A (ja) * 2011-12-27 2013-07-08 Toshiba Corp 医用画像表示装置及び医用画像保管システム
JP2013152699A (ja) * 2011-12-26 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7131060B1 (en) * 2000-09-29 2006-10-31 Raytheon Company System and method for automatic placement of labels for interactive graphics applications
US7453472B2 (en) 2002-05-31 2008-11-18 University Of Utah Research Foundation System and method for visual annotation and knowledge representation
JP2006277167A (ja) * 2005-03-29 2006-10-12 Fuji Xerox Co Ltd アノテーションデータ処理プログラム、装置、方法
DE102006020399A1 (de) 2006-04-28 2007-10-31 Siemens Ag Medizintechnisches Diagnose- und Datenverarbeitungssystem
JP2008119146A (ja) * 2006-11-09 2008-05-29 Olympus Medical Systems Corp 画像表示装置
US20090092299A1 (en) 2007-10-03 2009-04-09 Siemens Medical Solutions Usa, Inc. System and Method for Joint Classification Using Feature Space Cluster Labels
US8369593B2 (en) * 2007-12-21 2013-02-05 Siemens Medical Solutions Usa, Inc. Systems and methods for robust learning based annotation of medical radiographs
JP2010057902A (ja) * 2008-08-06 2010-03-18 Toshiba Corp レポート作成支援装置、レポート作成支援システム、及び医用画像参照装置
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
JP5455470B2 (ja) * 2009-07-02 2014-03-26 株式会社東芝 医用画像読影システム
US20120075433A1 (en) * 2010-09-07 2012-03-29 Qualcomm Incorporated Efficient information presentation for augmented reality
CN102436583B (zh) 2011-09-26 2013-10-30 哈尔滨工程大学 基于对标注图像学习的图像分割方法
JP5897308B2 (ja) * 2011-11-24 2016-03-30 株式会社東芝 医用画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080545A (ja) * 2007-09-25 2009-04-16 Topcon Corp 医療情報処理装置
JP2013152699A (ja) * 2011-12-26 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2013132514A (ja) * 2011-12-27 2013-07-08 Toshiba Corp 医用画像表示装置及び医用画像保管システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021121960A (ja) * 2020-07-17 2021-08-26 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 画像注釈方法、装置、電子設備、記憶媒体、及びプログラム
WO2023209884A1 (ja) * 2022-04-27 2023-11-02 オリンパスメディカルシステムズ株式会社 医療支援システムおよび画像表示方法

Also Published As

Publication number Publication date
CN105144242A (zh) 2015-12-09
JP6546156B2 (ja) 2019-07-17
EP2987144A1 (en) 2016-02-24
EP2987144B1 (en) 2019-02-06
CN105144242B (zh) 2018-05-15
US10497157B2 (en) 2019-12-03
US20160048987A1 (en) 2016-02-18
WO2014170431A1 (en) 2014-10-23

Similar Documents

Publication Publication Date Title
JP6546156B2 (ja) 画像注釈のグループ化
EP2904589B1 (en) Medical image navigation
CN109564773B (zh) 用于自动检测关键图像的***和方法
RU2699416C2 (ru) Идентификация аннотаций к описанию изображения
US11468567B2 (en) Display of medical image data
JP2020518047A (ja) 全人的患者放射線医療ビューワ
US20100082365A1 (en) Navigation and Visualization of Multi-Dimensional Image Data
EP2657866A1 (en) Creating a radiology report
US20230368893A1 (en) Image context aware medical recommendation engine
US11769599B2 (en) Evaluation of decision tree using ontology
EP3314582B1 (en) Interactive mesh editing
US9014448B2 (en) Associating acquired images with objects
EP4310852A1 (en) Systems and methods for modifying image data of a medical image data set
US20230410305A1 (en) Information management apparatus, method, and program and information processing apparatus, method, and program
US20240029874A1 (en) Work support apparatus, work support method, and work support program
US20230102418A1 (en) Medical image display apparatus, method, and program
US20230320679A1 (en) Medical image display apparatus, method, and program
Declerck et al. Context-sensitive identification of regions of interest in a medical image
WO2014072928A1 (en) Enabling interpretation of a medical image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190320

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190620

R150 Certificate of patent or registration of utility model

Ref document number: 6546156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250