JP6183177B2 - 医用画像システム及びプログラム - Google Patents

医用画像システム及びプログラム Download PDF

Info

Publication number
JP6183177B2
JP6183177B2 JP2013245717A JP2013245717A JP6183177B2 JP 6183177 B2 JP6183177 B2 JP 6183177B2 JP 2013245717 A JP2013245717 A JP 2013245717A JP 2013245717 A JP2013245717 A JP 2013245717A JP 6183177 B2 JP6183177 B2 JP 6183177B2
Authority
JP
Japan
Prior art keywords
image
medical image
abnormal shadow
shadow candidate
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013245717A
Other languages
English (en)
Other versions
JP2015100661A (ja
Inventor
仁 二村
仁 二村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2013245717A priority Critical patent/JP6183177B2/ja
Priority to EP14275230.2A priority patent/EP2879094A3/en
Priority to US14/553,225 priority patent/US9050057B1/en
Publication of JP2015100661A publication Critical patent/JP2015100661A/ja
Application granted granted Critical
Publication of JP6183177B2 publication Critical patent/JP6183177B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、医用画像システム及びプログラムに関する。
近年、乳癌検査として、主にマンモグラフィ検査と超音波検査が行われている。２つの検査は相補的な役割を果たすことができ、２つの検査を併用して診断することで、病変の検出精度向上が期待できる。
一般的に、併用検査ではまず、放射線技師等によりマンモグラフィ検査を実施し、Ｘ線撮影により得られた***Ｘ線画像上で異常陰影候補の客観的な位置情報を得る。その後、臨床検査技師等により、***における、***Ｘ線画像上の異常陰影候補の領域に対応する位置を狙って重点的に超音波検査を行い、乳腺超音波画像（以下、超音波画像と略記する）を生成する。両検査が終了すると、医師が***Ｘ線画像と超音波画像を読影し、最終的な診断を行う。
超音波検査では、検査により得られた超音波画像内に、超音波探触子（プローブ）によりスキャンした位置（検査位置）等を示すプローブマークが重畳されたボディーマークと呼ばれる画像を記録する。しかし、医師がボディーマークを確認しながら***Ｘ線画像中の異常陰影候補と超音波画像とを対応付けて診断を行うことは容易ではない。
そこで、例えば、特許文献１には、新しい画像が生成されたときに、選択された画像の選択されたオブジェクトとの関連付けを生成することが記載されている。 特許文献１によれば、ある検査における医用画像のオブジェクト（異常陰影候補）を他の検査の医用画像に対応付けることができる。
特表２０１３−５１４１１７号公報
しかし、画像間の関連付けについては、関連付けを実施してよい組み合わせと実施すべきではない画像の組み合わせがある。例えば、互いの検査日時が離れすぎている場合は、その病態が画像間で経時的に変化を起こしている可能性があり、関連付けを実施すべきではない。しかし、特許文献１に記載の技術においては、これを確認することができないため、関連付けを実施すべきではない画像同士であっても関連付けが行われてしまう。
また、特許文献１に記載の技術においては、関連付けされていない画像が存在した場合、関連付け漏れなのか、関連付けする相手がないと技師により判断された画像なのかがわからない。そのため、最終的に診断を行う医師は、これを確認する必要が生じ、手間がかかり、診断効率の低下をもたらす。また、再検査につながることもあり、患者・病院双方にとって負担増となり好ましくない。
本発明の課題は、或る検査で撮影された医用画像の異常陰影候補に別の検査で撮影された医用画像を関連付ける場合に、関連付けすべきでないもの同士を関連付けることを防止するとともに、関連付けされない異常陰影候補又は医用画像が存在した場合には、その旨を明確にすることである。
上記課題を解決するため、請求項１に記載の発明の医用画像システムは、
第１の撮影方式により生成された第１の医用画像を当該第１の医用画像における異常陰影候補の情報と対応付けて記憶する記憶手段と、
前記記憶手段に記憶されている第１の医用画像のなかから、前記第１の撮影方式とは異なる第２の撮影方式により生成された第２の医用画像の関連付けの対象となる医用画像を選択する選択手段と、
前記選択された第１の医用画像から異常陰影候補を指定するための指定手段と、
新たに生成された第２の医用画像を受信する受信手段と、
前記選択された第１の医用画像が関連付けに適した画像であるか否か、及び、前記指定された異常陰影候補と前記受信された第２の医用画像とが関連付け可能な所定の条件を満たすか否かを判定する判定手段と、
前記選択された第１の医用画像が関連付けに適した画像であり、かつ、前記指定された異常陰影候補と前記受信された第２の医用画像とが前記所定の条件を満たすと判定された場合に、前記受信された第２の医用画像を前記指定された異常陰影候補に関連付けて前記記憶手段に記憶させる関連付け手段と、
前記関連付け手段による関連付けを監視し、前記第２の医用画像が関連付けられなかった異常陰影候補又は前記第１の医用画像の何れの異常陰影候補にも関連付けられなかった前記第２の医用画像が存在する場合には、警告を出力するとともに、前記第２の医用画像が関連付けられなかった異常陰影候補には関連付けする第２の医用画像がない旨を示す情報を対応付け、前記第１の医用画像の何れの異常陰影候補にも関連付けられなかった前記第２の医用画像には関連付けする異常陰影候補がない旨を示す情報を対応付けて前記記憶手段に記憶させる監視手段と、
を備える。
請求項２に記載の発明は、請求項１に記載の発明において、
前記判定手段は、前記選択された第１の医用画像が同一患者の同一被写体部位を撮影した第１の医用画像のうちで最新であり、かつ所定期間内に撮影されたものである場合に、関連付けに適した画像であると判定する。
請求項３に記載の発明は、請求項１又は２に記載の発明において、
前記第２の医用画像には、被写体部位を正面から見たときの当該医用画像の撮影位置を示す第２の臨床位置情報が記録され、
前記選択された第１の医用画像に基づいて、当該第１の医用画像の被写体部位を正面から見たときの前記異常陰影候補の位置を示す第１の臨床位置情報を生成する生成手段と、
前記第２の医用画像から前記第２の臨床位置情報を抽出する抽出手段と、
前記第１の臨床位置情報と前記第２の臨床位置情報とを照合する照合手段と、を備え、
前記判定手段は、前記照合手段による照合の結果、前記第１の臨床位置情報と前記第２の臨床位置情報とが整合している場合に、前記所定の条件を満たすと判定する。
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の発明において、
前記第１の医用画像から異常陰影候補を検出する検出手段を備え、
前記記憶手段は、前記第１の医用画像に前記検出手段により当該第１の医用画像から検出された異常陰影候補の情報を対応付けて記憶する。
請求項５に記載の発明は、請求項１〜３の何れか一項に記載の発明において、
前記第１の医用画像における異常陰影候補の領域を入力する入力手段を備え、
前記記憶手段は、前記第１の医用画像に前記入力手段により入力された異常陰影候補の情報を対応付けて記憶する。
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の発明において、
前記選択された第１の医用画像から異常陰影候補を指定するための第２の指定手段と、
前記第２の指定手段により指定された異常陰影候補を含む第１の医用画像と同一患者の同一被写体部位を撮影した第１の医用画像を前記記憶手段から読み出して、読み出した第１の医用画像のそれぞれから前記第２の指定手段により指定された異常陰影候補と略同一位置の異常陰影候補を抽出する異常陰影候補抽出手段と、
前記異常陰影候補抽出手段により抽出された異常陰影候補に関連付けて記憶されている前記第２の医用画像を前記記憶手段から読み出して、前記読み出された第２の医用画像を時系列に並べて表示手段に表示させる表示制御手段と、
を備える。
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の発明において、
前記第１の医用画像は、***Ｘ線画像であり、前記第２の医用画像は、乳腺超音波画像である。
請求項８に記載の発明のプログラムは、
コンピュータを、
第１の撮影方式により生成された第１の医用画像を当該第１の医用画像における異常陰影候補の情報と対応付けて記憶する記憶手段から、前記第１の撮影方式とは異なる第２の撮影方式により生成された第２の医用画像の関連付けの対象となる医用画像を選択する選択手段、
前記選択された第１の医用画像から異常陰影候補を指定するための指定手段、
新たに生成された第２の医用画像を受信する受信手段、
前記選択された第１の医用画像が関連付けに適した画像であるか否か、及び、前記指定された異常陰影候補と前記受信された第２の医用画像とが関連付け可能な所定の条件を満たすか否かを判定する判定手段、
前記選択された第１の医用画像が関連付けに適した画像であり、かつ、前記指定された異常陰影候補と前記受信された第２の医用画像とが前記所定の条件を満たすと判定された場合に、前記受信された第２の医用画像を前記指定された異常陰影候補に関連付けて前記記憶手段に記憶させる関連付け手段、
前記関連付け手段による関連付けを監視し、前記第２の医用画像が関連付けられなかった異常陰影候補又は前記第１の医用画像の何れの異常陰影候補にも関連付けられなかった前記第２の医用画像が存在する場合には、警告を出力するとともに、前記第２の医用画像が関連付けられなかった異常陰影候補には関連付けする第２の医用画像がない旨を示す情報を対応付け、前記第１の医用画像の何れの異常陰影候補にも関連付けられなかった前記第２の医用画像には関連付けする異常陰影候補がない旨を示す情報を対応付けて前記記憶手段に記憶させる監視手段、
として機能させる。
本発明によれば、或る検査で撮影された医用画像の異常陰影候補に別の検査で撮影された医用画像を関連付ける場合に、関連付けすべきでないもの同士を関連付けることを防止することができるとともに、関連付けされない異常陰影候補又は医用画像が存在した場合には、その旨を明確にすることができる。
本実施形態における医用画像システムの全体構成例を示す図である。 図１のサーバー装置の機能的構成を示すブロック図である。 図１の画像表示装置の機能的構成を示すブロック図である。 図２の制御部により実行される関連付け処理を示すフローチャートである。 図２の制御部により実行される関連付け処理を示すフローチャートである。 監視テーブルの一例を示す図である。 関連付け画面の一例を示す図である。 （ａ）は、右***のボディーマークのテンプレート画像、（ｂ）は、左***のボディーマークのテンプレート画像、（ｃ）は、左右の各テンプレート画像の領域を示す図、（ｄ）は、プローブマークが配置されたボディーマークを示す図である。 図４ＡのステップＳ８により実行される異常陰影候補と検査位置の照合処理を示すフローチャートである。 図８のステップＳ８００により実行される処理を示すフローチャートである。 （ａ）は、***Ｘ線画像の座標を説明するための図、（ｂ）は、乳頭位置の検出を説明するための図である。 ***Ｘ線画像における異常陰影候補の臨床位置情報の生成方法を説明するための図である。 （ａ）は、右***の正面シェーマ画像、（ｂ）は、左***の正面シェーマ画像を示す図である。 図８の異常陰影候補と検査位置の照合処理を説明するための図である。 図４ＢのステップＳ１５の処理により画像表示装置に表示される関連付け画面の一例を示す図である。 （ａ）は、画像ＤＢに記憶されている一の患者の超音波画像の例を示す図であり、（ｂ）は、（ａ）の画像群から超音波画像の種類をグレースケールのみに設定して表示順整理処理を行った場合に表示される一連の画像を示す図、（ｃ）は、（ａ）の画像群から超音波画像の種類をグレースケール及びカラーに設定して表示順整理処理を行った場合に表示される一連の画像を示す図である。 一覧表示画面の一例を示す図である。 図４ＢのステップＳ３０により実行される表示順整理処理を示すフローチャートである。 図１７のステップＳ３０２を説明するための図である。 指定された異常陰影候補に関連する超音波画像を時系列に表示した画面が表示された一覧表示画面の一例を示す図である。
（医用画像システム１００の構成）
まず、本発明の実施形態の構成を説明する。
図１に、本実施形態における医用画像システム１００のシステム構成を示す。
図１に示すように、医用画像システム１００は、画像生成装置１、異常陰影候補検出装置２、サーバー装置３、画像表示装置４、超音波診断装置５を備えて構成されている。これら各装置１〜５は、ＬＡＮ（Local Area Network）等の医療施設内で構築された通信ネットワークＮを介して相互にデータを送受信可能に接続されている。通信ネットワークＮは、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格が適用されている。なお、各装置の台数は、特に限定されない。
医用画像システム１００は、画像生成装置１により被写体部位をＸ線撮影し、得られたＸ線画像（第１の医用画像）を記憶し、管理するとともに、Ｘ線画像上の異常陰影候補と超音波診断装置５において生成された超音波画像（第２の医用画像）とを関連付けるシステムである。医用画像システム１００は、様々な被写体部位のＸ線画像を取り扱うものであるが、本実施形態においては、主として***をＸ線撮影し、得られた***Ｘ線画像の異常陰影候補に対して***の超音波検査で得られた超音波画像を関連づける場合を例にとり説明する。
以下、各構成装置１〜５について説明する。
画像生成装置１は、人体における被写体部位をＸ線撮影し、その撮影画像（Ｘ線画像）のデジタルデータを生成するＸ線撮影装置であり、例えばＣＲ（Computed Radiography）装置、ＦＰＤ（Flat Panel Detector）装置等のモダリティを適用可能である。本実施形態では、画像生成装置１として、左右***のＸ線撮影を行うＦＰＤ装置を適用し、***Ｘ線画像のデータが生成されるものとする。
なお、画像生成装置１は、上述したＤＩＣＯＭ規格に準拠した装置であり、生成した各Ｘ線画像に付帯させる各種情報、例えば、患者情報や検査情報を外部から入力可能であるとともに、自動生成することもできる。患者情報には、患者（被検者）を識別するための患者識別情報（例えば、患者ＩＤ）、患者の名前、性別、生年月日等の情報が含まれる。検査情報は、検査を識別するための検査識別情報（例えば、検査ＩＤ）、検査日時、検査条件（検査部位、側性（左、右）、撮影方向（例えば、上下方向（ＣＣ）、斜位方向（ＭＬＯ））、撮影角度、モダリティ種等の情報が含まれる。なお、本実施形態において、検査ＩＤは、同一患者のマンモグラフィ検査で取得される一連の画像（左右２枚のＭＬＯ画像、ＣＣ画像）は同じ検査ＩＤが付与されて管理されるものとする。画像生成装置１は、生成されたＸ線画像に上記患者情報や検査情報、画像を識別するためのＵＩＤ（Unique ＩＤ）等をヘッダ情報として付加して通信ネットワークＮを介して異常陰影候補検出装置２及びサーバー装置３へ送信する。なお、ＤＩＣＯＭ規格に準拠していない場合には、図示しないＤＩＣＯＭ変換装置を用いて付帯情報を画像生成装置１に入力させることも可能である。
検出手段としての異常陰影候補検出装置（ＣＡＤ）２は、画像生成装置１から供給されるＸ線画像の画像解析を行って異常陰影候補の検出処理を行うコンピュータである。異常陰影候補検出装置２は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶部、ＬＡＮカード等の通信部を備える。異常陰影候補検出装置２の記憶部には、異常陰影の種類に応じた検出アルゴリズムの検出プログラムが記憶されており、異常陰影候補検出装置２のＣＰＵは、記憶部に記憶された検出プログラムとの協働により異常陰影候補検出処理を実行し、通信部を介して入力された各Ｘ線画像から異常陰影候補を検出する。例えば、異常陰影候補検出装置２は、***Ｘ線画像における腫瘤、微小石灰化クラスタの異常陰影候補を検出する。
異常陰影候補の検出アルゴリズムとしては、公知のものを適用可能である。例えば、***Ｘ線画像における腫瘤陰影候補のアルゴリズムとしては、特開平１０−９１７５８号公報に開示されているアイリスフィルタを用いた手法や、ラプラシアンフィルタを用いた手法（電気情報通信学会論文誌(D-II),Vol.J76-D-II,no.2,pp.241-249,1993）等が適用可能である。また、微小石灰化クラスタ陰影候補の検出アルゴリズムとしては、例えばモルフォルジーフィルタ（電気情報通信学会論文誌(D-II),Vol.J71-D-II,no.7,pp.1170-1176,1992）、ラプラシアンフィルタ（電気情報通信学会論文誌(D-II),Vol.J71-D-II,no.10,pp.1994-2001,1998）、３重リングフィルタ等を用いた方法等を適用可能である。
異常陰影候補の検出が終了すると、異常陰影候補検出装置２のＣＰＵは、異常陰影候補の検出結果に基づいて、異常陰影候補情報を生成する。異常陰影候補情報は、例えば、検出された各異常陰影候補の識別情報、異常陰影候補の領域の位置情報及び異常陰影候補の種類（例えば、腫瘤、微小石灰化クラスタ等）の情報が含まれる。そして、異常陰影候補検出装置２は、生成された異常陰影候補情報に検出元のＸ線画像のヘッダ情報（少なくともＵＩＤ）を付加して通信部によりサーバー装置３に送信する。
サーバー装置３は、クライアントである画像表示装置４とともにＰＡＣＳ（Picture Archiving and Communication System）を構成している。サーバー装置３は、画像生成装置１で生成されたＸ線画像を付帯情報や異常陰影候補情報、超音波画像と対応付けてデータベース（画像ＤＢ３５１）に記憶し、管理する。また、サーバー装置３は、処理対象のＸ線画像を選択するための選択画面や選択されたＸ線画像を表示するためのビューアー画面（図示せず）等を画像表示装置４に表示させ、画像表示装置４から送信される操作情報に応じて、後述する関連付け処理をはじめとする各種処理を実行する。
図２に、サーバー装置３の機能構成例を示す。図２に示すように、サーバー装置３は、制御部３１、操作部３２、表示部３３、通信部３４、記憶部３５を備えて構成され、各部はバス３６により接続されている。
制御部３１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等により構成される。制御部３１のＣＰＵは、記憶部３５に記憶されているシステムプログラムや処理プログラム等の各種プログラムを読み出してＲＡＭに展開し、展開されたプログラムに従って各種処理を実行する。制御部３１は、後述する関連付け処理を実行することにより、判定手段、関連付け手段、監視手段、生成手段、抽出手段、照合手段、異常陰影候補抽出手段、表示制御手段として機能する。
操作部３２は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部３１に出力する。
表示部３３は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニターを備えて構成されており、制御部３１から入力される表示信号の指示に従って、各種画面を表示する。
通信部３４は、ＬＡＮカード等により構成され、スイッチングハブを介して通信ネットワークＮに接続された外部機器との間でデータの送受信を行う。通信部３４は、受信手段として機能する。
記憶手段としての記憶部３５は、例えばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリ等で構成されている。記憶部３５には、前述のように各種プログラムが記憶されている。また、記憶部３５には、画像ＤＢ３５１が設けられている。
画像ＤＢ３５１は、Ｘ線画像等を格納するためのデータベースである。例えば、画像ＤＢ３５１は、Ｘ線画像や超音波画像等の医用画像を格納する画像領域、画像ＤＢ３５１に記憶されている各Ｘ線画像に関する管理情報を格納する画像管理テーブル３５２、及び各Ｘ線画像から検出された異常陰影候補と超音波画像との関連付け情報を格納する超音波画像関連付けテーブル３５３を有している。
画像管理テーブル３５２には、各Ｘ線画像についての管理情報が１レコードとして格納される。管理情報には、ＵＩＤ、患者情報、検査情報、ファイル情報（Ｘ線画像のファイル名、これに対応する異常陰影候補情報のファイル名、これに対応する超音波画像のファイル名、各ファイルのファイル格納場所、更新日付、ファイルサイズ等）が含まれる。
超音波画像関連付けテーブル３５３には、検査毎に（即ち、検査ＩＤに対応付けて）、その検査で取得された各Ｘ線画像から検出された各異常陰影候補の識別情報と、その異常陰影候補に関連付けられた超音波画像のＵＩＤが対応付けて記憶される。なお、関連付けされた超音波画像がない異常陰影候補の識別情報には、超音波画像のＵＩＤの代わりに、関連付けする超音波画像がないことを示す「関連付けなし」が対応付けて記憶される。また、検査において、関連付けされた異常陰影候補がない超音波画像には、異常陰影候補の識別情報の代わりに、関連付けする異常陰影候補がないことを示す「関連付けなし」が対応付けて記憶される。
制御部３１は、通信部３４により画像生成装置１からのＸ線画像が受信されると、受信された受信されたＸ線画像を画像ＤＢ３５１に格納するとともに、受信されたＸ線画像のヘッダ情報に基づいて管理情報を作成し、画像ＤＢ３５１の画像管理テーブル３５２に格納する。また、通信部３４により異常陰影候補検出装置２からの異常陰影候補情報が受信されると、受信された異常陰影候補情報を画像ＤＢ３５１に格納するとともに、画像管理テーブル３５２から異常陰影候補情報に含まれるＵＩＤが一致するレコードを検索し、検索したレコードに異常陰影候補情報のファイル名、格納場所等を書き込む。また、通信部３４により超音波診断装置５からの超音波画像が受信されると、受信された超音波画像を画像ＤＢ３５１に格納するとともに、当該超音波画像に関連付けするものとして予め選択されている検査のＸ線画像のレコードを画像管理テーブル３５２から検索し、検索したレコードに超音波画像のファイル名、格納場所等を書き込む。更に、制御部３１は、後述する関連付け処理におけるＸ線画像の異常陰影候補と超音波画像との関連付け情報を超音波画像関連付けテーブル３５３に記憶する。
このようにして、画像ＤＢ３５１には、Ｘ線画像と当該Ｘ線画像から検出された異常陰影候補の異常陰影候補情報や各異常陰影候補に対応する超音波画像が対応付けて検索可能に記憶される。
画像表示装置４は、サーバー装置３から送信された選択画面やビューアー画面等を表示するとともに、これらの画面から入力される操作情報をサーバー装置３に送信し、サーバー装置３から送信された、操作に応じた処理結果をビューアー画面上に表示したりする。画像表示装置４は、選択手段、指定手段、第２の指定手段として機能する。
図３に、画像表示装置４の機能構成例を示す。
図３に示すように、画像表示装置４は、制御部４１、操作部４２、表示部４３、通信部４４、記憶部４５を備えて構成され、各部はバス４６により接続されている。
制御部４１は、ＣＰＵ、ＲＡＭ等により構成される。制御部４１のＣＰＵは、記憶部４５に記憶されているシステムプログラムや処理プログラム等の各種プログラムを読み出してＲＡＭに展開し、展開されたプログラムに従って各種処理を実行する。
操作部４２は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部４１に出力する。
表示部４３は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニターを備えて構成されており、制御部４１から入力される表示信号の指示に従って、各種画面を表示する。
通信部４４は、ＬＡＮカード等により構成され、スイッチングハブを介して通信ネットワークＮに接続された外部機器との間でデータの送受信を行う。
記憶部４５は、例えばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリ等で構成
されている。記憶部４５には、前述のようにシステムプログラムや各種プログラム（例えば、サーバー装置３から受信した各種画面を表示したり、操作部４２から入力された操作情報を通信部４４によりサーバー装置３に送信したりするプログラム）が記憶されている。
超音波診断装置５は、超音波探触子により被写体部位に対して超音波（送信超音波）を送信するとともに、被写体部位内で反射した超音波の反射波（反射超音波：エコー）を受信する。そして、受信した反射波を電気信号に変換し、これに基づいて超音波画像を生成する。また、超音波診断装置５は、超音波探触子を当てた位置を示すボディーマークを入力するための操作部や、通信ネットワークＮに接続されたサーバー装置３と通信を行うための通信部を備え、操作部により入力されたボディーマークを生成した超音波画像に記録するとともに、画像を識別するためのＵＩＤ、患者情報、検査日時等を付帯情報としてヘッダに書き込んで、通信部によりサーバー装置３に送信する。なお、本実施形態では、超音波診断装置５は***検査用であるものとする。また、ＵＩＤは、Ｘ線画像のＵＩＤと重複しない超音波画像固有のＩＤである。
（医用画像システム１００の動作）
次に、医用画像システム１００の動作について説明する。
図４Ａ〜図４Ｂに、サーバー装置３により実行される関連付け処理のフローチャートを示す。関連付け処理は、画像表示装置４において、表示部４３に表示されている選択画面から処理対象の検査の***Ｘ線画像が操作部４２により選択され、選択された検査の***Ｘ線画像に対して各種処理を行うためのビューアー画面が表示部４３に表示されている状態において、当該ビューアー画面の所定の操作により画像表示装置４から超音波画像との関連付け処理の実行が指示された場合に、制御部３１と記憶部３５に記憶されているプログラムとの協働により実行される。
ここで、サーバー装置３の制御部３１は、関連付け処理の開始時にＲＡＭに図５に示す監視テーブル３１１を生成して、選択された検査の***Ｘ線画像から検出された異常陰影候補と超音波画像との関連付け状況を監視する。関連付け処理の開始時には、まず、関連付け処理の対象として選択された***Ｘ線画像（検査）の検査ＩＤ、各***Ｘ線画像のＵＩＤ、各***Ｘ線画像に含まれている各異常陰影候補の識別情報を画像ＤＢ３５１の管理テーブル等を参照して監視テーブル３１１に書き込む。「指定フラグ」、「関連付け超音波画像ＵＩＤ」には、関連付け処理の過程において書き込みを行う。なお、指定フラグ＝０（未指定フラグ）は、その異常陰影候補が関連付け対象として指定されていないことを示し、指定フラグ＝１（指定中フラグ）は、その異常陰影候補が関連付け対象として現在指定されている状態であることを示し、指定フラグ＝２（指定終了フラグ）は、その異常陰影候補の関連付け対象としての指定が終了したことを示す。初期状態では、全ての異常陰影候補の識別情報に指定フラグ＝０が設定されている。また、関連付け処理中に通信部３４により受信された超音波画像は、ＲＡＭの一時格納領域に格納されるものとする。
まず、制御部３１は、画像ＤＢ３５１を参照し、処理対象として選択された検査の***Ｘ線画像が同一患者の同一部位（ここでは***）を撮影した医用画像のうち最新で、かつ、本日より所定期間以内に撮影されたものであるか否かを判断する（ステップＳ１）。処理対象として選択された検査の***Ｘ線画像が同一患者の同一部位を撮影した医用画像のうち最新で、かつ、本日より所定期間以内に撮影されたものであると判断した場合（ステップＳ１；ＹＥＳ）、制御部３１は、ステップＳ４の処理に移行する。
一方、処理対象として選択された検査の***Ｘ線画像が同一患者の同一部位を撮影した医用画像のうち最新ではないか、又は、所定期間より前に撮影されたものであると判断した場合（ステップＳ１；ＮＯ）、制御部３１は、当該検査の***Ｘ線画像が最新ではないか又は撮影してから所定期間以上経過したことを通知する警告画面（図示せず）の画像情報を生成して通信部３４により画像表示装置４に送信し、画像表示装置４に警告画面を表示させる（ステップＳ２）。
警告画面は、例えば、「選択されている検査の***Ｘ線画像は最新ではありません（又は、本日より○日以上前に撮影された画像です）。関連付けを実施しますか。」という警告メッセージ、関連付け実施を指示するためのＯＫボタン、関連付けを実施しない指示を行うためのＮＧボタンが表示されている。画像表示装置４においては、操作部４２によりＯＫボタン又はＮＧボタンを押下されると、その操作情報をサーバー装置３に送信する。
通信部３４により画像表示装置４から関連付け実施の指示を受信した場合（ステップＳ３；ＹＥＳ）、制御部３１は、ステップＳ４の処理に移行する。通信部３４により画像表示装置４から関連付けを実施しない指示を受信した場合（ステップＳ３；ＮＯ）、制御部３１は、関連付け処理を終了する。
ステップＳ４において、制御部３１は、選択された検査の***Ｘ線画像にこれから新たに生成される超音波画像を関連付けるための関連付け画面４３１の画面情報を生成して通信部３４により画像表示装置４に送信し、画像表示装置４に関連付け画面４３１を表示させる（ステップＳ４）。
図６に、関連付け画面４３１の一例を示す。図６に示すように、関連付け画面４３１には、***Ｘ線画像表示領域４３１ａ、超音波画像表示領域４３１ｂ（左右別）が設けられている。マンモグラフィ検査では、一般的に、画像生成装置１により、一人の患者に対し、左右の***のそれぞれについて斜位方向（ＭＬＯ）及び上下方向（ＣＣ）の撮影方向で合計４回の撮影を行い、左右それぞれ２枚の***Ｘ線画像を生成する。***Ｘ線画像表示領域４３１ａには、左右のＭＬＯ画像を胸壁を合わせて並べて配置した画像（図６上段）、左右のＣＣ画像を胸壁を合わせて並べて配置した画像（図６下段）が表示される。また、表示される各画像には、各画像に対応する異常陰影候補情報に基づき異常陰影候補の位置を示すアノテーションが表示されており、超音波検査を行う臨床検査技師等の検査実施者は、***Ｘ線画像表示領域４３１ａに表示されている***Ｘ線画像から、超音波検査の対象となる異常陰影候補を操作部４２により指定する。具体的に、表示されているＭＬＯ画像とＣＣ画像に同一の異常陰影候補が確認できる場合には２つの領域を、何れか一方の画像にしか確認できない異常陰影候補についてはその１つの領域を操作部４２により指定する。
また、関連付け画面４３１には、異常陰影候補の指定の解除を指示するための「指定解除」ボタン４３１ｃ、関連付け処理の終了を指示するための「関連付け終了」ボタン４３１ｄが設けられている。
画像表示装置４においては、関連付け画面４３１に表示されている***Ｘ線画像上から操作部４２により異常陰影候補が指定されると、指定された異常陰影候補の情報（位置情報又は識別情報。ここでは、識別情報とする）を操作情報として通信部４４によりサーバー装置３に送信する。
サーバー装置３においては、画像表示装置４において指定された異常陰影候補の情報が通信部３４により受信されたか否かを判断する（ステップＳ５）。画像表示装置４において指定された異常陰影候補の情報が通信部３４により受信されたと判断した場合（ステップＳ５；ＹＥＳ）、制御部３１は、監視テーブル３１１における、受信した異常陰影候補の識別情報、即ち、指定された異常陰影候補の識別情報に対応する「指定フラグ」の欄に１を設定し（ステップＳ６）、通信部３４による超音波画像の受信を待機する（ステップＳ７）。
画像表示装置４から指定された異常陰影候補の情報が通信部３４により受信されていないと判断した場合（ステップＳ５；ＮＯ）、制御部３１は、ステップＳ２０の処理に移行する。
一方、検査実施者は、画像表示装置４における異常陰影候補の指定が終了すると、超音波診断装置５により、同一患者の***の、指定した異常陰影候補の位置に超音波検査（指定した異常陰影候補の位置の断層画像撮影）を行う。具体的には、指定した異常陰影候補の位置に超音波診断装置５の超音波探触子を当ててスキャンを行い、フリーズ操作を行って画像取り込みを行い、超音波画像を生成する。そして、生成した超音波画像に対して検査位置（即ち、撮影位置）を示すボディーマークを記録し、サーバー装置３に送信する。
ボディーマークの記録は、検査実施者の手動操作に応じて行われる。例えば、超音波診断装置５において検査実施者が操作部によりボディーマークのテンプレート画像（左右***の何れか）、超音波画像上のボディーマークを重畳する位置、プローブマークを配置する位置を選択すると、超音波画像の選択された位置に、選択されたプローブマークが配置されたボディーマークが記録される（画像中に書き込まれる）。
図７（ａ）に、右***のボディーマークのテンプレート画像を示す。図７（ｂ）に、左***のボディーマークのテンプレート画像を示す。図７（ａ）、（ｂ）のテンプレート画像は、それぞれ図７（ｃ）に示すように、Ａ、Ｂ、Ｃ、Ｄ、Ｃ’の５つの領域に分割されており、それぞれの領域には位置情報が対応付けられている。図７（ｄ）に、プローブマークが重畳されたボディーマークを示す。
左右の各***のボディーマークは、各***を正面から見た状態を模式的に示したもので、超音波検査された領域の位置（検査位置）を示すプローブマークを重畳して表示するための画像である。ボディーマークにおける外側の円は***を、中心の円は乳頭位置を表す。領域Ａは***の内側上の領域を、領域Ｂは***の内側下の領域を、領域Ｃは***の外側上の領域を、領域Ｄは***の外側下の領域を表す。領域Ｃに隣接する領域Ｃ’は、腋の下を表す。ボディーマークは、異常陰影候補の臨床位置を重畳する正面シェーマ画像（図１２参照）と同じ形態で、同じ名称を付した領域は***上の同じ領域を示している。臨床位置とは、人体正面から見たときの位置をいう。プローブマークが配置されたボディーマークは、***を正面から見たときの超音波検査された領域の位置（検査位置）を示す臨床位置情報となる。
図４Ａに戻り、通信部３４により超音波診断装置５からの超音波画像が受信されると（ステップＳ７；ＹＥＳ）、制御部３１は、異常陰影候補と検査位置の照合処理を実行する（ステップＳ８）。
図８に、ステップＳ８において実行される異常陰影候補と検査位置の照合処理のフローチャートを示す。
まず、制御部３１は、異常陰影候補の臨床位置推定処理を実行する（ステップＳ８００）。なお、この処理は、指定後最初に超音波画像が受信された際に行っておけばよい。
マンモグラフィ検査では、一般的に、画像生成装置１により、一人の患者に対し、立位・***圧迫の状態で撮影を行い、左右それぞれ２枚の***Ｘ線画像を生成する。一方、超音波検査では、仰臥位・***非圧迫状態で***の一部領域に超音波探触子を当てて検査を行う。そこで、ステップＳ８００においては、***Ｘ線画像で指定された異常陰影候補の超音波検査時における位置、即ち臨床位置を推定する。
図９に、ステップＳ８００において実行される異常陰影候補の臨床位置推定処理のフローチャートを示す。
まず、制御部３１は、画像表示装置４の関連付け画面４３１に表示している処理対象の***Ｘ線画像（左右のうち、異常陰影候補が指定された方の***Ｘ線画像）のそれぞれの付帯情報に含まれる撮影角度を取得する（ステップＳ８０００）。撮影角度とは、***Ｘ線画像撮影時に画像生成装置１を傾けた角度（Ｘ線照射方向の傾き）である。画像生成装置１は、初期状態ではＸ線を照射する放射線源、被写体を配置する被写体台、被写体を透過したＸ線を検出するＦＰＤがこの順に鉛直方向に並んでいるが、ＭＬＯ画像の撮影時には、これらを一体的に被写体***に応じた角度だけ傾けて撮影を行う。なお、ＣＣ画像撮影時は、画像生成装置１を初期状態のまま傾けずに撮影を行うため、撮影角度は０°となる。
次いで、制御部３１は、処理対象の***Ｘ線画像（ＭＬＯ画像及びＣＣ画像）のそれぞれからスキンライン及び乳頭の検出を行う（ステップＳ８００１）。
ここでは、図１０（ａ）に示すように、各***Ｘ線画像中の各画素の位置を、***Ｘ線画像における***の上下方向をＸ軸、これと垂直な方向をＹ軸とした座標（Ｘ、Ｙ）で表す。また、座標（Ｘ、Ｙ）の画素値をＶ（Ｘ、Ｙ）、Ｘ軸方向の画像端の座標をＸmax、Ｙ軸方向の画像端をＹmaxとして表す。
ステップＳ８００１において、制御部３１は、まず、処理対象の各***Ｘ線画像において、各画素を注目画素としてソベル（Sobel）フィルタによりフィルタ処理を施す。次いで、制御部３１は、ソベルフィルタが施された***Ｘ線画像の各Ｘ座標（０〜Ｘmax）において、Ｙ方向に探索を行い、Ｖ（Ｘ、Ｙ）が最大となる座標（Ｓ）を各Ｘ座標におけるエッジとして抽出する。この抽出されたエッジが***領域と***外領域の境界であるスキンラインＳＬを構成する。
次いで、制御部３１は、図１０（ｂ）に示すように、スキンラインＳＬ上の各点Ｓ（Ｘ）について、Ｓ（Ｘ）とＳ（Ｘ＋ｄ（ｄは、例えば１０））とを結んだ直線と、Ｓ（Ｘ）〜Ｓ（Ｘ＋ｄ）の間の各点（Ｓ（Ｘ＋１）、Ｓ（Ｘ＋２）・・・Ｓ（Ｘ＋ｄ−１））との距離Ｄをそれぞれ算出し、算出した距離Ｄの最大値Ｄ（Ｘ）のうち最も大きい値をもつＳ（Ｘ）の位置を乳頭位置として検出する。
次いで、制御部３１は、図１１に示すように、ＭＬＯ画像撮影時の撮影角度とＣＣ画像撮影時の撮影角度の角度差θ［°］に基づき、ＲＡＭ上に、***の正面シェーマ画像（図１１の５００）、ＭＬＯ画像（図１１の６００）、ＣＣ画像（図１１の７００）を配置する（ステップＳ８００２）。なお、θ［°］は、ＭＬＯ画像撮影時の撮影角度に一致する。
ここで、図１２（ａ）に、右***の正面シェーマ画像、図１２（ｂ）に、左***の正面シェーマ画像の一例を示す。左右の各***の正面シェーマ画像は、各***を正面から見た状態を模式的に示したもので、異常陰影候補の臨床位置を重畳して表示するための画像である。正面シェーマ画像における円は***を、円の中心Ｏは乳頭位置を表す。領域Ａは***の内側上の領域を、領域Ｂは***の内側下の領域を、領域Ｃは***の外側上の領域を、領域Ｄは***の外側下の領域を表す。領域Ｃに隣接する領域Ｃ’は、腋の下を表す。この***の正面シェーマ画像は、超音波診断により得られた超音波画像に記録される、***中の検査を行った一部領域の位置（検査位置）を示すプローブマークを重畳するためのボディーマーク（図７参照）と同じ形態である。
図１１に示すように、ステップＳ８００２においては、まず、ＲＡＭ上に正面シェーマ画像５００を配置する。次いで、ＭＬＯ画像６００の乳頭６０１から胸壁へ下ろした垂線６０２と、ＣＣ画像７００の乳頭７０１から胸壁へ下ろした垂線７０２のそれぞれが正面シェーマ画像５００の乳頭５０１を通過し、かつ互いの垂線の角度差がＭＬＯ画像撮影時の撮影角度とＣＣ画像撮影時の撮影角度の角度差θ［°］となるように、ＭＬＯ画像６００、ＣＣ画像７００を配置する。即ち、ＭＬＯ画像６００とＣＣ画像７００のそれぞれを正面シェーマ画像５００に対して撮影角度だけ傾けて配置する。
次いで、制御部３１は、正面シェーマ画像５００に合わせてＭＬＯ画像６００及びＣＣ画像７００を拡大又は縮小する（ステップＳ８００３）。具体的に、ＣＣ画像７００は、乳頭７０１から胸壁へ下ろした垂線７０２が正面シェーマ画像５００の乳頭５０１と交わる状態を保持しつつ、***領域の両端７０３が正面シェーマ画像５００の円の両端に合うように拡大又は縮小される。ＭＬＯ画像６００は、乳頭６０１から胸壁へ下ろした垂線６０２が正面シェーマ画像５００の乳頭５０１と交わる状態を保持しつつ、***領域の下端から胸壁へ下ろした垂線６０３が正面シェーマ画像５００の円に接するように拡大又は縮小される。なお、ＣＣ画像７００における***領域の両端７０３及びＭＬＯ画像６００における***領域の下端は、検出されたスキンラインに基づき特定することができる。
そして、制御部３１は、ＭＬＯ画像６００の異常陰影候補６０４、ＣＣ画像７００の異常陰影候補７０４のそれぞれを正面シェーマ画像５００に投影し、重なった投影領域の位置を異常陰影候補の臨床位置として推定する（ステップＳ８００４）。具体的には、まず、ＭＬＯ画像６００の異常陰影候補６０４の頭部端６０４ａ、尾部端６０４ｂのそれぞれから胸壁に垂直となる直線６０５ａ、６０５ｂを引き、正面シェーマ画像５００上に直線６０５ａと６０５ｂに囲まれた帯状領域を投影する。同様に、ＣＣ画像７００の異常陰影候補７０４の外側端７０４ａ、内側端７０４ｂのそれぞれから胸壁に垂直となる直線７０５ａ、７０５ｂを引き、正面シェーマ画像５００上に直線７０５ａと７０５ｂに囲まれた帯状領域を投影する。そして、２つの投影領域が重なった領域５０２を異常陰影候補の臨床位置として推定する。なお、ＭＬＯ画像、ＣＣ画像の何れかのみから異常陰影候補が指定されている場合は、上述の帯状領域を異常陰影候補の臨床位置として推定する。この正面シェーマ画像５００に臨床位置（平行四辺形や帯状の領域）を示したものが異常陰影候補の臨床位置情報である。
図８に戻り、ステップＳ８００の処理が終了すると、制御部３１は、図４ＡのステップＳ７で受信された超音波画像からボディーマーク及びプローブマークをそれぞれ抽出する（ステップＳ８０１）。
ステップＳ８０１において、制御部３１は、まず、受信した超音波画像をグレースケール画像に変換する。ここで、超音波画像は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３つのカラーチャネルの信号値からなるＢモード画像とする。グレースケール画像への変換は、一般的な変換法を用いることができる。例えば、超音波画像の変換後の各画素の信号値をＩとすると、以下の（式１）により変換することができる。
Ｉ＝（Ｒ＋Ｇ＋Ｂ）／３ （式１）
ここで、Ｒ：入力超音波画像の各画素の赤チャネル信号値、Ｇ：入力超音波画像の各画素の緑チャネル信号値、Ｂ：入力超音波画像の各画素の青チャネル信号値である。
次いで、制御部３１は、記憶部３５に記憶されている右***のボディーマークのテンプレート画像（図７（ａ）参照）と左***のボディーマークのテンプレート画像（図７（ｂ）参照）を読み出して、それぞれを超音波画像内で探索するテンプレートマッチング処理を行い、ボディーマークを抽出する。即ち、テンプレート画像と比較する対象領域を超音波画像領域内で移動させながらテンプレート画像との相互相関値を算出し、相互相関値が所定値以上でかつ最も相互相関値の高い領域をボディーマーク領域として抽出する。相互相関値としては、例えば（式２）に示すゼロ平均正規化相互相関Ｒｚｎｃｃ等を用いることができる。
なお、１つの超音波画像に記録されるボディーマークは一つである。よって、超音波画像領域内において相互相関値が所定値以上の領域が存在するのは、何れか一方のテンプレート画像となり、これにより、ボディーマークの左右の判別が可能となる。制御部３１は、ボディーマークの左右情報をＲＡＭに記憶する。
次いで、制御部３１は、プローブマークの抽出を行う。超音波画像は、カラー画像であるが、超音波画像そのものは無彩色で各画素のＲ、Ｇ、Ｂの信号値の差は小さい。一方、超音波画像に記録されたボディーマーク上のプローブマークは超音波画像中で目立つように有彩色となっている。そこで、各画素において、各色のチャネルのＲ−Ｇ、Ｇ−Ｂ間の信号差が８ビットで３２以下であれば無彩色の画素とし、これに該当しない画素をピックアップする。そして、ピックアップした画素のうち、抽出されたボディーマークの領域内の画素の領域をプローブマークの領域として抽出する。
ボディーマーク及びプローブマークの抽出が終了すると、制御部３１は、ボディーマークの分割５領域のそれぞれに占めるプローブマークの面積比を算出する（ステップＳ８０２）。ここで、ボディーマークのテンプレート画像は、図７（ｃ）に示すように、Ａ、Ｂ、Ｃ、Ｄ、Ｃ’の５つの領域に分割されており、それぞれの領域には位置情報が対応付けられている。そこで、この領域情報が既知のテンプレート画像に超音波画像から抽出したボディーマークの画像を重ね合わせ、ボディーマークの分割５領域を特定し、各領域に占めるプローブマークの面積を算出して面積比を算出する。面積は、例えば、画素数をカウントすることにより求めることができる。面積比が最大の領域は、プローブマークが占める面積が最も大きい、即ち、プローブマークが主に位置している領域である。
次いで、制御部３１は、正面シェーマ画像の分割５領域のそれぞれに占める推定された異常陰影候補の臨床位置（ステップＳ８００４の投影領域）の面積比を算出し（ステップＳ８０３）、ボディーマークと正面シェーマ画像の左右情報及び算出した面積比が最も大きい領域を照合する（ステップＳ８０４）。ボディーマークの左右情報は、上述のように、制御部３１のＲＡＭに記憶されている。また、正面シェーマ画像の左右情報は、指定されている異常陰影候補を含む***Ｘ線画像の付帯情報から取得することができる。
例えば、図１３に示すボディーマークの左右情報は右（Right）であり、プローブマークの面積比が最も大きい領域はＣ領域である。即ち、このボディーマークが示すプローブマークの位置はＣ領域が支配的である。これに対し、図１３の上段に示す臨床位置情報において異常陰影候補の投影領域の面積比が最も大きい領域はＤ領域である。即ち、異常陰影候補の臨床位置はＤ領域が支配的である。よって、両者の照合結果は不整合となる。また、図１３の下段に示す臨床位置情報の左右情報は左（Left）であり、上記のボディーマークとは左右情報が一致しないので、照合結果は不整合となる。一方、図１３の中段に示す臨床位置情報は、上記のボディーマークと左右情報が一致しており、かつ、面積比が最も大きい領域がＣ領域で一致している（即ち、プローブマークの位置と異常陰影候補の投影領域の位置とが一致している）ので、照合結果は整合となる。
次いで、制御部３１は、図４ＡのステップＳ９の処理に移行し、異常陰影候補の臨床位置情報と検査位置の臨床位置情報の整合がＯＫであったか否かを判断する（ステップＳ９）。整合がＯＫであったと判断した場合（ステップＳ９；ＹＥＳ）、制御部３１は、ステップＳ１２の処理に移行する。
一方、整合性がＯＫではないと判断した場合（ステップＳ９；ＮＯ）、制御部３１は、関連付け画面４３１に、指定された異常陰影候補の臨床位置情報と受信した超音波画像の検査位置の臨床位置情報が整合していないことを通知する警告画面（図示せず）の画像情報を生成して通信部３４により画像表示装置４に送信し、画像表示装置４に警告画面を表示させる（ステップＳ１０）。
警告画面は、例えば、「指定された異常陰影候補と受信した超音波画像の検査位置が一致しません。ボディマークの指定が誤っている可能性があります。関連付けを実施しますか。」という警告メッセージ、関連付け実施を指示するためのＯＫボタン、関連付けを実施しない指示を行うためのＮＧボタンが表示されている。画像表示装置４においては、操作部４２によりＯＫボタン又はＮＧボタンを押下されると、その操作情報をサーバー装置３に送信する。
通信部３４により画像表示装置４から関連付け実施の指示を受信した場合（ステップＳ１１；ＹＥＳ）、制御部３１は、ステップＳ１２の処理に移行する。
ステップＳ１２においては、指定された異常陰影候補とステップＳ７で受信された超音波画像とを関連付けて画像ＤＢ３５１に記憶し（ステップＳ１２）、ステップＳ１３の処理に移行する。具体的には、超音波画像関連付けテーブル３５３において、選択されている検査の検査ＩＤのレコードを追加し、指定された異常陰影候補の識別情報と、受信した超音波画像のヘッダに記憶されているＵＩＤを対応付けて記憶する。同様に監視テーブル３１１にも記憶する。また、受信した超音波画像を画像ＤＢ３５１の画像領域に記憶し、選択された検査の***Ｘ線画像のレコードにそのファイル名、格納場所等を対応付けて記憶する。
一方、通信部３４により画像表示装置４から関連付けを実施しない指示を受信した場合（ステップＳ１１；ＮＯ）、制御部３１は、ステップＳ１３の処理に移行する。
ステップＳ１３において、制御部３１は、通信部３４により画像表示装置４から指定解除を指示する操作情報が受信されたか否かを判断する（ステップＳ１３）。画像表示装置４から指定解除を指示する操作情報が受信されていないと判断した場合（ステップＳ１３；ＮＯ）、制御部３１は、ステップＳ７の処理に戻り、ステップＳ７〜ステップＳ１３の処理を繰り返し実行する。
画像表示装置４から指定解除を指示する操作情報が受信されたと判断した場合（ステップＳ１３；ＹＥＳ）、制御部３１は、画像ＤＢ３５１を参照し、指定された異常陰影候補に超音波画像が関連付けられたか否かを判断する（ステップＳ１４）。指定された異常陰影候補に超音波画像が関連付けられたと判断した場合（ステップＳ１４；ＹＥＳ）、制御部３１は、指定された異常陰影候補に関連付けられた超音波画像を超音波画像領域３４１ｂに表示した関連付け画面４３１の画面情報を生成して通信部３４により画像表示装置４に送信することにより、表示部４３に指定された異常陰影候補に関連付けられた超音波画像を表示させ（ステップＳ１５）、ステップＳ１９の処理に移行する。
図１４に、ステップＳ１５の処理により画像表示装置４に表示される関連付け画面４３１の一例を示す。関連付け画面４３１においては、ステップＳ５で指定された異常陰影候補に表示されているアノテーションを所定の表示に変えて（例えば、色等を変えて）表示するとともに、この異常陰影候補に関連付けられた超音波画像を超音波画像領域４３１ｂに表示する。
一方、ステップＳ１４において、指定された異常陰影候補に超音波画像が関連付けられなかったと判断した場合（ステップＳ１４；ＮＯ）、制御部３１は、関連付け画面４３１に、指定された異常陰影候補に超音波画像が関連付けられなかったことを通知する警告画面（図示せず）の画像情報を生成して通信部３４により画像表示装置４に送信し、画像表示装置４に警告画面を表示させる（ステップＳ１６）。
警告画面は、例えば、「指定された異常陰影候補には超音波画像が対応付けられていません。関連付けなしを記録しますか。」という警告メッセージ、関連付けなしの記録を指示するためのＯＫボタン、関連付けなしの記録を実施しない指示を行うためのＮＧボタンが表示されている。画像表示装置４においては、操作部４２によりＯＫボタン又はＮＧボタンを押下されると、その操作情報をサーバー装置３に送信する。
通信部３４により画像表示装置４から関連付けなしの記録を実施しない指示を受信した場合（ステップＳ１７；ＮＯ）、制御部３１は、ステップＳ７の処理に戻る。
通信部３４により画像表示装置４から関連付けなしの記録指示を受信した場合（ステップＳ１７；ＹＥＳ）、制御部３１は、指定された異常陰影候補に「関連付けなし」を対応付けて画像ＤＢ３５１に記憶し（ステップＳ１８）、ステップＳ１９の処理に移行する。具体的には、超音波画像関連付けテーブル３５３において、選択されている検査ＩＤのレコードを追加し、指定された異常陰影候補の識別情報と、「関連付けなし」を対応付けて記憶する。また、同様に監視テーブル３１１にも記憶する。
ステップＳ１９において、制御部３１は、監視テーブル３１１の指定中フラグ＝１を指定終了フラグ＝２に変更する（ステップＳ１９）。そして、制御部３１は、通信部３４により画像表示装置４から関連付け終了を示す操作情報を受信したか否かを判断する（ステップＳ２０）。関連付け終了を示す操作情報を受信していないと判断した場合（ステップＳ２０；ＮＯ）、制御部３１は、図４ＡのステップＳ５の処理に戻る。
関連付け終了を示す操作情報を受信したと判断した場合（ステップＳ２０；ＹＥＳ）、制御部３１は、選択された検査の***Ｘ線画像において指定されていない異常陰影候補が存在するか否かを判断する（ステップＳ２１）。
指定されていない異常陰影候補が存在しない（全ての異常陰影候補が指定された）と判断した場合（ステップＳ２１；ＮＯ）、制御部３１は、ステップＳ２５の処理に移行する。
指定されていない異常陰影候補が存在すると判断した場合（ステップＳ２１；ＹＥＳ）、制御部３１は、関連付けを実施していない異常陰影候補があることを通知する警告画面（図示せず）を関連付け画面４３１に表示するための画像情報を生成して通信部３４により画像表示装置４に送信し、画像表示装置４に警告画面を表示させる（ステップＳ２２）。
警告画面は、例えば、「関連付けを実施していない異常陰影候補が存在します。終了してよろしいですか。」という警告メッセージ、終了を指示するためのＯＫボタン、終了しない指示を行うためのＮＧボタンが表示されている。画像表示装置４においては、操作部４２によりＯＫボタン又はＮＧボタンを押下されると、その操作情報をサーバー装置３に送信する。
通信部３４により画像表示装置４から終了しない指示を受信した場合（ステップＳ２３；ＮＯ）、制御部３１は、ステップＳ５の処理に戻る。
通信部３４により画像表示装置４から終了する指示を受信した場合（ステップＳ２３；ＹＥＳ）、制御部３１は、指定されなかった異常陰影候補に「関連付けなし」を対応付けて画像ＤＢ３５１に記録し（ステップＳ２４）、ステップＳ２５の処理に移行する。ステップＳ２４において、具体的には、超音波画像関連付けテーブル３５３において、選択されている検査ＩＤのレコードを追加し、指定された異常陰影候補の識別情報と、「関連付けなし」を対応付けて記憶する。また、同様に監視テーブル３１１にも記憶する。
ステップＳ２５において、制御部３１は、関連付け処理の実施中に受信された超音波画像のうち、異常陰影候補との関連付けが記録されていない超音波画像が存在するか否かを判断する（ステップＳ２５）。例えば、ＲＡＭの一時格納領域に格納されている超音波画像のうち、監視テーブル３１１において異常陰影候補との関連付けが記録されていないＵＩＤの超音波画像を検索して判断する。
異常陰影候補との関連付けが記録されていない超音波画像が存在すると判断した場合（ステップＳ２５；ＹＥＳ）、制御部３１は、異常陰影候補との関連付けが記録されていない超音波画像が存在することを通知する警告画面（図示せず）を関連付け画面４３１に表示するための画像情報を生成して通信部３４により画像表示装置４に送信し、画像表示装置４に警告画面を表示させる（ステップＳ２６）。警告画面には、例えば、「関連付けされていない超音波画像が存在します。」という警告メッセージが表示されている。そして、制御部３１は、異常陰影候補が関連付けられていない超音波画像に「関連付けなし」を対応付けて画像ＤＢ３５１に記録し（ステップＳ２７）、ステップＳ２８の処理に移行する。具体的には、超音波画像関連付けテーブル３５３において、選択されている検査ＩＤのレコードを追加し、該当する超音波画像のＵＩＤと「関連付けなし」を対応付けて記憶する。また、該当する超音波画像を画像ＤＢ３５１の画像領域に記憶するとともに、選択されている検査ＩＤの***Ｘ線画像のレコードにそのファイル名、格納場所等を対応付けて記憶する。
異常陰影候補との関連付けが記録されていない超音波画像が存在しないと判断した場合（ステップＳ２５；ＮＯ）、制御部３１は、ステップＳ２８の処理に移行する。
ステップＳ２８において、制御部３１は、一覧表示画面４３２を画像表示装置４に表示するための画像情報を生成して通信部３４により画像表示装置４に送信し、画像表示装置４に一覧表示画面４３２を表示させる（ステップＳ２８）。
ここで、画像ＤＢ３５１に記憶されている超音波画像（現在及び過去）には、同一患者のものだけをとってみても、図１５（ａ）に示すように、複数の異常陰影候補の、様々な種類の超音波画像（例えば、Ｂモード画像、ドップラー画像、エラストグラフィー画像）が検査した回数分含まれる。図１５（ａ）においては、異常陰影候補（異常陰影候補１、２）が２つの場合を示しているが、２つの異常陰影候補に対して１４枚もの画像が記憶されている。
或る患者の或る異常陰影候補を検査した超音波画像を経時的に並べて表示することは、異常陰影候補の経時的変化を観察しやすいので患者等への説明等で有用である。しかし、超音波画像は検査位置の把握が難しいため、このように一人の患者に対する多数の超音波画像の中から手動で或る異常陰影候補を検査した超音波画像を経時的に並べて表示するのは非常に手間がかかる。そこで、本実施形態においては、一覧表示画面４３２において指定された異常陰影候補に対応する超音波画像のうち、指定された種類の超音波画像を時系列で並べて表示する。
図１６に、一覧表示画面４３２の一例を示す。一覧表示画面４３２には、***Ｘ線画像表示欄４３２ａ、超音波画像表示欄４３２ｂが設けられている。***Ｘ線画像表示欄４３２ａには、マンモグラフィ検査で撮影された***Ｘ線画像の異常陰影候補にアノテーションを付加した画像が表示される。超音波画像表示欄４３２ｂには、超音波検査で撮影された超音波画像が表示される。***Ｘ線画像表示欄４３２ａに表示されている画像から操作部４２により異常陰影候補が指定されると（第２の指定手段）、制御部４１により、指定された異常陰影候補の位置情報が通信部４４によりサーバー装置３に送信され、指定された異常陰影候補に対応する超音波画像を時系列で並べる表示順整理処理の実行が指示される。
通信部３４により画像表示装置４において指定された異常陰影候補の情報（位置情報や識別情報。ここでは、識別情報とする）が受信されると（ステップＳ２９；ＹＥＳ）、制御部３１は、表示順整理処理を実行する（ステップＳ３０）。
図１７に、ステップＳ３０で実行される表示順整理処理のフローチャートを示す。
表示順整理処理において、制御部３１は、まず、同一患者の過去の***Ｘ線画像（過去画像という）のうち、異常陰影候補が指定された***Ｘ線画像と左右の側性及び撮影方向が同じ過去画像及びその異常陰影候補情報を画像ＤＢ３５１から読み出す（ステップＳ３０１）。なお、過去の所定期間内の***Ｘ線画像及びその異常陰影候補情報を画像ＤＢ３５１から読み出すこととしてもよい。
次いで、制御部３１は、読み出した各過去画像において、指定された異常陰影候補と略一致する位置にある異常陰影候補を抽出する（ステップＳ３０２）。
ステップＳ３０２においては、具体的には、ステップＳ３０１で読み出された各過去画像に対し、以下の（１）〜（３）の処理が行われ、指定された異常陰影候補と略一致する位置にある異常陰影候補を過去画像から抽出する。
（１）まず、乳頭が検出される。乳頭の検出は、図９のステップＳ８００１で説明したものと同様であるので説明を援用する。
（２）次いで、図１８に示すように、異常陰影候補（図１８においてＰで示す）の重心の位置を、乳頭（図１８においてＮで示す）から異常陰影候補の重心までの距離ｄと、乳頭Ｎから胸壁へ下ろした垂線を角度０°とする極座標系で表す。なお、１枚の過去画像に複数の異常陰影候補がある場合には、それぞれの異常陰影候補Ｐ１〜Ｐｎ重心を極座標系で表す。なお、ステップＳ２９で指定された異常陰影候補についても同様に極座標系で表す。
（３）次いで、指定された異常陰影候補の（ｄ、θ）と異常陰影候補Ｐ１〜Ｐｎの（ｄ、θ）をｄとθの２次元特徴量空間（ｄとθを軸とした座標空間）にプロットし、この空間において上記指定された異常陰影候補をプロットした点とのユークリッド距離が所定の閾値ＴＨｄ以下で最小の異常陰影候補を指定された異常陰影候補と略一致する位置にある異常陰影候補として抽出する。
次いで、制御部３１は、ステップＳ３０２において抽出された異常陰影候補のそれぞれに関連付けられている超音波画像を画像ＤＢ３５１の関連付けテーブルを参照して読み出し（ステップＳ３０３）、読み出した超音波画像群をその種類によって分類する（ステップＳ３０４）。
ここで、超音波画像としては、主として、Ｂモード画像、ドップラー画像、エラストグラフィー画像がある。
Ｂモード画像は、被写体を撮影した部分がグレースケール、計測線、ボディーマーク等がカラーの、カラー領域率約０．３％〜０．５％程度の画像である。ドップラー画像は、被写体の血流信号をカラーで表した画像であり、カラー領域率はたとえば約８％程度である。エラストグラフィー画像は、被写体の弾性度合いをカラーで表した画像であり、カラー領域率はたとえば約２０％程度である。カラー領域率は、以下の（式３）により求めることができる。
カラー領域率＝カラー成分を持つ画素の数×領域全体の画素数×１００・・・（式３）
ステップＳ３０４においては、取得された超音波画像をカラー領域率に基づいて、グレースケール画像（Ｂモード画像）とカラー画像（ドップラー画像、エラストグラフィー画像）とに分類する。
例えば、カラー領域率が所定の閾値ＴＨ（例えば、ＴＨ＝１％）未満である場合、その超音波画像がグレースケール画像であると判定し、その超音波画像にカラーフラグＯＦＦを設定する。カラー領域率がＴＨ以上である場合、カラー画像と判定し、その超音波画像にカラーフラグＯＮを設定する。なお、カラー成分を持つ画素の判定は、上述のように、例えば、各色のチャネルのＲ−Ｇ、Ｇ−Ｂ間の信号差が３２以上（８ビットの場合）であればカラー画素とし、これに該当しない画素をグレースケールとすることができる。
次いで、制御部３１は、時系列に並べる超音波画像の種類の設定（グレースケールのみ、カラーのみ、両方）に基づいて、指定された異常陰影候補の過去〜現在の超音波画像を検査日時に基づいてソートする（ステップＳ３０５）。例えば、グレースケールのみが設定されている場合には、図１５（ｂ）に示すように、指定された異常陰影候補のＢモード画像が時系列にソートされる。また、例えば、グレースケールとカラーの両方が設定されている場合には、図１５（ｃ）に示すように、グレースケール画像毎、カラー画像毎に時系列にソートされる。なお、時系列に並べる超音波画像の種類の設定は、画像表示装置４から行うことができる。また、グレースケールとカラーの両方が設定されている場合には、グレースケールとカラーを分けて、それぞれ時系列にソートする。ソートが終了すると、制御部３１は、表示順整理処理を終了し、図４ＢのステップＳ３１に移行する。
図４ＢのステップＳ３１において、制御部３１は、超音波画像表示欄４３２ｂにステップＳ２９で指定された異常陰影候補に対応する（位置情報が略一致する）超音波画像のうち、設定された種類の超音波画像を時系列に表示した画面４３２ｃが表示された一覧表示画面４３２の画面情報を生成して通信部３４により画像表示装置４に送信し、表示部４３に表示させる（ステップＳ３１）。
図１９に、指定された異常陰影候補に対応する超音波画像を時系列に表示した画面４３２ｃが表示された一覧表示画面４３２の一例を示す。画面４３２ｃに表示された各画像は、それぞれ画像上部端を操作部４２によりクリックすることにより最前列に表示することができる。また、例えば、操作部４２により画面４３２ｃをクリックする等により、各画像を画面４３２ｃに時系列順にタイル表示（重ならないように表示）することとしてもよい。
このように、***Ｘ線画像から指定された異常陰影候補に対応する現在〜過去の超音波画像のみを時系列に並べて表示するので、異常陰影候補の経時変化を検査実施者や医師が容易に観察することが可能となる。
なお、他の異常陰影候補に対応する超音波画像を時系列に並べて表示したい場合には、***Ｘ線画像表示欄４３２ａから操作部４２により別の異常陰影候補を指定する。
通信部３４により、画像表示装置４において指定された他の異常陰影候補の情報が受信されると（ステップＳ３２；ＹＥＳ）、制御部３１は、ステップＳ３０に戻り、ステップＳ３０〜Ｓ３１の処理を実行する。他の異常陰影候補の情報が受信されない場合（ステップＳ３２；ＮＯ）、制御部３１は、関連付け処理を終了する。
以上説明したように、医用画像システム１００によれば、サーバー装置３の制御部３１は、関連付け処理の対象として選択された検査の***Ｘ線画像が関連付けに適した画像であり、かつ、関連付け対象として指定されている異常陰影候補と受信した超音波画像における検査位置を示す臨床位置情報が整合している場合に、その異常陰影候補と受信した超音波画像との関連付けを行う。また、制御部３１は、関連付けを監視し、指定が解除された異常陰影候補に超音波画像が関連付けられなかった場合に警告を出力し、画像表示装置４からの指示に基づいて、指定された異常陰影候補に「関連付けなし」を対応付けて画像ＤＢ３５１に記憶する。また、関連付け処理の終了が指示された場合、制御部３１は、指定されていない異常陰影候補が存在するか否かを判断し、存在する場合には、警告を出力し、画像表示装置４からの指示に基づいて、該当する異常陰影候補に「関連付けなし」を対応付けて画像ＤＢ３５１に記憶する。また、制御部３１は、関連付けられていない超音波画像が存在しているか否かを判断し、存在する場合には、警告を出力し、画像表示装置４からの指示に基づいて、指定されていない異常陰影候補に「関連付けなし」を対応付けて画像ＤＢ３５１に記憶する。
従って、***Ｘ線画像の異常陰影候補に超音波画像を関連付ける場合に、関連付けすべきでないもの同士を関連付けることを防止することができるとともに、関連付けされていない異常陰影候補又は超音波画像が存在した場合には、その旨を検査実施者に認識させることができる。また、関連付けされなかった異常陰影候補又は超音波画像には、検査実施者に確認させた上で「関連付けなし」を対応付けて画像ＤＢ３５１に記憶するので、それらが検査実施者により関連付けされなかったことを明確にすることができる。その結果、診断時に***Ｘ線画像の異常陰影候補と超音波画像とが対応しないことによる診断効率の低下や再検査等の病院や患者双方への負担増を防止することができる。
例えば、制御部３１は、関連付け対象として選択された***Ｘ線画像が同一患者の同一被写体部位を撮影した***Ｘ線画像のうちで最新であり、かつ所定期間内に撮影されたものである場合に、関連付けに適した画像であると判定し、それ以外の場合には警告を出力するので、***Ｘ線画像を撮影した日と超音波画像の撮影日（本日）とが離れていて病態が変化している可能性があるような、関連付けを実施すべきでない画像を用いて関連付けが行われてしまうことを防止することができる。
また、制御部３１は、指定された異常陰影候補の臨床位置情報を推定し、指定された異常陰影候補の臨床位置情報と超音波画像に記録されている検査位置の臨床位置情報（ボディーマーク）が整合している場合に、両者が関連付けに適していると判定し、不整合の場合は警告を出力するので、臨床位置が一致しない異常陰影候補と超音波画像が関連付けられてしまうことを防止することができるうえに、ボディーマーク情報が誤ったままサーバー装置３へ画像登録されるのを防ぐこともできる。
また、制御部１１は、一覧表示画面４３２に表示された***Ｘ線画像から異常陰影候補が指定されると、その異常陰影候補及び画像ＤＢ３５１に記憶されている同一患者の***Ｘ線画像におけるその異常陰影候補と略同一位置にある異常陰影候補に関連付けられている超音波画像を画像ＤＢ３５１から読み出し、時系列に並べて画像表示装置４に表示させる。従って、検査実施者や医師が異常陰影候補の経時変化を超音波画像で容易に観察することが可能となる。
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、サーバー装置３と画像表示装置４が別体の装置でクライアントサーバシステムを構成することとしたが、２つの装置の機能を１つの装置で実現することとしてもよい。即ち、装置の記憶部に、コンピュータを選択手段、指定手段、受信手段、判定手段、関連付け手段、監視手段、記憶手段、生成手段、抽出手段、照合手段、第２の指定手段、異常陰影候補抽出手段、表示制御手段として機能させるためのプログラムが記憶されており、ＣＰＵ等の制御部とプログラムとの協働によりこれらの機能を実現することとしてもよい。また、異常陰影候補検出装置２の機能も同じ１つの装置に組み込まれていることとしてもよい。
また、上記実施形態においては、異常陰影候補検出装置２から検出された異常陰影候補の情報を検出元の***Ｘ線画像に対応付けて画像ＤＢ３５１に記憶することとしたが、放射線技師等の手動によって入力手段により入力された異常陰影候補の情報をその***Ｘ線画像に対応付けて記憶しておくこととしてもよい。例えば、放射線科にある画像表示装置４でビューアー画面に表示された***Ｘ線画像から放射線技師が操作部４２により入力（指定）した異常陰影候補の異常陰影候補情報を画像ＤＢ３５１に検出元の***Ｘ線画像と対応付けて記憶しておき、操作部４２による操作に応じてこの異常陰影候補情報を指定可能に***Ｘ線画像上に表示することとしてもよい。このようにすれば、人が観察した結果、異常陰影候補が存在すると判断した領域を超音波画像の関連付けの対象とすることができる。
また、上記実施形態においては、被写体部位が***である場合を例として説明したが、他の部位についての超音波診断の支援を行う場合に本発明を適用してもよい。
また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリ等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
その他、医用画像システムを構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
１００ 医用画像システム
１ 画像生成装置
２ 異常陰影候補検出装置
３ サーバー装置
３１ 制御部
３２ 操作部
３３ 表示部
３４ 通信部
３５ 記憶部
３５１ 画像ＤＢ
３５２ 画像管理テーブル
３５３ 超音波画像関連付けテーブル
３６ バス
４ 画像表示装置
４１ 制御部
４２ 操作部
４３ 表示部
４４ 通信部
４５ 記憶部
４６ バス

Claims (8)

  1. 第１の撮影方式により生成された第１の医用画像を当該第１の医用画像における異常陰影候補の情報と対応付けて記憶する記憶手段と、
    前記記憶手段に記憶されている第１の医用画像のなかから、前記第１の撮影方式とは異なる第２の撮影方式により生成された第２の医用画像の関連付けの対象となる医用画像を選択する選択手段と、
    前記選択された第１の医用画像から異常陰影候補を指定するための指定手段と、
    新たに生成された第２の医用画像を受信する受信手段と、
    前記選択された第１の医用画像が関連付けに適した画像であるか否か、及び、前記指定された異常陰影候補と前記受信された第２の医用画像とが関連付け可能な所定の条件を満たすか否かを判定する判定手段と、
    前記選択された第１の医用画像が関連付けに適した画像であり、かつ、前記指定された異常陰影候補と前記受信された第２の医用画像とが前記所定の条件を満たすと判定された場合に、前記受信された第２の医用画像を前記指定された異常陰影候補に関連付けて前記記憶手段に記憶させる関連付け手段と、
    前記関連付け手段による関連付けを監視し、前記第２の医用画像が関連付けられなかった異常陰影候補又は前記第１の医用画像の何れの異常陰影候補にも関連付けられなかった前記第２の医用画像が存在する場合には、警告を出力するとともに、前記第２の医用画像が関連付けられなかった異常陰影候補には関連付けする第２の医用画像がない旨を示す情報を対応付け、前記第１の医用画像の何れの異常陰影候補にも関連付けられなかった前記第２の医用画像には関連付けする異常陰影候補がない旨を示す情報を対応付けて前記記憶手段に記憶させる監視手段と、
    を備える医用画像システム。
  2. 前記判定手段は、前記選択された第１の医用画像が同一患者の同一被写体部位を撮影した第１の医用画像のうちで最新であり、かつ所定期間内に撮影されたものである場合に、関連付けに適した画像であると判定する請求項１に記載の医用画像システム。
  3. 前記第２の医用画像には、被写体部位を正面から見たときの当該医用画像の撮影位置を示す第２の臨床位置情報が記録され、
    前記選択された第１の医用画像に基づいて、当該第１の医用画像の被写体部位を正面から見たときの前記異常陰影候補の位置を示す第１の臨床位置情報を生成する生成手段と、
    前記第２の医用画像から前記第２の臨床位置情報を抽出する抽出手段と、
    前記第１の臨床位置情報と前記第２の臨床位置情報とを照合する照合手段と、を備え、
    前記判定手段は、前記照合手段による照合の結果、前記第１の臨床位置情報と前記第２の臨床位置情報とが整合している場合に、前記所定の条件を満たすと判定する請求項１又は２に記載の医用画像システム。
  4. 前記第１の医用画像から異常陰影候補を検出する検出手段を備え、
    前記記憶手段は、前記第１の医用画像に前記検出手段により当該第１の医用画像から検出された異常陰影候補の情報を対応付けて記憶する請求項１〜３の何れか一項に記載の医用画像システム。
  5. 前記第１の医用画像における異常陰影候補の領域を入力する入力手段を備え、
    前記記憶手段は、前記第１の医用画像に前記入力手段により入力された異常陰影候補の情報を対応付けて記憶する請求項１〜３の何れか一項に記載の医用画像システム。
  6. 前記選択された第１の医用画像から異常陰影候補を指定するための第２の指定手段と、
    前記第２の指定手段により指定された異常陰影候補を含む第１の医用画像と同一患者の同一被写体部位を撮影した第１の医用画像を前記記憶手段から読み出して、読み出した第１の医用画像のそれぞれから前記第２の指定手段により指定された異常陰影候補と略同一位置の異常陰影候補を抽出する異常陰影候補抽出手段と、
    前記異常陰影候補抽出手段により抽出された異常陰影候補に関連付けて記憶されている前記第２の医用画像を前記記憶手段から読み出して、前記読み出された第２の医用画像を時系列に並べて表示手段に表示させる表示制御手段と、
    を備える請求項１〜５の何れか一項に記載の医用画像システム。
  7. 前記第１の医用画像は、***Ｘ線画像であり、前記第２の医用画像は、乳腺超音波画像である請求項１〜６の何れか一項に記載の医用画像システム。
  8. コンピュータを、
    第１の撮影方式により生成された第１の医用画像を当該第１の医用画像における異常陰影候補の情報と対応付けて記憶する記憶手段から、前記第１の撮影方式とは異なる第２の撮影方式により生成された第２の医用画像の関連付けの対象となる医用画像を選択する選択手段、
    前記選択された第１の医用画像から異常陰影候補を指定するための指定手段、
    新たに生成された第２の医用画像を受信する受信手段、
    前記選択された第１の医用画像が関連付けに適した画像であるか否か、及び、前記指定された異常陰影候補と前記受信された第２の医用画像とが関連付け可能な所定の条件を満たすか否かを判定する判定手段、
    前記選択された第１の医用画像が関連付けに適した画像であり、かつ、前記指定された異常陰影候補と前記受信された第２の医用画像とが前記所定の条件を満たすと判定された場合に、前記受信された第２の医用画像を前記指定された異常陰影候補に関連付けて前記記憶手段に記憶させる関連付け手段、
    前記関連付け手段による関連付けを監視し、前記第２の医用画像が関連付けられなかった異常陰影候補又は前記第１の医用画像の何れの異常陰影候補にも関連付けられなかった前記第２の医用画像が存在する場合には、警告を出力するとともに、前記第２の医用画像が関連付けられなかった異常陰影候補には関連付けする第２の医用画像がない旨を示す情報を対応付け、前記第１の医用画像の何れの異常陰影候補にも関連付けられなかった前記第２の医用画像には関連付けする異常陰影候補がない旨を示す情報を対応付けて前記記憶手段に記憶させる監視手段、
    として機能させるためのプログラム。
JP2013245717A 2013-11-28 2013-11-28 医用画像システム及びプログラム Expired - Fee Related JP6183177B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013245717A JP6183177B2 (ja) 2013-11-28 2013-11-28 医用画像システム及びプログラム
EP14275230.2A EP2879094A3 (en) 2013-11-28 2014-11-11 Medical image processing system and program
US14/553,225 US9050057B1 (en) 2013-11-28 2014-11-25 Medical image system and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013245717A JP6183177B2 (ja) 2013-11-28 2013-11-28 医用画像システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2015100661A JP2015100661A (ja) 2015-06-04
JP6183177B2 true JP6183177B2 (ja) 2017-08-23

Family

ID=52015997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013245717A Expired - Fee Related JP6183177B2 (ja) 2013-11-28 2013-11-28 医用画像システム及びプログラム

Country Status (3)

Country Link
US (1) US9050057B1 (ja)
EP (1) EP2879094A3 (ja)
JP (1) JP6183177B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3397169B1 (en) * 2015-12-30 2024-05-22 Koninklijke Philips N.V. An ultrasound system and method
JP6594245B2 (ja) * 2016-03-30 2019-10-23 富士フイルム株式会社 硬さ導出装置、医用撮影システム、硬さ導出方法、及び硬さ導出プログラム
US9934591B2 (en) * 2016-04-08 2018-04-03 Orbital Insight, Inc. Remote determination of quantity stored in containers in geographical region
JP7432296B2 (ja) * 2016-09-12 2024-02-16 キヤノンメディカルシステムズ株式会社 医用情報処理システム
US10492764B2 (en) * 2016-11-10 2019-12-03 Canon Medical Systems Corporation Ultrasound diagnosis apparatus, medical image processing apparatus, and medical image processing method
JP6849462B2 (ja) * 2017-02-06 2021-03-24 キヤノンメディカルシステムズ株式会社 医用情報処理システム及び医用画像処理装置
CN109903269B (zh) * 2019-01-24 2021-05-04 刘星宇 确定脊柱横断面图像的异常类型的方法及计算设备
EP4218601A4 (en) * 2020-09-23 2024-03-27 Fujifilm Corp ULTRASONIC SYSTEM AND METHOD FOR CONTROLLING THE ULTRASONIC SYSTEM
WO2022065050A1 (ja) * 2020-09-28 2022-03-31 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
WO2022190824A1 (ja) 2021-03-08 2022-09-15 富士フイルム株式会社 表示装置および表示装置の制御方法
JP2024001441A (ja) 2022-06-22 2024-01-10 富士フイルム株式会社 画像表示装置および画像表示装置の制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3669789B2 (ja) 1996-09-11 2005-07-13 富士写真フイルム株式会社 異常陰影候補の検出方法および装置
US7556602B2 (en) * 2000-11-24 2009-07-07 U-Systems, Inc. Breast cancer screening with adjunctive ultrasound mammography
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
US8160314B2 (en) * 2004-06-18 2012-04-17 Siemens Aktiengesellschaft System and method for linking VOIs across timepoints for analysis of disease progression or response to therapy
JP2007307290A (ja) * 2006-05-22 2007-11-29 Konica Minolta Medical & Graphic Inc 医用画像読影システム
JP2008073305A (ja) * 2006-09-22 2008-04-03 Gifu Univ 超音波***診断システム
JP2008073304A (ja) * 2006-09-22 2008-04-03 Gifu Univ 超音波***診断システム
JP5329911B2 (ja) * 2007-11-02 2013-10-30 株式会社東芝 医用画像管理装置および医用画像システム
WO2010052598A1 (en) * 2008-11-06 2010-05-14 Koninklijke Philips Electronics N.V. Breast ultrasound annotation user interface
JP5349384B2 (ja) * 2009-09-17 2013-11-20 富士フイルム株式会社 医用画像表示装置および方法並びにプログラム
WO2011073832A1 (en) * 2009-12-18 2011-06-23 Koninklijke Philips Electronics N.V. Associating acquired images with objects

Also Published As

Publication number Publication date
EP2879094A3 (en) 2015-09-02
US9050057B1 (en) 2015-06-09
EP2879094A2 (en) 2015-06-03
JP2015100661A (ja) 2015-06-04
US20150146855A1 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
JP6183177B2 (ja) 医用画像システム及びプログラム
JP6331922B2 (ja) 医用画像システム及びプログラム
JP4104036B2 (ja) 異常陰影検出処理方法およびシステム
JP6134315B2 (ja) 画像データにおける所見の解剖学的タグ付けの方法
JP2015104465A (ja) 医用画像システム及びプログラム
KR101840350B1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
JP2006014928A (ja) 画像表示方法および装置並びにプログラム
US20150139518A1 (en) Image processing apparatus
US10916010B2 (en) Learning data creation support apparatus, learning data creation support method, and learning data creation support program
US8718344B2 (en) Image processing apparatus and medical image diagnosis apparatus
US11559273B2 (en) Mammography apparatus and program
JP6455235B2 (ja) 医用画像システム及びプログラム
JPWO2011132468A1 (ja) 医用画像表示装置及びプログラム
JP6291813B2 (ja) 医用画像システム及びプログラム
JP2017080389A (ja) 医用画像システム及びプログラム
JP2011103095A (ja) 医用画像表示システム及びプログラム
JP2016195655A (ja) 医用画像システム及びプログラム
US11756673B2 (en) Medical information processing apparatus and medical information processing method
JP2018033657A (ja) 医用画像システム及びプログラム
JP2012143368A (ja) 医用画像表示装置及びプログラム
JP2016209267A (ja) 医用画像処理装置及びプログラム
CN110785125A (zh) 用于医学图像的图像分析的方法和***
JP5533198B2 (ja) 医用画像表示装置及びプログラム
JP5605246B2 (ja) 異常陰影候補検出システム、サーバ装置及びプログラム
JP2011101759A (ja) 医用画像表示システム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160926

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170710

R150 Certificate of patent or registration of utility model

Ref document number: 6183177

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees