JP2005124617A - Medical image diagnosis support system - Google Patents

Medical image diagnosis support system Download PDF

Info

Publication number
JP2005124617A
JP2005124617A JP2003360469A JP2003360469A JP2005124617A JP 2005124617 A JP2005124617 A JP 2005124617A JP 2003360469 A JP2003360469 A JP 2003360469A JP 2003360469 A JP2003360469 A JP 2003360469A JP 2005124617 A JP2005124617 A JP 2005124617A
Authority
JP
Japan
Prior art keywords
image
medical image
reduced
medical
mlo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003360469A
Other languages
Japanese (ja)
Inventor
Kenji Yamanaka
山中  健司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Medical and Graphic Inc
Original Assignee
Konica Minolta Medical and Graphic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Medical and Graphic Inc filed Critical Konica Minolta Medical and Graphic Inc
Priority to JP2003360469A priority Critical patent/JP2005124617A/en
Priority to US10/764,413 priority patent/US20040151358A1/en
Publication of JP2005124617A publication Critical patent/JP2005124617A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a medical image diagnosis support system improving diagnosis performance and working efficiency of a doctor by disposing necessary images when the doctor reads the images and outputting them as hard copy with no omission of medical image information, or the object to read. <P>SOLUTION: An image processing apparatus 2 allows an abnormal shadow candidate detecting means 15 to detect an abnormal shadow candidate region of image data D input via transmission means 13, allows a contracted medical image producing means 17 to contract it at a predetermined magnification to form a contracted medical image, allows a contracted abnormality display image producing means 18 to superimpose annotation as a detected result of the abnormal shadow candidate on the contracted medical image and produce the contracted abnormality display image, and allows a composite image producing means 19 to dispose the contracted medical image or the contracted abnormality display image on the medical image to prevent the omission of the information of the subject region of the medical image data, produce the composite image and output it to an image recording device. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、医用画像に対し医師の読影診断の効率化を図るための画像処理を施して出力する医用画像診断支援システムに関する。   The present invention relates to a medical image diagnosis support system that outputs a medical image by performing image processing for improving the efficiency of a doctor's interpretation diagnosis.

医療の分野では、放射線を利用したCT(Computed Tomography)、MRI(Magnetic Resonance Imaging)、CR(Computed Radiography)、FPD(Flat Panel Detector)、超音波診断装置等の各種モダリティによりデジタル画像として入力された医用画像に各種画像処理を施してCRT等のモニタに表示する、或いは画像記録装置からハードコピーとして出力する医用画像処理装置が開発されている。   In the medical field, digital images are input by various modalities such as CT (Computed Tomography), MRI (Magnetic Resonance Imaging), CR (Computed Radiography), FPD (Flat Panel Detector), and ultrasonic diagnostic equipment using radiation. A medical image processing apparatus has been developed that performs various image processing on a medical image and displays it on a monitor such as a CRT, or outputs a hard copy from an image recording apparatus.

また、医師の読影負担の軽減を目的として、医用画像を画像解析することにより病変部分の陰影を異常陰影候補として検出し、医用画像上に異常陰影候補の領域をアノテーション(annotation)等で表示するシステムや、異常陰影候補について強調処理や拡大処理を施した画像を全体画像の一部に重ねて表示出力するシステムが開発されている(例えば、特許文献1参照)。
特開2000−276587号公報
In addition, for the purpose of reducing the doctor's interpretation burden, the image of the medical image is analyzed to detect the shadow of the lesion as an abnormal shadow candidate, and the region of the abnormal shadow candidate is displayed on the medical image as an annotation. Systems and systems that display and output an image obtained by performing enhancement processing and enlargement processing on abnormal shadow candidates are superimposed on a part of the entire image (for example, see Patent Document 1).
Japanese Patent Laid-Open No. 2000-276587

ところで、ある人体のある撮影部位を撮影した医用画像を読影する場合、その医用画像から検出された異常陰影候補に関する情報の他、例えば、同一部位を他の方向から撮影した画像や、同一部位を他のモダリティで撮影した画像等、その医用画像に関連する画像を参照することが必要な場合がある。このようなとき、モニタに医用画像を表示して観察している場合には、比較的容易に関連画像への検索や切り換えを行うことができる。しかしながら、フィルム等の記録媒体上に記録した医用画像を観察する場合、関連画像を検索したりシャウカステンに並べたりするには手間がかかっていた。また、読影する医用画像の他に関連画像を並べると、読影医の視線移動時にフィルム間の隙間からシャウカステンの強烈な光の影響を受け、眩惑されるので、観察しづらいという問題があった。   By the way, when interpreting a medical image obtained by imaging a certain imaging part of a human body, in addition to information on abnormal shadow candidates detected from the medical image, for example, an image obtained by imaging the same part from another direction, or the same part It may be necessary to refer to an image associated with the medical image, such as an image taken with another modality. In such a case, when displaying and observing a medical image on a monitor, it is possible to search or switch to a related image relatively easily. However, when observing a medical image recorded on a recording medium such as a film, it has been troublesome to search for a related image or to arrange it on a shaucusten. In addition, when related images are arranged in addition to medical images to be interpreted, there is a problem in that it is difficult to observe because it is dazzled by the influence of intense light of Schaukasten from the gaps between the films when the line of sight of the interpreting doctor moves.

本発明の課題は、読影対象の医用画像の情報を欠損することなく、医師が読影に際し必要な画像を配置してハードコピーとして出力することにより、医師の診断性能及び作業効率を向上することのできる医用画像診断支援システムを提供することである。   An object of the present invention is to improve a doctor's diagnostic performance and work efficiency by arranging a necessary image and outputting it as a hard copy when a doctor interprets an image without losing information of a medical image to be interpreted. A medical image diagnosis support system that can be used.

上記課題を解決するため、請求項1に記載の発明は、
人体を撮影した医用画像を生成するモダリティと、前記生成された医用画像に画像処理を施す画像処理装置と、前記画像処理装置から出力された前記医用画像を記録媒体上に記録し出力する画像記録装置を含む医用画像診断支援システムにおいて、
前記医用画像を解析し、異常陰影候補を検出する異常陰影候補検出手段と、
前記医用画像を所定の倍率で縮小し、縮小医用画像を作成する縮小医用画像作成手段と、
前記作成された縮小医用画像に前記異常陰影候補の検出結果を重畳し、縮小異常表示画像を作成する縮小異常表示画像作成手段と、
前記医用画像の被写体領域を抽出する抽出手段と、
前記縮小医用画像、及び/又は、前記縮小異常表示画像を、前記抽出された前記医用画像の被写体領域の情報が欠損しない領域に配置し、前記医用画像と、前記縮小医用画像又は前記縮小異常表示画像とを合成して合成画像を作成する合成画像作成手段と、
前記合成画像、前記医用画像、前記縮小医用画像、前記縮小異常表示画像の少なくとも一つを前記画像記録装置に出力する出力手段と、
を備えたことを特徴としている。
In order to solve the above-mentioned problem, the invention described in claim 1
A modality for generating a medical image obtained by photographing a human body, an image processing device for performing image processing on the generated medical image, and an image recording for recording and outputting the medical image output from the image processing device on a recording medium In a medical image diagnosis support system including an apparatus,
An abnormal shadow candidate detecting means for analyzing the medical image and detecting an abnormal shadow candidate;
A reduced medical image creating means for reducing the medical image at a predetermined magnification and creating a reduced medical image;
A reduced abnormal display image creating means for creating a reduced abnormal display image by superimposing a detection result of the abnormal shadow candidate on the created reduced medical image;
Extracting means for extracting a subject area of the medical image;
The reduced medical image and / or the reduced abnormal display image is arranged in an area where information on the subject area of the extracted medical image is not lost, and the medical image, the reduced medical image, or the reduced abnormal display is displayed. A composite image creating means for creating a composite image by combining with an image;
Output means for outputting at least one of the composite image, the medical image, the reduced medical image, and the reduced abnormality display image to the image recording device;
It is characterized by having.

請求項2に記載の発明は、請求項1に記載の発明において、
前記作成された縮小医用画像及び前記縮小異常表示画像を前記医用画像に対応付けて記憶する記憶手段を備えたことを特徴としている。
The invention according to claim 2 is the invention according to claim 1,
Storage means for storing the created reduced medical image and the reduced abnormality display image in association with the medical image is provided.

請求項3に記載の発明は、請求項1又は2に記載の発明において、
前記医用画像を生成したモダリティとは別の種類のモダリティにより生成された同一人体の同一撮影部位の他モダリティ画像、及び/又は、同一モダリティにより生成された過去の医用画像を取得する取得手段と、
前記取得された他モダリティ画像、及び/又は、過去の医用画像を記憶する取得画像記憶手段と、
前記取得画像記憶手段から前記他モダリティ画像、及び/又は、過去の医用画像を読み出して所定の倍率で縮小し、縮小医用画像を作成する取得画像処理手段と、
を備え、
前記合成画像作成手段により前記医用画像と合成される前記縮小医用画像、及び/又は、前記縮小異常表示画像は、下記の(1)〜(5)の何れかであることを特徴としている。
(1)前記医用画像の縮小医用画像
(2)前記医用画像の縮小異常表示画像
(3)前記医用画像に関連する他の医用画像の縮小医用画像
(4)前記医用画像に関連する他の医用画像の縮小異常表示画像
(5)前記取得画像処理手段から得られた縮小医用画像
The invention according to claim 3 is the invention according to claim 1 or 2,
An acquisition means for acquiring another modality image of the same imaging region of the same human body generated by a different type of modality from the modality that generated the medical image, and / or a past medical image generated by the same modality;
Acquired image storage means for storing the acquired other modality images and / or past medical images;
An acquired image processing means for reading out the other modality image and / or a past medical image from the acquired image storage means, reducing the image at a predetermined magnification, and creating a reduced medical image;
With
The reduced medical image and / or the reduced abnormality display image synthesized with the medical image by the synthesized image creating means is any one of the following (1) to (5).
(1) Reduced medical image of the medical image (2) Reduced abnormal display image of the medical image (3) Reduced medical image of another medical image related to the medical image (4) Other medical images related to the medical image Reduced abnormal display image of image (5) Reduced medical image obtained from the acquired image processing means

請求項4に記載の発明は、請求項3に記載の発明において、
前記取得画像処理手段は、前記他モダリティ画像に画像処理を施す他モダリティ画像処理手段を有し、前記縮小された他モダリティ画像に階調処理、周波数処理、モダリティの種類を示す情報を画像内に付加する処理のうち少なくとも一つ以上の処理を行うことを特徴としている。
The invention according to claim 4 is the invention according to claim 3,
The acquired image processing means includes other modality image processing means for performing image processing on the other modality image, and information indicating gradation processing, frequency processing, and modality type is included in the reduced other modality image in the image. It is characterized in that at least one of the additional processes is performed.

請求項5に記載の発明は、請求項1〜4の何れか一項に記載の発明において、
前記縮小異常表示画像作成手段は、前記異常陰影候補の検出結果として、少なくとも異常陰影候補の位置を示すアノテーション情報を前記縮小医用画像作成手段により作成された縮小医用画像に重畳し、前記縮小異常表示画像を作成することを特徴としている。
The invention according to claim 5 is the invention according to any one of claims 1 to 4,
The reduced abnormal display image creation unit superimposes annotation information indicating at least the position of the abnormal shadow candidate on the reduced medical image created by the reduced medical image creation unit as the detection result of the abnormal shadow candidate, and displays the reduced abnormal display. It is characterized by creating images.

請求項6に記載の発明は、請求項1〜5の何れか一項に記載の発明において、
前記縮小医用画像作成手段は、更に、前記縮小された医用画像を解析することにより被写体領域を認識し、前記認識された被写体領域以外の領域が所定の濃度以上となるように濃度補正を行うことを特徴としている。
The invention according to claim 6 is the invention according to any one of claims 1 to 5,
The reduced medical image creation means further recognizes a subject area by analyzing the reduced medical image, and performs density correction so that the area other than the recognized subject area has a predetermined density or more. It is characterized by.

請求項7に記載の発明は、請求項3〜6の何れか一項に記載の発明において、
前記取得画像処理手段は、更に、前記縮小された他モダリティ画像、及び/又は、前記縮小された過去の医用画像を解析することによりそれぞれの被写体領域を認識し、前記認識された被写体領域以外の領域が所定の濃度以上となるように濃度補正を行うことを特徴としている。
The invention according to claim 7 is the invention according to any one of claims 3 to 6,
The acquired image processing means further recognizes each subject area by analyzing the reduced other modality image and / or the reduced past medical image, and other than the recognized subject area. It is characterized in that density correction is performed so that a region has a predetermined density or more.

請求項8に記載の発明は、請求項1〜7の何れか一項に記載の発明において、
前記縮小医用画像作成手段又は前記取得画像処理手段により作成された縮小医用画像、及び/又は、前記縮小異常表示画像上にスケール目盛りを付加する、及び/又は、縮小率を示す情報を付加するサイズ情報付加手段を備えたことを特徴としている。
The invention according to claim 8 is the invention according to any one of claims 1 to 7,
Size to which a scale mark is added to the reduced medical image created by the reduced medical image creation unit or the acquired image processing unit and / or the reduced abnormal display image and / or information indicating the reduction rate is added It is characterized by having information adding means.

請求項9に記載の発明は、請求項1〜8の何れか一項に記載の発明において、
前記医用画像、前記合成画像、前記縮小医用画像、前記縮小異常表示画像に対する所見情報を入力する所見情報入力手段と、
前記入力された所見情報を前記出力手段により出力する画像に付加する所見情報付加手段と、
を備えたことを特徴としている。
The invention according to claim 9 is the invention according to any one of claims 1 to 8,
Finding information input means for inputting finding information for the medical image, the composite image, the reduced medical image, and the reduced abnormal display image;
Finding information adding means for adding the input finding information to an image output by the output means;
It is characterized by having.

請求項10に記載の発明は、請求項9に記載の発明において、
前記所見情報入力手段により入力された情報を前記医用画像と対応付けて記憶する所見情報記憶手段を備えたことを特徴としている。
The invention according to claim 10 is the invention according to claim 9,
It is characterized by comprising finding information storage means for storing information inputted by the finding information input means in association with the medical image.

請求項11に記載の発明は、請求項1〜10の何れか一項に記載の発明において、
前記合成画像作成手段は、前記医用画像がマンモグラフィである場合、下記の(1)〜(8)の何れか一つに係る形態で、医用画像上に、前記縮小医用画像、前記縮小異常表示画像を配置して合成することを特徴としている。
(1)医用画像(MLO(斜位方向)−R(右***)、L(左***))と縮小医用画像(CC(上下方向)−R、L)
(2)医用画像(CC−R、L)と縮小医用画像(MLO−R、L)
(3)医用画像(MLO−R、CC−R)と縮小医用画像(MLO−L、CC−L)
(4)医用画像(MLO−L、CC−L)と縮小医用画像(MLO−R、CC−R)
(5)医用画像(MLO−R、L)と縮小異常表示画像(CC−R、L)
(6)医用画像(CC−R、L)と縮小異常表示画像(MLO−R、L)
(7)医用画像(MLO−R、CC−R)と縮小異常表示画像(MLO−L、CC−L)
(8)医用画像(MLO−L、CC−L)と縮小異常表示画像(MLO−R、CC−R)
The invention according to claim 11 is the invention according to any one of claims 1 to 10,
When the medical image is a mammography, the composite image creating means has the form according to any one of (1) to (8) below, and the reduced medical image and the reduced abnormal display image on the medical image. It is characterized by arranging and synthesizing.
(1) Medical image (MLO (oblique direction) -R (right breast), L (left breast)) and reduced medical image (CC (vertical direction) -R, L)
(2) Medical image (CC-R, L) and reduced medical image (MLO-R, L)
(3) Medical images (MLO-R, CC-R) and reduced medical images (MLO-L, CC-L)
(4) Medical images (MLO-L, CC-L) and reduced medical images (MLO-R, CC-R)
(5) Medical image (MLO-R, L) and reduced abnormal display image (CC-R, L)
(6) Medical image (CC-R, L) and reduced abnormal display image (MLO-R, L)
(7) Medical image (MLO-R, CC-R) and reduced abnormal display image (MLO-L, CC-L)
(8) Medical images (MLO-L, CC-L) and reduced abnormal display images (MLO-R, CC-R)

請求項12に記載の発明は、請求項1〜10の何れか一項に記載の発明において、
前記合成画像作成手段は、前記医用画像がマンモグラフィである場合、下記の(1)〜(8)の何れか一つに係る形態で、前記医用画像上に、前記縮小医用画像、前記縮小異常表示画像を配置して合成することを特徴としている。
(1)医用画像(MLO−R)と縮小医用画像(MLO−R、CC−R)
(2)医用画像(MLO−L)と縮小医用画像(MLO−L、CC−L)
(3)医用画像(CC−R)と縮小医用画像(MLO−R、CC−R)
(4)医用画像(CC−L)と縮小医用画像(MLO−L、CC−L)
(5)医用画像(MLO−R)と縮小異常表示画像(MLO−R、CC−R)
(6)医用画像(MLO−L)と縮小異常表示画像(MLO−L、CC−L)
(7)医用画像(CC−R)と縮小異常表示画像(MLO−R、CC−R)
(8)医用画像(CC−L)と縮小異常表示画像(MLO−L、CC−L)
The invention according to claim 12 is the invention according to any one of claims 1 to 10,
When the medical image is a mammography, the composite image creating means displays the reduced medical image and the reduced abnormality display on the medical image in the form according to any one of (1) to (8) below. It is characterized by arranging and composing images.
(1) Medical image (MLO-R) and reduced medical image (MLO-R, CC-R)
(2) Medical image (MLO-L) and reduced medical image (MLO-L, CC-L)
(3) Medical image (CC-R) and reduced medical image (MLO-R, CC-R)
(4) Medical image (CC-L) and reduced medical image (MLO-L, CC-L)
(5) Medical image (MLO-R) and reduced abnormal display image (MLO-R, CC-R)
(6) Medical image (MLO-L) and reduced abnormal display image (MLO-L, CC-L)
(7) Medical image (CC-R) and reduced abnormal display image (MLO-R, CC-R)
(8) Medical image (CC-L) and reduced abnormal display image (MLO-L, CC-L)

請求項13に記載の発明は、請求項1〜12の何れか一項に記載の発明において、
前記合成画像作成手段は、前記医用画像の被写体領域を認識し、前記医用画像中の被写体領域と被写体領域外の領域との比率に応じて、前記医用画像に合成される前記縮小医用画像、及び/又は、前記縮小異常表示画像のサイズ変更を行うことを特徴としている。
Invention of Claim 13 in the invention as described in any one of Claims 1-12,
The combined image creating means recognizes a subject area of the medical image, and combines the reduced medical image combined with the medical image in accordance with a ratio of a subject area in the medical image to an area outside the subject area; and Alternatively, the size of the reduced abnormal display image is changed.

請求項14に記載の発明は、請求項1〜13の何れか一項に記載の発明において、
前記合成画像作成手段は、前記医用画像に前記縮小医用画像、及び/又は、前記縮小異常表示画像が複数合成される場合、前記医用画像に合成される各画像が同じサイズになるように調整することを特徴としている。
The invention according to claim 14 is the invention according to any one of claims 1 to 13,
The composite image creation means adjusts the images to be combined with the medical image to have the same size when a plurality of the reduced medical images and / or the reduced abnormal display images are combined with the medical images. It is characterized by that.

請求項15に記載の発明は、請求項1〜14の何れか一項に記載の発明において、
前記合成画像作成手段は、前記医用画像が左右二面からなる場合、前記各医用画像の被写体領域を認識し、前記認識された各被写体領域と前記各医用画像上の前記縮小医用画像、及び/又は、前記縮小異常表示画像との相対的位置関係が左の面と右の面で同一若しくは対象的な態様となるように合成を行うことを特徴としている。
The invention according to claim 15 is the invention according to any one of claims 1 to 14,
The composite image creating means recognizes a subject area of each medical image when the medical image has two left and right sides, and recognizes each recognized subject area and the reduced medical image on each medical image, and / or Alternatively, the composition is performed such that the relative positional relationship with the reduced abnormal display image is the same or a target aspect on the left surface and the right surface.

請求項16に記載の発明は、請求項1〜15の何れか一項に記載の発明において、
下記(1)又は(2)の出力形態を選択する出力形態選択手段を備えたことを特徴としている。
(1)医用画像と、前記医用画像に対する縮小異常表示画像、及び/又は、前記医用画像に対する縮小医用画像とを個別に前記画像記録装置に出力
(2)合成画像を前記画像記録装置に出力
The invention according to claim 16 is the invention according to any one of claims 1 to 15,
The present invention is characterized by comprising output form selection means for selecting the following output form (1) or (2).
(1) A medical image, a reduced abnormal display image for the medical image, and / or a reduced medical image for the medical image are individually output to the image recording device. (2) A composite image is output to the image recording device.

請求項1に記載の発明によれば、医用画像を所定の倍率で縮小して縮小医用画像を作成し、作成された縮小医用画像に異常陰影候補の検出結果を重畳して縮小異常表示画像を作成し、縮小医用画像、及び/又は縮小異常表示画像を、医用画像の被写体領域の情報が欠損しない領域に配置して合成することにより合成画像を作成し、合成画像、医用画像、縮小医用画像、縮小異常表示画像の少なくとも一つを画像記録装置に出力する。従って、診断時に参照するための縮小医用画像、及び/又は、縮小異常表示画像を医用画像の被写体領域の情報が欠損なく配置してハードコピーとして出力することにより、医師の診断性能及び作業効率を向上することができる。   According to the first aspect of the present invention, a medical image is reduced at a predetermined magnification to create a reduced medical image, and a detection result of an abnormal shadow candidate is superimposed on the generated reduced medical image to generate a reduced abnormal display image. Create a composite image by creating and combining a reduced medical image and / or a reduced abnormal display image in an area where the subject area information of the medical image is not lost, and then creating a composite image, medical image, reduced medical image And outputting at least one of the reduced abnormal display images to the image recording apparatus. Accordingly, the reduced medical image and / or reduced abnormal display image to be referred to at the time of diagnosis is arranged as a hard copy by arranging the information of the subject area of the medical image without any loss, thereby improving the diagnostic performance and work efficiency of the doctor. Can be improved.

請求項2に記載の発明によれば、作成された縮小医用画像及び縮小異常表示画像を医用画像に対応付けて記憶するので、これらの画像を必要時に容易に利用することが可能となる。   According to the second aspect of the present invention, since the created reduced medical image and reduced abnormal display image are stored in association with the medical image, these images can be easily used when necessary.

請求項3に記載の発明によれば、医用画像の縮小医用画像、医用画像の縮小異常表示画像、医用画像に関連する他の医用画像の縮小医用画像、医用画像に関連する他の医用画像の縮小異常表示画像、他モダリディ画像の縮小医用画像、及び/又は、過去の医用画像の縮小医用画像を医用画像上に参照用として表示することにより、医師の診断性能及び作業効率を向上することができる。   According to the third aspect of the present invention, the reduced medical image of the medical image, the reduced abnormal display image of the medical image, the reduced medical image of another medical image related to the medical image, and the other medical image related to the medical image. By displaying a reduced abnormal display image, a reduced medical image of another modality image, and / or a reduced medical image of a past medical image on the medical image for reference, the diagnostic performance and work efficiency of the doctor can be improved. it can.

請求項4に記載の発明によれば、縮小された他モダリティ画像に階調処理、周波数処理、モダリティの種類を示す情報を画像内に付加する処理のうち少なくとも一つ以上の処理を行うので、他モダリティ画像を参照に適した画像とすることができる。   According to the invention described in claim 4, since at least one of the gradation processing, frequency processing, and processing for adding information indicating the type of modality to the reduced other modality image is performed. Other modality images can be used as images suitable for reference.

請求項5に記載の発明によれば、異常陰影候補の検出結果として、少なくとも異常陰影候補の位置を示すアノテーション情報を縮小医用画像に重畳し、縮小異常表示画像を作成するので、異常陰影候補の検出結果をわかりやすく表示することができる。   According to the fifth aspect of the present invention, as the abnormal shadow candidate detection result, annotation information indicating at least the position of the abnormal shadow candidate is superimposed on the reduced medical image to create a reduced abnormal display image. The detection result can be displayed in an easy-to-understand manner.

請求項6に記載の発明によれば、縮小された医用画像を解析することにより被写体領域を認識し、認識された被写体領域以外の領域が所定の濃度以上となるように濃度補正を行うので、この縮小医用画像、或いはこの縮小医用画像が合成された医用画像をシャウカステンで観察する際に、被写体領域外の光量が強くて被写体領域の読影、参照しづらいといったことがなくなる。   According to the sixth aspect of the invention, the subject area is recognized by analyzing the reduced medical image, and the density correction is performed so that the area other than the recognized subject area has a predetermined density or higher. When observing this reduced medical image or a medical image in which this reduced medical image is combined with a shaucusten, the amount of light outside the subject region is so strong that it is difficult to interpret or refer to the subject region.

請求項7に記載の発明によれば、縮小された他モダリティ画像、及び/又は、縮小された過去の医用画像を解析することにより被写体領域を認識し、認識された被写体領域以外の領域が所定の濃度以上となるように濃度補正を行うので、濃度補正された他モダリティ画像、及び/又は、過去の医用画像、若しくはこれらの画像が合成された医用画像をシャウカステンで観察する際に、被写体領域外の光量が強くて被写体領域の読影、参照しづらいといったことがなくなる。   According to the seventh aspect of the present invention, the subject region is recognized by analyzing the reduced other modality image and / or the reduced past medical image, and a region other than the recognized subject region is predetermined. Since the density correction is performed so that the density is equal to or higher than the density of the subject area, when observing other density-corrected other modality images and / or past medical images, or medical images in which these images are combined with the shaucus ten, It is no longer difficult to interpret and refer to the subject area due to the strong external light quantity.

請求項8に記載の発明によれば、縮小医用画像、縮小異常表示画像にスケール目盛り、縮小率等のサイズを示す情報を付加することができる。   According to the eighth aspect of the present invention, it is possible to add information indicating a size such as a scale scale and a reduction ratio to the reduced medical image and the reduced abnormal display image.

請求項9に記載の発明によれば、医用画像、合成画像、縮小医用画像又は縮小異常表示画像に対する所見情報が入力されると、入力された所見情報を出力する画像に付加するので、所見情報を画像とともに記録媒体上に記録することが可能となる。   According to the ninth aspect of the present invention, when finding information about a medical image, a composite image, a reduced medical image, or a reduced abnormal display image is input, the input finding information is added to the output image. Can be recorded together with an image on a recording medium.

請求項10に記載の発明によれば、入力された所見情報を医用画像と対応付けて記憶することができる。   According to the tenth aspect of the present invention, the input finding information can be stored in association with the medical image.

請求項11に記載の発明によれば、医師の読影の際に、診断用のマンモグラフィに、当該マンモグラフィに関連する他の画像を合成して出力するので、医師の読影の際に容易に効率良く関連する画像を参照することができる。   According to the eleventh aspect of the present invention, other images related to the mammography are synthesized and output to the diagnostic mammography at the time of interpretation by the doctor, so that it is easily and efficiently performed at the time of interpretation by the doctor. You can refer to related images.

請求項12に記載の発明によれば、1つの医用画像に対して、2方向で撮影された縮小医用画像又は縮小異常表示画像を合成した画像を出力するので、医師は読影の際に、効率的に読影を行うことが可能となる。   According to the twelfth aspect of the invention, an image obtained by synthesizing a reduced medical image or a reduced abnormal display image taken in two directions with respect to one medical image is output. Interpretation is possible.

請求項13に記載の発明によれば、医用画像中の被写体領域と被写体領域外の領域との比率に応じて、医用画像に合成される縮小医用画像、縮小異常表示画像のサイズ変更を行うので、縮小医用画像、縮小異常表示画像のサイズを医用画像中の空き領域に応じたサイズとすることができる。   According to the thirteenth aspect of the invention, the size of the reduced medical image and the reduced abnormal display image combined with the medical image is changed according to the ratio of the subject area to the area outside the subject area in the medical image. The size of the reduced medical image and the reduced abnormality display image can be set to a size corresponding to the empty area in the medical image.

請求項14に記載の発明によれば、医用画像に縮小医用画像、及び/又は、縮小異常表示画像が複数合成される場合、医用画像に合成される各画像が同じサイズになるように調整するので、見やすい画像を提供することができる。   According to the fourteenth aspect of the present invention, when a plurality of reduced medical images and / or reduced abnormal display images are combined with a medical image, adjustment is performed so that the images combined with the medical image have the same size. Therefore, an easy-to-see image can be provided.

請求項15に記載の発明によれば、医用画像が左右二面からなる場合、各医用画像の被写体領域を認識し、認識された各被写体領域と各医用画像上の縮小医用画像、及び/又は、縮小異常表示画像との相対的位置関係が左の面と右の面で同一若しくは対照的な態様となるように合成を行うことができる。   According to the fifteenth aspect of the present invention, when the medical image has two left and right surfaces, the subject area of each medical image is recognized, and each recognized subject area and the reduced medical image on each medical image, and / or The composition can be performed so that the relative positional relationship with the reduced abnormality display image is the same or contrasting between the left surface and the right surface.

請求項16に記載の発明によれば、出力形態を選択することができるので、合成画像のデータを出力することにより、診断用に各種情報が見やすく配置された画像を容易に出力することができ、各画像を個別に観察する等、合成画像を出力する必要がない場合には、通信データ量を抑制することができる。   According to the invention described in claim 16, since the output form can be selected, by outputting the composite image data, it is possible to easily output an image in which various types of information are easily arranged for diagnosis. When it is not necessary to output a composite image, such as observing each image individually, the amount of communication data can be suppressed.

<第1の実施の形態>
まず、構成を説明する。
図1は、本実施の形態における医用画像診断支援システム100の全体構成を示す概念図である。図1に示すように、医用画像診断支援システム100は、画像生成装置1a〜1e、画像処理装置2、画像記録装置等がネットワークNを介して、相互にデータ送受信可能なように接続されている。
<First Embodiment>
First, the configuration will be described.
FIG. 1 is a conceptual diagram showing the overall configuration of a medical image diagnosis support system 100 in the present embodiment. As shown in FIG. 1, a medical image diagnosis support system 100 includes image generation apparatuses 1 a to 1 e, an image processing apparatus 2, an image recording apparatus, and the like connected to each other via a network N so that data can be transmitted and received between them. .

なお、本実施の形態では、画像生成装置1a〜1e、画像処理装置2、画像記録装置3とがネットワーク接続された例を説明するが、これに限らず、各装置が直接有線接続されたシステム構成であってもよい。また、各装置の台数及び設置場所は特に限定されない。   In the present embodiment, an example in which the image generation apparatuses 1a to 1e, the image processing apparatus 2, and the image recording apparatus 3 are connected via a network will be described. However, the present invention is not limited to this, and a system in which each apparatus is directly connected by wire. It may be a configuration. Further, the number and installation location of each device are not particularly limited.

ネットワークNは、LAN(Local Area Network)やWAN(Wide Area Network)、インターネット等の様々な回線形態を適用可能である。なお、病院等の医療機関内で許可されるのであれば、無線通信や赤外線通信であってもよいが、重要な患者情報を含むため、送受信される情報は暗号化することが好ましい。また、病院内の通信方式としては、一般的に、DICOM(Digital Image and Communications in Medicine)規格が用いられており、上述したネットワークN上の各装置間の通信では、DICOM MWM(Modality Worklist Management)やDICOM MPPS(Modality Performed Procedure Step)が用いられる。   As the network N, various line forms such as a LAN (Local Area Network), a WAN (Wide Area Network), and the Internet can be applied. Note that wireless communication or infrared communication may be used as long as it is permitted within a medical institution such as a hospital. However, since important patient information is included, it is preferable to encrypt information to be transmitted and received. Moreover, as a communication system in a hospital, the DICOM (Digital Image and Communications in Medicine) standard is generally used, and in the communication between each device on the network N described above, DICOM MWM (Modality Worklist Management). Or DICOM MPPS (Modality Performed Procedure Step).

画像生成装置1a〜1eは、例えば、CR(Computed Radiography)、FPD(Flat Panel Detector)、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)、超音波診断装置等のモダリティから構成され、人体を撮影し、撮影した画像をデジタル変換して、医用画像を生成する装置である。本実施の形態においては、画像生成装置1aがCRであり、画像生成装置1bがCTであり、画像生成装置1cがMRIであり、画像生成装置1dがFPDであり、画像生成装置1eが超音波診断装置である場合を例として説明する。   The image generation apparatuses 1a to 1e are composed of modalities such as CR (Computed Radiography), FPD (Flat Panel Detector), CT (Computed Tomography), MRI (Magnetic Resonance Imaging), and an ultrasonic diagnostic apparatus, for example. In this apparatus, the captured image is digitally converted to generate a medical image. In the present embodiment, the image generation device 1a is CR, the image generation device 1b is CT, the image generation device 1c is MRI, the image generation device 1d is FPD, and the image generation device 1e is ultrasonic. A case of a diagnostic device will be described as an example.

ここで、画像生成装置1a〜1eで生成され、画像処理装置2に出力される画像データは、撮影部位や診断目的にもよるが、例えばマンモグラム(***の放射線画像)に対しては、画像の実効画素サイズが200μm以下であることが好ましく、更には100μm以下であることが好ましい。この発明の画像処理装置2の性能を最大限に発揮させるためには、例えば実効画素サイズ50μm程度で生成された画像データを用いる構成が好ましい。   Here, the image data generated by the image generation apparatuses 1a to 1e and output to the image processing apparatus 2 depends on the imaging region and the diagnostic purpose. For example, for mammograms (breast radiation images), the image data The effective pixel size is preferably 200 μm or less, and more preferably 100 μm or less. In order to maximize the performance of the image processing apparatus 2 of the present invention, for example, a configuration using image data generated with an effective pixel size of about 50 μm is preferable.

なお、画像生成装置1a〜1eは上述したDICOM規格に準拠した装置であり、医用画像に対して、DICOMの画像付帯情報(以下、付帯情報と称する)を入力させたり、自動生成したりすることができる。画像生成装置1a〜1eは、生成された医用画像の画像データとともにその付帯情報を画像データのヘッダ情報としてネットワークNを介して画像処理装置2へ出力するものとするが、DICOM規格に不準拠の場合、図示しないDICOM変換装置を用い、付帯情報を入力させることができる。   The image generation apparatuses 1a to 1e are apparatuses conforming to the above-described DICOM standard, and input DICOM image supplementary information (hereinafter referred to as supplementary information) to a medical image or automatically generate it. Can do. The image generation devices 1a to 1e output the accompanying information together with the generated image data of the medical image as header information of the image data to the image processing device 2 via the network N, but are not compliant with the DICOM standard. In this case, incidental information can be input using a DICOM conversion device (not shown).

医用画像の付帯情報としては、例えば、撮影された患者の患者氏名、患者ID、年齢、性別等の患者に関する患者情報、撮影日、検査ID、撮影部位、撮影条件(***、撮影方向等)、画像生成装置(モダリティ種)情報等の撮影情報が含まれる。   As supplementary information of the medical image, for example, patient information regarding the patient, such as the patient name, patient ID, age, and sex of the patient who was photographed, photographing date, examination ID, photographing part, photographing condition (posture, photographing direction, etc.), Image capturing information such as image generation device (modality type) information is included.

画像処理装置2は、画像生成装置1a〜1eから供給される医用画像を縮小して縮小医用画像を作成するとともに、医用画像の画像データから異常陰影候補を検出し、縮小医用画像に重畳して縮小異常表示画像を作成し、当該医用画像の被写体領域の情報を欠損しないように、当該医用画像の縮小医用画像、当該医用画像に関連する他の医用画像の縮小医用画像、当該医用画像の縮小異常表示画像又は当該医用画像に関連する他の医用画像の縮小異常表示画像を配置して合成し画像記録装置3へ出力する装置である。   The image processing device 2 reduces the medical images supplied from the image generation devices 1a to 1e to create reduced medical images, detects abnormal shadow candidates from the image data of the medical images, and superimposes them on the reduced medical images. Reduced medical image of the medical image, reduced medical image of another medical image related to the medical image, reduction of the medical image so as to create a reduced abnormal display image and not lose information on the subject area of the medical image This is a device that arranges, combines and outputs an abnormal display image or a reduced abnormal display image of another medical image related to the medical image to the image recording apparatus 3.

ここで、医用画像に関連する他の医用画像としては、例えば、その医用画像と同一患者の同一撮影部位を異なる撮影方向から撮影した医用画像等が挙げられる。   Here, as another medical image related to the medical image, for example, a medical image obtained by imaging the same imaging region of the same patient as the medical image from different imaging directions can be cited.

画像記録装置3は、画像処理装置2から入力される画像データを可視像として再生したハードコピーを出力するものである。   The image recording device 3 outputs a hard copy reproduced from the image data input from the image processing device 2 as a visible image.

次に、画像処理装置2の内部構成について説明する。
図2は、本実施の形態における画像処理装置2内部の要部構成を示す図である。図2において、画像処理装置2は、制御手段11、操作表示手段12、通信手段13、記憶手段14、異常陰影候補検出手段15、画像処理手段16、縮小医用画像作成手段17、縮小異常表示画像作成手段18、合成画像作成手段19等により構成されており、各部はバス20により接続されている。
Next, the internal configuration of the image processing apparatus 2 will be described.
FIG. 2 is a diagram illustrating a configuration of a main part inside the image processing apparatus 2 according to the present embodiment. 2, the image processing apparatus 2 includes a control unit 11, an operation display unit 12, a communication unit 13, a storage unit 14, an abnormal shadow candidate detection unit 15, an image processing unit 16, a reduced medical image creation unit 17, a reduced abnormal display image. The image forming unit 18 includes a creating unit 18, a composite image creating unit 19, and the like.

制御手段11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成され、CPUはROMに記憶されているシステムプログラムや処理プログラムを読み出してRAMに展開し、展開されたプログラムに従って画像処理装置2の各部を制御し、後述する画像出力制御処理Aを始めとする各種処理を実行する。   The control means 11 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The CPU reads a system program and a processing program stored in the ROM and develops them in the RAM. Then, each part of the image processing apparatus 2 is controlled according to the developed program, and various processes including an image output control process A described later are executed.

操作表示手段12は、LCD(Liquid Crystal Display)により構成され、表示画面上に各種操作ボタンや装置の状態表示、当該画像処理装置2で作成した合成画像のプレビュー表示等を行う。LCDの表示画面上は、透明電極を格子状に配置して構成された感圧式(抵抗膜圧式)のタッチパネルに覆われており、手指やタッチペン等で押下された力点のXY座標を電圧値で検出し、検出された位置信号を操作信号として出力する。なお、表示装置と入力装置は別体としてもよい。表示装置としては、CRT、液晶ディスプレイ、プラズマディスプレイ等を用いることができる。入力装置としては、カーソルキーや数字入力キー、決定キー等の各種機能に対応した機能キーを備えたキーボード、マウス等のポインティングデバイスを用いることができる。操作表示手段12は、所見情報を入力する所見情報入力手段、画像の出力形態を選択する出力形態選択手段として機能する。   The operation display means 12 is composed of an LCD (Liquid Crystal Display), and displays various operation buttons and device statuses on the display screen, a preview display of a composite image created by the image processing device 2, and the like. The LCD display screen is covered with a pressure-sensitive (resistive film pressure) touch panel configured with transparent electrodes arranged in a grid, and the XY coordinates of the force point pressed with a finger or a touch pen are expressed as voltage values. The detected position signal is output as an operation signal. Note that the display device and the input device may be separated. As the display device, a CRT, a liquid crystal display, a plasma display, or the like can be used. As the input device, a keyboard provided with function keys corresponding to various functions such as a cursor key, a numeric input key, and a determination key, and a pointing device such as a mouse can be used. The operation display unit 12 functions as a finding information input unit that inputs finding information and an output form selection unit that selects an output form of an image.

通信手段13は、ネットワークインターフェイスカード、モデム、ターミナルアダプタ等の通信用インターフェイスにより構成され、ネットワークN上の外部機器と各種情報の送受信を行う。   The communication unit 13 includes a communication interface such as a network interface card, a modem, and a terminal adapter, and transmits / receives various information to / from an external device on the network N.

記憶手段14は、HDD(Hard Disc)或いは半導体の不揮発性メモリ等により構成されている。図3に、記憶手段14の構成を示す。図3に示すように、記憶手段14は、入力画像データ記憶部141、異常陰影候補情報記憶部142、縮小医用画像記憶部143、縮小異常表示画像記憶部144、医用画像記憶部145を有して構成されている。   The storage means 14 is configured by an HDD (Hard Disc) or a semiconductor nonvolatile memory. FIG. 3 shows the configuration of the storage means 14. As illustrated in FIG. 3, the storage unit 14 includes an input image data storage unit 141, an abnormal shadow candidate information storage unit 142, a reduced medical image storage unit 143, a reduced abnormal display image storage unit 144, and a medical image storage unit 145. Configured.

入力画像データ記憶部141は、通信手段13を介して画像生成装置1a〜1eから入力された医用画像の画像データ(画像データDとする)を、検査IDを始めとする付帯情報と対応付けて格納する。異常陰影候補情報記憶部142は、異常陰影候補検出手段15から入力された画像データDに対する異常陰影候補情報を、検査ID等により画像データDに対応付けて記憶する。縮小医用画像記憶部143は、縮小医用画像作成手段17から入力された画像データDに対する縮小医用画像データを、検査ID等により画像データDに対応付けて記憶する。縮小異常表示画像記憶部144は、縮小異常表示画像作成手段18から入力された画像データDに対する縮小異常表示画像データを、検査ID等により画像データDに対応付けて記憶する。医用画像記憶部145は、画像処理手段16から入力された画像処理済みの医用画像データを、検査ID等により画像データDに対応付けて記憶する。   The input image data storage unit 141 associates the medical image image data (referred to as image data D) input from the image generation apparatuses 1 a to 1 e via the communication unit 13 with the supplementary information including the examination ID. Store. The abnormal shadow candidate information storage unit 142 stores the abnormal shadow candidate information for the image data D input from the abnormal shadow candidate detection unit 15 in association with the image data D by an examination ID or the like. The reduced medical image storage unit 143 stores the reduced medical image data corresponding to the image data D input from the reduced medical image creating unit 17 in association with the image data D by an examination ID or the like. The reduced abnormal display image storage unit 144 stores the reduced abnormal display image data for the image data D input from the reduced abnormal display image creating means 18 in association with the image data D by an examination ID or the like. The medical image storage unit 145 stores the image-processed medical image data input from the image processing unit 16 in association with the image data D using an examination ID or the like.

異常陰影候補検出手段15は、入力画像データ記憶部141から画像データを読み出して画像解析を行うことにより、異常陰影と思われる候補領域を検出し、検出結果を異常陰影候補情報記憶部142に出力する。異常陰影候補検出手段15は、各病変種に応じて異常陰影候補検出のアルゴリズムを複数有しており、検出時には、画像データDの撮影部位に応じたアルゴリズムを適用して異常陰影候補の検出処理を行う。   The abnormal shadow candidate detection unit 15 reads out image data from the input image data storage unit 141 and performs image analysis to detect a candidate area that seems to be an abnormal shadow, and outputs the detection result to the abnormal shadow candidate information storage unit 142. To do. The abnormal shadow candidate detection means 15 has a plurality of abnormal shadow candidate detection algorithms in accordance with each lesion type. At the time of detection, an abnormal shadow candidate detection process is performed by applying an algorithm according to the imaging part of the image data D. I do.

マンモグラフィでは、乳癌の特徴である腫瘤や微小石灰化クラスタと思われる陰影を検出する。腫瘤陰影は、ある程度の大きさを有する塊であり、マンモグラフィ上では、ガウス分布に近い、白っぽく丸い陰影として現れる。微小石灰化クラスタは、微小石灰化した部分が集まって(クラスタ化して)存在するとそこが初期癌である可能性が高い。マングラフィ上では、略円錐構造を持った白っぽく丸い陰影として現れる。   Mammography detects masses that are characteristic of breast cancer and shadows that appear to be microcalcification clusters. The mass shadow is a lump having a certain size, and appears on the mammography as a whitish round shadow close to a Gaussian distribution. A microcalcification cluster is likely to be an early stage of cancer when a portion of microcalcifications is gathered (clustered). On the mangraph, it appears as a whitish round shadow with a substantially conical structure.

以下、上述した腫瘤陰影及び微小石灰化クラスタ陰影を検出するアルゴリズムについて説明する。
異常陰影候補検出手段15では、腫瘤陰影の検出に適したアルゴリズムとして、以下の論文に記載された公知の検出方法を適用することが可能である。
Hereinafter, an algorithm for detecting the above-described tumor shadow and microcalcification cluster shadow will be described.
In the abnormal shadow candidate detection means 15, a known detection method described in the following paper can be applied as an algorithm suitable for detecting a tumor shadow.

・左右***を比較することによって検出する方法
(Med.Phys.,Vol.21.No.3,pp.445-452)
・アイリスフィルタを用いて検出する方法
(信学論(D-11),Vol.J75-D-11,no.3,pp.663-670,1992)
・Quoitフィルタを用いて検出する方法
(信学論(D-11),Vol.J76-D-11,no.3,pp.279-287,1993)
・分割した***領域の画素値のヒストグラムに基づく2値化により検出する方法
(JAMIT Frontier 講演論文集,pp.84-85,1995)
・方向性のある多数のラプラシアンフィルタの最小出力をとる最小方向差分フィルタ)
(信学論(D-11),Vol.J76-D-11,no.2,pp.241-249,1993)
・フラクタル次元を利用して腫瘤陰影の良悪性を鑑別する方法
(Medical Imaging Technology17(5),pp.577-584,1999)
・ Method to detect by comparing left and right breasts (Med.Phys., Vol.21.No.3, pp.445-452)
・ Detection method using iris filter (Science theory (D-11), Vol.J75-D-11, no.3, pp.663-670,1992)
・ Detection method using Quiot filter (Science theory (D-11), Vol.J76-D-11, no.3, pp.279-287,1993)
・ Detection method by binarization based on histogram of pixel values of divided breast regions (JAMIT Frontier Proceedings, pp.84-85,1995)
・ Minimum direction difference filter that takes the minimum output of many directional Laplacian filters)
(Science Theory (D-11), Vol.J76-D-11, no.2, pp.241-249, 1993)
・ Method of distinguishing benign and malignant masses using fractal dimension (Medical Imaging Technology17 (5), pp.577-584,1999)

また、微小石灰化クラスタ陰影の検出に適したアルゴリズムとして、以下の論文に記載された公知の検出方法を適用することができる。   Further, as an algorithm suitable for detecting a microcalcification cluster shadow, a known detection method described in the following paper can be applied.

・***領域から石灰化の疑いがある領域を局部化し、陰影像の光学濃度差や境界濃度差の標準偏差値等から偽陽性候補を削除する方法
(IEEE Trans Biomed Eng BME-26(4):213-219,1979)
・ラプラシアンフィルタ処理を行った画像を用いて検出する方法
(信学論(D-11),Vol.J71-D-11,no.10,pp.1994-2001,1988)
・乳腺等の背景パターンの影響を抑えるためにモルフォロジー解析した画像を使用する検出方法
(信学論(D-11),Vol.J71-D-11,no.7,pp.1170-1176,1992)
・ Localize the area suspected of calcification from the breast area, and remove false positive candidates from the optical density difference of the shadow image and the standard deviation value of the boundary density difference (IEEE Trans Biomed Eng BME-26 (4): 213-219,1979)
・ Detection method using images subjected to Laplacian filter processing (Science Theory (D-11), Vol.J71-D-11, no.10, pp.1994-2001,1988)
・ Detection method using morphologically analyzed image to suppress the influence of background pattern of mammary gland etc. (Science Theory (D-11), Vol.J71-D-11, no.7, pp.1170-1176,1992 )

また、その他の異常陰影候補の検出に適したアルゴリズムとして、例えば以下の公知の検出方法を適用することができる。
(3)胸部画像における結節性陰影の検出
・特開平6−121792号公報
(4)胸部画像における間質性疾患陰影の検出
・特開平2−185240号公報
Further, as an algorithm suitable for detection of other abnormal shadow candidates, for example, the following known detection method can be applied.
(3) Detection of nodular shadow in chest image-JP-A-6-121792 (4) Detection of interstitial disease shadow in chest image-JP-A-2-185240

異常陰影候補検出手段15は、上述したようなアルゴリズムを用いて異常陰影候補の検出を行い、検出時にはその候補領域について、候補領域の位置情報、大きさ(面積)、縦横比、円形度、候補領域内のコントラスト、標準偏差、陰影の周辺部から中心部にかけての濃度勾配の強度成分、方向成分等の多種の特徴量を算出する。また、異常陰影候補検出手段15は、候補領域の位置情報から、この候補領域を文字、マーカ等で図示するアノテーション(annotation)情報を作成する。そして、異常陰影候補検出手段15は、上記算出された各種特徴量及びアノテーション情報を、検査ID、検出に用いたアルゴリズム情報、検出アルゴリズムで用いた閾値(検出パラメータ)、検出病変種、病変指摘数等と対応付けて異常陰影候補情報として異常陰影候補情報記憶部142に出力する。   The abnormal shadow candidate detecting means 15 detects an abnormal shadow candidate using the algorithm as described above, and at the time of detection, the candidate area position information, size (area), aspect ratio, circularity, candidate Various feature quantities such as the contrast component, the standard deviation, the intensity component of the density gradient from the periphery to the center of the shadow, and the direction component are calculated. Also, the abnormal shadow candidate detection means 15 creates annotation information indicating the candidate area with characters, markers, etc. from the position information of the candidate area. Then, the abnormal shadow candidate detecting means 15 uses the calculated various feature quantities and annotation information, the examination ID, the algorithm information used for detection, the threshold value (detection parameter) used in the detection algorithm, the detected lesion type, and the number of lesion indications. Are output to the abnormal shadow candidate information storage unit 142 as abnormal shadow candidate information.

画像処理手段16は、制御手段11からの指示に基づいて、入力画像データ記憶部142から画像データDを読み出して、診断に適した医用画像となるように各種画像処理を施して、処理済みの医用画像データを医用画像記憶部145に出力する。画像処理には、画像のコントラストを調整する階調処理、鮮鋭度を調整する周波数処理やダイナミックレンジの広い画像を被写体の細部のコントラストを低下させることなく見やすい濃度範囲に収めるためのダイナミックレンジ圧縮処理等が含まれる。また、画像処理16は、画像データDを解析して被写体領域を認識し、被写体領域以外の領域を所定の濃度値以上、例えば、被写体領域における最小濃度値より高濃度の値となる値に濃度補正を行う。   The image processing unit 16 reads the image data D from the input image data storage unit 142 based on an instruction from the control unit 11, performs various image processing so as to obtain a medical image suitable for diagnosis, and has processed the image data. The medical image data is output to the medical image storage unit 145. Image processing includes gradation processing to adjust image contrast, frequency processing to adjust sharpness, and dynamic range compression processing to keep images with a wide dynamic range within an easy-to-view density range without reducing the contrast of subject details. Etc. are included. Further, the image processing 16 analyzes the image data D to recognize the subject area, and sets the density of the area other than the subject area to a value that is a predetermined density value or higher, for example, a value that is higher than the minimum density value in the subject area. Make corrections.

被写体領域の認識は、例えば、画像データDを解析し、被写体の輪郭線を抽出する等により行う。例えば、画像データDの濃度データを適当な閾値を用いて2値化し、「0」と「1」の境界を追跡して輪郭線とし、この輪郭線及び撮影部位/***、撮影方向に応じて被写体領域を決定するものである。或いは、人体領域又は人体内部の所定の解剖学的構造に対応する領域の輪郭線抽出方法(日本乳癌検診学会誌,Vol.17,No.1,pp87-102,1998、特開昭63−240832号公報)を用いて被写体領域を決定するようにしてもよい。   The recognition of the subject area is performed, for example, by analyzing the image data D and extracting the contour line of the subject. For example, the density data of the image data D is binarized using an appropriate threshold value, and the boundary between “0” and “1” is traced to form a contour line. The subject area is determined. Alternatively, a method for extracting a contour line of a human body region or a region corresponding to a predetermined anatomical structure inside the human body (Japan Breast Cancer Screening Society Journal, Vol. 17, No. 1, pp 87-102, 1998, JP-A 63-240832 The subject area may be determined by using (

縮小医用画像作成手段17は、制御手段11からの指示に基づいて入力画像データ記憶部142から画像データDを読み出して所定の倍率で縮小し、縮小された画像データに階調処理、周波数処理等の画像処理を施す。また、上述した被写体認識の方法により、縮小された画像データの被写体領域を認識し、被写体領域以外の領域を所定の濃度値以上、例えば、被写体領域における最小濃度値より高濃度の値となる値に濃度補正を行う。これにより縮小医用画像データを作成し、縮小医用画像記憶部143に出力する。   The reduced medical image creation means 17 reads out the image data D from the input image data storage unit 142 based on an instruction from the control means 11 and reduces it at a predetermined magnification, and performs gradation processing, frequency processing, etc. on the reduced image data. The image processing is performed. Further, the subject area of the reduced image data is recognized by the above-described subject recognition method, and the area other than the subject area is a predetermined density value or more, for example, a value that is higher than the minimum density value in the subject area. Correct the density. As a result, reduced medical image data is created and output to the reduced medical image storage unit 143.

縮小異常表示画像作成手段18は、制御手段11からの指示に基づいて、縮小医用画像記憶部143から縮小医用画像データを読み出し、更に異常陰影候補情報記憶部142から、検査ID等により当該縮小医用画像データに対応している異常陰影候補情報のうち、異常陰影候補領域の位置情報及びアノテーション情報を読み出して、縮小医用画像データの異常陰影候補領域の位置にアノテーション情報を重畳して縮小異常表示画像データを作成し、縮小異常表示画像記憶部144に出力する。なお、異常陰影候補領域の位置情報及びアノテーション情報は、縮小医用画像の縮小倍率に合わせて縮小し、縮小医用画像に重畳することが好ましい。   The reduced abnormal display image creating means 18 reads the reduced medical image data from the reduced medical image storage unit 143 based on an instruction from the control unit 11, and further uses the reduced medical image from the abnormal shadow candidate information storage unit 142 based on the examination ID or the like. Of the abnormal shadow candidate information corresponding to the image data, the position information and annotation information of the abnormal shadow candidate area are read, and the reduced abnormal display image is superimposed on the annotation information at the position of the abnormal shadow candidate area of the reduced medical image data. Data is generated and output to the reduced abnormality display image storage unit 144. Note that the position information and annotation information of the abnormal shadow candidate region are preferably reduced in accordance with the reduction magnification of the reduced medical image and superimposed on the reduced medical image.

合成画像作成手段19は、制御手段11からの指示に基づいて、医用画像記憶部145から画像処理済みの医用画像データを読み出し、この医用画像データに対して合成する縮小医用画像データ又は縮小異常表示画像データを記憶手段14の対応する記憶部から読み出して、医用画像と縮小医用画像又は縮小異常表示画像とを1枚の画像に合成する。このとき、合成画像作成手段19は、上述した被写体領域認識方法により、医用画像中の被写体領域を認識し、医用画像の被写体領域と被写体領域外の比率に応じて、合成される縮小医用画像又は縮小異常表示画像のサイズ変更を行い、医用画像中の被写体領域の情報の欠損がないように配置する。このとき、医用画像に合成する縮小医用画像又は縮小異常表示画像が複数ある場合は、これらの各画像の縮小率が同一になるようにサイズ変更する。若しくは、操作表示手段12による設定に基づいて、各画像の大きさのバラツキがないように、各画像が同一のサイズとなるようにサイズ調整してもよい。そして、配置された縮小医用画像又は縮小異常表示画像に、スケール目盛り、及び/又は、縮小率を示す情報付加して合成画像を作成する。   Based on an instruction from the control unit 11, the composite image creating unit 19 reads the medical image data that has been subjected to image processing from the medical image storage unit 145, and combines the medical image data with the reduced medical image data or the reduced abnormality display. The image data is read from the corresponding storage unit of the storage unit 14, and the medical image and the reduced medical image or the reduced abnormal display image are combined into one image. At this time, the composite image creating means 19 recognizes the subject area in the medical image by the above-described subject area recognition method, and combines the reduced medical image or the composite image according to the ratio of the subject area of the medical image to the outside of the subject area. The size of the reduced abnormal display image is changed so that the information on the subject area in the medical image is not lost. At this time, if there are a plurality of reduced medical images or reduced abnormal display images to be combined with the medical image, the size is changed so that the reduction ratios of these images are the same. Alternatively, the size may be adjusted based on the setting by the operation display unit 12 so that the images have the same size so that there is no variation in the sizes of the images. Then, a scale image and / or information indicating a reduction rate is added to the arranged reduced medical image or reduction abnormality display image to create a composite image.

なお、本実施の形態においては、合成画像作成手段19は、サイズ情報付加手段としての機能を有し、スケール目盛りの付加、縮小率の付加等を行うこととしたが、サイズ情報の付加は、縮小医用画像作成手段17、縮小異常表示画像作成手段18等において行っても良い。また、縮小率を示す情報及びスケール目盛りは、それぞれ操作表示手段12からの入力により付加する/しないを設定しておくことができる。   In the present embodiment, the composite image creating unit 19 has a function as a size information adding unit, and performs scale scale addition, reduction rate addition, and the like. You may perform in the reduced medical image preparation means 17, the reduction | restoration abnormality display image preparation means 18, etc. In addition, the information indicating the reduction ratio and the scale scale can be set to be added or not by input from the operation display unit 12.

ここで、合成画像作成手段19は、制御手段11からの指示に基づいて、合成する医用画像がマンモグラフィである場合には、同一患者に対して1検査で撮影された(即ち、同一検査IDを有する)、左右***をそれぞれ2方向から撮影した4つのマンモグラフィ(右***斜位方向;MLO−R、左***斜位方向;MLO−L、右***上下方向;CC−R、左***上下方向;CC−L)のうち2つのマンモグラフィを1枚の記録媒体に二面出力するように1枚の画像として合成する合成処理を行った後、合成された各医用画像について、各医用画像又は各医用画像に関連する他の医用画像(例えば、別の撮影方向から撮影されたマンモグラフィ)の縮小医用画像データ、若しくは各医用画像又は各医用画像に関連する他の医用画像の縮小異常表示画像データの合成を行う。マンモグラフィの合成形態としては、制御手段11からの指示に基づいて、例えば、下記の合成形態で合成する。
(1)医用画像(MLO−R、L)と縮小医用画像(CC−R、L)
(2)医用画像(CC−R、L)と縮小医用画像(MLO−R、L)
(3)医用画像(MLO−R、CC−R)と縮小医用画像(MLO−L、CC−L)
(4)医用画像(MLO−L、CC−L)と縮小医用画像(MLO−R、CC−R)
(5)医用画像(MLO−R、L)と縮小異常表示画像(CC−R、L)
(6)医用画像(CC−R、L)と縮小異常表示画像(MLO−R、L)
(7)医用画像(MLO−R、CC−R)と縮小異常表示画像(MLO−L、CC−L)
(8)医用画像(MLO−L、CC−L)と縮小異常表示画像(MLO−R、CC−R)
即ち、合成画像作成手段19は、二面のマンモグラフィのそれぞれに、別のマンモグラフィの縮小医用画像或いは縮小異常表示画像を参照用として合成する。これにより、医師の読影の際に、診断用のマンモグラフィに関連する画像を容易に効率良く参照することができる。
Here, when the medical image to be synthesized is mammography based on an instruction from the control unit 11, the synthesized image creating unit 19 was taken in one examination for the same patient (that is, the same examination ID is set). 4) Mammography (right breast oblique direction; MLO-R, left breast oblique direction; MLO-L, right breast vertical direction; CC-R, left breast vertical direction) CC-L), after performing a combining process for combining two mammography images as one image so as to be output on one recording medium, each medical image or each medical image Reduced medical image data of other medical images related to the image (for example, mammography taken from another imaging direction), or reduction abnormalities of each medical image or other medical images related to each medical image Carry out the synthesis of the shown image data. For example, the mammography is synthesized in the following synthesis form based on an instruction from the control unit 11.
(1) Medical image (MLO-R, L) and reduced medical image (CC-R, L)
(2) Medical image (CC-R, L) and reduced medical image (MLO-R, L)
(3) Medical images (MLO-R, CC-R) and reduced medical images (MLO-L, CC-L)
(4) Medical images (MLO-L, CC-L) and reduced medical images (MLO-R, CC-R)
(5) Medical image (MLO-R, L) and reduced abnormal display image (CC-R, L)
(6) Medical image (CC-R, L) and reduced abnormal display image (MLO-R, L)
(7) Medical image (MLO-R, CC-R) and reduced abnormal display image (MLO-L, CC-L)
(8) Medical images (MLO-L, CC-L) and reduced abnormal display images (MLO-R, CC-R)
That is, the composite image creating means 19 synthesizes another reduced mammographic reduced medical image or reduced abnormal display image for reference with each of the two mammograms. Thereby, it is possible to easily and efficiently refer to an image related to a diagnostic mammography during interpretation by a doctor.

図4(a)に、出力形態(6)の形態で合成した場合の合成画像191の一例を示す。図4(a)中の191aはCC−R、191bはCC−L、191cはMLO−Rの縮小異常表示画像、191dはMLO−Lの縮小異常表示画像である。   FIG. 4A shows an example of a synthesized image 191 when synthesized in the form of output form (6). In FIG. 4A, 191a is a CC-R, 191b is a CC-L, 191c is an MLO-R reduction abnormality display image, and 191d is an MLO-L reduction abnormality display image.

また、図4(b)に、出力形態(5)の形態で合成した場合の合成画像192の一例を示す。図4(b)中の192aはMLO−R、192bはMLO−L、192cはCC−Rの縮小異常表示画像、192dはCC−Lの縮小異常表示画像である。なお、縮小医用画像及び縮小異常表示画像への縮小率やスケール目盛りの表示は省略してある。   FIG. 4B shows an example of a combined image 192 when combined in the form of output form (5). In FIG. 4B, 192a is an MLO-R, 192b is an MLO-L, 192c is a CC-R reduced abnormal display image, and 192d is a CC-L reduced abnormal display image. Note that the display of the reduction ratio and scale scale on the reduced medical image and the reduced abnormal display image is omitted.

或いは、合成画像作成手段19は、制御手段11からの指示に基づいて、医用画像がマンモグラフィである場合には、診断用のマンモグラフィ上に、その縮小医用画像又はその縮小異常表示画像と、他の方向から撮影した縮小医用画像又は縮小異常表示画像とを配置して合成する。これにより、1つの医用画像に対して、2方向で撮影された縮小医用画像又は縮小異常表示画像を合成するので、容易に参照を行うことができ、効率的に読影を行うことを可能とすることができる。具体的には、合成画像作成手段19は、制御手段11からの指示に基づいて、例えば、下記の(9)〜(16)何れかの形態で合成を行う。
(9)医用画像(MLO−R)と縮小医用画像(MLO−R、CC−R)
(10)医用画像(MLO−L)と縮小医用画像(MLO−L、CC−L)
(11)医用画像(CC−R)と縮小医用画像(MLO−R、CC−R)
(12)医用画像(CC−L)と縮小医用画像(MLO−L、CC−L)
(13)医用画像(MLO−R)と縮小異常表示画像(MLO−R、CC−R)
(14)医用画像(MLO−L)と縮小異常表示画像(MLO−L、CC−L)
(15)医用画像(CC−R)と縮小異常表示画像(MLO−R、CC−R)
(16)医用画像(CC−L)と縮小異常表示画像(MLO−L、CC−L)
Alternatively, when the medical image is a mammography based on an instruction from the control unit 11, the composite image creating unit 19 may display the reduced medical image or the reduced abnormal display image on the diagnostic mammography and other images. A reduced medical image or a reduced abnormal display image taken from the direction is arranged and combined. As a result, the reduced medical image or the reduced abnormal display image taken in two directions is synthesized with one medical image, so that it can be easily referred to and can be efficiently interpreted. be able to. Specifically, based on an instruction from the control unit 11, the composite image creation unit 19 performs synthesis in one of the following forms (9) to (16), for example.
(9) Medical image (MLO-R) and reduced medical image (MLO-R, CC-R)
(10) Medical image (MLO-L) and reduced medical image (MLO-L, CC-L)
(11) Medical image (CC-R) and reduced medical image (MLO-R, CC-R)
(12) Medical image (CC-L) and reduced medical image (MLO-L, CC-L)
(13) Medical image (MLO-R) and reduced abnormal display image (MLO-R, CC-R)
(14) Medical image (MLO-L) and reduced abnormal display image (MLO-L, CC-L)
(15) Medical image (CC-R) and reduced abnormal display image (MLO-R, CC-R)
(16) Medical image (CC-L) and reduced abnormal display image (MLO-L, CC-L)

(9)〜(16)の合成形態は、1枚の記録媒体に二面出しするように合成してもよい。
図5(a)に、(9)(10)の出力形態を1つの記録媒体に二面出しする場合の合成画像193の一例を示す。図5(a)中の193aはMLO−R、193bはMLO−L、193cはMLO−Rの縮小医用画像、193dはCC−Rの縮小医用画像、191eはMLO−Lの縮小医用画像、193fはCC−Lの縮小医用画像である。
The combined forms (9) to (16) may be combined so as to be exposed on one recording medium.
FIG. 5A shows an example of a composite image 193 when the output forms of (9) and (10) are put out on one recording medium. In FIG. 5A, 193a is MLO-R, 193b is MLO-L, 193c is a reduced medical image of MLO-R, 193d is a reduced medical image of CC-R, 191e is a reduced medical image of MLO-L, 193f Is a CC-L reduced medical image.

また、図5(b)に、(13)(14)の出力形態を1つの記録媒体に二面出しする場合の合成画像194の一例を示す。図5(b)中の194aはMLO−R、194bはMLO−L、194cはMLO−Rの縮小異常表示画像、194dはCC−Rの縮小異常表示画像、194eはMLO−Lの縮小異常表示画像、194fはCC−Lの縮小異常表示画像である。なお、縮小医用画像及び縮小異常表示画像への縮小率やスケール目盛りの表示は省略してある。   FIG. 5B shows an example of a composite image 194 when the output forms (13) and (14) are displayed on one recording medium. In FIG. 5B, 194a is MLO-R, 194b is MLO-L, 194c is an MLO-R reduction abnormality display image, 194d is a CC-R reduction abnormality display image, and 194e is an MLO-L reduction abnormality display image. An image 194f is a reduced abnormality display image of CC-L. Note that the display of the reduction ratio and scale scale on the reduced medical image and the reduced abnormal display image is omitted.

その他、例えば、下記に示す出力形態で出力してもよい。
(17)医用画像(MLO−R、CC−R)、縮小医用画像(CC−R、MLO−R)
(18)医用画像(MLO−L、CC−L)、縮小医用画像(CC−L、MLO−L)
(19)医用画像(MLO−R、CC−R)、縮小異常表示画像(CC−R、MLO−R)
(20)医用画像(MLO−L、CC−L)、縮小異常表示画像(CC−L、MLO−L)
(21)医用画像(MLO−R、L)、縮小異常表示画像(MLO−R、L)
(22)医用画像(CC−R、L)、縮小異常表示画像(CC−R、L)
(23)医用画像(MLO−R、CC−R)、縮小異常表示画像(MLO−R、CC−R)
(24)医用画像(MLO−L、CC−L)、縮小異常表示画像(MLO−L、CC−L)
In addition, for example, you may output with the output form shown below.
(17) Medical images (MLO-R, CC-R), reduced medical images (CC-R, MLO-R)
(18) Medical images (MLO-L, CC-L), reduced medical images (CC-L, MLO-L)
(19) Medical images (MLO-R, CC-R), reduced abnormal display images (CC-R, MLO-R)
(20) Medical image (MLO-L, CC-L), reduced abnormal display image (CC-L, MLO-L)
(21) Medical image (MLO-R, L), reduced abnormal display image (MLO-R, L)
(22) Medical image (CC-R, L), reduced abnormal display image (CC-R, L)
(23) Medical image (MLO-R, CC-R), reduced abnormal display image (MLO-R, CC-R)
(24) Medical image (MLO-L, CC-L), reduced abnormal display image (MLO-L, CC-L)

ここで、1枚の記録媒体上に同じ撮影方向から撮影された左右***のマンモグラフィ画像を記録媒体上に左右に二面出力する場合(例えば、CC−RとCC−L)、診断用のマンモグラフィと、各マンモグラフィ上の縮小医用画像又は縮小異常表示画像との相対的位置関係は、左の面と右の面で対象的な態様となるように合成する(図6(a)参照)。また、1枚の記録媒体上に異なる撮影方向から撮影された左***又は右***のマンモグラフィ画像を二面出力する場合(例えば、CC−RとMLO−R)、診断用のマンモグラフィと、各マンモグラフィ上の縮小医用画像又は縮小異常表示画像との相対的位置関係は、左の面と右の面で同一の関係となるように合成する(図6(b)参照)。   Here, when the left and right mammographic images taken from the same photographing direction on one recording medium are output to the left and right on the recording medium (for example, CC-R and CC-L), the diagnostic mammography is performed. The relative positional relationship between the reduced medical image or the reduced abnormal display image on each mammography is synthesized so that the left surface and the right surface are in a targeted manner (see FIG. 6A). In addition, when outputting two images of left or right breast mammography images taken from different imaging directions on a single recording medium (for example, CC-R and MLO-R), diagnostic mammography and each mammography The relative positional relationship with the upper reduced medical image or the reduced abnormal display image is synthesized so that the left surface and the right surface have the same relationship (see FIG. 6B).

以上、画像処理装置2の構成について説明したが、異常陰影候補検出手段15、画像処理手段16、縮小医用画像作成手段17、縮小異常表示画像作成手段18、合成画像作成手段19は、制御手段11のCPUとROMに記憶されているプログラムとの協働によるソフトウエア処理によって実現されるようにしてもよいし、専用のハードウエアにより構成するようにしてもよい。   The configuration of the image processing apparatus 2 has been described above. The abnormal shadow candidate detection unit 15, the image processing unit 16, the reduced medical image generation unit 17, the reduced abnormal display image generation unit 18, and the composite image generation unit 19 are controlled by the control unit 11. It may be realized by software processing by the cooperation of the CPU and the program stored in the ROM, or may be configured by dedicated hardware.

次に、第1の実施の形態の動作について説明する。
図7に、制御手段11により実行される画像出力制御処理Aを示す。以下、図7を参照して画像出力制御処理Aについて説明する。
Next, the operation of the first embodiment will be described.
FIG. 7 shows an image output control process A executed by the control means 11. Hereinafter, the image output control process A will be described with reference to FIG.

通信手段13を介して画像生成装置1a〜1eの何れかから画像データD及びその付帯情報が入力されると、入力された画像データD及びその付帯情報が入力画像データ記憶部141に記憶される(ステップS1)。次いで、異常陰影候補検出手段15により画像データD及びその付帯情報が読み出され、画像データDに対して異常陰影候補の検出が行われ、検出結果が異常陰影候補情報記憶部142に記憶される(ステップS2)。また、画像処理手段16により画像データD及びその付帯情報が読み出され、画像データDに対して階調処理、周波数処理、ダイナミックレンジ圧縮処理、被写体領域外の濃度補正処理等の画像処理が施され、医用画像記憶部145に記憶される(ステップS3)。   When image data D and its supplementary information are input from any of the image generation devices 1a to 1e via the communication means 13, the input image data D and its supplementary information are stored in the input image data storage unit 141. (Step S1). Next, the abnormal shadow candidate detection means 15 reads the image data D and its supplementary information, detects an abnormal shadow candidate for the image data D, and stores the detection result in the abnormal shadow candidate information storage unit 142. (Step S2). The image processing means 16 reads out the image data D and its accompanying information, and the image data D is subjected to image processing such as gradation processing, frequency processing, dynamic range compression processing, density correction processing outside the subject area, and the like. And stored in the medical image storage unit 145 (step S3).

次いで、縮小医用画像作成手段17により画像データ記憶部141から画像データDが読み出され、所定の倍率への縮小処理、被写体領域外を所定の濃度以上に濃度補正する濃度補正処理等が施されることにより縮小医用画像データが作成され、縮小医用画像記憶部143に記憶されるとともに(ステップS4)、縮小異常表示画像作成手段18により、異常陰影候補情報記憶部142に記憶された画像データDに対する異常陰影候補情報のうち異常陰影候補領域の位置情報及びアノテーション情報が読み出され、縮小医用画像データの異常陰影候補領域の位置にアノテーション情報が重畳されて縮小異常表示画像データが作成され、縮小異常表示画像記憶部144に記憶される(ステップS5)。   Next, the reduced medical image creation unit 17 reads the image data D from the image data storage unit 141, and performs a reduction process to a predetermined magnification, a density correction process for correcting a density outside the subject area to a predetermined density or more, and the like. Thus, reduced medical image data is created and stored in the reduced medical image storage unit 143 (step S4), and the reduced abnormal display image creation unit 18 stores the image data D stored in the abnormal shadow candidate information storage unit 142. The position information and annotation information of the abnormal shadow candidate area is read out of the abnormal shadow candidate information for the image, and the reduced abnormal display image data is created by superimposing the annotation information on the position of the abnormal shadow candidate area of the reduced medical image data. It is stored in the abnormal display image storage unit 144 (step S5).

なお、画像データDがマンモグラフィであり、同一検査IDに対して左右***、2撮影方向の4枚の画像データDが存在する場合には、各画像データDについてステップS1〜5が実行される。これらの画像は、相互に関連する画像である。   If the image data D is mammography and there are four pieces of image data D in the right and left breasts and two photographing directions for the same examination ID, steps S1 to S5 are executed for each image data D. These images are mutually related images.

次いで、操作表示手段12により合成形態の選択入力の指示が表示され、合成形態が選択入力されると(ステップS6)、合成画像作成手段19により、選択された合成形態に応じた医用画像データと、縮小医用画像データ又は縮小異常表示画像データとが読み出され、ステップS6で選択された合成形態で合成される(ステップS7)。ここで、合成画像作成手段19においては、医用画像中の被写体領域が認識され、医用画像中の被写体領域と被写体領域外の比率に応じて、合成される縮小医用画像又は縮小異常表示画像におけるサイズ変更が行われ、被写体領域の情報の欠落のないように縮小医用画像又は縮小異常表示画像が配置され、配置された縮小医用画像又は縮小異常表示画像上に、スケール目盛り、及び/又は、縮小率が付加されて合成画像が作成される。合成形態としては、操作表示手段12により、例えば、マンモグラフィの場合には上述した(1)〜(24)の何れかの形態を選択可能となっている。   Next, when the operation display unit 12 displays an instruction to select a composite form, and the composite form is selected and input (step S6), the composite image creation unit 19 generates medical image data corresponding to the selected composite form. The reduced medical image data or the reduced abnormal display image data is read out and synthesized in the synthesis form selected in step S6 (step S7). Here, the composite image creating means 19 recognizes the subject area in the medical image, and the size of the reduced medical image or the reduced abnormal display image to be synthesized according to the ratio of the subject area in the medical image to the outside of the subject area. The reduced medical image or the reduced abnormal display image is arranged so that the information of the subject area is not lost, and the scale mark and / or the reduction rate is arranged on the reduced reduced medical image or the reduced abnormal display image. Is added to create a composite image. As a composite form, the operation display unit 12 can select any of the forms (1) to (24) described above in the case of mammography, for example.

合成画像が作成されると、操作表示手段12の表示画面上に合成された画像が表示される(ステップS8)。この画面上から、異常陰影候補に対する医師の「正常/異常」の診断結果及び/又コメント等の所見情報の入力指示がなされ、文字情報が入力されると(ステップS9;YES)、合成画像の各異常陰影候補に対して入力された「正常/異常」の別を示すマーカが付加されるとともに、入力されたコメントが医用画像の被写体領域外の空き領域に付加されることにより、入力された文字が配置される(ステップS10)。入力された情報は、検査IDにより画像データDに対応付けて記憶手段14の所見情報記憶部146に記憶される(ステップS11)。次いで、表示画面上から出力形態(合成画像のデータを記録装置3に出力するか/医用画像データと、縮小医用画像データ又は縮小異常表示画像データとを個別に画像記録装置3に出力するか)が選択され、出力が指示されると(ステップS12)、通信手段13を介して、選択された出力形態に応じた画像データが画像記録装置3に出力される(ステップS13)。   When the composite image is created, the composite image is displayed on the display screen of the operation display means 12 (step S8). From this screen, when an instruction to input findings information such as a diagnosis result and / or a comment of a doctor “normal / abnormal” for an abnormal shadow candidate is made and character information is input (step S9; YES), A marker indicating whether “normal / abnormal” is input for each abnormal shadow candidate is added, and the input comment is added to an empty area outside the subject area of the medical image. A character is arranged (step S10). The input information is stored in the finding information storage unit 146 of the storage unit 14 in association with the image data D by the examination ID (step S11). Next, an output form on the display screen (whether composite image data is output to the recording device 3 / whether medical image data and reduced medical image data or reduced abnormal display image data are individually output to the image recording device 3) Is selected and output is instructed (step S12), image data corresponding to the selected output form is output to the image recording apparatus 3 via the communication means 13 (step S13).

ここで、ステップS12において合成画像のデータの出力が指示されると、画像記録装置3において、診断用に各種情報が見やすく配置された画像を容易に出力することができるが、合成画像データは情報量が大きいため、通信データ量が大きくなるという問題がある。そこで、各画像を個別に観察する等、合成画像データを出力する必要がない場合には、医用画像データと、縮小医用画像データ又は縮小異常表示画像データとを個別に送信することにより、ネットワークN上の通信データ量を抑制することができる。   Here, when the output of the composite image data is instructed in step S12, the image recording apparatus 3 can easily output an image in which various types of information are arranged in an easy-to-see manner for diagnosis. Since the amount is large, there is a problem that the amount of communication data becomes large. Therefore, when it is not necessary to output composite image data, such as observing each image individually, the network N is transmitted by individually transmitting medical image data and reduced medical image data or reduced abnormal display image data. The amount of communication data above can be suppressed.

図8に、画像処理装置2により出力される出力画像195の一例を示す。図8に示すように、出力画像195には、MLO−Rの画像195aと、MLO−Lの画像195bとが二面出力されている。MLO−Rの画像195aにはMLO−Rの縮小異常表示画像195cが、スケール目盛り及び縮小率が付加されて表示されている。縮小異常表示画像195cでは、検出された異常陰影候補がなかったことを示している。また、MLO−Lの画像195bにはコメント及び入力された「正常」を示すマーカが付加されたMLO−Lの縮小異常表示画像が表示されている。   FIG. 8 shows an example of the output image 195 output by the image processing apparatus 2. As shown in FIG. 8, the output image 195 includes an MLO-R image 195 a and an MLO-L image 195 b that are output in two planes. In the MLO-R image 195a, an MLO-R reduction abnormality display image 195c is displayed with a scale scale and a reduction rate added. The reduced abnormal display image 195c indicates that there is no detected abnormal shadow candidate. In addition, the MLO-L image 195b displays a reduced abnormality display image of MLO-L to which a comment and an input “normal” marker are added.

以上説明したように、画像処理装置2によれば、画像生成装置1a〜1eから通信手段13を介して入力された画像データDに対して、異常陰影候補検出手段15により異常陰影候補領域を検出するとともに、画像処理手段16で画像データDに対して画像処理を施し、縮小医用画像作成手段17において、画像処理の施された医用画像データを所定の倍率で縮小することにより縮小医用画像を作成する。また、縮小異常表示画像作成手段18において、縮小医用画像に異常陰影候補の検出結果のアノテーションを重畳することにより、縮小異常表示画像を作成する。そして、合成画像作成手段19において、操作表示手段12から入力された合成形態に基づいて、医用画像データの被写体領域の情報の欠損のないように医用画像上に縮小医用画像又は縮小異常表示画像を配置して合成画像を作成し、操作表示手段12により選択された出力画像データを通信手段13を介して画像記録装置3へ出力する。   As described above, according to the image processing device 2, the abnormal shadow candidate region is detected by the abnormal shadow candidate detection unit 15 for the image data D input from the image generation devices 1 a to 1 e via the communication unit 13. In addition, the image processing unit 16 performs image processing on the image data D, and the reduced medical image creation unit 17 creates a reduced medical image by reducing the medical image data subjected to the image processing at a predetermined magnification. To do. Further, the reduced abnormal display image creating means 18 creates a reduced abnormal display image by superimposing the annotation of the detection result of the abnormal shadow candidate on the reduced medical image. Then, in the composite image creation means 19, based on the composite form input from the operation display means 12, a reduced medical image or a reduced abnormal display image is displayed on the medical image so that there is no loss of information on the subject area of the medical image data. A composite image is created by arrangement, and the output image data selected by the operation display unit 12 is output to the image recording apparatus 3 via the communication unit 13.

従って、医用画像上に、当該医用画像の情報の欠損なく異常陰影候補の検出結果を重畳した縮小異常表示画像や、他の方向から同一部位を撮影した、当該医用画像に関連する医用画像の縮小医用画像、縮小異常表示画像等、医用画像の診断の参考となる画像を表示したハードコピーを出力するので、医用画像の診断をより効率的に行うことができるようになり、医師の診断性能及び作業効率を向上することができる。   Therefore, a reduced abnormal display image in which the detection result of the abnormal shadow candidate is superimposed on the medical image without loss of information on the medical image, or a reduction of the medical image related to the medical image obtained by imaging the same part from another direction. Since a hard copy that displays images that serve as a reference for diagnosis of medical images, such as medical images and reduced abnormal display images, is output, medical images can be diagnosed more efficiently. Work efficiency can be improved.

なお、合成画像データは、記憶手段14に記憶し、操作表示手段12からの入力に応じて、画像の合成処理を行うことなく出力できるようにしてもよい。   Note that the composite image data may be stored in the storage unit 14 so that it can be output without performing an image synthesis process in response to an input from the operation display unit 12.

<第2の実施の形態>
次に、本発明の第2の実施の形態について説明する。
図9に、本発明の第2の実施の形態における医用画像診断支援システム200の全体構成を示す概念図である。図9に示すように、医用画像診断支援システム200は、画像生成装置1a〜1e、画像処理装置2、画像記録装置3、画像サーバ4等がネットワークNを介して、相互にデータ送受信可能なように接続されている。
<Second Embodiment>
Next, a second embodiment of the present invention will be described.
FIG. 9 is a conceptual diagram showing an overall configuration of a medical image diagnosis support system 200 according to the second embodiment of the present invention. As shown in FIG. 9, the medical image diagnosis support system 200 allows the image generation apparatuses 1 a to 1 e, the image processing apparatus 2, the image recording apparatus 3, the image server 4, and the like to exchange data with each other via the network N. It is connected to the.

画像サーバ4は、画像生成装置1a〜1eにより生成された画像データをその付帯情報と対応付けて記憶する画像DB(Date Base)41を有し、画像処理装置2からネットワークNを介して患者ID、画像生成装置情報(モダリティ種)及び撮影部位等の情報が出力され、同一モダリティで生成された過去画像データ、及び/又は、他の種類の画像生成装置(モダリティ)により生成された画像データ(他モダリティ画像データ)の送信要求を受信すると、画像DB41から、該当する画像データを検索し、その付帯情報とともに画像処理装置2に出力する。付帯情報には、例えば、撮影された患者の患者氏名、患者ID、年齢、性別等の患者に関する患者情報、撮影日、検査ID、撮影部位、撮影条件(***、撮影方向等)、画像生成装置情報(モダリティ種)等の撮影情報が含まれる。   The image server 4 includes an image DB (Date Base) 41 that stores the image data generated by the image generation devices 1a to 1e in association with the incidental information, and the patient ID is transmitted from the image processing device 2 via the network N. Image generation device information (modality type) and imaging region information are output, and past image data generated by the same modality and / or image data generated by another type of image generation device (modality) ( When the transmission request for (other modality image data) is received, the corresponding image data is retrieved from the image DB 41 and output to the image processing apparatus 2 together with the accompanying information. The incidental information includes, for example, patient information about the patient such as the patient name, patient ID, age, and sex of the patient who has been photographed, photographing date, examination ID, photographing part, photographing condition (position, photographing direction, etc.), image generation device Shooting information such as information (modality type) is included.

画像処理装置2は、図10に示すように、第1の実施の形態において図2に示した構成に、取得画像処理手段21を備えて構成されている。また、記憶手段14は、図11に示すように、他モダリティ画像記憶部147と過去画像記憶部148とを備える。
他モダリティ画像記憶部147は、通信手段33を介して、画像サーバ4から取得された他モダリティ画像データと、この他モダリティ画像データに画像処理を施した、縮小された他モダリティ処理画像データと、その付帯情報とを、患者IDにより画像データDに対応付けて記憶する。過去画像記憶部148は、通信手段33を介して、画像サーバ4から取得された同一モダリティの過去の医用画像(同一モダリティの過去画像)のデータと、その付帯情報とを、患者IDにより画像データDに対応付けて記憶する。
As shown in FIG. 10, the image processing apparatus 2 includes the acquired image processing means 21 in the configuration shown in FIG. 2 in the first embodiment. Further, as shown in FIG. 11, the storage unit 14 includes another modality image storage unit 147 and a past image storage unit 148.
The other modality image storage unit 147, the other modality image data acquired from the image server 4 via the communication unit 33, the reduced other modality processed image data obtained by performing image processing on the other modality image data, The accompanying information is stored in association with the image data D by the patient ID. The past image storage unit 148 stores data of past medical images of the same modality (past images of the same modality) acquired from the image server 4 via the communication unit 33 and the incidental information on the basis of the patient ID. Store in association with D.

取得画像処理手段21は、制御手段11からの指示に基づいて、他モダリティ画像記憶部147から他モダリティ画像データを、或いは過去画像記憶部148から同一モダリティの過去画像データを読み出して、読み出された画像データを所定の倍率で縮小し、上述した被写体認識の方法により、縮小された画像データの被写体領域を認識し、被写体領域以外の領域を所定の濃度値以上、例えば、被写体領域における最小濃度値より高濃度の値となる値に濃度補正を行う。また、取得画像処理手段21は、他モダリティ画像処理手段を有し、縮小された他モダリティ画像データに対し、階調処理、周波数処理、モダリティ種の情報を当該他モダリティ画像データに付加する処理等の画像処理を施して、処理済みの他モダリティ画像データ(縮小された他モダリティ処理画像データ)を処理前の他モダリティ画像データと対応付けて他モダリティ画像記憶部147に記憶する。また、縮小された同一モダリティの過去画像データを縮小前の同一モダリティの過去画像データと対応付けて過去画像記憶部148に記憶する。   The acquired image processing means 21 reads out the other modality image data from the other modality image storage unit 147 or the past image data of the same modality from the past image storage unit 148 based on an instruction from the control means 11. The image data is reduced by a predetermined magnification, the subject area of the reduced image data is recognized by the above-described subject recognition method, and an area other than the subject area is equal to or higher than a predetermined density value, for example, the minimum density in the subject area. Density correction is performed to a value that is higher than the value. Further, the acquired image processing means 21 has other modality image processing means, and for the reduced other modality image data, gradation processing, frequency processing, processing for adding modality type information to the other modality image data, etc. The processed other modality image data (reduced other modality processed image data) is stored in the other modality image storage unit 147 in association with the other modality image data before processing. The reduced past image data of the same modality is stored in the past image storage unit 148 in association with the past image data of the same modality before the reduction.

取得画像処理手段21は、制御手段11のCPUとROMに記憶されているプログラムとの協働によるソフトウエア処理によって実現されるようにしてもよいし、専用のハードウエアにより構成するようにしてもよい。   The acquired image processing means 21 may be realized by software processing in cooperation with the CPU of the control means 11 and a program stored in the ROM, or may be configured by dedicated hardware. Good.

また、合成画像作成手段19は、下記の機能を備える。   The composite image creating means 19 has the following functions.

合成画像作成手段19は、制御手段11からの指示に基づいて、医用画像記憶部145から画像処理済みの医用画像データを読み出し、この医用画像データに対して合成する縮小医用画像データ、縮小異常表示画像データ、縮小された同一モダリティの過去画像データ又は縮小された他モダリティ処理画像データを記憶手段14の対応する記憶部から読み出して、医用画像と、縮小医用画像、縮小異常表示画像、縮小された同一モダリティの過去画像又は縮小された他モダリティ処理画像とを1枚の画像に合成する。このとき、合成画像作成手段19は、上述した被写体領域認識方法により、医用画像中の被写体領域を認識し、医用画像の被写体領域と被写体領域外の比率に応じて、合成される縮小医用画像、縮小異常表示画像、縮小された同一モダリティの過去画像又は縮小された他モダリティ処理画像のサイズ変更を行い、医用画像中の被写体領域の情報の欠損がないように配置する。このとき、医用画像に合成する画像が複数ある場合は、これらの各画像の縮小率が同一になるようにサイズ変更する。若しくは、操作表示手段12による設定に基づいて、医用画像に合成する各画像の大きさのバラツキがないように、各画像が同一のサイズとなるようにサイズ調整してもよい。そして、配置された縮小医用画像又は縮小異常表示画像に、スケール目盛り、縮小率を示す情報を、縮小された同一モダリティの過去画像、縮小された他モダリティ処理画像にスケール目盛りを付加して合成画像を作成する。   Based on an instruction from the control unit 11, the composite image creating unit 19 reads the medical image data that has undergone image processing from the medical image storage unit 145 and combines the medical image data with the reduced medical image data and the reduced abnormality display. The image data, the reduced past image data of the same modality, or the reduced other modality processed image data is read from the corresponding storage unit of the storage unit 14, and the medical image, the reduced medical image, the reduced abnormal display image, and the reduced size are displayed. A past image of the same modality or a reduced other modality processed image is synthesized into one image. At this time, the composite image creating unit 19 recognizes the subject area in the medical image by the subject area recognition method described above, and combines the reduced medical image to be synthesized according to the ratio of the subject area of the medical image to the outside of the subject area. The size of the reduced abnormal display image, the reduced past image of the same modality, or the reduced other modality processed image is resized and arranged so that there is no loss of information on the subject area in the medical image. At this time, if there are a plurality of images to be combined with the medical image, the size is changed so that the reduction ratios of these images are the same. Alternatively, based on the setting by the operation display unit 12, the size may be adjusted so that the images have the same size so that there is no variation in the size of the images to be combined with the medical image. Then, a scale image and information indicating the reduction rate are added to the arranged reduced medical image or reduction abnormal display image, and the scale image is added to the past image of the reduced same modality and the scale image is added to the reduced other modality processed image. Create

なお、本実施の形態においては、合成画像作成手段19は、サイズ情報付加手段としての機能を有し、スケール目盛りの付加、縮小率の付加等を行うこととしたが、サイズ情報の付加は、縮小医用画像作成手段17、縮小異常表示画像作成手段18等において行っても良い。また、縮小率を示す情報、スケール目盛りは、それぞれ操作表示手段12からの入力により付加する/しないを設定しておくことができる。   In the present embodiment, the composite image creating unit 19 has a function as a size information adding unit, and performs scale scale addition, reduction rate addition, and the like. You may perform in the reduced medical image preparation means 17, the reduction | restoration abnormality display image preparation means 18, etc. In addition, the information indicating the reduction ratio and the scale scale can be set to be added or not by input from the operation display unit 12.

ここで、合成画像作成手段19は、制御手段11からの指示に基づいて、合成する医用画像がマンモグラフィである場合には、同一患者に対して1検査で撮影された(即ち、同一検査IDを有する)、左右***をそれぞれ2方向から撮影した4つのマンモグラフィ(右***斜位方向;MLO−R、左***斜位方向;MLO−L、右***上下方向;CC−R、左***上下方向;CC−L)のうち2つのマンモグラフィを1枚の記録媒体に二面出力するように1枚の画像として合成する合成処理を行う。その後、制御手段11からの指示に基づいて、合成された各医用画像について、縮小医用画像データ、縮小異常表示画像データ、縮小された他モダリティ処理画像データ又は縮小された同一モダリティの過去画像の合成を行う。マンモグラフィの合成形態としては、制御手段11からの指示に基づいて、例えば、下記の(1)〜(16)合成形態で合成する。
(1)医用画像(MLO−R、L)と縮小医用画像(CC−R、L)
(2)医用画像(CC−R、L)と縮小医用画像(MLO−R、L)
(3)医用画像(MLO−R、CC−R)と縮小医用画像(MLO−L、CC−L)
(4)医用画像(MLO−L、CC−L)と縮小医用画像(MLO−R、CC−R)
(5)医用画像(MLO−R、L)と縮小異常表示画像(CC−R、L)
(6)医用画像(CC−R、L)と縮小異常表示画像(MLO−R、L)
(7)医用画像(MLO−R、CC−R)と縮小異常表示画像(MLO−L、CC−L)
(8)医用画像(MLO−L、CC−L)と縮小異常表示画像(MLO−R、CC−R)
(9)医用画像(MLO−R、L)と縮小された他モダリティ処理画像(CC−R、L)
(10)医用画像(CC−R、L)と縮小された他モダリティ処理画像(MLO−R、L)
(11)医用画像(MLO−R、CC−R)と縮小された他モダリティ処理画像(MLO−L、CC−L)
(12)医用画像(MLO−L、CC−L)と縮小された他モダリティ処理画像(MLO−R、CC−R)
(13)医用画像(MLO−R、L)と縮小された同一モダリティの過去画像(CC−R、L)
(14)医用画像(CC−R、L)と縮小された同一モダリティの過去画像(MLO−R、L)
(15)医用画像(MLO−R、CC−R)と縮小された同一モダリティの過去画像(MLO−L、CC−L)
(16)医用画像(MLO−L、CC−L)と縮小された同一モダリティの過去画像(MLO−R、CC−R)
即ち、合成画像作成手段19は、二面のマンモグラフィのそれぞれに、関連する他のマンモグラフィ(例えば、別の方向から撮影したマンモグラフィや、左***に対して右***、右***に対して左***のマンモグラフィ等)の縮小医用画像、縮小異常表示画像、縮小された他モダリティ処理画像又は縮小された同一モダリティの過去画像を参照用として合成する。これにより、医師の読影の際に、診断用のマンモグラフィに関連する画像を容易に効率良く参照することができる。
Here, when the medical image to be synthesized is mammography based on an instruction from the control unit 11, the synthesized image creating unit 19 was taken in one examination for the same patient (that is, the same examination ID is set). 4) Mammography (right breast oblique direction; MLO-R, left breast oblique direction; MLO-L, right breast vertical direction; CC-R, left breast vertical direction) CC-L) is combined to synthesize two mammographs as one image so as to be output to one recording medium on two sides. After that, based on an instruction from the control unit 11, for each synthesized medical image, reduced medical image data, reduced abnormal display image data, reduced other modality processed image data, or reduced past images of the same modality are combined. I do. As a mammography synthesis mode, for example, the following mammography modes (1) to (16) are synthesized based on an instruction from the control unit 11.
(1) Medical image (MLO-R, L) and reduced medical image (CC-R, L)
(2) Medical image (CC-R, L) and reduced medical image (MLO-R, L)
(3) Medical images (MLO-R, CC-R) and reduced medical images (MLO-L, CC-L)
(4) Medical images (MLO-L, CC-L) and reduced medical images (MLO-R, CC-R)
(5) Medical image (MLO-R, L) and reduced abnormal display image (CC-R, L)
(6) Medical image (CC-R, L) and reduced abnormal display image (MLO-R, L)
(7) Medical image (MLO-R, CC-R) and reduced abnormal display image (MLO-L, CC-L)
(8) Medical images (MLO-L, CC-L) and reduced abnormal display images (MLO-R, CC-R)
(9) Medical image (MLO-R, L) and reduced other modality processed image (CC-R, L)
(10) Medical image (CC-R, L) and reduced other modality processed image (MLO-R, L)
(11) Medical images (MLO-R, CC-R) and reduced other modality processed images (MLO-L, CC-L)
(12) Medical image (MLO-L, CC-L) and reduced other modality processed image (MLO-R, CC-R)
(13) Medical image (MLO-R, L) and reduced past image (CC-R, L) of the same modality
(14) Medical image (CC-R, L) and past image (MLO-R, L) reduced in the same modality
(15) Medical images (MLO-R, CC-R) and past images (MLO-L, CC-L) reduced in the same modality
(16) Medical images (MLO-L, CC-L) and past images (MLO-R, CC-R) reduced in the same modality
In other words, the composite image creating means 19 includes, for each of the two mammograms, other related mammography (for example, mammography taken from different directions, the right breast for the left breast, the left breast for the right breast). A reduced medical image (such as mammography), a reduced abnormal display image, a reduced other modality processed image, or a reduced past image of the same modality is combined for reference. Thereby, it is possible to easily and efficiently refer to an image related to a diagnostic mammography during interpretation by a doctor.

或いは、合成画像作成手段19は、制御手段11からの指示に基づいて、医用画像がマンモグラフィである場合には、診断用のマンモグラフィ上に、その縮小医用画像、縮小異常表示画像、同一方向から撮影した縮小された他モダリティ処理画像又は縮小された同一モダリティの過去画像と、他の方向から撮影した縮小医用画像、縮小異常表示画像、縮小された他モダリティ処理画像又は縮小された同一モダリティの過去画像とを配置して合成する。これにより、1つの医用画像に対して、2方向で撮影された縮小医用画像、縮小異常表示画像、縮小された他モダリティ処理画像又は縮小された同一モダリティの過去画像を合成するので、容易に参照を行うことができ、効率的に読影を行うことを可能とすることができる。具体的には、合成画像作成手段19は、制御手段11からの指示に基づいて、例えば、下記の(17)〜(32)何れかの形態で合成を行う。
(17)医用画像(MLO−R)と縮小医用画像(MLO−R、CC−R)
(18)医用画像(MLO−L)と縮小医用画像(MLO−L、CC−L)
(19)医用画像(CC−R)と縮小医用画像(MLO−R、CC−R)
(20)医用画像(CC−L)と縮小医用画像(MLO−L、CC−L)
(21)医用画像(MLO−R)と縮小異常表示画像(MLO−R、CC−R)
(22)医用画像(MLO−L)と縮小異常表示画像(MLO−L、CC−L)
(23)医用画像(CC−R)と縮小異常表示画像(MLO−R、CC−R)
(24)医用画像(CC−L)と縮小異常表示画像(MLO−L、CC−L)
(25)医用画像(MLO−R)と縮小された他モダリティ処理画像(MLO−R、CC−R)
(26)医用画像(MLO−L)と縮小された他モダリティ処理画像(MLO−L、CC−L)
(27)医用画像(CC−R)と縮小された他モダリティ処理画像(MLO−R、CC−R)
(28)医用画像(CC−L)と縮小された他モダリティ処理画像(MLO−L、CC−L)
(29)医用画像(MLO−R)と縮小された同一モダリティの過去画像(MLO−R、CC−R)
(30)医用画像(MLO−L)と縮小された同一モダリティの過去画像(MLO−L、CC−L)
(31)医用画像(CC−R)と縮小された同一モダリティの過去画像(MLO−R、CC−R)
(32)医用画像(CC−L)と縮小された同一モダリティの過去画像(MLO−L、CC−L)
上記(17)〜(32)の合成形態は、1枚の記録媒体に二面出しするように合成してもよい。
Alternatively, when the medical image is a mammography based on an instruction from the control unit 11, the composite image creation unit 19 captures the reduced medical image, the reduced abnormal display image, and the same direction on the diagnostic mammography. Reduced other modality processed images or past images of the same reduced modality, reduced medical images, reduced abnormal display images, reduced other modality processed images or reduced past images of the same modality taken from other directions And combine them. As a result, a reduced medical image taken in two directions, a reduced abnormal display image, a reduced other modality processed image, or a reduced past image of the same modality is combined with one medical image for easy reference. It is possible to perform interpretation efficiently. Specifically, based on an instruction from the control means 11, the composite image creation means 19 performs composition in any of the following forms (17) to (32), for example.
(17) Medical image (MLO-R) and reduced medical image (MLO-R, CC-R)
(18) Medical image (MLO-L) and reduced medical image (MLO-L, CC-L)
(19) Medical image (CC-R) and reduced medical image (MLO-R, CC-R)
(20) Medical image (CC-L) and reduced medical image (MLO-L, CC-L)
(21) Medical image (MLO-R) and reduced abnormal display image (MLO-R, CC-R)
(22) Medical image (MLO-L) and reduced abnormal display image (MLO-L, CC-L)
(23) Medical image (CC-R) and reduced abnormal display image (MLO-R, CC-R)
(24) Medical image (CC-L) and reduced abnormal display image (MLO-L, CC-L)
(25) Medical image (MLO-R) and reduced other modality processed image (MLO-R, CC-R)
(26) Medical image (MLO-L) and reduced other modality processed image (MLO-L, CC-L)
(27) Medical image (CC-R) and reduced other modality processed image (MLO-R, CC-R)
(28) Medical image (CC-L) and reduced other modality processed image (MLO-L, CC-L)
(29) Medical images (MLO-R) and past images (MLO-R, CC-R) reduced in the same modality
(30) Medical images (MLO-L) and past images (MLO-L, CC-L) reduced in the same modality
(31) Medical image (CC-R) and past image (MLO-R, CC-R) reduced in the same modality
(32) A past image (MLO-L, CC-L) having the same modality as that of the medical image (CC-L) reduced.
The composite forms (17) to (32) may be combined so as to be exposed on one recording medium.

その他、例えば、下記に示す出力形態で出力してもよい。
(33)医用画像(MLO−R、CC−R)、縮小医用画像(CC−R、MLO−R)
(34)医用画像(MLO−L、CC−L)、縮小医用画像(CC−L、MLO−L)
(35)医用画像(MLO−R、CC−R)、縮小異常表示画像(CC−R、MLO−R)
(36)医用画像(MLO−L、CC−L)、縮小異常表示画像(CC−L、MLO−L)
(37)医用画像(MLO−R、L)、縮小異常表示画像(MLO−R、L)
(38)医用画像(CC−R、L)、縮小異常表示画像(CC−R、L)
(39)医用画像(MLO−R、CC−R)、縮小異常表示画像(MLO−R、CC−R)
(40)医用画像(MLO−L、CC−L)、縮小異常表示画像(MLO−L、CC−L)
(33)医用画像(MLO−R、L)、縮小された他モダリティ処理画像(MLO−R、L)
(41)医用画像(CC−R、L)、縮小された他モダリティ処理画像(CC−R、L)
(42)医用画像(MLO−R、CC−R)、縮小された他モダリティ処理画像(MLO−R、CC−R)
(43)医用画像(MLO−L、CC−L)、縮小された他モダリティ処理画像(MLO−L、CC−L)
(44)医用画像(MLO−R、L)、縮小された同一モダリティの過去画像(MLO−R、L)
(45)医用画像(CC−R、L)、縮小された同一モダリティの過去画像(CC−R、L)
(46)医用画像(MLO−R、CC−R)、縮小された同一モダリティの過去画像(MLO−R、CC−R)
(47)医用画像(MLO−L、CC−L)、縮小された同一モダリティの過去画像(MLO−L、CC−L)
In addition, for example, you may output with the output form shown below.
(33) Medical image (MLO-R, CC-R), reduced medical image (CC-R, MLO-R)
(34) Medical images (MLO-L, CC-L), reduced medical images (CC-L, MLO-L)
(35) Medical image (MLO-R, CC-R), reduced abnormal display image (CC-R, MLO-R)
(36) Medical image (MLO-L, CC-L), reduced abnormal display image (CC-L, MLO-L)
(37) Medical image (MLO-R, L), reduced abnormal display image (MLO-R, L)
(38) Medical image (CC-R, L), reduced abnormal display image (CC-R, L)
(39) Medical images (MLO-R, CC-R), reduced abnormal display images (MLO-R, CC-R)
(40) Medical image (MLO-L, CC-L), reduced abnormal display image (MLO-L, CC-L)
(33) Medical image (MLO-R, L), reduced other modality processed image (MLO-R, L)
(41) Medical image (CC-R, L), reduced other modality processed image (CC-R, L)
(42) Medical image (MLO-R, CC-R), reduced other modality processed image (MLO-R, CC-R)
(43) Medical image (MLO-L, CC-L), reduced other modality processed image (MLO-L, CC-L)
(44) Medical image (MLO-R, L), reduced past image of the same modality (MLO-R, L)
(45) Medical image (CC-R, L), reduced past image (CC-R, L) of the same modality
(46) Medical images (MLO-R, CC-R), reduced past images of the same modality (MLO-R, CC-R)
(47) Medical images (MLO-L, CC-L), reduced past images of the same modality (MLO-L, CC-L)

ここで、1枚の記録媒体上に同じ撮影方向から撮影された左右***のマンモグラフィ画像を記録媒体上に左右に二面出力する場合(例えば、CC−RとCC−L)、診断用のマンモグラフィと、各マンモグラフィ上の縮小医用画像、縮小異常表示画像、縮小された他モダリティ処理画像又は縮小された同一モダリティの過去画像との相対的位置関係は、左の面と右の面で対象的な態様となるように合成する(図6(a)参照)。また、1枚の記録媒体上に異なる撮影方向から撮影された左又は右のマンモグラフィ画像を二面出力する場合(例えば、CC−RとMLO−R)、診断用のマンモグラフィと、各マンモグラフィ上の縮小医用画像、縮小異常表示画像、縮小された他モダリティ処理画像又は縮小された同一モダリティの過去画像との相対的位置関係は、左の面と右の面で同一の関係となるように合成する(図6(b)参照)。   Here, when the left and right mammographic images taken from the same photographing direction on one recording medium are output to the left and right on the recording medium (for example, CC-R and CC-L), the diagnostic mammography is performed. The relative positional relationship between the reduced medical image, the reduced abnormal display image, the reduced other modality processed image, or the reduced past image of the same modality on each mammography is the target on the left side and the right side. It synthesize | combines so that it may become an aspect (refer Fig.6 (a)). In addition, when outputting left or right mammography images taken from different shooting directions on a single recording medium (for example, CC-R and MLO-R), diagnostic mammography and each mammography The relative positions of the reduced medical image, the reduced abnormal display image, the reduced other modality processed image, or the reduced past image of the same modality are synthesized so that the left surface and the right surface have the same relationship. (See FIG. 6 (b)).

次に、第2の実施の形態の動作について説明する。
図12に、制御手段11により実行される画像出力制御処理Bを示す。以下、図12を参照して画像出力制御処理Bについて説明する。
Next, the operation of the second embodiment will be described.
FIG. 12 shows an image output control process B executed by the control means 11. Hereinafter, the image output control process B will be described with reference to FIG.

通信手段13を介して画像生成装置1a〜1eの何れかから画像データD及びその付帯情報が入力されると、入力された画像データD及びその付帯情報が入力画像データ記憶部141に記憶される(ステップS21)。次いで、異常陰影候補検出手段15により画像データD及びその付帯情報が読み出され、画像データDに対して異常陰影候補の検出が行われ、検出結果が異常陰影候補情報記憶部142に記憶される(ステップS22)。また、画像処理手段16により画像データD及びその付帯情報が読み出され、画像データDに対して階調処理、周波数処理、ダイナミックレンジ圧縮処理、被写体領域外の濃度補正処理等の画像処理が施され、医用画像記憶部145に記憶される(ステップS23)。   When image data D and its supplementary information are input from any of the image generation devices 1a to 1e via the communication means 13, the input image data D and its supplementary information are stored in the input image data storage unit 141. (Step S21). Next, the abnormal shadow candidate detection means 15 reads the image data D and its supplementary information, detects an abnormal shadow candidate for the image data D, and stores the detection result in the abnormal shadow candidate information storage unit 142. (Step S22). The image processing means 16 reads out the image data D and its accompanying information, and the image data D is subjected to image processing such as gradation processing, frequency processing, dynamic range compression processing, density correction processing outside the subject area, and the like. And stored in the medical image storage unit 145 (step S23).

次いで、縮小医用画像作成手段17により画像データ記憶部141から画像データDが読み出され、所定の倍率への縮小処理、被写体領域外を所定の濃度以上に濃度補正する濃度補正処理等が施されることにより縮小医用画像データが作成され、縮小医用画像記憶部143に記憶されるとともに(ステップS24)、縮小異常表示画像作成手段18により、異常陰影候補情報記憶部142に記憶された画像データDに対する異常陰影候補情報のうち異常陰影候補領域の位置情報及びアノテーション情報が読み出され、縮小医用画像データの異常陰影候補領域の位置にアノテーション情報が重畳されて縮小異常表示画像データが作成され、縮小異常表示画像記憶部144に記憶される(ステップS25)。   Next, the reduced medical image creation unit 17 reads the image data D from the image data storage unit 141, and performs a reduction process to a predetermined magnification, a density correction process for correcting a density outside the subject area to a predetermined density or more, and the like. Thus, the reduced medical image data is created and stored in the reduced medical image storage unit 143 (step S24), and the reduced abnormal display image creation unit 18 stores the image data D stored in the abnormal shadow candidate information storage unit 142. The position information and annotation information of the abnormal shadow candidate area is read out of the abnormal shadow candidate information for the image, and the reduced abnormal display image data is created by superimposing the annotation information on the position of the abnormal shadow candidate area of the reduced medical image data. It is stored in the abnormal display image storage unit 144 (step S25).

なお、画像データDがマンモグラフィであり、同一検査IDに対して左右***、2撮影方向の4枚の画像データDが存在する場合には、各画像データDについてステップS21〜25が実行される。   If the image data D is mammography and there are four image data D in the right and left breasts and two photographing directions for the same examination ID, steps S21 to S25 are executed for each image data D.

次いで、通信手段13を介して画像サーバ4の画像DB41から同一患者IDの同一撮影部位の他モダリティ画像及びその付帯情報が取得されて他モダリティ画像データ記憶手段147に記憶され(ステップS26)、取得画像処理手段21により、他モダリティ画像データに対して、所定の倍率で縮小する縮小処理、階調処理、周波数処理、モダリティ種の情報を当該他モダリティ画像データに付加する処理等の画像処理が施され、処理済みの他モダリティ画像データ(縮小された他モダリティ処理画像データ)が処理前の他モダリティ画像データと対応付けて他モダリティ画像記憶部147に記憶される(ステップS27)。   Next, the other modality image of the same imaging region of the same patient ID and the accompanying information are acquired from the image DB 41 of the image server 4 via the communication unit 13 and stored in the other modality image data storage unit 147 (step S26). The image processing means 21 performs image processing such as reduction processing for reducing at a predetermined magnification, gradation processing, frequency processing, and processing for adding modality type information to the other modality image data. Then, the processed other modality image data (reduced other modality processed image data) is stored in the other modality image storage unit 147 in association with the other modality image data before processing (step S27).

なお、ステップS26、27は、ステップS22〜25の処理と並列に処理することが可能である。   Note that steps S26 and S27 can be processed in parallel with the processing of steps S22 to S25.

次いで、操作表示手段12により合成形態の選択入力の指示が表示され、合成形態が選択入力されると(ステップS28)、合成画像作成手段19により、選択された合成形態に応じた医用画像データと、縮小医用画像データ、縮小異常表示画像データ又は縮小された他モダリティ処理画像データとが読み出され、ステップS28で選択された合成形態で合成される(ステップS29)。ここで、合成画像作成手段19においては、医用画像中の被写体領域が認識され、医用画像中の被写体領域と被写体領域外の比率に応じて、合成される縮小医用画像、縮小異常表示画像又は縮小された他モダリティ処理画像におけるサイズ変更が行われ、被写体領域の情報の欠落のないように縮小医用画像、縮小異常表示画像又は縮小された他モダリティ処理画像が配置され、配置された縮小医用画像又は縮小異常表示画像上にスケール目盛り、縮小率が、縮小された他モダリティ処理画像上にスケール目盛りが付加されて合成画像が作成される。合成形態としては、操作表示手段12により、例えば、マンモグラフィの場合には上述した(1)〜(12)、(17)〜(28)、(33)〜(43)の何れかの形態を選択可能となっている。   Next, when the operation display means 12 displays an instruction to select and input the composite form, and the composite form is selected and input (step S28), the composite image creation means 19 and the medical image data corresponding to the selected composite form are displayed. Then, the reduced medical image data, the reduced abnormal display image data, or the reduced other modality processed image data are read out and combined in the combination form selected in step S28 (step S29). Here, the composite image creating means 19 recognizes the subject area in the medical image, and combines the reduced medical image, the reduced abnormal display image, or the reduced image in accordance with the ratio of the subject area in the medical image to the outside of the subject area. The size of the other modality processed image is changed, and the reduced medical image, the reduced abnormal display image, or the reduced other modality processed image is arranged so that there is no loss of information on the subject area, and the reduced medical image or A scale scale and a reduction rate are added to the reduced abnormal display image, and a scale scale is added to the reduced other modality processed image to create a composite image. As a composite form, for example, in the case of mammography, one of the forms (1) to (12), (17) to (28), and (33) to (43) is selected by the operation display unit 12. It is possible.

合成画像が作成されると、操作表示手段12の表示画面上に合成された画像が表示される(ステップS30)。この画面上から、異常陰影候補に対する医師の「正常/異常」の診断結果及び/又コメント等の所見情報の入力指示がなされ、文字情報が入力されると(ステップS31;YES)、合成画像の各異常陰影候補に対して入力された「正常/異常」の別を示すマーカが付加されるとともに、入力されたコメントが医用画像の被写体領域外の空き領域に付加されることにより、入力された文字が配置される(ステップS32)。入力された情報は、検査IDにより画像データDに対応付けて記憶手段14の所見情報記憶部146に記憶される(ステップS33)。次いで、表示画面上から出力形態(合成画像のデータを記録装置3に出力するか/医用画像データと、縮小医用画像データ、縮小異常表示画像データ又は縮小された他モダリティ処理画像データとを個別に画像記録装置3に出力するか)が選択され、出力が指示されると(ステップS34)、通信手段13を介して、選択された出力形態に応じた画像データが画像記録装置3に出力される(ステップS35)。   When the composite image is created, the composite image is displayed on the display screen of the operation display means 12 (step S30). From this screen, when an instruction to input diagnosis information such as a “normal / abnormal” diagnosis and / or comment information such as a comment is given to the abnormal shadow candidate and character information is input (step S31; YES), the composite image is displayed. A marker indicating whether “normal / abnormal” is input for each abnormal shadow candidate is added, and the input comment is added to an empty area outside the subject area of the medical image. Characters are arranged (step S32). The input information is stored in the finding information storage unit 146 of the storage unit 14 in association with the image data D by the examination ID (step S33). Next, an output form (outputs composite image data to the recording device 3 / medical image data, reduced medical image data, reduced abnormal display image data, or reduced other modality processed image data individually from the display screen. When output is instructed to be output to the image recording apparatus 3 and output is instructed (step S34), image data corresponding to the selected output form is output to the image recording apparatus 3 via the communication means 13. (Step S35).

ここで、ステップS12において合成画像のデータの出力が指示されると、画像記録装置3において、診断用に各種情報が見やすく配置された画像を容易に出力することができるが、合成画像データは情報量が大きいため、通信データ量が大きくなるという問題がある。そこで、各画像を個別に観察する等、合成画像データを出力する必要がない場合には、医用画像データと、縮小医用画像データ、縮小異常表示画像データ又は縮小された他モダリティ処理画像データとを個別に送信することにより、ネットワークN上の通信データ量を抑制することができる。   Here, when the output of the composite image data is instructed in step S12, the image recording apparatus 3 can easily output an image in which various types of information are arranged in an easy-to-see manner for diagnosis. Since the amount is large, there is a problem that the amount of communication data becomes large. Therefore, when it is not necessary to output composite image data such as observing each image individually, medical image data and reduced medical image data, reduced abnormal display image data, or reduced other modality processed image data are obtained. By transmitting individually, the amount of communication data on the network N can be suppressed.

なお、合成画像データは、記憶手段14に記憶し、操作表示手段12からの入力に応じて、画像の合成処理を行うことなく出力できるようにしてもよい。   Note that the composite image data may be stored in the storage unit 14 so that it can be output without performing an image synthesis process in response to an input from the operation display unit 12.

また、上記画像出力制御処理Bにおいては、画像サーバ4のDB41から他モダリティ画像データを取得する場合を例としたが、同一モダリティの過去画像のデータを他モダリティ画像データと併せて取得して縮小し、医用画像に合成したり、画像記録装置3に出力したりするようにしてもよい。また、画像サーバ4の画像DB41から同一モダリティの過去画像のデータのみを取得し、医用画像に合成したり、画像記録装置3に出力したりするようにしてもよい。   In the image output control process B, the case where other modality image data is acquired from the DB 41 of the image server 4 is taken as an example. However, past image data of the same modality is acquired together with other modality image data and reduced. However, it may be combined with a medical image or output to the image recording apparatus 3. Alternatively, only past image data of the same modality may be acquired from the image DB 41 of the image server 4 and may be combined with a medical image or output to the image recording apparatus 3.

以上説明したように、画像処理装置2によれば、画像生成装置1a〜1eから通信手段13を介して入力された画像データDに対して、異常陰影候補検出手段15により異常陰影候補領域を検出するとともに、画像処理手段16で画像データDに対して画像処理を施し、縮小医用画像作成手段17において、画像処理の施された医用画像データを所定の倍率で縮小することにより縮小医用画像を作成する。また、縮小異常表示画像作成手段18において、縮小医用画像に異常陰影候補の検出結果のアノテーションを重畳することにより、縮小異常表示画像を作成する。また、通信手段13を介して同一患者の同一部位を撮影した他モダリティ画像データを取得し、取得画像処理手段21により縮小処理をはじめとする画像処理を施して、縮小された他モダリティ処理画像を作成する。そして、合成画像作成手段19において、操作表示手段12から入力された合成形態に基づいて、医用画像データの被写体領域の情報の欠落のないように医用画像上に縮小医用画像、縮小異常表示画像、又は縮小された他モダリティ処理画像を配置して合成画像を作成し、操作表示手段12により選択された画像データを通信手段13を介して画像記録装置3へ出力する。   As described above, according to the image processing device 2, the abnormal shadow candidate region is detected by the abnormal shadow candidate detection unit 15 for the image data D input from the image generation devices 1 a to 1 e via the communication unit 13. In addition, the image processing unit 16 performs image processing on the image data D, and the reduced medical image creation unit 17 creates a reduced medical image by reducing the medical image data subjected to the image processing at a predetermined magnification. To do. Further, the reduced abnormal display image creating means 18 creates a reduced abnormal display image by superimposing the annotation of the detection result of the abnormal shadow candidate on the reduced medical image. Further, other modality image data obtained by imaging the same part of the same patient is acquired via the communication unit 13, and image processing including reduction processing is performed by the acquired image processing unit 21, and the reduced other modality processed image is obtained. create. Then, in the composite image creating means 19, based on the composite form input from the operation display means 12, the reduced medical image, the reduced abnormal display image, and the like on the medical image so as not to lose information on the subject area of the medical image data, Alternatively, a reduced other modality processed image is arranged to create a composite image, and the image data selected by the operation display unit 12 is output to the image recording device 3 via the communication unit 13.

従って、医用画像上に、当該医用画像の情報の欠落なく、異常陰影候補の検出結果を重畳した縮小異常表示画像や、他の方向から同一部位を撮影した、当該医用画像に関連する医用画像の縮小医用画像、縮小異常表示画像、他のモダリティで同一患者の同一部位を撮影した縮小された他モダリティ処理画像等、医用画像の診断の参考となる画像が表示されたハードコピーを出力するので、医用画像の診断をより効率的に行うことができるようになり、医師の診断性能及び作業効率を向上することができる。   Therefore, the reduced abnormal display image in which the detection result of the abnormal shadow candidate is superimposed on the medical image without missing the information of the medical image, or the medical image related to the medical image obtained by photographing the same part from other directions. Since a reduced medical image, a reduced abnormal display image, a reduced other modality processed image obtained by imaging the same part of the same patient with another modality, etc., a hard copy on which an image that is a reference for diagnosis of a medical image is displayed is output. The medical image can be diagnosed more efficiently, and the diagnostic performance and work efficiency of the doctor can be improved.

なお、上記第1及び第2の実施の形態における記述内容は、本発明に係る医用画像診断支援システム200の好適な一例であり、これに限定されるものではない。
例えば、第2の実施の形態においては、画像サーバ4がネットワークN上の画像生成装置(モダリティ)から生成された画像データを格納する画像DB41を備え、画像処理装置2は、画像データDを生成したモダリティ以外のモダリティにより撮影された同一患者、同一撮影部位の画像データ、即ち、他モダリティ画像データをこの画像DB41から取得することとしたが、各画像生成装置がそれぞれで生成した画像データを記憶し、画像処理装置2は、各画像生成装置から他モダリティ画像データを取得するようにしてもよい。
The description content in the first and second embodiments is a preferred example of the medical image diagnosis support system 200 according to the present invention, and the present invention is not limited to this.
For example, in the second embodiment, the image server 4 includes an image DB 41 that stores image data generated from an image generation device (modality) on the network N, and the image processing device 2 generates image data D. The image data of the same patient and the same imaged part, that is, the other modality image data taken by the modality other than the modality that has been obtained, is obtained from the image DB 41, and the image data generated by each image generating device is stored. Then, the image processing device 2 may acquire other modality image data from each image generation device.

また、医用画像に合成する画像は、縮小医用画像、縮小異常表示画像、縮小された他モダリティ処理画像、縮小された同一モダリティの過去画像のうち何れか1つであってもよいし、複数種類を組み合わせたものであってもよい。   The image to be combined with the medical image may be any one of a reduced medical image, a reduced abnormal display image, a reduced other modality processed image, and a reduced past image of the same modality, or a plurality of types May be combined.

その他、医用画像診断支援システム100、200を構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。   In addition, the detailed configuration and detailed operation of each device constituting the medical image diagnosis support systems 100 and 200 can be changed as appropriate without departing from the spirit of the present invention.

本発明に係る医用画像診断支援システム100の全体構成を示す図である。1 is a diagram showing an overall configuration of a medical image diagnosis support system 100 according to the present invention. 図1の画像処理装置2の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the image processing apparatus 2 of FIG. 図2の記憶手段14の構成例を示す図である。It is a figure which shows the structural example of the memory | storage means 14 of FIG. 合成画像作成手段19で作成される合成画像191、192の一例を示す図である。It is a figure which shows an example of the composite images 191 and 192 created by the composite image creation means 19. 合成画像作成手段19で作成される合成画像193、194の一例を示す図である。It is a figure which shows an example of the composite images 193 and 194 created by the composite image creation means 19. 1枚の記録媒体上に同じ撮影方向から撮影された左右のマンモグラフィ画像を記録媒体上に左右に二面出力する場合の画像の配置例を示す図である。It is a figure which shows the example of an image arrangement | positioning in the case of outputting the right and left mammography image image | photographed from the same imaging | photography direction on one sheet | seat on two sheets on the recording medium. 図2の制御手段11により実行される画像出力制御処理Aを示すフローチャートである。It is a flowchart which shows the image output control process A performed by the control means 11 of FIG. 画像処理装置2により出力される出力画像195の一例を示す図である。It is a figure which shows an example of the output image 195 output by the image processing apparatus 2. FIG. 本発明に係る医用画像診断支援システム200の全体構成を示す図である。1 is a diagram showing an overall configuration of a medical image diagnosis support system 200 according to the present invention. 図9の画像処理装置2の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the image processing apparatus 2 of FIG. 図9の記憶手段14の構成例を示す図である。It is a figure which shows the structural example of the memory | storage means 14 of FIG. 図9の制御手段11により実行される画像出力制御処理Bを示すフローチャートである。It is a flowchart which shows the image output control process B performed by the control means 11 of FIG.

符号の説明Explanation of symbols

100、200 医用画像診断支援システム
1a〜1e 画像生成装置
2 画像処理装置
3 画像記録装置
4 画像サーバ
41 画像DB
11 制御手段
12 操作表示手段
13 通信手段
14 記憶手段
15 異常陰影候補検出手段
16 画像処理手段
17 縮小医用画像作成手段
18 縮小異常表示画像作成手段
19 合成画像作成手段
20 バス
21 取得画像処理手段
100, 200 Medical image diagnosis support systems 1a to 1e Image generation device 2 Image processing device 3 Image recording device 4 Image server 41 Image DB
11 Control means 12 Operation display means 13 Communication means 14 Storage means 15 Abnormal shadow candidate detection means 16 Image processing means 17 Reduced medical image creation means 18 Reduced abnormal display image creation means 19 Composite image creation means 20 Bus 21 Acquired image processing means

Claims (16)

人体を撮影した医用画像を生成するモダリティと、前記生成された医用画像に画像処理を施す画像処理装置と、前記画像処理装置から出力された前記医用画像を記録媒体上に記録し出力する画像記録装置を含む医用画像診断支援システムにおいて、
前記医用画像を解析し、異常陰影候補を検出する異常陰影候補検出手段と、
前記医用画像を所定の倍率で縮小し、縮小医用画像を作成する縮小医用画像作成手段と、
前記作成された縮小医用画像に前記異常陰影候補の検出結果を重畳し、縮小異常表示画像を作成する縮小異常表示画像作成手段と、
前記医用画像の被写体領域を抽出する抽出手段と、
前記縮小医用画像、及び/又は、前記縮小異常表示画像を、前記抽出された前記医用画像の被写体領域の情報が欠損しない領域に配置し、前記医用画像と、前記縮小医用画像又は前記縮小異常表示画像とを合成して合成画像を作成する合成画像作成手段と、
前記合成画像、前記医用画像、前記縮小医用画像、前記縮小異常表示画像の少なくとも一つを前記画像記録装置に出力する出力手段と、
を備えたことを特徴とする医用画像診断支援システム。
A modality for generating a medical image obtained by photographing a human body, an image processing device for performing image processing on the generated medical image, and an image recording for recording and outputting the medical image output from the image processing device on a recording medium In a medical image diagnosis support system including an apparatus,
An abnormal shadow candidate detecting means for analyzing the medical image and detecting an abnormal shadow candidate;
A reduced medical image creating means for reducing the medical image at a predetermined magnification and creating a reduced medical image;
A reduced abnormal display image creating means for creating a reduced abnormal display image by superimposing a detection result of the abnormal shadow candidate on the created reduced medical image;
Extracting means for extracting a subject area of the medical image;
The reduced medical image and / or the reduced abnormal display image is arranged in an area where information on the subject area of the extracted medical image is not lost, and the medical image, the reduced medical image, or the reduced abnormal display is displayed. A composite image creating means for creating a composite image by combining with an image;
Output means for outputting at least one of the composite image, the medical image, the reduced medical image, and the reduced abnormality display image to the image recording device;
A medical image diagnosis support system comprising:
前記作成された縮小医用画像及び前記縮小異常表示画像を前記医用画像に対応付けて記憶する記憶手段を備えたことを特徴とする請求項1に記載の医用画像診断支援システム。   The medical image diagnosis support system according to claim 1, further comprising storage means for storing the created reduced medical image and the reduced abnormality display image in association with the medical image. 前記医用画像を生成したモダリティとは別の種類のモダリティにより生成された同一人体の同一撮影部位の他モダリティ画像、及び/又は、同一モダリティにより生成された過去の医用画像を取得する取得手段と、
前記取得された他モダリティ画像、及び/又は、過去の医用画像を記憶する取得画像記憶手段と、
前記取得画像記憶手段から前記他モダリティ画像、及び/又は、過去の医用画像を読み出して所定の倍率で縮小し、縮小医用画像を作成する取得画像処理手段と、
を備え、
前記合成画像作成手段により前記医用画像と合成される前記縮小医用画像、及び/又は、前記縮小異常表示画像は、下記の(1)〜(5)の何れかであることを特徴とする請求項1又は2に記載の医用画像診断支援システム。
(1)前記医用画像の縮小医用画像
(2)前記医用画像の縮小異常表示画像
(3)前記医用画像に関連する他の医用画像の縮小医用画像
(4)前記医用画像に関連する他の医用画像の縮小異常表示画像
(5)前記取得画像処理手段から得られた縮小医用画像
An acquisition means for acquiring another modality image of the same imaging region of the same human body generated by a different type of modality from the modality that generated the medical image, and / or a past medical image generated by the same modality;
Acquired image storage means for storing the acquired other modality images and / or past medical images;
An acquired image processing means for reading out the other modality image and / or a past medical image from the acquired image storage means, reducing the image at a predetermined magnification, and creating a reduced medical image;
With
The reduced medical image and / or the reduced abnormal display image combined with the medical image by the composite image creating unit is any one of the following (1) to (5). The medical image diagnosis support system according to 1 or 2.
(1) Reduced medical image of the medical image (2) Reduced abnormal display image of the medical image (3) Reduced medical image of another medical image related to the medical image (4) Other medical images related to the medical image Reduced abnormal display image of image (5) Reduced medical image obtained from the acquired image processing means
前記取得画像処理手段は、前記他モダリティ画像に画像処理を施す他モダリティ画像処理手段を有し、前記縮小された他モダリティ画像に階調処理、周波数処理、モダリティの種類を示す情報を画像内に付加する処理のうち少なくとも一つ以上の処理を行うことを特徴とする請求項3に記載の医用画像診断支援システム。   The acquired image processing means includes other modality image processing means for performing image processing on the other modality image, and information indicating gradation processing, frequency processing, and modality type is included in the reduced other modality image in the image. The medical image diagnosis support system according to claim 3, wherein at least one of the processes to be added is performed. 前記縮小異常表示画像作成手段は、前記異常陰影候補の検出結果として、少なくとも異常陰影候補の位置を示すアノテーション情報を前記縮小医用画像作成手段により作成された縮小医用画像に重畳し、前記縮小異常表示画像を作成することを特徴とする請求項1〜4の何れか一項に記載の医用画像診断支援システム。   The reduced abnormal display image creation unit superimposes annotation information indicating at least the position of the abnormal shadow candidate on the reduced medical image created by the reduced medical image creation unit as the detection result of the abnormal shadow candidate, and displays the reduced abnormal display. The medical image diagnosis support system according to any one of claims 1 to 4, wherein an image is created. 前記縮小医用画像作成手段は、更に、前記縮小された医用画像を解析することにより被写体領域を認識し、前記認識された被写体領域以外の領域が所定の濃度以上となるように濃度補正を行うことを特徴とする請求項1〜5の何れか一項に記載の医用画像診断支援システム。   The reduced medical image creation means further recognizes a subject area by analyzing the reduced medical image, and performs density correction so that the area other than the recognized subject area has a predetermined density or more. The medical image diagnosis support system according to any one of claims 1 to 5. 前記取得画像処理手段は、更に、前記縮小された他モダリティ画像、及び/又は、前記縮小された過去の医用画像を解析することによりそれぞれの被写体領域を認識し、前記認識された被写体領域以外の領域が所定の濃度以上となるように濃度補正を行うことを特徴とする請求項3〜6の何れか一項に記載の医用画像診断支援システム。   The acquired image processing means further recognizes each subject area by analyzing the reduced other modality image and / or the reduced past medical image, and other than the recognized subject area. The medical image diagnosis support system according to any one of claims 3 to 6, wherein density correction is performed so that a region has a predetermined density or more. 前記縮小医用画像作成手段又は前記取得画像処理手段により作成された縮小医用画像、及び/又は、前記縮小異常表示画像上にスケール目盛りを付加する、及び/又は、縮小率を示す情報を付加するサイズ情報付加手段を備えたことを特徴とする請求項1〜7の何れか一項に記載の医用画像診断支援システム。   Size to which a scale mark is added to the reduced medical image created by the reduced medical image creation unit or the acquired image processing unit and / or the reduced abnormal display image and / or information indicating the reduction rate is added The medical image diagnosis support system according to any one of claims 1 to 7, further comprising an information addition unit. 前記医用画像、前記合成画像、前記縮小医用画像、前記縮小異常表示画像に対する所見情報を入力する所見情報入力手段と、
前記入力された所見情報を前記出力手段により出力する画像に付加する所見情報付加手段と、
を備えたことを特徴とする請求項1〜8の何れか一項に記載の医用画像診断支援システム。
Finding information input means for inputting finding information for the medical image, the composite image, the reduced medical image, and the reduced abnormal display image;
Finding information adding means for adding the input finding information to an image output by the output means;
The medical image diagnosis support system according to any one of claims 1 to 8, further comprising:
前記所見情報入力手段により入力された情報を前記医用画像と対応付けて記憶する所見情報記憶手段を備えたことを特徴とする請求項9に記載の医用画像診断支援システム。   The medical image diagnosis support system according to claim 9, further comprising a finding information storage unit that stores information input by the finding information input unit in association with the medical image. 前記合成画像作成手段は、前記医用画像がマンモグラフィである場合、下記の(1)〜(8)の何れか一つに係る形態で、医用画像上に、前記縮小医用画像、前記縮小異常表示画像を配置して合成することを特徴とする請求項1〜10の何れか一項に記載の医用画像診断支援システム。
(1)医用画像(MLO(斜位方向)−R(右***)、L(左***))と縮小医用画像(CC(上下方向)−R、L)
(2)医用画像(CC−R、L)と縮小医用画像(MLO−R、L)
(3)医用画像(MLO−R、CC−R)と縮小医用画像(MLO−L、CC−L)
(4)医用画像(MLO−L、CC−L)と縮小医用画像(MLO−R、CC−R)
(5)医用画像(MLO−R、L)と縮小異常表示画像(CC−R、L)
(6)医用画像(CC−R、L)と縮小異常表示画像(MLO−R、L)
(7)医用画像(MLO−R、CC−R)と縮小異常表示画像(MLO−L、CC−L)
(8)医用画像(MLO−L、CC−L)と縮小異常表示画像(MLO−R、CC−R)
When the medical image is a mammography, the composite image creating means has the form according to any one of (1) to (8) below, and the reduced medical image and the reduced abnormal display image on the medical image. The medical image diagnosis support system according to claim 1, wherein the medical image diagnosis support system is arranged and synthesized.
(1) Medical image (MLO (oblique direction) -R (right breast), L (left breast)) and reduced medical image (CC (vertical direction) -R, L)
(2) Medical image (CC-R, L) and reduced medical image (MLO-R, L)
(3) Medical images (MLO-R, CC-R) and reduced medical images (MLO-L, CC-L)
(4) Medical images (MLO-L, CC-L) and reduced medical images (MLO-R, CC-R)
(5) Medical image (MLO-R, L) and reduced abnormal display image (CC-R, L)
(6) Medical image (CC-R, L) and reduced abnormal display image (MLO-R, L)
(7) Medical image (MLO-R, CC-R) and reduced abnormal display image (MLO-L, CC-L)
(8) Medical images (MLO-L, CC-L) and reduced abnormal display images (MLO-R, CC-R)
前記合成画像作成手段は、前記医用画像がマンモグラフィである場合、下記の(1)〜(8)の何れか一つに係る形態で、前記医用画像上に、前記縮小医用画像、前記縮小異常表示画像を配置して合成することを特徴とする請求項1〜10の何れか一項に記載の医用画像診断支援システム。
(1)医用画像(MLO−R)と縮小医用画像(MLO−R、CC−R)
(2)医用画像(MLO−L)と縮小医用画像(MLO−L、CC−L)
(3)医用画像(CC−R)と縮小医用画像(MLO−R、CC−R)
(4)医用画像(CC−L)と縮小医用画像(MLO−L、CC−L)
(5)医用画像(MLO−R)と縮小異常表示画像(MLO−R、CC−R)
(6)医用画像(MLO−L)と縮小異常表示画像(MLO−L、CC−L)
(7)医用画像(CC−R)と縮小異常表示画像(MLO−R、CC−R)
(8)医用画像(CC−L)と縮小異常表示画像(MLO−L、CC−L)
When the medical image is a mammography, the composite image creating means displays the reduced medical image and the reduced abnormality display on the medical image in the form according to any one of (1) to (8) below. The medical image diagnosis support system according to any one of claims 1 to 10, wherein images are arranged and synthesized.
(1) Medical image (MLO-R) and reduced medical image (MLO-R, CC-R)
(2) Medical image (MLO-L) and reduced medical image (MLO-L, CC-L)
(3) Medical image (CC-R) and reduced medical image (MLO-R, CC-R)
(4) Medical image (CC-L) and reduced medical image (MLO-L, CC-L)
(5) Medical image (MLO-R) and reduced abnormal display image (MLO-R, CC-R)
(6) Medical image (MLO-L) and reduced abnormal display image (MLO-L, CC-L)
(7) Medical image (CC-R) and reduced abnormal display image (MLO-R, CC-R)
(8) Medical image (CC-L) and reduced abnormal display image (MLO-L, CC-L)
前記合成画像作成手段は、前記医用画像の被写体領域を認識し、前記医用画像中の被写体領域と被写体領域外の領域との比率に応じて、前記医用画像に合成される前記縮小医用画像、及び/又は、前記縮小異常表示画像のサイズ変更を行うことを特徴とする請求項1〜12の何れか一項に記載の医用画像診断支援システム。   The combined image creating means recognizes a subject area of the medical image, and combines the reduced medical image combined with the medical image in accordance with a ratio of a subject area in the medical image to an area outside the subject area; and 13. The medical image diagnosis support system according to claim 1, wherein the size of the reduced abnormal display image is changed. 前記合成画像作成手段は、前記医用画像に前記縮小医用画像、及び/又は、前記縮小異常表示画像が複数合成される場合、前記医用画像に合成される各画像が同じサイズになるように調整することを特徴とする請求項1〜13の何れか一項に記載の医用画像診断支援システム。   The composite image creation means adjusts the images to be combined with the medical image to have the same size when a plurality of the reduced medical images and / or the reduced abnormal display images are combined with the medical images. The medical image diagnosis support system according to claim 1, wherein the medical image diagnosis support system is a medical image diagnosis support system. 前記合成画像作成手段は、前記医用画像が左右二面からなる場合、前記各医用画像の被写体領域を認識し、前記認識された各被写体領域と前記各医用画像上の前記縮小医用画像、及び/又は、前記縮小異常表示画像との相対的位置関係が左の面と右の面で同一若しくは対象的な態様となるように合成を行うことを特徴とする請求項1〜14に記載の医用画像診断支援システム。   The composite image creating means recognizes a subject area of each medical image when the medical image has two left and right sides, and recognizes each recognized subject area and the reduced medical image on each medical image, and / or The medical image according to any one of claims 1 to 14, wherein the composition is performed so that a relative positional relationship with the reduced abnormality display image is the same or a target aspect on the left surface and the right surface. Diagnosis support system. 下記(1)又は(2)の出力形態を選択する出力形態選択手段を備えたことを特徴とする請求項1〜15の何れか一項に記載の医用画像診断支援システム。
(1)医用画像と、前記医用画像に対する縮小異常表示画像、及び/又は、前記医用画像に対する縮小医用画像とを個別に前記画像記録装置に出力
(2)合成画像を前記画像記録装置に出力
The medical image diagnosis support system according to any one of claims 1 to 15, further comprising output form selection means for selecting the following output form (1) or (2).
(1) A medical image, a reduced abnormal display image for the medical image, and / or a reduced medical image for the medical image are individually output to the image recording device. (2) A composite image is output to the image recording device.
JP2003360469A 2003-01-31 2003-10-21 Medical image diagnosis support system Pending JP2005124617A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003360469A JP2005124617A (en) 2003-10-21 2003-10-21 Medical image diagnosis support system
US10/764,413 US20040151358A1 (en) 2003-01-31 2004-01-23 Medical image processing system and method for processing medical image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003360469A JP2005124617A (en) 2003-10-21 2003-10-21 Medical image diagnosis support system

Publications (1)

Publication Number Publication Date
JP2005124617A true JP2005124617A (en) 2005-05-19

Family

ID=34640772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003360469A Pending JP2005124617A (en) 2003-01-31 2003-10-21 Medical image diagnosis support system

Country Status (1)

Country Link
JP (1) JP2005124617A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006126384A1 (en) * 2005-05-23 2006-11-30 Konica Minolta Medical & Graphic, Inc. Abnormal shadow candidate display method, and medical image processing system
JP2006334140A (en) * 2005-06-02 2006-12-14 Konica Minolta Medical & Graphic Inc Display method of abnormal shadow candidate and medical image processing system
WO2007059615A1 (en) * 2005-11-23 2007-05-31 The Medipattern Corporation Method and system of computer-aided quantitative and qualitative analysis of medical images
JP2007241559A (en) * 2006-03-07 2007-09-20 Toshiba Medical Systems Corp Medical image diagnosis support device and medical image diagnostic device equipped with this device
JP2008000278A (en) * 2006-06-21 2008-01-10 Fujifilm Corp Image reading request apparatus, method and program
JP2008136867A (en) * 2006-11-30 2008-06-19 General Electric Co <Ge> Imaging parameter storage method
JP2009106450A (en) * 2007-10-29 2009-05-21 Medical Standard:Kk Method, apparatus and program to support medical image diagnosis
JP2009136457A (en) * 2007-12-05 2009-06-25 Toshiba Corp Image processing apparatus and diagnostic image display program
US7783094B2 (en) 2005-06-02 2010-08-24 The Medipattern Corporation System and method of computer-aided detection
JP2011224355A (en) * 2010-03-30 2011-11-10 Toshiba Corp Image processing apparatus and control program of the same
JP2012125428A (en) * 2010-12-16 2012-07-05 Shimadzu Corp X-ray imaging apparatus
JP2012130648A (en) * 2010-12-20 2012-07-12 Toshiba Medical Systems Corp Image processing apparatus and image processing method
JP2015177886A (en) * 2014-03-19 2015-10-08 株式会社島津製作所 X-ray photographing apparatus
CN113808101A (en) * 2021-09-16 2021-12-17 什维新智医疗科技(上海)有限公司 Mammary nodule calcification analytical equipment

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006126384A1 (en) * 2005-05-23 2006-11-30 Konica Minolta Medical & Graphic, Inc. Abnormal shadow candidate display method, and medical image processing system
US7783094B2 (en) 2005-06-02 2010-08-24 The Medipattern Corporation System and method of computer-aided detection
JP2006334140A (en) * 2005-06-02 2006-12-14 Konica Minolta Medical & Graphic Inc Display method of abnormal shadow candidate and medical image processing system
WO2007059615A1 (en) * 2005-11-23 2007-05-31 The Medipattern Corporation Method and system of computer-aided quantitative and qualitative analysis of medical images
US8391574B2 (en) 2005-11-23 2013-03-05 The Medipattern Corporation Method and system of computer-aided quantitative and qualitative analysis of medical images from multiple modalities
US8014576B2 (en) 2005-11-23 2011-09-06 The Medipattern Corporation Method and system of computer-aided quantitative and qualitative analysis of medical images
JP2007241559A (en) * 2006-03-07 2007-09-20 Toshiba Medical Systems Corp Medical image diagnosis support device and medical image diagnostic device equipped with this device
JP2008000278A (en) * 2006-06-21 2008-01-10 Fujifilm Corp Image reading request apparatus, method and program
JP2008136867A (en) * 2006-11-30 2008-06-19 General Electric Co <Ge> Imaging parameter storage method
JP2009106450A (en) * 2007-10-29 2009-05-21 Medical Standard:Kk Method, apparatus and program to support medical image diagnosis
JP2009136457A (en) * 2007-12-05 2009-06-25 Toshiba Corp Image processing apparatus and diagnostic image display program
JP2011224355A (en) * 2010-03-30 2011-11-10 Toshiba Corp Image processing apparatus and control program of the same
JP2012125428A (en) * 2010-12-16 2012-07-05 Shimadzu Corp X-ray imaging apparatus
JP2012130648A (en) * 2010-12-20 2012-07-12 Toshiba Medical Systems Corp Image processing apparatus and image processing method
US9072490B2 (en) 2010-12-20 2015-07-07 Toshiba Medical Systems Corporation Image processing apparatus and image processing method
JP2015177886A (en) * 2014-03-19 2015-10-08 株式会社島津製作所 X-ray photographing apparatus
CN113808101A (en) * 2021-09-16 2021-12-17 什维新智医疗科技(上海)有限公司 Mammary nodule calcification analytical equipment
CN113808101B (en) * 2021-09-16 2023-11-21 什维新智医疗科技(上海)有限公司 Breast nodule calcification analysis device

Similar Documents

Publication Publication Date Title
US11455754B2 (en) System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement
US7388974B2 (en) Medical image processing apparatus
JP4911029B2 (en) Abnormal shadow candidate detection method, abnormal shadow candidate detection device
US20040151358A1 (en) Medical image processing system and method for processing medical image
WO2006126384A1 (en) Abnormal shadow candidate display method, and medical image processing system
JP2009136376A (en) Image processing device and program thereof
JP2011110175A (en) Medical image display system and program
JP2007151645A (en) Medical diagnostic imaging support system
JP2005124617A (en) Medical image diagnosis support system
JP2007159643A (en) Image processing device and method
JP4356327B2 (en) Medical image processing apparatus and medical image processing method
JP3758894B2 (en) Mammogram image diagnosis support device
JP2006346094A (en) Method for outputting detected information and medical image processing system
JP2011103095A (en) Medical image display system and program
JP2006325640A (en) Method of displaying abnormal shadow candidate and medical image processing system
JP2006340835A (en) Displaying method for abnormal shadow candidate, and medical image processing system
JP4631260B2 (en) Image diagnosis support apparatus, image diagnosis support method, and program
JP2011135936A (en) Image processor, medical image diagnostic apparatus, and image processing program
JP2006334140A (en) Display method of abnormal shadow candidate and medical image processing system
JP2011115264A (en) Medical information display device and program
JP5363962B2 (en) Diagnosis support system, diagnosis support program, and diagnosis support method
JP4591142B2 (en) Medical imaging system
JP2005173818A (en) Medical image diagnostic support system
JP4475054B2 (en) Breast image processing method and breast image output system
JP4385707B2 (en) Medical image processing system, medical image processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100309