WO2014103061A1 - ボリュームデータ解析システム及びその方法 - Google Patents

ボリュームデータ解析システム及びその方法 Download PDF

Info

Publication number
WO2014103061A1
WO2014103061A1 PCT/JP2012/084207 JP2012084207W WO2014103061A1 WO 2014103061 A1 WO2014103061 A1 WO 2014103061A1 JP 2012084207 W JP2012084207 W JP 2012084207W WO 2014103061 A1 WO2014103061 A1 WO 2014103061A1
Authority
WO
WIPO (PCT)
Prior art keywords
cluster
data
target
learning
volume data
Prior art date
Application number
PCT/JP2012/084207
Other languages
English (en)
French (fr)
Inventor
琢磨 柴原
崇文 小池
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2012/084207 priority Critical patent/WO2014103061A1/ja
Priority to US14/655,512 priority patent/US9589344B2/en
Priority to JP2014554042A priority patent/JP5982726B2/ja
Publication of WO2014103061A1 publication Critical patent/WO2014103061A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52036—Details of receivers using analysis of echo signal for target characterisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to a volume data analysis system and method for extracting a target from three-dimensional volume data.
  • medical image processing devices for visualizing information inside the human body are rapidly spreading and are used for various diagnoses.
  • modalities used in medical image processing apparatuses include X-ray CT (Computed Tomography), PET (Positron Emission Tomography), MRI (Magnetic Resonance Imaging), US (Ultrasonography), etc. These modalities are three-dimensional. Volume data can be obtained.
  • a doctor can diagnose the presence and progression of liver cancer.
  • an automatic detection device (hereinafter referred to as CAD: Computer Aided Diagnosis) that automatically detects a disease typified by cancer or the like from volume data for the purpose of reducing the burden on the doctor. )
  • CAD Computer Aided Diagnosis
  • CAD Computer Aided Diagnosis
  • specific noise may be mixed in the volume data depending on the modality, and depending on the noise, it is difficult to automatically detect a disease with an automatic detection device. Therefore, development of an automatic detection device that can detect a disease as accurately as a doctor is now strongly desired.
  • the technique which detects a target object from volume data is disclosed by the following patent documents 1, 2, for example.
  • JP 2009-22342 A Japanese Patent No. 4388121
  • Patent Document 1 when extracting a target from volume data, threshold processing for determining the size of the target with a threshold is performed, so that noise components included in the volume data can be removed.
  • the target is present in the non-noise region, there is a problem that the target is removed if the size is equal to or smaller than the threshold value.
  • the work of setting the threshold is complicated, and the burden on doctors and engineers (hereinafter referred to as users) who are users of the apparatus is large.
  • a threshold value must be set for each of a plurality of different types of scales.
  • the feature amount for performing polyp detection has a three-dimensional rotation dependency, and it is necessary to perform learning for each different rotation. That is, if the rotation pattern is not increased, the detection performance may be reduced. Moreover, there is a concern about an increase in calculation cost required for pattern rotation. Furthermore, since it is necessary to calculate the feature amount directly from the voxel value of the three-dimensional volume data, the calculation cost is high.
  • the present invention has been made in view of the problems of the conventional technique, and an object thereof is to provide a volume data analysis system and method capable of reducing the calculation cost.
  • the present invention converts the three-dimensional volume data generated by the modality into polygon data and converts it into polygon data, and divides the converted polygon data into a plurality of clusters to form each cluster.
  • the L2 norm vector of the spherical harmonic function is calculated for each cluster as a feature vector based on the polygon data to be processed, and based on the calculated feature vector and learning data obtained by machine learning using training data. , Identifying whether each of the clusters is a target, and displaying an image of the cluster identified as the target on at least a screen.
  • the calculation cost can be reduced.
  • FIG. 1 It is a block diagram of a volume data analysis system.
  • (A) is a schematic diagram of three-dimensional volume data
  • (b), (c), and (d) are configuration diagrams of a two-dimensional image obtained from the three-dimensional volume data.
  • It is a flowchart for demonstrating the process of a main processor.
  • It is a display example of an image obtained by converting volume data into polygons, and is a diagram illustrating a display example of an image of only a target. It is a figure which shows the example of a display of the image obtained by converting volume data into a polygon, Comprising: The example of a display containing the target and a non-target.
  • (A) is a figure which shows the example of a display of the three-dimensional image of the cluster identified as noise
  • (b) calculates the L2 norm vector of an N-dimensional spherical harmonic function from the polygon data of the cluster which shows noise. It is the figure which visualized the calculation result as a histogram.
  • (A) is a figure which shows the example of a display of the three-dimensional image of the cluster which rotated the cluster shown to Fig.6 (a) 90 degree
  • (b) is from the polygon data of the cluster shown to Fig.7 (a).
  • FIG. 1 is a configuration diagram of a volume data analysis system.
  • the volume data analysis system includes a plurality of modalities 10, 12, 14, and 16, a display 18, a network processor 20, and an automatic detection device 22, and automatically detects diseases such as cancer from the volume data. Can be analyzed.
  • Each modality 10 to 16 is connected to a network processor 20, and the network processor 20 is connected to a display 18 and an automatic detection device 22.
  • the automatic detection device 22 includes a main processor 24, a main memory 26, an auxiliary memory 28, an input device 30, and an output device 32.
  • the main processor 24 is connected to the network processor 20, connected to the output device 32 via the main memory 26, and further connected to the auxiliary memory 28 via the input device 30.
  • Each modality 10 to 16 is configured as a detector that transmits and receives signals to and from an analysis object or a measurement object, and generates three-dimensional volume data related to a target (hereinafter sometimes referred to as a target).
  • the modality 10 is configured by X-ray CT
  • the modality 12 is configured by MRI
  • the modality 14 is configured by US
  • the modality 16 is configured by PET.
  • the modality (US) 14 is used to avoid the effects of exposure, and when the target is a lesion such as cancer, precise volume data is obtained.
  • modality (X-ray CT) 10 modality (MRI) 12, or modality (PET) 16 is used.
  • the modality 14 scans the ultrasonic wave from the ultrasonic probe to the tomographic plane (scanning plane) inside the fetus, receives the reflected echo signal returning from each part of the biological tissue on the tomographic plane, and digitizes it.
  • the modality 14 has a function of generating frame data (volume data of each tomographic image) obtained by scanning a plurality of scan planes as three-dimensional volume data . That is, the modality 14 has a function of generating a three-dimensional volume data by receiving a reflected echo signal (signal under measurement) obtained by scanning a measurement object.
  • the 3D volume data generated by the modality 14 is transferred to the main processor 24 via the network processor 20.
  • the three-dimensional volume data is stored in the main memory 26 as a cube-shaped three-dimensional original array, for example, a voxel value of 512 ⁇ 512 ⁇ 512 voxels (a value corresponding to a luminance value of a two-dimensional image).
  • the main processor 24 generates image data (for example, image data related to a three-dimensional image obtained by projecting a three-dimensional shape determined based on the value of the three-dimensional volume data onto a two-dimensional plane) from the received three-dimensional volume data.
  • image data for example, image data related to a three-dimensional image obtained by projecting a three-dimensional shape determined based on the value of the three-dimensional volume data onto a two-dimensional plane.
  • the generated image data is transferred to the display 18 via the network processor 20, and a three-dimensional image based on the transferred image data is displayed on the screen of the display 18.
  • the display 18 is a display device having a touch panel function, and constitutes a display device that displays the processing result of the main processor 24, and inputs information such as correction information in response to a user operation, for example, correction operation. It has a function as a device.
  • the network processor 20 exchanges data or information with the modalities 10 to 16, exchanges information or data with the display 18, and further exchanges data or information with the main processor 24.
  • the automatic detection device 22 is configured as a general medical workstation.
  • the main processor 24 has, for example, a CPU (Central Processing Unit) and functions as a controller that controls the entire automatic detection device 22. At this time, the main processor 24 also functions as a controller that processes the three-dimensional volume data generated by the modality 14 and information input from the display 18 or the input device 30.
  • a CPU Central Processing Unit
  • the main memory 26 is configured by, for example, DRAM (Dynamic Random Access Memory), and is configured as a storage device that stores three-dimensional volume data and the like.
  • the auxiliary memory 28 is configured by, for example, an SSD (Solid State Drive) and functions as an auxiliary storage device.
  • the input device 30 includes, for example, a mouse, a trackball, a keyboard, and the like, and has a function of receiving instructions from the user.
  • the output device 32 includes, for example, a DVD (Digital Versatile Disc) -RW (ReWritable) drive.
  • the input device 30 can also be used as an input device for inputting correction information by a user operation.
  • Fig. 2 (a) is a schematic diagram of three-dimensional volume data
  • Figs. 2 (b), (c), and (d) are configuration diagrams of two-dimensional images obtained from the three-dimensional volume data.
  • the three-dimensional volume data 100 is three-dimensional volume data generated by the modality 14 and is composed of voxel values in a cube-shaped three-dimensional array.
  • volume data 101, 102, and 103 are extracted from the three-dimensional volume data 100.
  • images 201, 202, and 203 are two-dimensional images obtained from the volume data 101, 102, and 103, respectively, and represent fetal cross-sectional images. That is, the images 201, 202, and 203 correspond to cross-sectional views obtained by slicing fetal images in the horizontal direction. At this time, the images 201, 202, and 203 are visualized so that the higher the value of the voxel value is, the whiter the color is.
  • the main processor 24 determines the distribution of the voxel values of the three-dimensional volume data 100 to execute processing for detecting the target.
  • FIG. 3 is a flowchart for explaining the processing of the main processor.
  • the main processor 24 acquires 3D volume data from the modality 14 (S11), converts the acquired 3D volume data into polygons and converts them into polygon data, and divides the converted polygon data into a plurality of clusters. (S12). Thereafter, the main processor 24 calculates, for each cluster, the L2 norm vector of the spherical harmonic function as a feature vector based on the polygon data constituting each cluster (S13), and compares the calculated feature vector with the learning data. Then, it is identified whether or not each cluster is a target (S14), and each identification result is displayed on the screen of the display 18, and each identification result is determined (S15).
  • the main processor 24 ends the processing in this routine.
  • the user determines that the cluster displayed on the display 18 is a non-target, that is, the identification result is “false” and is a noise, and a tag 403 is added to the cluster. Is input, the relearning process is executed (S16), and then the process returns to step S14 to repeat the processes of steps S14 to S15.
  • step S ⁇ b> 11 the main processor 24 acquires three-dimensional volume data from the modality 14 and stores the acquired three-dimensional volume data in the main memory 26.
  • step S12 the main processor 24 reads the three-dimensional volume data stored in the main memory 26 into the work area, converts the read three-dimensional volume data into polygons and converts them into polygon data, and the converted polygon data Is divided into multiple clusters.
  • the main processor 24 employs a marching cubes algorithm, for example, from the viewpoint of reducing calculation costs, among methods such as Delaunay triangulation and marching cubes algorithm.
  • the main processor 24 functions as a cluster generation unit that converts the three-dimensional volume data generated by the modality 14 into polygons and converts them into polygon data, and divides the converted polygon data into a plurality of clusters.
  • the polygon is a polygon made up of a group of three-dimensional vertex coordinates with order.
  • a triangle is used as the polygon.
  • a cluster is a collection of polygons in which the vertices of a polygon (triangle) are connected to each other.
  • Each cluster is composed of polygon data belonging to the polygons of each cluster.
  • FIG. 4 is a display example of an image obtained by converting volume data into polygons, and shows a display example of an image of only a target.
  • a cluster identified by the main processor 24 as a target for example, an image of the cluster 401 is schematically displayed as a three-dimensional image.
  • FIG. 5 is a display example of an image obtained by converting volume data into polygons, and shows a display example of an image including a target and a non-target.
  • a cluster identified by the main processor 24 as a target for example, an image of the cluster 401 is schematically displayed as a three-dimensional image.
  • a cluster that is identified as a target, but corresponds to a non-target, for example, images of clusters 402 and 403 are schematically displayed as a three-dimensional image.
  • the front and back can be expressed by the cyclic direction of the vertices of each cluster.
  • the counterclockwise tour is the front and the clockwise tour is the back.
  • a tag 404 can be added to the cluster 402 as an identification label for specifying the cluster 402 as a non-target.
  • the information of the tag 404 is input to the main processor 24 via the network processor 20 as correction information accompanying the user's correction operation.
  • the main processor 24 executes re-learning processing using a machine learning algorithm based on the input correction information.
  • step S13 the main processor 24 calculates the feature vector of each cluster, and holds each feature vector obtained by the calculation in the main memory 26 as a one-dimensional array.
  • the rotation-invariant feature amount based on the spherical harmonic function is used. However, by using various other feature amounts together, more accurate identification is performed. It becomes possible.
  • the volume of the cluster As a method of calculating the feature amount held by the feature vector, first, (1) the volume of the cluster, (2) the average value of the volume data included in the cluster, and (3) the variance of the volume data included in the cluster are calculated. A method is mentioned.
  • a method for calculating the feature amount held by the feature vector (4) a method for calculating a histogram of volume data included in the cluster can be cited. When this method is used, the histogram can be added to the feature vector by quantizing the voxel value of the volume data included in the cluster into 25 levels.
  • a technique for calculating the feature amount held by the feature vector (5) an average curvature of polygon data included in the cluster, and (6) a technique of calculating Gaussian curvature of the polygon data included in the cluster can be cited. Furthermore, (7) a method of calculating a vector of L2 norm that is a coefficient of the spherical harmonic function from the polygon data of the cluster can be mentioned.
  • a method of calculating a 20-dimensional L2 norm vector and adding the calculation result to the feature vector can be used.
  • the feature vector of one cluster is 50 dimensions.
  • the method (7) which is a method for calculating a rotation invariant feature quantity based on a spherical harmonic function, is used as a basis. Any one of methods 6) is combined.
  • the number of feature vectors is 145. If volume data is converted to polygon data and converted to polygon data, and feature vectors are calculated using the converted polygon data, it is not necessary to search all volume data, so feature vectors can be calculated directly from volume data. Compared to the method, the calculation cost is greatly reduced. It should be noted that the value of each dimension of the feature vector is greatly different in value range, and thus correction processing is performed. As an example of the correction processing, by performing scaling so that the value becomes 0 to 1, it is possible to perform censoring with a constant, logarithmic scaling, or the like.
  • the spherical harmonic function y l m ( ⁇ ) is given by the following equation.
  • l is the order of the spherical harmonic function
  • P l m is the Legendre function
  • m is an integer that satisfies ⁇ l ⁇ m ⁇ l
  • FIG. 6A is a diagram showing a display example of a three-dimensional image of a cluster identified as noise.
  • a cluster 403 composed of a plurality of polygons is a cluster identified as noise.
  • the main processor 24 performs scaling processing on the cluster 403.
  • the scaling process After converting the three-dimensional coordinate values of polygon data constituting one cluster 403 into a coordinate system with the center of gravity of the cluster itself as the origin, the vertex coordinates of the polygon are enlarged (or reduced). Then, convert to a certain size. In the case of the cabling process, adjustment is performed so that the aspect ratio is not changed. By performing this scaling process, it is possible to perform a stable identification process regardless of the size of the cluster. As an example of scaling processing, in this system, the major axis (maximum cluster width) is reduced (or enlarged) to be 1. After the scaling process, the following process is executed.
  • the L2 norm vector of the N-dimensional spherical harmonic function with index k is expressed by the following equation and added to the feature vector as the feature amount obtained by the method (7).
  • FIG. 6 (b) shows an example in which the L2 norm vector of the N-dimensional spherical harmonic function is calculated from the polygon data by the above formula (4) and the calculation result is visualized as a histogram.
  • FIG. 6B is a diagram in which the L2 norm vector of the N-dimensional spherical harmonic function is calculated from the polygon data of the cluster indicating noise, and the calculation result is visualized as a histogram.
  • each histogram is a histogram obtained from polygon data of the cluster 403 indicating noise, and is a one-dimensional to twenty-dimensional histogram.
  • the horizontal direction indicates the dimension n of the feature vector
  • the vertical direction indicates the value of the L2 norm of the spherical harmonic function.
  • FIG. 7A shows a display example of a three-dimensional image of the cluster 403 obtained by rotating the cluster shown in FIG. 6A by 90 degrees.
  • FIG. 7B shows an example in which the L2 norm vector of the N-dimensional spherical harmonic function is calculated from the polygon data of the cluster 403 shown in FIG. FIG.
  • the L2 norm vector of the N-dimensional spherical harmonic function is calculated from the polygon data using the equation (4), even when the cluster 403 is rotated 90 degrees, the same cluster 403 is used.
  • the L2 norm vectors of the calculated spherical harmonics are equal. That is, the value of the histogram of each dimension shown in FIG. 6B is equal to the value of the histogram of each dimension shown in FIG. 7B.
  • the cluster 403 is decomposed into variously shaped spheres, and a process of calculating how much the decomposed various spheres are included is performed.
  • the rotational dependency can be removed by using the formula (4) and sequentially adding the dimension terms each time the dimension increases.
  • the decomposition by the spherical harmonic function is equivalent to Fourier transform using a sphere.
  • the main processor 24 functions as a feature vector calculation unit that calculates, for each cluster, an L2 norm vector of a spherical harmonic function as a feature vector based on polygon data constituting each cluster.
  • the method for calculating the feature value by combining the marching cubes algorithm and the spherical harmonic function has the following advantages.
  • the polygonization by the marching cubes algorithm has a disadvantage that a topological hole is generated.
  • the method of calculating the value of the L2 norm vector of the spherical harmonic function of the cluster is adopted, the calculation result for the cluster having a topological hole and the topological Since a change appears between the calculation results regarding the cluster in which no hole is generated, the topological hole can be effectively removed as compared with the case where other feature values are used.
  • the perforated clusters are displayed in a visualized state, so that the user can efficiently remove the perforated clusters.
  • step 14 a process of generating identification label data from the feature vector is executed.
  • the target is identified from the feature vector using machine learning.
  • machine learning method for example, a neural network, AdaBoost, and support vector machine (SVM) can be used.
  • SVM support vector machine
  • an example of multi-level identification by SVM support vector machine will be described from the viewpoint of high identification accuracy and ease of explanation.
  • the single kernel SVM definition is shown below.
  • ⁇ is an optimization variable
  • K (x i , x j ) is a kernel
  • x is a feature vector.
  • the subscripts i and j of each variable represent the feature vector index, not the dimension.
  • X i that is a combination of ⁇ i ⁇ 0 and an accompanying feature vector (generally called a support vector) is taken as learning data.
  • identification by machine learning requires learning in advance based on training data (a combination of ⁇ , x, and t).
  • the main processor 24 executes a learning process in advance using an SVM (support vector machine), and stores the learning result as learning data together with the training data.
  • the equation (5) is a single-kernel SVM, but by using a multi-kernel SVM extended to a plurality of different kernels, it is possible to perform more accurate identification.
  • multi-kernel SVM it is possible to perform identification processing after learning with different weights for each dimension k of feature vectors, which is suitable when using different types of feature quantities for feature vectors. It is.
  • FIG. 8 is a diagram showing a display example of an image visualizing the learning result by the support vector machine.
  • FIG. 8 shows an example in which 50-dimensional feature vectors are used, only 2 dimensions are extracted, and an image of the extracted feature vectors is visualized. .
  • the vertical axis in FIG. 8 is one dimension, and the horizontal axis in FIG. 8 is another dimension.
  • a point drawn with a square represents the target 501
  • a point drawn with a triangle represents the non-target 502.
  • the points drawn in circles are training points 503 and 504 located near the boundary between the target 501 and the non-target 502, which means a support vector.
  • Lines drawn with curved lines are identification boundaries 505 and 506 calculated by learning data.
  • the identification boundaries 505 and 506 are boundaries for identifying the target 501 and the non-target 502, and are calculated at positions where the distance becomes the maximum with reference to the support vector (training points 503 and 504). .
  • the main processor 24 calculates the following expression from the learning data and the feature vector for each cluster.
  • b is a bias parameter and can be calculated from learning data. Further, if the value of the equation (6) is positive, a label indicating the target is given.
  • the cluster is identified as the target 501, and if the value of equation (6) is negative, the cluster is a non-target 502. Identified.
  • a method of preparing a plurality of learning data and solving as a multi-cluster problem using a one-to-many method or a one-to-one method can be adopted.
  • the main processor 24 can classify the clusters as targets or non-targets and classify the clusters identified as targets into two types.
  • the label data one-dimensional array having tuples as elements can be used.
  • a label used for identification for example, a class A label means a fetal region, a class B label means a uterine region, and a non-target label uses a label that means a non-target region. be able to.
  • the label data used for identification is stored in the main memory 26 as identification label data.
  • step 15 processing for visualizing each cluster is executed based on the identification label data.
  • FIG. 9 is a diagram showing a display example of a three-dimensional image when an identification label is added to the cluster.
  • a non-target label 601 indicating a non-target is added to the cluster 401
  • a target label 402 indicating a class A target is added to the cluster 402.
  • the user can input correction information for correcting the cluster 402 to a non-target by adding a tag 403 by a touch panel operation of the display 18.
  • the main processor 24 corrects and displays the target label 602 as a non-target label, corrects the label data of the cluster 402 from the label data indicating the target to the label data indicating the non-target, and the corrected label. Data is stored in the main memory 26.
  • the main processor 24 determines that the cluster 401 Is corrected from label data indicating a non-target to label data indicating a target, and the corrected label data is stored in the main memory 26.
  • step 16 a relearning process is executed.
  • the main processor 24 generates learning data as new learning data by performing relearning of the target based on the corrected label data, feature vector, and training data.
  • the main processor 24 adds the corrected label data and feature vector to the training data stored at the time of pre-learning, optimizes the parameter (optimization variable) based on the equation (5),
  • the learning data obtained after the optimization is stored in the main memory 26, and the process of step 14 is executed again.
  • the main processor 24 calculates a feature vector calculation unit for each cluster using the L2 norm vector of the spherical harmonic function as a feature vector based on polygon data constituting each cluster, and each feature vector calculated by the feature vector calculation unit.
  • an identification unit for identifying whether each cluster is a target based on learning data obtained by machine learning using training data, and among the clusters generated by the cluster generation unit, An image of a cluster identified as a target is generated from polygon data constituting each cluster, and functions as an image generation unit that displays at least the generated image on the display 18.
  • the main processor 24 selects the cluster specified by the input correction information.
  • the feature data of the cluster that has been corrected by the correction unit and the correction data of the correction unit related to the cluster are used to re-learn the learning data. It functions as a re-learning unit that learns and generates new learning data.
  • the main processor 24 when new learning data is generated by the re-learning unit, the main processor 24 generates the feature vector of the cluster corrected by the correcting unit and the re-learning unit out of the feature vectors calculated by the feature vector calculating unit. Based on the newly learned data, the cluster corrected by the correction unit is identified as a target and functions as an identification unit that outputs the identification result to the image generation unit.
  • the main processor 24 selects the cluster specified by the input correction information.
  • the cluster specified by the input correction information is targeted. Functions as a correction unit for correcting.
  • the main processor 24 determines each cluster based on the plurality of types of learning data and the feature vectors calculated by the feature vector calculation unit.
  • the identification unit for adding the label data according to the identification result, and the cluster displayed as an image on the display 18 according to the label data added to the identification result of the identification unit It functions as an image generation unit that displays an identification label.
  • the calculation cost can be greatly reduced. Further, since only the target region can be detected from the volume data and the detected target image can be visualized, false detection is reduced. Furthermore, since the feature quantity of the feature vector has no rotation dependency, both improvement in detection accuracy and reduction in calculation cost can be achieved. Moreover, since the calculation cost is low, the result can be obtained at high speed.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • each of the above-described configurations, functions, etc. may be realized by hardware by designing a part or all of them, for example, by an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files that realize each function is stored in memory, a hard disk, a recording device such as an SSD (Solid State Drive), an IC (Integrated Circuit) card, an SD (Secure Digital) memory card, a DVD ( It can be recorded on a recording medium such as Digital Versatile Disc).

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Pulmonology (AREA)

Abstract

　コントローラは、モダリティで生成された三次元ボリュームデータをポリゴン化してポリゴンデータに変換し、このポリゴンデータを複数のクラスタに分割し、各クラスタを構成するポリゴンデータを基に球面調和関数のL２ノルムベクトルを特徴ベクトルとしてクラスタ毎に算出し、算出された各特徴ベクトルと学習データとを基に、各クラスタがターゲットであるか否かを識別し、ターゲットであると識別されたクラスタの画像を、少なくとも画面上に表示させる機能を有する。

Description

ボリュームデータ解析システム及びその方法
　本発明は、三次元ボリュームデータから目標物を抽出するボリュームデータ解析システム及びその方法に関する。
　医用分野において、人体内部の情報を可視化する医用画像処理装置が急速に普及しつつあり、様々な診断に用いられている。医用画像処理装置に用いられるモダリティとしては、例えば、Ｘ線CT（Computed　Tomography）、PET（Positron　Emission　Tomography）、MRI（Magnetic　Resonance　Imaging）、US（Ultrasonography）などがあり、これらモダリティは、三次元的なボリュームデータを得ることができる。
　モダリティとして、X線CTを用い、X線CTで得られた肝臓のボリュームデータを画像として可視化することで、医師は、肝臓がんの有無や進行度合いを診断することができる。
　さらに、近年では、医師の負担を軽減することを目的として、ボリュームデータから、がん等に代表される疾患を自動で検出する自動検出装置（以降、CAD：Computer　Aided　Diagnosisと称することがある。）の開発が進んでいる。しかしながら、人体の内部は極めて複雑な構造であるため、自動検出装置を用いて得られた検出結果には誤りが生じてしまう場合がある。また、ボリュームデータには、モダリティに応じて特有のノイズが混入することがあり、ノイズによっては、自動検出装置で疾患を自動検出することが困難となる。そこで、現在、医師と同程度に正しく、疾患を検出可能な自動検出装置の開発が強く望まれている。なお、ボリュームデータから目標物を検出する技術は、例えば、以下の特許文献１、２に開示されている。
特開２００９－２２３４２号公報 特許４３８８１２１号公報
　特許文献１によれば、ボリュームデータから目標物を抽出するに際して、目標物の大きさを閾値で判別する閾値処理を行っているので、ボリュームデータに含まれるノイズ成分を除去することができる。しかし、目標物が、非ノイズ領域に存在していても、その大きさが閾値以下の場合には、除去されてしまう課題がある。また、閾値の設定を行う作業が煩雑であり、装置の使用者となる医師や技師（以降、ユーザと呼称する。）の負担が大きい。さらに、異なる複数種類の尺度ごとに閾値を設定しなければならない。
　特許文献２によれば、ポリープ検出を行う特徴量に三次元の回転依存性があり、異なる回転ごとに学習を行う必要がある。つまり、回転のパターンを増加させない場合には、検出性能が低下する可能性がある。また、パターンの回転に要する計算コストの増加が懸念される。さらに、三次元ボリュームデータのボクセル値から直接に特徴量を計算する必要があるため、計算コストが大きい。
　本発明は、前記従来術の課題に鑑みて為されたものであり、その目的は、計算コストを低減することができるボリュームデータ解析システム及びその方法を提供することにある。
　前記課題を解決するために、本発明は、モダリティで生成された三次元ボリュームデータをポリゴン化してポリゴンデータに変換し、前記変換されたポリゴンデータを複数のクラスタに分割し、前記各クラスタを構成するポリゴンデータを基に球面調和関数のL２ノルムベクトルを特徴ベクトルとして前記クラスタ毎に算出し、前記算出された各特徴ベクトルと、訓練データを用いた機械学習で得られた学習データとを基に、前記各クラスタがターゲットであるか否かを識別し、ターゲットであると識別されたクラスタの画像を、少なくとも画面上に表示させることを特徴とする。
　本発明によれば、計算コストを低減することができる。
ボリュームデータ解析システムの構成図である。 （a）は、三次元ボリュームデータの模式図であり、（b）、（c）、（d）は、三次元ボリュームデータから得られた二次元画像の構成図である。 メインプロセッサの処理を説明するためのフローチャートである。 ボリュームデータをポリゴン化した画像の表示例であって、ターゲットのみの画像の表示例を示す図である。 ボリュームデータをポリゴン化して得られた画像の表示例であって、ターゲットと非ターゲットを含む画像の表示例を示す図である。 （a）は、ノイズとして識別されたクラスタの三次元画像の表示例を示す図であり、（b）は、ノイズを示すクラスタのポリゴンデータから、N次元球面調和関数のL２ノルムベクトルの計算し、計算結果をヒストグラムとして可視化した図である。 （a）は、図６（a）に示すクラスタを９０度回転させたクラスタの三次元画像の表示例を示す図であり、（b）は、図７（a）に示すクラスタのポリゴンデータから、N次元球面調和関数のL２ノルムベクトルを計算し、計算結果をヒストグラムとして可視化した例を示す図である。 サポートベクターマシンによる学習結果を可視化した画像の表示例を示す図である。 クラスタに識別ラベルが付加されたときの三次元画像の表示例を示す図である。
　(実施例)
　以下、本発明の一実施例を図面に基づいて説明する。図１は、ボリュームデータ解析システムの構成図である。図１において、ボリュームデータ解析システムは、複数のモダリティ１０、１２、１４、１６と、ディスプレイ１８と、ネットワークプロセッサ２０と、自動検出装置２２とを有し、ボリュームデータから、癌などの疾患を自動的に解析することができる。各モダリティ１０～１６は、それぞれネットワークプロセッサ２０に接続され、ネットワークプロセッサ２０は、ディスプレイ１８と自動検出装置２２に接続される。
　自動検出装置２２は、メインプロセッサ２４と、メインメモリ２６と、補助メモリ２８と、入力装置３０と、出力装置３２から構成される。メインプロセッサ２４は、ネットワークプロセッサ２０に接続されるとともに、メインメモリ２６を介して出力装置３２に接続され、さらに、入力装置３０を介して補助メモリ２８に接続される。
　各モダリティ１０～１６は、それぞれ解析対象又は測定対象と信号の授受を行って、目標物（以下、ターゲットと称することがある。）に関する三次元ボリュームデータを生成する検出器として構成される。この際、モダリティ１０は、X線CTで構成され、モダリティ１２は、MRIで構成され、モダリティ１４は、USで構成され、モダリティ１６は、PETで構成される。
　モダリティ１０～１６のうち、一般に、ターゲットが胎児の場合には、被曝の影響を避けるために、モダリティ（US）１４が用いられ、ターゲットが癌などの病巣の場合には、精密なボリュームデータを取得するために、モダリティ（X線CT）１０、モダリティ（MRI）１２あるいはモダリティ（PET）１６が用いられる。
　本実施例では、胎児を測定対象あるいは解析対象とするため、モダリティ１４から得られた三次元ボリュームデータを処理する例について説明する。
　モダリティ１４は、例えば、超音波探触子から、胎児内部の断層面（スキャン面）に超音波を走査し、断層面の生体組織の各部位から戻ってくる反射エコー信号を受信してデジタル化し、デジタル化されたデータを断層面のフレームデータとして処理するとともに、複数のスキャン面を走査して得られたフレームデータ（各断層画像のボリュームデータ）を、三次元ボリュームデータとして生成する機能を有する。即ち、モダリティ１４は、測定対象を走査して得られた反射エコー信号（被測定信号）を受信して三次元ボリュームデータを生成する機能を有する。
　モダリティ１４で生成された三次元ボリュームデータは、ネットワークプロセッサ２０を介してメインプロセッサ２４に転送される。ここで、三次元ボリュームデータは、キューブ状の三次元元配列、例えば、５１２×５１２×５１２ボクセルのボクセル値（２次元画像の輝度値に相当する値）としてメインメモリ２６に格納される。
　メインプロセッサ２４は、受信した三次元ボリュームデータから画像データ（例えば、三次元ボリュームデータの値に基づいて定まる三次元形状を二次元平面に投影した三次元画像に関する画像データ）を生成するための処理を実行し、生成された画像データを、ネットワークプロセッサ２０を介してディスプレイ１８に転送し、転送した画像データによる三次元画像をディスプレイ１８の画面上に表示させる。
　ディスプレイ１８は、タッチパネル機能を有する表示装置であって、メインプロセッサ２４の処理結果を表示する表示装置を構成するとともに、ユーザの操作、例えば、訂正操作に応答した訂正情報などの情報を入力する入力装置としての機能を有する。
　ネットワークプロセッサ２０は、各モダリティ１０～１６とデータまたは情報の授受を行うとともに、ディスプレイ１８と情報またはデータの授受を行い、さらに、メインプロセッサ２４とデータまたは情報の授受を行う。
　自動検出装置２２は、一般的な医用ワークステーションとして構成される。メインプロセッサ２４は、例えば、CPU（Central　Processing　Unit）を有し、自動検出装置２２全体を統括制御するコントローラとして機能する。この際、メインプロセッサ２４は、モダリティ１４で生成された三次元ボリュームデータとディスプレイ１８や入力装置３０から入力された情報を処理するコントローラとしても機能する。
　メインメモリ２６は、例えば、DRAM（Dynamic　Random　Access　Memory）で構成され、三次元ボリュームデータなどを格納する記憶装置として構成される。補助メモリ２８は、例えば、SSD（Solid　State　Drive）で構成され、補助記憶装置として機能する。入力装置３０は、例えば、マウスやトラックボール、キーボードなどで構成され、ユーザからのインストラクションを受け付ける機能を有する。出力装置３２は、例えば、DVD（Digital　Versatile　Disc）‐RW（ReWritable）ドライブで構成される。なお、入力装置３０を、ユーザの操作による訂正情報を入力する入力装置として用いることもできる。
　図２（a）は、三次元ボリュームデータの模式図であり、図２（b）、（c）、（d）は、三次元ボリュームデータから得られた二次元画像の構成図である。図２において、三次元ボリュームデータ１００は、モダリティ１４によって生成された三次元ボリュームデータであって、キューブ状の三次元配列のボクセル値で構成される。キューブ状の三次元ボリュームデータ１００を水平方向に３分割した場合、三次元ボリュームデータ１００からボリュームデータ１０１、１０２、１０３が抽出される。
　図２（b）、（c）、（d）に示す画像２０１、２０２、２０３は、それぞれボリュームデータ１０１、１０２、１０３から得られた二次元画像であって、胎児の断面画像を示す。即ち、画像２０１、２０２、２０３は、胎児の画像を水平方向にスライスした断面図に相当する。この際、画像２０１、２０２、２０３では、ボクセル値の値が高い部分程白色となるように可視化されている。また、ボリュームデータ１０１、１０２、１０３には、ターゲットの質的な情報、例えば、骨、血管などの情報が輝度の情報として保持されている。このため、メインプロセッサ２４は、三次元ボリュームデータ１００のボクセル値の分布を判別することで、ターゲットを検出するための処理を実行することになる。
　図３は、メインプロセッサの処理を説明するためのフローチャートである。図３において、メインプロセッサ２４は、モダリティ１４から三次元ボリュームデータを取得し（S１１）、取得した三次元ボリュームデータをポリゴン化してポリゴンデータに変換し、変換されたポリゴンデータを複数のクラスタに分割する（S１２）。この後、メインプロセッサ２４は、各クラスタを構成するポリゴンデータを基に球面調和関数のL２ノルムベクトルを特徴ベクトルとしてクラスタ毎に計算し（S１３）、計算された各特徴ベクトルと学習データとを比較して、各クラスタがターゲットであるか否かを識別し（S１４）、各識別結果をディスプレイ１８の画面上に表示するとともに、各識別結果を判定する（S１５）。
　この際、メインプロセッサ２４は、ディスプレイ１８に表示したクラスタが、ターゲットであると、即ち、識別結果が「正」であると、ユーザが判定した場合には、このルーチンでの処理を終了し、一方、ディスプレイ１８に表示されたクラスタが非ターゲット、即ち、識別結果が「誤」であって、ノイズであると、ユーザが判定し、クラスタに対してタグ４０３が付加され、ディスプレイ１８から訂正情報が入力された場合、再学習処理を実行し(S１６)、その後、ステップS１４の処理に戻り、ステップS１４～S１５の処理を繰り返す。
　以下、各ステップS１１～S１６における具体的な内容について説明する。まず、ステップS１１において、メインプロセッサ２４は、モダリティ１４から三次元ボリュームデータを取得し、取得した三次元ボリュームデータをメインメモリ２６に格納する。
　次に、ステップS１２において、メインプロセッサ２４は、メインメモリ２６に格納された三次元ボリュームデータを作業エリアに読み出し、読み出した三次元ボリュームデータをポリゴン化してポリゴンデータに変換し、変換されたポリゴンデータを複数のクラスタに分割する。この際、メインプロセッサ２４は、ドロネー三角形分割法や、マーチングキューブスアルゴリズム（marching　cubes　algorithm）などの手法のうち、例えば、計算コスト削減の観点から、マーチングキューブスアルゴリズムを採用する。この場合、メインプロセッサ２４は、モダリティ１４で生成された三次元ボリュームデータをポリゴン化してポリゴンデータに変換し、変換されたポリゴンデータを複数のクラスタに分割するクラスタ生成部として機能する。
　なお、ポリゴンは、順序を持った三次元の頂点座標群からなる多角形である。通常、ポリゴンを構成する多角形のうち、三角形をポリゴンとして用いる。また、クラスタは、多角形（三角形）の頂点が互いに連結されるポリゴンの集まりである。各クラスタは、各クラスタのポリゴンに属するポリゴンデータによって構成される。
　図４は、ボリュームデータをポリゴン化した画像の表示例であって、ターゲットのみの画像の表示例を示す図である。図４において、ディスプレイ１８の画面上には、メインプロセッサ２４が、ターゲットであると識別したクラスタ、例えば、クラスタ４０１の画像が、三次元画像として模式的に表示される。
　図５は、ボリュームデータをポリゴン化して得られた画像の表示例であって、ターゲットと非ターゲットを含む画像の表示例を示す図である。図５において、ディスプレイ１８の画面上には、メインプロセッサ２４が、ターゲットであると識別したクラスタ、例えば、クラスタ４０１の画像が、三次元画像として模式的に表示されると共に、メインプロセッサ２４が、ターゲットであると識別したクラスタであるが、非ターゲットに相当するクラスタ、例えば、クラスタ４０２、４０３の画像が、三次元画像として模式的に表示される。なお、図４と図５では、各クラスタの頂点の巡回方向によって表裏を表現することができ、本実施例では、反時計回りの巡回を表とし、時計回りの巡回を裏としている。
　ここで、ディスプレイ１８にクラスタ４０２、４０３の画像が表示され、ユーザが、クラスタ４０２、４０３を、ノイズを示す画像であって、非ターゲットであると判定した場合、ユーザは、タッチ操作で、例えば、クラスタ４０２に、クラスタ４０２を非ターゲットに特定するための識別ラベルとして、タグ４０４を付加することができる。このタグ４０４の情報は、ユーザの訂正操作に伴う訂正情報として、ネットワークプロセッサ２０を介してメインプロセッサ２４に入力される。この場合、後述するように、メインプロセッサ２４は、入力された訂正情報を基に、機械学習アルゴリズムを用いた再学習処理を実行する。
　次に、ステップS１３において、メインプロセッサ２４は、各クラスタの特徴ベクトルを計算し、計算で得られた各特徴ベクトルを１次元の配列としてメインメモリ２６に保持する。特徴ベクトルを計算するに際しては、本実施例では、球面調和関数に基づく回転不変な特徴量を利用することとしているが、他の様々な特徴量を併用することで、より高精度な識別を行うことが可能となる。
　特徴ベクトルが保持する特徴量を算出する手法としては、まず、（１）クラスタの体積、（２）クラスタが内包するボリュームデータの平均値、（３）クラスタが内包するボリュームデータの分散を算出する手法が挙げられる。また、特徴ベクトルが保持する特徴量を算出する手法としては、（４）クラスタが内包するボリュームデータのヒストグラムを算出する手法が挙げられる。この手法を用いる場合、クラスタが内包するボリュームデータのボクセル値を２５段階に量子化することで、ヒストグラムを特徴ベクトルに追加することができる。
　また、特徴ベクトルが保持する特徴量を算出する手法としては、（５）クラスタが内包するポリゴンデータの平均曲率、（６）クラスタが内包するポリゴンデータのガウス曲率を算出する手法が挙げられる。さらに、（７）クラスタのポリゴンデータから球面調和関数の係数であるL２ノルムのベクトルを算出する手法が挙げられる。L２ノルムのベクトルを算出する場合、例えば、２０次元のL２ノルムのベクトルを計算し、計算結果を特徴ベクトルに追加する手法を用いることができる。
　特徴ベクトルが保持する特徴量を算出するに際して、（１）～（７）のいずれかの手法を用いた場合、１つのクラスタの特徴ベクトルは５０次元となる。この際、計算コストを軽減する場合には、（１）～（７）の手法を全て用いるのではなく、いくつかの手法を組み合わせて用いることもできる。この際、本実施例では、高い識別性能を達成するために、（７）の手法であって、球面調和関数に基づく回転不変な特徴量を算出する手法を基本として用い、（１）～（６）のいずれかの手法を組み合わせることとしている。
　なお、図２に示す三次元ボリュームデータ１００をポリゴン化してクラスタを生成した際に、１４４個のクラスタが存在した場合、特徴ベクトルの数も１４５個となる。ボリュームデータをポリゴン化してポリゴンデータに変換し、変換されたポリゴンデータを用いて特徴ベクトルを計算する方法を採用した場合、ボリュームデータを全て探索する必要がないため、ボリュームデータから直接特徴ベクトルを計算する方法よりも、計算コストが大幅に削減される。なお、特徴ベクトルの各次元の値は、値域が大きく異なるため、補正処理が実施される。補正処理の例としては、値が、０～１となるように、スケーリングを行うことで、定数での打ち切りや対数スケーリングなどを行うことができる。
　以下、（７）の手法を用いて、球面調和関数から特徴量を算出する方法について説明する。
　球面調和関数ｙｌ ｍ（ω）は、次式で与えられる。
Figure JPOXMLDOC01-appb-M000001
 　上記（数１）式における各パラメタータの意味を説明すると、正規化係数Ｋｌ ｍは、次式で与えられる。
Figure JPOXMLDOC01-appb-M000002
 であり、lは、球面調和関数の次数、Ｐｌ ｍは、Ｌｅｇｅｎｄｒｅ陪関数であり、mは、-l≦m≦lを満たす整数であり、ωは、角度（θ，φ）の組みによって表され、
　ω＝（sinθcosφ，sinθsinφ，cosθ）となる方向である。
　ここで、１つのクラスタを例に、球面調和関数に基づく特徴量の算出方法について説明する。
　図６（a）は、ノイズとして識別されたクラスタの三次元画像の表示例を示す図である。図６（a）において、複数のポリゴンで構成されたクラスタ４０３は、ノイズとして識別されたクラスタである。クラスタ４０３に関する特徴量を算出するに際して、メインプロセッサ２４は、クラスタ４０３についてスケーリング処理を行う。
　スケーリング処理においては、１つのクラスタ４０３を構成するポリゴンデータの三次元座標値を、そのクラスタ自身の重心を原点とした座標系に変換した後、ポリゴンの頂点座標を拡大（もしくは、縮小）することで、一定サイズに変換する。ケーリング処理の際には、縦横比を変更しないように、調整を行うものとする。このスケーリング処理を行うことにより、クラスタの大きさに関わらず、安定した識別処理を行うことが可能となる。なお、スケーリング処理の例として、本システムでは、長軸（クラスタの最大幅）が１となるように縮小（もしくは、拡大）する。ススケーリング処理後は、以下の処理を実行する。
　変換後のクラスタの座標値（ｘｉ，ｙｉ，ｚｉ）について、原点から方向を次式で示す。
Figure JPOXMLDOC01-appb-M000003
 　なお、ｋ（ｋ＝１，…，Ｋ）は、クラスタを座標値のインデックスを表し、Ｋは１つのクラスタ内の全頂点数である。このとき、インデックスｋのＮ次元球面調和関数のＬ２ノルムベクトルは、次式で表され、（７）の手法で得られた特徴量として、特徴ベクトルに追加される。
Figure JPOXMLDOC01-appb-M000004
　ポリゴンデータから、上記（数４）式により、N次元球面調和関数のL２ノルムベクトルを計算し、計算結果をヒストグラムとして可視化した例を図６（b）に示す。
　図６（b）は、ノイズを示すクラスタのポリゴンデータから、N次元球面調和関数のL２ノルムベクトルの計算し、計算結果をヒストグラムとして可視化した図である。図６（b）において、各ヒストグラムは、ノイズを示すクラスタ４０３のポリゴンデータから得られたヒストグラムであって、１次元から２０次元のヒストグラムを示す。なお、図６（b）において、水平方向は、特徴ベクトルの次元nを示し、垂直方向は、球面調和関数のL２ノルムの値を示す。
　図７（a）は、図６（a）に示すクラスタを９０度回転させたクラスタ４０３の三次元画像の表示例を示す図である。
　図７（b）は、図７（a）に示すクラスタ４０３のポリゴンデータから、（数４）式により、N次元球面調和関数のL２ノルムベクトルを計算し、計算結果をヒストグラムとして可視化した例を示す図である。
　本実施例では、ポリゴンデータから、（数４）式を用いて、N次元球面調和関数のL２ノルムベクトルを計算しているので、クラスタ４０３を９０度回転させた場合でも、同一のクラスタ４０３から計算された球面調和関数のL２ノルムベクトルは等しくなる。即ち、図６（b）に示す、各次元のヒストグラムの値と、図７（b）に示す、各次元のヒストグラムの値は、等しくなる。
　ここで、厳密ではないが、上記処理では、クラスタ４０３を様々な形状の球に分解し、分解された様々な球がどれだけの割合で含まれているかを計算する処理が行われることになる。この際、（数４）式を用い、次元の項を、次元が増加する毎に順次加算することで、回転依存性を除去することができる。また、球面調和関数による分解は、いわば、球を利用したフーリエ変換に相当する。
　この際、メインプロセッサ２４は、各クラスタを構成するポリゴンデータを基に球面調和関数のL２ノルムベクトルを特徴ベクトルとしてクラスタ毎に算出する特徴ベクトル算出部として機能する。
　マーチングキューブスアルゴリズムと球面調和関数とを組み合わせて特徴量を計算する手法には、以下の利点がある。
　マーチングキューブスアルゴリズムによるポリゴン化には位相的な穴が生じるという欠点があることが知られている。しかし、特徴ベクトルが保持する特徴量を算出するに際して、クラスタの球面調和関数のL２ノルムベクトルの値を計算する手法を採用した場合、位相的な穴が開いたクラスタに関する計算結果と、位相的な穴が生じていないクラスタに関する計算結果との間には、変化が現れるため、他の特徴量を用いた場合よりも、効果的に位相的な穴を除去することができる。さらに、マーチングキューブスアルゴリズムを用いて可視化した際には、穴開きクラスタが可視化された状態で表示されるので、ユーザは、穴開きクラスタを、効率良く除去することが可能である。
　次に、ステップ１４では、特徴ベクトルから識別ラベルデータを生成する処理が実行される。この際、機械学習を用いて特徴ベクトルからターゲットの識別が実施される。この機械学習の手法としては、例えば、ニューラルネットワーク、アダブースト（AdaBoost）、サポートベクターマシン（SVM：Support　Vector　Machine）を用いることができる。本実施例では、識別精度の高さと説明の容易さから、SVM（サポートベクターマシン）による多値識別の例について説明する。初めに、単一カーネルのSVMの定義式を以下に示す。
Figure JPOXMLDOC01-appb-M000005
 　ここで、αは、最適化変数であり、ｔ（ｔ∈－１，１）は、目標値を表しており、ｔ＝１の時にターゲットとする。そして、Ｋ（ｘｉ，ｘｊ）は、カーネルであり、ｘは、特徴ベクトルである。なお、各変数の添字ｉ、ｊは、特徴ベクトルのインデックスを表し、次元ではない。上記（数５）式において、αｉ≠０と付随する特徴ベクトル（一般に、サポートベクターと呼ばれる）の組みとなるＸｉを、学習データとする。なお、一般に、機械学習による識別では、訓練データ（αとｘ，ｔの組み）を基に、予め学習を行う必要がある。
　そこで、本実施例では、メインプロセッサ２４が、SVM（サポートベクターマシン）を用いて、事前に学習処理を実行し、学習結果を、学習データとして訓練データとともに保存しておく。なお、（数５）式は、単一カーネルのSVMであるが、複数の異なるカーネルに拡張したマルチカーネルSVMを用いることで、さらに高精度な識別を行うこともできる。マルチカーネルSVMにおいては、特徴ベクトルの次元k毎に、重みを変えて学習を行った後に、識別処理を実施することが可能となるため、特徴ベクトルに、異なる種類の特徴量を用いる際に好適である。
　図８は、サポートベクターマシンによる学習結果を可視化した画像の表示例を示す図である。なお、高次元の可視化は容易でないため、本実施例では、５０次元の特徴ベクトルを利用し、そのうち２次元だけを抽出し、抽出した特徴ベクトルの画像を可視化した例を図８に示してある。
　図８の縦軸は、１つの次元であり、図８の横軸は、他の１つの次元である。図８において、四角で描画されている点は、ターゲット５０１を表しており、三角で描画されている点は、非ターゲット５０２を表している。また丸で描画されている点は、ターゲット５０１と非ターゲット５０２との境の近傍に位置する訓練点５０３、５０４であって、サポートベクターを意味する。曲線で描画されている線は、学習データによって計算された識別境界５０５、５０６である。識別境界５０５、５０６とは、ターゲット５０１と非ターゲット５０２とを識別するための境界であり、サポートベクター（訓練点５０３、５０４）を基準として、その距離が最も大きくなるような位置に計算される。
　次に、メインプロセッサ２４は、学習データとクラスタ毎の特徴ベクトルから次式を計算する。
Figure JPOXMLDOC01-appb-M000006
　なお、（数６）式において、ｂは、バイアスパラメータであり、学習データから算出可能である。また、（数６）式の値が、正であれば、ターゲットを示すラベルが付与される。
　例えば、（数６）式の値が正であれば、そのクラスタは、ターゲット５０１であると識別され、（数６）式の値が負であれば、そのクラスタは、非ターゲット５０２であると識別される。
　ここで、ターゲットの種類が複数種類存在する場合、複数の学習データを準備し、多クラスタ問題として、１対多方式もしくは、１対１方式を用いて解く方法を採用することができる。例えば、クラスタの種類を３クラスに分類する場合には、メインプロセッサ２４は、クラスタをターゲットまたは非ターゲットに識別するとともに、ターゲットと識別されたクラスタを２種類に分類することができる。この際、ラベルデータとしては、タプルを要素とした１次元配列のものを用いることができる。また、識別に用いるラベルとしては、例えば、クラスAのラベルは、胎児領域を意味し、クラスBのラベルは、子宮領域を意味し、非ターゲットのラベルは、非ターゲット領域を意味するラベルを用いることができる。そして、識別に用いられるラベルのデータは、識別ラベルデータとしてメインメモリ２６に保存される。
　次に、ステップ１５では、識別ラベルデータに基づいて各クラスタを可視化するための処理が実行される。
　図９は、クラスタに識別ラベルが付加されたときの三次元画像の表示例を示す図である。図９において、クラスタ４０１には、非ターゲットを示すターゲット外ラベル６０１が付加され、クラスタ４０２には、クラスAのターゲットを示すターゲットラベル４０２が付加されている。
　ユーザは、クラスタ４０２がノイズであると判定した場合、ディスプレイ１８のタッチパネル操作によってタグ４０３を付加することで、クラスタ４０２を非ターゲットに訂正するための訂正情報を入力することができる。この際、メインプロセッサ２４は、ターゲットラベル６０２をターゲット外ラベルに補正して表示し、クラスタ４０２のラベルデータを、ターゲットを示すラベルデータから、非ターゲットを示すラベルデータに補正し、補正されたラベルデータをメインメモリ２６に保存する。
　また、ユーザが、クラスタ４０１をターゲットであると判定し、ディスプレイ１８上のタッチパネル操作により、ターゲット外ラベル６０１からターゲットラベル６０２に訂正するための操作が実行された場合、メインプロセッサ２４は、クラスタ４０１のラベルデータを、非ターゲットを示すラベルデータからターゲットを示すラベルデータに補正し、補正されたラベルデータをメインメモリ２６に保存する。
　次に、ステップ１６では、再学習処理が実行される。この際、メインプロセッサ２４は、補正されたラベルデータと特徴ベクトルと、訓練データに基づいて、ターゲットの再学習を実施することで、学習データを新規学習データとして生成する。この場合、メインプロセッサ２４は、事前学習時に保存しておいた訓練データに、補正されたラベルデータおよび特徴ベクトルを追加し、（数５）式を基にパラメータ（最適化変数）を最適化し、最適化後に得られた学習データをメインメモリ２６に保存し、ステップ１４の処理を再度実行する。
　ここで、メインプロセッサ２４は、各クラスタを構成するポリゴンデータを基に球面調和関数のL２ノルムベクトルを特徴ベクトルとしてクラスタ毎に算出する特徴ベクトル算出部と、特徴ベクトル算出部の算出による各特徴ベクトルと、訓練データを用いた機械学習で得られた学習データとを基に、各クラスタがターゲットであるか否かを識別する識別部と、クラスタ生成部の生成による各クラスタのうち、識別部でターゲットであると識別されたクラスタの画像を、当該各クラスタを構成するポリゴンデータから生成し、少なくとも当該生成した画像をディスプレイ１８に表示させる画像生成部として機能する。
　また、メインプロセッサ２４は、ディスプレイ１８から、ディスプレイ１８に画像表示されたクラスタのうちいずれかのクラスタを訂正するための訂正情報が入力された場合、当該入力された訂正情報で指定されたクラスタをターゲット又は非ターゲットに訂正する訂正部と、特徴ベクトル計算部の計算による特徴ベクトルのうち、訂正部で訂正されたクラスタの特徴ベクトルと、当該クラスタに関する訂正部の訂正結果を基に学習データを再学習して、新規学習データを生成する再学習部として機能する。
　この際、メインプロセッサ２４は、再学習部で新規学習データが生成された場合、特徴ベクトル算出部の算出による特徴ベクトルのうち、訂正部で訂正されたクラスタの特徴ベクトルと再学習部で生成された新規学習データとを基に、訂正部で訂正されたクラスタが、ターゲットであるか否かを識別し、当該識別結果を画像生成部に出力する識別部としても機能する。
　また、メインプロセッサ２４は、ディスプレイ１８から入力された訂正情報が、ディスプレイ１８に画像表示されたクラスタを非ターゲットに訂正するための訂正情報である場合、入力された訂正情報で指定されたクラスタを非ターゲットに訂正し、ディスプレイ１８から入力された訂正情報が、ディスプレイ１８に画像表示されたクラスタをターゲットに訂正するための訂正情報である場合、入力された訂正情報で指定されたクラスタをターゲットに訂正する訂正部として機能する。
　また、メインプロセッサ２４は、学習データとして、ターゲットの種類に応じた複数種類の学習データを用いた場合、複数種類の学習データと特徴ベクトル算出部の算出による各特徴ベクトルとを基に、各クラスタがターゲットであるか否かを識別すると共に、識別結果に応じたラベルデータを付加する識別部と、ディスプレイ１８に画像表示されたクラスタに、識別部の識別結果に付加されたラベルデータに応じた識別ラベルを表示させる画像生成部として機能する。
　本実施例によれば、ボリュームデータをポリゴン化し、ポリゴン化されたポリゴンデータの球面調和関数を計算して特徴ベクトルを求めているので、計算コストを大幅に削減することができる。また、ボリュームデータからターゲットの領域のみを検出し、検出したターゲットの画像を可視化することができので、誤検出が低下する。さらに、特徴ベクトルの特徴量には、回転依存性がないため、検出精度の向上と計算コストの低減を両立させることができる。また、計算コストが低いため、高速に結果を得ることができる。
　以上の効果により、医師や技師の負担を軽減し、医療の質的向上に寄与することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid　State　Drive）等の記録装置、または、ＩＣ（Integrated　Circuit）カード、ＳＤ（Secure　Digital）メモリカード、ＤＶＤ（Digital　Versatile　Disc）等の記録媒体に記録して置くことができる。
　１０、１２、１４、１６　モダリティ、１８　ディスプレイ、２０　ネットワークプロセッサ、２２　自動検出装置、２４　メインプロセッサ、２６　メインメモリ、２８　補助メモリ、３０　入力装置、３２　出力装置。

Claims (10)

  1. 　測定対象を走査して得られた被測定信号を受信して三次元ボリュームデータを生成するモダリティと、
    　操作による情報を入力する入力装置と、
    　前記モダリティで生成された三次元ボリュームデータと前記入力装置から入力された情報を処理するコントローラと、
    　前記コントローラの処理結果を表示する表示装置と、を有し、
    　前記コントローラは、
    　前記モダリティで生成された三次元ボリュームデータをポリゴン化してポリゴンデータに変換し、前記変換されたポリゴンデータを複数のクラスタに分割するクラスタ生成部と、
    　前記各クラスタを構成するポリゴンデータを基に球面調和関数のL２ノルムベクトルを特徴ベクトルとして前記クラスタ毎に算出する特徴ベクトル算出部と、
    　前記特徴ベクトル算出部の算出による各特徴ベクトルと、訓練データを用いた機械学習で得られた学習データとを基に、前記各クラスタがターゲットであるか否かを識別する識別部と、
    　前記クラスタ生成部の生成による各クラスタのうち、前記識別部でターゲットであると識別されたクラスタの画像を、当該各クラスタを構成するポリゴンデータから生成し、少なくとも当該生成した画像を前記表示装置に表示させる画像生成部と、を含むことを特徴とするボリュームデータ解析システム。
  2. 　前記コントローラは、
    　前記入力装置から、前記表示装置に画像表示されたクラスタのうちいずれかのクラスタを訂正するための訂正情報が入力された場合、当該入力された訂正情報で指定されたクラスタをターゲット又は非ターゲットに訂正する訂正部と、
    　前記特徴ベクトル算出部の算出による特徴ベクトルのうち、前記訂正部で訂正されたクラスタの特徴ベクトルと、当該クラスタに関する前記訂正部の訂正結果を基に前記学習データを再学習して、新規学習データを生成する再学習部と、を有し、
    　前記識別部は、
    　前記再学習部で前記新規学習データが生成された場合、前記特徴ベクトル算出部の算出による特徴ベクトルのうち、前記訂正部で訂正されたクラスタの特徴ベクトルと、前記再学習部で生成された新規学習データとを基に、前記訂正部で訂正されたクラスタが、ターゲットであるか否かを識別し、当該識別結果を前記画像生成部に出力することを特徴とする請求項１に記載のボリュームデータ解析システム。
  3. 　前記識別部は、
    　前記学習データとして、前記ターゲットの種類に応じた複数種類の学習データを用いる場合、前記複数種類の学習データと前記特徴ベクトル算出部の算出による各特徴ベクトルとを基に、前記各クラスタがターゲットであるか否かを識別すると共に、前記各識別結果に、当該識別結果に応じたラベルデータを付加し、
    　前記画像生成部は、
    　前記表示装置に画像表示されたクラスタに、前記識別部の識別結果に付加されたラベルデータに応じた識別ラベルを表示させることを特徴とする請求項１に記載のボリュームデータ解析システム。
  4. 　前記クラスタ生成部は、
    　ドロネー三角形分割法又はマーチングキューブスアルゴリズムのいずれかを用いて、前記モダリティで生成された三次元ボリュームデータをポリゴン化してポリゴンデータに変換することを特徴とする請求項１に記載のボリュームデータ解析システム。
  5. 　前記識別部は、
    　前記機械学習に、サポートベクターマシン、マルチサポートベクターマシン、アダブースト、オンラインサポートベクターマシン、又はニューラルネットワークのうちいずれか一つを用いることを特徴とする請求項１に記載のボリュームデータ解析システム。
  6. 　測定対象を走査して得られた被測定信号を受信して三次元ボリュームデータを生成するモダリティと、
    　操作による情報を入力する入力装置と、
    　前記モダリティで生成された三次元ボリュームデータと前記入力装置から入力された情報を処理するコントローラと、
    　前記コントローラの処理結果を表示する表示装置と、を有するシステムにおけるボリュームデータ解析方法であって、
    　前記コントローラは、
    　前記モダリティで生成された三次元ボリュームデータをポリゴン化してポリゴンデータに変換し、前記変換されたポリゴンデータを複数のクラスタに分割する第１のステップと、
    　前記各クラスタを構成するポリゴンデータを基に球面調和関数のL２ノルムベクトルを特徴ベクトルとして前記クラスタ毎に算出する第２のステップと、
    　前記第２のステップで算出された各特徴ベクトルと、訓練データを用いた機械学習で得られた学習データとを基に、前記各クラスタがターゲットであるか否かを識別する第３のステップと、
    　前記第１のステップで生成された各クラスタのうち、前記第３のステップでターゲットであると識別されたクラスタの画像を、当該各クラスタを構成するポリゴンデータから生成し、少なくとも当該生成した画像を前記表示装置に表示させる第４のステップと、を実行することを特徴とするボリュームデータ解析方法。
  7. 　前記コントローラは、
    　前記入力装置から、前記表示装置に画像表示されたクラスタのうちいずれかのクラスタを訂正するための訂正情報が入力された場合、当該入力された訂正情報で指定されたクラスタをターゲット又は非ターゲットに訂正する第５のステップと、
    　前記第２のステップで算出された特徴ベクトルのうち、前記第５のステップで訂正されたクラスタの特徴ベクトルと、当該クラスタに関する訂正結果を基に前記学習データを再学習して、新規学習データを生成する第６のステップとを実行し、
    　前記第３のステップでは、
    　前記第６のステップで前記新規学習データが生成された場合、前記第２のステップで算出された特徴ベクトルのうち、前記第５のステップで訂正されたクラスタの特徴ベクトルと、前記第６のステップで生成された新規学習データとを基に、前記第５のステップで訂正されたクラスタが、ターゲットであるか否かを識別し、当該識別結果を前記第４のステップに反映させることを特徴とする請求項６に記載のボリュームデータ解析方法。
  8. 　前記第３のステップでは、
    　前記学習データとして、前記ターゲットの種類に応じた複数種類の学習データを用いる場合、前記複数種類の学習データと前記第２のステップで算出された各特徴ベクトルとを基に、前記各クラスタがターゲットであるか否かを識別すると共に、前記各識別結果に、当該識別結果に応じたラベルデータを付加し、
    　前記第４のステップでは、
    　前記表示装置に画像表示されたクラスタに、前記第３のステップで付加されたラベルデータに応じた識別ラベルを表示させることを特徴とする請求項６に記載のボリュームデータ解析方法。
  9. 　前記第１のステップでは、
    　ドロネー三角形分割法又はマーチングキューブスアルゴリズムのいずれかを用いて、前記モダリティで生成された三次元ボリュームデータをポリゴン化してポリゴンデータに変換することを特徴とする請求項６に記載のボリュームデータ解析方法。
  10. 　前記第３のステップでは、
    　前記機械学習に、サポートベクターマシン、マルチサポートベクターマシン、アダブースト、オンラインサポートベクターマシン、又はニューラルネットワークのうちいずれか一つを用いることを特徴とする請求項６に記載のボリュームデータ解析方法。
PCT/JP2012/084207 2012-12-28 2012-12-28 ボリュームデータ解析システム及びその方法 WO2014103061A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2012/084207 WO2014103061A1 (ja) 2012-12-28 2012-12-28 ボリュームデータ解析システム及びその方法
US14/655,512 US9589344B2 (en) 2012-12-28 2012-12-28 Volume data analysis system and method therefor
JP2014554042A JP5982726B2 (ja) 2012-12-28 2012-12-28 ボリュームデータ解析システム及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/084207 WO2014103061A1 (ja) 2012-12-28 2012-12-28 ボリュームデータ解析システム及びその方法

Publications (1)

Publication Number Publication Date
WO2014103061A1 true WO2014103061A1 (ja) 2014-07-03

Family

ID=51020206

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/084207 WO2014103061A1 (ja) 2012-12-28 2012-12-28 ボリュームデータ解析システム及びその方法

Country Status (3)

Country Link
US (1) US9589344B2 (ja)
JP (1) JP5982726B2 (ja)
WO (1) WO2014103061A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018537798A (ja) * 2015-10-02 2018-12-20 トラクタブル リミテッドＴｒａｃｔａｂｌｅ Ｌｔｄ． データセットの半自動ラベル付け
JP2019530062A (ja) * 2016-08-12 2019-10-17 アキフィ，インコーポレイティド メディアドキュメントのメタデータを自動的に生成するシステム及び方法
JPWO2019012632A1 (ja) * 2017-07-12 2019-12-26 株式会社ソニー・インタラクティブエンタテインメント 認識処理装置、認識処理方法及びプログラム
JP2021033378A (ja) * 2019-08-15 2021-03-01 キヤノン株式会社 情報処理装置、情報処理方法
US11244438B2 (en) 2020-01-03 2022-02-08 Tractable Ltd Auxiliary parts damage determination
CN115018904A (zh) * 2022-06-02 2022-09-06 如你所视(北京)科技有限公司 全景图像的掩膜生成方法和装置
JP7510782B2 (ja) 2020-04-23 2024-07-04 合同会社Ｈ．Ｕ．グループ中央研究所 プログラム、情報処理装置、情報処理方法及び学習モデルの生成方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10249053B2 (en) * 2016-08-04 2019-04-02 The Boeing Company Method and apparatus for rapid scanning of a three dimensional surface
US20180114368A1 (en) * 2016-10-25 2018-04-26 Adobe Systems Incorporated Three-dimensional model manipulation and rendering
JP6961011B2 (ja) 2016-12-09 2021-11-05 ベイジン ホライズン インフォメーション テクノロジー カンパニー リミテッド データ管理のためのシステム及び方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005052860A2 (en) * 2003-11-19 2005-06-09 Siemens Corporate Research, Inc. System and method for detecting and matching anatomical structures using appearance and shape
WO2007035340A2 (en) * 2005-09-15 2007-03-29 St. Jude Medical, Atrial Fibrillation Division, Inc. Method of rendering a surface from a solid graphical image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239908B1 (en) * 1998-09-14 2007-07-03 The Board Of Trustees Of The Leland Stanford Junior University Assessing the condition of a joint and devising treatment
US7184814B2 (en) * 1998-09-14 2007-02-27 The Board Of Trustees Of The Leland Stanford Junior University Assessing the condition of a joint and assessing cartilage loss
WO2001010339A2 (en) * 1999-08-11 2001-02-15 Case Western Reserve University Method and apparatus for producing an implant
US20050089878A1 (en) * 2003-02-14 2005-04-28 Debe Derek A. Method for determining functional sites in a protein
US7558413B2 (en) 2004-10-12 2009-07-07 Siemens Medical Solutions USA, Inc, Method for detecting polyps in a three dimensional image volume
US7672497B2 (en) * 2005-12-29 2010-03-02 Carestream Health, Inc. Computer aided disease detection system for multiple organ systems
JP5226978B2 (ja) 2007-07-17 2013-07-03 日立アロカメディカル株式会社 超音波診断装置及び画像処理プログラム
US9171396B2 (en) * 2010-06-30 2015-10-27 Primal Space Systems Inc. System and method of procedural visibility for interactive and broadcast streaming of entertainment, advertising, and tactical 3D graphical information using a visibility event codec

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005052860A2 (en) * 2003-11-19 2005-06-09 Siemens Corporate Research, Inc. System and method for detecting and matching anatomical structures using appearance and shape
WO2007035340A2 (en) * 2005-09-15 2007-03-29 St. Jude Medical, Atrial Fibrillation Division, Inc. Method of rendering a surface from a solid graphical image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANDRAS KELEMEN ET AL.: "Three-dimensional Model-based Segmentation of Brain MRI", PROCEEDINGS OF THE IEEE WORKSHOP ON BIOMEDICAL IMAGE ANALYSIS, 1998, pages 4 - 13, XP010291410, DOI: doi:10.1109/BIA.1998.692374 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018537798A (ja) * 2015-10-02 2018-12-20 トラクタブル リミテッドＴｒａｃｔａｂｌｅ Ｌｔｄ． データセットの半自動ラベル付け
JP7048499B2 (ja) 2015-10-02 2022-04-05 トラクタブル リミテッド データセットの半自動ラベル付け
JP2019530062A (ja) * 2016-08-12 2019-10-17 アキフィ，インコーポレイティド メディアドキュメントのメタデータを自動的に生成するシステム及び方法
JPWO2019012632A1 (ja) * 2017-07-12 2019-12-26 株式会社ソニー・インタラクティブエンタテインメント 認識処理装置、認識処理方法及びプログラム
US11170246B2 (en) 2017-07-12 2021-11-09 Sony Interactive Entertainment Inc. Recognition processing device, recognition processing method, and program
JP2021033378A (ja) * 2019-08-15 2021-03-01 キヤノン株式会社 情報処理装置、情報処理方法
JP7324086B2 (ja) 2019-08-15 2023-08-09 キヤノン株式会社 情報処理装置、情報処理方法
US11257203B2 (en) 2020-01-03 2022-02-22 Tractable Ltd Inconsistent damage determination
US11257204B2 (en) 2020-01-03 2022-02-22 Tractable Ltd Detailed damage determination with image segmentation
US11250554B2 (en) 2020-01-03 2022-02-15 Tractable Ltd Repair/replace and labour hours determination
US11361426B2 (en) 2020-01-03 2022-06-14 Tractable Ltd Paint blending determination
US11386543B2 (en) 2020-01-03 2022-07-12 Tractable Ltd Universal car damage determination with make/model invariance
US11587221B2 (en) 2020-01-03 2023-02-21 Tractable Limited Detailed damage determination with image cropping
US11636581B2 (en) 2020-01-03 2023-04-25 Tractable Limited Undamaged/damaged determination
US11244438B2 (en) 2020-01-03 2022-02-08 Tractable Ltd Auxiliary parts damage determination
JP7510782B2 (ja) 2020-04-23 2024-07-04 合同会社Ｈ．Ｕ．グループ中央研究所 プログラム、情報処理装置、情報処理方法及び学習モデルの生成方法
CN115018904A (zh) * 2022-06-02 2022-09-06 如你所视(北京)科技有限公司 全景图像的掩膜生成方法和装置
CN115018904B (zh) * 2022-06-02 2023-10-20 如你所视(北京)科技有限公司 全景图像的掩膜生成方法和装置

Also Published As

Publication number Publication date
JP5982726B2 (ja) 2016-08-31
US9589344B2 (en) 2017-03-07
US20160005167A1 (en) 2016-01-07
JPWO2014103061A1 (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
JP5982726B2 (ja) ボリュームデータ解析システム及びその方法
US10467757B2 (en) System and method for computer aided diagnosis
JP5954769B2 (ja) 医用画像処理装置、医用画像処理方法および異常検出プログラム
US10102622B2 (en) Processing apparatus, processing method, and non-transitory computer-readable storage medium
JP5864542B2 (ja) 画像の異常を検出するための画像データの処理方法、システムおよびプログラム
JP5334692B2 (ja) 制約されたマージナル空間学習を使用して３ｄ解剖学的オブジェクトを検出するための方法およびシステム
US9218542B2 (en) Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy
KR102204437B1 (ko) 컴퓨터 보조 진단 방법 및 장치
US8135189B2 (en) System and method for organ segmentation using surface patch classification in 2D and 3D images
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
US9014456B2 (en) Computer aided diagnostic system incorporating appearance analysis for diagnosing malignant lung nodules
US10319093B2 (en) Image processing apparatus, image processing method, and program
EP2846310A2 (en) Method and apparatus for registering medical images
JP2012155723A (ja) 三次元医療映像から最適の二次元医療映像を自動的に生成する方法及び装置
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
US10949698B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
EP3893198A1 (en) Method and system for computer aided detection of abnormalities in image data
Kumar et al. Lung nodule segmentation using 3-dimensional convolutional neural networks
US20120232379A1 (en) Method and System for Regression-Based 4D Mitral Valve Segmentation From 2D+t Magnetic Resonance Imaging Slices
KR20130016942A (ko) 3차원 볼륨 파노라마 영상 생성 방법 및 장치
JP2017189394A (ja) 情報処理装置および情報処理システム
Chen et al. Virtual blood vessels in complex background using stereo x-ray images
CN115661132A (zh) 一种用于检测肺结节良恶性的计算机存储介质及装置
JP2024509039A (ja) 分類の視覚的説明、方法、システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12890717

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014554042

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14655512

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12890717

Country of ref document: EP

Kind code of ref document: A1