WO2012102069A1 - 情報処理システム、情報処理方法、情報処理装置およびその制御方法とその制御プログラムを格納した記憶媒体 - Google Patents

情報処理システム、情報処理方法、情報処理装置およびその制御方法とその制御プログラムを格納した記憶媒体 Download PDF

Info

Publication number
WO2012102069A1
WO2012102069A1 PCT/JP2012/050249 JP2012050249W WO2012102069A1 WO 2012102069 A1 WO2012102069 A1 WO 2012102069A1 JP 2012050249 W JP2012050249 W JP 2012050249W WO 2012102069 A1 WO2012102069 A1 WO 2012102069A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
analysis
information
magnification
Prior art date
Application number
PCT/JP2012/050249
Other languages
English (en)
French (fr)
Inventor
朝春 喜友名
智文 平塚
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2012554708A priority Critical patent/JP5716753B2/ja
Priority to US13/981,275 priority patent/US9230154B2/en
Publication of WO2012102069A1 publication Critical patent/WO2012102069A1/ja
Priority to US14/818,717 priority patent/US9361508B2/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an information processing technology that supports diagnosis based on a tissue specimen image of a living tissue.
  • Patent Document 1 describes a diagnosis support system in which a medical image is transmitted from a medical image forming system 12 to a specialist at a remote observation station 26 to receive diagnosis support by the specialist.
  • Patent Document 1 when the technique of Patent Document 1 is applied to a diagnosis support system in which a large number of pathologists request diagnosis support for tissue specimen images from a diagnosis center, it takes time to transmit the tissue specimen images due to transmission capacity restrictions. You will have to wait for a long time to reply. For example, when a tissue specimen image for one slide is transmitted using a general public line, it may take several minutes to 10 minutes or more.
  • An object of the present invention is to provide a technique for solving the above-described problems.
  • an apparatus that supports diagnosis based on a tissue specimen image obtained by staining and imaging a biological tissue, First receiving means for receiving image data having a lower magnification out of a plurality of image data obtained at different magnifications with respect to the area image of the selected area in the tissue specimen image; First analysis means for analyzing the area image and generating first feature information based on the lower magnification image data received by the first reception means; Determination means for determining whether or not analysis based on image data having a higher magnification is necessary for the area image based on the first feature information generated by the first analysis means; A notification means for notifying a transmission request for image data with a higher magnification for the area image, when the determination means determines that an analysis based on the image data with a higher magnification is necessary; Second receiving means for receiving the higher-magnification image data transmitted in response to the transmission request by the notification means; Second analysis means for analyzing the area image and generating second feature information
  • the method according to the present invention comprises: A method for controlling an information processing apparatus that supports diagnosis based on a tissue specimen image obtained by staining and imaging a biological tissue, A first receiving step of receiving image data having a lower magnification out of a plurality of image data obtained at different magnifications with respect to the area image of the selected area in the tissue specimen image; A first analysis step of analyzing the area image and generating first feature information based on the lower magnification image data received in the first reception step; A determination step for determining whether or not an analysis based on image data having a higher magnification is necessary for the area image based on the first feature information generated in the first analysis step; A notification step for notifying the transmission request of the image data having a higher magnification for the area image when it is determined that the analysis based on the image data having a higher magnification is necessary in the determination step; A second reception step of receiving the higher-magnification image data transmitted in response to the transmission request in the notification step; A second analysis step of analyzing
  • a storage medium storing a control program of an information processing apparatus that supports diagnosis based on a tissue specimen image obtained by staining and imaging a biological tissue, A first receiving step of receiving image data having a lower magnification out of a plurality of image data obtained at different magnifications with respect to the area image of the selected area in the tissue specimen image; A first analysis step of analyzing the area image and generating first feature information based on the lower magnification image data received in the first reception step; A determination step for determining whether or not an analysis based on image data having a higher magnification is necessary for the area image based on the first feature information generated in the first analysis step; A notification step for notifying the transmission request of the image data having a higher magnification for the area image when it is determined that the analysis based on the image data having a higher magnification is necessary in the determination step; A second reception step of receiving the higher-magnification image data transmitted in response to the transmission request in the notification step
  • an apparatus that requests diagnosis support based on a tissue specimen image obtained by staining and imaging a living tissue, Of the plurality of pieces of image data obtained at different magnifications with respect to the area image of the selected area in the tissue specimen image, transmission source specifying information for specifying the information processing apparatus and image data having lower magnification
  • First transmission means for transmitting data in association with image data specifying information for specifying data;
  • the image data having a higher magnification for the area image is transmitted as the transmission source specifying information and the image data.
  • Second transmission means for transmitting in association with the specific information; Receiving means for receiving feature amount information of the area image associated with the image data specifying information; Display means for displaying the presence or absence of notification of the transmission request for the area image and the feature amount information of the area image in an identifiable manner by superimposing on the tissue specimen image; It is characterized by providing.
  • the method according to the present invention comprises: A method for controlling an information processing apparatus that requests diagnosis support based on a tissue specimen image obtained by staining and imaging a living tissue, Of the plurality of pieces of image data obtained at different magnifications with respect to the area image of the selected area in the tissue specimen image, transmission source specifying information for specifying the information processing apparatus and image data having lower magnification A first transmission step of transmitting data in association with image data specifying information for specifying data; In response to a notification of a transmission request for image data having a higher magnification among the plurality of image data obtained at the different magnifications, the image data having a higher magnification for the area image is transmitted as the transmission source specifying information and the image data.
  • a second transmission step of transmitting in association with the specific information A receiving step of receiving feature amount information of the area image associated with the image data specifying information;
  • a storage medium storing a control program of an information processing apparatus that requests diagnosis support based on a tissue specimen image obtained by staining and imaging a biological tissue, Of the plurality of pieces of image data obtained at different magnifications with respect to the area image of the selected area in the tissue specimen image, transmission source specifying information for specifying the information processing apparatus and image data having lower magnification A first transmission step of transmitting data in association with image data specifying information for specifying data; In response to a notification of a transmission request for image data having a higher magnification among the plurality of image data obtained at the different magnifications, the image data having a higher magnification for the area image is transmitted as the transmission source specifying information and the image data.
  • a second transmission step of transmitting in association with the specific information A receiving step of receiving feature amount information of the area image associated with the image data specifying information; The display step of displaying the presence or absence of notification of the transmission request for the area image and the feature amount information of the area image in an identifiable manner by superimposing on the tissue specimen image; A control program for causing a computer to execute is stored.
  • a system provides: An information processing system for supporting diagnosis based on a tissue specimen image obtained by staining and imaging a living tissue, First image information of the area image is generated by analyzing image data having a lower magnification among a plurality of pieces of image data obtained at different magnifications with respect to the area image of the selected area in the tissue specimen image.
  • First analysis means Determination means for determining whether or not analysis of image data having a higher magnification with respect to the area image is necessary based on the first feature information generated by the first analysis means; Second analysis means for analyzing the area image based on the image data having a higher magnification and generating second feature information when the determination means determines that analysis of the image data having a higher magnification is necessary.
  • Display means for displaying the result of determination by the determination means and the second feature information generated by the second analysis means in an identifiable manner; It is characterized by providing.
  • the method according to the present invention comprises: An information processing method for supporting diagnosis based on a tissue specimen image obtained by staining and imaging a living tissue, For the area image of the selected area in the tissue specimen image, image data having a lower magnification is analyzed from among a plurality of image data obtained at different magnifications with respect to the area image, and the first of the area images is analyzed.
  • a first analysis step for generating feature information A determination step of determining whether analysis of image data having a higher magnification with respect to the area image is necessary based on the first feature information generated in the first analysis step; A second analysis step of generating second feature information by analyzing the area image based on the image data having a higher magnification when it is determined that the analysis of the image data having a higher magnification is necessary in the determination step; , A display step for displaying the result of determination by the determination step and the second feature information generated in the second analysis step in an identifiable manner; It is characterized by including.
  • high-precision diagnosis support can be quickly performed on a tissue specimen image from a pathologist regardless of transmission capacity limitations.
  • FIG. 1 It is a figure which shows the display screen of the analysis result to the pathologist terminal which concerns on 2nd Embodiment of this invention. It is a block diagram which shows the hardware constitutions of the information processing apparatus which concerns on 2nd Embodiment of this invention. It is a block diagram which shows the structure of the table for low magnification images concerning 2nd Embodiment of this invention. It is a block diagram which shows the structure of the table for high magnification images concerning 2nd Embodiment of this invention. It is a block diagram which shows the structure of organization structure analysis DB which concerns on 2nd Embodiment of this invention. It is a block diagram which shows the structure of feature-value analysis DB which concerns on 2nd Embodiment of this invention.
  • An information processing apparatus 100 as a first embodiment of the present invention will be described with reference to FIG.
  • An information processing apparatus 100 in FIG. 1 is an apparatus that supports diagnosis based on a tissue specimen image obtained by staining a biological tissue.
  • the information processing apparatus 100 includes a first reception unit 101, a first analysis unit 102, a determination unit 103, a notification unit 104, a second reception unit 105, and a second analysis unit 106. And a transmission unit 107.
  • the first receiving unit 101 receives image data 121 having a lower magnification out of a plurality of pieces of image data obtained at different magnifications with respect to the area image 111 of the selected area in the tissue specimen image 110.
  • the first analysis unit 102 analyzes the area image 111 based on the lower magnification image data 121 received by the first reception unit 101 and generates first feature information.
  • the determination unit 103 determines whether or not the area image 111 needs to be analyzed based on image data with a higher magnification based on the first feature information generated by the first analysis unit 102.
  • the notification unit 104 notifies the transmission request 122 for image data with a higher magnification for the area image 111.
  • the second receiving unit 105 receives the image data 123 with a higher magnification transmitted in response to the transmission request 122 from the notification unit 104.
  • the second analysis unit 106 analyzes the area image 111 based on the image data 123 with a higher magnification received by the second reception unit 105 and generates second feature information.
  • the transmission unit 107 transmits the second feature information 124 generated by the second analysis unit 106.
  • the second embodiment is a pathological image diagnosis support system in which a plurality of pathological medical terminals and an analysis center are connected via a network, and the analysis center analyzes a tissue specimen image transmitted from the pathological medical terminal and supports diagnosis. is there.
  • a low-magnification area image of the selected area is transmitted from the pathological medical terminal.
  • the analysis center analyzes the low-magnification area image to determine whether it is necessary to analyze the high-magnification area image. If necessary, the pathological medical terminal is requested to transmit a high-magnification area image.
  • the analysis center analyzes the high-magnification area image and notifies the pathological terminal of the analysis result that supports the diagnosis. According to this embodiment, it is possible to quickly and accurately receive support from the analysis center for diagnosis based on a tissue specimen image by a pathologist.
  • the diagnosis support service in the analysis center can be realized with fewer resources.
  • FIG. 2 is a block diagram showing a configuration of a pathological image diagnosis support system 200 that is an information processing system according to the present embodiment.
  • the pathological image diagnosis support system 200 includes an information processing apparatus that functions as an analysis center 210, an information processing apparatus that functions as a plurality of pathological terminals 220, and a network 230 that connects the analysis center 210 and the plurality of pathological terminals 220. With.
  • the analysis center 210 includes a communication control unit 215 for communicating with a plurality of pathological medical terminals 220 via the network 230.
  • a low-magnification area image of one region of interest (hereinafter referred to as ROI: Region of Interest) transmitted from the pathologist terminal 220 is analyzed, and if necessary, a high-magnification area image of the same ROI is analyzed as a result of the analysis.
  • a low-magnification image analysis unit 211 that performs a transmission request is provided.
  • the low-magnification image analysis unit 211 includes a low-magnification image table 212 that is used for analysis of a low-magnification area image and a transmission request for a high-magnification area image.
  • a high-magnification image analyzing unit 213 that analyzes a high-magnification area image of the same ROI transmitted from the pathological medical terminal 220 and returns the analysis result to the pathological medical terminal 220 as diagnosis support information is provided.
  • the high-magnification image analysis unit 213 includes a high-magnification image table 214 used for analyzing a high-magnification area image and transmitting diagnosis support information.
  • Each pathological terminal 220 includes a control unit 221 that controls the operation of the pathological terminal 220 and communication with the analysis center 210.
  • a scanner 222 that reads a pathological slide obtained by photographing a stained biological tissue at a resolution corresponding to a high magnification is provided.
  • a display 223 for displaying the tissue specimen image read by the scanner 222 is provided.
  • FIG. 2 does not show a keyboard or pointing device for data input or operation instruction, but it is assumed that necessary input / output devices are connected.
  • the low magnification is “X10” and the high magnification is “X40”.
  • the low magnification is 3,000 ⁇ 3,000 pixels and 0.21 ⁇ m / pixel
  • the high magnification is 12,000 ⁇ 12,000 pixels.
  • low magnification for example, a tissue structure including the shape of a gland duct can be analyzed, but individual cells and cell nuclei cannot be analyzed.
  • high magnification it is possible to accurately analyze individual cells and cell nuclei.
  • FIG. 3 is a sequence diagram showing an operation sequence 300 of the pathological image diagnosis support system 200 which is the information processing system of the present embodiment.
  • FIG. 3 operations from reading a pathological slide by the scanner 222 of the pathological medical terminal 220 to displaying the diagnosis support information on the screen will be described.
  • the pathological medical terminal 220 reads a tissue specimen image from the pathological slide by the scanner 222.
  • the resolution of the scanner 222 corresponds to the high-magnification image data of the tissue specimen image, but there is no upper limit on the resolution.
  • the read tissue specimen image is displayed on the display 223.
  • a tissue region used for diagnosis is selected from a plurality of tissue regions in the tissue specimen image.
  • an ROI that requests analysis to the analysis center 210 for diagnosis support is selected from the selected tissue region (see FIG. 4).
  • the selection of the tissue region and the selection of the ROI may be instructed by the pathologist from the tissue specimen image on the display 223 screen, or may be determined by existing automatic ROI setting software.
  • the automatic ROI setting software determines the target region by calculation with a small load (for example, detection of a region heavily stained with hematoxylin, etc.) compared to the amount of calculation for full-fledged cancer diagnosis performed at the analysis center 210.
  • a light software module hereinafter, this software module is referred to as LWA (Light-weight Analyzer) in this specification.
  • the pathological medical terminal 220 transmits the low-magnification image data of the selected ROI to the analysis center 210.
  • the tissue specimen image read by the scanner 222 corresponds to the high-magnification image data, and therefore, the low-magnification image data is generated by reducing the resolution by, for example, thinning processing.
  • the low-magnification image data to be transmitted includes at least the terminal ID of the pathological medical terminal 220, the image number for specifying the image, the site of the taken tissue (stomach, lung, breast, prostate, etc.), and the staining method (HE method, IHC) Method, FISH method, etc.) are attached for analysis and result transmission by the analysis center 210.
  • the image number is a number independent of the patient's personal information, and the management of the personal information is converted and assigned so as to be completed in the pathologist terminal 220.
  • the allocation method will be described with reference to FIG. 7A.
  • only one piece of information is sufficient for selecting an analysis method, only one piece of information is sufficient.
  • gender and age information, address and nationality information, etc. may be added for analysis or information storage in a database (hereinafter referred to as DB) or analysis within a range in which the patient's personal information does not leak.
  • DB database
  • DB database
  • a plurality of ROIs are selected in one tissue region, but low-magnification image data may be transmitted collectively for a plurality of ROIs or individually for each ROI.
  • step S307 the analysis center 210 that has received the low-magnification image data performs a simple tissue structure analysis using the tissue structure analysis DB that has been learned and registered in advance based on the ROI low-magnification image data.
  • this ROI is considered to be a cancer cell candidate, it is determined whether analysis using high-magnification image data is necessary.
  • FIG. 8A shows an example of the organization structure analysis DB.
  • the next ROI is determined.
  • the area image of each ROI is analyzed completely independently without relating to the patient or the pathological medical terminal of the transmission source. Moreover, it may be analyzed independently from other ROI area images in the tissue specimen image from the same pathological slide.
  • the analysis center 210 requests the pathological medical terminal 220 to transmit high-magnification image data.
  • the transmission request can specify an area image without transmitting patient information, based on the terminal ID and image number of the transmission source.
  • the pathologist terminal 220 confirms that the request partner is the own terminal based on the terminal ID of the transmission source, and specifies high-magnification image data to be transmitted based on the image number.
  • the ROI information for which high-magnification image data is requested is held for displaying the analysis result.
  • the pathological medical terminal 220 transmits the high-magnification image data of the requested ROI to the analysis center 210 together with the transmission source terminal ID and the image number.
  • step S317 the analysis center 210 that has received the high-magnification image data performs a fine feature quantity analysis using a feature quantity analysis DB that has been learned and registered in advance based on the ROI high-magnification image data.
  • the feature amount analysis may differ depending on the part of the biological tissue or the staining method.
  • FIG. 8B shows an example of the feature amount analysis DB.
  • step S319 the analysis center 210 transmits the feature amount analyzed based on the high-magnification image data or feature amount information representing the feature amount to the pathological medical terminal 220 as an analysis result.
  • step S321 the pathological medical terminal 220 that has received the analysis result superimposes the analysis result on the tissue specimen image read from the pathological slide in step S301 and displays it on the display 223 in step S323 (see FIGS. 5A and 5B).
  • the pathologist refers to the analysis result displayed on the display 223 as support information, and diagnoses the tissue specimen image.
  • diagnosis prediction based on the feature amount in the feature amount analysis in step S317 has already been realized.
  • the diagnosis prediction may be displayed on the display 223 in step S323 to provide diagnosis support.
  • FIG. 4 is a diagram showing a screen 400 displayed on the display 223 of the pathologist terminal 220 at the time of transmitting the selected ROI area image to the analysis center 210.
  • the screen 400 displays a plurality of selected ROIs 401 to 404 superimposed on the tissue region selected from the tissue specimen image.
  • Low-magnification area images in the plurality of ROIs 401 to 404 are transmitted to the analysis center 210 to obtain diagnosis support information.
  • the area images of the plurality of ROIs 401 to 404 may be transmitted at once, or one ROI may be transmitted sequentially.
  • FIG. 4 shows a case where the ROI is rectangular, it may be another shape such as a circle or an ellipse, or may be a shape that matches the outline of the cell mass.
  • 405 in FIG. 4 is management information of the displayed tissue specimen image in the pathologist terminal 220 and information for specifying the analysis center 210 that is a request destination for requesting diagnosis support. Among these, personal information such as name is not transmitted to the analysis center 210. Note that the information shown in 405 is an example, and the present invention is not limited to this.
  • FIG. 5A is a diagram showing a first screen 510 in which the analysis result analyzed based on the low-magnification image data in the analysis center 210 is displayed on the display 223 of the pathological terminal 220.
  • the analysis results of the plurality of ROIs 401 to 404 in FIG. 4 are represented by differences in the lines of the rectangular frame surrounding the ROI.
  • ROI 511 indicates an area without cancer cells that does not need to analyze high-magnification image data by a thin solid line.
  • ROIs 512 and 513 indicate areas where the high-magnification image data needs to be analyzed and the cancer cells are clear, with thick solid lines.
  • ROI 514 indicates an area without cancer cells, although it requires analysis of high-magnification image data by a thick broken line.
  • it is represented by the difference in the lines of the rectangular frame, but may be another identifiable display such as a difference in color.
  • 515 in FIG. 5A is management information of the displayed tissue specimen image in the pathologist terminal 220 and information specifying the analysis center 210 of the report source that reported the analysis result of the diagnosis support.
  • personal information such as name is managed by the pathologist terminal 220. Note that the information shown in 515 is an example, and the present invention is not limited to this.
  • FIG. 5B is a diagram showing a second screen 520 in which the analysis result analyzed based on the high-magnification image data in the analysis center 210 is displayed on the display 223 of the pathologist terminal 220.
  • the analysis results of the plurality of ROIs 401 to 404 in FIG. 4 are represented by display of feature amounts analyzed corresponding to each ROI having cancer cells.
  • ROIs 521 and 524 indicate that there are no cancer cells because no feature value is displayed.
  • the ROIs 522 and 523 are displayed as values of the average nucleus size ( ⁇ m 2), the average deformity, and the texture as feature amounts. Note that the feature amount varies depending on the part of the biological tissue and the staining method, and an example thereof is shown with reference to FIG. 8B. 5B may be displayed in combination with FIG. 5A.
  • 5B in FIG. 5B is management information of the displayed tissue specimen image in the pathologist terminal 220 and information for specifying the analysis center 210 that has reported the analysis result of the diagnosis support.
  • personal information such as name is managed by the pathologist terminal 220.
  • the information indicated by 525 is an example, and the present invention is not limited to this.
  • FIG. 6 is a block diagram showing a hardware configuration of the analysis center 210 according to the present embodiment. Although FIG. 6 shows a configuration with one device, it may be configured with a plurality of devices according to function.
  • a CPU 610 is a processor for arithmetic control, and realizes a control unit of the analysis center 210 by executing a program.
  • the ROM 620 stores fixed data and programs such as initial data and programs.
  • the communication control unit 215 controls communication with a plurality of pathological medical terminals 220 via the network 230. Such communication may be wired or wireless.
  • the RAM 640 is a random access memory that the CPU 610 uses as a temporary storage work area.
  • an area for storing data necessary for realizing the present embodiment is secured.
  • received data 641 including image data of an area image received from the pathological medical terminal 220 is stored.
  • a low magnification image table 212 for managing low magnification image data received from the pathologist terminal 220 is stored (see FIG. 7A).
  • a high magnification image table 214 for managing the high magnification image data received from the pathologist terminal 220 is stored (see FIG. 7B).
  • transmission data 642 including an analysis result to be transmitted to the pathological medical terminal 220 is stored.
  • the storage 650 is a mass storage device that stores a database, various parameters, and a program executed by the CPU 610 in a nonvolatile manner.
  • the storage 650 stores the following data or programs necessary for realizing the present embodiment.
  • a tissue structure analysis DB 651 (see FIG. 8A) used for analyzing whether or not high magnification image data needs to be analyzed by performing ROI tissue structure analysis using low magnification image data. Is done.
  • a feature amount analysis DB 652 (see FIG. 8B) used for performing ROI feature amount analysis using high-magnification image data is stored.
  • the tissue structure analysis DB 651 and feature amount analysis DB 652 are updated by learning using image data received from the pathologist terminal 220, feedback of analysis results, statistical processing of analysis results, and the like. Is desirable.
  • a pathological image diagnosis support program 653 for realizing a series of pathological image diagnosis support is stored as a program (see FIG. 9).
  • a tissue structure analysis module 654 for performing a tissue structure analysis of ROI using low-magnification image data using the tissue structure analysis DB 651 constituting a part of the pathological image diagnosis support program 653 is stored.
  • a feature amount analysis module 655 for performing feature amount analysis of ROI using high-magnification image data using the feature amount analysis DB 652 constituting a part of the pathological image diagnosis support program 653 is stored.
  • an analysis result transmission module 656 for transmitting the analysis result as diagnosis support information to the pathological terminal 220 is stored.
  • FIG. 6 shows only data and programs essential for the present embodiment, and general-purpose data and programs such as OS are not shown.
  • FIG. 7A is a diagram showing a configuration of the low-magnification image table 212 of FIGS. 2 and 6 for managing low-magnification image data.
  • this low-magnification image table 212 it is possible to identify the transmission source that transmitted the low-magnification image data and the ROI without personal information, and it is possible to request transmission of high-magnification image data of the same ROI. All the associations between the low-magnification image data and the personal information are held in the pathological medical terminal 220 and do not go outside.
  • the terminal ID 701 of the pathologist terminal 220 which is transmission source identification information of the transmission source that transmitted the ROI low-magnification image data
  • the image number which is the image data specifying information assigned by the pathological medical terminal 220 is stored as the received image number 702.
  • the most significant bit “0” of the image number 702 represents low-magnification image data, but may be represented by other methods.
  • the terminal ID 701 and the received image number 702 can specify which ROI image data of which pathological terminal 220 is a transmission request for high-magnification image data without personal information. Therefore, the terminal ID 701 and the received image number 702 may be used as one number for managing image data.
  • the received low-magnification image data 703 is stored.
  • the low-magnification image data 703 may store a pointer that points to a storage address stored at another position.
  • the body tissue portion 704, the staining method 705, and the sex / age 706 are information for selecting the tissue structure analysis method of the low-magnification image data 703. In addition, if the site
  • FIG. 7B is a diagram showing a configuration of the high-magnification image table 214 in FIGS. 2 and 6 for managing the high-magnification image data.
  • This high-magnification image table 214 makes it possible to identify the transmission source that sent the high-magnification image data and the ROI without personal information, and to transmit and manage analysis results. All the relations between the high-magnification image data and the personal information are held in the pathological medical terminal 220 and do not go outside.
  • the high-magnification image table 214 stores the terminal ID 711 of the pathologist terminal 220 that has transmitted the ROI high-magnification image data. Further, the image number assigned by the pathologist terminal 220 is stored as the received image number 712. Here, the most significant bit “1” of the image number 712 represents high-magnification image data, and the number indicated by the lower bits is the same as the image number 702 in FIG. 7A when the ROI is the same. Managed by.
  • the terminal ID 711 and the received image number 712 can identify which ROI image data of which pathological terminal 220 the analysis result of the high magnification image data is based on without personal information.
  • the received high-magnification image data 713 is stored. Note that the high-magnification image data 713 may store a pointer that points to a storage address stored at another position.
  • the body tissue region 714, the staining method 715, and the gender / age 716 are information for selecting a feature amount analysis method of the high-magnification image data 713. In addition, if the site
  • FIG. 8A is a diagram showing a configuration of the tissue structure analysis DB 651 of FIG. Note that the parameters used for the organizational structure analysis and the calculation of each feature amount using the parameters are not the feature parts of the present embodiment but are known, and thus the description thereof is omitted (see Japanese Patent Laid-Open No. 2006-153742). ).
  • Reference numerals 801 to 805 are determination conditions that are registered in advance for learning in order to determine the necessity 708 of the high-magnification image from the result 707 of the tissue structure analysis in FIG. 7A.
  • the determination conditions are different depending on the characteristics of the tissue specimen image itself such as the analysis target biological tissue region 801, the staining method 802, and the other 803.
  • the high magnification image data necessary condition 804 of the tissue structure analysis result is a high magnification image data necessary condition parameter obtained in advance from the tissue structure analysis result.
  • a value may be a threshold value or a range.
  • Such a determination condition is a condition for determining whether or not there is a suspicion that this ROI has cancer. Even if one of the conditions is satisfied, it is determined that the ROI has a cancer. Sometimes it is judged.
  • the feature amount analyzed by the tissue structure analysis will be briefly described in the case of the HE staining method, but is not limited to this description.
  • a special feature amount may be used depending on the target organ, but the following feature amount is an important feature in almost any cancer.
  • FIG. 8B is a diagram showing a configuration of the feature amount analysis DB 652 of FIG. Note that the parameters used in the feature amount analysis and the calculation of each feature amount using the parameters are not the feature portions of the present embodiment, but are known, and thus the description thereof is omitted (see Japanese Patent Application Laid-Open No. 2006-153742). ).
  • Reference numerals 811 to 815 are determination criteria that have been registered in advance for generating the analysis result notification data 718 from the result 717 of the feature amount analysis in FIG. 7B.
  • the judgment criteria are different judgment criteria depending on the characteristics of the tissue specimen image itself such as the part 811 of the biological tissue to be analyzed, the staining method 812, and the other 813.
  • the cancer cell presence / absence determination criterion 814 is a cancer cell presence / absence determination condition parameter obtained in advance from the characteristic amount analysis result. Such a value may be a threshold value or a range.
  • Such a judgment condition is a condition for judging whether this ROI was suspected of having cancer but was a cancer as a conclusion, or whether it was suspected of having cancer but was a benign disease as a conclusion. And, even if one condition is satisfied, it may be determined that the cancer is satisfied, or when a plurality of conditions are satisfied, it may be determined that the cancer is detected.
  • the feature amount analyzed by the feature amount analysis will be briefly described in the case of the HE staining method, but is not limited to this description.
  • a special feature amount may be used depending on the target organ, but the following feature amount is an important feature in almost any cancer.
  • F1-F7 described in FIG. 8B F1) the size of the nucleus, F2) the major and minor axis of the nucleus, F3) Circularity (maximum value 1 if close to a circle, smaller value if the degree of deviation from the circle is larger), F4) Texture, F5) Color (RGB), F6) Color (HSV), F7) Ductal area, There is.
  • signet ring a signet ring cell
  • signet ring a signet ring cell
  • the feature quantities of the same name used in the analysis of the low-magnification image data and the analysis of the high-magnification image data are not the same because the resolutions of the images are different.
  • the size of the nucleus is roughly analyzed by extracting a region stained with hematoxin and classifying it into a large nucleus and a small nucleus based on the pixel size.
  • the outline of the nucleus is accurately extracted, and the size (or circularity or the like) is calculated based on the outline.
  • a gland duct region is extracted by analyzing low-magnification image data to generate a duct mask, and the mask information is directly used as a high-magnification image. Pass to data analysis module. Based on this information, the high-magnification image data analysis module checks whether the gland duct contains the nucleus to be analyzed. If it is contained in the gland duct, Do not judge.
  • the relationship between the analysis of the low-magnification image data and the analysis of the high-magnification image data is not a simple primary analysis and a secondary analysis, but will be complicated in the present embodiment, and detailed description thereof will be omitted.
  • FIG. 9 is a flowchart showing an operation procedure of the analysis center 210. This flowchart is executed by the CPU 610 in FIG. 6 using the RAM 640, and realizes the function of the analysis center 210 in FIG.
  • step S901 an image reception from the pathologist terminal 220 is awaited. If there is image reception, the process proceeds to step S903, and information such as the terminal ID of the transmission source of the received image data, the image number, the region, the staining method, and sex / age is stored and held.
  • step S905 the transmitted image data is stored and held.
  • it is determined whether the image data received from the image number is low magnification image data or high magnification image data it is determined whether the image data received from the image number is low magnification image data or high magnification image data, and the information stored and held in steps S903 and S905 is stored in the low magnification image table 212 in FIG. 7A. Alternatively, it is stored in the high magnification image table 214 of FIG. 7B.
  • step S907 the process branches depending on whether the received image data is low magnification image data or high magnification image data. If the received image data is low-magnification image data, the process advances to step S909 to analyze the tissue structure of the low-magnification image data corresponding to the site, staining method, sex / age, and the like. In the tissue structure analysis performed here, for example, in the case of a HE-stained stomach biological tissue, selection of a cancer candidate region is performed based on a disorder of the shape of a gland duct using a known InfoMax algorithm. Next, in step S911, it is determined whether or not it is necessary to analyze high-magnification image data of the same ROI from the result of the tissue structure analysis. If it is necessary to analyze the high-magnification image of the same ROI, the process proceeds to step 913, and the transmission pathological medical terminal 220 is requested to transmit the high-magnification image data of the same ROI.
  • step S915 the process advances to step S915 to perform feature quantity analysis of the high-magnification image data corresponding to the site, staining method, sex / age, and the like.
  • the feature amount analysis performed here is, for example, a HE-stained stomach biological tissue, and a size and shape analysis of a cell nucleus using a known SVM algorithm is performed.
  • step S917 the feature amount analysis result of the high-magnification image data is transmitted with the image number from the transmission source attached to the pathological medical terminal 220 of the transmission source.
  • FIG. 10 is a block diagram illustrating a hardware configuration of the pathological medical terminal 220 according to the present embodiment.
  • the pathological medical terminal 220 includes a control unit 221, a scanner 222, and a display 223 as a basic configuration.
  • a CPU 1010 is a processor for arithmetic control, and realizes a control unit of the pathologist terminal 220 by executing a program.
  • the ROM 1020 stores fixed data and programs such as initial data and programs.
  • the communication control unit 1030 controls communication with the analysis center 210 via the network 230. Such communication may be wired or wireless.
  • the RAM 1040 is a random access memory used by the CPU 1010 as a temporary storage work area.
  • the RAM 1040 has an area for storing data necessary for realizing the present embodiment.
  • tissue specimen image read data 1041 read from the pathological slide by the scanner 222 is stored.
  • the low magnification image data and the high magnification image data transmitted to the analysis center 210 are managed, and an image identification table 1042 for specifying a patient, a region, an ROI, and the like is stored (see FIG. 11).
  • transmission / reception data 1043 transmitted / received to / from the analysis center 210 is stored (see FIG. 11).
  • display data 1044 to be displayed on the display 223 of the pathologist terminal 220 is stored.
  • the storage 1050 is a mass storage device that stores a database, various parameters, and a program executed by the CPU 1010 in a nonvolatile manner.
  • the storage 1050 stores the following data or programs necessary for realizing the present embodiment.
  • a tissue specimen image DB 1051 read by the scanner 222 that is accumulated locally by a pathologist is stored.
  • a patient history DB 1052 that stores a diagnosis history corresponding to a patient is stored.
  • the tissue specimen image DB 1051 and the patient history DB 1052 of the pathologist terminal 220 include the pathologist terminal 220.
  • the parameters that can access the information of the analysis center 210 are stored.
  • a pathological image diagnosis processing program 1053 including a process for requesting the analysis center 210 for pathological image diagnosis support is stored as a program (see FIG. 12). Further, an ROI selection module 1054 that selects a tissue region and ROI to be diagnosed from a tissue specimen image, which constitutes a part of the pathological image diagnosis processing program 1053, is stored. In addition, a transmission / reception control module 1055 that controls data communication with the analysis center 210 that constitutes a part of the pathological image diagnosis processing program 1053 is stored. Further, an analysis result display module 1056 for superimposing and displaying the analysis result received from the analysis center 210 on the tissue specimen image is stored.
  • the input interface 1060 is an interface for inputting control signals and data necessary for control by the CPU 1010.
  • image data of a tissue specimen image obtained by reading a pathological slide by the scanner 222 is input.
  • the output interface 1070 is an interface that outputs control signals and data to the device under the control of the CPU 1010.
  • the tissue specimen image, the diagnosis support request information to the analysis center 210, or the analysis result transmitted from the analysis center 210 is output to the display 223.
  • FIG. 10 shows only data and programs essential for the present embodiment, and general-purpose data and programs such as OS are not shown.
  • FIG. 11 is a diagram showing the configuration of the image identification table 1042 and transmission / reception data 1043 shown in FIG.
  • 1101 is a patient ID for identifying a patient
  • 1102 is the sex and age of the patient, and information for identifying the patient. Furthermore, although other specific information such as the patient's address is also stored, FIG. 11 shows only information necessary for the processing of this embodiment.
  • 1103 is a region of the tissue specimen image to be analyzed
  • 1104 is a staining method of the living tissue, and is information related to the analysis method in the analysis center 210.
  • 1105 is a slide ID for specifying a pathological slide
  • 1106 is a tissue area ID for specifying a tissue area to be analyzed in a tissue specimen image read by the scanner 222 from the pathological slide
  • 1107 is an ROI to be analyzed in the tissue area ROI_ID.
  • the position addresses of the upper left and lower right of the rectangle indicating the ROI_ID 1107 in the tissue specimen image are stored in 1108. Note that the position storage data differs depending on the shape of the ROI.
  • information related to the analysis method in the analysis center 210 is transmitted to the analysis center 210, but information related to personal information of other patients is transmitted to the analysis center 210.
  • the image number 1109 uniquely transmitted by the pathologist terminal 220 not related to the personal information of the patient is assigned to the ROI image specified by the data 1101 to 1108.
  • 1110 is ROI low magnification image data specified by the image number 1109 to be transmitted
  • 1111 is ROI high magnification image data specified by the image number 1109 to be transmitted.
  • the analysis result 1112 reported from the analysis center 210 and the diagnosis result 1113 diagnosed by the pathologist with reference to the analysis result 1112 as support information are stored.
  • communication of ROI image data and analysis results between the pathological medical terminal 220 and the analysis center 210 is basically a pathology not related to the patient's personal information. This is performed based on the image information assigned by the medical terminal 220.
  • FIG. 12 is a flowchart showing an operation procedure of the pathological medical terminal 220 of the present embodiment. This flowchart is executed by the CPU 1010 in FIG. 10 using the RAM 1040, and realizes the function of the pathologist terminal 220 in FIG.
  • step S1201 the pathological slide is read at a resolution corresponding to high magnification by the scanner 222, and the read high magnification image data is stored in step S1203.
  • step S1205 the tissue specimen image corresponding to the pathological slide is displayed on the display 223.
  • step S1207 a tissue region to be analyzed is selected from the tissue specimen image corresponding to the pathological slide, and an ROI is selected from the tissue region, and an image number is assigned to the ROI image.
  • the processing in step S1207 may be automatically performed by the LWA installed in the pathologist terminal 220, or may be performed by a touch panel on a display screen in an interactive manner with the pathologist.
  • FIG. 4 shows an example in which a plurality of ROIs selected for the analysis request are displayed superimposed on the selected tissue region as a result of the processing in step S1207.
  • step S1209 low-magnification image data of the selected ROI is generated.
  • the generation method of the low-magnification image data may be an existing method, and for example, the thinning process is simple.
  • the generated low-magnification image data is assigned an assigned image number and transmitted to the analysis center 210.
  • the terminal ID for identifying the pathologist terminal 220 and information related to the analysis method of the analysis center 210 are also transmitted together.
  • step S1213 it is determined whether or not there is a transmission request for high-magnification image data of the same ROI from the analysis center 210. If there is a transmission request for high-magnification image data, the process advances to step S1215 to store and hold the requested ROI for display of the analysis result. In step S1217, the requested ROI high-magnification image data is transmitted to the analysis center 210 with an image number assigned. On the other hand, if there is no transmission request for high-magnification image data, the process advances to step S1219.
  • step S1219 reception of an analysis result from the analysis center 210 is awaited. If the analysis result is received, the process proceeds to step S1221, and the analysis result remains as numerical data (see FIG. 5B), or display data such as the color of the ROI frame is generated from the analysis result (see FIG. 5A). A display screen superimposed on the tissue area is generated. In step S1223, the generated display screen is displayed on the display 223, thereby assisting a pathologist in diagnosis.
  • the analysis target of the analysis center 210 is limited to the ROI in one tissue region selected from the tissue specimen image of the pathological slide.
  • feature amount analysis is performed by referring to ROIs in other tissue regions of the same pathological slide. According to the present embodiment, even when analysis of only the selected tissue region is not sufficient for diagnosis, it is possible to quickly and accurately receive support from the analysis center for diagnosis based on a tissue specimen image by a pathologist.
  • the configuration of the information processing system and analysis center of the third embodiment, and the configuration of the pathological terminal are as follows: Since it is similar to the second embodiment and can be estimated, the description will not be repeated.
  • FIG. 13 is a sequence diagram showing an operation sequence 300 of the pathological image diagnosis support system 200 which is the information processing system of this embodiment.
  • FIG. 13 operations from reading a pathological slide by the scanner 222 of the pathological medical terminal 220 to analyzing the feature amount of the analysis center 210 will be described. Since the operation after the feature amount analysis (S319 to S323) is the same as that in FIG. 3 of the second embodiment, a description thereof will be omitted.
  • step S301 to S315 is the same as that in FIG. 3 of the second embodiment, and it is determined whether high-magnification image data is necessary by tissue structure analysis of the ROI low-magnification image data. Request to 220 to transmit.
  • step S1309 an image of another tissue region is analyzed for diagnosis support. Whether or not is necessary.
  • the high-magnification image data of one region is sent and analyzed, and if the gun determination is made, the sending of the high-magnification image data is terminated at that time, and the final determination is terminated as a gun.
  • the next high-magnification image data is requested and analyzed. If the cancer is denied in the analysis of all eight high-magnification image data, the determination will be benign in the end. If this data transfer method is used, the process ends when it is determined that the cancer has occurred. Therefore, it is not necessary to send all eight high-magnification image data, the data transfer amount is reduced, and the total diagnosis time is shortened. It will be. The effect is the same when the eight regions are within the tissue region requested initially.
  • step S317 If there is no analysis of the other tissue region and it is sufficient for the analysis, the process proceeds to step S317, and the feature amount analysis is performed using the high-magnification image data. If analysis of another tissue region is necessary, in step S1311, the analysis center 210 requests an image of the other tissue region from the pathological medical terminal 220. In step S1313, the pathological medical terminal 220 selects another tissue region according to the request, holds the selection information, and selects an ROI from the tissue region. In step S1315, the high magnification image data of the ROI of the other selected tissue region is transmitted to the analysis center 210.
  • the analysis center 210 in addition to the analysis of the ROI image data selected first in the feature amount analysis in step S317, the analysis center 210 analyzes the ROI image data of other tissue regions that require additional analysis.
  • the analysis result is also displayed on the pathologist terminal 220 as diagnosis support information.
  • FIG. 13 the request and transmission of the high-magnification image data of the ROI selected first and the request transmission of the ROI high-magnification image data of other tissue regions that require additional analysis are illustrated as separate processes. You may request and send it.
  • the analysis center 210 only notifies the analysis result of the ROI image data sent from the pathological medical terminal 220 as diagnosis support information.
  • ROI image data that has been analyzed by the analysis center 210 with diagnosis support so far and diagnosis results by a pathologist referring to the analysis results are accumulated as a case DB, and the case DB is notified when the analysis results are notified. Reference data based on is further notified.
  • diagnosis based on tissue specimen images by a pathologist based not only on the judgment of a single pathologist but also on the learning results of the relationship between the tissue specimen images of many pathologists, analysis results, and diagnosis results.
  • Analytical center support for can be quickly and accurately received. Furthermore, it becomes possible to refer to the diagnosis cases at any time from the pathological medical terminal 220, and the necessity of managing past diagnostic cases at the pathological medical terminal 220 is reduced.
  • FIG. 14 is a block diagram illustrating a configuration of a pathological image diagnosis support system 1400 that is an information processing system according to the present embodiment.
  • the same reference number is attached
  • subjected to the component which performs the function similar to FIG. 14 differs from FIG. 2 only in the configuration of the analysis center 1410, and the same reference numerals are given to the same functional units.
  • the pathological image diagnosis support system 1400 includes an information processing apparatus that functions as an analysis center 1410, an information processing apparatus that functions as a plurality of pathological terminals 220, and a network 230 that connects the analysis center 210 and the plurality of pathological terminals 220. With.
  • the analysis center 1410 includes a communication control unit 1415 for communicating with a plurality of pathologist terminals 220 via the network 230. Also, a low-magnification image analysis unit 211 that analyzes a low-magnification area image of one ROI transmitted from the pathological medical terminal 220 and requests transmission of a high-magnification area image of the same ROI if necessary as a result of the analysis. Is provided.
  • the low-magnification image analysis unit 211 includes a low-magnification image table 212 that is used for analysis of a low-magnification area image and a transmission request for a high-magnification area image.
  • a high-magnification image analysis unit 1413 is provided.
  • the high-magnification image analyzing unit 1413 analyzes the high-magnification area image of the same ROI transmitted from the pathological medical terminal 220, and returns the analysis result to the pathological medical terminal 220 as diagnosis support information. At the same time, diagnosis auxiliary information referring to the past area images, analysis results, and diagnosis results accumulated in the diagnosis case DB 1416 is returned to the pathologist terminal 220.
  • the high-magnification image analysis unit 1413 includes a high-magnification image table 214 used for analyzing a high-magnification area image and transmitting diagnosis support information.
  • diagnosis example DB 1416 accumulates the ROI tissue specimen image, the analysis result, and the diagnosis result in association with each other based on the notification of the diagnosis result referring to the analysis result from each pathological medical terminal 220, and stores the diagnosis auxiliary information. Referenced for generation.
  • the configuration of the pathologist terminal 220 is the same as that of the second embodiment, and a description thereof will be omitted.
  • FIG. 15 is a sequence diagram showing an operation sequence 1500 of the pathological image diagnosis support system 1400 that is the information processing system of this embodiment.
  • the sequence in FIG. 3 (or FIG. 13) is executed before the start or in the central omitted part, but this is not shown and only the characteristic part of this embodiment is shown. That is, before the omitted part at the center, operations from the input of the diagnosis result of the pathologist at the pathological medical terminal 220 to the accumulation of the case in the diagnosis case DB 1416 are shown. Further, the operation after the central omitted portion is the operation from the transmission of the requested ROI high-magnification image data in FIG. 3 to the display of the analysis result and diagnosis holding information on the pathological medical terminal 220.
  • the pathologist terminal 220 After displaying the analysis result of FIG. 3 or FIG. 13 (S323), the pathologist terminal 220 waits for input of a diagnosis result referring to the analysis result by the pathologist in step S1501. If a diagnosis result is input, the process proceeds to step S1503, and a treatment method corresponding to the input diagnosis result is transmitted to the analysis center 210 (see FIG. 16). The diagnosis result and the treatment method are transmitted with the terminal ID and an image number for specifying the same ROI image as in FIG. 3 (S1505).
  • the analysis center 210 receives the diagnosis result and the treatment method, in step S1507, the ROI image is accumulated in the analysis center 210 as data independent of the transmission source, the patient, and the like. Reassign.
  • the reassigned image number is notified to the pathological terminal 220.
  • the pathological medical terminal 220 holds the notified reassigned image number in association with personal information such as a patient. By doing so, the analysis center 210 can store and manage data independently of personal information, and the pathological medical terminal 220 can read ROI image data requested by the analysis center when necessary.
  • the analysis center 210 stores the received diagnosis result and treatment method in the diagnosis example DB 1416 in association with the reassigned image number, image data, and analysis result.
  • the information stored in the diagnosis case DB 1416 does not have to be all information, and information useful for future diagnosis assistance may be selected and stored.
  • the analysis center 210 is also used as an information storage server by the pathological terminal 220, all information transmitted from the pathological terminal 220 is stored for diagnosis support.
  • step S315 the high-magnification image data is transmitted to the analysis center 210.
  • diagnosis auxiliary information is generated in step S1519 with reference to the diagnosis case DB 1416.
  • step S1521 the diagnostic auxiliary information is reported to the pathological medical terminal 220 together with the diagnosis result.
  • step S1523 the pathologist terminal 220 generates a display image by superimposing the received diagnosis result and diagnosis auxiliary information on the selected tissue region of the tissue specimen image.
  • step S1525 display is performed on the display 223 to support pathologist diagnosis (see FIG. 17).
  • FIG. 16 is a diagram showing a screen 1600 displayed on the display 223 of the pathologist terminal 220 when the diagnosis result and treatment method by the selected ROI are transmitted to the analysis center 210.
  • the screen 1600 displays a plurality of selected ROIs 1601 to 1604 superimposed on the tissue region selected from the tissue specimen image.
  • the ROI 1601 indicates a state deleted from the ROI by the pathologist.
  • An ROI 1604 indicates a state changed from malignant to benign by a pathologist.
  • ROI 1602 and 1603 are the analysis results as they are.
  • Reference numeral 1605 in FIG. 16 indicates management information of the displayed tissue specimen image in the pathological medical terminal 220, information for specifying the analysis center 210 that reports the diagnosis result, and the diagnosis result and treatment method by the pathologist. . Among these, personal information such as name is not transmitted to the analysis center 210. Note that the information shown in 1605 is an example, and the present invention is not limited to this.
  • FIG. 17 is a diagram showing a screen 1700 in which the analysis result analyzed in the analysis center 210 and the diagnostic auxiliary information are displayed on the display 223 of the pathological medical terminal 220.
  • the analysis results of the plurality of ROIs 1701 to 1704 are represented by the difference in the lines of the rectangular frame surrounding the ROI.
  • the ROI 1701 indicates an area free from cancer cells that did not need to analyze high-magnification image data by a thin solid line.
  • the ROIs 1702 and 1703 indicate areas where the high-magnification image data needs to be analyzed and the cancer cells are clear, with thick solid lines.
  • the ROI 1704 indicates that it is an area without cancer cells, although it requires analysis of high-magnification image data by a thick broken line.
  • the difference between the lines of the rectangular frame is shown, but other identifiable display such as a difference in color may be used.
  • FIG. 17 is management information of the displayed tissue specimen image in the pathologist terminal 220 and information for specifying the analysis center 210 that reports the analysis result of diagnosis support. Among these, personal information such as name is managed by the pathologist terminal 220.
  • FIG. 17 displays diagnostic auxiliary information 1706 including information on whether the medical condition is malignant or benign, prediction of future medical history, and auxiliary information on treatment plans.
  • the diagnostic auxiliary information 1706 is generated by referring to the diagnostic case DB 1416 from the analysis result of the ROI image data in the analysis center 210.
  • the diagnostic auxiliary information 1706 shows information on whether the symptom is malignant or benign, the average survival time, and the treatment plan, but may include the presence or absence of relocation, the recurrence rate, and the like.
  • FIG. 18 is a block diagram illustrating a hardware configuration of the analysis center 210 according to the present embodiment. Although FIG. 18 shows a configuration with one device, it may be configured with a plurality of devices according to function. In FIG. 18, the same reference numerals are given to the functional units similar to those in FIG. 6.
  • a CPU 610 is a processor for arithmetic control, and realizes a control unit of the analysis center 210 by executing a program.
  • the ROM 620 stores fixed data and programs such as initial data and programs.
  • the communication control unit 1415 controls communication with a plurality of pathological medical terminals 220 via the network 230.
  • the communication control unit 1415 receives the diagnosis result and the treatment method from the pathological medical terminal 220 and transfers them to the diagnosis case DB 1416. Such communication may be wired or wireless.
  • the RAM 1840 is a random access memory that the CPU 610 uses as a temporary storage work area.
  • the RAM 1840 has an area for storing data necessary for realizing the present embodiment.
  • received data 1841 including image data of an area image received from the pathological medical terminal 220 is stored.
  • the received data 1841 includes diagnostic results and treatment methods in addition to ROI image data.
  • a low magnification image table 212 for managing low magnification image data received from the pathologist terminal 220 is stored (see FIG. 7A).
  • a high magnification image table 214 for managing the high magnification image data received from the pathologist terminal 220 is stored (see FIG. 7B).
  • transmission data 1842 including an analysis result to be transmitted to the pathological medical terminal 220 is stored.
  • the transmission data 1842 includes diagnostic auxiliary information in addition to the analysis result.
  • the storage 1850 is a mass storage device that stores a database, various parameters, and a program executed by the CPU 610 in a nonvolatile manner.
  • the storage 1850 stores the following data or programs necessary for realizing the present embodiment.
  • a tissue structure analysis DB 651 used for performing ROI tissue structure analysis using low-magnification image data is stored.
  • a feature amount analysis DB 652 used for performing ROI feature amount analysis using high-magnification image data is stored.
  • the storage 1850 stores a diagnosis case DB 1416 for storing diagnosis results and treatment methods in association with ROI image data (see FIG. 19).
  • a pathological image diagnosis support program 1853 for realizing a series of pathological image diagnosis support is stored as a program (see FIG. 20).
  • a tissue structure analysis module 654 for performing ROI tissue structure analysis using low-magnification image data using the tissue structure analysis DB 651 constituting a part of the pathological image diagnosis support program 1853 is stored.
  • the feature amount analysis DB 652 that constitutes a part of the pathological image diagnosis support program 1853 is used to perform ROI feature amount analysis using high-magnification image data, and diagnostic assistance information is generated with reference to the diagnosis example DB 1416.
  • a feature amount analysis module 1855 is stored.
  • an analysis result transmission module 1856 for transmitting the analysis result and the diagnosis auxiliary information to the pathological medical terminal 220 as diagnosis support information is stored.
  • FIG. 18 shows only data and programs essential to the present embodiment, and general-purpose data and programs such as OS are not shown.
  • FIG. 19 is a diagram illustrating a configuration of data stored in the diagnosis case DB 1416.
  • the diagnosis example DB 1416 is managed by image numbers uniquely reassigned by the analysis center 210, and is completely independent from personal information such as a patient and a transmission source, and is managed for each ROI. Since the reassigned image number is notified only to the pathological medical terminal 220 of the transmission source, there is no external leakage of personal information, and access from the transmission source is possible at any time.
  • the diagnosis case DB 1416 is managed by the reassigned image number 1901.
  • ROI high-magnification image data 1902 is stored.
  • the high-magnification image data 1902 may store a pointer that points to a storage address stored in another position.
  • image link information 1903 and storage date 1904 are stored so that it can be seen that the symptoms of the same patient are changing.
  • a part 1905 of a biological tissue related to an analysis method and a diagnostic method, a staining method 1906, and a sex / age 1907 are stored.
  • the analysis result 1908 from the image data in the analysis center 210 and the diagnosis result 1909 and the treatment method 1910 diagnosed by the pathologist of the transmission source are stored using the analysis result 1908 as support information.
  • FIG. 20 is a flowchart showing an operation procedure of the analysis center 210. This flowchart is executed by the CPU 610 of FIG. 18 using the RAM 640, and realizes the function of the analysis center 210 of FIG. The same steps as those in FIG. 9 are denoted by the same reference numerals.
  • step S901 reception of an image from the pathologist terminal 220 is awaited. If an image has been received, the process proceeds to step S903, and information such as the terminal ID, image number, region, staining method, gender / age, etc., of the transmission source of the received image data is stored and held.
  • step S905 the transmitted image data is stored and held.
  • it is determined whether the image data received from the image number is low magnification image data or high magnification image data it is determined whether the image data received from the image number is low magnification image data or high magnification image data, and the information stored and held in steps S903 and S905 is stored in the low magnification image table 212 in FIG. 7A. Alternatively, it is stored in the high magnification image table 214 of FIG. 7B.
  • step S2001 it is determined in step S2001 whether the diagnosis result and the treatment method are received. If the diagnosis result and the treatment method are received, the process proceeds to step S2003, and an image number unique to the analysis center 210 is reassigned. In step S2005, the reassigned image number is notified only to the pathological medical terminal 220 that is the transmission source. In step S2007, the diagnosis result and the treatment method are added to the image data and analysis result of each ROI and recorded in the diagnosis case DB 1416.
  • step S907 the process branches depending on whether the received image data is low magnification image data or high magnification image data. If the received image data is low-magnification image data, the process proceeds to step S2009, and the tissue structure analysis of the low-magnification image data corresponding to the site, staining method, sex / age, etc. is performed. Although not described in detail, the information in the diagnosis case DB 1416 can be used for the tissue structure analysis performed in step S2009.
  • step S911 it is determined whether it is necessary to analyze a high-magnification image of the same ROI from the result of the tissue structure analysis. If it is necessary to analyze the high-magnification image of the same ROI, the process proceeds to step 913, and the transmission pathological medical terminal 220 is requested to transmit the high-magnification image data of the same ROI.
  • step S2015 if the received image data is high-magnification image data, the process proceeds to step S2015, and feature quantity analysis of the high-magnification image data corresponding to the site, staining method, sex / age, and the like is performed.
  • diagnosis auxiliary information is generated with reference to the diagnosis case DB 1416.
  • step S2019 the characteristic amount analysis result of the high-magnification image data and the diagnostic auxiliary information are transmitted with the image number from the transmission source attached to the pathological medical terminal 220 of the transmission source.
  • FIG. 21 is a diagram showing a configuration of the patient history DB 1052 shown in FIG.
  • reference numeral 2101 denotes a patient ID for specifying a patient
  • 2102 denotes the sex and age of the patient, which is information for specifying the patient.
  • FIG. 21 shows only information necessary for the processing of this embodiment.
  • Reference numeral 2103 denotes a region of the tissue specimen image to be analyzed
  • 2104 denotes a staining method of the living tissue, which is information related to the analysis method in the analysis center 210.
  • Reference numeral 2105 denotes an examination date and time when a target tissue specimen image is obtained.
  • the analysis result 2106 from the analysis center 210, the diagnosis auxiliary information 2107 from the analysis center 210, and the diagnosis result 2108 by the pathologist, which are information as the results of the examination, are stored for each examination.
  • 21 shows the information for specifying the image data.
  • 2111 is a slide ID for specifying a pathological slide
  • 2112 is an analysis tissue area indicating a tissue area to be analyzed in a tissue specimen image read from the pathology slide by the scanner 222
  • 2113 is an analysis indicating an ROI to be analyzed in the tissue area The target ROI.
  • the reassigned image number 2114 is registered for the image data stored in the diagnosis case DB 1416 of the analysis center 210. Therefore, the image data without the reassigned image number 2114 is not stored in the diagnosis case DB 1416 of the analysis center 210.
  • the presence / absence of the reassigned image number 2114 also serves as a barometer indicating whether or not the image has been used for diagnosis.
  • Information specifying image data is registered as 2110 and 2120 corresponding to each examination.
  • FIG. 22 is a flowchart showing an operation procedure of the pathological medical terminal 220 of the present embodiment. This flowchart is executed by the CPU 1010 of FIG. 10 using the RAM 1040, and realizes the function of the pathologist terminal 220 of FIG. Note that steps S1201 to S1217 in FIG. 22 are the same as those in FIG.
  • step S2219 reception of analysis results and diagnostic auxiliary information is awaited. If the analysis result and the diagnosis auxiliary information are received, the process proceeds to step S2221, and the display result is generated by superimposing the analysis result and the diagnosis auxiliary information on the tissue region. In step S2223, a superimposed image is displayed (see FIG. 17).
  • step S2225 input of a diagnosis result by a pathologist is awaited. If a diagnostic result is input by the pathologist, the process proceeds to step S2227, and the diagnostic result is transmitted to the analysis center 210.
  • step S2229 the reassigned image number is received from the analysis center 210 and recorded in the patient history DB 1052 of FIG. As described above, if information related to diagnosis is stored in the analysis center 210 including image data, the accumulated data in the pathological medical terminal 220 is reduced (see FIG. 21).
  • the ROI image data is transmitted from the pathologist terminal 220 to the analysis center 210 without passing through the diagnosis of the pathologist.
  • processing for requesting diagnosis support from the analysis center 210 for a tissue specimen image that is difficult to diagnose even when a pathologist makes a diagnosis locally or remotely will be described.
  • diagnosis support is requested only when diagnosis by a pathologist is difficult without providing diagnosis support for all tissue specimen images. Therefore, tissue by a pathologist is reduced while reducing the load on the analysis center 210.
  • the analysis center's support for diagnosis based on specimen images can be received quickly and accurately.
  • the configuration of the information processing system and analysis center of the fifth embodiment, and the configuration of the pathological terminal are as follows: Since it is similar to the fourth embodiment and can be estimated, the description will not be repeated.
  • FIG. 23 is a sequence diagram showing an operation sequence 2300 of the pathological image diagnosis support system 1400 that is the information processing system of this embodiment.
  • step S2301 a pathology slide is read by the scanner 222, and in step S2303, a pathologist's diagnosis process is performed locally or remotely. In step S2305, it is determined whether diagnosis is difficult. If the diagnosis is difficult, the diagnosis result is notified to the patient.
  • step S2307 the ROI of the tissue area for which analysis is requested for diagnosis support is selected.
  • the selection of the ROI in this case is a selection of a place that is difficult to judge in diagnosis.
  • step S2309 the high-magnification image data of the selected ROI is transmitted to the analysis center 210, and the analysis is requested.
  • the processing from the analysis process (S1517) of the analysis center 210 to the display (S1525) on the display 223 of the pathologist terminal 220 is the same as in FIG. Even in the case of an analysis request for a place where it is difficult to make a determination to the analysis center 210, the processing of sending low-magnification image data according to the present embodiment and sending high-magnification image data may be applied if necessary.
  • the present invention can be further applied to the case of determining positive / negative of a cancer region from a tissue specimen image immunostained by the IHC method.
  • the ratio of nuclei stained brown, the ratio of nuclei not stained (blue nuclei), the whole circumference of the film (whether the film is all dyed), etc. are used as characteristic quantities.
  • the IHC method determines whether ER / PR or Her2 is positive or negative at a fixed magnification (for example, 20X) for a region known to be cancer, and selects a treatment method based on this result.
  • a fixed magnification for example, 20X
  • the 20X image of the tissue specimen image stained by the IHC method which is made from continuous sections of the cancer area detected from the tissue specimen image of the HE method, is analyzed.
  • a process for sending to the center 210 and receiving a negative / positive result is also conceivable.
  • the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention can also be applied to a case where a control program that realizes the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention with a computer, a control program installed in the computer, a medium storing the control program, and a WWW (World Wide Web) server that downloads the control program are also included in the scope of the present invention. include.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

 生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置に関するものである。この情報処理装置は、組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信して解析する。この解析結果に基づいて、倍率のより高い画像データに基づく解析が必要か否かを判定する。必要と判定されると、エリア画像に対する倍率のより高い画像データの送信要求を通知して、送信要求に応答して送信された倍率のより高い画像データを受信して解析し、解析結果を送信する。かかる構成により、伝送容量の制約に関わらず、病理医からの組織標本画像に対して迅速に精度の高い診断支援を行うことができる。

Description

情報処理システム、情報処理方法、情報処理装置およびその制御方法とその制御プログラムを格納した記憶媒体
 本発明は、生体組織の組織標本画像に基づく診断を支援する情報処理技術に関する。
 生体組織の組織標本画像に基づく診断を支援する技術においては、たとえば、組織標本画像から癌細胞の領域を選択して癌細胞の数などの特徴を解析し、病理医に提供する。たとえば、特許文献1では、医療画像形成システム12から遠隔観察ステーション26の専門医に医療画像を送信して、専門医による診断の支援を受ける診断支援システムが記載されている。
特表2004-500211号公報(WO2001/075776)
 しかしながら、上記特許文献1の技術を、多数の病理医が組織標本画像の診断支援を診断センターに依頼する診断支援システムに適用すると、伝送容量の制約により組織標本画像の送信に時間を要するため解析結果の返信を長時間待機しなくてはならなくなる。例えば、一般の公衆回線を使ってスライド1枚分の組織標本画像を送信すると数分から10分以上の時間を要する場合もある。
 本発明の目的は、上述の課題を解決する技術を提供することにある。
 上記目的を達成するため、本発明に係る装置は、
 生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
 前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第1受信手段と、
 前記第1受信手段が受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第1特徴情報を生成する第1解析手段と、
 前記第1解析手段が生成した第1特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定手段と、
 前記判定手段が前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知手段と、
 前記通知手段による送信要求に応答して送信された前記倍率のより高い画像データを受信する第2受信手段と、
 前記第2受信手段が受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第2特徴情報を生成する第2解析手段と、
 前記第2解析手段が生成した前記第2特徴情報を送信する送信手段と、
 を備えることを特徴とする。
 上記目的を達成するため、本発明に係る方法は、
 生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
 前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第1受信ステップと、
 前記第1受信ステップにおいて受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第1特徴情報を生成する第1解析ステップと、
 前記第1解析ステップにおいて生成した第1特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定ステップと、
 前記判定ステップにおいて前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知ステップと、
 前記通知ステップにおける送信要求に応答して送信された前記倍率のより高い画像データを受信する第2受信ステップと、
 前記第2受信ステップにおいて受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第2特徴情報を生成する第2解析ステップと、
 前記第2解析ステップにおいて生成した前記第2特徴情報を送信する送信ステップと、
 を含むことを特徴とする。
 上記目的を達成するため、本発明に係る記憶媒体は、
 生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置の制御プログラムを格納した記憶媒体であって、
 前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第1受信ステップと、
 前記第1受信ステップにおいて受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第1特徴情報を生成する第1解析ステップと、
 前記第1解析ステップにおいて生成した第1特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定ステップと、
 前記判定ステップにおいて前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知ステップと、
 前記通知ステップにおける送信要求に応答して送信された前記倍率のより高い画像データを受信する第2受信ステップと、
 前記第2受信ステップにおいて受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第2特徴情報を生成する第2解析ステップと、
 前記第2解析ステップにおいて生成した前記第2特徴情報を送信する送信ステップと、
 をコンピュータに実行させる制御プログラムを格納したことを特徴とする。
 上記目的を達成するため、本発明に係る装置は、
 生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置であって、
 前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第1送信手段と、
 前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第2送信手段と、
 前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信手段と、
 前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示手段と、
 を備えることを特徴とする。
 上記目的を達成するため、本発明に係る方法は、
 生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置の制御方法であって、
 前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第1送信ステップと、
 前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第2送信ステップと、
 前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信ステップと、
 前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示ステップと、
 を含むことを特徴とする。
 上記目的を達成するため、本発明に係る記憶媒体は、
 生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置の制御プログラムを格納した記憶媒体であって、
 前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第1送信ステップと、
 前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第2送信ステップと、
 前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信ステップと、
 前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示ステップと、
 をコンピュータに実行させる制御プログラムを格納したことを特徴とする。
 上記目的を達成するため、本発明に係るシステムは、
 生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
 前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを解析して、前記エリア画像の第1特徴情報を生成する第1解析手段と、
 前記第1解析手段が生成した第1特徴情報に基づいて、前記エリア画像に対する倍率のより高い画像データの解析が必要か否かを判定する判定手段と、
 前記判定手段が前記倍率のより高い画像データの解析が必要と判定した場合に、前記倍率のより高い画像データに基づいて前記エリア画像を解析して第2特徴情報を生成する第2解析手段と、
 前記判定手段による判定の結果と、前記第2解析手段が生成した前記第2特徴情報とを、識別可能に表示する表示手段と、
 を備えることを特徴とする。
 上記目的を達成するため、本発明に係る方法は、
 生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
 前記組織標本画像内の選択されたエリアのエリア画像について、前記エリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを解析して、前記エリア画像の第1特徴情報を生成する第1解析ステップと、
 前記第1解析ステップにおいて生成した第1特徴情報に基づいて、前記エリア画像に対する倍率のより高い画像データの解析が必要か否かを判定する判定ステップと、
 前記判定ステップにおいて前記倍率のより高い画像データの解析が必要と判定した場合に、前記倍率のより高い画像データに基づいて前記エリア画像を解析して第2特徴情報を生成する第2解析ステップと、
 前記判定ステップによる判定の結果と、前記第2解析ステップにおいて生成した前記第2特徴情報とを、識別可能に表示する表示ステップと、
 を含むことを特徴とする。
 本発明によれば、伝送容量の制約に関わらず、病理医からの組織標本画像に対して迅速に精度の高い診断支援を行うことができる。
本発明の第1実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第2実施形態に係る情報処理装置を有する情報処理システムの構成を示すブロック図である。 本発明の第2実施形態に係る情報処理装置を有する情報処理システムの動作シーケンスを示すシーケンス図である。 本発明の第2実施形態に係る病理医用端末からROI画像を送信する時点の表示画面を示す図である。 本発明の第2実施形態に係る病理医用端末への解析結果の表示画面を示す図である。 本発明の第2実施形態に係る病理医用端末への解析結果の表示画面を示す図である。 本発明の第2実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第2実施形態に係る低倍率画像用テーブルの構成を示すブロック図である。 本発明の第2実施形態に係る高倍率画像用テーブルの構成を示すブロック図である。 本発明の第2実施形態に係る組織構造解析DBの構成を示すブロック図である。 本発明の第2実施形態に係る特徴量解析DBの構成を示すブロック図である。 本発明の第2実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第2実施形態に係る病理医用端末のハードウェア構成を示すブロック図である。 本発明の第2実施形態に係る画像識別テーブルおよび送受信データの構成を示すブロック図である。 本発明の第2実施形態に係る病理医用端末の処理手順を示すフローチャートである。 本発明の第3実施形態に係る情報処理装置を有する情報処理システムの動作シーケンスを示すシーケンス図である。 本発明の第4実施形態に係る情報処理装置を有する情報処理システムの構成を示すブロック図である。 本発明の第4実施形態に係る情報処理装置を有する情報処理システムの動作シーケンスを示すシーケンス図である。 本発明の第4実施形態に係る病理医用端末から診断結果を送信する時点の表示画面を示す図である。 本発明の第4実施形態に係る病理医用端末への解析結果の表示画面を示す図である。 本発明の第4実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第4実施形態に係る診断事例DBの構成を示すブロック図である。 本発明の第4実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第4実施形態に係る患者履歴DBの構成を示すブロック図である。 本発明の第4実施形態に係る病理医用端末の処理手順を示すフローチャートである。 本発明の第5実施形態に係る情報処理装置を有する情報処理システムの動作シーケンスを示すシーケンス図である。
 以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
 [第1実施形態]
 本発明の第1実施形態としての情報処理装置100について、図1を用いて説明する。図1の情報処理装置100は、生体組織を染色して撮像した組織標本画像に基づく診断を支援する装置である。図1に示すように、情報処理装置100は、第1受信部101と、第1解析部102と、判定部103と、通知部104と、第2受信部105と、第2解析部106と、送信部107と、を含む。
 第1受信部101は、組織標本画像110内の選択されたエリアのエリア画像111に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データ121を受信する。第1解析部102は、第1受信部101が受信した倍率のより低い画像データ121に基づいて、エリア画像111を解析して第1特徴情報を生成する。判定部103は、第1解析部102が生成した第1特徴情報に基づいて、エリア画像111に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する。通知部104は、判定部103が倍率のより高い画像データに基づく解析が必要と判定した場合、エリア画像111に対する倍率のより高い画像データの送信要求122を通知する。第2受信部105は、通知部104による送信要求122に応答して送信された倍率のより高い画像データ123を受信する。第2解析部106は、第2受信部105が受信した倍率のより高い画像データ123に基づいて、エリア画像111を解析して第2特徴情報を生成する。送信部107は、第2解析部106が生成した第2特徴情報124を送信する。
 本実施形態によれば、伝送容量の制約に関わらず、病理医からの組織標本画像に対して迅速に精度の高い診断支援を行うことができる。
 [第2実施形態]
 第2実施形態は、ネットワークを介して複数の病理医用端末と解析センターとが接続し、解析センターが病理医用端末から送信された組織標本画像を解析して診断を支援する病理画像診断支援システムである。病理医用端末からはまず選択されたエリアの低倍率のエリア画像が送信される。解析センターは、この低倍率のエリア画像を解析して高倍率のエリア画像を解析する必要があるかを判定する。必要であれば、病理医用端末に要求して高倍率のエリア画像を送信させる。解析センターは、高倍率のエリア画像を解析して診断を支援する解析結果を病理医用端末に報知する。本実施形態によれば、病理医による組織標本画像に基づく診断に対する解析センターの支援を迅速に精度良く受けることができる。また、解析センターにおける診断支援サービスをより少ない資源で実現できる。
 《情報処理システムの構成》
 図2は、本実施形態に係る情報処理システムである病理画像診断支援システム200の構成を示すブロック図である。
 病理画像診断支援システム200は、解析センター210として機能する情報処理装置と、複数の病理医用端末220として機能する情報処理装置と、これら解析センター210と複数の病理医用端末220とを接続するネットワーク230とを備える。
 解析センター210は、ネットワーク230を介して複数の病理医用端末220と通信するための通信制御部215を備える。また、病理医用端末220から送信された1つの注目領域(以下、ROI:Region of Interest)の低倍率のエリア画像を解析して、その解析結果として必要であれば同じROIの高倍率エリア画像の送信要求を行なう低倍率画像解析部211を備える。低倍率画像解析部211は、低倍率エリア画像の解析と高倍率エリア画像の送信要求とに使用する低倍率画像用テーブル212を有する。また、病理医用端末220から送信された同じROIの高倍率エリア画像を解析して、その解析結果を診断支援情報として病理医用端末220に返信する高倍率画像解析部213を備える。高倍率画像解析部213は、高倍率エリア画像の解析と診断支援情報の送信とに使用する高倍率画像用テーブル214を有する。
 各々の病理医用端末220は、病理医用端末220の動作および解析センター210との通信を制御する制御部221を備える。また、染色した生体組織を撮影した病理スライドを高倍率に対応する解像度で読み取るスキャナ222を備える。また、スキャナ222で読み取った組織標本画像を表示するディスプレイ223を備える。図2には、データ入力や操作指示用のキーボードやポインティングデバイスなどは図示していないが、必要な入出力デバイスは接続しているものとする。
 本実施形態では、低倍率を“X10”とし、高倍率を“X40”として説明する。組織標本画像の解像度で表現すれば、低倍率の場合は3,000×3,000画素で0.21μm/画素であり、高倍率の場合は12,000×12,000画素である。低倍率の場合には、例えば、腺管の形状などを含む組織構造は解析できるが、個々の細胞や細胞核について解析できない。一方、高倍率の場合には、個々の細胞や細胞核についても正確な解析できる。
 《情報処理システムの動作シーケンス》
 図3は、本実施形態の情報処理システムである病理画像診断支援システム200の動作シーケンス300を示すシーケンス図である。図3においては、病理医用端末220のスキャナ222による病理スライドの読み取りから、診断支援情報の画面表示までの動作を説明する。
 まず、病理医用端末220は、ステップS301において、スキャナ222で病理スライドから組織標本画像を読み込む。なお、本実施形態では、スキャナ222の解像度は組織標本画像の高倍率画像データに対応しているとするが、解像度の上限は無い。次に、ステップS303において、読み込んだ組織標本画像をディスプレイ223に表示する。そして、組織標本画像内の複数の組織領域から診断に使用する組織領域を選択する。さらに、選択された組織領域上から診断支援のため解析センター210に解析を依頼するROIを選択する(図4参照)。なお、組織領域の選択やROIの選択は、病理医がディスプレイ223画面上の組織標本画像から指示してもよいし、既存の自動ROI設定ソフトウェアにより決定してもよい。例えば、自動ROI設定ソフトウェアは、解析センター210で行う本格的ガン診断のための計算量に比較して負荷の小さい計算(例えば、濃くヘマトキシリンに染まっている領域の検出など)によって標的領域を決定する、軽いソフトウェアモジュールである。以下、本明細書ではこのソフトウェアモジュールをLWA(Light-weight Analyzer)と呼ぶ。
 ステップS305において、病理医用端末220は、選択されたROIの低倍率画像データを解析センター210に送信する。本実施形態では、スキャナ222で読み込んだ組織標本画像は高倍率画像データに対応するので、ここでは例えば間引き処理などにより解像度を下げて低倍率画像データを生成する。送信する低倍率画像データには、少なくとも、病理医用端末220の端末ID、画像を特定する画像番号、撮影した生体組織の部位(胃、肺、***、前立腺など)、染色法(HE法、IHC法、FISH法など)を、解析センター210による解析および結果送信のために添付する。ここで、画像番号は患者の個人情報から独立した番号であり、個人情報の管理は病理医用端末220内で完結するように変換されて割り当てられる。その割当て方については図7Aで説明する。また、生体組織の部位と染色法とには関連性があり、一方の情報のみで解析方法の選択に十分であれば、一方の情報のみでよい。患者の個人情報が漏洩しない範囲で、例えば、性別や年齢の情報、住所や国籍の情報などが、解析あるいはデータベース(以下、DB)への情報蓄積や分析のために付加されてよい。なお、通常、1つの組織領域内に複数のROIが選択されるが、複数のROIについて低倍率画像データを一括して送信しても、各ROIについて個別に送信してもよい。
 低倍率画像データを受信した解析センター210は、ステップS307において、ROIの低倍率画像データに基づいてあらかじめ学習登録された組織構造解析DBを使って簡易な組織構造解析を行なう。組織構造解析の結果、ステップS309において、このROIはガン細胞候補であると思われるので高倍率画像データを使った解析が必要であるかが判定される。なお、組織構造解析の結果と、高倍率画像データを使った解析が必要であるかの判定とは、生体組織の部位や染色法により異なる場合がある。図8Aに組織構造解析DBの例を示す。
 高倍率画像データを使った解析が必要で無ければ、次のROIについて判定を行なう。本実施形態において、各ROIのエリア画像は患者や送信元の病理医用端末とは関連させずまったく独立に解析される。また、同じ病理スライドからの組織標本画像における他のROIのエリア画像とも独立に解析されてよい。
 高倍率画像データを使った解析が必要であると判定した場合に、ステップS311において、解析センター210は病理医用端末220に対して高倍率画像データの送信要求をする。送信要求は、送信元の端末IDと画像番号とにより、患者情報の送信無しにエリア画像の特定が可能である。病理医用端末220は、送信元の端末IDにより要求相手が自端末であることを確認し、画像番号により送信すべき高倍率画像データを特定する。そして、ステップS313において、高倍率画像データを要求されたROI情報を解析結果の表示のために保持する。ステップS315において、病理医用端末220は、送信元の端末IDおよび画像番号と共に、要求されたROIの高倍率画像データを解析センター210に送信する。
 高倍率画像データを受信した解析センター210は、ステップS317において、ROIの高倍率画像データに基づいてあらかじめ学習登録された特徴量解析DBを使って精細な特徴量解析を行なう。なお、特徴量解析は、生体組織の部位や染色法により異なる場合がある。図8Bに特徴量解析DBの例を示す。ステップS319において、解析センター210は病理医用端末220に対して高倍率画像データに基づき解析した特徴量あるいは特徴量を表わす特徴量情報を解析結果として送信する。
 解析結果を受信した病理医用端末220は、ステップS321において、ステップS301において病理スライドから読み込んだ組織標本画像に解析結果を重畳して、ステップS323においてディスプレイ223に表示する(図5A、図5B参照)。病理医はディスプレイ223に表示された解析結果を支援情報として参照して、組織標本画像の診断を行なう。
 なお、ステップS317の特徴量解析において特徴量から診断予測を行なうことも既に実現されており、その場合には、ステップS323ではその診断予測もディスプレイ223に表示して、診断支援を行なってよい。
 《病理医用端末での表示画面》
 以下、本実施形態の処理におけるディスプレイ223の表示画面を、図4、図5A、図5Bに従って説明する。
 (エリア画像送信時の表示画面)
 図4は、選択したROIのエリア画像を解析センター210に送信する時点での、病理医用端末220のディスプレイ223に表示された画面400を示す図である。
 画面400には、組織標本画像から選択された組織領域に重畳して、選択した複数のROI401~404が表示されている。これら複数のROI401~404内の低倍率のエリア画像が、診断支援情報を得るために解析センター210に送信される。送信は、複数のROI401~404のエリア画像を一括に送信してもよいし、ROIの1つずつを順次に送信してもよい。なお、図4には、ROIが矩形の場合を示したが、円や楕円などの他の形状であってもよいし、細胞の塊の輪郭に合わせた形状であってもよい。
 図4の405は、表示された組織標本画像の病理医用端末220における管理情報と、診断支援を依頼する依頼先の解析センター210を特定する情報とである。この内、氏名などの個人情報は解析センター210には送信されない。なお、405に示す情報は一例であって、これに限定されない。
 (解析結果の表示画面)
 図5Aは、解析センター210において、低倍率画像データに基づいて解析された解析結果が、病理医用端末220のディスプレイ223に表示された第1画面510を示す図である。
 図5Aにおいては、図4の複数のROI401~404の解析結果が、ROIを囲む矩形枠の線の相違で表わされている。ROI511は、細い実線により、高倍率の画像データを解析する必要の無い、ガン細胞の無いエリアであることを示している。ROI512および513は、太い実線により、高倍率の画像データの解析を必要とし、かつ、ガン細胞が明瞭であるエリアであることを示している。ROI514は、太い破線により、高倍率の画像データの解析を必要とするが、ガン細胞の無いエリアであることを示している。なお、図5Aでは矩形枠の線の相違で表わしたが、色の相違などの他の識別可能な表示であってよい。
 図5Aの515は、表示された組織標本画像の病理医用端末220における管理情報と、診断支援の解析結果を報告した報告元の解析センター210を特定する情報とである。この内、氏名などの個人情報は病理医用端末220で管理されているものである。なお、515に示す情報は一例であって、これに限定されない。
 図5Bは、解析センター210において、高倍率画像データに基づいて解析された解析結果が、病理医用端末220のディスプレイ223に表示された第2画面520を示す図である。
 図5Bにおいては、図4の複数のROI401~404の解析結果が、ガン細胞を有する各ROIに対応して解析した特徴量の表示で表わされている。ROI521および524は、特徴量が表示されてないことから、ガン細胞の無いエリアであることを示している。ROI522および523は、特徴量として、平均核サイズ(μm2)と、平均異形度と、テクスチャとの値により表示されている。なお、特徴量は生体組織の部位や染色法により異なり、その例は図8Bを参照して示す。また、図5Bの表示を図5Aと組み合わせて表示してもよい。
 図5Bの525は、表示された組織標本画像の病理医用端末220における管理情報と、診断支援の解析結果を報告した報告元の解析センター210を特定する情報とである。この内、氏名などの個人情報は病理医用端末220で管理されているものである。なお、525に示す情報は一例であって、これに限定されない。
 《解析センターのハードウェア構成》
 図6は、本実施形態に係る解析センター210のハードウェア構成を示すブロック図である。なお、図6には、1つの装置による構成を示したが、機能別の複数の装置により構成されてもよい。
 図6において、CPU610は演算制御用のプロセッサであり、プログラムを実行することで解析センター210の制御部を実現する。ROM620は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部215は、ネットワーク230を介して複数の病理医用端末220との通信を制御する。かかる通信は有線であっても無線であってもよい。
 RAM640は、CPU610が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM640には、本実施形態の実現に必要なデータを記憶する領域が確保されている。各領域には、病理医用端末220から受信したエリア画像の画像データを含む受信データ641が記憶される。また、病理医用端末220から受信した低倍率画像データを管理するための低倍率画像用テーブル212が記憶される(図7A参照)。また、病理医用端末220から受信した高倍率画像データを管理するための高倍率画像用テーブル214が記憶される(図7B参照)。また、病理医用端末220に送信する解析結果を含む送信データ642が記憶される。
 ストレージ650は、データベースや各種のパラメータ、CPU610が実行するプログラムを、不揮発に記憶する大容量記憶装置である。ストレージ650には、本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。データの記憶部としては、低倍率画像データによるROIの組織構造解析を行ない高倍率画像データの解析が必要か否かを判定するために使用される組織構造解析用DB651(図8A参照)が格納される。また、高倍率画像データによるROIの特徴量解析を行なうために使用される特徴量解析用DB652(図8B参照)が格納される。なお、かかる組織構造解析用DB651および特徴量解析用DB652は、病理医用端末220から受信した画像データや解析結果のフィードバック、解析結果の統計的な処理などを使って学習することによって、更新されるのが望ましい。
 また、本実施形態では、プログラムとして、一連の病理画像診断支援を実現する病理画像診断支援プログラム653を格納する(図9参照)。また、病理画像診断支援プログラム653の一部を構成する、組織構造解析用DB651を使って低倍率画像データによるROIの組織構造解析を行なう組織構造解析モジュール654を格納する。また、病理画像診断支援プログラム653の一部を構成する、特徴量解析用DB652を使って高倍率画像データによるROIの特徴量解析を行なう特徴量解析モジュール655を格納する。また、解析結果を診断支援情報として病理医用端末220に送信する解析結果送信モジュール656を格納する。
 なお、図6には、本実施形態に必須なデータやプログラムのみが示されており、OSなどの汎用のデータやプログラムは図示されていない。
 (低倍率画像用テーブル)
 図7Aは、低倍率画像データを管理するための図2および図6の低倍率画像用テーブル212の構成を示す図である。この低倍率画像用テーブル212により、低倍率画像データを送信した送信元とROIとの特定が個人情報無しに可能となり、同じROIの高倍率画像データの送信要求が可能になる。そして、低倍率画像データと個人情報との関連はすべて病理医用端末220内に保持され、外部に出ることはない。
 低倍率画像用テーブル212には、ROIの低倍率画像データを送信した送信元の送信元特定情報である病理医用端末220の端末ID701が記憶される。また、病理医用端末220で割り当てられた画像データ特定情報である画像番号が受信した画像番号702として記憶される。ここで、本実施形態では、画像番号702の最上位ビットの“0”が低倍率画像データであることを表わしているが、他の方法で表わしてもよい。端末ID701と受信した画像番号702とが、高倍率画像データの送信要求をどの病理医用端末220のどのROIの画像データであるかを個人情報無しに特定できる。したがって、端末ID701と受信した画像番号702とを1つの番号として画像データの管理に使用してもよい。そして、受信した低倍率画像データ703が記憶される。なお、低倍率画像データ703には他の位置に記憶された記憶アドレスをポイントするポンターが記憶されていてもよい。
 生体組織の部位704、染色法705、性別/年齢706は、低倍率画像データ703の組織構造解析方法を選択するための情報である。なお、部位や染色法が1つに固定されていればこれらの情報は必要ない。また、性別/年齢706やその他の組織構造解析の精度を高めるための情報は、組織構造解析の精度要求により病理医用端末220から送信され参照されても送信しなくてもよい。そして、低倍率画像データ703に対する組織構造解析の結果707と、その組織構造解析の結果に基づく同じROIの高倍率画像の要否708とが記憶される。
 (高倍率画像用テーブル)
 図7Bは、高倍率画像データを管理するための図2および図6の高倍率画像用テーブル214の構成を示す図である。この高倍率画像用テーブル214により、高倍率画像データを送信した送信元とROIとの特定が個人情報無しに可能となり、解析結果の送信および管理が可能になる。高倍率画像データと個人情報との関連はすべて病理医用端末220内に保持され、外部に出ることはない。
 高倍率画像用テーブル214には、ROIの高倍率画像データを送信した送信元の病理医用端末220の端末ID711が記憶される。また、病理医用端末220で割り当てられた画像番号が受信した画像番号712として記憶される。ここで、画像番号712の最上位ビットの“1”が高倍率画像データであることを表わしており、下位ビットが示す番号はROIが同じである場合は、図7Aの画像番号702と同じ番号で管理される。端末ID711と受信した画像番号712とが、高倍率画像データによる解析結果がどの病理医用端末220のどのROIの画像データに基づくものであるかを個人情報無しに特定できる。そして、受信した高倍率画像データ713が記憶される。なお、高倍率画像データ713には他の位置に記憶された記憶アドレスをポイントするポンターが記憶されていてもよい。
 生体組織の部位714、染色法715、性別/年齢716は、高倍率画像データ713の特徴量解析方法を選択するための情報である。なお、部位や染色法が1つに固定されていればこれらの情報は必要ない。また、性別/年齢716やその他の特徴量解析の精度を高めるための情報は、特徴量解析の精度要求により病理医用端末220から送信され参照されても送信しなくてもよい。そして、高倍率画像データ713に対する特徴量解析の結果717と、その特徴量解析の結果に基づいて病理医参照用に生成された解析結果報知用データ718とが記憶される。なお、解析結果報知用データが特徴量解析結果そのものである場合には、解析結果報知用データ718を別途設ける必要は無い。
 (組織構造解析用DB)
 図8Aは、図6の組織構造解析用DB651の構成を示す図である。なお、組織構造解析に使用されるパラメータ類やそれを使った各特徴量の計算などについては、本実施形態の特徴部分ではなく既知であるので、説明は省略する(特開2006-153742号参照)。
 800は、上記既知である組織構造解析に使用されるパラメータ類である。801から805は、図7Aの組織構造解析の結果707から高倍率画像の要否708を判定するために、あらかじめ学習登録されている判定条件である。判定条件は、解析対象の生体組織の部位801や染色法802、その他803などの組織標本画像そのものの特質により異なる判定条件となる。組織構造解析結果の高倍率画像データ必要条件804は、組織構造解析結果からあらかじめ求められた高倍率画像データ必要条件パラメータである。かかる値は、閾値であっても、範囲を定めるものであってもよい。かかる判定条件は、このROIがガンを有する疑いが有るか否かを判定する条件であり、1つの条件でも満たせばガンを有すると判定する場合も、複数の条件を満たすことでガンを有すると判定する場合もある。
 以下、組織構造解析で解析される特徴量について、HE染色法の場合を簡単に説明するが、かかる説明に限定されない。特徴量としては、対象となる臓器によっては特殊な特徴量が使われる場合があるが、概ねどの部位のガンにおいても下記特徴量が重要な特徴となっている。図8Aに記載したf1-f10としては、
f1) 核のサイズ、
f2) 大きい核の密度 = 大きい核の数 / 全核の数、
f3) 腺管に属する核の密度、
f4) 核の向き、
f5) 核の扁平度、
f6) 腺管の厚さ、
f7) 色(RGB)、
f8) 色(HSV)、
f9) 腺管領域、
f10) Gabor関数でフィルタリングした信号(方位特徴、配列)、
がある。
 また、大域的特徴としては、上記特徴量に加えて、粘液、脂肪などの領域に関する情報も使う場合がある。特殊な特徴量としては、例えば胃生検では印環細胞(以下、Signet ring)の疑いなどがある。
 なお、実際の条件判断に使用されるのは、上記特徴量を基本特徴量として,その平均,分散,中央値,四分位数,ヒストグラムのP-percentile(例えばP = 5, 25, 50, 75, 95)など,派生的に得られる統計量を、ROI単位で算出した上でROIの特徴量とする。
 これらのいずれかの条件、あるいはその組合せがガンである条件を満たせば、高倍率画像の要否805から“要”を、低倍率画像用テーブル212の高倍率画像の要否708にコピーし、高倍率画像データを要求してさらに詳細な特徴量解析をすることになる。
 (特徴量解析用DB)
 図8Bは、図6の特徴量解析用DB652の構成を示す図である。なお、特徴量解析に使用されるパラメータ類やそれを使った各特徴量の計算などについては、本実施形態の特徴部分ではなく既知であるので、説明は省略する(特開2006-153742号参照)。
 810は、上記既知である特徴量解析に使用されるパラメータ類である。811から815は、図7Bの特徴量解析の結果717から解析結果報知用データ718を生成するために、あらかじめ学習登録されている判定基準である。判定基準は、解析対象の生体組織の部位811や染色法812、その他813などの組織標本画像そのものの特質により異なる判定基準となる。ガン細胞有無の判定基準814は、特徴量解析結果からあらかじめ求められたガン細胞有無の判定条件パラメータである。かかる値は、閾値であっても、範囲を定めるものであってもよい。かかる判断条件は、このROIがガンを有する疑いが有ったが結論としてガンであったか、ガンを有する疑いが有ったが結論として良性疾患であったかを判断する条件である。そして、1つの条件でも満たせばガンと判断する場合も、複数の条件を満たすことでガンと判断する場合もある。
 以下、特徴量解析で解析される特徴量について、HE染色法の場合を簡単に説明するが、かかる説明に限定されない。特徴量としては、対象となる臓器によっては特殊な特徴量が使われる場合があるが、概ねどの部位のガンにおいても下記特徴量が重要な特徴となっている。図8Bに記載したF1-F7としては、
F1) 核のサイズ、
F2) 核の長径および短径、
F3) 円形度(円に近ければ最大値1を取り,円から外れている度合いが大きいほど小さい値)、
F4) テクスチャ、
F5) 色(RGB)、
F6) 色(HSV)、
F7) 腺管領域、
がある。
 特殊な特徴量としては、例えば、低倍率画像データによる胃生検では印環細胞(以下、Signet ring)の疑いなどがある場合の、高倍率画像データによるSignet ringの有無の確認がある。
 なお、実際の条件判断に使用されるのは、上記特徴量を基本特徴量として,その平均,分散,中央値,四分位数,ヒストグラムのP-percentile(例えばP = 5, 25, 50, 75, 95)など,派生的に得られる統計量を、ROI単位で算出した上でROIの特徴量とする。
 これらのいずれかの条件、あるいはその組合せがガンである条件を満たせば、ガン細胞の有無815にコピーし、組織標本画像の送信元に診断支援のため送信される。
 なお、低倍率画像データの解析と高倍率画像データの解析とで用いられている同じ名前の特徴量は、画像の解像度が異なるため同じものではない。例えば。核のサイズでは、低倍率画像データの解析においては、ヘマトキシンリンに染まった領域を抽出してそのピクセルサイズをもとに大きな核と小さな核に分類するなど、おおざっぱに解析をする。これに対して、高倍率画像データの解析においては、核の輪郭を正確に抽出してその輪郭を元にサイズ(あるいは円形度など)を算出する。
 また、腺管などの大域的な情報は低倍率でしか得られないため,まず低倍率画像データの解析で腺管領域を抽出して腺管マスクを生成し、そのマスク情報をそのまま高倍率画像データの解析モジュールに渡す。高倍率画像データの解析モジュールはこの情報に基づいて、解析対象である核が腺管に含まれているかどうかを確認して、もし腺管に含まれているならばたとえサイズが大きくてもガンとは判定しないようにする。
 これら低倍率画像データの解析と高倍率画像データの解析との関係は単純な一次解析と二次解析ではないが、本実施形態においては煩雑になるので詳細な説明は省略する。
 《解析センターの動作手順》
 図9は、解析センター210の動作手順を示すフローチャートである。このフローチャートは、図6のCPU610がRAM640を使用しながら実行して、図2の解析センター210の機能を実現する。
 まず、ステップS901において、病理医用端末220からの画像受信を待つ。画像受信があればステップS903に進んで、受信した画像データの送信元の端末ID、画像番号、部位、染色法、性別/年齢などの情報を記憶保持する。次に、ステップS905において、送信された画像データを記憶保持する。ここで、本実施形態では、画像番号から受信した画像データが低倍率画像データか高倍率画像データかを判別して、ステップS903およびS905で記憶保持した情報を図7Aの低倍率画像用テーブル212または図7Bの高倍率画像用テーブル214に格納する。
 ステップS907においては、受信した画像データが低倍率画像データか高倍率画像データかの判別に対応して分岐する。受信した画像データが低倍率画像データの場合はステップS909に進んで、部位、染色法、性別/年齢などに対応した低倍率画像データの組織構造解析を行なう。ここで行なう組織構造解析は、例えばHE染色された胃の生体組織であれば、既知のInfoMaxアルゴリズムを使用した腺管の形状の乱れなどからガン候補領域の選別が行なわれることになる。次に、ステップS911において組織構造解析の結果から同じROIの高倍率画像データの解析が必要か否かを判断する。同じROIの高倍率画像の解析が必要である場合はステップ913に進んで、同じROIの高倍率画像データの送信を送信元の病理医用端末220に対して要求する。
 一方、受信した画像データが高倍率画像データである場合はステップS915に進んで、部位、染色法、性別/年齢などに対応した高倍率画像データの特徴量解析を行なう。ここで行なう特徴量解析は、例えばHE染色された胃の生体組織であれば、既知のSVMアルゴリズムを使用した細胞核の寸法や形状解析が行なわれることになる。ステップS917においては、高倍率画像データの特徴量解析結果を送信元の病理医用端末220に対して送信元からの画像番号を付して送信する。
 《病理医用端末のハードウェア構成》
 図10は、本実施形態に係る病理医用端末220のハードウェア構成を示すブロック図である。図2に示したように、病理医用端末220は、基本的構成として、制御部221と、スキャナ222と、ディスプレイ223とを有している。
 図10において、CPU1010は演算制御用のプロセッサであり、プログラムを実行することで病理医用端末220の制御部を実現する。ROM1020は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部1030は、ネットワーク230を介して解析センター210との通信を制御する。かかる通信は有線であっても無線であってもよい。
 RAM1040は、CPU1010が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM1040には、本実施形態の実現に必要なデータを記憶する領域が確保されている。各領域には、スキャナ222が病理スライドから読み取った組織標本画像読取データ1041が記憶される。また、解析センター210に送信する低倍率画像データおよび高倍率画像データを管理すると共に、患者や部位、ROIなどを特定するための画像識別テーブル1042が記憶される(図11参照)。また、解析センター210と送受信する送受信データ1043が記憶される(図11参照)。また、病理医用端末220のディスプレイ223に表示するための表示データ1044が記憶される。
 ストレージ1050は、データベースや各種のパラメータ、CPU1010が実行するプログラムを、不揮発に記憶する大容量記憶装置である。ストレージ1050には、本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。データの記憶部としては、病理医がローカルに蓄積した、スキャナ222で読み取った組織標本画像DB1051が格納される。また、患者に対応する診断履歴を保持する患者履歴DB1052が格納される。なお、第4実施形態で説明するように解析センター210に必要な情報を集中して蓄積管理するシステムの場合は、病理医用端末220の組織標本画像DB1051と患者履歴DB1052には、病理医用端末220から解析センター210の情報にアクセス可能なパラメータが記憶されればよい。
 また、本実施形態では、プログラムとして、病理画像診断支援を解析センター210に依頼する処理を含む病理画像診断処理プログラム1053を格納する(図12参照)。また、病理画像診断処理プログラム1053の一部を構成する、組織標本画像から診断対象の組織領域およびROIを選択するROI選択モジュール1054を格納する。また、病理画像診断処理プログラム1053の一部を構成する、解析センター210とのデータ通信を制御する送受信制御モジュール1055を格納する。また、解析センター210から受信した解析結果を組織標本画像に重畳して表示する解析結果表示モジュール1056を格納する。
 入力インタフェース1060は、CPU1010による制御に必要な制御信号およびデータを入力するインタフェースである。本実施形態では、スキャナ222により病理スライドを読み取った組織標本画像の画像データを入力する。なお、他のキーボードやポインティングデバイスなどの図示は省略している。出力インタフェース1070は、CPU1010による制御の下に機器に対して制御信号およびデータを出力するインタフェースである。本実施形態では、ディスプレイ223に組織標本画像や解析センター210への診断支援の依頼情報、あるいは解析センター210から送信された解析結果を出力する。
 なお、図10には、本実施形態に必須なデータやプログラムのみが示されており、OSなどの汎用のデータやプログラムは図示されていない。
 (画像識別テーブルおよび送受信データ)
 図11は、図10に示した画像識別テーブル1042および送受信データ1043の構成を示す図である。
 1101は患者を特定する患者ID、1102は患者の性別および年齢であり、患者を特定する情報である。なお、さらに、患者の住所など他の特定情報も記憶されるが、図11には、本実施形態の処理に必要な情報のみを示している。1103は解析対象の組織標本画像の部位、1104はその生体組織の染色法であり、解析センター210での解析法に関連する情報である。
 1105は病理スライドを特定するスライドID、1106は病理スライドからスキャナ222で読み取った組織標本画像内での解析対象の組織領域を特定する組織領域ID,1107は組織領域内の解析対象のROIを特定するROI_IDである。そして、本実施形態では、1108に、組織標本画像内のROI_ID1107を示す矩形の左上と右下の位置アドレスが記憶される。なお、ROIの形状により位置の記憶データは異なる。
 本実施形態では、1101~1108のデータの内、解析センター210での解析法に関連する情報は解析センター210に送信されるが、他の患者の個人情報に関連する情報は解析センター210に送信されない。すなわち、1101~1108のデータにより特定されるROIの画像に、患者の個人情報に関連しない病理医用端末220で独自の送信する画像番号1109を割り当てる。
 1110は、送信する画像番号1109により特定されるROIの低倍率画像データ、1111は、送信する画像番号1109により特定されるROIの高倍率画像データである。さらに、解析センター210から報告された解析結果1112、解析結果1112を支援情報として参照して病理医は診断した診断結果1113が記憶される。
 本図11および図7、図8から明瞭なように、病理医用端末220と解析センター210との間のROIの画像データおよび解析結果の通信は、基本的に、患者の個人情報に関連しない病理医用端末220で割り当てられた画像情報により行なわれる。
 《病理医用端末の動作手順》
 図12は、本実施形態の病理医用端末220の動作手順を示すフローチャートである。このフローチャートは、図10のCPU1010がRAM1040を使用しながら実行して、図2の病理医用端末220の機能を実現する。
 まず、ステップS1201において、スキャナ222によって病理スライドを高倍率に対応する解像度で読み取り、ステップS1203において、その読み取った高倍率画像データを記憶する。ステップS1205において、病理スライドに対応する組織標本画像をディスプレイ223に表示する。ステップS1207において、病理スライドに対応する組織標本画像から解析依頼対象の組織領域の選択、その組織領域からのROIの選択が行なわれ、ROIの画像に画像番号が割り当てられる。なお、ステップS1207の処理は、病理医用端末220に搭載された上記LWAにより自動的に行なわれてもよいし、病理医との対話形式でディスプレイ画面上のタッチパネルなどにより行なわれてもよい。ステップS1207の処理の結果、選択された組織領域上に解析依頼のために選択された複数のROIが重畳されて表示された例が、図4に相当する。
 ステップS1209において、選択されたROIの低倍率画像データを生成する。低倍率画像データの生成方法は既存の方法でよく、例えば、間引き処理が簡単である。本実施形態の倍率(×40)から倍率(×10)への変換にためには、3画素が間引きされることになる。ステップS1211において、生成された低倍率画像データを割り当てられた画像番号を付して解析センター210に送信する。なお、病理医用端末220を特定する端末IDや解析センター210の解析法に関連する情報も共に送信する。
 ステップS1213において、解析センター210から同じROIの高倍率画像データの送信要求があるか否かを判断する。高倍率画像データの送信要求があればステップS1215に進んで、要求されたROIを解析結果の表示のために記憶保持する。そして、ステップS1217において、画像番号を付与して要求されたROIの高倍率画像データを解析センター210に送信する。一方、高倍率画像データの送信要求がなければステップS1219に進む。
 ステップS1219においては、解析センター210からの解析結果の受信を待つ。解析結果の受信があればステップS1221に進んで、解析結果を数値データのまま(図5B参照)、あるいは解析結果からROI枠の色などの表示データを生成して(図5A参照)、解析対象の組織領域に重畳した表示画面を生成する。ステップS1223において、生成された表示画面をディスプレイ223に表示することで、病理医の診断を支援する。
 [第3実施形態]
 第2実施形態において、解析センター210の解析対象は、病理スライドの組織標本画像から選択された1つの組織領域内のROIに限定されていた。本実施形態では、同じ病理スライドの他の組織領域内のROIについても参照することで、特徴量解析を行なう。本実施形態によれば、選択された組織領域のみの分析では診断に十分でない場合も、病理医による組織標本画像に基づく診断に対する解析センターの支援を迅速に精度良く受けることができる。
 第3実施形態の情報処理システムの構成および解析センター、病理医用端末の構成は、
第2実施形態と類似であり、推定できる範囲であるので、説明の繰り返しは省略する。
 《情報処理システムの動作シーケンス》
 図13は、本実施形態の情報処理システムである病理画像診断支援システム200の動作シーケンス300を示すシーケンス図である。図13においては、病理医用端末220のスキャナ222による病理スライドの読み取りから、解析センター210の特徴量解析までの動作を説明する。特徴量解析後の動作(S319~S323)は第2実施形態の図3と同様であるので省略する。
 ステップS301からS315までの処理は、第2実施形態の図3と同様であり、ROIの低倍率画像データの組織構造解析により高倍率画像データが必要かを判定し、必要であれば病理医用端末220に要求して送信させる。
 本実施形態では、高倍率画像データが必要無い場合(S309のNO)、あるいは高倍率画像データが送信された(S315)後に、ステップS1309において、診断支援のために他の組織領域の画像の解析が必要か否かを判定する。
 例えば、一般には、低倍率画像データ(10X)の解析でガンと疑わしき領域が見つかった場合、その低倍率画像の領域の中から8個の領域画像を選んで高倍率画像データによる解析にかけるよう設計されている。したがって、組織領域中にガンと疑わしき領域が8個未満であれば、他の組織領域中からガンと疑わしき領域をさらに選択する必要がある。なお、この8個の領域という数は経験的に決定したもので、かならずしも8個に限るものではなく、高倍率画像データの解析には時間がかかるので,精度と時間とのトレードオフで決めている。この8個の領域を選ぶ基準としては、例えば低倍率画像データの解析でガンと判定された領域の核密度を基準とし、密度の高い方を優先的に選ぶことになる。
 かかる他の組織領域の画像の解析を遠隔で行なう場合には、8個の領域すべてをネットワークを介して送ることは効率が悪いので、例えば次のような処理を行うのが望ましい。まず、1つ領域の高倍率画像データを送って解析し、ガン判定がでればその時点で高倍率画像データを送るのは終了し、最終判定をガンとして終了する。一方、高倍率画像データの解析でガンでないと判定されれば、次の高倍率画像データを要求して解析をするように続けていく。もし8個すべての高倍率画像データの解析でガンが否定されれば,最終的に判定は良性となる。このデータ転送方式とすれば、ガンと判定した時点で処理は終了となるため、8個すべての高倍率画像データを送らなくともよく、データの転送量が小さくなりトータルの診断時間が短縮されることになる。8個の領域が初期に依頼した組織領域内にある場合も、その効果は同様である。
 他の組織領域の解析が無くても解析に十分な場合はステップS317に進んで、高倍率画像データによる特徴量解析が行なわれる。他の組織領域の解析が必要であれば、ステップS1311において、解析センター210から病理医用端末220に他の組織領域の画像を要求する。病理医用端末220では、ステップS1313において、要求に従って他の組織領域を選択してその選択情報を保持し、その組織領域からROIを選択する。ステップS1315において、選択された他の組織領域のROIの高倍率画像データを解析センター210に送信する。
 解析センター210では、ステップS317の特徴量解析で、最初に選択されたROIの画像データの解析に加えて、追加解析が必要な他の組織領域のROIの画像データの解析を行なう。そして、その解析結果も診断支援情報として病理医用端末220に表示されることになる。なお、図13では最初に選択されたROIの高倍率画像データの要求および送信と、追加解析が必要な他の組織領域のROIの高倍率画像データの要求送信を別処理として図示したが、同時に要求して送信してもよい。
 [第4実施形態]
 第2および第3実施形態では、解析センター210は、病理医用端末220から送られたROIの画像データの解析結果を診断支援情報として報知するのみであった。本実施形態においては、解析センター210が今まで診断支援で解析してきたROIの画像データと、解析結果を参照した病理医による診断結果とを、事例DBとして蓄積し、解析結果の報知時に事例DBに基づく参考データをさらに報知する。本実施形態によれば、一人の病理医の判断のみでなく、多数の病理医の組織標本画像と解析結果と診断結果との関係の学習結果を踏まえて、病理医による組織標本画像に基づく診断に対する解析センターの支援を迅速に精度良く受けることができる。さらに、病理医用端末220からいつでも診断事例を参照可能となり、病理医用端末220において過去の診断事例を管理する必要が低減する。
 《情報処理システムの構成》
 図14は、本実施形態に係る情報処理システムである病理画像診断支援システム1400の構成を示すブロック図である。なお、図2と同様の機能を果たす構成部には、同じ参照番号を付している。図14の図2との相違は、解析センター1410の構成のみであり、同様の機能部には同じ参照番号を付す。
 病理画像診断支援システム1400は、解析センター1410として機能する情報処理装置と、複数の病理医用端末220として機能する情報処理装置と、これら解析センター210と複数の病理医用端末220とを接続するネットワーク230とを備える。
 解析センター1410は、ネットワーク230を介して複数の病理医用端末220と通信するための通信制御部1415を備える。また、病理医用端末220から送信された1つのROIの低倍率のエリア画像を解析して、その解析結果として必要であれば同じROIの高倍率エリア画像の送信要求を行なう低倍率画像解析部211を備える。低倍率画像解析部211は、低倍率エリア画像の解析と高倍率エリア画像の送信要求とに使用する低倍率画像用テーブル212を有する。また、高倍率画像解析部1413を備える。高倍率画像解析部1413は、病理医用端末220から送信された同じROIの高倍率エリア画像を解析して、その解析結果を診断支援情報として病理医用端末220に返信する。それと共に、診断事例DB1416に蓄積された過去のエリア画像と解析結果と診断結果とを参照した診断補助情報を病理医用端末220に返信する。高倍率画像解析部1413は、高倍率エリア画像の解析と診断支援情報の送信とに使用する高倍率画像用テーブル214を有する。また、診断事例DB1416は、各々の病理医用端末220から解析結果を参照した診断結果の通知に基づいて、ROIの組織標本画像と解析結果と診断結果とを関連付けて蓄積して、診断補助情報の生成にために参照される。
 なお、病理医用端末220の構成は第2実施形態と同ようなので、説明は省略する。
 《情報処理システムの動作シーケンス》
 図15は、本実施形態の情報処理システムである病理画像診断支援システム1400の動作シーケンス1500を示すシーケンス図である。図15においては、図3(あるいは図13)におけるシーケンスが開始前あるいは中央の省略部で実行されるが、それは図示せずに本実施形態の特徴部のみを図示している。すなわち、中央の省略部の前は、病理医用端末220における病理医の診断結果の入力から、診断事例DB1416への事例の蓄積までの動作を示す。また、中央の省略部の後は、図3における要求されたROIの高倍率画像データの送信から、解析結果および診断保持情報の病理医用端末220における表示までの動作である。
 病理医用端末220は、図3または図13の解析結果の表示(S323)の後、ステップS1501において、病理医による解析結果を参照した診断結果の入力を待つ。診断結果の入力があるとステップS1503に進んで、入力された診断結果と対応する治療方法を解析センター210に送信する(図16参照)。診断結果と治療方法には、端末IDと図3と同じROIの画像を特定する画像番号とを付して送信する(S1505)。
 解析センター210では診断結果と治療方法とを受信すると、ステップS1507において、解析センター210内でROIの画像を送信元や患者などに依存しないデータとして蓄積するため、解析センター210内での画像番号の再割当を行なう。ステップS1509において、再割当された画像番号を病理医用端末220に通知する。病理医用端末220は、ステップS1511において、通知された再割当された画像番号を患者などの個人情報と関連付けて保持する。このようにすることによって、解析センター210は個人情報と無関係にデータを蓄積管理でき、病理医用端末220では必要な時に自分が解析依頼したROIの画像データを読出すことが可能となる。解析センター210は、ステップS1513において、再割当した画像番号、画像データおよび解析結果に対応付けて、受信した診断結果と治療方法とを診断事例DB1416に蓄積する。なお、診断事例DB1416に蓄積する情報はすべての情報である必要はなく、今後の診断補助に役立つ情報を選別して蓄積してもよい。ただし、解析センター210を病理医用端末220による情報蓄積サーバとしても使用する場合は、診断支援で病理医用端末220から送信されたすべての情報を蓄積するようになる。
 省略部において、病理医用端末220からの新たな診断支援依頼により、図3のS301からS313までの処理が行なわれる。ステップS315において高倍率画像データが解析センター210に送信されて、ステップS317において特徴量解析が行なわれた後、ステップS1519において、診断事例DB1416を参照して診断補助情報が生成される。ステップS1521において、診断結果と共に診断補助情報が病理医用端末220に報告される。病理医用端末220は、ステップS1523において、受診した診断結果と診断補助情報とを組織標本画像の選択された組織領域に重畳して表示画像を生成する。そして、ステップS1525において、ディスプレイ223に表示を行なって、病理医の診断を支援する(図17参照)。
 《病理医用端末での表示画面》
 以下、本実施形態の処理におけるディスプレイ223の表示画面を、図16および図17に従って説明する。
 (診断結果送信時の表示画面)
 図16は、選択したROIによる診断結果と治療方法とを解析センター210に送信する時点での、病理医用端末220のディスプレイ223に表示された画面1600を示す図である。
 画面1600には、組織標本画像から選択された組織領域に重畳して、選択した複数のROI1601~1604が表示されている。これら複数のROI1601~1604の内、ROI1601は病理医によりROIから削除された状態を示す。また、ROI1604は病理医により悪性(malignant)から良性(benign)へと変更された状態を示す。ROI1602と1603は、解析結果そのままである。
 図16の1605は、表示された組織標本画像の病理医用端末220における管理情報と、診断結果を報告する報告先の解析センター210を特定する情報と、病理医による診断結果および治療方法とである。この内、氏名などの個人情報は解析センター210には送信されない。なお、1605に示す情報は一例であって、これに限定されない。
 (解析結果および診断補助情報の表示画面)
 図17は、解析センター210において解析された解析結果と診断補助情報とが、病理医用端末220のディスプレイ223に表示された画面1700を示す図である。
 図17においては、複数のROI1701~1704の解析結果が、ROIを囲む矩形枠の線の相違で表わされている。ROI1701は、細い実線により、高倍率の画像データを解析する必要の無かったガン細胞の無いエリアであることを示している。ROI1702および1703は、太い実線により、高倍率の画像データの解析を必要とし、かつ、ガン細胞が明瞭であるエリアであることを示している。ROI1704は、太い破線により、高倍率の画像データの解析を必要としたが、ガン細胞の無いエリアであることを示している。なお、図17では矩形枠の線の相違で表わしたが、色の相違などの他の識別可能な表示であってよい。
 図17の1705は、表示された組織標本画像の病理医用端末220における管理情報と、診断支援の解析結果を報告した報告元の解析センター210を特定する情報とである。この内、氏名などの個人情報は病理医用端末220で管理されているものである。それの加えて、図17には、病状が悪性か良性かの情報と、今後の病歴の予測と、治療計画の補助情報との少なくともいずれかを含む診断補助情報1706が表示されている。かかる診断補助情報1706は、解析センター210においてROIの画像データによる解析結果から診断事例DB1416を参照して生成されたものである。なお、1705および1706に示す情報は一例であって、これに限定されない。例えば、診断補助情報1706としては、症状が悪性か良性かの情報と、平均生存期間と、治療計画とが示されているが、移転の有無、再発率などを含んでもよい。
 《解析センターのハードウェア構成》
 図18は、本実施形態に係る解析センター210のハードウェア構成を示すブロック図である。なお、図18には、1つの装置による構成を示したが、機能別の複数の装置により構成されてもよい。なお、図18において、図6と同様の機能部には同じ参照番号が付されている。
 図18において、CPU610は演算制御用のプロセッサであり、プログラムを実行することで解析センター210の制御部を実現する。ROM620は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部1415は、ネットワーク230を介して複数の病理医用端末220との通信を制御する。通信制御部1415は、診断結果および治療方法を病理医用端末220から受信して、診断事例DB1416に転送する。かかる通信は有線であっても無線であってもよい。
 RAM1840は、CPU610が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM1840には、本実施形態の実現に必要なデータを記憶する領域が確保されている。各領域には、病理医用端末220から受信したエリア画像の画像データを含む受信データ1841が記憶される。受信データ1841としては、ROIの画像データに加えて、診断結果や治療方法が含まれる。また、病理医用端末220から受信した低倍率画像データを管理するための低倍率画像用テーブル212が記憶される(図7A参照)。また、病理医用端末220から受信した高倍率画像データを管理するための高倍率画像用テーブル214が記憶される(図7B参照)。また、病理医用端末220に送信する解析結果を含む送信データ1842が記憶される。送信データ1842としては、解析結果に加えて、診断補助情報が含まれる。
 ストレージ1850は、データベースや各種のパラメータ、CPU610が実行するプログラムを、不揮発に記憶する大容量記憶装置である。ストレージ1850には、本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。データの記憶部としては、低倍率画像データによるROIの組織構造解析を行なうために使用される組織構造解析用DB651が格納される。また、高倍率画像データによるROIの特徴量解析を行なうために使用される特徴量解析用DB652が格納される。さらに、ストレージ1850には、診断結果や治療方法をROIの画像データに対応付けて蓄積する診断事例DB1416が格納される(図19参照)。
 また、本実施形態では、プログラムとして、一連の病理画像診断支援を実現する病理画像診断支援プログラム1853を格納する(図20参照)。また、病理画像診断支援プログラム1853の一部を構成する、組織構造解析用DB651を使って低倍率画像データによるROIの組織構造解析を行なう組織構造解析モジュール654を格納する。また、病理画像診断支援プログラム1853の一部を構成する、特徴量解析用DB652を使って高倍率画像データによるROIの特徴量解析を行なうと共に、診断事例DB1416を参照して診断補助情報を生成する特徴量解析モジュール1855を格納する。また、解析結果と診断補助情報とを診断支援情報として病理医用端末220に送信する解析結果送信モジュール1856を格納する。
 なお、図18には、本実施形態に必須なデータやプログラムのみが示されており、OSなどの汎用のデータやプログラムは図示されていない。
 (診断事例DB)
 図19は、診断事例DB1416に蓄積されるデータの構成を示す図である。この診断事例DB1416は、解析センター210で独自に再割当した画像番号によりデータが管理されており、患者や送信元などの個人情報から完全に独立したデータであり、ROIごとに管理される。そして、再割当した画像番号は、送信元の病理医用端末220のみに通知されるので、個人情報の外部漏れがなく、かつ、送信元からはいつでもアクセスが可能である。
 診断事例DB1416は、再割当画像番号1901により管理される。各再割当画像番号1901に対応して、ROIの高倍率画像データ1902が記憶される。なお、高倍率画像データ1902には他の位置に記憶された記憶アドレスをポイントするポインターが記憶されていてもよい。また、同じ患者の症状の推移であることなどが分かるように、画像のリンク情報1903、蓄積日時1904が記憶される。また、解析法や診断法に関連する生体組織の部位1905、染色法1906、性別/年齢1907が記憶される。そして、解析センター210における画像データからの解析結果1908、解析結果1908を支援情報として送信元の病理医が診断した診断結果1909と治療方法1910、が記憶される。
 《解析センターの動作手順》
 図20は、解析センター210の動作手順を示すフローチャートである。このフローチャートは、図18のCPU610がRAM640を使用しながら実行して、図14の解析センター210の機能を実現する。なお、図9と同様のステップには同じ参照番号が付されている。
 まず、ステップS901において、病理医用端末220からの画像の受信を待つ。画像の受信があればステップS903に進んで、受信した画像データの送信元の端末ID、画像番号、部位、染色法、性別/年齢などの情報を記憶保持する。次に、ステップS905において、送信された画像データを記憶保持する。ここで、本実施形態では、画像番号から受信した画像データが低倍率画像データか高倍率画像データかを判別して、ステップS903およびS905で記憶保持した情報を図7Aの低倍率画像用テーブル212または図7Bの高倍率画像用テーブル214に格納する。
 画像の受信が無い場合は(S901のNO)、ステップS2001において、診断結果と治療方法との受信であるかを判断する。診断結果と治療方法との受信であればステップS2003に進んで、解析センター210独自の画像番号を再割当する。ステップS2005において、再割当した画像番号を送信元の病理医用端末220のみに通知する。ステップS2007において、各ROIの画像データと解析結果に診断結果と治療方法とを付加して診断事例DB1416に記録する。
 ステップS907においては、受信した画像データが低倍率画像データか高倍率画像データかの判別に対応して分岐する。受信した画像データが低倍率画像データの場合はステップS2009に進んで、部位、染色法、性別/年齢などに対応した低倍率画像データの組織構造解析を行なう。なお、詳説はしないが、ステップS2009で行なう組織構造解析に、診断事例DB1416の情報を利用することもできる。次に、ステップS911において組織構造解析の結果から同じROIの高倍率画像の解析が必要か否かを判断する。同じROIの高倍率画像の解析が必要である場合はステップ913に進んで、同じROIの高倍率画像データの送信を送信元の病理医用端末220に対して要求する。
 一方、受信した画像データが高倍率画像データである場合はステップS2015に進んで、部位、染色法、性別/年齢などに対応した高倍率画像データの特徴量解析を行なう。次に、本実施形態では、ステップS2017において、診断事例DB1416を参照して診断補助情報を生成する。そして、ステップS2019においては、高倍率画像データの特徴量解析結果と、診断補助情報とを送信元の病理医用端末220に対して送信元からの画像番号を付して送信する。
 《病理医用端末のハードウェア構成》
 病理医用端末のハードウェア構成は、図10と基本的には同様であるので、重複説明は避ける。
 (患者履歴DB)
 図21は、図10に示した患者履歴DB1052の構成を示す図である。
 図21の上図において、2101は患者を特定する患者ID、2102は患者の性別および年齢であり、患者を特定する情報である。なお、さらに、患者の住所など他の特定情報も記憶されるが、図21には、本実施形態の処理に必要な情報のみを示している。2103は解析対象の組織標本画像の部位、2104はその生体組織の染色法であり、解析センター210での解析法に関連する情報である。また、2105は、対象とする組織標本画像を得た検査日時である。
 上記検査の結果としての情報である、解析センター210からの解析結果2106、解析センター210からの診断補助情報2107、病理医による診断結果2108が、検査ごとに記憶される。
 図21の下図には、画像データを特定する情報が示されている。2111は病理スライドを特定するスライドID、2112は病理スライドからスキャナ222で読み取った組織標本画像内での解析対象の組織領域を示す解析組織領域、2113は組織領域内の解析対象のROIを示す解析対象ROIである。そして、本実施形態では、解析センター210の診断事例DB1416に蓄積された画像データについては、再割当画像番号2114が登録されている。したがって、再割当画像番号2114が無い画像データは、解析センター210の診断事例DB1416に蓄積されていないことになる。このように、再割当画像番号2114の有無はその画像が診断に使用されたか否かのバロメータにもなる。画像データを特定する情報は、各検査に対応して2110と2120のように登録されている。
 《病理医用端末の動作手順》
 図22は、本実施形態の病理医用端末220の動作手順を示すフローチャートである。このフローチャートは、図10のCPU1010がRAM1040を使用しながら実行して、図14の病理医用端末220の機能を実現する。なお、図22のステップS1201からS1217までは、図12と同様であるので、説明は省略する。
 ステップS2219において、解析結果と診断補助情報との受信を待つ。解析結果と診断補助情報との受信があればステップS2221に進んで、解析結果と診断補助情報とを組織領域に重畳して、表示画像を生成する。ステップS2223において、重畳画像を表示する(図17参照)。
 ステップS2225において、病理医による診断結果の入力を待つ。病理医による診断結果の入力があるとステップS2227に進んで、診断結果を解析センター210に送信する。そして、ステップS2229において、解析センター210から再割当画像番号を受信して、図21の患者履歴DB1052に記録する。このように、診断に関連する情報は、画像データを含めて解析センター210に保持するようにすれば、病理医用端末220における蓄積データが削減される(図21参照)。
 [第5実施形態]
 第2乃至第5実施形態においては、病理医の診断を経ずに、ROIの画像データを病理医用端末220から解析センター210に送信していた。本実施形態では、病理医がローカルであるいはリモートで診断をしても診断が難しい組織標本画像について、解析センター210に診断支援を依頼する処理を説明する。本実施形態によれば、すべての組織標本画像について診断支援をせずに、病理医による診断が難しい場合のみに診断支援を依頼するので、解析センター210の負荷を低減しながら、病理医による組織標本画像に基づく診断に対する解析センターの支援を迅速に精度良く受けることができる。
 第5実施形態の情報処理システムの構成および解析センター、病理医用端末の構成は、
第4実施形態と類似であり、推定できる範囲であるので、説明の繰り返しは省略する。
 《情報処理システムの動作シーケンス》
 図23は、本実施形態の情報処理システムである病理画像診断支援システム1400の動作シーケンス2300を示すシーケンス図である。
 まず、ステップS2301において、スキャナ222で病理スライドを読み込み、ステップS2303において、ローカルであるいはリモートで病理医の診断処理が行なわれる。ステップS2305において、診断が難しいかが判断される。診断が難しくなければ診断結果が患者に通知される。
 一方、診断が難しい場合にはステップS2307に進んで、診断支援のために解析を依頼する組織領域のROIを選択する。この場合のROIの選択は、診断において判断が難しい場所の選択である。ステップS2309において、選択されたROIの高倍率画像データが解析センター210に送信されて、解析が依頼される。
 以下、解析センター210の解析処理(S1517)から病理医用端末220のディスプレイ223への表示(S1525)までは、図15と同様であるので、説明は省略する。なお、解析センター210への判断が難しい場所の解析依頼においても、本実施形態のまず低倍率画像データを送り、必要であれば高倍率画像データを送る処理を適用してもよい。
 [他の実施形態]
 なお、上記実施形態では、染色法としてHE法を使った組織標本画像からガンを検出する場合を主に説明した。しかしながら、IHC法で免疫染色した組織標本画像からガン領域の陽性/陰性を判定する場合にさらに適用が可能である。例えば、乳腺のIHC法に関しては、茶色に染まった核の割合、染まらなかった核(青い核)の割合、膜の全周性(膜がすべて染まっているかどうか)などを特徴量とする。そして、IHC法は、ガンであることが分かっている領域に対して固定倍率(例えば、20X)でER/PR,あるいはHer2陽性か陰性かを判断し、この結果を受けて治療法を選択する。かかるIHC法による組織標本画像の解析を遠隔で行なう場合には、HE法の組織標本画像から検出したガン領域に対して連続切片で作った、IHC法で染色した組織標本画像の20X画像を解析センター210に送信して、陰性/陽性の結果を受け取る処理も考えられる。
 以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
 また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。
 この出願は、2011年1月24日に出願された日本国特許出願 特願2011-012425号を基礎とする優先権を主張し、その開示のすべてをここに取り込む。

Claims (19)

  1.  生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
     前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第1受信手段と、
     前記第1受信手段が受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第1特徴情報を生成する第1解析手段と、
     前記第1解析手段が生成した第1特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定手段と、
     前記判定手段が前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知手段と、
     前記通知手段による送信要求に応答して送信された前記倍率のより高い画像データを受信する第2受信手段と、
     前記第2受信手段が受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第2特徴情報を生成する第2解析手段と、
     前記第2解析手段が生成した前記第2特徴情報を送信する送信手段と、
     を備えることを特徴とする情報処理装置。
  2.  前記エリア画像の画像データを、前記画像データの送信元を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて管理する管理手段をさらに備え、
     前記第1および第2受信手段は、前記エリア画像の画像データを前記送信元特定情報および前記画像データ特定情報と共に受信し、
     前記通知手段は、前記倍率のより高い画像データの送信要求を前記送信元特定情報および前記画像データ特定情報と共に通知し、
     前記送信手段は、前記第2解析手段が生成した前記第2特徴情報を前記送信元特定情報および前記画像データ特定情報と共に送信することを特徴とする請求項1に記載の情報処理装置。
  3.  前記画像データ特定情報は前記組織標本画像の生体における部位を特定する情報を含み、
     前記第1および第2解析手段による解析と前記判定手段による判定とは、それぞれ前記組織標本画像の生体における部位に対応する解析と判定とであることを特徴とする請求項2に記載の情報処理装置。
  4.  前記画像データ特定情報は前記組織標本画像の染色法を特定する情報を含み、
     前記第1および第2解析手段による解析と前記判定手段による判定とは、それぞれ前記組織標本画像の染色法に対応する解析と判定とであることを特徴とする請求項2または3に記載の情報処理装置。
  5.  前記染色法は、HE法を含むことを特徴とする請求項4に記載の情報処理装置。
  6.  前記第1解析手段が生成する第1特徴情報は、前記エリア画像における染色された組織構造を含むことを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
  7.  前記組織構造は、腺管の形状を含むことを特徴とする請求項6に記載の情報処理装置。
  8.  前記判定手段は、前記エリア画像における染色された組織構造がガン細胞候補と判断される場合に、前記エリア画像について、前記倍率のより高い画像データに基づく解析が必要であると判定することを特徴とする請求項6または7に記載の情報処理装置。
  9.  前記第2解析手段が生成する前記第2特徴情報は、前記エリア画像における染色された細胞に関する特徴量を含むことを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
  10.  前記特徴量は、平均核サイズ、平均異形度、テクスチャを含むことを特徴とする請求項9に記載の情報処理装置。
  11.  前記エリア画像の画像データに対応付けた診断結果を受信する第3受信手段と、
     前記エリア画像の画像データを、前記第3受信手段が受信した前記診断結果に対応付けて診断事例として蓄積する蓄積手段と、
     前記第2受信手段が受信した前記エリア画像の画像データから、前記蓄積手段に蓄積された画像データを参照して診断補助情報を生成する生成手段と、
     をさらに備え、
     前記送信手段は、さらに、前記生成手段により生成された診断補助情報を送信することを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
  12.  前記生成手段による診断補助情報は、病状が悪性か良性かの情報と、平均生存期間と、移転の有無と、再発率と、治療計画の補助情報との少なくともいずれかを含むことを特徴とする請求項11に記載の情報処理装置。
  13.  生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
     前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第1受信ステップと、
     前記第1受信ステップにおいて受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第1特徴情報を生成する第1解析ステップと、
     前記第1解析ステップにおいて生成した第1特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定ステップと、
     前記判定ステップにおいて前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知ステップと、
     前記通知ステップにおける送信要求に応答して送信された前記倍率のより高い画像データを受信する第2受信ステップと、
     前記第2受信ステップにおいて受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第2特徴情報を生成する第2解析ステップと、
     前記第2解析ステップにおいて生成した前記第2特徴情報を送信する送信ステップと、
     を含むことを特徴とする情報処理装置の制御方法。
  14.  生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置の制御プログラムを格納した記憶媒体であって、
     前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第1受信ステップと、
     前記第1受信ステップにおいて受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第1特徴情報を生成する第1解析ステップと、
     前記第1解析ステップにおいて生成した第1特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定ステップと、
     前記判定ステップにおいて前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知ステップと、
     前記通知ステップにおける送信要求に応答して送信された前記倍率のより高い画像データを受信する第2受信ステップと、
     前記第2受信ステップにおいて受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第2特徴情報を生成する第2解析ステップと、
     前記第2解析ステップにおいて生成した前記第2特徴情報を送信する送信ステップと、
     をコンピュータに実行させる制御プログラムを格納したことを特徴とする記憶媒体。
  15.  生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置であって、
     前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第1送信手段と、
     前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第2送信手段と、
     前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信手段と、
     前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示手段と、
     を備えることを特徴とする情報処理装置。
  16.  生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置の制御方法であって、
     前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第1送信ステップと、
     前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第2送信ステップと、
     前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信ステップと、
     前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示ステップと、
     を含むことを特徴とする情報処理装置の制御方法。
  17.  生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置の制御プログラムを格納した記憶媒体であって、
     前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第1送信ステップと、
     前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第2送信ステップと、
     前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信ステップと、
     前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示ステップと、
     をコンピュータに実行させる制御プログラムを格納したことを特徴とする記憶媒体。
  18.  生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
     前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを解析して、前記エリア画像の第1特徴情報を生成する第1解析手段と、
     前記第1解析手段が生成した第1特徴情報に基づいて、前記エリア画像に対する倍率のより高い画像データの解析が必要か否かを判定する判定手段と、
     前記判定手段が前記倍率のより高い画像データの解析が必要と判定した場合に、前記倍率のより高い画像データに基づいて前記エリア画像を解析して第2特徴情報を生成する第2解析手段と、
     前記判定手段による判定の結果と、前記第2解析手段が生成した前記第2特徴情報とを、識別可能に表示する表示手段と、
     を備えることを特徴とする情報処理システム。
  19.  生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
     前記組織標本画像内の選択されたエリアのエリア画像について、前記エリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを解析して、前記エリア画像の第1特徴情報を生成する第1解析ステップと、
     前記第1解析ステップにおいて生成した第1特徴情報に基づいて、前記エリア画像に対する倍率のより高い画像データの解析が必要か否かを判定する判定ステップと、
     前記判定ステップにおいて前記倍率のより高い画像データの解析が必要と判定した場合に、前記倍率のより高い画像データに基づいて前記エリア画像を解析して第2特徴情報を生成する第2解析ステップと、
     前記判定ステップによる判定の結果と、前記第2解析ステップにおいて生成した前記第2特徴情報とを、識別可能に表示する表示ステップと、
     を含むことを特徴とする情報処理方法。
PCT/JP2012/050249 2011-01-24 2012-01-10 情報処理システム、情報処理方法、情報処理装置およびその制御方法とその制御プログラムを格納した記憶媒体 WO2012102069A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012554708A JP5716753B2 (ja) 2011-01-24 2012-01-10 情報処理システム、情報処理方法、情報処理装置およびその制御方法とその制御プログラム
US13/981,275 US9230154B2 (en) 2011-01-24 2012-01-10 Information processing apparatus, method, and storage medium for assisting with a diagnosis based on a tissue sample
US14/818,717 US9361508B2 (en) 2011-01-24 2015-08-05 Information processing system, information processing method, information processing apparatus, control method therefor, and storage medium storing control program therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-012425 2011-01-24
JP2011012425 2011-01-24

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/981,275 A-371-Of-International US9230154B2 (en) 2011-01-24 2012-01-10 Information processing apparatus, method, and storage medium for assisting with a diagnosis based on a tissue sample
US14/818,717 Division US9361508B2 (en) 2011-01-24 2015-08-05 Information processing system, information processing method, information processing apparatus, control method therefor, and storage medium storing control program therefor

Publications (1)

Publication Number Publication Date
WO2012102069A1 true WO2012102069A1 (ja) 2012-08-02

Family

ID=46580642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/050249 WO2012102069A1 (ja) 2011-01-24 2012-01-10 情報処理システム、情報処理方法、情報処理装置およびその制御方法とその制御プログラムを格納した記憶媒体

Country Status (3)

Country Link
US (2) US9230154B2 (ja)
JP (1) JP5716753B2 (ja)
WO (1) WO2012102069A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050611A (zh) * 2013-03-14 2014-09-17 索尼公司 信息处理装置、信息处理方法和程序
JP2015038467A (ja) * 2013-07-18 2015-02-26 パナソニックIpマネジメント株式会社 病理診断支援装置及び病理診断支援方法
CN107046608A (zh) * 2016-02-08 2017-08-15 富士施乐株式会社 终端装置、诊断***和诊断方法
CN109872782A (zh) * 2019-02-20 2019-06-11 程俊美 一种用于处理用于组织病理学的组织样本的***及方法
WO2019159741A1 (ja) * 2018-02-19 2019-08-22 日本メジフィジックス株式会社 医用画像検査支援装置及び医用画像検査支援方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012157201A1 (ja) * 2011-05-18 2012-11-22 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
US10451554B2 (en) 2015-02-23 2019-10-22 Konica Minolta, Inc. Image processing device, image processing method, and recording medium storing computer readable image processing program
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US11449991B2 (en) * 2018-03-08 2022-09-20 Konica Minolta, Inc. Image processing method, image processing apparatus, and storage medium
JP7431592B2 (ja) * 2020-01-29 2024-02-15 株式会社Screenホールディングス 画像処理装置、画像処理システムおよび画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287955A (ja) * 1999-04-03 2000-10-17 Konica Corp 画像診断支援装置
JP2001005950A (ja) * 1999-06-21 2001-01-12 Fuji Photo Film Co Ltd 画像サーバ装置および画像転送方法
JP2006326287A (ja) * 2005-04-26 2006-12-07 Toshiba Corp 医用画像ファイリング装置
JP2010097482A (ja) * 2008-10-17 2010-04-30 Tokyo Institute Of Technology 画像表示システム、画像情報管理装置、表示制御装置、画像表示制御方法
WO2010140588A1 (ja) * 2009-06-03 2010-12-09 日本電気株式会社 病理画像診断システム、病理画像診断方法、病理画像診断プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7505614B1 (en) 2000-04-03 2009-03-17 Carl Zeiss Microimaging Ais, Inc. Remote interpretation of medical images
JP4496943B2 (ja) 2004-11-30 2010-07-07 日本電気株式会社 病理診断支援装置、病理診断支援プログラム、病理診断支援装置の作動方法、及び病理診断支援システム
JP4591142B2 (ja) * 2005-03-16 2010-12-01 コニカミノルタエムジー株式会社 医用画像システム
US8140481B2 (en) 2005-04-26 2012-03-20 Kabushiki Kaisha Toshiba Medical image filing system and medical image filing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287955A (ja) * 1999-04-03 2000-10-17 Konica Corp 画像診断支援装置
JP2001005950A (ja) * 1999-06-21 2001-01-12 Fuji Photo Film Co Ltd 画像サーバ装置および画像転送方法
JP2006326287A (ja) * 2005-04-26 2006-12-07 Toshiba Corp 医用画像ファイリング装置
JP2010097482A (ja) * 2008-10-17 2010-04-30 Tokyo Institute Of Technology 画像表示システム、画像情報管理装置、表示制御装置、画像表示制御方法
WO2010140588A1 (ja) * 2009-06-03 2010-12-09 日本電気株式会社 病理画像診断システム、病理画像診断方法、病理画像診断プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050611A (zh) * 2013-03-14 2014-09-17 索尼公司 信息处理装置、信息处理方法和程序
CN104050611B (zh) * 2013-03-14 2019-01-04 索尼公司 信息处理装置、信息处理方法和程序
JP2015038467A (ja) * 2013-07-18 2015-02-26 パナソニックIpマネジメント株式会社 病理診断支援装置及び病理診断支援方法
CN107046608A (zh) * 2016-02-08 2017-08-15 富士施乐株式会社 终端装置、诊断***和诊断方法
JP2017142567A (ja) * 2016-02-08 2017-08-17 富士ゼロックス株式会社 端末装置、診断システムおよびプログラム
WO2019159741A1 (ja) * 2018-02-19 2019-08-22 日本メジフィジックス株式会社 医用画像検査支援装置及び医用画像検査支援方法
CN109872782A (zh) * 2019-02-20 2019-06-11 程俊美 一种用于处理用于组织病理学的组织样本的***及方法

Also Published As

Publication number Publication date
US9230154B2 (en) 2016-01-05
JP5716753B2 (ja) 2015-05-13
JPWO2012102069A1 (ja) 2014-06-30
US20150339514A1 (en) 2015-11-26
US9361508B2 (en) 2016-06-07
US20130301900A1 (en) 2013-11-14

Similar Documents

Publication Publication Date Title
JP5716753B2 (ja) 情報処理システム、情報処理方法、情報処理装置およびその制御方法とその制御プログラム
US12008764B2 (en) Systems, devices, and methods for image processing to generate an image having predictive tagging
US20220076411A1 (en) Neural netork based identification of areas of interest in digital pathology images
EP2050069B1 (en) System and method for co-registering multi-channel images of a tissue micro array
US10083340B2 (en) Automated cell segmentation quality control
JP2021063819A (ja) 包括的なマルチアッセイ組織分析のためのシステムおよび方法
US9020304B2 (en) Method for loading medical image data and device for performing the method
US20120327211A1 (en) Diagnostic information distribution device and pathology diagnosis system
JP5645146B2 (ja) 情報処理システム、情報処理方法、情報処理装置及びその制御方法とその制御プログラム
US11373422B2 (en) Evaluation assistance method, evaluation assistance system, and computer-readable medium
Huang et al. Mask RCNN algorithm for nuclei detection on breast cancer histopathological images
Halicek et al. Cancer detection using hyperspectral imaging and evaluation of the superficial tumor margin variance with depth
WO2019171909A1 (ja) 画像処理方法、画像処理装置及びプログラム
KR20230027164A (ko) 조직 맵 시각화를 생성하기 위해 전자 이미지를 처리하는 시스템 및 방법
Giavina-Bianchi et al. Accuracy of deep neural network in triaging common skin diseases of primary care attention
Lin et al. Prostate lesion delineation from multiparametric magnetic resonance imaging based on locality alignment discriminant analysis
WO2005010206A1 (ja) 染色体状態の評価方法および評価システム
KR102446638B1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
Schönmeyer et al. Automated whole slide analysis of differently stained and co-registered tissue sections
de Haan et al. Deep learning-based transformation of the H&E stain into special stains improves kidney disease diagnosis
Chaudhury et al. Predicting Ki67% expression from DCE-MR images of breast tumors using textural kinetic features in tumor habitats
CN111134735A (zh) 一种肺部细胞病理快速现场评估***、方法及计算机可读存储介质
de Haan et al. Deep learning-based transformation of the H&E stain into special stains
Majumdar et al. Machine learning based local recurrence prediction in colorectal cancer using polarized light imaging
Li et al. An interpretable MRI-based radiomics model predicting the prognosis of high-intensity focused ultrasound ablation of uterine fibroids

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12739346

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012554708

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13981275

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12739346

Country of ref document: EP

Kind code of ref document: A1