WO2014030380A1 - 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム - Google Patents
画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム Download PDFInfo
- Publication number
- WO2014030380A1 WO2014030380A1 PCT/JP2013/059678 JP2013059678W WO2014030380A1 WO 2014030380 A1 WO2014030380 A1 WO 2014030380A1 JP 2013059678 W JP2013059678 W JP 2013059678W WO 2014030380 A1 WO2014030380 A1 WO 2014030380A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- cell
- target
- range
- area
- region
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Definitions
- the present invention relates to an image processing apparatus, a program, an image processing method, a computer readable medium, and an image processing system.
- Patent Document 1 describes a technique for mechanically detecting NRBCs by searching for a cell matching the conditions such as color, shape, positional relationship, area ratio, and the like of NRBCs from a target image.
- An object of the present invention is to provide an image processing apparatus, program and image processing system capable of narrowing down image candidates having high possibility of target cells based on criteria corresponding to different cell characteristics for each individual and determining whether or not target cells are included. To provide.
- an acquisition unit for acquiring a captured image obtained by imaging a sample containing target cells, a setting unit for setting a target area for detecting the target cells in the captured image, and the target
- An extraction unit for extracting a plurality of cell regions from a peripheral region including a region different from the region and a range of the feature amount that the target cell should have based on the feature amounts obtained from each of the plurality of cell regions
- a range setting unit and a determination unit that determines whether the target cell is included in the target region when the feature amount obtained from the target region is included in the range of the feature amount set by the range setting unit.
- an image processing apparatus including
- the information processing apparatus further includes a state determination unit that determines whether the cells included in the cell region extracted by the extraction unit are in a dense state or in an isolated state, and the range setting unit determines by the state determination unit.
- the range of the feature amount that the target cell should have is set for each cell state, and the determination unit determines the range setting unit for the state of the cell in which the feature amount obtained from the target region is included in the target region.
- the image processing apparatus according to [1], wherein it is determined whether or not the target cell is included in the target region when it is included in the range of the feature amount set by the method.
- the feature quantity is at least one of cell area, nucleus area, and area ratio of cell to nucleus
- the extraction unit extracts a plurality of cell areas including nucleated cells from the peripheral area, respectively.
- the range setting unit sets a range equal to or less than a threshold set within a range of feature amounts obtained from each of the plurality of cell regions as a range of feature amounts that the target cell should have [1] or [1] 2] may be used.
- the feature quantity is at least one of cell area, nucleus area, and area ratio of cell to nucleus
- the extraction unit extracts a plurality of cell areas including non-nucleated cells from the peripheral area respectively.
- the range setting unit sets, as a range of feature amounts that the target cell should have, a range that sandwiches an average value or a median value of feature amounts obtained from each of the plurality of cell regions [1] or [2]. ] May be used.
- a learning unit that performs machine learning based on sample images corresponding to positive and negative examples of the target cell, and a determination unit that determines the identification condition for identifying the target cell, the feature obtained from the target area
- a determination unit that determines the identification condition for identifying the target cell, the feature obtained from the target area
- the invention according to claim 6 is that the target cell is a nucleated red blood cell having a nucleus, and the image processing device is configured to select a candidate nuclear region as a candidate for the nucleus from the plurality of captured images.
- the image processing apparatus further includes a region extraction unit that extracts based on at least one of a color and a concentration that the nucleus should have, and the setting unit sets the target region based on the range of sizes that the nucleus candidate region and the target cell can take.
- the image processing apparatus according to any one of [1] to [5] may be set.
- an acquisition unit for acquiring a captured image obtained by imaging a sample containing target cells a setting unit for setting a target area for detecting the target cells in the captured image, and An extraction unit that extracts a plurality of cell regions including cells from a peripheral region including a region other than the target region, and a feature amount that the target cell should have based on the feature amounts obtained from each of the plurality of cell regions
- the range setting unit for setting a range and the feature amount obtained from the target region are included in the range of the feature amount set by the range setting unit, whether or not the target cell is included in the target region
- a program for causing a computer to function as a determination unit A program for causing a computer to function as a determination unit.
- a captured image obtained by capturing a sample containing target cells is acquired, a target region for detecting the target cells is set for the captured image, and a region other than the target region is set.
- a plurality of cell areas each including cells are extracted from the surrounding area, and the range of the feature quantity that the target cell should have is set based on the feature quantity obtained from each of the plurality of cell areas, and from the target area
- An image processing method that causes a computer to execute processing for determining whether the target cell is included in the target area when the obtained feature amount is included in the range of the feature amount set by the range setting unit. is there.
- a captured image obtained by capturing a sample containing target cells is acquired, a target region for detecting the target cells is set for the captured image, and a region other than the target region is set.
- a plurality of cell areas each including cells are extracted from the surrounding area, and the range of the feature quantity that the target cell should have is set based on the feature quantity obtained from each of the plurality of cell areas, and from the target area
- the computer executes a process for image processing to determine whether the target cell is included in the target region.
- Non-transitory computer readable medium storing a program for causing
- the image processing apparatus includes an image processing apparatus, an optical microscope connected to the image processing apparatus, and a display apparatus connected to the image processing apparatus.
- An acquisition unit for acquiring a captured image obtained by imaging a sample containing target cells; a setting unit for setting a target region for detecting the target cells in the captured image; and a peripheral region including a region different from the target region
- An extraction unit for extracting a plurality of cell regions including cells; a range setting unit for setting a range of feature amounts that the target cell should have based on the feature amounts obtained from each of the plurality of cell regions;
- An image processing system including: a determination unit that determines whether the target region is included in the target region when the feature amount obtained from the region is included in the range of the feature amount set by the range setting unit; A.
- target cells can be determined by narrowing down image candidates having high possibility of target cells on the basis of the condition of the target cells.
- nucleated red blood cells can be set by narrowing down image candidates having high possibility of nucleated red blood cells on the basis of the individual.
- FIG. 1 shows an example of the system configuration of the image processing system 1 according to the present embodiment.
- the image processing system 1 includes an optical microscope 10, an image processing device 20, an input device 50, and a display device 60.
- the image processing device 20, the optical microscope 10, the input device 50, and the display device 60 are connected so as to be capable of data communication.
- the optical microscope 10 captures an image of a sample on a slide glass 11 disposed on a sample stage with a CCD camera 14 via an optical system such as an objective lens 12.
- the optical microscope 10 is provided with a focusing mechanism 13 for changing the distance between the slide glass 11 and the objective lens 12, and images the sample on the slide glass 11 at a plurality of different focal distances.
- maternal blood is applied to the slide glass 11 and subjected to May-Giemsa staining.
- NRBCs fetal-derived nucleated red blood cells
- the NRBCs are hereinafter referred to as target cells.
- the image processing apparatus 20 acquires a captured image obtained by capturing an image of a sample with the optical microscope 10, and detects a target cell from the obtained captured image. At this time, the image processing apparatus 20 sets a candidate area of the target cell in the captured image, and among the set candidate areas, those that do not match the conditions of the target cell are excluded from the candidate areas and then remaining candidate areas. It is processed by the classifier. The details of the target cell detection process performed by the image processing apparatus 20 will be described later.
- the input device 50 is, for example, a device such as a keyboard or a mouse, and inputs an operation accepted from the user to the image processing device 20.
- the image processing device 20 may use information on an image area designated by the user using the input device 50 as an image feature of a positive example, negative example, or other specific cell of a target cell. It may be acquired as learning information for learning.
- the display device 60 is, for example, a liquid crystal display device or the like, and displays a screen based on the result of processing by the image processing device 20.
- the display device 60 displays a captured image captured by the optical microscope 10, a detection result of a target cell by the image processing device 20, and the like.
- FIG. 2 shows a functional block diagram of the image processing apparatus 20.
- the image processing apparatus 20 includes a captured image acquisition unit 21, a nucleus candidate area extraction unit 22, a cell candidate area setting unit 23, a selection condition setting unit 24, a peripheral cell extraction unit 25, and a cell state determination unit 26, cell type determination unit 27, feature extraction cell selection unit 28, morphological feature amount calculation unit 29, target cell condition setting unit 30, candidate determination unit 31, identification feature amount calculation unit 32, target cell identification unit 33, detection result generation A unit 34 and a display control unit 35 are provided.
- the functions of the above-described units included in the image processing apparatus 20 are computer readable information storage media readable by a computer including control means such as a CPU, storage means such as a memory, and input / output means for transmitting and receiving data with external devices. It may be realized by reading and executing a program stored in.
- the program may be supplied to the image processing apparatus 20 as a computer by means of an information storage medium such as an optical disc, a magnetic disc, a magnetic tape, a magneto-optical disc, a flash memory, etc. It may be supplied to the processing device 20.
- the captured image acquisition unit 21 acquires, from the optical microscope 10, a captured image obtained by capturing an image of a sample by the CCD camera 14 provided in the optical microscope 10.
- the image acquired by the captured image acquisition unit 21 may be displayed on the display device 60 by the display control unit 35.
- the nucleus candidate area extraction unit 22 selects a candidate area of the nucleus based on the pixel whose color (RGB value) or density is in a predetermined range for each captured image acquired by the captured image acquisition unit 21. Extract.
- the nucleus candidate area extraction unit 22 may binarize the pixels in the captured image with a predetermined color (or density) threshold, and specifically, the color (or density) is more than the threshold Alternatively, dark pixels (or more than the threshold value) may be extracted as black pixels.
- the nucleus candidate area extraction unit 22 calculates a plurality of sets (pixel groups) in which pixels extracted from the respective images acquired by the captured image acquisition unit 21 are connected, and a rectangular parallelepiped area circumscribing each set is regarded as a nucleus candidate area. It is good to do.
- the cell candidate area setting unit 23 sets a cell candidate area that can be a candidate for a target cell within the captured image acquired by the imaged image acquisition unit 21 based on the nucleus candidate area extracted by the nucleus candidate area extraction unit 22 Do.
- a specific example of processing by the cell candidate region setting unit 23 will be described.
- the cell candidate region setting unit 23 estimates a possible range of cell sizes based on the projection size of the nucleus candidate region extracted by the nucleus candidate region extraction unit 22 on the slide glass surface and a predetermined relational expression. .
- the cell candidate region setting unit 23 estimates a range (for example, a rectangular region) which can be taken by the nucleated red blood cell on the slide glass surface, based on the relational expression between the nucleus in the nucleated red blood cell and the range of the cell size. It is good.
- the cell candidate area setting unit 23 sets a rectangular area of the estimated range as a cell existing area, centering on one point in the nucleus candidate area.
- the cell candidate area setting unit 23 is a cell that may contain a target cell based on the nucleus candidate area extracted by the nucleus candidate area extraction unit 22 and the cell existing area on the slide glass surface estimated above. Set the candidate area.
- FIG. 3 shows an example of the nucleus candidate region extracted by the nucleus candidate region extraction unit 22 and the cell candidate region set by the cell candidate region setting unit 23.
- the circumscribed rectangle of the black pixel group in FIG. 3 is a nucleus candidate region, and the rectangular region set outside the nucleus candidate region is a cell candidate region.
- the selection condition setting unit 24 sets conditions of cells to be extracted and selected as peripheral cells of the cell candidate region. For example, the selection condition setting unit 24 may set an extraction area of peripheral cells centered on the cell candidate area of interest. The extraction region of the peripheral cells may be the entire captured image, or may be a range within a designated distance centered on the cell candidate region of interest. Further, the selection condition setting unit 24 may specify the condition of the cell to be selected among the cells extracted from the extraction area of the surrounding cells. For example, cell conditions may be determined by designation of at least one of cell type and cell state. The cell type is either nucleated cells or non-nucleated cells, and the cell state is either a dense state in which other cells are in contact with the surrounding area or an isolated state in which other cells are not in contact. It is good. Further, the selection condition setting unit 24 may set the selection condition based on the information received from the input device.
- the peripheral cell extraction unit 25 extracts a plurality of image regions (cell regions) of cells included in the extraction region from the extraction region of the peripheral cells set by the selection condition setting unit 24 for the cell candidate region of interest.
- the peripheral cell extraction unit 25 may perform outline detection on the image included in the extraction area of the peripheral cells, and extract each cell area based on the detected outline.
- the peripheral cell extraction unit 25 may extract a rectangular area surrounding the detected outline or outline as a cell area, or if the outline further includes an outline, the outermost outline is included. The cell area may be extracted based on that.
- the cell state determination unit 26 determines the state of the cells included in the cell area based on the cell area extracted by the peripheral cell extraction unit 25. For example, the cell state determination unit 26 calculates the degree of circularity (curvature) of the cells (outline) included in the cell region, and the calculated degree of circularity is equal to or greater than the threshold (ie, a shape close to a circle) May be determined to be in an isolated state, otherwise in a dense state.
- 4A and 4B show examples of isolated and dense cells.
- FIG. 4A is an example of isolated cells
- FIG. 4B is an example of cells in a dense state.
- the cell type determination unit 27 determines the type of cells included in the cell region based on the cell region extracted by the peripheral cell extraction unit 25. For example, if the cell region includes a nuclear candidate region, the cell type determination unit 27 may determine that the region is a nucleated cell, otherwise it may be a non-nucleated cell, or the contour may be set in the cell region. If is detected, it may be determined to be a nucleated cell, or otherwise a non-nucleated cell.
- 5A and 5B show examples of nucleated cells and non-nucleated cells. FIG. 5A is an example of a nucleated cell, and FIG. 5B is an example of a non-nucleated cell.
- the feature extraction cell selection unit 28 selects a cell region that meets the selection condition set by the selection condition setting unit 24 among the cell regions extracted by the peripheral cell extraction unit 25. For example, the feature extraction cell selection unit 28 selects the cell condition and the cell type determined by the cell condition determination unit 26 and the cell type determination unit 27 among the cell regions extracted by the peripheral cell extraction unit 25. A cell region that matches the conditions set by the setting unit 24 is selected and output to the morphological feature quantity calculation unit 29. When the cell condition is not specified by the selection condition setting unit 24, the extracted cell region may be output to the morphological feature quantity calculation unit 29 together with the information on the cell type and the cell state. .
- the morphological feature quantity calculation unit 29 calculates a morphological feature quantity of the cell area selected by the feature extraction cell selection unit 28.
- the morphological feature quantity calculation unit 29 may calculate the morphological feature quantity from a region obtained by expanding the cell area input from the feature extraction cell selection unit 28 vertically and horizontally by a constant multiple.
- the morphological feature any one of the area of the nucleus (A), the area of the cell (B), and the area ratio of the nucleus to the cell (A / B) may be used.
- the area of the nucleus may be calculated as the area of the nucleus candidate area contained in the cell area (or the area in the outline detected from the cell area), and the area of the cell is in the outline of the cell area It may be calculated as the area of
- the morphological feature quantity calculation unit 29 outputs, to the target cell condition setting unit 30, the morphological feature quantity obtained from the cell area that matches the condition of each cell (for example, a combination of cell type and cell state). .
- FIG. 6 to 8 show diagrams for explaining examples of calculation of morphological feature quantities.
- a dotted portion in FIG. 6 is a cell area A
- the morphological feature value is calculated from an area B in which the cell area is expanded by a constant multiple in the vertical and horizontal directions.
- the area of the cell is calculated from the area which is the outermost outline among the outlines detected from the inside of the set area B, and the outline is the area constituting the closed area.
- the ratio of the area of the rectangular area set for the cell (cell area) to the area of the rectangular area set for the nucleus area (nuclear area) is the area of the nucleus and the cell It may be calculated as a ratio.
- the target cell condition setting unit 30 sets conditions that the morphological feature obtained from the image area including the target cell should satisfy based on the morphological feature of the cell region calculated by the morphological feature calculator 29. For example, the target cell condition setting unit 30 determines the morphological feature value obtained from the image area including the target cell as follows based on the cell condition and the morphological feature value obtained from the cell region meeting the condition. Set up conditions to be satisfied (specifically, the first to fourth target cell conditions described below).
- the target cell condition setting unit 30 is obtained from the cell region that meets the condition.
- the average value (or median value or the like) C1 of the morphological feature quantities is calculated, and for the morphological feature quantity X calculated from the image area of the target cell, setting that X ⁇ C1 is set as the first target cell condition. This is based on the fact that nucleated red blood cells are smaller in size than white blood cells which are nucleated cells other than nucleated red blood cells.
- the target cell condition setting unit 30 is obtained from the cell region that meets the condition.
- the average value (or median value or the like) C2 of the morphological feature quantities is calculated, and for the morphological feature quantity X calculated from the image area of the target cell, setting that X ⁇ C2 is set as the second target cell condition. This is based on the fact that nucleated red blood cells are smaller in size than white blood cells which are nucleated cells other than nucleated red blood cells.
- the target cell condition setting unit 30 is obtained from a cell region that meets the conditions if it is specified that the cell type includes non-nucleated cells and the cell state is an isolated state in the cell conditions.
- the average value (or median value etc.) C3 of morphological feature quantities is calculated, and a range of C3min ⁇ C3 ⁇ C3max is set, and for the morphological feature quantity X calculated from the image area of the target cell, C3min ⁇ X ⁇ C3max Is set as the third target cell condition. This is based on the average size of nucleated red blood cells relative to non-nucleated cells.
- the range of C3min ⁇ C3 ⁇ C3max may be determined such that a predetermined percentage of cell regions belong to this range.
- the target cell condition setting unit 30 is obtained from a cell region that meets the conditions when the cell condition includes that the cell type includes non-nucleated cells and the cell condition is a dense state.
- the average value (or median value etc.) C4 of morphological feature quantities is calculated, and a range of C4min ⁇ C4 ⁇ C4max is set, and for the morphological feature quantity X calculated from the image area of the target cell, C4min ⁇ X ⁇ C4max Is set as the fourth target cell condition. This is based on the average size of nucleated red blood cells relative to non-nucleated cells.
- the range of C4min ⁇ C4 ⁇ C4max may be determined such that a predetermined ratio of cell regions falls within this range.
- the candidate determination unit 31 sets, using the morphological feature of the cell candidate region and the target cell condition setting unit 30, whether the target cell is to be detected as a candidate for detecting the target cell from the cell candidate region set by the cell candidate region setting unit 23. Based on the target cell condition determined. For example, the candidate determination unit 31 selects a target cell condition based on the state (isolated state or dense state) of the cell candidate region, and based on the selected target cell condition and the morphological feature of the cell candidate region. It may be determined whether or not to make a target cell detection candidate. Specifically, when the state of the cell candidate region is in the isolated state, the candidate determination unit 31 selects the first or third target cell condition, and satisfies one or both of the selected target cell conditions.
- a cell candidate region may be determined as a target cell detection candidate. Further, the candidate determination unit 31 selects the second or fourth target cell condition when the state of the cell candidate region is in the dense state, and satisfies one or both of the selected target cell conditions. The cell candidate region may be determined as a target cell detection candidate.
- the discrimination feature quantity calculation unit 32 enlarges or reduces the cell candidate region targeted for detection of the target cell by the candidate judgment unit 31 to a designated image size, and then calculates the discrimination feature quantity for them.
- the identification feature amount is an image feature amount for learning / identification used for learning processing and identification processing in the target cell identification unit 33, and for example, an HOG feature amount may be used.
- the HOG feature may be calculated as follows.
- the target image is divided into B blocks consisting of A cells, and the direction of the brightness gradient from the brightness gradient direction and the brightness gradient strength in the plane of the image (X direction and Y direction) for each cell constituting each block Histograms ([the value of the first gradient direction, the value of the second gradient direction, ..., the value of the Nth gradient direction]) are determined, and normalization is performed in block units such that the root mean square thereof becomes 1 .
- a ⁇ N values generated by combining normalized luminance gradient direction histograms in blocks are used as feature amounts of blocks, and A ⁇ B ⁇ N items are generated by combining all blocks in the target image.
- the value of is used as the HOG feature of the target image.
- the identification feature amount and the morphological feature amount may be configured as different feature amounts or may be configured as the same feature amount.
- the identification feature amount calculation unit 32 After calculating the identification feature amount for the input captured image, the identification feature amount calculation unit 32 outputs the calculated identification feature amount to the target cell identification unit 33.
- the target cell identification unit 33 determines the number of cells included in the cell candidate region based on the identification feature value calculated for the cell candidate region targeted for detection of the target cell by the candidate determination unit 31 and the learning parameter learned in advance. Identify the target cell.
- the learning process in the target cell identification unit 33 may be performed as follows.
- the target cell identification unit 33 receives, in the image acquired by the captured image acquisition unit 21, designation of an image area to be used for learning processing.
- the designation of the image area may be performed via the input device 50. For example, when learning the discrimination between a target cell (nucleated red blood cell) and an image other than the target cell identification unit 33, the image area in which the target cell is projected in the imaged image is taken as a positive example. Accept the image area where the target cell is not projected as a negative example. Then, the target cell identification unit 33 generates a learning parameter based on the identification feature amount calculated by the identification feature amount calculation unit 32 for the positive and negative image regions.
- the detection result generation unit 34 generates, based on the processing result of the target cell identification unit 33, information of the image area including the cell candidate area detected as the target cell and the coordinates thereof.
- a control signal for controlling the optical microscope 10 may be output to the optical microscope 10 so as to move the imaging range of the optical microscope 10 to the coordinates generated by the detection result generation unit 34.
- the display control unit 35 outputs display control information for displaying the image area and the coordinates generated by the detection result generation unit 34 to the display device 60. Thereby, the display device 60 displays the target cell, the detected image area, and the coordinates.
- the image processing apparatus 20 acquires a captured image to be processed (S101), and performs binarization processing on each of the acquired captured images. Next, the image processing apparatus 20 extracts a nuclear candidate region that can become the nucleus of the target cell in the captured image after binarization processing (S102), and sets a cell candidate region based on the set nuclear candidate region (S102). S103).
- the image processing apparatus 20 sets the initial value of the variable i to 1, and selects the i-th cell candidate area Ai (S104), and extracts the peripheral cells (cell area) of the selected cell candidate area Ai (S105).
- the image processing apparatus 20 sets the initial value of the variable j to 1 and selects the j-th peripheral cell Bj (S106), and if the selected peripheral cell Bj satisfies the defined cell selection condition (S107: Y And the morphological feature of the peripheral cell Bj is calculated and stored as Ck (the initial value of the variable k is 1) (S108).
- cell selection conditions may be specified by cell type (nucleated cells or non-nucleated cells) and cell state (congested state or isolated state). Details of the process of S108 will be described later.
- the image processing apparatus 20 increments k (S110). After S110 or in S107, if the peripheral cell Bj does not satisfy the predetermined cell selection condition (S107: N), the image processing apparatus 20 determines whether or not unprocessed peripheral cells remain. It judges (S111). Here, if unprocessed peripheral cells remain (S111: Y), j is incremented (S112), and the process returns to S106.
- the image processing apparatus 20 stores The condition (target cell condition) relating to the morphological feature of the target cell is set based on the calculated morphological feature Ck (S113). Details of the process of S113 will be described later.
- the image processing device 20 calculates the form feature amount of the cell candidate region Ai, and when it is determined that the cell candidate region Ai satisfies the target cell condition based on the calculated form feature amount (S114: Y), An identification process is performed to identify whether the target area is included in the candidate area Ai (S115). Details of the process of S115 will be described later.
- the image processing apparatus 20 determines whether there is an unprocessed cell candidate area or not (S114: N) Is determined (S116).
- S114: N the unprocessed cell candidate area or not
- i is incremented (S117)
- the process returns to S104, and it is determined that there is no unprocessed cell candidate region. (S116: N)
- the process ends. Note that after it is determined that there is no unprocessed cell candidate region (S116: N), an image region determined to include the target cell may be displayed on the display device.
- the image processing apparatus 20 acquires the cell type of the peripheral cell Bj based on the determination result of the cell type determination unit 27 (S201), and the cell state of the peripheral cell Bj is determined by the cell state determination unit 26. It acquires based on the determination result of (S202).
- the image processing apparatus 20 determines that Bj is The morphological feature is stored as a nucleated or isolated morphological feature (S205), and the process returns.
- the image processing device 20 When the cell type of the peripheral cell Bj is a nucleated cell (S203: Y) and the cell state of the peripheral cell Bj is in a dense state (not in an isolated state) (S204: N), the image processing device 20 The morphological feature quantities of Bj are stored as nucleated and dense morphological feature quantities (S206), and the process returns.
- the image processing device 20 determines the morphological feature of Bj. Is stored as a formless feature amount of nuclear-free and isolated (S208), and the process returns.
- the image processing apparatus 20 When the cell type of the peripheral cell Bj is not a nucleated cell (S203: N) and the cell state of the peripheral cell Bj is in a dense state (not isolated state) (S207: N), the image processing apparatus 20 The morphological feature amount of Bj is stored as the feature feature amount of no nucleus and denseness (S209), and the process returns.
- the image processing apparatus 20 acquires a set G1 of nucleated and isolated morphological feature quantities among the stored morphological feature quantities of peripheral cells (S301), and the elements of the acquired set G1
- the average value C1 (or the median value) of the above may be calculated (S302).
- the image processing apparatus 20 sets X ⁇ C1 as a condition to be satisfied by the morphological feature of the target cell in the isolated state, when the morphological feature of the nucleated red blood cell (target cell) is X (S303).
- the image processing apparatus 20 acquires a set G2 of nucleated and dense form feature quantities among the stored form feature quantities of peripheral cells (S304), and the average value C2 of the elements of the obtained set G2 ( Or the median may be calculated (S305). Then, the image processing apparatus 20 sets X ⁇ C2 as a condition to be satisfied by the morphological feature quantity of the target cells in the dense state, when the morphological feature quantity X of nucleated red blood cells (target cells) is used (S306).
- the image processing apparatus 20 acquires a set G3 of non-nucleated and isolated morphological feature quantities among the stored morphological feature quantities of peripheral cells (S307), and the average value C3 (or median value) of the elements of the acquired set G3
- the range [C3 min, C3 max] including the above may be calculated (S308).
- the image processing apparatus 20 sets C3min ⁇ X ⁇ C3max as a condition that the morphological feature value of the target cell in the isolated state should satisfy, when the morphological feature value X of nucleated red blood cells (target cells) is set (S309). ).
- the image processing apparatus 20 acquires a set G4 of non-nucleated and isolated morphological feature quantities among the stored morphological feature quantities of peripheral cells (S310), and the average value C4 (or median value) of the elements of the acquired set G4
- the range [C4min, C4max] including the above may be calculated (S311).
- the image processing apparatus 20 sets C4min ⁇ X ⁇ C4max as a condition that the morphological feature of the target cell in the isolated state should satisfy, when the morphological feature of the nucleated red blood cell (target cell) is X (S312) ), To return.
- target cell conditions for all combinations of nucleated, non-nucleated cell tumors, isolated and dense cell states has been described, but at least one of them or nucleated Alternatively, target cell conditions may be set for isolated and dense cell states relative to any of the non-nucleated cells.
- the image processing apparatus 20 executes the following processing.
- the image processing apparatus 20 calculates the morphological feature amount Xi of the cell candidate area Ai (S402), and acquires the cell state of the cell candidate area Ai based on the determination result of the cell state determination unit 26 (S403).
- the image processing apparatus 20 determines whether Xi is less than or equal to C1 (S405), and Xi is less than or equal to C1. If (S405: Y), the cell candidate area Ai is set as a candidate area for nucleated red blood cells (target cells) (S406), and if Xi is larger than C1 (S405: N), the cell candidate area Ai is selected. It excludes from the candidate region of nucleated red blood cells (target cells) (S407), and returns.
- the image processing apparatus 20 determines whether Xi is C2 or less (S408), If Xi is equal to or less than C2 (S408: Y), the cell candidate region Ai is set as a candidate region for nucleated red blood cells (target cells) (S406), and if Xi is larger than C2 (S408: N) The candidate area Ai is excluded from candidate areas of nucleated red blood cells (target cells) (S407), and the process returns.
- the image processing device 20 executes the following processing.
- the image processing apparatus 20 calculates the morphological feature amount Xi of the cell candidate area Ai (S409), and acquires the cell state of the cell candidate area Ai based on the determination result of the cell state determination unit 26 (S410).
- the image processing apparatus 20 determines whether Xi is C3 min or more and C3 max or less (S412). When Xi is C3 min or more and C3 max or less (S412: Y), the cell candidate area Ai is set as a nucleated red blood cell (target cell) candidate area (S413). If Xi is not C3 min or more and C3 max or less (S412: N), the cell candidate area Ai is excluded from the candidate areas of nucleated red blood cells (target cells) (S414), and the process returns.
- the image processing apparatus 20 determines whether Xi is C4 min or more and C4 max or less (S415) ). If Xi is C4 min or more and C4 max or less (S415: Y), the cell candidate area Ai is set as a nucleated red blood cell (target cell) candidate area (S413). If Xi is not C4 min or more and C4 max or less (S415: N), the cell candidate area Ai is excluded from the candidate areas of nucleated red blood cells (target cells) (S414), and the process returns.
- the image processing apparatus 20 acquires an image of a cell candidate region Ai satisfying a target cell condition (S501), and an image feature amount of the cell candidate region Ai (identification feature amount) based on the acquired image. ) Is calculated (S502). Then, based on the image feature quantity calculated in S502, it is determined whether or not the target cell is included in the cell candidate area Ai by the classifier learned in advance (S503), and the target cell is included. In the case (S503: Y), the coordinates and the size of the cell candidate area Ai are stored (S504), and the process returns. In addition, also when the target cell is not contained (S503: N), it returns.
- the reference of the target cell according to the individual is set, and the image candidate with high possibility of the target cell based on the set reference
- the determination accuracy of the target cell is improved as compared to the case where such narrowing is not performed.
- the present invention is not limited to the above embodiment.
- the target cell identification unit 33 determines whether each of the cell candidate regions is a target cell or not, and as a result, the candidate determination unit 31 determines a candidate for a target cell for the cell candidate region determined to be a target cell. It may be determined whether there is any. Then, it may be determined that the target cell is included in the cell candidate region determined as the candidate of the target cell by the candidate determination unit 31.
- target cell conditions may be generated regardless of the state of cells.
- the target cell is not limited to NRBCs, and another cell may be used as a target cell.
- the image processing apparatus, program, image processing method, computer readable medium, and image processing system according to the present invention are useful for mechanically detecting cells such as NRBCs.
- SYMBOLS 1 image processing system 10 optical microscope, 11 slide glass, 12 objective lens, 13 focusing mechanism, 14 CCD camera, 20 image processing device, 21 captured image acquisition part, 22 nucleus candidate area extraction part, 23 cell candidate area setting part , 24 selection condition setting unit, 25 peripheral cell extraction unit, 26 cell state determination unit, 27 cell type determination unit, 28 feature extraction cell selection unit, 29 morphological feature value calculation unit, 30 target cell condition setting unit, 31 candidate determination unit , 32 identification feature value calculation unit, 33 target cell identification unit, 34 detection result generation unit, 35 display control unit, 50 input device, 60 display device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
画像処理装置20は、標的細胞を含む試料を撮像した撮像画像を取得し、撮像画像について標的細胞を検出する対象領域を設定する設定し、対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、複数の細胞領域のそれぞれから得た特徴量に基づいて標的細胞が有すべき特徴量の範囲を設定し、対象領域から得た特徴量が設定された特徴量の範囲に含まれる場合に、対象領域に標的細胞が含まれるか否かを判定する。
Description
本発明は、画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システムに関する。
特許文献1には、NRBCsの色、形状、位置関係、面積比等の条件に合致する細胞を対象画像から探索することにより、NRBCsを機械的に検出する技術が記載されている。
本発明の目的は、個体毎に異なる細胞の特徴に応じた基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞が含まれるか否かを判定できる画像処理装置、プログラム及び画像処理システムを提供することにある。
[1]本発明のある観点によれば、標的細胞を含む試料を撮像した撮像画像を取得する取得部と、前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、前記対象領域とは異なる領域を含む周辺領域から複数の細胞領域を抽出する抽出部と、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部と、を含む画像処理装置である。
[2]前記抽出部により抽出した細胞領域に含まれる細胞が密集状態にあるか孤立状態にあるかを判定する状態判定部をさらに含み、前記範囲設定部は、前記状態判定部によって判定された細胞の状態ごとに前記標的細胞が有すべき特徴量の範囲をそれぞれ設定し、前記判定部は、前記対象領域から得た特徴量が、前記対象領域に含まれる細胞の状態について前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する[1]に記載の画像処理装置でもよい。
[3]前記特徴量は、細胞面積、核面積、細胞と核の面積比のうち少なくとも1つであり、前記抽出部は、前記周辺領域からそれぞれ有核細胞を含む複数の細胞領域を抽出し、前記範囲設定部は、前記複数の細胞領域のそれぞれから得た特徴量の範囲内に設定した閾値以下の範囲を、前記標的細胞が有すべき特徴量の範囲として設定する[1]又は[2]に記載の画像処理装置でもよい。
[4]前記特徴量は、細胞面積、核面積、細胞と核の面積比のうち少なくとも1つであり、前記抽出部は、前記周辺領域からそれぞれ無核細胞を含む複数の細胞領域を抽出し、前記範囲設定部は、前記複数の細胞領域のそれぞれから得た特徴量の平均値又は中央値を挟む範囲を、前記標的細胞が有すべき特徴量の範囲として設定する[1]又は[2]に記載の画像処理装置でもよい。
[5]前記標的細胞を識別する識別条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像に基づいて機械学習する学習部と、前記判定部は、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを前記識別条件に基づいて判定する[1]から[4]のいずれか一つに記載の画像処理装置でもよい。
[6]請求項6に記載の発明は、前記標的細胞は、核を有する有核赤血球であり、前記画像処理装置は、前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は濃度の少なくとも一方に基づいて抽出する領域抽出部をさらに含み、前記設定部は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定する[1]から[5]のいずれか一つに記載の画像処理装置でもよい。
[7]本発明の他の観点によれば、標的細胞を含む試料を撮像した撮像画像を取得する取得部と、前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出する抽出部と、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部としてコンピュータを機能させるためのプログラムである。
[8]本発明の他の観点によれば、標的細胞を含む試料を撮像した撮像画像を取得し、前記撮像画像について前記標的細胞を検出する対象領域を設定し、前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定し、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する、処理をコンピュータに実行させる画像処理方法である。
[9]本発明の他の観点によれば、標的細胞を含む試料を撮像した撮像画像を取得し、前記撮像画像について前記標的細胞を検出する対象領域を設定し、前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定し、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する、画像処理のための処理をコンピュータに実行させるプログラムを記憶する非一時的なコンピュータ読み取り媒体である。
[8]本発明の他の観点によれば、標的細胞を含む試料を撮像した撮像画像を取得し、前記撮像画像について前記標的細胞を検出する対象領域を設定し、前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定し、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する、処理をコンピュータに実行させる画像処理方法である。
[9]本発明の他の観点によれば、標的細胞を含む試料を撮像した撮像画像を取得し、前記撮像画像について前記標的細胞を検出する対象領域を設定し、前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定し、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する、画像処理のための処理をコンピュータに実行させるプログラムを記憶する非一時的なコンピュータ読み取り媒体である。
[10]本発明の他の観点によれば、画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置と、を含み、前記画像処理装置は、標的細胞を含む試料を撮像した撮像画像を取得する取得部と、前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、前記対象領域とは異なる領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出する抽出部と、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部と、を含む画像処理システムである。
[1]、[7]、[8]、[9]及び[10]に記載の構成(処理)によれば、個体毎に異なる細胞の特徴に応じた基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞が含まれるか否かを判定できる。
[2]に記載の発明によれば、対象の細胞の状態に応じた基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞を判定できる。
[3]に記載の発明によれば、試料に含まれる有核細胞の特徴に応じて設定した基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞を設定できる。
[4]に記載の発明によれば、試料に含まれる無核細胞の特徴に応じて設定した基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞を設定できる。
[5]に記載の発明によれば、予め学習した基準に基づいて標的細胞の可能性が高い画像候補に標的細胞が含まれるか否かを判定できる。
[6]に記載の発明によれば、個体に応じた基準で有核赤血球の可能性が高い画像候補を絞り込んで有核赤血球を設定できる。
以下、本発明を実施するための実施の形態(以下、実施形態という)を、図面に従って説明する。
図1には、本実施形態に係る画像処理システム1のシステム構成例を示した。図1に示されるように画像処理システム1は、光学顕微鏡10、画像処理装置20、入力装置50、表示装置60を含む。画像処理装置20と光学顕微鏡10、入力装置50及び表示装置60とはデータ通信可能に接続されている。
光学顕微鏡10は、試料台に配置されたスライドグラス11上の試料を、対物レンズ12等の光学系を介してCCDカメラ14で撮像する。光学顕微鏡10は、スライドグラス11と対物レンズ12との距離を変化させる焦準機構13を備え、スライドグラス11上の試料を複数の異なる焦点距離で撮像するようになっている。本実施形態では、試料には、母体血をスライドグラス11に塗布し、メイ・ギムザ染色を施したものを用いる。これにより、母体血中の胎児由来有核赤血球(NRBCs)が青紫色に染色される。以下、NRBCsを標的細胞と称する。
画像処理装置20は、光学顕微鏡10で試料を撮像した撮像画像を取得するとともに、当該取得した撮像画像の中から標的細胞を検出する。この際、画像処理装置20は、撮像画像中に標的細胞の候補領域を設定し、設定した候補領域のうち標的細胞の条件に合致しないものは候補領域から除外した上で、残った候補領域について識別器による処理対象とする。なお、画像処理装置20において行われる標的細胞の検出処理の詳細については後述する。
入力装置50は、例えばキーボードやマウス等のデバイスであり、ユーザから受け付けた操作を画像処理装置20に入力する。例えば、画像処理装置20は、表示装置60に表示された画像に対し、ユーザが入力装置50によって指定した画像領域の情報を標的細胞の正例、負例、又は他の特定細胞の画像特徴を学習するための学習情報として取得することとしてよい。
表示装置60は、例えば液晶表示装置等であり、画像処理装置20による処理の結果に基づいて画面を表示する。例えば、表示装置60には、光学顕微鏡10で撮像された撮像画像や、画像処理装置20による標的細胞の検出結果等が表示される。
次に、本実施形態に係る画像処理装置20に備えられる機能について説明する。
図2には、画像処理装置20の機能ブロック図を示した。図2に示されるように、画像処理装置20は、撮像画像取得部21、核候補領域抽出部22、細胞候補領域設定部23、選択条件設定部24、周辺細胞抽出部25、細胞状態判定部26、細胞種類判定部27、特徴抽出細胞選択部28、形態特徴量算出部29、標的細胞条件設定部30、候補判定部31、識別特徴量算出部32、標的細胞識別部33、検出結果生成部34、及び表示制御部35を備える。
画像処理装置20に備えられる上記の各部の機能は、CPU等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置20に供給されることとしてもよいし、インターネット等のデータ通信網を介して画像処理装置20に供給されることとしてもよい。
撮像画像取得部21は、光学顕微鏡10に備えられたCCDカメラ14より試料を撮像した撮像画像を光学顕微鏡10から取得する。なお、撮像画像取得部21で取得された画像は、表示制御部35により表示装置60に表示させることとしてもよい。
核候補領域抽出部22は、撮像画像取得部21で取得された各撮像画像に対して、色(RGB値)又は濃度が予め定められた範囲内にある画素に基づいて、核の候補領域を抽出する。例えば、核候補領域抽出部22は、撮像画像内の画素を、予め定められた色(又は濃度)の閾値により二値化することとしてよく、具体的には、色(又は濃度)が閾値よりも(又は閾値以上)濃い画素を黒画素として抽出することとしてよい。核候補領域抽出部22は、撮像画像取得部21で取得された各画像から抽出された画素が連結した複数の集合(画素群)を算出し、各集合に外接する直方体領域を核候補領域とすることとしてよい。
細胞候補領域設定部23は、核候補領域抽出部22により抽出された核候補領域に基づいて、撮像画像取得部21で取得された撮像画像の内部に標的細胞の候補となり得る細胞候補領域を設定する。以下、細胞候補領域設定部23による処理の具体例について説明する。
細胞候補領域設定部23は、核候補領域抽出部22により抽出された核候補領域のスライドグラス面への射影サイズと、予め定めた関係式とに基づいて、細胞サイズのとり得る範囲を推定する。例えば、細胞候補領域設定部23は、有核赤血球における核と細胞のサイズの範囲との関係式に基づいて、スライドグラス面上で有核赤血球がとり得る範囲(例えば矩形領域)を推定することとしてよい。具体的には、細胞候補領域設定部23は、核候補領域内の一点を中心として、上記推定された範囲の矩形領域を細胞存在領域として設定する。
細胞候補領域設定部23は、核候補領域抽出部22により抽出された核候補領域と、上記推定したスライドグラス面上での細胞存在領域とに基づいて、標的細胞が含まれる可能性がある細胞候補領域を設定する。
図3には、核候補領域抽出部22により抽出される核候補領域と、細胞候補領域設定部23により設定される細胞候補領域の例を示した。図3における、黒画素群の外接矩形が核候補領域であり、その外側に設定されている矩形領域が細胞候補領域である。
選択条件設定部24は、細胞候補領域の周辺細胞として抽出、選択する細胞の条件を設定する。例えば、選択条件設定部24は、注目する細胞候補領域を中心とした周辺細胞の抽出領域を設定することとしてよい。周辺細胞の抽出領域は、撮像画像全体としてもよいし、注目する細胞候補領域を中心とした指定距離内にある範囲としてもよい。また、選択条件設定部24は、周辺細胞の抽出領域から抽出された細胞のうち、選択する細胞の条件を指定することとしてもよい。例えば、細胞の条件は、細胞の種類及び細胞の状態の少なくとも一方の指定により定められることとしてよい。なお、細胞の種類とは、有核細胞と無核細胞のいずれか、細胞の状態とは、周囲に他の細胞が接している密集状態と、他の細胞が接していない孤立状態のいずれかとしてよい。また、選択条件設定部24は、入力装置から受け付けた情報に基づいて選択条件を設定することとしてよい。
周辺細胞抽出部25は、注目する細胞候補領域について、選択条件設定部24により設定された周辺細胞の抽出領域から、当該抽出領域内に含まれる細胞の画像領域(細胞領域)を複数抽出する。例えば、周辺細胞抽出部25は、周辺細胞の抽出領域に含まれる画像について輪郭検出を行い、検出された輪郭に基づいて各細胞領域を抽出することとしてよい。ここで、周辺細胞抽出部25は、検出された輪郭又は輪郭を囲む矩形領域を細胞領域として抽出することとしてもよいし、輪郭の内部に更に輪郭が含まれる場合には、最も外側の輪郭に基づいて細胞領域を抽出することとしてもよい。
細胞状態判定部26は、周辺細胞抽出部25により抽出された細胞領域に基づいて、当該細胞領域に含まれる細胞の状態を判定する。例えば、細胞状態判定部26は、細胞領域内に含まれる細胞(輪郭)の円形度(湾曲率)を算出し、算出された円形度が閾値以上の場合(すなわち円に近い形状である場合)には、孤立状態、そうでなければ密集状態であると判定することとしてよい。なお、図4Aと図4Bには、孤立状態と密集状態の細胞の例を示した。図4Aが孤立状態、図4Bが密集状態の細胞の一例である。
細胞種類判定部27は、周辺細胞抽出部25により抽出された細胞領域に基づいて、当該細胞領域に含まれる細胞の種類を判定する。例えば、細胞種類判定部27は、細胞領域内に核候補領域が含まれる場合には、有核細胞、そうでなければ無核細胞であると判定することとしてもよいし、細胞領域内に輪郭が検出された場合には、有核細胞、そうでなければ無核細胞であると判定することとしてもよい。なお、図5Aと図5Bには、有核細胞と無核細胞の例を示した。図5Aが有核細胞、図5Bが無核細胞の一例である。
特徴抽出細胞選択部28は、周辺細胞抽出部25により抽出された細胞領域のうち、選択条件設定部24により設定された選択条件に合致する細胞領域を選択する。例えば、特徴抽出細胞選択部28は、周辺細胞抽出部25により抽出された細胞領域のうち、細胞状態判定部26と細胞種類判定部27によりそれぞれ判定された細胞状態と細胞種類とが、選択条件設定部24により設定された条件に合致する細胞領域を選択し、形態特徴量算出部29に出力する。なお、選択条件設定部24により、細胞の条件が指定されていない場合には、抽出された細胞領域を、その細胞種類と細胞状態の情報とともに形態特徴量算出部29に出力することとしてもよい。
形態特徴量算出部29は、特徴抽出細胞選択部28により選択された細胞領域についての形態特徴量を算出する。例えば、形態特徴量算出部29は、特徴抽出細胞選択部28から入力された細胞領域を上下左右に定数倍拡張した領域から形態特徴量を算出することとしてよい。ここで、形態特徴量としては、細胞領域に含まれる核の面積(A)、細胞の面積(B)、核と細胞の面積比(A/B)のいずれかを用いることとしてよい。なお、核の面積は、細胞領域内に含まれる核候補領域の面積(又は、細胞領域内から検出された輪郭内の面積)として算出することとしてよく、細胞の面積は、細胞領域の輪郭内の面積として算出することとしてよい。形態特徴量算出部29は、細胞の条件(例えば、細胞種類と細胞状態との組み合わせ)ごとに、その条件に合致する細胞領域から得られた形態特徴量を標的細胞条件設定部30に出力する。
図6~8には、形態特徴量の算出例を説明する図を示した。図6における点線部が細胞領域Aとすると、細胞領域を上下左右に定数倍拡張した領域Bから形態特徴量を算出する。このとき、図7に示されるように、設定した領域Bの内部から検出した輪郭のうち一番外側の輪郭であって、その輪郭が閉領域を構成する領域から細胞の面積を算出することとしてよい。また、図8に示されるように、細胞に対して設定した矩形領域の面積(細胞面積)と、核領域に対して設定した矩形領域の面積(核面積)との比を核と細胞の面積比として算出してもよい。
標的細胞条件設定部30は、形態特徴量算出部29により算出された細胞領域の形態特徴量に基づいて、標的細胞を含む画像領域から得られる形態特徴量が満たすべき条件を設定する。例えば、標的細胞条件設定部30は、細胞の条件と、当該条件に合致する細胞領域から得られた形態特徴量に基づいて、以下のように標的細胞を含む画像領域から得られる形態特徴量が満たすべき条件(具体的には以下の第1~第4の標的細胞条件)を設定する。
まず、第1の標的細胞条件について説明する。標的細胞条件設定部30は、細胞の条件に、細胞の種類が有核細胞であり、細胞の状態が孤立状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値(又は中央値等)C1を算出し、標的細胞の画像領域から算出した形態特徴量Xについては、X≦C1であることを第1の標的細胞条件として設定する。これは、有核赤血球以外の有核の細胞である白血球に対して、有核赤血球のサイズが小さいことに基づくものである。
次に、第2の標的細胞条件について説明する。標的細胞条件設定部30は、細胞の条件に、細胞の種類が有核細胞であり、細胞の状態が密集状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値(又は中央値等)C2を算出し、標的細胞の画像領域から算出した形態特徴量Xについては、X≦C2であることを第2の標的細胞条件として設定する。これは、有核赤血球以外の有核の細胞である白血球に対して、有核赤血球のサイズが小さいことに基づくものである。
次に、第3の標的細胞条件について説明する。標的細胞条件設定部30は、細胞の条件に、細胞の種類が無核細胞を含み、細胞の状態が孤立状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値(又は中央値等)C3を算出し、C3min<C3<C3maxである範囲を設定し、標的細胞の画像領域から算出した形態特徴量Xについては、C3min≦X≦C3maxであることを第3の標的細胞条件として設定する。これは、無核細胞に対して有核赤血球のサイズは平均的であることに基づくものである。なお、C3min≦C3≦C3maxの範囲は、予め定められた割合の細胞領域がこの範囲に属するように定めることとしてよい。
次に、第4の標的細胞条件について説明する。標的細胞条件設定部30は、細胞の条件に、細胞の種類が無核細胞を含み、細胞の状態が密集状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値(又は中央値等)C4を算出し、C4min<C4<C4maxである範囲を設定し、標的細胞の画像領域から算出した形態特徴量Xについては、C4min≦X≦C4maxであることを第4の標的細胞条件として設定する。これは、無核細胞に対して有核赤血球のサイズは平均的であることに基づくものである。なお、C4min<C4<C4maxの範囲は、予め定められた割合の細胞領域がこの範囲に属するように定めることとしてよい。
候補判定部31は、細胞候補領域設定部23により設定された細胞候補領域から標的細胞を検出する候補とするか否かを、細胞候補領域の形態特徴量と、標的細胞条件設定部30で設定された標的細胞条件とに基づいて判定する。例えば、候補判定部31は、細胞候補領域の状態(孤立状態か密集状態か)に基づいて、標的細胞条件を選択し、選択した標的細胞条件と、細胞候補領域の形態特徴量とに基づいて標的細胞の検出候補とするか否かを判定することとしてよい。具体的には、候補判定部31は、細胞候補領域の状態が孤立状態である場合には、第1又は第3の標的細胞条件を選択し、選択した標的細胞条件のいずれか又は両方を満たす場合に、細胞候補領域を標的細胞の検出候補として判定することとしてよい。また、候補判定部31は、細胞候補領域の状態が密集状態である場合には、第2又は第4の標的細胞条件を選択し、選択した標的細胞条件のいずれか又は両方を満たす場合に、細胞候補領域を標的細胞の検出候補として判定することとしてよい。
識別特徴量算出部32は、候補判定部31により標的細胞の検出対象とされた細胞候補領域を指定された画像サイズに拡大もしくは縮小した後に、それらについての識別特徴量を算出する。識別特徴量とは、標的細胞識別部33における学習処理及び識別処理に用いる学習・識別用の画像特徴量であり、例えばHOG特徴量を用いることとしてよい。例えば、HOG特徴量は以下のように算出することとしてよい。まず、対象画像をA個のセルから成るB個のブロックに分割し、各ブロックを構成するセルごとに画像の面内(X方向及びY方向)の輝度勾配方向と輝度勾配強度から輝度勾配方向ヒストグラム([第1勾配方向の値,第2勾配方向の値,・・・,第N勾配方向の値])を求め、これらの2乗平均が1になるようにブロック単位で正規化を行う。その後、正規化した輝度勾配方向ヒストグラムをブロック内で結合して作成したA×N個の値をブロックの特徴量とし、さらに対象画像内のブロックをすべて結合して作成したA×B×N個の値を対象画像のHOG特徴量としている。なお、識別特徴量と形態特徴量とは、異なる特徴量として構成してもよいし、同じ特徴量として構成してもよい。
識別特徴量算出部32は、入力された撮像画像について識別特徴量を算出した後に、算出した識別特徴量を標的細胞識別部33に出力する。
標的細胞識別部33は、候補判定部31により標的細胞の検出対象とされた細胞候補領域について算出された識別特徴量と、予め学習された学習パラメータとに基づいて、細胞候補領域に含まれる細胞が、標的細胞か否かを識別する。なお、標的細胞識別部33における学習処理は以下のように行うこととしてよい。
標的細胞識別部33は、撮像画像取得部21で取得された画像において、学習処理に利用する画像領域の指定を受け付ける。画像領域の指定は入力装置50を介して行われることとしてよい。例えば、標的細胞識別部33は、標的細胞(有核赤血球)とそれ以外の画像との識別を学習する際には、撮像された画像において標的細胞が映し出されている画像領域を正例として、標的細胞が映し出されていない画像領域を負例として受け付ける。そして、標的細胞識別部33は、正例、負例の画像領域について識別特徴量算出部32により算出された識別特徴量に基づいて、学習パラメータを生成する。
検出結果生成部34は、標的細胞識別部33の処理結果に基づいて標的細胞と検出された細胞候補領域を含む画像領域及びその座標の情報を生成する。また、検出結果生成部34により生成された座標に光学顕微鏡10の撮像範囲を移動させるように、光学顕微鏡10を制御する制御信号を光学顕微鏡10に出力するようにしてもよい。
表示制御部35は、検出結果生成部34により生成された画像領域及び座標を表示させる表示制御情報を表示装置60に出力する。これにより、表示装置60では、標的細胞と検出された画像領域と座標とが表示される。
次に、図9~13に示したフローチャートを参照しながら、画像処理装置20により行われる処理の流れについて説明する。
[標的細胞の検出処理全体のフロー]
まず、標的細胞を検出する処理の流れを図9に示したフローチャートを参照しながら説明する。
まず、標的細胞を検出する処理の流れを図9に示したフローチャートを参照しながら説明する。
図9に示されるように、画像処理装置20は、処理対象の撮像画像を取得し(S101)、取得した撮像画像のそれぞれについて二値化処理を施す。次に、画像処理装置20は、二値化処理後の撮像画像において標的細胞の核となり得る核候補領域を抽出するとともに(S102)、設定した核候補領域に基づいて細胞候補領域を設定する(S103)。
画像処理装置20は、変数iの初期値を1として、i番目の細胞候補領域Aiを選択し(S104)、選択した細胞候補領域Aiの周辺細胞(細胞領域)を抽出する(S105)。
画像処理装置20は、変数jの初期値を1として、j番目の周辺細胞Bjを選択し(S106)、選択した周辺細胞Bjが定められた細胞の選択条件を満たす場合には(S107:Y)、周辺細胞Bjの形態特徴量を算出し、Ck(変数kの初期値は1)として保存する(S108)。ここで、細胞の選択条件は、細胞種類(有核細胞か無核細胞)、細胞状態(密集状態か孤立状態)により指定されることとしてよい。このS108の処理の詳細については後述する。
画像処理装置20は、変数kが予め定められた閾値N以下である場合には(S109:Y)、kをインクリメントする(S110)。S110の後、または、S107において、周辺細胞Bjが定められた細胞の選択条件を満たさない場合には(S107:N)、画像処理装置20は、未処理の周辺細胞が残っているか否かを判断する(S111)。ここで、未処理の周辺細胞が残っている場合には(S111:Y)、jをインクリメントして(S112)、S106に戻る。
画像処理装置20は、S109において、変数kが予め定められた閾値N以下でない場合(S109:N)、又はS111において、未処理の周辺細胞が残っていない場合には(S111:N)、保存された形態特徴量Ckに基づいて標的細胞の形態特徴量に関する条件(標的細胞条件)を設定する(S113)。このS113の処理の詳細については後述する。
画像処理装置20は、細胞候補領域Aiの形態特徴量を算出し、算出した形態特徴量に基づいて細胞候補領域Aiが標的細胞条件を満たすと判定される場合には(S114:Y)、細胞候補領域Aiに標的細胞が含まれるか否かを識別する識別処理を実行する(S115)。このS115の処理の詳細については後述する。
画像処理装置20は、S115の後、又は、S114において、細胞候補領域Aiが標的細胞条件を満たさないと判定される場合には(S114:N)、未処理の細胞候補領域があるか否かを判定する(S116)。ここで、未処理の細胞候補領域があると判定される場合には(S116:Y)、iをインクリメントして(S117)、S104に戻り、未処理の細胞候補領域がないと判定される場合には(S116:N)、処理を終了する。なお、未処理の細胞候補領域がないと判定された後に(S116:N)、標的細胞が含まれると判定された画像領域を表示装置に表示させるようにしてもよい。
[形態特徴量の保存処理]
次に、図10に示されるフローチャートを参照しながら、図9のS108に関する処理の詳細について説明する。
次に、図10に示されるフローチャートを参照しながら、図9のS108に関する処理の詳細について説明する。
図10に示されるように、画像処理装置20は、周辺細胞Bjの細胞種類を細胞種類判定部27の判定結果に基づいて取得し(S201)、周辺細胞Bjの細胞状態を細胞状態判定部26の判定結果に基づいて取得する(S202)。
次に、画像処理装置20は、周辺細胞Bjの細胞種類が有核細胞であり(S203:Y)、且つ周辺細胞Bjの細胞状態が孤立状態である場合には(S204:Y)、Bjの形態特徴量を有核、孤立の形態特徴量として保存し(S205)、リターンする。
画像処理装置20は、周辺細胞Bjの細胞種類が有核細胞であり(S203:Y)、且つ周辺細胞Bjの細胞状態が密集状態である(孤立状態でない)場合には(S204:N)、Bjの形態特徴量を有核、密集の形態特徴量として保存し(S206)、リターンする。
画像処理装置20は、周辺細胞Bjの細胞種類が有核細胞でなく(S203:N)、且つ周辺細胞Bjの細胞状態が孤立状態である場合には(S207:Y)、Bjの形態特徴量を無核、孤立の形態特徴量として保存し(S208)、リターンする。
画像処理装置20は、周辺細胞Bjの細胞種類が有核細胞でなく(S203:N)、且つ周辺細胞Bjの細胞状態が密集状態である(孤立状態でない)場合には(S207:N)、Bjの形態特徴量を無核、密集の形態特徴量として保存し(S209)、リターンする。
[標的細胞条件の設定処理]
次に、図11に示されるフローチャートを参照しながら、図9のS113に関する処理の詳細について説明する。
次に、図11に示されるフローチャートを参照しながら、図9のS113に関する処理の詳細について説明する。
図11に示されるように、画像処理装置20は、保存された周辺細胞の形態特徴量のうち、有核、孤立の形態特徴量の集合G1を取得し(S301)、取得した集合G1の要素の平均値C1(又は中央値でもよい)を算出する(S302)。そして、画像処理装置20は、有核赤血球(標的細胞)の形態特徴量Xとした場合に、X≦C1を孤立状態の標的細胞の形態特徴量が満たすべき条件として設定する(S303)。
次に、画像処理装置20は、保存された周辺細胞の形態特徴量のうち、有核、密集の形態特徴量の集合G2を取得し(S304)、取得した集合G2の要素の平均値C2(又は中央値でもよい)を算出する(S305)。そして、画像処理装置20は、有核赤血球(標的細胞)の形態特徴量Xとした場合に、X≦C2を、密集状態の標的細胞の形態特徴量が満たすべき条件として設定する(S306)。
画像処理装置20は、保存された周辺細胞の形態特徴量のうち、無核、孤立の形態特徴量の集合G3を取得し(S307)、取得した集合G3の要素の平均値C3(又は中央値でもよい)を含む範囲[C3min,C3max]を算出する(S308)。そして、画像処理装置20は、有核赤血球(標的細胞)の形態特徴量Xとした場合に、C3min≦X≦C3maxを、孤立状態の標的細胞の形態特徴量が満たすべき条件として設定する(S309)。
画像処理装置20は、保存された周辺細胞の形態特徴量のうち、無核、孤立の形態特徴量の集合G4を取得し(S310)、取得した集合G4の要素の平均値C4(又は中央値でもよい)を含む範囲[C4min,C4max]を算出する(S311)。そして、画像処理装置20は、有核赤血球(標的細胞)の形態特徴量Xとした場合に、C4min≦X≦C4maxを、孤立状態の標的細胞の形態特徴量が満たすべき条件として設定し(S312)、リターンする。なお、上記のフローでは有核、無核の細胞腫類、孤立、密集の細胞状態の全ての組み合わせについての標的細胞条件を設定する例を説明したが、このうち少なくとも1つ、又は、有核又は無核のいずれかに対する孤立、密集の細胞状態についての標的細胞条件を設定するようにしてもよい。
[標的細胞の検出候補判定処理]
次に、図12に示されるフローチャートを参照しながら、図9のS114に関する処理の詳細について説明する。
次に、図12に示されるフローチャートを参照しながら、図9のS114に関する処理の詳細について説明する。
図12に示されるように、画像処理装置20は、有核細胞についての標的細胞条件を用いる場合には(S401:Y)、以下の処理を実行する。
画像処理装置20は、細胞候補領域Aiの形態特徴量Xiを算出し(S402)、細胞候補領域Aiの細胞状態を細胞状態判定部26の判定結果に基づいて取得する(S403)。
ここで、細胞候補領域Aiの細胞状態が孤立状態である場合には(S404:Y)、画像処理装置20は、XiがC1以下であるか否かを判定し(S405)、XiがC1以下である場合には(S405:Y)、細胞候補領域Aiを有核赤血球(標的細胞)の候補領域とし(S406)、XiがC1より大きい場合には(S405:N)、細胞候補領域Aiを有核赤血球(標的細胞)の候補領域から除外して(S407)、リターンする。
また、細胞候補領域Aiの細胞状態が密集状態である(孤立状態でない)場合には(S404:N)、画像処理装置20は、XiがC2以下であるか否かを判定し(S408)、XiがC2以下である場合には(S408:Y)、細胞候補領域Aiを有核赤血球(標的細胞)の候補領域とし(S406)、XiがC2より大きい場合には(S408:N)、細胞候補領域Aiを有核赤血球(標的細胞)の候補領域から除外して(S407)、リターンする。
また、画像処理装置20は、有核細胞についての標的細胞条件を用いない場合には(S401:N)、以下の処理を実行する。
画像処理装置20は、細胞候補領域Aiの形態特徴量Xiを算出し(S409)、細胞候補領域Aiの細胞状態を細胞状態判定部26の判定結果に基づいて取得する(S410)。
ここで、細胞候補領域Aiの細胞状態が孤立状態である場合には(S411:Y)、画像処理装置20は、XiがC3min以上C3max以下であるか否かを判定する(S412)。XiがC3min以上C3max以下である場合には(S412:Y)、細胞候補領域Aiを有核赤血球(標的細胞)の候補領域とする(S413)。XiがC3min以上C3max以下でない場合には(S412:N)、細胞候補領域Aiを有核赤血球(標的細胞)の候補領域から除外して(S414)、リターンする。
また、細胞候補領域Aiの細胞状態が密集状態である(孤立状態でない)場合には(S411:N)、画像処理装置20は、XiがC4min以上C4max以下であるか否かを判定する(S415)。XiがC4min以上C4max以下である場合には(S415:Y)、細胞候補領域Aiを有核赤血球(標的細胞)の候補領域とする(S413)。XiがC4min以上C4max以下でない場合には(S415:N)、細胞候補領域Aiを有核赤血球(標的細胞)の候補領域から除外して(S414)、リターンする。
[標的細胞の識別処理]
次に、図13に示されるフローチャートを参照しながら、図9のS115に関する処理の詳細について説明する。
次に、図13に示されるフローチャートを参照しながら、図9のS115に関する処理の詳細について説明する。
図13に示されるように、画像処理装置20は、標的細胞条件を満たす細胞候補領域Aiの画像を取得し(S501)、取得した画像に基づいて細胞候補領域Aiの画像特徴量(識別特徴量)を算出する(S502)。そして、予め学習された識別器により、S502で算出された画像特徴量に基づいて、細胞候補領域Aiに標的細胞が含まれているか否かを判定し(S503)、標的細胞が含まれている場合には(S503:Y)、細胞候補領域Aiの座標とサイズを保存し(S504)、リターンする。なお、標的細胞が含まれていない場合にも(S503:N)、リターンする。
以上説明した画像処理システム1によれば、細胞候補領域の周囲の細胞に基づいて、個体に応じた標的細胞の基準を設定し、設定された基準に基づいて標的細胞の可能性が高い画像候補を絞り込むことで、こうした絞り込みを行わない場合に比べて、標的細胞の判定精度が向上する。
また、本発明は、上記の実施形態に限定されるものではない。例えば、細胞候補領域の各々について標的細胞識別部33により標的細胞であるか否かを判定し、その結果標的細胞であると判定された細胞候補領域について、候補判定部31により標的細胞の候補であるか否かを判定するようにしてもよい。そして、候補判定部31により標的細胞の候補であると判定された細胞候補領域には、標的細胞が含まれると判断するようにしてもよい。また、標的細胞条件は細胞の状態によらずに生成することとしても構わない。また、標的細胞は、NRBCsに限定するものではなく、別の細胞を標的細胞としても構わない。
本発明に係る、画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システムは、NRBCs等の細胞を機械的に検出するのに有用である。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2012年8月23日出願の日本特許出願(特願2012-184106)に基づくものであり、その内容はここに参照として取り込まれる。
本出願は、2012年8月23日出願の日本特許出願(特願2012-184106)に基づくものであり、その内容はここに参照として取り込まれる。
1 画像処理システム、10 光学顕微鏡、11 スライドグラス、12 対物レンズ、13 焦準機構、14 CCDカメラ、20 画像処理装置、21 撮像画像取得部、22 核候補領域抽出部、23 細胞候補領域設定部、24 選択条件設定部、25 周辺細胞抽出部、26 細胞状態判定部、27 細胞種類判定部、28 特徴抽出細胞選択部、29 形態特徴量算出部、30 標的細胞条件設定部、31 候補判定部、32 識別特徴量算出部、33 標的細胞識別部、34 検出結果生成部、35 表示制御部、50 入力装置、60 表示装置
Claims (10)
- 標的細胞を含む試料を撮像した撮像画像を取得する取得部と、
前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、
前記対象領域とは異なる領域を含む周辺領域から複数の細胞領域を抽出する抽出部と、
前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、
前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部と、を含む
画像処理装置。 - 前記抽出部により抽出した細胞領域に含まれる細胞が密集状態にあるか孤立状態にあるかを判定する状態判定部をさらに含み、
前記範囲設定部は、前記状態判定部によって判定された細胞の状態ごとに前記標的細胞が有すべき特徴量の範囲をそれぞれ設定し、
前記判定部は、前記対象領域から得た特徴量が、前記対象領域に含まれる細胞の状態について前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する
請求項1に記載の画像処理装置。 - 前記特徴量は、細胞面積、核面積、細胞と核の面積比のうち少なくとも1つであり、
前記抽出部は、前記周辺領域からそれぞれ有核細胞を含む複数の細胞領域を抽出し、
前記範囲設定部は、前記複数の細胞領域のそれぞれから得た特徴量の範囲内に設定した閾値以下の範囲を、前記標的細胞が有すべき特徴量の範囲として設定する
請求項1又は2に記載の画像処理装置。 - 前記特徴量は、細胞面積、核面積、細胞と核の面積比のうち少なくとも1つであり、
前記抽出部は、前記周辺領域からそれぞれ無核細胞を含む複数の細胞領域を抽出し、
前記範囲設定部は、前記複数の細胞領域のそれぞれから得た特徴量の平均値又は中央値を挟む範囲を、前記標的細胞が有すべき特徴量の範囲として設定する
請求項1又は2に記載の画像処理装置。 - 前記標的細胞を識別する識別条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像に基づいて機械学習する学習部と、
前記判定部は、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを前記識別条件に基づいて判定する
請求項1から4のいずれか一項に記載の画像処理装置。 - 前記標的細胞は、核を有する有核赤血球であり、
前記画像処理装置は、
前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は濃度の少なくとも一方に基づいて抽出する領域抽出部をさらに含み、
前記設定部は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定する
請求項1から5のいずれか一項に記載の画像処理装置。 - 標的細胞を含む試料を撮像した撮像画像を取得する取得部と、
前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、
前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出する抽出部と、
前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、
前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部
としてコンピュータを機能させるためのプログラム。 - 標的細胞を含む試料を撮像した撮像画像を取得し、
前記撮像画像について前記標的細胞を検出する対象領域を設定し、
前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、
前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定し、
前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する、
処理をコンピュータに実行させる画像処理方法。 - 標的細胞を含む試料を撮像した撮像画像を取得し、
前記撮像画像について前記標的細胞を検出する対象領域を設定し、
前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、
前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定し、
前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する、
画像処理のための処理をコンピュータに実行させるプログラムを記憶する非一時的なコンピュータ読み取り媒体。 - 画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置と、を含み、
前記画像処理装置は、
標的細胞を含む試料を撮像した撮像画像を取得する取得部と、
前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、
前記対象領域とは異なる領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出する抽出部と、
前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、
前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部と、を含む
画像処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201380038139.9A CN104487564B (zh) | 2012-08-23 | 2013-03-29 | 图像处理装置、图像处理方法以及图像处理*** |
EP13830872.1A EP2889367B1 (en) | 2012-08-23 | 2013-03-29 | Image processing device, program, image processing method, computer-readable medium, and image processing system |
US14/407,158 US9934571B2 (en) | 2012-08-23 | 2013-03-29 | Image processing device, program, image processing method, computer-readable medium, and image processing system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012184106A JP5333635B1 (ja) | 2012-08-23 | 2012-08-23 | 画像処理装置、プログラム及び画像処理システム |
JP2012-184106 | 2012-08-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014030380A1 true WO2014030380A1 (ja) | 2014-02-27 |
Family
ID=49679040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/059678 WO2014030380A1 (ja) | 2012-08-23 | 2013-03-29 | 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9934571B2 (ja) |
EP (1) | EP2889367B1 (ja) |
JP (1) | JP5333635B1 (ja) |
CN (1) | CN104487564B (ja) |
WO (1) | WO2014030380A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016021309A1 (ja) * | 2014-08-05 | 2016-02-11 | 富士フイルム株式会社 | 有核赤血球の選別方法 |
WO2016021311A1 (ja) * | 2014-08-05 | 2016-02-11 | 富士フイルム株式会社 | 有核赤血球の選別方法 |
EP3150692A1 (en) * | 2014-05-30 | 2017-04-05 | Fujifilm Corporation | Cell evaluation device, method, and program |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9522396B2 (en) | 2010-12-29 | 2016-12-20 | S.D. Sight Diagnostics Ltd. | Apparatus and method for automatic detection of pathogens |
CN104169719B (zh) | 2011-12-29 | 2017-03-08 | 思迪赛特诊断有限公司 | 用于检测生物样品中病原体的方法和*** |
EP2999988A4 (en) | 2013-05-23 | 2017-01-11 | S.D. Sight Diagnostics Ltd. | Method and system for imaging a cell sample |
IL227276A0 (en) | 2013-07-01 | 2014-03-06 | Parasight Ltd | A method and system for obtaining a monolayer of cells, for use specifically for diagnosis |
WO2015029032A1 (en) | 2013-08-26 | 2015-03-05 | Parasight Ltd. | Digital microscopy systems, methods and computer program products |
JP6143365B2 (ja) * | 2014-03-05 | 2017-06-07 | 富士フイルム株式会社 | 細胞画像評価装置および方法並びにプログラム |
JP2015215741A (ja) * | 2014-05-09 | 2015-12-03 | キヤノン株式会社 | 被写体検出装置、被写体検出方法及びプログラム |
JP6301199B2 (ja) * | 2014-05-30 | 2018-03-28 | 富士フイルム株式会社 | 細胞評価装置および方法並びにプログラム |
CN107077732B (zh) | 2014-08-27 | 2020-11-24 | 思迪赛特诊断有限公司 | 用于对数字显微镜计算聚焦变化的***及方法 |
EP3859425B1 (en) | 2015-09-17 | 2024-04-17 | S.D. Sight Diagnostics Ltd. | Methods and apparatus for detecting an entity in a bodily sample |
CA3018536A1 (en) | 2016-03-30 | 2017-10-05 | S.D. Sight Diagnostics Ltd | Distinguishing between blood sample components |
EP3455610B1 (en) | 2016-05-11 | 2023-01-04 | S.D. Sight Diagnostics Ltd. | Sample carrier for optical measurements |
AU2017263807B2 (en) | 2016-05-11 | 2023-02-02 | S.D. Sight Diagnostics Ltd | Performing optical measurements on a sample |
WO2018158901A1 (ja) * | 2017-03-02 | 2018-09-07 | 株式会社島津製作所 | 細胞解析方法及び細胞解析装置 |
WO2018180206A1 (ja) * | 2017-03-30 | 2018-10-04 | 富士フイルム株式会社 | 細胞画像評価装置および方法並びにプログラム |
EP3710810B1 (en) | 2017-11-14 | 2023-09-06 | S.D. Sight Diagnostics Ltd. | Sample carrier for optical measurements |
JP7167453B2 (ja) * | 2018-03-12 | 2022-11-09 | オムロン株式会社 | 外観検査システム、設定装置、画像処理装置、設定方法およびプログラム |
JP7078944B1 (ja) | 2021-12-21 | 2022-06-01 | メック株式会社 | 物性値予測方法、物性値予測システム及びプログラム |
JP7076867B1 (ja) * | 2021-12-21 | 2022-05-30 | メック株式会社 | 物性値予測方法、物性値予測システム及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4346923B2 (ja) | 2003-02-21 | 2009-10-21 | 晴夫 高林 | 標的細胞自動探索システム |
WO2012091056A1 (ja) * | 2010-12-28 | 2012-07-05 | エスシーワールド株式会社 | 血液中の標的細胞の検査方法、標的細胞検索装置、及びバイオチップ |
WO2012169088A1 (ja) * | 2011-06-09 | 2012-12-13 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1163502A1 (en) | 1999-02-18 | 2001-12-19 | Bio-View Ltd | System and method for identifying and analyzing rare cell types in a mixed population of cells |
AU1918100A (en) * | 1999-11-18 | 2001-05-30 | Ikonisys Inc. | Method and apparatus for computer controlled cell based diagnosis |
JP5380026B2 (ja) * | 2008-09-24 | 2014-01-08 | シスメックス株式会社 | 標本撮像装置 |
JP5301232B2 (ja) * | 2008-09-30 | 2013-09-25 | シスメックス株式会社 | 血球画像表示装置、検体分析システム、血球画像表示方法、及びコンピュータプログラム |
US8842900B2 (en) * | 2008-10-28 | 2014-09-23 | Sysmex Corporation | Specimen processing system and blood cell image classifying apparatus |
US8340389B2 (en) | 2008-11-26 | 2012-12-25 | Agilent Technologies, Inc. | Cellular- or sub-cellular-based visualization information using virtual stains |
JP5438962B2 (ja) * | 2008-12-25 | 2014-03-12 | シスメックス株式会社 | 細胞画像表示装置 |
JP5426181B2 (ja) * | 2009-01-21 | 2014-02-26 | シスメックス株式会社 | 検体処理システム、細胞画像分類装置、及び検体処理方法 |
US20110286654A1 (en) * | 2010-05-21 | 2011-11-24 | Siemens Medical Solutions Usa, Inc. | Segmentation of Biological Image Data |
US8339586B2 (en) * | 2011-04-15 | 2012-12-25 | Constitution Medical, Inc. | Measuring volume and constituents of cells |
EP2721392B1 (en) * | 2011-06-17 | 2021-05-19 | Roche Diagnostics Hematology, Inc. | System and method for sample display and review |
JP5780865B2 (ja) * | 2011-07-14 | 2015-09-16 | キヤノン株式会社 | 画像処理装置、撮像システム、画像処理システム |
-
2012
- 2012-08-23 JP JP2012184106A patent/JP5333635B1/ja active Active
-
2013
- 2013-03-29 US US14/407,158 patent/US9934571B2/en active Active
- 2013-03-29 EP EP13830872.1A patent/EP2889367B1/en active Active
- 2013-03-29 CN CN201380038139.9A patent/CN104487564B/zh active Active
- 2013-03-29 WO PCT/JP2013/059678 patent/WO2014030380A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4346923B2 (ja) | 2003-02-21 | 2009-10-21 | 晴夫 高林 | 標的細胞自動探索システム |
WO2012091056A1 (ja) * | 2010-12-28 | 2012-07-05 | エスシーワールド株式会社 | 血液中の標的細胞の検査方法、標的細胞検索装置、及びバイオチップ |
WO2012169088A1 (ja) * | 2011-06-09 | 2012-12-13 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
Non-Patent Citations (4)
Title |
---|
KOSUKE AOKI ET AL.: "Auto-Detection of Nucleated Red Blood Cells from Massive Microscopy Images", THE JOURNAL OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN, vol. 37, no. 5, 2008, pages 609 - 616, XP008175854 * |
See also references of EP2889367A4 |
Y. SHIMIZU ET AL.: "Detection and Retrieval of Nucleated Red Blood Cells Using Linear Subspaces", THE JOURNAL OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS, vol. 40, no. 1, 25 January 2011 (2011-01-25), pages 67 - 73, XP008175840 * |
YOSUKE SHIMIZU ET AL.: "Nucleated Red Blood Cells Searching in Microscope Images", ITE TECHNICAL REPORT, vol. 33, no. 34, 27 August 2009 (2009-08-27), pages 1 - 2, XP008175839 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3150692A1 (en) * | 2014-05-30 | 2017-04-05 | Fujifilm Corporation | Cell evaluation device, method, and program |
EP3150692A4 (en) * | 2014-05-30 | 2017-08-16 | Fujifilm Corporation | Cell evaluation device, method, and program |
US10443029B2 (en) | 2014-05-30 | 2019-10-15 | Fujifilm Corporation | Cell evaluation device, cell evaluation method, and cell evaluation program |
EP3336171B1 (en) * | 2014-05-30 | 2023-08-09 | FUJIFILM Corporation | Cell evaluation device |
WO2016021309A1 (ja) * | 2014-08-05 | 2016-02-11 | 富士フイルム株式会社 | 有核赤血球の選別方法 |
WO2016021311A1 (ja) * | 2014-08-05 | 2016-02-11 | 富士フイルム株式会社 | 有核赤血球の選別方法 |
JPWO2016021311A1 (ja) * | 2014-08-05 | 2017-05-25 | 富士フイルム株式会社 | 有核赤血球の選別方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150187077A1 (en) | 2015-07-02 |
US9934571B2 (en) | 2018-04-03 |
JP2014039504A (ja) | 2014-03-06 |
EP2889367A1 (en) | 2015-07-01 |
EP2889367A4 (en) | 2016-06-08 |
CN104487564B (zh) | 2017-06-16 |
EP2889367B1 (en) | 2019-11-27 |
CN104487564A (zh) | 2015-04-01 |
JP5333635B1 (ja) | 2013-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014030380A1 (ja) | 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム | |
US9704017B2 (en) | Image processing device, program, image processing method, computer-readable medium, and image processing system | |
US9684958B2 (en) | Image processing device, program, image processing method, computer-readable medium, and image processing system | |
JP6194791B2 (ja) | 画像処理装置及びプログラム | |
JP6197659B2 (ja) | 検出制御装置、プログラム及び検出システム | |
JP5333570B2 (ja) | 画像処理装置、プログラム及び画像処理システム | |
WO2014192184A1 (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 | |
US9858662B2 (en) | Image processing device, computer storage medium, and method for detecting and displaying nucleated target cells | |
US10146042B2 (en) | Image processing apparatus, storage medium, and image processing method | |
JP5907125B2 (ja) | 画像処理装置、プログラム及び画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13830872 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14407158 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013830872 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |