JP6208019B2 - Cell colony region specifying device, cell colony region specifying method and program - Google Patents
Cell colony region specifying device, cell colony region specifying method and program Download PDFInfo
- Publication number
- JP6208019B2 JP6208019B2 JP2014004080A JP2014004080A JP6208019B2 JP 6208019 B2 JP6208019 B2 JP 6208019B2 JP 2014004080 A JP2014004080 A JP 2014004080A JP 2014004080 A JP2014004080 A JP 2014004080A JP 6208019 B2 JP6208019 B2 JP 6208019B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- colony
- region
- cell colony
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Analysis (AREA)
Description
本発明は、細胞を培養して得られる細胞コロニーを撮像して得られる画像において、細胞コロニーの領域を特定する技術に関する。 The present invention relates to a technique for specifying a cell colony region in an image obtained by imaging a cell colony obtained by culturing cells.
従来より、医療、食品、材料等の様々な分野において、細胞を培養する技術が利用されている。細胞培養では、多くの場合、細胞が密集したコロニーが形成される。多数の培養が行われる場合、コロニーを撮像して得られた画像を解析して、必要なコロニーだけを自動的に特定することが求められる。 Conventionally, a technique for culturing cells has been used in various fields such as medicine, food, and materials. In cell culture, colonies with dense cells are often formed. When a large number of cultures are performed, it is required to automatically specify only the necessary colonies by analyzing an image obtained by imaging the colonies.
例えば、特許文献１の画像処理装置では、培養容器の位相差顕微鏡画像である合成マクロ画像からユーザによりｉＰＳ細胞コロニーの候補が指定される。合成マクロ画像を二値化して二値化コロニー画像が得られ、二値化コロニー画像から指定された細胞コロニーの輪郭線が抽出される。その後、個々の細胞コロニーがその特徴量からｉＰＳ細胞であるか否か判別される。 For example, in the image processing apparatus of Patent Document 1, iPS cell colony candidates are designated by the user from a synthesized macro image that is a phase contrast microscope image of a culture vessel. The synthesized macro image is binarized to obtain a binarized colony image, and the contour line of the designated cell colony is extracted from the binarized colony image. Thereafter, it is determined whether or not each cell colony is an iPS cell from the feature amount.
特許文献２の細胞画像解析装置においても、輝度や輝度差を用いて対象物の境界要素が抽出される。このとき、輝度や輝度差の変化量が小さいために境界要素の一部が切れた状態となっている場合、予め設定された値以下の距離で離れている境界要素同士を同一の対象物の境界要素と認定し、これらの境界要素間が線分要素で結ばれる。 Also in the cell image analysis apparatus of Patent Document 2, the boundary element of the object is extracted using the luminance and the luminance difference. At this time, when a part of the boundary element is cut off due to a small amount of change in luminance or luminance difference, boundary elements separated by a distance equal to or less than a preset value are separated from each other by the same object. The boundary elements are recognized and the boundary elements are connected by line segment elements.
ところで、特許文献１では、輪郭線が明確であり、背景との区別がはっきりしている細胞コロニーがユーザにより指定されるため、細胞コロニーの輪郭線の抽出は比較的容易である。特許文献２では、ノイズ等による境界線の断線は考慮されているが、境界がぼけて太くなっているような状況は想定されていない。撮像時のぶれやフォーカスずれにより境界がぼけている場合、輪郭は誤って検出されやすい。 By the way, in patent document 1, since the outline is clear and the cell colony with clear distinction with the background is designated by the user, extraction of the outline of a cell colony is comparatively easy. In Patent Document 2, the disconnection of the boundary line due to noise or the like is considered, but a situation where the boundary is blurred and thick is not assumed. If the boundary is blurred due to camera shake or focus shift, the contour is likely to be detected erroneously.
本発明は、上記課題に鑑みなされたものであり、画像中において細胞コロニーの境界がぼけている場合であっても、容易かつ効率よく細胞コロニーの領域を特定することを目的としている。 The present invention has been made in view of the above problems, and an object of the present invention is to specify a cell colony region easily and efficiently even when a boundary of a cell colony is blurred in an image.
請求項１に記載の発明は、細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定する細胞コロニー領域特定装置であって、細胞コロニーを撮像してコロニー画像を取得する撮像部と、演算処理により前記コロニー画像における前記細胞コロニーの領域を特定する演算部と、特定された前記領域を出力する出力部とを備え、前記演算部が、ａ）前記コロニー画像の各位置とその周囲との明度の相違を示す明度変化画像を得る工程と、ｂ）前記明度変化画像を２値化することにより、明度変化２値画像を得る工程と、ｃ）前記明度変化２画像における予め定められた面積以下の閉領域を塗りつぶして小領域塗りつぶし画像を得る工程と、ｄ）前記小領域塗りつぶし画像に細線化を施して細線画像を得る工程と、ｅ）前記細線画像における小突起を削除して修正済み細線画像を得る工程と、ｆ）前記修正済み細線画像における閉領域を塗りつぶしてコロニー塗りつぶし画像を得る工程と、ｇ）前記コロニー塗りつぶし画像と、前記明度変化２値画像、または、前記コロニー画像から他の方法にて得られる他の明度変化２値画像との論理積をとって得られる画像から、細胞コロニーの境界を示すコロニー境界画像を得る工程と、ｈ）前記コロニー境界画像に基づいて細胞コロニーの領域を特定する工程とを実行する。 The invention according to claim 1 is a cell colony region specifying device for specifying a region of the cell colony in a colony image showing a cell colony, an imaging unit that images the cell colony and obtains the colony image, and arithmetic processing And a calculation unit for specifying the area of the cell colony in the colony image and an output unit for outputting the specified area, and the calculation unit a) brightness of each position of the colony image and its surroundings B) a step of obtaining a lightness change binary image by binarizing the lightness change image, and c) a predetermined area or less in the lightness change binary image. Filling a closed area of the image to obtain a small area filled image; d) obtaining a thin line image by thinning the small area filled image; and e) the fine line image. Removing a small protrusion in the image to obtain a corrected thin line image; f) filling a closed region in the corrected thin line image to obtain a colony filled image; g) the colony filled image; and the lightness change binary value. Obtaining a colony boundary image indicating a boundary of a cell colony from an image or an image obtained by ANDing with another lightness change binary image obtained by another method from the colony image; h) And a step of identifying a cell colony region based on the colony boundary image.
請求項２に記載の発明は、請求項１に記載の細胞コロニー領域特定装置であって、前記明度変化画像が、前記コロニー画像の各位置から第１距離内に存在する画素の値の平均と、前記各位置から前記第１距離よりも離れ、第２距離よりも近い画素の値の平均との差に相当する値を、前記各位置の画素の値とする画像であり、前記明度変化２値画像が、細胞コロニーの周囲に現れる帯状領域の境界に沿って前記帯状領域の内側に近接する線状の領域を示す画像であり、前記ｇ）工程において、前記コロニー塗りつぶし画像と、前記他の明度変化２値画像との論理積が求められ、前記他の明度変化２値画像が、前記明度変化画像を、前記明度変化２値画像の場合とは異なる閾値にて２値化することにより得られ、前記帯状領域の境界に沿って前記帯状領域の外側に近接する線状の領域を示す画像である。 Invention of Claim 2 is a cell colony area | region identification apparatus of Claim 1, Comprising: The said brightness change image is the average of the value of the pixel which exists in each 1st distance from each position of the said colony image, and , An image having a value corresponding to a difference from an average of pixel values farther than the first distance and closer than the second distance from each position, and the brightness change 2 The value image is an image showing a linear region that is close to the inside of the band-like region along the boundary of the band-like region that appears around the cell colony, and in the step g), the colony-filled image and the other regions A logical product with the lightness change binary image is obtained, and the other lightness change binary image is obtained by binarizing the lightness change image with a threshold different from that of the lightness change binary image. And along the border of the strip region Is an image showing the linear region close to the outside of the Jo region.
請求項３に記載の発明は、請求項２に記載の細胞コロニー領域特定装置であって、前記演算部が、前記ｇ）工程の前に、前記コロニー塗りつぶし画像および前記他の明度変化２値画像の少なくとも一方に太らせ処理を施す工程、をさらに実行する。 Invention of Claim 3 is a cell colony area | region identification apparatus of Claim 2, Comprising: The said calculating part is the said colony painting image and said other brightness change binary image before the said g) process. And a step of performing a fattening process on at least one of the above.
請求項４に記載の発明は、請求項２または３に記載の細胞コロニー領域特定装置であって、前記演算部が、前記ｂ）工程と、前記ｃ）工程との間に、前記明度変化２値画像に太らせ処理を施す工程、をさらに実行する。 Invention of Claim 4 is the cell colony area | region identification apparatus of Claim 2 or 3, Comprising: The said calculating part WHEREIN: Between the said b) process and the said c) process, the said brightness change 2 is provided. A step of applying a fattening process to the value image is further executed.
請求項５に記載の発明は、細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定する細胞コロニー領域特定装置であって、細胞コロニーを撮像してコロニー画像を取得する撮像部と、演算処理により前記コロニー画像における前記細胞コロニーの領域を特定する演算部と、特定された前記領域を出力する出力部とを備え、前記演算部が、ａ）細胞コロニーの領域と他の領域とを区別する閾値にて前記コロニー画像を２値化してコロニー２値画像を得る工程と、ｂ）前記細胞コロニーの周囲に現れる帯状領域と他の領域とを区別する閾値にて前記コロニー画像を２値化して周辺２値画像を得る工程と、ｃ）前記コロニー２値画像および前記周辺２値画像の少なくとも一方に太らせ処理を施す工程と、ｄ）前記ｃ）工程後の前記コロニー２値画像と前記周辺２値画像との論理積をとることにより、初期境界画像を得る工程と、ｅ）前記初期境界画像に基づいて細胞コロニーの領域を特定する工程とを実行する。 The invention according to claim 5 is a cell colony region specifying device that specifies a region of the cell colony in a colony image indicating a cell colony, and an imaging unit that images the cell colony and obtains the colony image, and arithmetic processing The calculation unit includes a calculation unit that specifies the region of the cell colony in the colony image and an output unit that outputs the specified region, and the calculation unit distinguishes a) a region of the cell colony from another region. Binarizing the colony image with a threshold value to obtain a colony binary image; and b) binarizing the colony image with a threshold value that distinguishes a band-like region appearing around the cell colony from other regions. A step of obtaining a peripheral binary image, c) a step of applying a fattening process to at least one of the colony binary image and the peripheral binary image, and d) before the step c) By taking the logical product of the surrounding binary image and colony binary image, performing the step of obtaining the initial boundary image, and a step of specifying an area of the cell colonies on the basis of e) the initial boundary image.
請求項６に記載の発明は、請求項５に記載の細胞コロニー領域特定装置であって、前記ｃ）において、前記コロニー２値画像および前記周辺２値画像に太らせ処理が施される。 The invention according to claim 6 is the cell colony region specifying device according to claim 5, wherein the colony binary image and the peripheral binary image are subjected to fattening processing in c).
請求項７に記載の発明は、請求項５または６に記載の細胞コロニー領域特定装置であって、前記演算部が、前記ａ）工程および前記ｂ）工程の前に、前記コロニー画像にシェーディング補正を行う工程、をさらに実行する。 Invention of Claim 7 is a cell colony area | region identification apparatus of Claim 5 or 6, Comprising: The said calculating part is shading correction | amendment to the said colony image before the said a process and the said b) process. The step of performing is further executed.
請求項８に記載の発明は、細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定する細胞コロニー領域特定方法であって、ａ）コロニー画像の各位置とその周囲との明度の相違を示す明度変化画像を得る工程と、ｂ）前記明度変化画像を２値化することにより、明度変化２値画像を得る工程と、ｃ）前記明度変化２画像における予め定められた面積以下の閉領域を塗りつぶして小領域塗りつぶし画像を得る工程と、ｄ）前記小領域塗りつぶし画像に細線化を施して細線画像を得る工程と、ｅ）前記細線画像における小突起を削除して修正済み細線画像を得る工程と、ｆ）前記修正済み細線画像における閉領域を塗りつぶしてコロニー塗りつぶし画像を得る工程と、ｇ）前記コロニー塗りつぶし画像と、前記明度変化２値画像、または、前記コロニー画像から他の方法にて得られる他の明度変化２値画像との論理積をとって得られる画像から、細胞コロニーの境界を示すコロニー境界画像を得る工程と、ｈ）前記コロニー境界画像に基づいて細胞コロニーの領域を特定する工程とを備える。 The invention according to claim 8 is a cell colony region specifying method for specifying a region of the cell colony in a colony image showing a cell colony, and a) shows a difference in brightness between each position of the colony image and its surroundings. Obtaining a lightness change image; b) obtaining a lightness change binary image by binarizing the lightness change image; and c) a closed region having a predetermined area or less in the lightness change binary image. A step of filling and obtaining a small region filled image; d) a step of thinning the small region filled image to obtain a fine line image; and e) a step of removing small protrusions in the fine line image to obtain a corrected thin line image. And f) a step of filling a closed region in the corrected thin line image to obtain a colony filled image, and g) the colony filled image and the lightness change binary image. Or a step of obtaining a colony boundary image indicating a boundary of a cell colony from an image obtained by ANDing with another lightness change binary image obtained by another method from the colony image; h) And a step of identifying a cell colony region based on the colony boundary image.
請求項９に記載の発明は、請求項８に記載の細胞コロニー領域特定方法であって、前記明度変化画像が、前記コロニー画像の各位置から第１距離内に存在する画素の値の平均と、前記各位置から前記第１距離よりも離れ、第２距離よりも近い画素の値の平均との差に相当する値を、前記各位置の画素の値とする画像であり、前記明度変化２値画像が、細胞コロニーの周囲に現れる帯状領域の境界に沿って前記帯状領域の内側に近接する線状の領域を示す画像であり、前記ｇ）工程において、前記コロニー塗りつぶし画像と、前記他の明度変化２値画像との論理積が求められ、前記他の明度変化２値画像が、前記明度変化画像を、前記明度変化２値画像の場合とは異なる閾値にて２値化することにより得られ、前記帯状領域の境界に沿って前記帯状領域の外側に近接する線状の領域を示す画像である。 Invention of Claim 9 is the cell colony area | region identification method of Claim 8, Comprising: The said brightness change image is the average of the value of the pixel which exists in each 1st distance from each position of the said colony image, and , An image having a value corresponding to a difference from an average of pixel values farther than the first distance and closer than the second distance from each position, and the brightness change 2 The value image is an image showing a linear region that is close to the inside of the band-like region along the boundary of the band-like region that appears around the cell colony, and in the step g), the colony-filled image and the other regions A logical product with the lightness change binary image is obtained, and the other lightness change binary image is obtained by binarizing the lightness change image with a threshold different from that of the lightness change binary image. And along the border of the strip region Is an image showing the linear region close to the outside of the Jo region.
請求項１０に記載の発明は、請求項９に記載の細胞コロニー領域特定方法であって、前記ｇ）工程の前に、前記コロニー塗りつぶし画像および前記他の明度変化２値画像の少なくとも一方に太らせ処理を施す工程、をさらに備える。 The invention according to claim 10 is the cell colony region specifying method according to claim 9, wherein before the step g), at least one of the colony filled image and the other brightness change binary image is thickened. And a step of performing a settling process.
請求項１１に記載の発明は、請求項９または１０に記載の細胞コロニー領域特定方法であって、前記ｂ）工程と、前記ｃ）工程との間に、前記明度変化２値画像に太らせ処理を施す工程、をさらに備える。 The invention according to claim 11 is the cell colony region specifying method according to claim 9 or 10, wherein the lightness change binary image is fattened between the step b) and the step c). And a step of performing a process.
請求項１２に記載の発明は、細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定する細胞コロニー領域特定方法であって、ａ）細胞コロニーの領域と他の領域とを区別する閾値にてコロニー画像を２値化してコロニー２値画像を得る工程と、ｂ）前記細胞コロニーの周囲に現れる帯状領域と他の領域とを区別する閾値にて前記コロニー画像を２値化して周辺２値画像を得る工程と、ｃ）前記コロニー２値画像および前記周辺２値画像の少なくとも一方に太らせ処理を施す工程と、ｄ）前記ｃ）工程後の前記コロニー２値画像と前記周辺２値画像との論理積をとることにより、初期境界画像を得る工程と、ｅ）前記初期境界画像に基づいて細胞コロニーの領域を特定する工程とを備える。 The invention according to claim 12 is a cell colony region specifying method for specifying a region of the cell colony in a colony image showing a cell colony, wherein a) a threshold value for distinguishing the region of the cell colony from other regions A step of binarizing the colony image to obtain a colony binary image; and b) binarizing the colony image with a threshold value for distinguishing the band-like region appearing around the cell colony from other regions, and surrounding binary image C) a step of thickening at least one of the colony binary image and the peripheral binary image, and d) the colony binary image and the peripheral binary image after the c) step. To obtain an initial boundary image, and e) specifying a cell colony region based on the initial boundary image.
請求項１３に記載の発明は、請求項１２に記載の細胞コロニー領域特定方法であって、前記ｃ）において、前記コロニー２値画像および前記周辺２値画像に太らせ処理が施される。 A thirteenth aspect of the present invention is the cell colony region specifying method according to the twelfth aspect of the present invention, wherein in the c), the colony binary image and the peripheral binary image are subjected to fattening processing.
請求項１４に記載の発明は、請求項１２または１３に記載の細胞コロニー領域特定方法であって、前記ａ）工程および前記ｂ）工程の前に、前記コロニー画像にシェーディング補正を行う工程、をさらに備える。 The invention according to claim 14 is the cell colony region specifying method according to claim 12 or 13, wherein a step of performing shading correction on the colony image before the step a) and the step b), Further prepare.
請求項１５に記載の発明は、コンピュータに、細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定させるプログラムであって、前記プログラムの前記コンピュータによる実行は、前記プログラムに、ａ）コロニー画像の各位置とその周囲との明度の相違を示す明度変化画像を得る工程と、ｂ）前記明度変化画像を２値化することにより、明度変化２値画像を得る工程と、ｃ）前記明度変化２画像における予め定められた面積以下の閉領域を塗りつぶして小領域塗りつぶし画像を得る工程と、ｄ）前記小領域塗りつぶし画像に細線化を施して細線画像を得る工程と、ｅ）前記細線画像における小突起を削除して修正済み細線画像を得る工程と、ｆ）前記修正済み細線画像における閉領域を塗りつぶしてコロニー塗りつぶし画像を得る工程と、ｇ）前記コロニー塗りつぶし画像と、前記明度変化２値画像、または、前記コロニー画像から他の方法にて得られる他の明度変化２値画像との論理積をとって得られる画像から、細胞コロニーの境界を示すコロニー境界画像を得る工程と、ｈ）前記コロニー境界画像に基づいて細胞コロニーの領域を特定する工程とを実行させる。 The invention according to claim 15 is a program for causing a computer to specify a region of the cell colony in a colony image indicating a cell colony, and the execution of the program by the computer is performed by: a) A step of obtaining a lightness change image indicating a difference in lightness between each position and its surroundings, b) a step of obtaining a lightness change binary image by binarizing the lightness change image, and c) the lightness change 2 Filling a closed area of a predetermined area or less in the image to obtain a small area filled image, d) thinning the small area filled image to obtain a thin line image, and e) small in the thin line image. Removing a protrusion to obtain a corrected thin line image; and f) filling a closed region in the corrected thin line image to fill a colony. Obtaining an image; and g) obtaining a logical product of the colony filled image and the lightness change binary image or another lightness change binary image obtained by another method from the colony image. A step of obtaining a colony boundary image indicating the boundary of the cell colony from the image, and a step of h) specifying a region of the cell colony based on the colony boundary image are executed.
請求項１６に記載の発明は、コンピュータに、細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定させるプログラムであって、前記プログラムの前記コンピュータによる実行は、前記プログラムに、ａ）細胞コロニーの領域と他の領域とを区別する閾値にてコロニー画像を２値化してコロニー２値画像を得る工程と、ｂ）前記細胞コロニーの周囲に現れる帯状領域と他の領域とを区別する閾値にて前記コロニー画像を２値化して周辺２値画像を得る工程と、ｃ）前記コロニー２値画像および前記周辺２値画像の少なくとも一方に太らせ処理を施す工程と、ｄ）前記ｃ）工程後の前記コロニー２値画像と前記周辺２値画像との論理積をとることにより、初期境界画像を得る工程と、ｅ）前記初期境界画像に基づいて細胞コロニーの領域を特定する工程とを実行させる。 The invention according to claim 16 is a program for causing a computer to specify an area of the cell colony in a colony image indicating a cell colony, and executing the program by the computer includes: a) A step of binarizing the colony image with a threshold value for distinguishing the region from other regions to obtain a colony binary image; and b) a threshold value for distinguishing the band-like region appearing around the cell colony from other regions. A step of binarizing the colony image to obtain a peripheral binary image, c) a step of thickening at least one of the colony binary image and the peripheral binary image, and d) after the step c) Obtaining an initial boundary image by taking a logical product of the colony binary image and the peripheral binary image; and e) cell mapping based on the initial boundary image. To execute a step of identifying a region of the knee.
本発明によれば、細胞コロニーの境界がぼけている場合であっても、容易かつ効率よく細胞コロニーの領域を特定することができる。 According to the present invention, a cell colony region can be easily and efficiently specified even when the boundary of a cell colony is blurred.
図１は本発明の一の実施の形態に係る細胞コロニー領域特定装置１（以下、単に「領域特定装置」という。）の構成を示す図である。領域特定装置１は、培養容器９中の細胞コロニーを撮像し、画像中の細胞コロニーの領域を特定する。領域特定装置１は、撮像部２、および、領域特定装置１の全体動作を制御するとともに、後述の画像処理を実現するコンピュータ５を備える。 FIG. 1 is a diagram showing a configuration of a cell colony region specifying device 1 (hereinafter simply referred to as “region specifying device”) according to an embodiment of the present invention. The area specifying device 1 images a cell colony in the culture vessel 9 and specifies an area of the cell colony in the image. The area specifying device 1 includes an imaging unit 2 and a computer 5 that controls the overall operation of the area specifying device 1 and implements image processing to be described later.
撮像部２は、培養容器９を撮像して多階調の画像を取得する撮像デバイス２１、培養容器９が載置されるステージ２２、および、撮像デバイス２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像デバイス２１は、照明光を出射する照明部２１１、培養容器９に照明光を導くとともに培養容器９からの光が入射する光学系２１２、および、光学系２１２により結像された像を電気信号に変換するエリアセンサ２１３を有する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成され、コンピュータ５がステージ駆動部２３および撮像デバイス２１を制御することにより、培養容器９上の一部の領域が撮像される。 The imaging unit 2 captures the culture vessel 9 and acquires a multi-gradation image, the stage 22 on which the culture vessel 9 is placed, and the stage 22 moves relative to the imaging device 21 A stage driving unit 23 is provided. The imaging device 21 includes an illumination unit 211 that emits illumination light, an optical system 212 that guides the illumination light to the culture vessel 9 and receives light from the culture vessel 9, and an image formed by the optical system 212 as an electrical signal. An area sensor 213 for converting to The stage driving unit 23 includes a ball screw, a guide rail, a motor, and the like, and the computer 5 controls the stage driving unit 23 and the imaging device 21 so that a part of the region on the culture vessel 9 is imaged.
図２はコンピュータ５の構成を示す図である。コンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２および各種情報を記憶するＲＡＭ５３を含む一般的なコンピュータシステムの構成となっている。コンピュータ５は、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行うディスプレイ５５、操作者からの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、領域特定装置１の他の構成との間で信号を送受信する通信部５８をさらに含む。 FIG. 2 is a diagram showing the configuration of the computer 5. The computer 5 has a general computer system configuration including a CPU 51 that performs various arithmetic processes, a ROM 52 that stores basic programs, and a RAM 53 that stores various information. The computer 5 includes a fixed disk 54 for storing information, a display 55 for displaying various information such as images, a keyboard 56a and a mouse 56b (hereinafter collectively referred to as “input unit 56”) for receiving input from an operator, and the like. A reading device 57 that reads information from a computer-readable recording medium 8 such as an optical disk, a magnetic disk, a magneto-optical disk, and a communication unit 58 that transmits and receives signals to and from other configurations of the area specifying device 1 Including.
コンピュータ５では、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出されて固定ディスク５４に記憶されている。ＣＰＵ５１は、プログラム８０に従ってＲＡＭ５３や固定ディスク５４を利用しつつ演算処理を実行する。 In the computer 5, the program 80 is read from the recording medium 8 via the reading device 57 in advance and stored in the fixed disk 54. The CPU 51 executes arithmetic processing according to the program 80 while using the RAM 53 and the fixed disk 54.
図３は領域特定装置１における機能構成を示すブロック図であり、図３では、コンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される機能構成を、演算部５００として示している。演算部５００は、その機能として、制御部５１１と、シェーディング補正部５１２と、２値化部５２１と、太らせ処理部５２２と、論理積部５２３と、小領域削除部５２４と、細線化部５２５と、小突起削除部５２６と、マスク部５２７と、コロニー領域決定部５１３とを含む。演算部５００の機能は、その一部および全部がハードウェアとして構築されてもよい。出力部５３０は、特定されたコロニー領域をユーザまたは他の装置に対して出力する部位であり、ディスプレイ５５や通信部５８が対応する。 FIG. 3 is a block diagram showing a functional configuration in the area specifying device 1. In FIG. 3, a functional configuration realized by the CPU 51, the ROM 52, the RAM 53, the fixed disk 54, and the like of the computer 5 is shown as the arithmetic unit 500. The calculation unit 500 functions as a control unit 511, a shading correction unit 512, a binarization unit 521, a thickening processing unit 522, a logical product unit 523, a small area deletion unit 524, and a thinning unit. 525, a small protrusion deletion unit 526, a mask unit 527, and a colony region determination unit 513. A part and all of the functions of the arithmetic unit 500 may be constructed as hardware. The output unit 530 is a part that outputs the specified colony region to the user or another device, and corresponds to the display 55 and the communication unit 58.
図４ないし図７は、領域特定装置１の一の動作例の流れを示す図である。以下の説明では、画像の取得および画像に対する処理は、正確には、画像のデータの取得および処理である。 4 to 7 are diagrams showing a flow of one operation example of the area specifying device 1. In the following description, the acquisition of an image and the processing on the image are, more precisely, the acquisition and processing of image data.
まず、撮像部２が培養容器９内の細胞コロニーを撮像することにより、画像を取得する（図４：ステップＳ１１）。以下、取得された画像を「コロニー画像」という。演算部５００による演算処理により、コロニー画像における細胞コロニーの領域が特定され、特定された領域が出力部５３０から出力される。演算部５００による処理では、コロニー画像から細胞コロニーの暫定的な境界が取得され（ステップＳ１２）、この暫定的な境界から正確な境界が取得される（ステップＳ１３）。その後、得られた境界に基づいて細胞コロニー領域が特定される（ステップＳ１４）。 First, the imaging unit 2 captures an image of a cell colony in the culture vessel 9 to acquire an image (FIG. 4: step S11). Hereinafter, the acquired image is referred to as a “colony image”. By the calculation processing by the calculation unit 500, the area of the cell colony in the colony image is specified, and the specified area is output from the output unit 530. In the processing by the calculation unit 500, a temporary boundary of the cell colony is acquired from the colony image (step S12), and an accurate boundary is acquired from the temporary boundary (step S13). Thereafter, a cell colony region is specified based on the obtained boundary (step S14).
図５は、ステップＳ１２にて、コロニー画像から細胞コロニーの境界を暫定的に示す画像を取得する流れを示す図である。シェーディング補正部５１２は、コロニー画像にシェーディング補正を行う（ステップＳ１２１）。これにより、画像の全体的な濃淡ムラが低減され、後の処理にて細胞コロニーの境界をより正確に得ることが実現される。図８は、補正後のコロニー画像６１１を例示する図である。図８では、濃淡を簡略化して示している。図８に示す例では、実際の細胞コロニーの領域７１１は暗く、細胞コロニーの周囲には、明るい帯状領域７１２が現れる。その他の領域７１３は、他の物体の影響による濃淡を有するが、およそ細胞コロニーの領域７１１の明度と帯状領域７１２の明度との間の明度を有する。抽出したい細胞コロニーの境界は、細胞コロニーの領域７１１と帯状領域７１２との間の境界である。 FIG. 5 is a diagram showing a flow of acquiring an image that temporarily shows the boundary of the cell colony from the colony image in step S12. The shading correction unit 512 performs shading correction on the colony image (step S121). Thereby, the overall density unevenness of the image is reduced, and it is realized that the boundary of the cell colony is obtained more accurately in the subsequent processing. FIG. 8 is a diagram illustrating a colony image 611 after correction. In FIG. 8, the shading is shown in a simplified manner. In the example shown in FIG. 8, the actual cell colony region 711 is dark, and a bright band-like region 712 appears around the cell colony. The other region 713 has light and shade due to the influence of other objects, but has a lightness between the lightness of the cell colony region 711 and the lightness of the band-like region 712. The boundary of the cell colony to be extracted is the boundary between the cell colony region 711 and the strip region 712.
これらの領域の明度は、撮像環境の変更により反転する。この場合、予め明暗を反転してからコロニー画像に以下の処理が実行される。または、以下の処理における明暗に係る処理が反転される。 The brightness of these areas is reversed by changing the imaging environment. In this case, the following processing is executed on the colony image after the brightness is inverted in advance. Alternatively, the processing related to light and dark in the following processing is reversed.
シェーディング補正後のコロニー画像は、２値化部５２１により、細胞コロニーの領域と他の領域とを区別する第１閾値にて２値化される。ここでは、細胞コロニーの領域に画素値１が付与される。以下、得られた２値画像を「コロニー２値画像」という（ステップＳ１２２）。図９．Ａは、コロニー２値画像６１２を例示する図である。一方、シェーディング補正後のコロニー画像は、２値化部５２１により、細胞コロニーの周囲に現れる帯状領域７１２と他の領域とを区別する第２閾値によっても２値化される。ここでは、帯状領域に画素値１が付与される。以下、得られた２値画像を「周辺２値画像」という（ステップＳ１２３）。図９．Ｂは、周辺２値画像６１３を例示する図である。 The colony image after shading correction is binarized by the binarization unit 521 at a first threshold value that distinguishes the cell colony region from other regions. Here, the pixel value 1 is given to the area of the cell colony. Hereinafter, the obtained binary image is referred to as “colony binary image” (step S122). FIG. A is a diagram illustrating a colony binary image 612. FIG. On the other hand, the colony image after shading correction is also binarized by the binarization unit 521 using a second threshold value that distinguishes the band-like region 712 that appears around the cell colony from other regions. Here, the pixel value 1 is given to the band-like region. Hereinafter, the obtained binary image is referred to as “peripheral binary image” (step S123). FIG. B is a diagram illustrating a peripheral binary image 613. FIG.
コロニー２値画像６１２および周辺２値画像６１３を得る閾値は、コロニー画像の明度分布の標準偏差やヒストグラムを利用して決定される。コロニー２値画像６１２および周辺２値画像６１３には、図１０．Ａおよび図１０．Ｂに示すように、太らせ処理部５２２による太らせ処理が施される（ステップＳ１２４，Ｓ１２５）。なお、太らせ処理は、コロニー２値画像６１２および周辺２値画像６１３の一方のみに施されてもよい。 The threshold values for obtaining the colony binary image 612 and the peripheral binary image 613 are determined using a standard deviation of the brightness distribution of the colony image and a histogram. In the colony binary image 612 and the peripheral binary image 613, FIG. A and FIG. As shown in B, the thickening processing by the thickening processing unit 522 is performed (steps S124 and S125). Note that the thickening process may be performed only on one of the colony binary image 612 and the peripheral binary image 613.
論理積部５２３は、太らせ処理後のコロニー２値画像６１２と周辺２値画像６１３との論理積、すなわち、図１１．Ａに示すように両画像において画素値が１の領域のうち、互いに重なる領域が求められ、図１１．Ｂに示す画像６１４が得られる（ステップＳ１２６）。画像６１４は、細胞コロニーの境界の少なくとも一部を含む画像であり、細胞コロニーの境界を暫定的に示す画像である。以下、画像６１４を「初期境界画像」という。ステップＳ１２５にてコロニー２値画像６１２および周辺２値画像６１３の双方に太らせ処理が行われる場合、初期境界画像６１４における境界の位置ずれが抑制される。 The logical product unit 523 performs a logical product of the colony binary image 612 and the peripheral binary image 613 after the fattening process, that is, FIG. As shown in FIG. 11A, among the images having the pixel value of 1 in both images, an overlapping area is obtained. An image 614 shown in B is obtained (step S126). The image 614 is an image including at least a part of the boundary of the cell colony, and is an image temporarily showing the boundary of the cell colony. Hereinafter, the image 614 is referred to as an “initial boundary image”. When fattening processing is performed on both the colony binary image 612 and the peripheral binary image 613 in step S125, the boundary position shift in the initial boundary image 614 is suppressed.
図６．Ａおよび図６．Ｂは、ステップＳ１３にて、初期境界画像６１４からより正確な細胞コロニーの境界を示す画像を取得する流れを示す図である。まず、小領域削除部５２４は、初期境界画像６１４から予め定められた値以下の面積を有する小領域を削除し、図１２に示す暫定境界画像６２１を得る（ステップＳ２１１）。これにより、ゴミやノイズに起因する不要な領域が削除される。容器の影等の大きすぎる領域が存在する場合は、規定されるコロニーより大きな領域を予め削除してもよい。 FIG. A and FIG. B is a diagram illustrating a flow of acquiring a more accurate image indicating a cell colony boundary from the initial boundary image 614 in step S13. First, the small area deleting unit 524 deletes a small area having an area equal to or smaller than a predetermined value from the initial boundary image 614, and obtains a provisional boundary image 621 shown in FIG. 12 (step S211). As a result, unnecessary areas due to dust and noise are deleted. When there is an excessively large area such as a shadow of the container, an area larger than the defined colony may be deleted in advance.
細線化部５２５は、暫定境界画像６２１に細線化を施し、図１３に示す画像６２２を取得する（ステップＳ２１２）。なお、細線化前に太らせ処理が行われてもよい。これにより、微小な窪みや穴が除去され、細線化後の線が滑らかになる。以下、画像６２２を「暫定境界細線画像」という。暫定境界細線画像６２２は、小突起削除部５２６により、予め定められた長さよりも短い微小な突起が削除され、図１４に示すように整形される（ステップＳ２１３）。微小突起の概念には、ごみやノイズに起因して単独で存在する微小な線が含まれてもよい。 The thinning unit 525 thins the provisional boundary image 621 to obtain an image 622 shown in FIG. 13 (step S212). In addition, the fattening process may be performed before thinning. Thereby, a minute hollow and a hole are removed, and the line after thinning becomes smooth. Hereinafter, the image 622 is referred to as a “provisional boundary thin line image”. The provisional boundary thin line image 622 is shaped as shown in FIG. 14 by deleting small projections shorter than a predetermined length by the small projection deletion unit 526 (step S213). The concept of minute protrusions may include minute lines that exist independently due to dust or noise.
太らせ処理部５２２は、暫定境界細線画像６２２に太らせ処理を施し、図１５に示すマスク画像６２３を取得する（ステップＳ２１４）。太らせ量は、想定される境界の破断長さに基づいて予め定められる。マスク部５２７は、図１６．Ａに示すように、図１２の初期境界画像６１４をマスク画像６２３にてマスクする（ステップＳ２１５）。これにより、更新された暫定境界画像６２１が得られる。図１２と図１６．Ｂとを比較して判るように、更新された暫定境界画像６２１では、境界の一部であるにも関わらずステップＳ２１１にて削除された小領域の一部が現れる。図１６．Ｂでは、復活した小領域に符号８１を付している。 The thickening processing unit 522 performs a thickening process on the provisional boundary thin line image 622, and acquires a mask image 623 shown in FIG. 15 (step S214). The fattening amount is determined in advance based on the assumed boundary fracture length. The mask unit 527 is configured as shown in FIG. As shown in A, the initial boundary image 614 in FIG. 12 is masked with the mask image 623 (step S215). As a result, an updated provisional boundary image 621 is obtained. 12 and 16. As can be seen by comparing with B, in the updated provisional boundary image 621, a part of the small area deleted in step S211 appears although it is part of the boundary. FIG. In B, reference numeral 81 is attached to the restored small area.
次に、更新後の暫定境界画像６２１において互いに近接する端点を接続する処理が行われる（ステップＳ２１６）。接続処理としては様々な処理が採用されてよいが、本実施の形態では、図１７に示すように、太らせ処理部５２２が暫定境界画像６２１に太らせ処理を施すことにより、端点同士の接続が行われる。すなわち、太らせ処理部５２２が近接する端点を接続する接続処理部として機能する。これにより、復活した小領域８１が近接する境界要素と接続される。他の接続処理としては、近接する端点同士を直線で接続する手法が採用されてもよい。 Next, a process of connecting end points close to each other in the updated provisional boundary image 621 is performed (step S216). Although various processes may be employed as the connection process, in the present embodiment, as shown in FIG. 17, the thickening processing unit 522 performs the thickening process on the provisional boundary image 621, thereby connecting the end points. Is done. That is, the fattening processing unit 522 functions as a connection processing unit that connects adjacent end points. Thereby, the restored small area 81 is connected to the adjacent boundary element. As another connection process, a method of connecting adjacent end points with a straight line may be employed.
ここで、制御部５１１により、予め定められた繰り返し終了条件が満たされるか否かが確認される（ステップＳ２１７）。繰り返し終了条件は、暫定境界画像６２１が細胞コロニーの境界を十分に表す画像であるか否かを判断する条件である。好ましくは、ステップＳ２１５において得られる暫定境界画像６２１が、前回のステップＳ２１５後の暫定境界画像６２１と一致することが繰り返し終了条件として用いられる。なお、この条件は、ステップＳ２１６にて得られる暫定境界画像６２１が前回のステップＳ２１６後の暫定境界画像６２１と一致することと同等である。他の繰り返し終了条件としては、好ましくは、ステップＳ２１５またはステップＳ２１６の実行回数が、予め定められた回数に達する条件が採用される。 Here, it is confirmed by the control unit 511 whether or not a predetermined repetition termination condition is satisfied (step S217). The repetition end condition is a condition for determining whether or not the provisional boundary image 621 is an image that sufficiently represents the boundary of the cell colony. Preferably, the provisional boundary image 621 obtained in step S215 coincides with the provisional boundary image 621 after the previous step S215 is used as a repeated end condition. This condition is equivalent to that the provisional boundary image 621 obtained in step S216 matches the provisional boundary image 621 after the previous step S216. As another repeated end condition, a condition in which the number of executions of step S215 or step S216 reaches a predetermined number is preferably employed.
最初のステップＳ２１７では、前回のステップＳ２１５は存在しないため、繰り返し終了条件が満たされないと判断され、ステップＳ２１２へと戻る。そして、細線化部５２５により図１７の暫定境界画像６２１に細線化が施されて図１８に示す暫定境界細線画像６２２が得られ（ステップＳ２１２）、図１９に示すように小突起削除部５２６により暫定境界細線画像６２２から小突起が削除され（ステップＳ２１３）、図２０に示すように太らせ処理部５２２が暫定境界細線画像６２２に太らせ処理を施すことにより、マスク画像６２３が得られる（ステップＳ２１４）。 In the first step S217, since the previous step S215 does not exist, it is determined that the repeated end condition is not satisfied, and the process returns to step S212. Then, the provisional boundary image 621 in FIG. 17 is thinned by the thinning unit 525 to obtain the provisional boundary thin line image 622 shown in FIG. 18 (step S212), and the small protrusion deletion unit 526 performs the process as shown in FIG. Small projections are deleted from the provisional boundary thin line image 622 (step S213), and the thickening processing unit 522 performs a thickening process on the provisional boundary thin line image 622 as shown in FIG. 20, thereby obtaining a mask image 623 (step S213). S214).
さらに、マスク部５２７が初期境界画像６１４をマスク画像６２３にてマスクすることにより、図２１に示すように、さらに多くの小領域８１が復活した暫定境界画像６２１が得られ（ステップＳ２１５）、太らせ処理部５２２により図２２に示すように互いに近接する端点が接続される（ステップＳ２１６）。 Further, the mask unit 527 masks the initial boundary image 614 with the mask image 623, whereby a provisional boundary image 621 in which more small areas 81 are restored is obtained as shown in FIG. 21 (step S215). As shown in FIG. 22, end points that are close to each other are connected by the processing unit 522 (step S216).
図１６．Ｂの暫定境界画像６２１と図２１の暫定境界画像６２１とは一致しないため、制御部５１１は繰り返し終了条件が満たされていないと判断し（ステップＳ２１７）、ステップＳ２１２へと戻る。これにより、図２３に示す暫定境界細線画像６２２が得られ（ステップＳ２１２）、図２４に示す修正された暫定境界細線画像６２２が得られる（ステップＳ２１３）。 FIG. Since the provisional boundary image 621 of B and the provisional boundary image 621 of FIG. 21 do not match, the control unit 511 determines that the repeated end condition is not satisfied (step S217), and returns to step S212. Thereby, the provisional boundary thin line image 622 shown in FIG. 23 is obtained (step S212), and the corrected provisional boundary thin line image 622 shown in FIG. 24 is obtained (step S213).
その後、図２４の暫定境界細線画像６２２に太らせ処理が施されてマスク画像６２３が得られ（ステップＳ２１４）、初期境界画像６１４がマスク画像６２３にてマスクされることにより図２１と同様の更新された暫定境界画像６２１が得られ（ステップＳ２１５）、図２２に示すように、端点の接続が行われる（ステップＳ２１６）。ステップＳ２１５にて得られる暫定境界画像６２１は、前回のステップＳ２１５にて得られる暫定境界画像６２１と一致するため、制御部５１１は、これ以上の繰り返し処理は不要と判断し、ステップＳ２１８へと移行する。 Thereafter, the provisional boundary thin line image 622 in FIG. 24 is subjected to a fattening process to obtain a mask image 623 (step S214), and the initial boundary image 614 is masked by the mask image 623, whereby the same update as in FIG. The provisional boundary image 621 thus obtained is obtained (step S215), and the end points are connected as shown in FIG. 22 (step S216). Since the provisional boundary image 621 obtained in step S215 matches the provisional boundary image 621 obtained in the previous step S215, the control unit 511 determines that no further iterative processing is necessary, and proceeds to step S218. To do.
なお、繰り返し処理が必要か否かはステップＳ２１５の段階で判断できるため、図６．Ｂに示すように、ステップＳ２１５の後に繰り返し終了条件が満たされたか否かが確認されてもよい（ステップＳ２１７）。図６．Ｂでは、繰り返し終了条件が満たされない場合、互いに近接する端点の接続（ステップＳ２１６）を行ってからステップＳ２１２へと戻る。また、繰り返し終了条件が満たされる場合、互いに近接する端点の接続（ステップＳ２１６）を行ってからステップＳ２１８へと移行する。 Since it can be determined at step S215 whether or not iterative processing is necessary, FIG. As shown in B, after step S215, it may be confirmed whether or not the repeated end condition is satisfied (step S217). FIG. In B, when the repeated end condition is not satisfied, the end points adjacent to each other are connected (step S216), and then the process returns to step S212. If the repeated end condition is satisfied, the process moves to step S218 after connecting the end points close to each other (step S216).
細線化部５２５は、最終的な暫定境界画像６２１に細線化を施す（ステップＳ２１８）。以下、得られた画像を「境界細線画像」という。ただし、繰り返し終了条件によっては、前回のステップＳ２１１にて既に図２４に示す暫定境界細線画像６２２が得られるため、ステップＳ２１８は省略され、この暫定境界細線画像６２２がステップＳ２１６、Ｓ２１８後の境界細線画像とみなされて準備される。 The thinning unit 525 thins the final provisional boundary image 621 (step S218). Hereinafter, the obtained image is referred to as a “boundary thin line image”. However, depending on the repetitive end condition, the provisional boundary thin line image 622 shown in FIG. 24 has already been obtained in the previous step S211, so step S218 is omitted, and this provisional boundary thin line image 622 is the boundary thin line after steps S216 and S218. Prepared to be regarded as an image.
次に、境界細線画像において完全な閉ループとして表されない細胞コロニーの境界が強制的に修復される（ステップＳ２１９）。すなわち、不完全な閉ループが強制的に閉じられる。具体的には、環状でない線の長さに対する当該線の両端間の距離の比が、予め定められた値以下の場合に、当該両端の接続が行われる。閉ループの完成は、例えば、太らせ処理部５２２による太らせ量を大きくすることにより実行される。この場合、太らせ処理部５２２がループ修復部として機能する。閉ループの完成は、両端を単純に直線で接続することにより実行されてもよい。ステップＳ２１７またはステップＳ２１８の段階で、細胞コロニーの境界が十分に抽出されている場合は、ステップＳ２１９は省かれてよい。 Next, the boundary of the cell colony that is not represented as a complete closed loop in the boundary thin line image is forcibly repaired (step S219). That is, an incomplete closed loop is forcibly closed. Specifically, when the ratio of the distance between both ends of the line to the length of the non-circular line is equal to or smaller than a predetermined value, the both ends are connected. The completion of the closed loop is executed by increasing the fattening amount by the fattening processing unit 522, for example. In this case, the fattening processing unit 522 functions as a loop restoration unit. The completion of the closed loop may be performed by simply connecting both ends with a straight line. If the boundary of the cell colony is sufficiently extracted at the stage of step S217 or step S218, step S219 may be omitted.
図７は、図４のステップＳ１４においてコロニー領域決定部５１３により実行される処理の流れを示す図である。まず、境界細線画像において閉領域のラベリングが行われ、線により囲まれる個々の閉領域が図２５に示すように区別可能となる（ステップＳ１４１）。これにより、細胞コロニーの領域（さらに後続の処理があるため、正確には、細胞コロニーの領域の候補）が特定される。さらに、必要に応じて様々な修正作業が行われる。例えば、閉領域と閉領域とを繋ぐ線が残存する場合、当該線が削除される（ステップＳ１４２）。 FIG. 7 is a diagram showing a flow of processing executed by the colony region determining unit 513 in step S14 of FIG. First, the closed area is labeled in the boundary thin line image, and the individual closed areas surrounded by the lines can be distinguished as shown in FIG. 25 (step S141). As a result, a cell colony region (more precisely, a candidate for a cell colony region is specified because there is a subsequent process). Furthermore, various correction operations are performed as necessary. For example, when a line connecting the closed area and the closed area remains, the line is deleted (step S142).
予め定められた面積よりも小さい閉領域は、細胞コロニーの領域として適切でないことから画像から削除される（ステップＳ１４３）。なお、大きすぎる閉領域が存在する場合は、このような領域も削除されてよい。適切な面積範囲は、想定される細胞コロニーの大きさから予め定められる。閉領域の真円度を用いて細胞コロニーの候補領域の選択が行われてもよい。 A closed region smaller than the predetermined area is deleted from the image because it is not appropriate as a cell colony region (step S143). If there is a closed region that is too large, such a region may be deleted. The appropriate area range is determined in advance from the size of the assumed cell colony. Selection of a candidate region for a cell colony may be performed using the roundness of the closed region.
また、図８の例の場合、細胞コロニーは画像中に暗く現れるため、コロニー画像において明度が異常な領域は細胞コロニーの領域から除外される（ステップＳ１４４）。具体的には、コロニー画像において、境界細線画像にて線により囲まれる閉領域の内部の平均明度と、当該閉領域の周辺部、すなわち、帯状領域７１２よりも外側の領域７１３の平均明度との差が、予め定められた値以下の場合に、当該領域は細胞コロニーの領域ではないと決定される。ステップＳ１４３，Ｓ１４４により、より正確に細胞コロニーの領域を特定することが実現される。 In the case of the example in FIG. 8, since the cell colony appears dark in the image, the region having an abnormal brightness in the colony image is excluded from the region of the cell colony (step S144). Specifically, in the colony image, the average brightness of the inside of the closed area surrounded by the line in the boundary thin line image and the average brightness of the peripheral portion of the closed area, that is, the area 713 outside the band-like area 712 When the difference is equal to or smaller than a predetermined value, the area is determined not to be a cell colony area. By steps S143 and S144, it is possible to more accurately identify the cell colony region.
以上に説明したように、コロニー画像では、細胞コロニーの周囲に、細胞コロニーとは明るさの異なる帯状領域が現れ、さらに、この帯状領域と細胞コロニーの領域との間の境界がぼけていることがある。領域特定装置１では、２つの閾値を用いて細胞コロニーの領域を含む２値画像と、帯状領域を含む２値画像とを生成し、これらの２値画像の少なくとも一方に太らせ処理を行うことにより、両２値画像の共通領域が初期境界画像として得られる。細胞コロニーの境界がぼけて広がった画像であっても、このようにして得られる初期境界画像を利用することにより、細線化にて境界の幅の影響を除去することができる。その結果、容易かつ効率よく細胞コロニーの領域を特定することができる。 As described above, in the colony image, a band-like area having a brightness different from that of the cell colony appears around the cell colony, and the boundary between the band-like area and the cell colony area is blurred. There is. The area specifying device 1 generates a binary image including a cell colony area and a binary image including a band-like area using two threshold values, and performs fattening processing on at least one of these binary images. Thus, a common area of both binary images is obtained as an initial boundary image. Even if the boundary of the cell colony is blurred and spread, by using the initial boundary image obtained in this way, the influence of the boundary width can be removed by thinning. As a result, the cell colony region can be identified easily and efficiently.
また、初期境界画像において境界に相当する領域が破断していても、暫定境界細線画像に太らせ処理を施してマスク画像を生成する処理を繰り返すことにより、破断している箇所を容易に漸次繋げることができる。これによっても、容易かつ効率よく細胞コロニーの領域を特定することが実現される。 Further, even if the region corresponding to the boundary in the initial boundary image is broken, the broken portions are easily connected gradually by repeating the process of generating the mask image by applying the thickening process to the provisional boundary thin line image. be able to. This also realizes easy and efficient identification of the cell colony region.
マスク画像を利用する破断箇所の修復が十分に行われた段階で、近接する端点同士が強制的に接続されるため、細胞コロニーの境界をさらに高い精度にて取得することができる。 Since the adjacent end points are forcibly connected to each other at the stage where the broken portion is sufficiently repaired using the mask image, the boundary of the cell colony can be obtained with higher accuracy.
図２６は、領域特定装置１の他の動作例における演算部５００の機能構成を示す図である。図２６の機能構成では、図３のシェーディング補正部５１２が明度変化取得部５１４に置き換えられ、塗りつぶし部５２８が追加される。他の構成要素は図３と同様である。以下の他の動作例においても、図４のステップＳ１１〜Ｓ１４が実行される。ステップＳ１１，Ｓ１３，Ｓ１４は、上述の動作と同様である。ステップＳ１２の動作は、図２７．Ａおよび図２７．Ｂに示すものに置き換えられる。 FIG. 26 is a diagram illustrating a functional configuration of the calculation unit 500 in another operation example of the area specifying device 1. In the functional configuration of FIG. 26, the shading correction unit 512 of FIG. 3 is replaced with a brightness change acquisition unit 514, and a paint unit 528 is added. Other components are the same as those in FIG. Also in the following other operation examples, steps S11 to S14 in FIG. 4 are executed. Steps S11, S13, and S14 are the same as those described above. The operation in step S12 is as shown in FIG. A and FIG. Replaced with the one shown in B.
細胞コロニーの初期の暫定的な境界を示す初期境界画像を取得するステップＳ１２では、まず、明度変化取得部５１４により、コロニー画像の各位置とその周囲との明度の相違を示す明度変化画像が取得される（ステップＳ３１１）。明度変化画像は、様々な手法により取得されてよい。本実施の形態では、各位置からの距離と平均明度との関係を利用する簡便かつ情報量の多い画像を取得する方法が採用される。 In step S12 of acquiring an initial boundary image indicating an initial provisional boundary of a cell colony, first, a brightness change image indicating a difference in brightness between each position of the colony image and its surroundings is acquired by the brightness change acquisition unit 514. (Step S311). The brightness change image may be acquired by various methods. In the present embodiment, a method for acquiring a simple and large information amount image using the relationship between the distance from each position and the average brightness is employed.
具体的には、まず、コロニー画像における１つの画素が選択される。選択画素から予め定められた第１距離内に存在する画素の値の平均である第１平均値が求められる。また、第１距離よりも大きい第２距離が予め定められており、選択画素ら第１距離よりも離れ、第２距離よりも近い画素の値の平均である第２平均値が求められる。そして、第１平均値と第２平均値との符号付き差に相当する値が、明度変化画像の当該選択画素の位置における値として与えられる。選択画素を変更しつつ上記処理を繰り返し、明度変化画像が取得される。上記の「符号付き差に相当する値」とは、例えば、符号付き差を画素値範囲０〜２５５内の値に変換した値である。 Specifically, first, one pixel in the colony image is selected. A first average value that is an average of the values of pixels existing within a predetermined first distance from the selected pixel is obtained. In addition, a second distance that is greater than the first distance is determined in advance, and a second average value that is an average of the values of pixels that are farther than the first distance and closer than the second distance from the selected pixel is obtained. Then, a value corresponding to a signed difference between the first average value and the second average value is given as a value at the position of the selected pixel in the brightness change image. The above process is repeated while changing the selected pixel, and a brightness change image is acquired. The above “value corresponding to the signed difference” is, for example, a value obtained by converting the signed difference into a value in the pixel value range 0 to 255.
図２８は、明度変化画像６４１を例示する図である。図２８では、画像の濃淡を簡略化して示している。明度変化画像６４１では、原則として、コロニー画像において明るい領域と暗い領域との間の境界で、明るい領域側が境界に沿って明るくなり、暗い領域側が境界に沿って暗くなる。明るい領域の内部、暗い領域の内部、その他の領域の内部等の濃淡の変化の少ない領域では、中間調（グレー）となる。 FIG. 28 is a diagram illustrating a brightness change image 641. In FIG. 28, the shading of the image is shown in a simplified manner. In the lightness change image 641, in principle, at the boundary between the bright region and the dark region in the colony image, the bright region side becomes brighter along the boundary, and the dark region side becomes darker along the boundary. In an area where there is little change in shading, such as inside a bright area, inside a dark area, or inside another area, it is halftone (gray).
具体的には、細胞コロニーに対応する暗い領域（図８の符号７１１参照）とその周囲の明るい帯状領域（図８の符号７１２参照）との間の境界では、細胞コロニー側が境界に沿って暗くなり、帯状領域側が境界に沿って明るくなる。帯状領域と他の中間調の領域との間の境界では、帯状領域側が境界に沿って明るくなり、中間調の領域側では境界に沿って暗くなる。 Specifically, at the boundary between the dark region corresponding to the cell colony (see reference numeral 711 in FIG. 8) and the surrounding bright band-like region (see reference numeral 712 in FIG. 8), the cell colony side becomes darker along the boundary. Thus, the band-like region side becomes brighter along the boundary. At the boundary between the belt-like region and another halftone region, the belt-like region side becomes brighter along the boundary, and at the halftone region side, it becomes darker along the boundary.
明度変化画像６４１は、２値化部５２１により、明るい領域が適切に抽出される第１閾値にて２値化される（ステップＳ３１２）。これにより、明るい領域に画素値１が付与される。以下、この２値画像を「第１明度変化２値画像」と呼ぶ。図２９．Ａは、第１明度変化２値画像６４２を例示する図である。第１明度変化２値画像６４２は、細胞コロニーの周囲に現れる帯状領域の境界に沿って帯状領域の内側に近接する線状の領域を示す。 The brightness change image 641 is binarized by the binarization unit 521 using a first threshold value at which a bright region is appropriately extracted (step S312). Thereby, the pixel value 1 is given to the bright area. Hereinafter, this binary image is referred to as a “first brightness change binary image”. FIG. A is a diagram illustrating the first brightness change binary image 642. FIG. The first lightness change binary image 642 shows a linear region that is close to the inside of the strip region along the border of the strip region that appears around the cell colony.
明度変化画像６４１は、２値化部５２１により、暗い領域が適切に抽出される第２閾値、すなわち、第１閾値よりも暗側の値にて２値化される（ステップＳ３１３）。これにより、暗い領域に画素値１が付与される。以下、この２値画像を「第２明度変化２値画像」と呼ぶ。図２９．Ｂは、第２明度変化２値画像６４３を例示する図である。第２明度変化２値画像６４３は、細胞コロニーの周囲に現れる帯状領域の境界に沿って帯状領域の外側に近接する線状の領域を示す。したがって、第２明度変化２値画像６４３では、細胞コロニーの周囲に略２重のリングが現れる。 The lightness change image 641 is binarized by the binarization unit 521 with a second threshold from which a dark region is appropriately extracted, that is, a value that is darker than the first threshold (step S313). Thereby, the pixel value 1 is given to the dark region. Hereinafter, this binary image is referred to as a “second brightness change binary image”. FIG. B is a diagram illustrating a second brightness change binary image 643. FIG. The second lightness change binary image 643 shows a linear region that is close to the outside of the strip region along the border of the strip region that appears around the cell colony. Accordingly, in the second brightness change binary image 643, a substantially double ring appears around the cell colony.
太らせ処理部５２２は、図３０．Ａおよび図３０．Ｂに示すように、第１明度変化２値画像６４２および第２明度変化２値画像６４３に太らせ処理を施す（ステップＳ３１４，Ｓ３１５）。これらの太らせ処理は省略可能である。 The fattening processing unit 522 is configured as shown in FIG. A and FIG. As shown in B, the first brightness change binary image 642 and the second brightness change binary image 643 are fattened (steps S314 and S315). These fattening processes can be omitted.
塗りつぶし部５２８は、第１明度変化２値画像６４２において、予め定められた面積以下の面積を有する閉領域を塗りつぶす（ステップＳ３１６）。以下、小領域が塗りつぶされた画像を「小領域塗りつぶし画像」という。図３１は、小領域塗りつぶし画像６４４を例示する図である。細線化部５２５は、小領域塗りつぶし画像６４４に細線化を施し、図３２に例示する細線画像６４５を得る（ステップＳ３１７）。小突起削除部５２６は、細線画像６４５における小突起を削除して図３３に示す細線画像６４６を得る（ステップＳ３１８）。以下、細線画像６４６を「修正済み細線画像」という。 The filling unit 528 paints a closed region having an area equal to or smaller than a predetermined area in the first lightness change binary image 642 (step S316). Hereinafter, an image in which a small area is filled is referred to as a “small area filled image”. FIG. 31 is a diagram illustrating a small region filled image 644. The thinning unit 525 thins the small region filled image 644 to obtain a thin line image 645 illustrated in FIG. 32 (step S317). The small protrusion deletion unit 526 deletes the small protrusions in the thin line image 645 to obtain a thin line image 646 shown in FIG. 33 (step S318). Hereinafter, the fine line image 646 is referred to as a “corrected fine line image”.
ステップＳ３１２の明度変化画像６４１の２値化では、細胞コロニーの周囲の明るい帯状の領域に対応する線がほぼ確実に抽出される第１閾値が用いられる。そのため、第１明度変化２値画像６４２を塗りつぶして細線化した画像では、高い確率にて細胞コロニーを囲む線が現れる。 In the binarization of the brightness change image 641 in step S312, a first threshold value is used by which a line corresponding to a bright band-like region around a cell colony is almost certainly extracted. Therefore, in an image obtained by painting the first lightness change binary image 642 into a thin line, a line surrounding the cell colony appears with high probability.
塗りつぶし部５２８は、修正済み細線画像６４６の閉領域を塗りつぶして図３４に示す画像６４７を得る（ステップＳ３１９）。塗りつぶされた領域の外縁部は、細胞コロニーの境界を覆うと推定される。以下、画像６４７を「コロニー塗りつぶし画像」という。 The filling unit 528 fills the closed region of the corrected thin line image 646 to obtain an image 647 shown in FIG. 34 (step S319). It is estimated that the outer edge of the filled area covers the boundary of the cell colony. Hereinafter, the image 647 is referred to as a “colony filled image”.
次に、論理積部５２３は、図３５．Ａに示すように、コロニー塗りつぶし画像６４７と図３０．Ｂの第２明度変化２値画像６４３との論理積をとることにより、図３５．Ｂに示す画像６５１を得る（ステップＳ３２１）。ところで、第２明度変化２値画像６４３に現れる線は、明るい領域と暗い領域との境界に沿って暗い領域側に位置する。すなわち、第２明度変化２値画像６４３の線は、細胞コロニーの境界の内側や細胞コロニーの周囲の明るい帯状領域の外側に現れる。そのため、コロニー塗りつぶし画像６４７と第２明度変化２値画像６４３との論理積をとることにより、細胞コロニーの境界にほぼ沿って存在する領域のみが高い確率にて得られる。以下、論理積により得られる図３５．Ｂの画像６５１を「コロニー境界画像」という。 Next, the logical product unit 523 performs the processing shown in FIG. As shown in A, the colony filled image 647 and FIG. 35. By performing a logical product with the second brightness change binary image 643 of B, FIG. An image 651 shown in B is obtained (step S321). Incidentally, the line appearing in the second brightness change binary image 643 is located on the dark area side along the boundary between the bright area and the dark area. That is, the line of the second brightness change binary image 643 appears on the inner side of the boundary of the cell colony or on the outer side of the bright band-like region around the cell colony. Therefore, by taking the logical product of the colony filled image 647 and the second lightness change binary image 643, only a region substantially along the boundary of the cell colony can be obtained with a high probability. Hereinafter, FIG. 35 obtained by logical product. The B image 651 is referred to as a “colony boundary image”.
小領域削除部５２４は、図３６に示すように、コロニー境界画像６５１に存在する微小な領域を削除する（ステップＳ３２２）。太らせ処理部５２２は、図３７に示すように、コロニー境界画像６５１に太らせ処理を施して環状の領域を滑らかな形状とする（ステップＳ３２３）。細線化部５２５は、図３７のコロニー境界画像６５１に細線化を施して図３８に示す画像を取得し（ステップＳ３２４）、さらに、図３９に示すように小突起削除部５２６が細線画像中の小突起を削除することにより（ステップＳ３２５）、細胞コロニーの境界を示す最終的なコロニー境界画像６５１が得られる。 As illustrated in FIG. 36, the small region deletion unit 524 deletes a minute region existing in the colony boundary image 651 (step S322). As shown in FIG. 37, the thickening processing unit 522 performs a thickening process on the colony boundary image 651 to make the annular region a smooth shape (step S323). The thinning unit 525 thins the colony boundary image 651 in FIG. 37 to obtain the image shown in FIG. 38 (step S324), and further, the small protrusion deletion unit 526 displays the image in the thin line image as shown in FIG. By deleting the small protrusion (step S325), a final colony boundary image 651 showing the boundary of the cell colony is obtained.
図３９の例では、環状の線が現れるが、実際には、不完全な環状の線がコロニー境界画像６５１に現れる場合がある。そこで、コロニー境界画像６５１を初期の暫定的な境界を示す初期境界画像として、図４のステップＳ１３へと移行し、図６．Ａまたは図６．Ｂに示す動作が実行される。これにより、破断した環状の線が修正され、境界細線画像が得られる。もちろん、図３９に示すように不完全な環状の線が存在しない場合は、ステップＳ１３の繰り返し処理はすぐに終了し、ステップＳ１４へと移行する。そして、図７に示す処理が実行されることにより、細胞コロニーの領域が特定される。最終的なコロニー境界画像にて不完全な環状の線がほとんど現れない場合は、ステップＳ１３は省かれてもよい。 In the example of FIG. 39, a circular line appears, but actually, an incomplete circular line may appear in the colony boundary image 651. Therefore, the colony boundary image 651 is set as an initial boundary image indicating an initial provisional boundary, and the process proceeds to step S13 in FIG. A or FIG. The operation shown in B is executed. Thus, the broken annular line is corrected, and a boundary thin line image is obtained. Of course, if there is no incomplete annular line as shown in FIG. 39, the repetition process of step S13 is immediately terminated, and the process proceeds to step S14. And the area | region of a cell colony is specified by performing the process shown in FIG. If almost no incomplete circular line appears in the final colony boundary image, step S13 may be omitted.
図２７．Ａおよび図２７．Ｂの動作例では、明度変化画像６４１として、コロニー画像の明るい領域と暗い領域の間に明るい線と暗い線とが現れるものが利用されるが、明度の変化を表す画像であれば、他の画像も利用可能である。例えば、単純な微分画像が明度変化画像として利用されてもよい。 FIG. A and FIG. In the operation example of B, as the brightness change image 641, an image in which a bright line and a dark line appear between the bright area and the dark area of the colony image is used. Images are also available. For example, a simple differential image may be used as the brightness change image.
この場合、コロニー画像中のエッジ部分を抽出する閾値にて明度変化画像を２値化することにより、１つの明度変化２値画像が得られる。当該明度変化２値画像では、細胞コロニーの周囲に現れる明るい帯状領域のエッジが、略２重のリングとして抽出される。そして、図２７．Ａの処理における第１明度変化２値画像および第２明度変化２値画像を区別することなく、これらの明度変化２値画像に代えて上記１つの明度変化２値画像を利用される。すなわち、ステップＳ３２１において、コロニー塗りつぶし画像と、当該コロニー塗りつぶし画像の生成に利用された明度変化２値画像との論理積が求められ、論理積画像からコロニー境界画像が取得される。 In this case, one brightness change binary image is obtained by binarizing the brightness change image with a threshold value for extracting an edge portion in the colony image. In the lightness change binary image, the edge of the bright band-like region that appears around the cell colony is extracted as a substantially double ring. And FIG. The first lightness change binary image is used in place of these lightness change binary images without distinguishing the first lightness change binary image and the second lightness change binary image in the process A. That is, in step S321, a logical product of the colony filled image and the lightness change binary image used to generate the colony filled image is obtained, and a colony boundary image is acquired from the logical product image.
領域特定装置１では、明度変化画像を利用することにより、シェーディング補正を行うことなく適切に細胞コロニーの領域を特定することができる。また、明度変化２値画像から、細胞コロニーの周囲に現れる帯状領域を細線化して得られる画像を塗りつぶしたコロニー塗りつぶし画像と、帯状領域のエッジをおよそ示す明度変化２値画像（または第２明度変化２値画像）との論理積を求めることにより、細胞コロニーの境界がぼけた画像であっても、容易かつ効率よく細胞コロニーの領域を特定することができる。 The area specifying device 1 can appropriately specify the area of the cell colony without performing shading correction by using the brightness change image. In addition, from the lightness change binary image, a colony-filled image in which an image obtained by thinning a band-like region appearing around a cell colony is painted, and a lightness-change binary image (or second lightness change image) that roughly shows the edge of the band-like region By calculating the logical product with the binary image, it is possible to easily and efficiently identify the cell colony region even if the boundary of the cell colony is blurred.
特に、第１明度変化２値画像および第２明度変化２値画像を利用する場合、第１閾値および第２閾値を調整することにより、適切なコロニー塗りつぶし画像および適切な第２明度変化２値画像を容易に得ることができる。 In particular, when the first lightness change binary image and the second lightness change binary image are used, an appropriate colony filled image and an appropriate second lightness change binary image are adjusted by adjusting the first threshold value and the second threshold value. Can be easily obtained.
コロニー塗りつぶし画像と明度変化２値画像との重なりを確実に得るために、コロニー塗りつぶし画像に対して太らせ処理が行われてから論理積画像が求められてもよい。コロニー塗りつぶし画像および明度変化２値画像の少なくとも一方に太らせ処理が行われることが好ましい。なお、コロニー塗りつぶし画像および／または明度変化２値画像に施される太らせ処理の太らせ量を調整することにより、コロニー境界画像における境界位置を微調整することができる。 In order to reliably obtain an overlap between the colony filled image and the lightness change binary image, the logical product image may be obtained after performing the fattening process on the colony filled image. It is preferable that the fattening process is performed on at least one of the colony filled image and the lightness change binary image. It should be noted that the boundary position in the colony boundary image can be finely adjusted by adjusting the thickness of the thickening process applied to the colony filled image and / or the brightness change binary image.
領域特定装置１では、ステップＳ３１６において（第１）明度変化２値画像の小領域を塗りつぶす前に、ステップＳ３１４の太らせ処理が行われる。これにより、細胞コロニーの周囲に現れる線の破断を抑制することができる。 In the area specifying device 1, the thickening process in step S314 is performed before the small area of the (first) brightness change binary image is filled in step S316. Thereby, the breakage of the line appearing around the cell colony can be suppressed.
領域特定装置１は様々に変更されてよい。 The area specifying device 1 may be variously changed.
例えば、ステップＳ１３における境界の破断箇所の修復は、他の手法により取得された初期境界画像に利用することができる。また、ステップＳ１２にて得られる初期境界画像を利用して、他の手法により最終的な細胞コロニーの領域が特定されてもよい。 For example, the repair of the boundary breakage in step S13 can be used for the initial boundary image acquired by another method. Further, the final cell colony region may be specified by another method using the initial boundary image obtained in step S12.
撮像部２にて取得される画像は、モノクロ画像であってもカラー画像であってもよい。様々な前処理を経て元画像からコロニー画像が生成される。撮像手法も、培養容器９からの反射光を利用するものでも透過光を利用するものでもよい。領域特定装置１では、ステージ駆動部２３は省かれてもよい。 The image acquired by the imaging unit 2 may be a monochrome image or a color image. A colony image is generated from the original image through various preprocessing. The imaging technique may also be one that uses reflected light from the culture vessel 9 or one that uses transmitted light. In the area specifying device 1, the stage driving unit 23 may be omitted.
演算部５００の機能は、複数台のコンピュータにより実現されてもよい。プログラム８０は、様々な媒体を介してコンピュータに導入可能である。 The function of the calculation unit 500 may be realized by a plurality of computers. The program 80 can be introduced into a computer via various media.
上記実施形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。 The configurations in the above embodiment and each modification may be combined as appropriate as long as they do not contradict each other.
１ 細胞コロニー領域特定装置
５ コンピュータ
２１ 撮像部
８０ プログラム
５００ 演算部
５３０ 出力部
６１１ コロニー画像
６１２ コロニー２値画像
６１３ 周辺２値画像
６１４ 初期境界画像
６４１ 明度変化画像
６４２ 第１明度変化２値画像
６４３ 第２明度変化２値画像
６４４ 小領域塗りつぶし画像
６４５ 細線画像
６４６ 修正済み細線画像
６４７ コロニー塗りつぶし画像
６５１ コロニー境界画像
７１２ 帯状領域
Ｓ１１〜Ｓ１４，Ｓ２１１〜Ｓ２１９，Ｓ３１１〜Ｓ３１９，Ｓ３２１〜Ｓ３２５ ステップ
DESCRIPTION OF SYMBOLS 1 Cell colony area | region identification apparatus 5 Computer 21 Imaging part 80 Program 500 Operation part 530 Output part 611 Colony image 612 Colony binary image 613 Peripheral binary image 614 Initial boundary image 641 Brightness change image 642 First brightness change binary image 643 1st 2 lightness change binary image 644 Small area filled image 645 Thin line image 646 Modified thin line image 647 Colony filled image 651 Colony boundary image 712 Banded areas S11 to S14, S211 to S219, S311 to S319, S321 to S325 Steps
Claims (16)
細胞コロニーを撮像してコロニー画像を取得する撮像部と、
演算処理により前記コロニー画像における前記細胞コロニーの領域を特定する演算部と、
特定された前記領域を出力する出力部と、
を備え、
前記演算部が、
ａ）前記コロニー画像の各位置とその周囲との明度の相違を示す明度変化画像を得る工程と、
ｂ）前記明度変化画像を２値化することにより、明度変化２値画像を得る工程と、
ｃ）前記明度変化２画像における予め定められた面積以下の閉領域を塗りつぶして小領域塗りつぶし画像を得る工程と、
ｄ）前記小領域塗りつぶし画像に細線化を施して細線画像を得る工程と、
ｅ）前記細線画像における小突起を削除して修正済み細線画像を得る工程と、
ｆ）前記修正済み細線画像における閉領域を塗りつぶしてコロニー塗りつぶし画像を得る工程と、
ｇ）前記コロニー塗りつぶし画像と、前記明度変化２値画像、または、前記コロニー画像から他の方法にて得られる他の明度変化２値画像との論理積をとって得られる画像から、細胞コロニーの境界を示すコロニー境界画像を得る工程と、
ｈ）前記コロニー境界画像に基づいて細胞コロニーの領域を特定する工程と、
を実行することを特徴とする細胞コロニー領域特定装置。 A cell colony region specifying device for specifying a region of the cell colony in a colony image showing a cell colony,
An imaging unit that captures a cell colony and obtains a colony image;
A calculation unit for specifying a region of the cell colony in the colony image by a calculation process;
An output unit for outputting the identified region;
With
The computing unit is
a) obtaining a brightness change image indicating a difference in brightness between each position of the colony image and its surroundings;
b) obtaining a lightness change binary image by binarizing the lightness change image;
c) painting a closed region of a predetermined area or less in the brightness change 2 image to obtain a small region filled image;
d) thinning the small region filled image to obtain a fine line image;
e) deleting a small protrusion in the fine line image to obtain a corrected fine line image;
f) painting a closed region in the modified thin line image to obtain a colony filled image;
g) From an image obtained by ANDing the colony-filled image with the lightness change binary image or another lightness change binary image obtained by another method from the colony image, Obtaining a colony boundary image indicating the boundary;
h) identifying a cell colony region based on the colony boundary image;
A device for identifying a cell colony region, characterized in that:
前記明度変化画像が、前記コロニー画像の各位置から第１距離内に存在する画素の値の平均と、前記各位置から前記第１距離よりも離れ、第２距離よりも近い画素の値の平均との差に相当する値を、前記各位置の画素の値とする画像であり、
前記明度変化２値画像が、細胞コロニーの周囲に現れる帯状領域の境界に沿って前記帯状領域の内側に近接する線状の領域を示す画像であり、
前記ｇ）工程において、前記コロニー塗りつぶし画像と、前記他の明度変化２値画像との論理積が求められ、
前記他の明度変化２値画像が、前記明度変化画像を、前記明度変化２値画像の場合とは異なる閾値にて２値化することにより得られ、前記帯状領域の境界に沿って前記帯状領域の外側に近接する線状の領域を示す画像であることを特徴とする細胞コロニー領域特定装置。 The cell colony region identification device according to claim 1,
The brightness change image is an average of the values of pixels existing within a first distance from each position of the colony image, and an average of the values of pixels that are further away from the first position than the first distance and closer than the second distance. A value corresponding to the difference between and a value of the pixel at each position,
The brightness change binary image is an image showing a linear region that is close to the inside of the strip region along the border of the strip region that appears around the cell colony,
In the step g), a logical product of the colony filled image and the other lightness change binary image is obtained,
The other lightness change binary image is obtained by binarizing the lightness change image with a threshold value different from that of the lightness change binary image, and the band-like region along the border of the belt-like region. A device for identifying a cell colony region, which is an image showing a linear region close to the outside of the cell.
前記演算部が、前記ｇ）工程の前に、前記コロニー塗りつぶし画像および前記他の明度変化２値画像の少なくとも一方に太らせ処理を施す工程、をさらに実行することを特徴とする細胞コロニー領域特定装置。 The cell colony region identification device according to claim 2,
The calculation unit further executes a step of performing a fattening process on at least one of the colony-filled image and the other lightness change binary image before the step g). apparatus.
前記演算部が、前記ｂ）工程と、前記ｃ）工程との間に、前記明度変化２値画像に太らせ処理を施す工程、をさらに実行することを特徴とする細胞コロニー領域特定装置。 The cell colony region identification device according to claim 2 or 3,
The cell colony region specifying device, wherein the calculation unit further executes a step of fattening the lightness change binary image between the step b) and the step c).
細胞コロニーを撮像してコロニー画像を取得する撮像部と、
演算処理により前記コロニー画像における前記細胞コロニーの領域を特定する演算部と、
特定された前記領域を出力する出力部と、
を備え、
前記演算部が、
ａ）細胞コロニーの領域と他の領域とを区別する閾値にて前記コロニー画像を２値化してコロニー２値画像を得る工程と、
ｂ）前記細胞コロニーの周囲に現れる帯状領域と他の領域とを区別する閾値にて前記コロニー画像を２値化して周辺２値画像を得る工程と、
ｃ）前記コロニー２値画像および前記周辺２値画像の少なくとも一方に太らせ処理を施す工程と、
ｄ）前記ｃ）工程後の前記コロニー２値画像と前記周辺２値画像との論理積をとることにより、初期境界画像を得る工程と、
ｅ）前記初期境界画像に基づいて細胞コロニーの領域を特定する工程と、
を実行することを特徴とする細胞コロニー領域特定装置。 A cell colony region specifying device for specifying a region of the cell colony in a colony image showing a cell colony,
An imaging unit that captures a cell colony and obtains a colony image;
A calculation unit for specifying a region of the cell colony in the colony image by a calculation process;
An output unit for outputting the identified region;
With
The computing unit is
a) binarizing the colony image with a threshold value that distinguishes the region of the cell colony from other regions to obtain a colony binary image;
b) binarizing the colony image with a threshold value for distinguishing the band-like region appearing around the cell colony from other regions to obtain a peripheral binary image;
c) applying a fattening process to at least one of the colony binary image and the peripheral binary image;
d) obtaining an initial boundary image by taking a logical product of the colony binary image after the step c) and the peripheral binary image;
e) identifying a cell colony region based on the initial boundary image;
A device for identifying a cell colony region, characterized in that:
前記ｃ）において、前記コロニー２値画像および前記周辺２値画像に太らせ処理が施されることを特徴とする細胞コロニー領域特定装置。 The cell colony region identification device according to claim 5,
In c), the colony region specifying device is characterized in that the colony binary image and the peripheral binary image are subjected to fattening processing.
前記演算部が、前記ａ）工程および前記ｂ）工程の前に、前記コロニー画像にシェーディング補正を行う工程、をさらに実行することを特徴とする細胞コロニー領域特定装置。 The cell colony region identification device according to claim 5 or 6,
The cell colony region specifying device, wherein the calculation unit further executes a step of performing shading correction on the colony image before the step a) and the step b).
ａ）コロニー画像の各位置とその周囲との明度の相違を示す明度変化画像を得る工程と、
ｂ）前記明度変化画像を２値化することにより、明度変化２値画像を得る工程と、
ｃ）前記明度変化２画像における予め定められた面積以下の閉領域を塗りつぶして小領域塗りつぶし画像を得る工程と、
ｄ）前記小領域塗りつぶし画像に細線化を施して細線画像を得る工程と、
ｅ）前記細線画像における小突起を削除して修正済み細線画像を得る工程と、
ｆ）前記修正済み細線画像における閉領域を塗りつぶしてコロニー塗りつぶし画像を得る工程と、
ｇ）前記コロニー塗りつぶし画像と、前記明度変化２値画像、または、前記コロニー画像から他の方法にて得られる他の明度変化２値画像との論理積をとって得られる画像から、細胞コロニーの境界を示すコロニー境界画像を得る工程と、
ｈ）前記コロニー境界画像に基づいて細胞コロニーの領域を特定する工程と、
を備えることを特徴とする細胞コロニー領域特定方法。 A cell colony region specifying method for specifying a region of the cell colony in a colony image showing a cell colony,
a) obtaining a brightness change image indicating a difference in brightness between each position of the colony image and its surroundings;
b) obtaining a lightness change binary image by binarizing the lightness change image;
c) painting a closed region of a predetermined area or less in the brightness change 2 image to obtain a small region filled image;
d) thinning the small region filled image to obtain a fine line image;
e) deleting a small protrusion in the fine line image to obtain a corrected fine line image;
f) painting a closed region in the modified thin line image to obtain a colony filled image;
g) From an image obtained by ANDing the colony-filled image with the lightness change binary image or another lightness change binary image obtained by another method from the colony image, Obtaining a colony boundary image indicating the boundary;
h) identifying a cell colony region based on the colony boundary image;
A cell colony region specifying method comprising:
前記明度変化画像が、前記コロニー画像の各位置から第１距離内に存在する画素の値の平均と、前記各位置から前記第１距離よりも離れ、第２距離よりも近い画素の値の平均との差に相当する値を、前記各位置の画素の値とする画像であり、
前記明度変化２値画像が、細胞コロニーの周囲に現れる帯状領域の境界に沿って前記帯状領域の内側に近接する線状の領域を示す画像であり、
前記ｇ）工程において、前記コロニー塗りつぶし画像と、前記他の明度変化２値画像との論理積が求められ、
前記他の明度変化２値画像が、前記明度変化画像を、前記明度変化２値画像の場合とは異なる閾値にて２値化することにより得られ、前記帯状領域の境界に沿って前記帯状領域の外側に近接する線状の領域を示す画像であることを特徴とする細胞コロニー領域特定方法。 The cell colony region specifying method according to claim 8,
The brightness change image is an average of the values of pixels existing within a first distance from each position of the colony image, and an average of the values of pixels that are further away from the first position than the first distance and closer than the second distance. A value corresponding to the difference between and a value of the pixel at each position,
The brightness change binary image is an image showing a linear region that is close to the inside of the strip region along the border of the strip region that appears around the cell colony,
In the step g), a logical product of the colony filled image and the other lightness change binary image is obtained,
The other lightness change binary image is obtained by binarizing the lightness change image with a threshold value different from that of the lightness change binary image, and the band-like region along the border of the belt-like region. A method for identifying a cell colony region, which is an image showing a linear region adjacent to the outside of the cell.
前記ｇ）工程の前に、前記コロニー塗りつぶし画像および前記他の明度変化２値画像の少なくとも一方に太らせ処理を施す工程、をさらに備えることを特徴とする細胞コロニー領域特定方法。 The cell colony region specifying method according to claim 9,
A cell colony region specifying method further comprising a step of applying a fattening process to at least one of the colony filled image and the other brightness change binary image before the step g).
前記ｂ）工程と、前記ｃ）工程との間に、前記明度変化２値画像に太らせ処理を施す工程、をさらに備えることを特徴とする細胞コロニー領域特定方法。 The cell colony region specifying method according to claim 9 or 10,
A cell colony region specifying method further comprising a step of fattening the lightness change binary image between the step b) and the step c).
ａ）細胞コロニーの領域と他の領域とを区別する閾値にてコロニー画像を２値化してコロニー２値画像を得る工程と、
ｂ）前記細胞コロニーの周囲に現れる帯状領域と他の領域とを区別する閾値にて前記コロニー画像を２値化して周辺２値画像を得る工程と、
ｃ）前記コロニー２値画像および前記周辺２値画像の少なくとも一方に太らせ処理を施す工程と、
ｄ）前記ｃ）工程後の前記コロニー２値画像と前記周辺２値画像との論理積をとることにより、初期境界画像を得る工程と、
ｅ）前記初期境界画像に基づいて細胞コロニーの領域を特定する工程と、
を備えることを特徴とする細胞コロニー領域特定方法。 A cell colony region specifying method for specifying a region of the cell colony in a colony image showing a cell colony,
a) binarizing the colony image with a threshold value for distinguishing the region of the cell colony from other regions to obtain a colony binary image;
b) binarizing the colony image with a threshold value for distinguishing the band-like region appearing around the cell colony from other regions to obtain a peripheral binary image;
c) applying a fattening process to at least one of the colony binary image and the peripheral binary image;
d) obtaining an initial boundary image by taking a logical product of the colony binary image after the step c) and the peripheral binary image;
e) identifying a cell colony region based on the initial boundary image;
A cell colony region specifying method comprising:
前記ｃ）において、前記コロニー２値画像および前記周辺２値画像に太らせ処理が施されることを特徴とする細胞コロニー領域特定方法。 The cell colony region specifying method according to claim 12,
The cell colony region identification method according to c), wherein the colony binary image and the peripheral binary image are subjected to fattening processing.
前記ａ）工程および前記ｂ）工程の前に、前記コロニー画像にシェーディング補正を行う工程、をさらに備えることを特徴とする細胞コロニー領域特定方法。 The cell colony region specifying method according to claim 12 or 13,
A cell colony region specifying method further comprising a step of performing shading correction on the colony image before the step a) and the step b).
ａ）コロニー画像の各位置とその周囲との明度の相違を示す明度変化画像を得る工程と、
ｂ）前記明度変化画像を２値化することにより、明度変化２値画像を得る工程と、
ｃ）前記明度変化２画像における予め定められた面積以下の閉領域を塗りつぶして小領域塗りつぶし画像を得る工程と、
ｄ）前記小領域塗りつぶし画像に細線化を施して細線画像を得る工程と、
ｅ）前記細線画像における小突起を削除して修正済み細線画像を得る工程と、
ｆ）前記修正済み細線画像における閉領域を塗りつぶしてコロニー塗りつぶし画像を得る工程と、
ｇ）前記コロニー塗りつぶし画像と、前記明度変化２値画像、または、前記コロニー画像から他の方法にて得られる他の明度変化２値画像との論理積をとって得られる画像から、細胞コロニーの境界を示すコロニー境界画像を得る工程と、
ｈ）前記コロニー境界画像に基づいて細胞コロニーの領域を特定する工程と、
を実行させることを特徴とするプログラム。 A program for causing a computer to specify an area of the cell colony in a colony image indicating a cell colony, and executing the program by the computer
a) obtaining a brightness change image indicating a difference in brightness between each position of the colony image and its surroundings;
b) obtaining a lightness change binary image by binarizing the lightness change image;
c) painting a closed region of a predetermined area or less in the brightness change 2 image to obtain a small region filled image;
d) thinning the small region filled image to obtain a fine line image;
e) deleting a small protrusion in the fine line image to obtain a corrected fine line image;
f) painting a closed region in the modified thin line image to obtain a colony filled image;
g) From an image obtained by ANDing the colony-filled image with the lightness change binary image or another lightness change binary image obtained by another method from the colony image, Obtaining a colony boundary image indicating the boundary;
h) identifying a cell colony region based on the colony boundary image;
A program characterized by having executed.
ａ）細胞コロニーの領域と他の領域とを区別する閾値にてコロニー画像を２値化してコロニー２値画像を得る工程と、
ｂ）前記細胞コロニーの周囲に現れる帯状領域と他の領域とを区別する閾値にて前記コロニー画像を２値化して周辺２値画像を得る工程と、
ｃ）前記コロニー２値画像および前記周辺２値画像の少なくとも一方に太らせ処理を施す工程と、
ｄ）前記ｃ）工程後の前記コロニー２値画像と前記周辺２値画像との論理積をとることにより、初期境界画像を得る工程と、
ｅ）前記初期境界画像に基づいて細胞コロニーの領域を特定する工程と、
を実行させることを特徴とするプログラム。 A program for causing a computer to specify an area of the cell colony in a colony image indicating a cell colony, and executing the program by the computer
a) binarizing the colony image with a threshold value for distinguishing the region of the cell colony from other regions to obtain a colony binary image;
b) binarizing the colony image with a threshold value for distinguishing the band-like region appearing around the cell colony from other regions to obtain a peripheral binary image;
c) applying a fattening process to at least one of the colony binary image and the peripheral binary image;
d) obtaining an initial boundary image by taking a logical product of the colony binary image after the step c) and the peripheral binary image;
e) identifying a cell colony region based on the initial boundary image;
A program characterized by having executed.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014004080A JP6208019B2 (en) | 2014-01-14 | 2014-01-14 | Cell colony region specifying device, cell colony region specifying method and program |
| US15/111,316 US10119111B2 (en) | 2014-01-14 | 2014-11-19 | Cell colony area specifying apparatus, cell colony area specifying method, and recording medium |
| PCT/JP2014/080620 WO2015107770A1 (en) | 2014-01-14 | 2014-11-19 | Cell colony region identification device, cell colony region identification method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014004080A JP6208019B2 (en) | 2014-01-14 | 2014-01-14 | Cell colony region specifying device, cell colony region specifying method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015130829A JP2015130829A (en) | 2015-07-23 |
| JP6208019B2 true JP6208019B2 (en) | 2017-10-04 |
Family
ID=53898649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014004080A Expired - Fee Related JP6208019B2 (en) | 2014-01-14 | 2014-01-14 | Cell colony region specifying device, cell colony region specifying method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6208019B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7099923B2 (en) * | 2018-09-21 | 2022-07-12 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing methods, computer programs and recording media |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0636187B2 (en) * | 1985-08-30 | 1994-05-11 | 株式会社日立製作所 | Image processing device |
| JPH0636188B2 (en) * | 1985-08-30 | 1994-05-11 | 株式会社日立製作所 | Image measuring device |
| JP4713261B2 (en) * | 2005-07-20 | 2011-06-29 | 株式会社カネカ | Cell culture equipment |
| WO2011010449A1 (en) * | 2009-07-21 | 2011-01-27 | 国立大学法人京都大学 | Image processing device, culture observation apparatus, and image processing method |
| JP2013201909A (en) * | 2012-03-27 | 2013-10-07 | National Institute Of Advanced Industrial Science & Technology | Apparatus, method, and program for cell image determination |
-
2014
- 2014-01-14 JP JP2014004080A patent/JP6208019B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015130829A (en) | 2015-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107180421B (en) | Fundus image lesion detection method and device | |
| CN110458831B (en) | Scoliosis image processing method based on deep learning | |
| JP4504417B2 (en) | Image processing apparatus, microscope system, and region specifying program | |
| CN113160257B (en) | Image data labeling method, device, electronic equipment and storage medium | |
| JP6791245B2 (en) | Image processing device, image processing method and image processing program | |
| JP5804220B1 (en) | Image processing apparatus and image processing program | |
| WO2016104712A1 (en) | Image processing device, image processing method, and program | |
| KR102308437B1 (en) | Apparatus and method for optimizing external examination of a subject | |
| GB2478593A (en) | Segmentation of cell nuclei in histological sections | |
| JP6733983B2 (en) | Image analysis device | |
| US20220222822A1 (en) | Microscopy System and Method for Evaluating Image Processing Results | |
| CN103839283A (en) | Area and circumference nondestructive measurement method of small irregular object | |
| JP2013105245A (en) | Image processing method, device and program | |
| JP2017522647A (en) | Method and apparatus for object tracking and segmentation via background tracking | |
| CN113537037A (en) | Pavement disease identification method, system, electronic device and storage medium | |
| KR20160115663A (en) | Image processing apparatus and image processing method | |
| Fan et al. | An automated pipeline for dendrite spine detection and tracking of 3D optical microscopy neuron images of in vivo mouse models | |
| CN109117837B (en) | Region-of-interest determination method and apparatus | |
| WO2015107770A1 (en) | Cell colony region identification device, cell colony region identification method, and recording medium | |
| KR102561360B1 (en) | Method for postprocessing fiberscope image processing not using calibration and fiberscope system performing the same | |
| JP6208019B2 (en) | Cell colony region specifying device, cell colony region specifying method and program | |
| CN112288697B (en) | Method, apparatus, electronic device and readable storage medium for quantifying degree of abnormality | |
| KR101557271B1 (en) | Method for detecting a circle-type object and approximating a substitute circle based on Image processing | |
| Schüffler et al. | Overcoming an annotation hurdle: Digitizing pen annotations from whole slide images | |
| JP6204835B2 (en) | Cell colony region specifying device, cell colony region specifying method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170824 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170906 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6208019 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |