JP6284024B2 - Cell viability determination system, cell viability determination method - Google Patents

Cell viability determination system, cell viability determination method Download PDF

Info

Publication number
JP6284024B2
JP6284024B2 JP2014092481A JP2014092481A JP6284024B2 JP 6284024 B2 JP6284024 B2 JP 6284024B2 JP 2014092481 A JP2014092481 A JP 2014092481A JP 2014092481 A JP2014092481 A JP 2014092481A JP 6284024 B2 JP6284024 B2 JP 6284024B2
Authority
JP
Japan
Prior art keywords
cell
feature amount
image
cells
cell region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014092481A
Other languages
Japanese (ja)
Other versions
JP2015210212A (en
Inventor
大相 谷口
大相 谷口
徹也 石川
徹也 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2014092481A priority Critical patent/JP6284024B2/en
Publication of JP2015210212A publication Critical patent/JP2015210212A/en
Application granted granted Critical
Publication of JP6284024B2 publication Critical patent/JP6284024B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、細胞の生死を判定する技術に関し、特に、長時間に渡ってリアルタイムで細胞の生死判定を行なうための技術に関する。   The present invention relates to a technique for determining whether a cell is alive or not, and more particularly, to a technique for determining whether a cell is alive or not in real time over a long period of time.

従来、細胞の生死を判定する場合、色素や内在性の蛍光物質をマーカーとして用いる手法が広く行なわれており、
「色素で染色された細胞の吸光を測定する方法」
「色素で染色された細胞の蛍光、または内在性の蛍光物質を作る細胞の蛍光を測定する方法」
が代表的である。これらの方法は、例えば、図12に示す顕微鏡300を用いて行なわれる。
Conventionally, when determining the viability of a cell, a technique using a dye or an endogenous fluorescent substance as a marker has been widely performed.
“Method of measuring absorbance of cells stained with dye”
"Methods for measuring fluorescence of cells stained with dyes, or of cells that make endogenous fluorescent substances"
Is representative. These methods are performed using, for example, a microscope 300 shown in FIG.

「色素で染色された細胞の吸光を測定する方法」では、まず、観察対象の細胞に、死細胞のみが取り込む特殊な色素、例えば、トリパンブルーを含ませて試料部320として顕微鏡300に載置する。この色素が吸収する波長の光を透過撮影光源照射部310から試料部320の細胞に照射する。なお、透過撮影光源照射部310は、透過撮影用光源311、レンズ312、フィルタ313、レンズ314を含んでいる。   In the “method of measuring the absorbance of cells stained with a dye”, first, a special dye taken only by dead cells, for example, trypan blue, is included in a cell to be observed and placed on the microscope 300 as a sample part 320. To do. The cells of the sample unit 320 are irradiated with light having a wavelength that is absorbed by the dye from the transmission imaging light source irradiation unit 310. The transmission photographing light source irradiation unit 310 includes a transmission photographing light source 311, a lens 312, a filter 313, and a lens 314.

照射した光に対する細胞による吸光の具合を対物レンズ330、フィルタ350、レンズ360を介して撮像装置370に取り込んで画像化する。色素で染色された死細胞は照射光を吸収するが、生細胞は吸収しないため、得られた画像において、死細胞は暗く写り、生細胞は明るく写る。この輝度差を利用して細胞の生死判定を行なうことができる。   The degree of light absorption by the cells with respect to the irradiated light is taken into the imaging device 370 through the objective lens 330, the filter 350, and the lens 360 and imaged. The dead cells stained with the dye absorb the irradiation light but do not absorb the living cells. Therefore, in the obtained image, the dead cells appear dark and the live cells appear bright. It is possible to determine whether a cell is alive or not by using this luminance difference.

「色素で染色された細胞の蛍光、または内在性の蛍光物質を作る細胞の蛍光を測定する方法」では、生細胞または死細胞のみが染色される特殊な蛍光物質を観察対象の細胞に含ませて、あるいは、内在性の蛍光物質、例えば、蛍光タンパク質や自家蛍光物質を作ることのできる細胞を観察対象として用意して、試料部320として顕微鏡300に載置する。これらの蛍光物質が励起される波長の光を励起光照射部380からダイクロイックミラー340を介して試料部320の細胞に照射する。なお、励起光照射部380は、励起用光源381、レンズ382、フィルタ383を含んでいる。   In the method of measuring the fluorescence of cells stained with dyes, or the fluorescence of cells that make endogenous fluorescent substances, a special fluorescent substance that only stains live or dead cells is included in the cells to be observed. Alternatively, an endogenous fluorescent substance, for example, a cell capable of producing a fluorescent protein or an autofluorescent substance is prepared as an observation target and placed on the microscope 300 as the sample unit 320. The cells of the sample unit 320 are irradiated with light having a wavelength at which these fluorescent substances are excited from the excitation light irradiation unit 380 via the dichroic mirror 340. The excitation light irradiation unit 380 includes an excitation light source 381, a lens 382, and a filter 383.

そして、細胞が発する蛍光を対物レンズ330、フィルタ350、レンズ360を介して撮像装置370に取り込んで画像化する。一般に、染色に用いる蛍光物質や細胞に含ませる蛍光物質は、蛍光の輝度値が生細胞と死細胞とで優位に異なるようにデザインされているため、輝度差を利用して細胞の生死判定を行なうことができる。   Then, the fluorescence emitted by the cells is taken into the imaging device 370 through the objective lens 330, the filter 350, and the lens 360 to form an image. In general, fluorescent substances used for staining and fluorescent substances contained in cells are designed so that the luminance value of fluorescence differs significantly between live and dead cells. Can be done.

特開2012−143231号公報JP 2012-143231 A

上述の方法のうち、「色素で染色された細胞の吸光を測定する方法」、「色素で染色された細胞の蛍光を測定する方法」では、色素で観察対象の細胞を染色する工程が必要である。生死判定に用いる染色色素は1度染色すると細胞に沈着し、長期的な染色では生細胞に対する細胞毒性を有するものがあるため、染色による細胞の生死判定はエンドポイントで行なうことになる。このため、長時間に渡ってリアルタイムで生死判定を行なうことができない。   Among the methods described above, the “method of measuring the absorbance of cells stained with a dye” and the “method of measuring the fluorescence of cells stained with a dye” require a step of staining the cells to be observed with the dye. is there. Staining dyes used for viability determination are deposited on cells when stained once, and some cells have cytotoxicity to viable cells in long-term staining. Therefore, cell viability determination by staining is performed at the end point. For this reason, it is impossible to make a life / death determination in real time for a long time.

また、染色試薬の調整、染色作業、計測前の染色液の洗浄といった手間と金銭的コストがかかるのに加え、染色濃度や洗浄工程において作業者間誤差が生まれやすいため、測定結果の信憑性を担保するのにノウハウと習熟とが必要となる。   In addition to the labor and financial costs of adjusting the staining reagent, staining work, and washing the staining solution before measurement, it is easy to generate errors between workers in the staining concentration and washing process, so the reliability of the measurement results is improved. Know-how and proficiency are required to secure it.

上述の方法のうち色素の染色を行なわない「内在性の蛍光物質を用いる方法」でも、内在性の蛍光物質として蛍光タンパク質を利用する場合は、長時間の蛍光観察は細胞に対する光毒性があることが知られており、長時間に渡ってリアルタイムで生死判定を行なうことができない。また、遺伝子工学を適用して細胞に蛍光タンパク質遺伝子を事前に導入するという煩雑な作業が必要となる。   Among the methods described above, even if the “method using an endogenous fluorescent substance” that does not stain the dye is used, if fluorescent protein is used as the endogenous fluorescent substance, long-term fluorescence observation is phototoxic to cells. It is known that life and death cannot be determined in real time for a long time. Moreover, the complicated work of introducing a fluorescent protein gene into a cell in advance by applying genetic engineering is required.

内在性の蛍光物質として自家蛍光を利用する場合は、事前の遺伝子導入作業は不要であるが、弱い自家蛍光シグナルを検出するために強力な励起光を細胞に照射する必要がある。このため、光毒性の観点から、長時間に渡ってリアルタイムで生死判定を行なうことはできない。さらに、微弱な自家蛍光シグナルが培地の背景蛍光に埋もれないようにするために、培地を、蛍光を発しない無栄養な液体に交換しなければならず、この点においても、長時間に渡るリアルタイムでの生死判定は不可能である。   When autofluorescence is used as an endogenous fluorescent substance, no prior gene introduction is required, but it is necessary to irradiate cells with strong excitation light in order to detect weak autofluorescence signals. For this reason, from the viewpoint of phototoxicity, it is impossible to make a life / death determination in real time for a long time. Furthermore, in order to prevent the weak autofluorescence signal from being buried in the background fluorescence of the medium, the medium must be replaced with a non-nutritive liquid that does not fluoresce. It is impossible to make a life / death judgment in

そこで、本発明は、煩雑な作業を必要とせず、長時間に渡ってリアルタイムで細胞の生死判定を行なうことができる技術を提供することを目的とする。   Therefore, an object of the present invention is to provide a technique capable of determining whether a cell is alive in real time over a long time without requiring a complicated operation.

上記課題を解決するため、本発明の第1の態様である細胞生死判定システムは、観察対象の細胞の位相差画像を連続的に取得する連続画像取得部と、前記細胞に関するテンプレート画像を取得するテンプレート画像取得部と、前記細胞に関するHuモーメントの特徴量評価値を線形結合するためのパラメータ取得するパラメータ取得部と、取得した各画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出部と、前記細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出部と、連続する画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結部と、連続する画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出部と、算出した特徴量評価値を前記パラメータで線形結合した値に基づいて、細胞の生死を判定する判定部と、を備えたことを特徴とする。
ここで、前記連続画像取得部は、各画像を取得した時刻を記録し、前記判定部は、この時刻に基づいて、生細胞が死細胞に変化した時刻を記録するようにしてもよい。
上記課題を解決するため、本発明の第2の態様である細胞生死判定システムは、基準データ作成用の細胞の位相差画像を連続的に取得する連続画像取得部と、取得した画像の一部について、細胞領域および細胞の生死情報の入力を受け付ける細胞情報入力受付部と、受け付けた細胞領域に基づいてテンプレート画像を生成するテンプレート画像生成部と、取得した各画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出部と、抽出された細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出部と、連続する画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結部と、連続する画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出部と、算出した特徴量評価値をパラメータで線形結合した値が前記同一細胞として連結された細胞の生死を表わすようにパラメータの値を設定するパラメータ算出部と、を備えたことを特徴とする。
ここで、前記パラメータ算出部は、サポートベクターマシンを用いてパラメータの値を設定することができる。
上記課題を解決するため、本発明の第3の態様である細胞生死判定システムは、基準データ作成用の細胞の位相差画像および観察対象の細胞の位相差画像を連続的に取得する連続画像取得部と、取得した基準データ作成用の細胞の位相差画像の一部について、細胞領域および細胞の生死情報の入力を受け付ける細胞情報入力受付部と、受け付けた細胞領域に基づいてテンプレート画像を生成するテンプレート画像生成部と、取得した各画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出部と、抽出された細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出部と、連続する画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結部と、連続する画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出部と、算出した特徴量評価値をパラメータで線形結合した値が前記同一細胞として連結された細胞の生死を表わすようにパラメータの値を設定するパラメータ算出部と、算出した特徴量評価値を前記パラメータで線形結合した値に基づいて、細胞の生死を判定する判定部と、を備えたことを特徴とする。
上記課題を解決するため、本発明の第4の態様である細胞生死判定方法は、観察対象の細胞の位相差画像を連続的に取得する連続画像取得ステップと、前記細胞に関するテンプレート画像を取得するテンプレート画像取得ステップと、前記細胞に関するHuモーメントの特徴量評価値を線形結合するためのパラメータ取得するパラメータ取得ステップと、取得した各画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出ステップと、前記細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出ステップと、連続する画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結ステップと、連続する画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出ステップと、算出した特徴量評価値を前記パラメータで線形結合した値に基づいて、細胞の生死を判定する判定ステップと、を有することを特徴とする。
上記課題を解決するため、本発明の第5の態様である細胞生死判定方法は、基準データ作成用の細胞の位相差画像を連続的に取得する連続画像取得ステップと、取得した画像の一部について、細胞領域および細胞の生死情報の入力を受け付ける細胞情報入力受付ステップと、受け付けた細胞領域に基づいてテンプレート画像を生成するテンプレート画像生成ステップと、取得した各画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出ステップと、抽出された細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出ステップと、連続する画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結ステップと、連続する画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出ステップと、算出した特徴量評価値をパラメータで線形結合した値が前記同一細胞として連結された細胞の生死を表わすようにパラメータの値を設定するパラメータ算出ステップと、を有することを特徴とする。
上記課題を解決するため、本発明の第6の態様である細胞生死判定方法は、基準データ作成用の細胞の位相差画像を連続的に取得する基準データ作成用画像取得ステップと、取得した基準データ作成用画像の一部について、細胞領域および細胞の生死情報の入力を受け付ける細胞情報入力受付ステップと、受け付けた細胞領域に基づいてテンプレート画像を生成するテンプレート画像生成ステップと、取得した各基準データ作成用画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出ステップと、抽出された細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出ステップと、連続する基準データ作成用画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結ステップと、連続する基準データ作成用画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出ステップと、算出した特徴量評価値をパラメータで線形結合した値が前記同一細胞として連結された細胞の生死を表わすようにパラメータの値を設定するパラメータ算出ステップと、観察対象の細胞の位相差画像を連続的に取得する観察対象画像取得ステップと、取得した各観察対象画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出ステップと、前記細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出ステップと、連続する観察対象画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結ステップと、連続する観察対象画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出ステップと、算出した特徴量評価値を前記パラメータで線形結合した値に基づいて、細胞の生死を判定する判定ステップと、を有することを特徴とする。


In order to solve the above problems, the cell viability determination system according to the first aspect of the present invention acquires a continuous image acquisition unit that continuously acquires phase difference images of cells to be observed, and a template image related to the cells. A template image acquisition unit, a parameter acquisition unit for acquiring a parameter for linearly combining the feature value evaluation value of the Hu moment related to the cell, and a cell region extraction for extracting a cell region from the acquired images using the template image A feature amount calculation unit that calculates a plurality of feature amounts of the Hu moment for each cell region, a same cell connection unit that connects the same cells for cell regions included in a continuous image, and a continuous image A feature amount evaluation value calculation unit that calculates a feature amount evaluation value related to the dispersion of the feature amount of the same cell for each feature amount, and the calculated feature amount evaluation value Based on the value obtained by linear combination with the parameter, characterized by comprising a determining unit life or death of cells, a.
Here, the continuous image acquisition unit may record the time at which each image is acquired, and the determination unit may record the time at which a living cell is changed to a dead cell based on this time.
In order to solve the above problems, a cell viability determination system according to a second aspect of the present invention includes a continuous image acquisition unit that continuously acquires phase difference images of cells for creating reference data, and a part of the acquired image A cell information input receiving unit that receives an input of a cell region and cell life / death information, a template image generating unit that generates a template image based on the received cell region, and a cell using the template image from each acquired image A cell region extraction unit that extracts a region, a feature amount calculation unit that calculates a plurality of feature values of the Hu moment for each extracted cell region, and the same cells are connected to cell regions included in successive images. A feature amount evaluation value calculation unit that calculates, for each feature amount, a feature amount evaluation value related to the dispersion of the feature amount of the same cell in consecutive images. Value linearly bound the feature amount evaluation value parameter, characterized in that and a parameter calculation section for setting the parameter value to represent the viability of connected cells as the same cell.
Here, the parameter calculation unit can set parameter values using a support vector machine.
In order to solve the above problem, the cell viability determination system according to the third aspect of the present invention is a continuous image acquisition that continuously acquires a phase difference image of a cell for creating reference data and a phase difference image of a cell to be observed. A cell information input receiving unit that receives input of cell area and cell life / death information, and a template image based on the received cell area for a part of the phase difference image of the cell for generating reference data A template image generation unit; a cell region extraction unit that extracts a cell region from each acquired image using the template image; and a feature amount calculation unit that calculates a plurality of feature amounts of a Hu moment for each extracted cell region And, for cell regions included in continuous images, the same cell connection part that connects the same cells, and the dispersion of the feature values of the same cells in the continuous images A feature amount evaluation value calculating section for calculating a feature amount evaluation value for each feature amount, calculated value linear bound the feature amount evaluation value parameter is a parameter to represent the viability of connected cells as the same cell A parameter calculating unit that sets a value and a determination unit that determines whether a cell is alive or not based on a value obtained by linearly combining the calculated feature value evaluation values with the parameter.
In order to solve the above problem, a cell viability determination method according to a fourth aspect of the present invention acquires a continuous image acquisition step for continuously acquiring phase difference images of cells to be observed, and a template image related to the cells. A template image acquisition step, a parameter acquisition step for acquiring a parameter for linearly combining the feature value evaluation value of the Hu moment related to the cell, and a cell region extraction for extracting a cell region from the acquired images using the template image A feature amount calculating step for calculating a plurality of feature amounts of the Hu moment for each cell region, a same cell connecting step for connecting the same cells for the cell regions included in the continuous image, and a continuous image Feature amount evaluation value for each feature amount, which is a feature amount evaluation value related to the variance of the feature amount of the same cell A calculation step, based on the calculated feature amount evaluation value to a value obtained by linear combination with the parameter, and having a determining step of determining cell viability, the.
In order to solve the above problem, a cell viability determination method according to a fifth aspect of the present invention includes a continuous image acquisition step for continuously acquiring a phase difference image of cells for creating reference data, and a part of the acquired image A cell information input receiving step for receiving input of cell area and cell life / death information, a template image generating step for generating a template image based on the received cell area, and a cell using the template image from each acquired image A cell region extracting step for extracting a region, a feature amount calculating step for calculating a plurality of feature amounts of Hu moment for each extracted cell region, and a cell region included in successive images are connected to the same cell. The feature value evaluation value related to the variance of the feature value of the same cell in the same cell connection step and consecutive images for each feature value A feature amount evaluation value calculation step of leaving, a parameter calculation step of linearly combining the values to set the value of the parameter to represent the viability of connected cells as the same cells calculated feature amount evaluation value parameter, a It is characterized by having.
In order to solve the above-described problem, a cell viability determination method according to a sixth aspect of the present invention includes a reference data creation image acquisition step for continuously acquiring phase difference images of cells for reference data generation, and an acquired reference Cell information input accepting step for accepting input of cell region and cell life / death information, a template image generating step for generating a template image based on the accepted cell region, and each obtained reference data A cell region extraction step for extracting a cell region from the image for creation using the template image, a feature amount calculation step for calculating a plurality of feature amounts of the Hu moment for each extracted cell region, and continuous reference data creation The same cell connection step to connect the same cells and continuous reference data for the cell area included in the image A feature amount evaluation value calculating step for calculating a feature amount evaluation value about the distribution of the feature amount of the same cell for each feature amount in the forming image, as a value linearly bound the calculated feature amount evaluation value parameter the same cell From the parameter calculation step for setting the parameter value so as to represent the life and death of the connected cells, the observation target image acquisition step for continuously acquiring the phase difference image of the cells to be observed, and the acquired observation target images A cell region extraction step for extracting a cell region using a template image, a feature amount calculation step for calculating a plurality of feature amounts of Hu moment for each cell region, and a cell region included in a continuous observation target image, The same cell connection step for connecting the same cells, and the characteristics relating to the dispersion of the feature values of the same cells in consecutive images to be observed A feature amount evaluation value calculating step for calculating the amount evaluation value for each feature amount, and a determination step for determining whether the calculated feature amount evaluation value is linearly combined with the parameter using the parameter. Features.


本発明によれば、煩雑な作業を必要とせず、長時間に渡ってリアルタイムで細胞の生死判定を行なうことができる技術が提供される。   ADVANTAGE OF THE INVENTION According to this invention, the technique which can perform the viability determination of a cell in real time over a long time without requiring a complicated operation | work is provided.

本実施形態に係る細胞生死判定システムの機能構成を示すブロック図である。It is a block diagram which shows the function structure of the cell viability determination system which concerns on this embodiment. 位相差顕微鏡のハードウェア構成を模式的に示す図である。It is a figure which shows typically the hardware constitutions of a phase-contrast microscope. 基準データ生成部の動作について説明するフローチャートである。It is a flowchart explaining operation | movement of a reference | standard data production | generation part. 細胞領域の指定の受け付けを説明する図である。It is a figure explaining reception of designation | designated of a cell area | region. 切り出された細胞の画像とぼかし処理を施して作成したテンプレート画像とを示す図である。It is a figure which shows the image of the cut-out cell, and the template image produced by performing a blurring process. 生成したテンプレート画像を示す図である。It is a figure which shows the produced | generated template image. Huモーメントを説明する式である。It is a formula explaining Hu moment. 細胞のラベリングを説明する図である。It is a figure explaining labeling of a cell. 細胞の生死情報の入力受け付けを説明する図である。It is a figure explaining the input reception of the life-and-death information of a cell. 特徴量評価値について説明する図である。It is a figure explaining a feature-value evaluation value. 細胞生死判定部の動作について説明するフローチャートである。It is a flowchart explaining operation | movement of a cell viability determination part. 従来の細胞生死判定を行なう顕微鏡を説明する図である。It is a figure explaining the microscope which performs the conventional cell viability determination.

本発明の実施の形態について図面を参照して説明する。図1は、本実施形態に係る細胞生死判定システム100の機能構成を示すブロック図である。本図に示すように、細胞生死判定システム100は、位相差顕微鏡10、基準データ生成部20、細胞生死判定部30を備えている。   Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a functional configuration of a cell viability determination system 100 according to the present embodiment. As shown in this figure, the cell viability determination system 100 includes a phase contrast microscope 10, a reference data generation unit 20, and a cell viability determination unit 30.

位相差顕微鏡10は、光線の位相差をコントラストに変換して観察できる光学顕微鏡であり、光学系11、試料部12、連続画像生成部16を備えている。試料部12は、基準データの作成に用いる基準データ作成用試料13と、観察対象の細胞である観察対象試料14と、観察対象試料14を長時間培養するための培養管理部15とを含んでいる。ここで、基準データは、観察対象試料14の生死判定を行なう際に用いるテンプレート画像とパラメータであり、細胞生死判定部30が行なう生死判定に先立ち、基準データ生成部20が作成するデータである。   The phase-contrast microscope 10 is an optical microscope that can be observed by converting the phase difference of light rays into contrast, and includes an optical system 11, a sample unit 12, and a continuous image generation unit 16. The sample unit 12 includes a reference data creation sample 13 used for creating reference data, an observation target sample 14 which is a cell to be observed, and a culture management unit 15 for culturing the observation target sample 14 for a long time. Yes. Here, the reference data is a template image and parameters used when performing the life / death determination of the observation target sample 14, and is data created by the reference data generation unit 20 prior to the life / death determination performed by the cell life / death determination unit 30.

連続画像生成部16は、例えば、10fps以上のビデオレートで画像を撮影し、無劣化の連続画像として出力する。基準データ作成用試料13の連続画像は、基準データ生成部20が取り込み、観察対象試料14の連続画像は、細胞生死判定部30が取り込む。   For example, the continuous image generation unit 16 captures an image at a video rate of 10 fps or more and outputs the image as an undegraded continuous image. A continuous image of the reference data creation sample 13 is captured by the reference data generation unit 20, and a continuous image of the observation target sample 14 is captured by the cell viability determination unit 30.

図2は、位相差顕微鏡10のハードウェア構成の一例を模式的に示す図である。本図の例では、光学系11として、透過撮影光源照射部110、対物レンズ130、干渉光結像部140を備えている。透過撮影光源照射部110は、透過撮影用光源111、レンズ112、リングスリット113、レンズ114を含み、干渉光結像部140は、位相板141、レンズ142を含んでいる。位相板141は、光の位相を1/4λずらす1/4波長板と、光を吸収するNDフィルタがリング状に形成されており、それ以外の部分は透明になっている。また、撮像装置160で連続画像生成部16を構成している。   FIG. 2 is a diagram schematically illustrating an example of a hardware configuration of the phase-contrast microscope 10. In the example of this figure, the optical system 11 includes a transmission photographing light source irradiation unit 110, an objective lens 130, and an interference light imaging unit 140. The transmission imaging light source irradiation unit 110 includes a transmission imaging light source 111, a lens 112, a ring slit 113, and a lens 114, and the interference light imaging unit 140 includes a phase plate 141 and a lens 142. The phase plate 141 is formed with a ¼ wavelength plate that shifts the phase of light by ¼λ and an ND filter that absorbs light in a ring shape, and the other portions are transparent. In addition, the continuous image generation unit 16 is configured by the imaging device 160.

試料部12の培養管理部150としては、培養液151、温度コントローラ152を含んでいる。すなわち、本実施形態において、観察対象試料14である細胞はいかなる色素でも染色されず、温度コントローラ152により温度管理された培養液151に浸っている。   The culture management unit 150 of the sample unit 12 includes a culture solution 151 and a temperature controller 152. In other words, in the present embodiment, the cells that are the observation target sample 14 are not stained with any pigment, but are immersed in the culture solution 151 that is temperature-controlled by the temperature controller 152.

なお、基準データ作成用試料13は、観察対象試料14の細胞と同じ生物の同じ部位の細胞を用いるものとする。ここで、基準データ作成用試料13については、後述するようにエンドポイントでの観察を行なうため、従来同様の色素による染色を用いた生死判定を行なうことができる。   Note that the reference data creation sample 13 uses cells in the same part of the same organism as the cells of the observation target sample 14. Here, since the reference data creation sample 13 is observed at the end point as will be described later, it is possible to perform life / death determination using staining with the same dye as in the prior art.

位相差顕微鏡10では、透過撮影光源照射部110から照射された光の一部(実線)は細胞を透過し、残りの光(破線)は細胞によって回折して対物レンズ130に向かう。回折光は位相板141をそのまま通過するが、透過光は位相板141のリング状の部分で波長が1/4波長分だけ遅れ、かつ強度も減る。   In the phase-contrast microscope 10, part of the light (solid line) emitted from the transmission imaging light source irradiation unit 110 passes through the cell, and the remaining light (broken line) is diffracted by the cell and travels toward the objective lens 130. The diffracted light passes through the phase plate 141 as it is, but the transmitted light is delayed by a quarter wavelength at the ring-shaped portion of the phase plate 141, and the intensity is also reduced.

これにより、透過光と回折光の槽が合わさって干渉するようになり、撮像装置160の結像面で生成される像中では、細胞が存在する部分は明るくなり、細胞のいない部分は暗くなる。これを利用し、細胞の輪郭形状が際立ったハイコントラスト画像(位相差画像)が取得される。本実施形態では、位相差顕微鏡10による位相差画像を用いることで、透明で見にくい細胞でも、精度高く検出できるようにしている。   As a result, the transmitted light and diffracted light tanks come together and interfere with each other, and in the image generated on the imaging surface of the imaging device 160, the part where the cells are present becomes bright and the part where the cells are absent becomes dark. . Using this, a high-contrast image (phase difference image) in which the outline shape of the cell is conspicuous is acquired. In the present embodiment, a phase difference image obtained by the phase contrast microscope 10 is used so that even a transparent and difficult-to-see cell can be detected with high accuracy.

図1の説明に戻って、基準データ生成部20は、連続画像取得部21、細胞情報入力受付部22、テンプレート画像生成部23、細胞領域抽出部24、特徴量算出部25、同一細胞連結部26、特徴量評価値算出部27、パラメータ算出部28を備えている。なお、特に図示していないが、基準データ生成部20は、取得した連続画像を格納したり、生成したテンプレート画像、パラメータ等を保存する記憶領域を有している。   Returning to the description of FIG. 1, the reference data generation unit 20 includes a continuous image acquisition unit 21, a cell information input reception unit 22, a template image generation unit 23, a cell region extraction unit 24, a feature amount calculation unit 25, and the same cell connection unit. 26, a feature amount evaluation value calculation unit 27, and a parameter calculation unit 28. Although not particularly illustrated, the reference data generation unit 20 has a storage area for storing acquired continuous images and for storing generated template images, parameters, and the like.

連続画像取得部21は、位相差顕微鏡10の連続画像生成部16から、基準データ作成用試料13の連続画像を取得する。細胞情報入力受付部22は、取得した連続画像の一部について、オペレータから細胞の領域と生死情報の入力を受け付ける。   The continuous image acquisition unit 21 acquires a continuous image of the reference data creation sample 13 from the continuous image generation unit 16 of the phase contrast microscope 10. The cell information input receiving unit 22 receives an input of a cell region and life / death information from an operator for a part of the acquired continuous image.

テンプレート画像生成部23は、オペレータから入力した細胞の領域に基づいて細胞検出用のテンプレート画像を作成する。細胞領域抽出部24は、テンプレート画像に基づいて、基準データ作成用試料13の連続画像のそれぞれから細胞領域を抽出する。特徴量算出部25は、抽出された各細胞領域について複数個の特徴量を算出する。ここで、特徴量はHuモーメントを用いるものとし、1画像中の各細胞について6つの特徴量を算出するものとする。   The template image generator 23 creates a template image for cell detection based on the cell region input from the operator. The cell region extraction unit 24 extracts a cell region from each of the continuous images of the reference data creation sample 13 based on the template image. The feature amount calculation unit 25 calculates a plurality of feature amounts for each extracted cell region. Here, it is assumed that a Hu moment is used as the feature amount, and six feature amounts are calculated for each cell in one image.

同一細胞連結部26は、基準データ作成用試料13の連続画像から、同一の細胞を追跡してそれぞれを連結する。同一細胞の追跡は、前後する画像において最も距離の近い細胞を同一の細胞とみなして行なう。特徴量評価値算出部27は、連続画像において連結された各細胞について、特徴量毎の特徴量評価値を算出する。ここで、特徴量評価値は、時系列で変化する各特徴量の分散に関する値とする。本実施形態では、各細胞について6つの特徴量を算出するため、特徴量評価値も各細胞について6つ算出される。   The same cell connection unit 26 tracks and connects the same cells from the continuous image of the reference data creation sample 13. The tracking of the same cell is performed by regarding the closest cell in the preceding and following images as the same cell. The feature amount evaluation value calculation unit 27 calculates a feature amount evaluation value for each feature amount for each cell connected in the continuous image. Here, the feature amount evaluation value is a value related to the variance of each feature amount that changes in time series. In this embodiment, since six feature amounts are calculated for each cell, six feature amount evaluation values are also calculated for each cell.

パラメータ算出部28は、パラメータを用いて複数個の特徴量評価値を線形結合させたときに、その値の符号が細胞の生死を表わすようにパラメータの値を設定する。ここで、パラメータの値の設定には、サポートベクターマシンと呼ばれる機械学習手法を用いる。パラメータは、各細胞について6つの特徴量に対応する6つの係数と、1つの定数項の合計7つ設定するものとする。   The parameter calculation unit 28 sets the parameter value so that when a plurality of feature value evaluation values are linearly combined using the parameter, the sign of the value represents the survival or death of the cell. Here, a machine learning method called a support vector machine is used for setting parameter values. The parameters are set to a total of seven parameters including six coefficients corresponding to six feature values and one constant term for each cell.

細胞生死判定部30は、テンプレート画像取得部31、パラメータ取得部32、連続画像取得部33、細胞領域抽出部34、特徴量算出部35、同一細胞連結部36、特徴量評価値算出部37、判定部38を備えている。なお、特に図示していないが、細胞生死判定部30は、取得したテンプレート画像、パラメータ、連続画像を格納したり、細胞の生死判定結果や死亡時刻等を記録する記憶領域を有している。   The cell viability determination unit 30 includes a template image acquisition unit 31, a parameter acquisition unit 32, a continuous image acquisition unit 33, a cell region extraction unit 34, a feature amount calculation unit 35, an identical cell connection unit 36, a feature amount evaluation value calculation unit 37, A determination unit 38 is provided. Although not particularly illustrated, the cell viability determination unit 30 has a storage area for storing the acquired template image, parameter, and continuous image, and for recording the cell viability determination result, the death time, and the like.

テンプレート画像取得部31は、基準データ生成部20のテンプレート画像生成部23が生成したテンプレート画像を取得する。パラメータ取得部32は、基準データ生成部20のパラメータ算出部28が算出したパラメータを取得する。連続画像取得部33は、位相差顕微鏡10の連続画像生成部16から、観察対象試料14の連続画像をリアルタイムで取得する。   The template image acquisition unit 31 acquires the template image generated by the template image generation unit 23 of the reference data generation unit 20. The parameter acquisition unit 32 acquires the parameter calculated by the parameter calculation unit 28 of the reference data generation unit 20. The continuous image acquisition unit 33 acquires a continuous image of the observation target sample 14 from the continuous image generation unit 16 of the phase contrast microscope 10 in real time.

細胞領域抽出部34は、テンプレート画像に基づいて、観察対象試料14の連続画像のそれぞれから細胞領域を抽出する。特徴量算出部35は、抽出された各細胞領域について複数個の特徴量を算出する。特徴量は、基準データ生成部20の特徴量算出部25が用いた特徴量と同様とする。   The cell region extraction unit 34 extracts a cell region from each of the continuous images of the observation target sample 14 based on the template image. The feature amount calculation unit 35 calculates a plurality of feature amounts for each extracted cell region. The feature amount is the same as the feature amount used by the feature amount calculation unit 25 of the reference data generation unit 20.

同一細胞連結部36は、観察対象試料14の連続画像から、同一の細胞を追跡してそれぞれを連結する。特徴量評価値算出部37は、連続画像において連結された各細胞について、複数個の特徴量評価値を算出する。特徴量評価値は、基準データ生成部20の特徴量評価値算出部27が算出する特徴量評価値と同様とする。   The same cell connection unit 36 tracks and connects the same cells from the continuous image of the observation target sample 14. The feature amount evaluation value calculation unit 37 calculates a plurality of feature amount evaluation values for each cell connected in the continuous image. The feature amount evaluation value is the same as the feature amount evaluation value calculated by the feature amount evaluation value calculation unit 27 of the reference data generation unit 20.

判定部38は、パラメータを用いて特徴量評価値を線形結合し、その値の符号に基づいて、各細胞の生死をリアルタイムに判定する。ある細胞が生細胞から死細胞に変化した場合には、その時刻を特定し、記録する。   The determination unit 38 linearly combines the feature value evaluation values using the parameters, and determines whether each cell is alive or dead based on the sign of the value in real time. When a certain cell changes from a living cell to a dead cell, the time is specified and recorded.

基準データ生成部20、細胞生死判定部30は、それぞれのブロックとして動作するアプリケーションソフトウェアをインストールしたPC等の情報処理装置で構成することができる。基準データ生成部20、細胞生死判定部30は、同一の情報処理装置で構成してもよいし、別々の情報処理装置で構成してもよい。基準データ生成部20と細胞生死判定部30とを別々の情報処理装置で構成する場合には、基準データ生成部20がテンプレート画像とパラメータとを生成するサービスを行ない、細胞生死判定部30がテンプレート画像とパラメータの提供を受ける形態としてもよい。   The reference data generation unit 20 and the cell viability determination unit 30 can be configured by an information processing apparatus such as a PC in which application software that operates as each block is installed. The reference data generation unit 20 and the cell viability determination unit 30 may be configured by the same information processing device or may be configured by separate information processing devices. When the reference data generation unit 20 and the cell viability determination unit 30 are configured by separate information processing apparatuses, the reference data generation unit 20 performs a service for generating a template image and a parameter, and the cell viability determination unit 30 performs the template. It is good also as a form which receives provision of an image and a parameter.

次に、基準データ生成部20の動作について図3のフローチャートを参照して説明する。   Next, the operation of the reference data generation unit 20 will be described with reference to the flowchart of FIG.

まず、連続画像取得部21が位相差顕微鏡10の連続画像生成部16から、基準データ作成用試料13のN枚の連続画像を取得する(S101)。ここで、基準データ作成用試料13は、観察対象試料14の細胞と同じ生物の同じ部位の細胞であり、あらかじめ従来の染色手法等により、各細胞の生死が判明しているものとする。取得する連続画像の枚数Nは、例えば、10fpsで30秒間撮影した300枚とすることができる。連続画像は無劣化のフォーマットで格納する。   First, the continuous image acquisition unit 21 acquires N continuous images of the reference data creation sample 13 from the continuous image generation unit 16 of the phase contrast microscope 10 (S101). Here, it is assumed that the reference data creation sample 13 is a cell in the same part of the same organism as the cell of the observation target sample 14, and the life and death of each cell is known in advance by a conventional staining technique or the like. The number N of continuous images to be acquired can be, for example, 300 images taken at 10 fps for 30 seconds. Continuous images are stored in an undegraded format.

細胞情報入力受付部22は、取得したN枚の連続画像からランダムに数枚を抜き出して、それぞれの画像についてオペレータから細胞領域の指定を受け付ける(S102)。細胞領域の指定は、例えば、図4(a)に示すような画像について、図4(b)に示すように、画像に含まれる細胞を中心とした正方領域の指定をオペレータの操作により受け付けることで行なうことができる。   The cell information input accepting unit 22 randomly extracts several images from the acquired N consecutive images, and accepts designation of a cell region from the operator for each image (S102). For example, with respect to an image as shown in FIG. 4A, the designation of the cell region is accepted by the operator's operation as shown in FIG. 4B with a square region centered on the cells included in the image. Can be done.

基準データ作成用試料13の細胞の生死は判明しているため、生細胞の数と死細胞の数がほぼ同数となるように、細胞領域を指定することが望ましい。オペレータは、例えば、生細胞、死細胞それぞれ5個程度となるように複数枚の画像から細胞領域を指定する。この個数は、後のテンプレートマッチング処理による細胞検出率が、例えば、95%以上となるように適宜変更することができる。   Since the life and death of the cells of the reference data creation sample 13 are known, it is desirable to designate the cell region so that the number of living cells and the number of dead cells are substantially the same. For example, the operator designates a cell region from a plurality of images so that there are about 5 live cells and dead cells, respectively. This number can be changed as appropriate so that the cell detection rate by the subsequent template matching process is, for example, 95% or more.

細胞領域の指定を受け付けると、細胞情報入力受付部22が、細胞領域を切り出し、テンプレート画像生成部23がテンプレート画像を生成して(S103)、保存する。テンプレート画像は、切り出された細胞の画像にぼかし処理を施すことで作成する。これは、後のテンプレートマッチング処理による細胞検出率を高めるためである。   When the designation of the cell region is accepted, the cell information input acceptance unit 22 cuts out the cell region, and the template image generation unit 23 generates a template image (S103) and stores it. The template image is created by blurring the cut-out cell image. This is to increase the cell detection rate by the template matching process later.

図5は、切り出された細胞の画像とぼかし処理を施して作成したテンプレート画像とを示している。ぼかし処理は、例えば、ガウス関数を積分核として切り出された細胞の画像との畳み込み積分により行なうことができる。この場合、ガウス関数の分散値は、例えば、細胞半径の1/10程度に設定する。ただし、他のアルゴリズムによりぼかし処理を行なってもよい。   FIG. 5 shows a cut-out cell image and a template image created by performing a blurring process. The blurring process can be performed, for example, by convolution integration with a cell image cut out using a Gaussian function as an integration kernel. In this case, the variance value of the Gaussian function is set to about 1/10 of the cell radius, for example. However, the blurring process may be performed by another algorithm.

テンプレート画像は、オペレータによって指定された細胞領域の個数分生成されることになる。この結果、図6に示すように、生細胞、死細胞についてそれぞれ複数個のテンプレート画像が生成され、保存される。ただし、テンプレート画像自体に生細胞、死細胞の情報は不要である。   As many template images as the number of cell regions designated by the operator are generated. As a result, as shown in FIG. 6, a plurality of template images are generated and stored for each of living cells and dead cells. However, information on live cells and dead cells is not necessary in the template image itself.

次に、細胞領域抽出部24が、N枚の連続画像から処理対象画像を順次設定し(S104)、細胞領域の抽出を行なう(S105)。処理対象画像は、例えば、N枚の連続画像の1枚目から時系列順に設定していく。   Next, the cell region extraction unit 24 sequentially sets processing target images from N consecutive images (S104), and extracts cell regions (S105). For example, the processing target images are set in time-series order from the first of N consecutive images.

細胞領域の抽出は、テンプレート画像を用いたテンプレートマッチングにより行なう。テンプレートマッチングは、各テンプレート画像を、処理対象画像中をラスタスキャンしながら類似度を算出し、類似度が所定の基準値以上であればその領域を細胞領域と判定する。類似度は、例えば、画素毎の差に基づいて評価することができる。所定の基準値は細胞検出率が、例えば、95%以上となるように適宜調整することができる。細胞領域抽出部24は、検出した全細胞領域について、細胞領域の中心座標を記録する。   The cell region is extracted by template matching using a template image. In template matching, the degree of similarity of each template image is calculated while raster scanning the image to be processed. If the degree of similarity is equal to or greater than a predetermined reference value, the area is determined as a cell area. The similarity can be evaluated based on, for example, a difference for each pixel. The predetermined reference value can be appropriately adjusted so that the cell detection rate is, for example, 95% or more. The cell area extraction unit 24 records the center coordinates of the cell area for all the detected cell areas.

処理対象画像から細胞領域が検出されると、特徴量算出部25が、それぞれの細胞領域について特徴量を算出する(S106)。ここで、特徴量は、Huモーメントを用いる。Huモーメントは、画像中に存在する物体の並進と回転、および画像全体の輝度値の定数倍に対して不変な量であり、H〜Hの7つの特徴量で類似画像を検出するものである。ただし、本実施形態では、図7に示すH〜Hの6つの特徴量を用いるものとする。これは、本実施形態に係る細胞生死判定システム100の実装上、Hで表わされる特徴量の寄与度が低いためである。 When a cell region is detected from the processing target image, the feature amount calculation unit 25 calculates a feature amount for each cell region (S106). Here, a Hu moment is used as the feature amount. The Hu moment is an amount that is invariant to the translation and rotation of an object present in the image and a constant multiple of the luminance value of the entire image, and detects a similar image with seven feature values H 1 to H 7. It is. However, in the present embodiment, six feature amounts H 1 to H 6 illustrated in FIG. 7 are used. This, on the implementation of the cell viability determination system 100 according to the present embodiment, because the low feature amount of contribution represented by H 7.

図7に示すようにH〜Hの6つの特徴量は、細胞領域内の各画素(x、y)の輝度分布に基づいて算出することができる(詳細については、Ming-Kuei Hu, "Visual Pattern Recognition by Moment Invariants," Information Theory IRE Transactions, vol.8, pp. 179-187, 1962.)。 As shown in FIG. 7, the six feature quantities H 1 to H 6 can be calculated based on the luminance distribution of each pixel (x, y) in the cell region (for details, see Ming-Kuei Hu, "Visual Pattern Recognition by Moment Invariants," Information Theory IRE Transactions, vol.8, pp. 179-187, 1962.).

本実施形態では、後述するように、細胞の形態の時間的な変化の度合いにより、リアルタイムで細胞の生死を判定するが、Huモーメントを用いることで、透過撮影用光源111の光量変化や、層流や渦等の試料部12内の流体の流れによって細胞重心が動いてしまったり、細胞が回転するといった事象にも影響を受けずに、細胞の形態変化を適切に評価することができる。   In the present embodiment, as will be described later, whether a cell is alive or not is determined in real time based on the degree of temporal change in cell morphology. The cell morphological change can be appropriately evaluated without being affected by the phenomenon that the center of gravity of the cell moves or the cell rotates due to the flow of fluid in the sample part 12 such as a flow or vortex.

処理画像中の全細胞領域について特徴量を算出すると、全画像に対する処理が終了してなければ(S107:No)、次の処理対象画像を設定し(S104)、細胞領域の抽出(S105)、各細胞の特徴量算出(S106)を行なう。   When the feature amount is calculated for all the cell regions in the processed image, if the processing for all the images is not completed (S107: No), the next processing target image is set (S104), the cell region is extracted (S105), The feature amount of each cell is calculated (S106).

N枚の全画像に対する処理が終了すると(S107:Yes)、同一細胞連結部26が、前後の画像について同一の細胞を追跡し、各細胞を時系列に連結する(S108)。同一の細胞の追跡は、連続画像の撮影時間間隔が短いため、前後する画像において最も距離の近い細胞が同一であるとみなすことにより行なう。   When the processing for all N images is completed (S107: Yes), the same cell connection unit 26 tracks the same cells in the preceding and following images and connects the cells in time series (S108). The tracking of the same cell is performed by assuming that the closest cells are the same in the preceding and following images because the continuous image capturing time interval is short.

例えば、図8に示すように、画像に写っているM=6個の全細胞をnの値でラベリングしたとすると、時刻jΔtに取得された画像に写っている細胞Cと時刻(j+1)Δtに取得された画像に写っている細胞Cとの対応付けは、[数1]を満たすnでラベリングされた細胞を特定することで行なうことができる。
この処理を、1枚目の画像から最後の画像まで各細胞について行なうことで、同一細胞を時系列的に連結することができる。これにより、同一細胞の形態の時間的変化を把握することができるようになる。
For example, as shown in FIG. 8, if M = 6 cells in the image are labeled with the value of n, the cell C in the image acquired at time jΔt and the time (j + 1) Δt The association with the cell C shown in the acquired image can be performed by specifying the cell labeled with n satisfying [Equation 1].
By performing this process for each cell from the first image to the last image, the same cells can be connected in time series. Thereby, the temporal change of the form of the same cell can be grasped.

次に、細胞情報入力受付部22が、連結された同一細胞について、それぞれの細胞の生死情報の入力をオペレータから受け付ける(S109)。生死情報の入力は、図9に示すように、ある画像、例えば、1枚目の画像を細胞領域とともに表示して、それぞれの細胞領域毎に、生細胞、死細胞の指示をオペレータの操作により受け付けることで行なうことができる。ただし、生死情報の入力は、別のタイミングで受け付けるようにしてもよい。例えば、処理(S102)におけるオペレータによる細胞領域の指定の受け付けとともに、生死情報の入力を受け付けるようにしてもよい。   Next, the cell information input receiving unit 22 receives the input of life / death information of each cell from the operator for the same connected cells (S109). As shown in FIG. 9, the life / death information is input by displaying a certain image, for example, the first image together with the cell region, and giving an instruction of the live cell and the dead cell for each cell region by the operation of the operator. It can be done by accepting. However, the input of life / death information may be accepted at another timing. For example, you may make it receive the input of life / death information with the reception of designation | designated of the cell area | region by the operator in a process (S102).

全画像の各細胞領域について算出された特徴量に基づいて、特徴量評価値算出部27が、同一細胞として連結された細胞毎に特徴量評価値を算出する(S110)。   Based on the feature amount calculated for each cell region of all images, the feature amount evaluation value calculation unit 27 calculates a feature amount evaluation value for each cell connected as the same cell (S110).

ここで、本実施形態の特徴量評価値について説明する。仮にある細胞が、時刻t1〜t4にかけて、図10(a)に示すような動きをしたとする。試料部12中の流体の動き等により、生死状態に関わらず細胞は平行移動したり回転するため、図10(a)の動きだけで細胞の生死を精度高く判定することはできない。   Here, the feature amount evaluation value of the present embodiment will be described. It is assumed that a certain cell moves as shown in FIG. 10A from time t1 to time t4. Due to the movement of the fluid in the sample unit 12 and the like, the cell moves and rotates regardless of the life and death state, and therefore the life and death of the cell cannot be determined with high accuracy only by the movement of FIG.

しかしながら、生細胞であれば、図10(b)に示すように、細胞の形態自体が自発的に変化する。このため、Huモーメントの各特徴量が頻繁に変化し、特徴量の時間的な分散値が大きくなる。一方、死細胞であれば、図10(c)に示すように、細胞の形態は変化しないため、物体の並進と回転、および画像全体の輝度値の定数倍に対して不変なHuモーメントの各特徴量はほとんど変化せず、分散値は小さくなる。   However, if it is a living cell, as shown in FIG.10 (b), the form of a cell itself changes spontaneously. For this reason, each feature value of the Hu moment frequently changes, and the temporal dispersion value of the feature value increases. On the other hand, in the case of a dead cell, as shown in FIG. 10 (c), since the shape of the cell does not change, each of the Hu moment that is invariant to the translation and rotation of the object and a constant multiple of the luminance value of the entire image. The feature amount hardly changes and the variance value becomes small.

そこで、本実施形態では、Huモーメントの各特徴量のN枚の画像における分散値に関する値を特徴量評価値として用いるものとする。ただし、分散値をそのまま特徴量評価値として用いると、生細胞と死細胞とでオーダーが異なるため、[数2]に示すように、便宜的に各特徴量の分散値の常用対数を特徴量評価値として用いるものとする。なお、細胞により、形態の変化の態様が異なるため、細胞の性質に適した撮像レートと撮像時間、あるいは特徴量評価値を選択することが望ましい。
本実施形態において、Huモーメントの特徴量は、各細胞についてH〜Hの6種類算出するため、特徴量評価値も各細胞についてV〜Vの6種類得られる。
Therefore, in the present embodiment, a value related to a variance value in N images of each feature value of the Hu moment is used as a feature value evaluation value. However, if the variance value is used as it is as the feature value evaluation value, the order differs between live cells and dead cells. Therefore, as shown in [Equation 2], the common logarithm of the variance value of each feature value is used as the feature value for convenience. It shall be used as an evaluation value. It should be noted that since the mode of change of the form differs depending on the cell, it is desirable to select an imaging rate and an imaging time or a characteristic amount evaluation value suitable for the nature of the cell.
In the present embodiment, feature amounts of Hu moments to six calculation of H 1 to H 6 for each cell, the feature amount evaluation value is also obtained six types of V 1 ~V 6 for each cell.

各細胞について、V〜Vの6種類の特徴量評価値を算出すると、パラメータ算出部28が、[数3]に示すように、c〜cの7つのパラメータを用いて複数個の特徴量評価値を線形結合させたときに、その値の符号が細胞の生死を表わすようにパラメータの値を設定する。[数3]において、c(k=1,2,3,4,5,6)は、Vの係数となるパラメータであり、cは定数項である。
ここで、パラメータの値の設定には、サポートベクターマシンと呼ばれる機械学習手法を用いる。機械学習の際には、処理(S109)でオペレータから入力された細胞の生死情報を基準に各パラメータを最適化する。ただし、他の手法を用いてパラメータを設定するようにしてもよい。なお、[数3]に示すような線形結合に限られず、例えば、AdaBoost等の手法で生死の判定を行なうようにしてもよい。AdaBoostは、機械学習の一手法であり、弱い識別器をその重要度に合わせて重みをつけて組み合わせることにより強い識別器を生成するものである。
When six types of feature value evaluation values V 1 to V 6 are calculated for each cell, the parameter calculation unit 28 uses a plurality of parameters c 0 to c 7 as shown in [Equation 3]. When the feature value evaluation values of are linearly combined, the value of the parameter is set so that the sign of the value represents the viability of the cell. In [Expression 3], c k (k = 1, 2, 3, 4, 5, 6) is a parameter that is a coefficient of V k , and c 0 is a constant term.
Here, a machine learning method called a support vector machine is used for setting parameter values. At the time of machine learning, each parameter is optimized based on the cell life / death information input from the operator in the process (S109). However, the parameters may be set using other methods. In addition, it is not restricted to the linear combination as shown in [Formula 3], For example, you may make it determine life / death by methods, such as AdaBoost. AdaBoost is a method of machine learning, and generates a strong classifier by combining weak classifiers with weights according to their importance.

基準データ生成部20は、以上の手順により生成したテンプレート画像とパラメータとを記録し、細胞生死判定部30が参照できるようにする。基準データ生成部20と細胞生死判定部30とを別の装置で構成する場合には、通信ネットワークや可搬型の記録媒体等を用いることにより、細胞生死判定部30がテンプレート画像とパラメータとを参照できるようにする。   The reference data generation unit 20 records the template image and parameters generated by the above procedure so that the cell viability determination unit 30 can refer to them. When the reference data generation unit 20 and the cell viability determination unit 30 are configured by different devices, the cell viability determination unit 30 refers to the template image and the parameters by using a communication network, a portable recording medium, or the like. It can be so.

次に、細胞生死判定部30の動作について図11のフローチャートを参照して説明する。まず、実際の観察に先立ち、生死判定観察の終了条件をオペレータから受け付ける(S201)。終了条件は、例えば、観察総時間、観察終了時刻、終了指示受け付け等とすることができる。   Next, the operation of the cell viability determination unit 30 will be described with reference to the flowchart of FIG. First, prior to actual observation, an end condition for life / death determination observation is received from the operator (S201). The end condition can be, for example, the total observation time, the observation end time, the end instruction reception, or the like.

また、テンプレート画像取得部31が、基準データ生成部20のテンプレート画像生成部が生成したテンプレート画像を取得し(S202)、パラメータ取得部32が、基準データ生成部20のパラメータ算出部28が算出したパラメータを取得する(S203)。   The template image acquisition unit 31 acquires the template image generated by the template image generation unit of the reference data generation unit 20 (S202), and the parameter acquisition unit 32 calculates the parameter calculation unit 28 of the reference data generation unit 20. A parameter is acquired (S203).

生死判定観察を開始すると、連続画像取得部33が位相差顕微鏡10の連続画像生成部16から、観察対象試料14の画像を1枚取得し(S204)、記録する。この際に、画像を取得した時刻の情報も記録する。なお、生死判定観察において、観察対象試料14は、上述のように、いかなる色素でも染色されておらず、温度管理された培養液151に浸っている。また、位相差顕微鏡10の連続画像生成部16は、ビデオレートで観察対象試料14の連続画像を撮像し、リアルタイムで出力する。   When life / death judgment observation is started, the continuous image acquisition unit 33 acquires one image of the observation target sample 14 from the continuous image generation unit 16 of the phase contrast microscope 10 (S204) and records it. At this time, information on the time when the image was acquired is also recorded. In the life / death determination observation, the observation target sample 14 is not stained with any pigment as described above, and is immersed in the temperature-controlled culture solution 151. The continuous image generation unit 16 of the phase contrast microscope 10 captures a continuous image of the observation target sample 14 at a video rate and outputs it in real time.

取得した画像について、細胞領域抽出部34が、テンプレート画像を用いたテンプレートマッチングを行ない、細胞領域を抽出する(S205)。テンプレートマッチングは、処理(S105)と同様とすることができる。   About the acquired image, the cell area extraction part 34 performs template matching using a template image, and extracts a cell area (S205). Template matching can be the same as the processing (S105).

抽出された各細胞領域について、特徴量算出部35が、それぞれの細胞領域について特徴量を算出する(S206)。特徴量は、処理(S106)と同様に、HuモーメントのH〜Hの6つの特徴量について算出する。 For each extracted cell region, the feature amount calculation unit 35 calculates a feature amount for each cell region (S206). Similar to the processing (S106), the feature amount is calculated for six feature amounts of Hu moments H 1 to H 6 .

次に、同一細胞連結部36が、抽出された各細胞領域を、先行する画像内の同一の細胞領域と連結する(S207)。同一細胞の連結は、前画像において最も距離の近い細胞が同一の細胞であるとみなすことにより行なう。なお、本処理は、前画像が存在しない1枚目の画像については省略する。   Next, the same cell connecting unit 36 connects each extracted cell region with the same cell region in the preceding image (S207). The connection of the same cell is performed by regarding the closest cell in the previous image as the same cell. This process is omitted for the first image in which no previous image exists.

同一の細胞について、特徴量が時系列で得られると、特徴量評価値算出部37が、細胞毎に特徴量評価値を算出する(S208)。特徴量評価値の算出は、処理(S110)と同様とすることができる。このため、例えば、直近のN枚の画像を用いて特徴量評価値、すなわち、特徴量の時間的分散に関する値を細胞毎に算出する。N枚の画像が揃う前は、得られた画像のみで特徴量評価値を算出してもよいし、N枚揃ってから特徴量評価値の算出を開始するようにしてもよい。   When feature amounts are obtained in time series for the same cell, the feature amount evaluation value calculation unit 37 calculates a feature amount evaluation value for each cell (S208). The calculation of the feature amount evaluation value can be performed in the same manner as the processing (S110). For this reason, for example, the feature amount evaluation value, that is, a value related to temporal dispersion of the feature amount is calculated for each cell using the latest N images. Before the N images are prepared, the feature amount evaluation value may be calculated using only the obtained images, or the calculation of the feature amount evaluation value may be started after the N images are prepared.

各細胞について特徴量評価値を算出すると、判定部38が生死判定を行なう。生死判定は、各細胞について、[数3]に示すように、処理(S208)で算出した特徴量評価値V〜Vを、処理(S202)で取得したパラメータc〜cを用いて線形結合し、その値が正であれば生細胞であると判定し、その値が負であれば死細胞であると判定する。なお、すでに死細胞と判定されている細胞については判定を省略してもよい。 When the feature value evaluation value is calculated for each cell, the determination unit 38 performs life / death determination. For the determination of life and death, as shown in [Equation 3] for each cell, the characteristic amount evaluation values V 1 to V 6 calculated in the process (S208) are used as parameters c 0 to c 7 acquired in the process (S202). If the value is positive, it is determined to be a living cell, and if the value is negative, it is determined to be a dead cell. Note that the determination may be omitted for cells that have already been determined to be dead cells.

前画像まで生細胞であると判定されていた細胞が、死細胞と判定された場合には、その画像を取得した時刻を死亡時刻として記録する(S210)。これにより、リアルタイムで死亡判定を行なうことができるのに加え、細胞の死亡タイミングを把握できるようになる。   When a cell that has been determined to be a living cell until the previous image is determined to be a dead cell, the time when the image was acquired is recorded as a death time (S210). Thereby, in addition to being able to perform death determination in real time, it becomes possible to grasp the cell death timing.

生死判定観察の終了条件を満たしていない場合(S211:No)は、連続画像取得部33が位相差顕微鏡10の連続画像生成部16から、次の画像を取得し(S204)、以降の処理を繰り返す。画像取得の間隔は、基準データの生成時と同様のビデオレートとすることができる。処理済みの画像は廃棄してもよいし、動画として保存しておいてもよい。動画として保存する場合には、生死判定をバッチ処理で行なうこともできる。   When the life / death determination observation end condition is not satisfied (S211: No), the continuous image acquisition unit 33 acquires the next image from the continuous image generation unit 16 of the phase contrast microscope 10 (S204), and the subsequent processing is performed. repeat. The image acquisition interval can be set to the same video rate as that used when generating the reference data. The processed image may be discarded or saved as a moving image. In the case of saving as a moving image, life / death determination can also be performed by batch processing.

生死判定観察の終了条件を満たした場合(S211:Yes)は、生死判定観察処理を終了する。生死判定観察の結果は、ファイル作成、画面表示等任意の形式で出力することができる。   When the end condition of the life / death determination observation is satisfied (S211: Yes), the life / death determination observation process is ended. The result of life / death judgment observation can be output in any format such as file creation and screen display.

以上説明したように、本実施形態の細胞生死判定システム100は、観察対象試料である細胞を色素で染色したり、強い光にさらすことなく、温度管理された培養液151に浸しているため、細胞を長期に渡って観察することができる。また、位相差顕微鏡で得られたハイコントラスト画像を連続的に取り込んで、画像毎に細胞の生死を判定しているため、リアルタイムで細胞の生死判定を行なうことができるとともに、死亡時刻も把握することができる。   As described above, the cell viability determination system 100 of the present embodiment is immersed in the temperature-controlled culture solution 151 without staining the cells as the observation target sample with a dye or exposing them to intense light. Cells can be observed over a long period of time. In addition, high-contrast images obtained with a phase-contrast microscope are continuously captured, and cell viability is determined for each image, so cell viability can be determined in real time and the time of death is also known. be able to.

さらに、客観的で精度の高い生死判定を自動的に高速に行なうことができるため、オペレータによる判定結果のばらつきがなくなり、生死判定解析のスループットを高めることができる。   Furthermore, since objective and accurate life / death determination can be automatically performed at high speed, there is no variation in determination results by the operator, and the throughput of life / death determination analysis can be increased.

10…位相差顕微鏡、11…光学系、12…試料部、13…基準データ作成用試料、14…観察対象試料、15…培養管理部、16…連続画像生成部、20…基準データ生成部、21…連続画像取得部、22…細胞情報入力受付部、23…テンプレート画像生成部、24…細胞領域抽出部、25…特徴量算出部、26…同一細胞連結部、27…特徴量評価値算出部、28…パラメータ算出部、30…細胞生死判定部、31…テンプレート画像取得部、32…パラメータ取得部、33…連続画像取得部、34…細胞領域抽出部、35…特徴量算出部、36…同一細胞連結部、37…特徴量評価値算出部、38…判定部、100…細胞生死判定システム、110…透過撮影光源照射部、111…透過撮影用光源、112…レンズ、113…リングスリット、114…レンズ、130…対物レンズ、140…干渉光結像部、141…位相板、142…レンズ、150…培養管理部、151…培養液、152…温度コントローラ、160…撮像装置 DESCRIPTION OF SYMBOLS 10 ... Phase contrast microscope, 11 ... Optical system, 12 ... Sample part, 13 ... Reference data preparation sample, 14 ... Sample to be observed, 15 ... Culture management part, 16 ... Continuous image generation part, 20 ... Reference data generation part, DESCRIPTION OF SYMBOLS 21 ... Continuous image acquisition part, 22 ... Cell information input reception part, 23 ... Template image generation part, 24 ... Cell area extraction part, 25 ... Feature-value calculation part, 26 ... Same cell connection part, 27 ... Feature-value evaluation value calculation , 28 ... parameter calculation unit, 30 ... cell viability determination unit, 31 ... template image acquisition unit, 32 ... parameter acquisition unit, 33 ... continuous image acquisition unit, 34 ... cell region extraction unit, 35 ... feature amount calculation unit, 36 DESCRIPTION OF SYMBOLS ... Same cell connection part, 37 ... Feature value evaluation value calculation part, 38 ... Determination part, 100 ... Cell viability determination system, 110 ... Transmission imaging light source irradiation part, 111 ... Transmission light source, 112 ... Lens, 113 ... Ring Lit, 114 ... lens, 130 ... objective lens, 140 ... interference light imaging unit, 141 ... phase plate 142 ... lens, 150 ... culture management unit, 151 ... culture solution, 152 ... temperature controller, 160 ... imaging device

Claims (8)

観察対象の細胞の位相差画像を連続的に取得する連続画像取得部と、
前記細胞に関するテンプレート画像を取得するテンプレート画像取得部と、
前記細胞に関するHuモーメントの特徴量評価値を線形結合するためのパラメータ取得するパラメータ取得部と、
取得した各画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出部と、
前記細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出部と、
連続する画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結部と、
連続する画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出部と、
算出した特徴量評価値を前記パラメータで線形結合した値に基づいて、細胞の生死を判定する判定部と、
を備えたことを特徴とする細胞生死判定システム。
A continuous image acquisition unit for continuously acquiring phase difference images of cells to be observed;
A template image acquisition unit for acquiring a template image related to the cells;
A parameter acquisition unit for acquiring a parameter for linearly combining the feature value evaluation value of the Hu moment with respect to the cell;
A cell region extraction unit that extracts a cell region from each acquired image using the template image;
A feature amount calculation unit for calculating a plurality of feature amounts of the Hu moment for each cell region;
About the cell region included in the continuous image, the same cell connection part that connects the same cells,
A feature amount evaluation value calculation unit that calculates a feature amount evaluation value for each feature amount with respect to dispersion of the feature amount of the same cell in successive images;
Based on a value obtained by linearly combining the calculated feature value evaluation value with the parameter, a determination unit that determines whether the cell is alive or dead,
A cell viability determination system comprising:
前記連続画像取得部は、各画像を取得した時刻を記録し、
前記判定部は、この時刻に基づいて、生細胞が死細胞に変化した時刻を記録することを特徴とする請求項1に記載の細胞生死判定システム。
The continuous image acquisition unit records the time when each image is acquired,
2. The cell viability determination system according to claim 1, wherein the determination unit records a time at which a living cell is changed to a dead cell based on the time.
基準データ作成用の細胞の位相差画像を連続的に取得する連続画像取得部と、
取得した画像の一部について、細胞領域および細胞の生死情報の入力を受け付ける細胞情報入力受付部と、
受け付けた細胞領域に基づいてテンプレート画像を生成するテンプレート画像生成部と、
取得した各画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出部と、
抽出された細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出部と、
連続する画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結部と、
連続する画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出部と、
算出した特徴量評価値をパラメータで線形結合した値が前記同一細胞として連結された細胞の生死を表わすようにパラメータの値を設定するパラメータ算出部と、
を備えたことを特徴とする細胞生死判定システム。
A continuous image acquisition unit for continuously acquiring phase difference images of cells for creating reference data;
For a part of the acquired image, a cell information input receiving unit that receives input of cell area and cell life / death information,
A template image generation unit that generates a template image based on the received cell region;
A cell region extraction unit that extracts a cell region from each acquired image using the template image;
A feature amount calculation unit for calculating a plurality of feature amounts of the Hu moment for each extracted cell region;
About the cell region included in the continuous image, the same cell connection part that connects the same cells,
A feature amount evaluation value calculation unit that calculates a feature amount evaluation value for each feature amount with respect to dispersion of the feature amount of the same cell in successive images;
A parameter calculation unit that sets a value of the parameter so that a value obtained by linearly combining the calculated feature amount evaluation value with the parameter represents the life and death of the cells connected as the same cell ;
A cell viability determination system comprising:
前記パラメータ算出部は、サポートベクターマシンを用いてパラメータの値を設定することを特徴とする請求項3に記載の細胞生死判定システム。   4. The cell viability determination system according to claim 3, wherein the parameter calculation unit sets a parameter value using a support vector machine. 基準データ作成用の細胞の位相差画像および観察対象の細胞の位相差画像を連続的に取得する連続画像取得部と、
取得した基準データ作成用の細胞の位相差画像の一部について、細胞領域および細胞の生死情報の入力を受け付ける細胞情報入力受付部と、
受け付けた細胞領域に基づいてテンプレート画像を生成するテンプレート画像生成部と、
取得した各画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出部と、
抽出された細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出部と、
連続する画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結部と、
連続する画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出部と、
算出した特徴量評価値をパラメータで線形結合した値が前記同一細胞として連結された細胞の生死を表わすようにパラメータの値を設定するパラメータ算出部と、
算出した特徴量評価値を前記パラメータで線形結合した値に基づいて、細胞の生死を判定する判定部と、を備えたことを特徴とする細胞生死判定システム。
A continuous image acquisition unit for continuously acquiring a phase difference image of cells for creating reference data and a phase difference image of cells to be observed;
A cell information input receiving unit that receives input of cell area and cell life / death information for a part of the acquired phase difference image of the cell for reference data creation,
A template image generation unit that generates a template image based on the received cell region;
A cell region extraction unit that extracts a cell region from each acquired image using the template image;
A feature amount calculation unit for calculating a plurality of feature amounts of the Hu moment for each extracted cell region;
About the cell region included in the continuous image, the same cell connection part that connects the same cells,
A feature amount evaluation value calculation unit that calculates a feature amount evaluation value for each feature amount with respect to dispersion of the feature amount of the same cell in successive images;
A parameter calculation unit that sets a value of the parameter so that a value obtained by linearly combining the calculated feature amount evaluation value with the parameter represents the life and death of the cells connected as the same cell ;
A cell viability determination system, comprising: a determination unit that determines cell viability based on a value obtained by linearly combining the calculated feature value evaluation values with the parameters.
観察対象の細胞の位相差画像を連続的に取得する連続画像取得ステップと、
前記細胞に関するテンプレート画像を取得するテンプレート画像取得ステップと、
前記細胞に関するHuモーメントの特徴量評価値を線形結合するためのパラメータ取得するパラメータ取得ステップと、
取得した各画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出ステップと、
前記細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出ステップと、
連続する画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結ステップと、
連続する画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出ステップと、
算出した特徴量評価値を前記パラメータで線形結合した値に基づいて、細胞の生死を判定する判定ステップと、
を有することを特徴とする細胞生死判定方法。
A continuous image acquisition step for continuously acquiring phase difference images of cells to be observed;
A template image obtaining step for obtaining a template image relating to the cells;
A parameter acquisition step of acquiring a parameter for linearly combining the feature value evaluation value of the Hu moment with respect to the cell;
A cell region extraction step of extracting a cell region from each acquired image using the template image;
A feature amount calculating step for calculating a plurality of feature amounts of the Hu moment for each cell region;
For the cell region included in the continuous image, the same cell linking step for linking the same cells;
A feature amount evaluation value calculating step for calculating, for each feature amount, a feature amount evaluation value related to dispersion of the feature amount of the same cell in successive images;
A determination step for determining whether a cell is viable based on a value obtained by linearly combining the calculated feature value evaluation value with the parameter;
A cell viability determination method characterized by comprising:
基準データ作成用の細胞の位相差画像を連続的に取得する連続画像取得ステップと、
取得した画像の一部について、細胞領域および細胞の生死情報の入力を受け付ける細胞情報入力受付ステップと、
受け付けた細胞領域に基づいてテンプレート画像を生成するテンプレート画像生成ステップと、
取得した各画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出ステップと、
抽出された細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出ステップと、
連続する画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結ステップと、
連続する画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出ステップと、
算出した特徴量評価値をパラメータで線形結合した値が前記同一細胞として連結された細胞の生死を表わすようにパラメータの値を設定するパラメータ算出ステップと、
を有することを特徴とする細胞生死判定方法。
A continuous image acquisition step for continuously acquiring phase difference images of cells for creating reference data;
Cell information input receiving step for receiving input of cell area and cell life / death information for a part of the acquired image;
A template image generation step for generating a template image based on the received cell region;
A cell region extraction step of extracting a cell region from each acquired image using the template image;
A feature amount calculating step for calculating a plurality of feature amounts of the Hu moment for each extracted cell region;
For the cell region included in the continuous image, the same cell linking step for linking the same cells;
A feature amount evaluation value calculating step for calculating, for each feature amount, a feature amount evaluation value related to dispersion of the feature amount of the same cell in successive images;
A parameter calculation step of setting a value of the parameter so that a value obtained by linearly combining the calculated feature value evaluation value with the parameter represents the life and death of the cells connected as the same cell ;
A cell viability determination method characterized by comprising:
基準データ作成用の細胞の位相差画像を連続的に取得する基準データ作成用画像取得ステップと、
取得した基準データ作成用画像の一部について、細胞領域および細胞の生死情報の入力を受け付ける細胞情報入力受付ステップと、
受け付けた細胞領域に基づいてテンプレート画像を生成するテンプレート画像生成ステップと、
取得した各基準データ作成用画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出ステップと、
抽出された細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出ステップと、
連続する基準データ作成用画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結ステップと、
連続する基準データ作成用画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出ステップと、
算出した特徴量評価値をパラメータで線形結合した値が前記同一細胞として連結された細胞の生死を表わすようにパラメータの値を設定するパラメータ算出ステップと、
観察対象の細胞の位相差画像を連続的に取得する観察対象画像取得ステップと、
取得した各観察対象画像から前記テンプレート画像を用いて細胞領域を抽出する細胞領域抽出ステップと、
前記細胞領域毎にHuモーメントの複数個の特徴量を算出する特徴量算出ステップと、
連続する観察対象画像に含まれる細胞領域について、同一の細胞を連結する同一細胞連結ステップと、
連続する観察対象画像における同一細胞の前記特徴量の分散に関する特徴量評価値を特徴量毎に算出する特徴量評価値算出ステップと、
算出した特徴量評価値を前記パラメータで線形結合した値に基づいて、細胞の生死を判定する判定ステップと、
を有することを特徴とする細胞生死判定方法。
An image acquisition step for creating reference data for continuously obtaining phase difference images of cells for creating reference data,
Cell information input acceptance step for accepting input of cell area and cell life / death information for a portion of the acquired reference data creation image;
A template image generation step for generating a template image based on the received cell region;
A cell region extraction step for extracting a cell region from each acquired reference data creation image using the template image;
A feature amount calculating step for calculating a plurality of feature amounts of the Hu moment for each extracted cell region;
For the cell region included in the continuous reference data creation image, the same cell connection step for connecting the same cells,
A feature amount evaluation value calculating step for calculating, for each feature amount, a feature amount evaluation value related to dispersion of the feature amount of the same cell in continuous reference data creation images;
A parameter calculation step of setting a value of the parameter so that a value obtained by linearly combining the calculated feature value evaluation value with the parameter represents the life and death of the cells connected as the same cell ;
An observation target image acquisition step for continuously acquiring phase difference images of cells to be observed;
A cell region extraction step of extracting a cell region from each acquired image to be observed using the template image;
A feature amount calculating step for calculating a plurality of feature amounts of the Hu moment for each cell region;
For the cell region included in the continuous observation target image, the same cell connection step of connecting the same cells,
A feature amount evaluation value calculating step for calculating, for each feature amount, a feature amount evaluation value related to dispersion of the feature amount of the same cell in successive observation target images;
A determination step for determining whether a cell is viable based on a value obtained by linearly combining the calculated feature value evaluation value with the parameter;
A cell viability determination method characterized by comprising:
JP2014092481A 2014-04-28 2014-04-28 Cell viability determination system, cell viability determination method Active JP6284024B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014092481A JP6284024B2 (en) 2014-04-28 2014-04-28 Cell viability determination system, cell viability determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014092481A JP6284024B2 (en) 2014-04-28 2014-04-28 Cell viability determination system, cell viability determination method

Publications (2)

Publication Number Publication Date
JP2015210212A JP2015210212A (en) 2015-11-24
JP6284024B2 true JP6284024B2 (en) 2018-02-28

Family

ID=54612487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014092481A Active JP6284024B2 (en) 2014-04-28 2014-04-28 Cell viability determination system, cell viability determination method

Country Status (1)

Country Link
JP (1) JP6284024B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3567096A4 (en) 2017-01-06 2020-10-21 Olympus Corporation Cell observation system
JP2019058156A (en) 2017-09-28 2019-04-18 オリンパス株式会社 Image processing device and cell observation system
CN111919117B (en) * 2018-03-20 2023-01-24 株式会社岛津制作所 Cell image analysis device, cell image analysis system, learning data generation method, learning data generation program, manufacturing method, and learning model generation method
AU2022264261A1 (en) * 2021-04-28 2023-11-09 Fujifilm Corporation Cell culture system and method for adjusting viable cell concentration
AU2022263866A1 (en) * 2021-04-28 2023-11-09 Fujifilm Corporation Cell life/death determining method, cell life/death determining device, and cell life/death determining system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0546766A (en) * 1991-08-15 1993-02-26 Canon Inc Method and device for computing moment
US7225107B2 (en) * 2001-05-24 2007-05-29 Test Advantage, Inc. Methods and apparatus for data analysis
US20070031819A1 (en) * 2005-04-26 2007-02-08 University Of Washington Microfluidic systems for biological and molecular analysis and methods thereof
JP4968595B2 (en) * 2008-07-23 2012-07-04 株式会社ニコン Cell state discrimination method and cell observation image processing apparatus
JP5387147B2 (en) * 2009-06-03 2014-01-15 日本電気株式会社 Pathological image diagnostic system, pathological image processing method, pathological image diagnostic program
JP5861428B2 (en) * 2011-12-08 2016-02-16 大日本印刷株式会社 Cell behavior detection apparatus, cell behavior detection method, and program
JP5984559B2 (en) * 2012-07-31 2016-09-06 オリンパス株式会社 Necrotic cell region detection apparatus and method, and necrotic cell region detection program

Also Published As

Publication number Publication date
JP2015210212A (en) 2015-11-24

Similar Documents

Publication Publication Date Title
JP7344568B2 (en) Method and system for digitally staining label-free fluorescent images using deep learning
US11262571B2 (en) Determining a staining-quality parameter of a blood sample
JP6284024B2 (en) Cell viability determination system, cell viability determination method
JP6791245B2 (en) Image processing device, image processing method and image processing program
WO2017150194A1 (en) Image processing device, image processing method, and program
JP6960935B2 (en) Improved image analysis algorithm using control slides
US9916665B2 (en) Cell tracking device and method, and storage medium non-transitory storing computer-readable cell tracking programs
US20230384223A1 (en) Method and fluorescence microscope for determining the location of individual fluorescent dye molecules by means of adaptive scanning
Meijering et al. Time-lapse imaging
JP4728025B2 (en) Cell image analyzer
JP7156361B2 (en) Image processing method, image processing apparatus and program
US20240048685A1 (en) Automated fluorescence imaging and single cell segmentation
JP7135303B2 (en) Computer program, detection device, imaging device, server, detector, detection method and provision method
CN107367456B (en) Washing-free image class flow type fluorescence detection method and system
Rieger et al. Image processing and analysis for single-molecule localization microscopy: Computation for nanoscale imaging
JP2000292422A (en) Scanning site meter
JP6777147B2 (en) Image selection device, image selection program, arithmetic unit, and display device
US20220383629A1 (en) Label-free cell classification and screening system based on hybrid transfer learning
JP2009041953A (en) Quantitative analyzer, quantitative analyzing method and quantitative analyzing program
JP2006113462A (en) Three-dimensional position tracking method for single particles
JP2023546193A (en) How to classify a sequence of input images representing particles in a sample over time
JP4344862B2 (en) Method and apparatus for automatic detection of observation object
JP5325620B2 (en) Image analysis apparatus, image analysis method, and program
JP6832165B2 (en) Observation system
US20220276170A1 (en) Information processing device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180118

R150 Certificate of patent or registration of utility model

Ref document number: 6284024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150