JP2021027836A - Cell evaluation device, incubator and program - Google Patents
Cell evaluation device, incubator and program Download PDFInfo
- Publication number
- JP2021027836A JP2021027836A JP2020190301A JP2020190301A JP2021027836A JP 2021027836 A JP2021027836 A JP 2021027836A JP 2020190301 A JP2020190301 A JP 2020190301A JP 2020190301 A JP2020190301 A JP 2020190301A JP 2021027836 A JP2021027836 A JP 2021027836A
- Authority
- JP
- Japan
- Prior art keywords
- image
- neurite
- cell
- cells
- rosette
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、細胞評価装置、インキュベータおよびプログラムに関する The present invention relates to cell evaluation devices, incubators and programs.
ＥＳ（Embryonic Stem）細胞やｉＰＳ（induced Pluripotent Stem）細胞などの幹細胞は、すべての組織に分化することが可能で、かつ、無限に増殖させることができることから、例えば再生医療などで応用されている。そして、ヒトのＥＳ細胞やｉＰＳ細胞を神経細胞へ分化培養させることも行われている状況にある。 Stem cells such as ES (Embryonic Stem) cells and iPS (induced Pluripotent Stem) cells can differentiate into all tissues and can proliferate indefinitely, so they are applied in, for example, regenerative medicine. .. In addition, human ES cells and iPS cells are also being differentiated and cultured into nerve cells.
幹細胞を神経細胞へと分化培養させるにあたり、神経細胞の分化過程において外形的に固有で特徴的な構造物が細胞に出現することが知られている。したがって、神経細胞への分化状態を評価するにあたり、このような神経細胞への分化過程において固有な構造物を評価することは有効である。 When stem cells are differentiated and cultured into nerve cells, it is known that externally unique and characteristic structures appear in the cells in the process of differentiation of nerve cells. Therefore, in evaluating the state of differentiation into nerve cells, it is effective to evaluate structures unique to the process of differentiation into nerve cells.
上記のような構造物の状態の評価は目視により行わる。しかし、目視による評価では、人の労力を必要とするうえ、観察者の主観によるところが大きく定量化もできないために評価結果に再現性を与えにくい。また、例えば細胞をインキュベータから取り出して観察することになるために観察中における細胞の品質の劣化を招き、品質が不安定になってしまうことにもなる。 The state of the structure as described above is evaluated visually. However, visual evaluation requires human labor and is difficult to give reproducibility to the evaluation result because it depends largely on the subjectivity of the observer and cannot be quantified. Further, for example, since the cells are taken out from the incubator and observed, the quality of the cells is deteriorated during the observation, and the quality becomes unstable.
そこで、例えば神経細胞における構造物に対応するタンパク質の存在を蛍光抗体により染色して確認するという手法が知られている（例えば、非特許文献１参照）。この手法であれば、染色された細胞の状態により構造物を特定することができるために、評価結果に再現性を与えることができる。 Therefore, for example, a method is known in which the presence of a protein corresponding to a structure in a nerve cell is confirmed by staining with a fluorescent antibody (see, for example, Non-Patent Document 1). With this method, the structure can be identified by the state of the stained cells, so that the evaluation result can be reproducible.
しかしながら、非特許文献１の手法においては細胞を染色するための作業に比較的時間や手間を要してしまうため、人的負担は大きい。また、非特許文献１の手法では細胞が染色されることにより侵襲が生じてしまうために、観察対象の細胞を引き続き分化培養に用いることができない。 However, in the method of Non-Patent Document 1, the work for staining cells requires a relatively long time and labor, so that the human burden is large. Further, in the method of Non-Patent Document 1, since the cells are stained and invasion occurs, the cells to be observed cannot be continuously used for differentiation culture.
本発明は、このような事情に鑑みてなされたもので、人的労力の軽減を図りながら、非侵襲かつ安定的に神経細胞への分化状態を評価できるようにすることを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to enable non-invasive and stable evaluation of the state of differentiation into nerve cells while reducing human labor.
上述した課題を解決するために、本発明の一態様としての細胞評価装置は、撮像された撮像画像から神経細胞の神経突起の候補としてオブジェクトを抽出し、前記オブジェクトを線状に変換する細線化を行うと共に、前記撮像画像から前記細線化されたオブジェクトの長さを算出し、前記オブジェクトの長さを基準に前記オブジェクトの中から前記神経細胞の神経突起を抽出する第１の抽出部と、前記第１の抽出部で算出された前記神経突起の長さを用いて、抽出された前記神経突起を有する前記神経細胞の生育状態を判定する第１の判定部と、を備える。 In order to solve the above-mentioned problems, the cell evaluation device as one aspect of the present invention extracts an object as a candidate for a neurite of a nerve cell from an captured image and thins the object into a linear shape. And a first extraction unit that calculates the length of the thinned object from the captured image and extracts the neurite of the nerve cell from the object based on the length of the object. It is provided with a first determination unit for determining the growth state of the nerve cell having the extracted neurite using the length of the neurite calculated by the first extraction unit.
また、本発明の一態様としてのインキュベータは、細胞評価装置と、神経細胞の培養を行う恒温室と、神経細胞の画像を撮像するための観察ユニットとを備える。 Further, the incubator as one aspect of the present invention includes a cell evaluation device, a constant temperature room for culturing nerve cells, and an observation unit for capturing an image of nerve cells.
また、本発明の一態様としてのプログラムは、コンピュータに、撮像された撮像画像から神経細胞の神経突起の候補としてオブジェクトを抽出し、前記オブジェクトを線状に変換する細線化を行うと共に、前記撮像画像から前記細線化されたオブジェクトの長さを算出し、前記オブジェクトの長さを基準に前記オブジェクトの中から前記神経細胞の神経突起を抽出する第１の抽出ステップと、前記第1の抽出ステップにより算出された前記神経突起の長さを用いて、抽出された前記神経突起を有する前記神経細胞の生育状態を判定する第１の判定ステップと、を実行させるためのものである。 Further, in the program as one aspect of the present invention, an object is extracted by a computer as a candidate for a neurite of a nerve cell from the captured image, and the object is thinned to be linearly converted into a line, and the image is taken. A first extraction step of calculating the length of the thinned object from an image and extracting a neurite of the nerve cell from the object based on the length of the object, and the first extraction step. The purpose is to execute the first determination step of determining the growth state of the nerve cell having the extracted neurite using the length of the neurite calculated in the above.
以上説明したように、本発明によれば、人的労力の軽減を図りながら、非侵襲かつ安定的に神経細胞への分化状態を評価できるという効果が得られる。 As described above, according to the present invention, it is possible to obtain an effect that the state of differentiation into nerve cells can be evaluated non-invasively and stably while reducing human labor.
［インキュベータの構成例］
図１〜図３を参照して、本発明の実施形態における細胞評価装置が適用されるインキュベータ１１について説明する。
図１と図２は、インキュベータ１１の構造例を示している。図１はインキュベータ１１の正面図であり、図２はインキュベータ１１の平面図である。また、図３は、インキュベータ１１の構成例を示している。
[Example of incubator configuration]
The incubator 11 to which the cell evaluation device according to the embodiment of the present invention is applied will be described with reference to FIGS. 1 to 3.
1 and 2 show a structural example of the incubator 11. FIG. 1 is a front view of the incubator 11, and FIG. 2 is a plan view of the incubator 11. Further, FIG. 3 shows a configuration example of the incubator 11.
これらの図に示すインキュベータ１１は、上部ケーシング１２と下部ケーシング１３とを有している。インキュベータ１１の組立状態において、上部ケーシング１２は下部ケーシング１３の上に載置される。なお、上部ケーシング１２と下部ケーシング１３との内部空間は、ベースプレート１４によって上下に仕切られている。 The incubator 11 shown in these figures has an upper casing 12 and a lower casing 13. In the assembled state of the incubator 11, the upper casing 12 is placed on the lower casing 13. The internal space between the upper casing 12 and the lower casing 13 is vertically partitioned by the base plate 14.
まず、上部ケーシング１２の内部には、細胞の培養を行う恒温室１５が設けられる。この恒温室１５は温度調整装置１５ａおよび湿度調整装置１５ｂを有しており、恒温室１５内は細胞の培養に適した環境（例えば温度３７℃、湿度９０％の雰囲気）に維持されている（なお、図１と図２において温度調整装置１５ａ、湿度調整装置１５ｂ、回収装置５１、播種装置５２および培地交換装置５３の図示は省略する）。 First, a thermostatic chamber 15 for culturing cells is provided inside the upper casing 12. The constant temperature room 15 has a temperature control device 15a and a humidity control device 15b, and the inside of the constant temperature room 15 is maintained in an environment suitable for cell culture (for example, an atmosphere having a temperature of 37 ° C. and a humidity of 90%). Note that the temperature adjusting device 15a, the humidity adjusting device 15b, the collecting device 51, the seeding device 52, and the medium changing device 53 are not shown in FIGS. 1 and 2).
恒温室１５の前面には、大扉１６、中扉１７、小扉１８が配置されている。大扉１６は、上部ケーシング１２および下部ケーシング１３の前面を覆っている。中扉１７は、上部ケーシング１２の前面を覆っており、大扉１６の開放時に恒温室１５と外部との環境を隔離する。小扉１８は、細胞を培養する培養容器１９を搬出入するための扉であって、中扉１７に取り付けられている。この小扉１８から培養容器１９を搬出入することで、恒温室１５の環境変化を抑制することが可能となる。なお、大扉１６、中扉１７、小扉１８は、パッキンＰ１，Ｐ２，Ｐ３によりそれぞれ気密性が維持されている。 A large door 16, a middle door 17, and a small door 18 are arranged in front of the constant temperature room 15. The large door 16 covers the front surfaces of the upper casing 12 and the lower casing 13. The middle door 17 covers the front surface of the upper casing 12 and isolates the environment between the constant temperature room 15 and the outside when the large door 16 is opened. The small door 18 is a door for carrying in and out the culture container 19 for culturing cells, and is attached to the middle door 17. By carrying in and out the culture container 19 from the small door 18, it is possible to suppress environmental changes in the homeothermic chamber 15. The large door 16, the middle door 17, and the small door 18 are maintained in airtightness by packings P1, P2, and P3, respectively.
また、恒温室１５には、ストッカー２１、観察ユニット２２、容器搬送装置２３、搬送台２４が配置されている。ここで、搬送台２４は、小扉１８の手前に配置されており、培養容器１９を小扉１８から搬出入する。 In addition, a stocker 21, an observation unit 22, a container transport device 23, and a transport stand 24 are arranged in the homeothermic chamber 15. Here, the transport table 24 is arranged in front of the small door 18, and the culture container 19 is carried in and out from the small door 18.
ストッカー２１は、上部ケーシング１２の前面（図３の下側）からみて恒温室１５の左側に配置される。ストッカー２１は複数の棚を有しており、ストッカー２１の各々の棚には培養容器１９を複数収納することができる。なお、各々の培養容器１９には、培養の対象となる細胞が培地とともに収容されている。 The stocker 21 is arranged on the left side of the homeothermic chamber 15 when viewed from the front surface (lower side of FIG. 3) of the upper casing 12. The stocker 21 has a plurality of shelves, and a plurality of culture containers 19 can be stored in each shelf of the stocker 21. In each culture vessel 19, cells to be cultured are housed together with a medium.
観察ユニット２２は、上部ケーシング１２の前面からみて恒温室１５の右側に配置される。
ここで、観察ユニット２２は、上部ケーシング１２のベースプレート１４の開口部に嵌め込まれて配置される。観察ユニット２２は、試料台３１と、試料台３１の上方に張り出したスタンドアーム３２と、位相差観察用の顕微光学系および撮像装置３３ａを内蔵した本体部分３３とを有している。そして、試料台３１およびスタンドアーム３２は恒温室１５に配置される一方で、本体部分３３は下部ケーシング１３内に収納される。
The observation unit 22 is arranged on the right side of the homeothermic chamber 15 when viewed from the front surface of the upper casing 12.
Here, the observation unit 22 is fitted and arranged in the opening of the base plate 14 of the upper casing 12. The observation unit 22 includes a sample table 31, a stand arm 32 protruding above the sample table 31, and a main body portion 33 incorporating a microscopic optical system for phase difference observation and an image pickup device 33a. The sample base 31 and the stand arm 32 are arranged in the constant temperature room 15, while the main body portion 33 is housed in the lower casing 13.
試料台３１は透光性の材質で構成されており、その上に培養容器１９を載置することができる。この試料台３１は水平方向に移動可能に構成されており、上面に載置した培養容器１９の位置を調整できる。また、スタンドアーム３２にはＬＥＤ光源３３ｂが内蔵されている。そして、撮像装置３３ａは、スタンドアーム３２によって試料台３１の上側から透過照明された培養容器１９の細胞を、顕微光学系を介して撮像することで細胞の顕微鏡画像を取得できる。 The sample table 31 is made of a translucent material, on which the culture vessel 19 can be placed. The sample table 31 is configured to be movable in the horizontal direction, and the position of the culture vessel 19 placed on the upper surface can be adjusted. Further, the stand arm 32 has a built-in LED light source 33b. Then, the imaging device 33a can acquire a microscopic image of the cells by imaging the cells of the culture vessel 19 transmitted and illuminated from above the sample table 31 by the stand arm 32 via the microscopic optical system.
容器搬送装置２３は、上部ケーシング１２の前面からみて恒温室１５の中央に配置される。この容器搬送装置２３は、ストッカー２１、観察ユニット２２の試料台３１および搬送台２４との間で培養容器１９の受け渡しを行う。 The container transport device 23 is arranged in the center of the homeothermic chamber 15 when viewed from the front surface of the upper casing 12. The container transfer device 23 transfers the culture container 19 between the stocker 21, the sample table 31 of the observation unit 22, and the transfer table 24.
また、容器搬送装置２３は、多関節アームを有する垂直ロボット３４と、回転ステージ３５と、ミニステージ３６と、アーム部３７とを有している。回転ステージ３５は、垂直ロボット３４の先端部に回転軸３５ａを介して水平方向に１８０°回転可能に取り付けられている。そのため、回転ステージ３５は、ストッカー２１、試料台３１および搬送台２４に対して、アーム部３７をそれぞれ対向させることができる。 Further, the container transport device 23 has a vertical robot 34 having an articulated arm, a rotary stage 35, a mini stage 36, and an arm portion 37. The rotary stage 35 is attached to the tip of the vertical robot 34 so as to be rotatable 180 ° in the horizontal direction via the rotary shaft 35a. Therefore, in the rotary stage 35, the arm portion 37 can face the stocker 21, the sample table 31, and the transport table 24, respectively.
また、ミニステージ３６は、回転ステージ３５に対して水平方向に摺動可能に取り付けられている。ミニステージ３６には培養容器１９を把持するアーム部３７が取り付けられている。 Further, the mini stage 36 is slidably attached to the rotary stage 35 in the horizontal direction. An arm portion 37 for gripping the culture vessel 19 is attached to the mini stage 36.
次に、下部ケーシング１３について説明する。下部ケーシング１３の内部には、観察ユニット２２の本体部分３３や、インキュベータ１１の制御装置４０が収納されている。 Next, the lower casing 13 will be described. Inside the lower casing 13, the main body 33 of the observation unit 22 and the control device 40 of the incubator 11 are housed.
制御装置４０は、温度調整装置１５ａ、湿度調整装置１５ｂ、観察ユニット２２、容器搬送装置２３、回収装置５１、播種装置５２および培地交換装置５３とそれぞれ接続されている。この制御装置４０は、所定のプログラムに従ってインキュベータ１１の各部を統括的に制御する。 The control device 40 is connected to a temperature control device 15a, a humidity control device 15b, an observation unit 22, a container transport device 23, a recovery device 51, a seeding device 52, and a medium exchange device 53, respectively. The control device 40 comprehensively controls each part of the incubator 11 according to a predetermined program.
一例として、制御装置４０は、温度調整装置１５ａおよび湿度調整装置１５ｂをそれぞれ制御して恒温室１５内を所定の環境条件に維持する。また、制御装置４０は、観察ユニット２２、容器搬送装置２３、回収装置５１、播種装置５２、培地交換装置５３などを制御して、培養容器１９の観察シーケンスを自動的に実行する。さらに、制御装置４０は、観察シーケンスで取得した画像に基づいて、細胞の培養状態の評価を行う培養状態評価処理を実行する。 As an example, the control device 40 controls the temperature control device 15a and the humidity control device 15b, respectively, to maintain the inside of the constant temperature room 15 under predetermined environmental conditions. Further, the control device 40 controls the observation unit 22, the container transport device 23, the recovery device 51, the seeding device 52, the medium exchange device 53, and the like, and automatically executes the observation sequence of the culture container 19. Further, the control device 40 executes a culture state evaluation process for evaluating the culture state of the cells based on the image acquired in the observation sequence.
本実施形態のインキュベータ１１は、例えばヒト由来の皮膚細胞を神経細胞へ分化培養するのに使用される。図３においては、神経細胞への分化培養に対応する制御装置４０の機能構成例を示している。なお、この制御装置４０における各機能部の動作は、例えば制御装置４０を形成するＣＰＵ（Central Processing Unit）にプログラムを実行させることにより実現される。 The incubator 11 of the present embodiment is used, for example, for differentiating and culturing human-derived skin cells into nerve cells. FIG. 3 shows an example of the functional configuration of the control device 40 corresponding to the differentiation culture into nerve cells. The operation of each functional unit in the control device 40 is realized, for example, by causing a CPU (Central Processing Unit) forming the control device 40 to execute a program.
制御装置４０は、神経細胞への分化培養に対応して、記憶部４１、画像入力部４２、全焦点画像生成部４３、ロゼッタ抽出部４４、神経突起抽出部４５、ロゼッタ対応判定部４６、神経突起対応判定部４７、総合判定部４８および装置制御部４９を備える。 The control device 40 corresponds to the differentiation culture into nerve cells, and corresponds to the storage unit 41, the image input unit 42, the omnifocal image generation unit 43, the rosette extraction unit 44, the neurite extraction unit 45, the rosette correspondence determination unit 46, and the nerve. It includes a protrusion correspondence determination unit 47, a comprehensive determination unit 48, and a device control unit 49.
記憶部４１は、制御装置４０が必要とする各種のデータを記憶する。
画像入力部４２は、撮像装置３３ａにより撮像される撮像画像を入力する。本実施形態において、撮像装置３３ａは、位相差観察用の顕微光学系により観察された顕微鏡画像、つまり、光の位相差をコントラストに変換した位相差画像を撮像する。また、撮像装置３３ａは、予め決定されたｘｙ平面上における撮像位置をＺ方向（標本の深さ方向）に添って焦点位置を変え、各焦点位置での撮像画像を行って撮像画像を出力する。このように得られる撮像画像の各々が単焦点画像である。画像入力部４２は、これらの位相差画像としての単焦点画像を入力する。
The storage unit 41 stores various data required by the control device 40.
The image input unit 42 inputs an captured image captured by the imaging device 33a. In the present embodiment, the image pickup apparatus 33a captures a microscope image observed by a microscopic optical system for phase contrast observation, that is, a phase contrast image obtained by converting the phase difference of light into contrast. Further, the imaging device 33a changes the focal position of the imaging position on the predetermined xy plane along the Z direction (the depth direction of the sample), performs the imaging image at each focal position, and outputs the captured image. .. Each of the captured images obtained in this way is a single focus image. The image input unit 42 inputs a single focus image as these phase difference images.
全焦点画像生成部４３は、画像入力部４２が入力した複数の単焦点画像を利用して全焦点画像を生成する。具体的に、全焦点画像生成部４３は、例えば細胞の厚さ方向の位置において焦点が合った領域を取り出し、これらの領域を合成するように全焦点画像を生成する。なお、このような全焦点画像は、例えばＥＤＦ（Extend Depth of Focus）画像ともいう。
例えば、幹細胞から神経細胞への分化過程においては、ロゼッタといわれる構造物が出現するのに応じて細胞表面の起伏に変化が生じる。このために、単焦点画像では、焦点が合ってコントラストが高い領域と焦点が合わずにコントラストが低い状態の領域とが混在する。画像における構造物の位置は不定であるから、単焦点画像を神経細胞の分化状態の評価に利用したとしても、適切な判定結果を得ることは難しい。そこで、本実施形態では、ロゼッタ１００を抽出するにあたり全焦点画像を評価に利用する。これにより、適切な評価結果を得ることができる。
The omnifocal image generation unit 43 generates an omnifocal image by using a plurality of single focus images input by the image input unit 42. Specifically, the omnifocal image generation unit 43 takes out regions that are in focus at positions in the thickness direction of cells, for example, and generates omnifocal images so as to synthesize these regions. Such a omnifocal image is also referred to as an EDF (Extend Depth of Focus) image, for example.
For example, in the process of differentiation from stem cells to nerve cells, the undulations of the cell surface change in response to the appearance of a structure called rosetta. For this reason, in the single focus image, a region in which the focus is high and the contrast is high and a region in which the focus is not in focus and the contrast is low are mixed. Since the position of the structure in the image is indefinite, it is difficult to obtain an appropriate determination result even if the single focus image is used for evaluating the differentiation state of nerve cells. Therefore, in the present embodiment, the omnifocal image is used for evaluation when extracting the rosette 100. As a result, an appropriate evaluation result can be obtained.
ロゼッタ抽出部４４は、神経細胞への分化過程において細胞に固有に出現する構造物の１つであるロゼッタを全焦点画像（第１の原画像）から抽出する。 The rosetta extraction unit 44 extracts rosetta, which is one of the structures uniquely appearing in cells in the process of differentiation into nerve cells, from a omnifocal image (first original image).
神経突起抽出部４５（構造物抽出部）は、神経細胞への分化過程における構造物の１つである神経突起を単焦点画像（第２の原画像）から抽出する。なお、神経突起が出現する分化過程においては、神経突起以外に、死んだ細胞（以下、「死細胞」ともいう）と生きた細胞の細胞体（以下、「生細胞」ともいう）とが混在する状態となる。そこで、神経突起抽出部４５は、神経突起と死細胞と生細胞とをそれぞれ区別して抽出する。 The neurite extraction unit 45 (structure extraction unit) extracts neurites, which are one of the structures in the process of differentiation into nerve cells, from a single focus image (second original image). In the differentiation process in which neurites appear, in addition to neurites, dead cells (hereinafter, also referred to as "dead cells") and cell bodies of living cells (hereinafter, also referred to as "live cells") are mixed. It will be in a state of doing. Therefore, the neurite extraction unit 45 extracts the neurite, the dead cell, and the living cell separately.
ロゼッタ対応判定部４６は、ロゼッタ抽出部４４により抽出されたロゼッタの状態を判定する。また、ロゼッタ対応判定部４６は、判定したロゼッタの状態に基づいて細胞の分化誘導に関連する所定事項についての判定を行う。
神経突起対応判定部（構造物対応判定部）４７は、神経突起抽出部４５により抽出されたロゼッタの状態を判定する。また、神経突起対応判定部４７は、判定した神経突起の状態に基づいて細胞の分化誘導に関連する所定事項についての判定を行う。
総合判定部４８は、ロゼッタ対応判定部４６の判定結果と神経突起対応判定部４７の判定結果に基づいて細胞の分化誘導に関連する所定事項についての判定を行う。
The rosette correspondence determination unit 46 determines the state of the rosette extracted by the rosette extraction unit 44. In addition, the rosette correspondence determination unit 46 determines a predetermined item related to the induction of cell differentiation based on the determined state of the rosette.
The neurite correspondence determination unit (structure correspondence determination unit) 47 determines the state of the rosette extracted by the neurite extraction unit 45. In addition, the neurite correspondence determination unit 47 determines a predetermined item related to the induction of cell differentiation based on the determined state of the neurite.
The comprehensive determination unit 48 determines a predetermined item related to the induction of cell differentiation based on the determination result of the rosette correspondence determination unit 46 and the determination result of the neurite correspondence determination unit 47.
装置制御部４９は、撮像装置３３ａ、温度調整装置１５ａ、湿度調整装置１５ｂ、容器搬送装置２３、回収装置５１、播種装置５２および培地交換装置５３の動作を制御する。 The device control unit 49 controls the operations of the image pickup device 33a, the temperature control device 15a, the humidity control device 15b, the container transport device 23, the recovery device 51, the seeding device 52, and the medium exchange device 53.
［ロゼッタと神経突起］
本実施形態のインキュベータ１１は、神経細胞への分化過程において出現するロゼッタと神経突起の状態に基づいて神経細胞の分化状態についての評価を行う。そこで、図４と図５を参照してロゼッタと神経突起について説明する。
[Rosetta and neurites]
The incubator 11 of the present embodiment evaluates the differentiation state of nerve cells based on the states of rosettes and neurites that appear in the process of differentiation into nerve cells. Therefore, the rosette and the neurite will be described with reference to FIGS. 4 and 5.
図４は、幹細であるｉＰＳ（induced Pluripotent Stem）細胞が神経細胞に分化する過程を時間経過にしたがって示している。ｉＰＳ細胞を神経細胞へと分化誘導する培養を行うと、ｉＰＳ細胞は、神経上皮細胞、神経前駆細胞、成熟神経細胞の順で分化していく。 そして、神経上皮細胞から神経前駆細胞に分化しているときにロゼッタが出現する。 FIG. 4 shows the process of differentiation of iPS (induced Pluripotent Stem) cells, which are fine stems, into nerve cells over time. When iPS cells are cultured to induce differentiation into nerve cells, iPS cells differentiate in the order of neuroepithelial cells, neural progenitor cells, and mature neurons. Rosetta appears when the neuroepithelial cells are differentiated into neural progenitor cells.
図５（ａ）は、ロゼッタ１００が出現している状態の細胞を位相差顕微鏡により観察した位相差画像の例を示している。
ロゼッタ１００は、例えば、円柱状の細胞が放射状に配列されるような形状を有している。このロゼッタ１００は、その形状が特徴的であるうえに、神経細胞への分化過程において固有な構造物として初期に出現する。したがって、ロゼッタ１００の出現が確認されたということは、ｉＰＳ細胞などの幹細胞の神経細胞への分化誘導が成功したことを示している。
ロゼッタ１００が上記のような性質を有することを考慮すれば、神経細胞への分化状態の評価を行うにあたり、ロゼッタ１００の状態を評価することは有効であるといえる。そこで、本実施形態では、神経細胞への分化状態を評価するにあたり、まず、ロゼッタ１００の状態を判定するものである。
FIG. 5A shows an example of a phase-contrast image in which cells in a state in which Rosetta 100 appears are observed with a phase-contrast microscope.
The rosette 100 has, for example, a shape in which columnar cells are arranged radially. The rosette 100 is characteristic in its shape and initially appears as a unique structure in the process of differentiation into nerve cells. Therefore, the fact that the appearance of Rosetta 100 was confirmed indicates that the differentiation of stem cells such as iPS cells into nerve cells was successfully induced.
Considering that Rosetta 100 has the above-mentioned properties, it can be said that it is effective to evaluate the state of Rosetta 100 in evaluating the state of differentiation into nerve cells. Therefore, in the present embodiment, in evaluating the state of differentiation into nerve cells, the state of Rosetta 100 is first determined.
また、神経前駆細胞から成熟神経細胞へと分化する過程において神経突起が出現し、この神経突起が伸長するという現象が現れる。
なお、図４においては、幹細胞であるｉＰＳ細胞を利用した例を示しているが、ＥＳ（Embryonic Stem）細胞などの他の幹細胞やダイレクトリプログラミングによる他種の分化細胞などを利用して神経細胞への分化培養を行った場合にも、図４と同様の分化過程となる。
In addition, neurites appear in the process of differentiating from neural progenitor cells to mature nerve cells, and the phenomenon of neurite outgrowth appears.
Although FIG. 4 shows an example of using iPS cells, which are stem cells, nerve cells are used by using other stem cells such as ES (Embryonic Stem) cells and differentiated cells of other species by direct reprogramming. The differentiation process is the same as in FIG. 4 when the differentiation culture is performed.
図５（ｂ）は、神経細胞２００の構造を示している。神経細胞２００は、細胞体２１０と、この細胞体２１０から伸長する神経突起３００（軸索２２０と樹状突起２３０）を有する構造である。
細胞体２１０は、核を有し、丸く盛り上がるような形状である。
軸索２２０は、信号を出力する機能を有する。また、軸索２２０は、細く、その太さが一様であり、長く、小胞体やリボゾームはほとんど無い。また、軸索２２０の伸長速度は速い。
樹状突起２３０は、信号を受ける機能を有する。また、樹状突起２３０は、比較的太いが、先端にいくほど細くなる。また、その伸長速度は、遅い。
この神経細胞２００も、神経細胞の分化過程において固有に出現する構造物の１つである。また、培養過程の神経細胞においては、多数の神経細胞２００が重なり合う状態となり、軸索２２０と樹状突起２３０とを区別することが難しくなる。そこで、本実施形態においては、軸索２２０と樹状突起２３０とを区別することなく神経突起３００として、神経細胞２００における伸長部分として抽出する。また、併せて、神経細胞２００における生きた細胞体２１０も生細胞として抽出する。
FIG. 5B shows the structure of the nerve cell 200. The nerve cell 200 has a structure having a cell body 210 and a neurite 300 (axon 220 and dendrite 230) extending from the cell body 210.
The cell body 210 has a nucleus and is shaped like a round bulge.
The axon 220 has a function of outputting a signal. In addition, the axon 220 is thin, has a uniform thickness, is long, and has almost no endoplasmic reticulum or ribosome. In addition, the extension speed of the axon 220 is high.
The dendrite 230 has a function of receiving a signal. Further, the dendrite 230 is relatively thick, but becomes thinner toward the tip. Moreover, the elongation rate is slow.
This nerve cell 200 is also one of the structures uniquely appearing in the process of differentiation of nerve cells. Further, in the nerve cells in the culture process, a large number of nerve cells 200 are in an overlapping state, and it becomes difficult to distinguish between the axon 220 and the dendrite 230. Therefore, in the present embodiment, the axon 220 and the dendrite 230 are extracted as the neurite 300 as the extension portion in the nerve cell 200 without distinguishing between them. At the same time, the living cell body 210 in the nerve cell 200 is also extracted as a living cell.
［評価手順］
図６は、神経細胞へ分化誘導される細胞の分化状態をインキュベータ１１が評価するための手順例を示している。
まず、インキュベータ１１には、神経細胞へと分化誘導培養する幹細胞として、ヒト由来のｉＰＳ細胞またはＥＳ細胞が培養容器１９に収容される（ステップＳ１０１）。または、ダイレクトリプログラミングにより分化誘導する目的で、他種の分化細胞が培養容器１９に収容されてもよい（ステップＳ１０２）。
[Evaluation procedure]
FIG. 6 shows an example of a procedure for the incubator 11 to evaluate the differentiation state of cells induced to differentiate into nerve cells.
First, in the incubator 11, human-derived iPS cells or ES cells are housed in the culture vessel 19 as stem cells for inducing differentiation into nerve cells (step S101). Alternatively, differentiated cells of other species may be housed in the culture vessel 19 for the purpose of inducing differentiation by direct reprogramming (step S102).
ステップＳ１０１またはＳ１０２により培養容器１９に収容された幹細胞は、神経上皮細胞への分化誘導培養が行われる（ステップＳ１０３）。そして、神経上皮細胞への分化後、前駆細胞へと分化する過程において、ロゼッタ１００が出現する（ステップＳ１０４）。なお、このようにロゼッタ１００が出現した細胞は、継代による分化培養により増殖させることができる。 Stem cells housed in the culture vessel 19 in steps S101 or S102 are subjected to differentiation-inducing culture into neuroepithelial cells (step S103). Then, after differentiation into neuroepithelial cells, Rosetta 100 appears in the process of differentiating into progenitor cells (step S104). The cells in which Rosetta 100 appears can be proliferated by differentiation culture by subculture.
制御装置４０は、撮像装置３３ａにより撮像された画像（第１の撮像画像）を利用してロゼッタ１００を抽出するための画像処理を実行する（ステップＳ１０５）。このために、制御装置４０は、分化過程の細胞において出現したロゼッタ１００を撮像装置３３ａにより撮像させる。前述のように、撮像装置３３ａが撮像する画像は、位相差顕微鏡により観察される位相差画像であり、かつ、それぞれが異なる焦点位置による複数の単焦点画像である。そのうえで、制御装置４０は、例えば所定の時間間隔による撮像時刻ごとに撮像装置３３ａが複数の単焦点画像を撮像するように制御する。 The control device 40 executes image processing for extracting the rosette 100 by using the image (first captured image) captured by the image pickup device 33a (step S105). For this purpose, the control device 40 causes the imaging device 33a to image the rosette 100 that appears in the cells in the process of differentiation. As described above, the image captured by the imaging device 33a is a phase-contrast image observed by a phase-contrast microscope, and is a plurality of single-focus images, each of which has a different focal position. Then, the control device 40 controls the image pickup device 33a to capture a plurality of single focus images at each imaging time at a predetermined time interval, for example.
そして、制御装置４０における画像入力部４２は、撮像装置３３ａにより撮像された複数の単焦点画像を入力する。また、全焦点画像生成部４３は、同じ撮像時刻において撮像された複数の単焦点画像を利用して１つの全焦点画像を順次生成する。これにより、全焦点画像生成部４３は、撮像時刻ごとに対応する複数の全焦点画像を生成する。このように生成された複数の全焦点画像は、時系列にしたがったいわゆるタイムラプス画像である。 そして、ロゼッタ抽出部４４は、ステップＳ１０５としての画像処理によって全焦点画像からロゼッタ１００を抽出する。 Then, the image input unit 42 in the control device 40 inputs a plurality of single focus images captured by the image pickup device 33a. Further, the omnifocal image generation unit 43 sequentially generates one omnifocal image by using a plurality of single focus images captured at the same imaging time. As a result, the omnifocal image generation unit 43 generates a plurality of omnifocal images corresponding to each imaging time. The plurality of omnifocal images generated in this way are so-called time-lapse images in chronological order. Then, the rosette extraction unit 44 extracts the rosette 100 from the omnifocal image by the image processing as step S105.
次に、ロゼッタ対応判定部４６は、ステップＳ１０５により抽出されたロゼッタ１００を利用して、細胞に出現したロゼッタ１００の状態についての判定を行う（ステップＳ１０６）。ここでの判定項目は多様であり特に限定されるものではないが、例えば、ロゼッタ１００の質、量、および、その出現に要した期間などを基準として各種判定項目についての判定が行われる。 Next, the rosette correspondence determination unit 46 uses the rosette 100 extracted in step S105 to determine the state of the rosette 100 that has appeared in the cells (step S106). The determination items here are diverse and not particularly limited, but for example, determinations are made for various determination items based on the quality and quantity of the Rosetta 100, the period required for its appearance, and the like.
一例として、ロゼッタ対応判定部４６は、出現したロゼッタ１００の位置、分化状態、分化効率などについて判定する（ステップＳ１０７）。なお、分化状態としては、具体的には、ロゼッタ１００の個々または全体の形状、品質などを判定する。また、ここでの分化効率とは、例えば、出現したコロニーの数に対するロゼッタ１００の出現数として求めることができる。 As an example, the rosette correspondence determination unit 46 determines the position, differentiation state, differentiation efficiency, etc. of the rosette 100 that has appeared (step S107). As the differentiation state, specifically, the shape, quality, and the like of individual or the whole rosette 100 are determined. Further, the differentiation efficiency here can be determined as, for example, the number of appearances of Rosetta 100 with respect to the number of appearance colonies.
また、ロゼッタ対応判定部４６は、判定したロゼッタ１００の状態に基づいて、ロゼッタ１００が出現した細胞についての次の工程の決定と（ステップＳ１０８）、将来予測（ステップＳ１０９）を行う。つまり、ロゼッタ対応判定部４６は、判定したロゼッタ１００の状態に基づいて、さらに、細胞の分化培養に関する所定事項についての判定を行うことができる。 Further, the rosette correspondence determination unit 46 determines the next step for the cell in which the rosette 100 appears (step S108) and predicts the future (step S109) based on the determined state of the rosette 100. That is, the rosette correspondence determination unit 46 can further determine a predetermined item regarding cell differentiation culture based on the determined state of the rosette 100.
ロゼッタ対応判定部４６がステップＳ１０８により決定する次の工程としては、以下のものが挙げられる。
つまり、ロゼッタ対応判定部４６は、次の工程として、ロゼッタ１００の状態の判定結果をロット管理用の情報として利用すべきと決定することができる。
また、ロゼッタ対応判定部４６は、次の工程として、ロゼッタ１００が出現した細胞を回収し、移植用サンプルとして利用すべきと決定することができる。このように回収すべきと決定された場合、制御装置４０の装置制御部４９は、回収装置５１を制御して細胞の回収を行う。
また、ロゼッタ対応判定部４６は、次の工程として、ロゼッタ１００が出現した細胞を凍結保存すべきことを決定することができる。凍結保存された細胞は、例えば移植、大量生産目的による貯蔵、または、ロット管理などに利用される。
また、ロゼッタ対応判定部４６は、次の工程として、ロゼッタ１００が出現した細胞を分取して検査すべきことを決定することができる。なお、このように検査すべきと決定された場合には、各種検査や分析が行われる（ステップＳ１１０）。この検査、分析に際しては、細胞を回収して行ってもよいし、回収せずに、撮像画像を利用して行ってもよい。 また、ロゼッタ対応判定部４６は、次の工程として、ロゼッタ１００が出現した細胞の培養を続行すべきことを決定することができる。
The following steps can be mentioned as the next step determined by the rosette correspondence determination unit 46 in step S108.
That is, the rosette correspondence determination unit 46 can determine that the determination result of the state of the rosette 100 should be used as information for lot management as the next step.
In addition, the rosette correspondence determination unit 46 can determine that the cells in which the rosette 100 appears should be collected and used as a sample for transplantation as the next step. When it is determined that the cells should be collected in this way, the device control unit 49 of the control device 40 controls the collection device 51 to collect the cells.
In addition, the rosette correspondence determination unit 46 can determine that the cells in which the rosette 100 appears should be cryopreserved as the next step. The cryopreserved cells are used, for example, for transplantation, storage for mass production purposes, lot management, and the like.
In addition, the rosette correspondence determination unit 46 can determine that the cells in which the rosette 100 appears should be sorted and inspected as the next step. When it is determined that the inspection should be performed in this way, various inspections and analyzes are performed (step S110). In this examination and analysis, cells may be collected or may be performed using an image taken without collecting the cells. In addition, the rosette correspondence determination unit 46 can determine that the culture of the cells in which the rosette 100 appears should be continued as the next step.
また、ロゼッタ対応判定部４６は、ステップＳ１０９としての将来予測を以下のように行うことができる。つまり、ロゼッタ対応判定部４６は、ニューロンへの分化の収率を予測することができる。また、ロゼッタ対応判定部４６は、例えばドパミン作動性やグルタミン酸作動性など、どのような種類のニューロンへの分化傾向であるのかについて予測することができる。 Further, the rosette correspondence determination unit 46 can make a future prediction as step S109 as follows. That is, the Rosetta correspondence determination unit 46 can predict the yield of differentiation into neurons. In addition, the rosette correspondence determination unit 46 can predict what kind of neuron differentiation tendency it has, such as dopaminergic activity and glutamatergic acid activity.
また、ステップＳ１０３の神経上皮細胞への分化誘導培養を継続させた場合には、さらに神経前駆細胞への分化へと進行する（ステップＳ１１１）。この神経前駆細胞に分化している段階においては、ニューロスフェロイドが出現する（ステップＳ１１２）。このニューロスフェロイドも、継代により増殖可能である。
また、ニューロスフェロイドの出現後においては、神経細胞への分化誘導培養が行われる（ステップＳ１１３）。このステップＳ１１３による分化誘導培養の過程において、神経突起２００が出現する(ステップＳ１１４)。そして、このように神経突起２００が出現すると、神経突起２００における突起（軸索２２０および樹状突起２３０）が伸長するという現象が生じる。
Further, when the differentiation-inducing culture into the neuroepithelial cells in step S103 is continued, the differentiation into neural progenitor cells further proceeds (step S111). Neurospheroids appear at the stage of differentiation into these neural progenitor cells (step S112). This neurospheroid can also be propagated by passage.
In addition, after the appearance of neurospheroids, differentiation-inducing culture into nerve cells is performed (step S113). In the process of differentiation-inducing culture according to step S113, neurites 200 appear (step S114). Then, when the neurite 200 appears in this way, a phenomenon occurs in which the protrusions (axon 220 and dendrite 230) in the neurite 200 are elongated.
制御装置４０は、上記のように神経突起３００が伸長している状態の神経細胞を撮像装置３３ａにより撮像させ、その撮像画像（第２の撮像画像）を利用して神経突起３００を抽出する（ステップＳ１１５）。この神経突起抽出のための画像処理においては、画像入力部４２が撮像時刻ごとに単焦点画像を入力する。そして、神経突起抽出部４５が、生成された単焦点画像としての位相差画像から神経突起３００を抽出する。 The control device 40 uses the imaging device 33a to image a nerve cell in a state in which the neurite 300 is elongated as described above, and extracts the neurite 300 using the captured image (second captured image) (. Step S115). In the image processing for extracting neurites, the image input unit 42 inputs a single focus image at each imaging time. Then, the neurite extraction unit 45 extracts the neurite 300 from the phase difference image as the generated single focus image.
次に、神経突起対応判定部４７は、ステップＳ１１５により抽出された神経突起３００を利用して、細胞に出現した神経突起３００の状態についての判定を行う（ステップＳ１１６）。この判定に際して基準となる項目は、例えば、突起伸長速度、生細胞数、死細胞数、また、死細胞の増加量、神経突起３００や生細胞の増殖速度などである。神経突起対応判定部４７は、例えばこれらの項目を基準に所定の判定項目についての判定を行う。なお、この神経突起３００に関する判定項目についても多様であり特に限定されるものではない。 Next, the neurite correspondence determination unit 47 uses the neurite 300 extracted in step S115 to determine the state of the neurite 300 that has appeared in the cell (step S116). The reference items in this determination are, for example, the protrusion elongation rate, the number of living cells, the number of dead cells, the amount of increase in dead cells, the growth rate of neurites 300 and living cells, and the like. The neurite correspondence determination unit 47 determines a predetermined determination item based on, for example, these items. The determination items related to the neurite 300 are also diverse and not particularly limited.
一例として、神経突起対応判定部４７は、神経突起３００の分化状態や品質を判定する（ステップＳ１１７）。 As an example, the neurite correspondence determination unit 47 determines the differentiation state and quality of the neurite 300 (step S117).
また、神経突起対応判定部４７は、神経突起３００が出現した神経細胞についての次の工程の決定を行う（ステップＳ１１８）。
神経突起対応判定部４７がステップＳ１１８により決定する次の工程としては、以下のものが挙げられる。
例えば、神経突起対応判定部４７は、次の工程として、今回の神経突起３００の状態の判定結果をロット管理用の情報として利用すべきと決定することができる。
また、神経突起対応判定部４７は、次の工程として、神経突起３００が出現した神経細胞を回収し、移植用サンプルとして利用すべきと決定することができる。
また、神経突起対応判定部４７は、次の工程として、神経突起３００が出現した神経細胞を分取して検査すべきことを決定することができる。
また、神経突起対応判定部４７は、次の工程として、神経突起３００が出現した神経細胞をスクリーニング、アッセイなどに使用すべきことを決定することができる。
In addition, the neurite correspondence determination unit 47 determines the next step for the nerve cell in which the neurite 300 appears (step S118).
The next step determined by the neurite correspondence determination unit 47 in step S118 includes the following.
For example, the neurite correspondence determination unit 47 can determine that the determination result of the state of the neurite 300 this time should be used as information for lot management as the next step.
In addition, the neurite correspondence determination unit 47 can determine that, as the next step, the nerve cells in which the neurite 300 appears should be collected and used as a sample for transplantation.
In addition, the neurite correspondence determination unit 47 can determine that the nerve cells in which the neurite 300 appears should be sorted and inspected as the next step.
In addition, the neurite correspondence determination unit 47 can determine that the nerve cell in which the neurite 300 appears should be used for screening, assay, or the like as the next step.
また、総合判定部４８は、ステップＳ１０７およびＳ１０９におけるロゼッタ対応判定部４６の判定結果と、ステップＳ１１７における神経突起対応判定部４７の判定結果を利用して総合判定を行う（ステップＳ１１９）。 Further, the comprehensive determination unit 48 makes a comprehensive determination using the determination result of the rosette correspondence determination unit 46 in steps S107 and S109 and the determination result of the neurite correspondence determination unit 47 in step S117 (step S119).
総合判定部４８は、例えば総合判定の結果として、ロゼッタ１００と神経突起３００の出現を含むこれまでの分化工程における分化状態や分化効率を出力することができる（ステップＳ１２０）。
また、総合判定部４８は、総合判定結果として、神経突起３００が出現した段階の神経細胞についての次の工程を決定することができる（ステップＳ１１８）。
The comprehensive determination unit 48 can output, for example, the differentiation state and the differentiation efficiency in the differentiation steps up to now including the appearance of the rosette 100 and the neurite 300 as the result of the comprehensive determination (step S120).
In addition, the comprehensive determination unit 48 can determine the next step for the nerve cell at the stage where the neurite 300 appears as the comprehensive determination result (step S118).
また、総合判定部４８は、総合判定結果を反映した品質データベースを作成することができる（ステップＳ１２１）。品質データベースには、例えばロゼッタ１００の分化状態、神経突起３００の分化状態、ロゼッタ１００から神経突起３００が出現する段階にまで分化させるまでの培養条件、期間などを格納する。また、遺伝子、蛋白マーカのプロファイルなどを格納する。また、最終分化後の検査結果なども格納させることができる。この品質データベースは、記憶部４１に記憶される。
そして、品質データベースの内容は、例えば次の培養工程にフィードバックさせることができる（ステップＳ１２２）。具体的に、総合判定部４８は、記憶部４１に記憶される品質データベースの内容に基づいて次の培養工程における各種項目を設定する。そして、装置制御部４９が、ユーザへの設定項目の通知、または、設定された項目にしたがった温度、湿度調整、播種、培地交換などを自動で実行する。これにより、次の培養工程への総合判定結果のフィードバックが実現される。
In addition, the comprehensive determination unit 48 can create a quality database that reflects the comprehensive determination result (step S121). The quality database stores, for example, the differentiated state of the rosette 100, the differentiated state of the neurite 300, the culture conditions until the stage of differentiation from the rosette 100 to the stage where the neurite 300 appears, the period, and the like. It also stores gene and protein marker profiles. In addition, test results after final differentiation can also be stored. This quality database is stored in the storage unit 41.
Then, the contents of the quality database can be fed back to, for example, the next culture step (step S122). Specifically, the comprehensive determination unit 48 sets various items in the next culture step based on the contents of the quality database stored in the storage unit 41. Then, the device control unit 49 automatically notifies the user of the setting item, or automatically executes temperature, humidity adjustment, sowing, medium exchange, and the like according to the set item. As a result, feedback of the comprehensive judgment result to the next culture step is realized.
また、神経突起３００が出現した後においては、成熟神経細胞への分化誘導培養が行われる（ステップＳ１２３）。そして、この成熟神経細胞は、例えば検査などのために分取される（ステップＳ１２４）。また、この成熟神経細胞にまで分化した細胞を医療等に利用することができる（ステップＳ１２５）。 In addition, after the appearance of the neurite 300, differentiation-inducing culture into mature nerve cells is performed (step S123). Then, the mature nerve cells are sorted for, for example, an examination (step S124). In addition, the cells differentiated into mature nerve cells can be used for medical treatment (step S125).
図７のフローチャートは、インキュベータ１１がロゼッタ１００の状態を判定するためのより詳細な手順例を示している。この図に示す手順は、図６との対応では、例えば、ステップＳ１０４〜Ｓ１０９から成る手順に相当する。 The flowchart of FIG. 7 shows a more detailed procedure example for the incubator 11 to determine the state of the rosette 100. The procedure shown in this figure corresponds to, for example, the procedure including steps S104 to S109 in correspondence with FIG.
ロゼッタ１００の状態判定にあたっては、神経上皮細胞にまで分化が進行した段階の細胞を培養する（ステップＳ２０１）。そして、制御装置４０は、培養容器１９に照射する照明について、例えばロゼッタの出現に適したものに切り替えを行う（ステップＳ２０２）。また、制御装置４０における装置制御部４９は、回収と播種を行う（ステップＳ２０３）。
そして、制御装置４０における画像入力部４２は、播種直後の段階における細胞の撮像画像を入力する（ステップＳ２０４）。ロゼッタ抽出部４４は、この撮像画像（複数の単焦点画像）を利用して全焦点画像生成部４３が生成した全焦点画像（原画像）からコロニーを抽出するための画像処理を行う（ステップＳ２０５）。コロニーは、ロゼッタ１００の最も初期の状態に対応する。
なお、ステップＳ２０５において、ロゼッタ抽出部４４は、タイムラプス画像としての複数の全焦点画像の各々を対象として処理する。この点については、同図において以降説明する画像処理のステップにおいても同様である。
In determining the state of Rosetta 100, cells at the stage where differentiation has progressed to neuroepithelial cells are cultured (step S201). Then, the control device 40 switches the illumination irradiating the culture vessel 19 to, for example, one suitable for the appearance of the rosette (step S202). Further, the device control unit 49 in the control device 40 collects and sows (step S203).
Then, the image input unit 42 in the control device 40 inputs an captured image of the cells at the stage immediately after seeding (step S204). The rosette extraction unit 44 uses the captured image (a plurality of single focus images) to perform image processing for extracting colonies from the omnifocal image (original image) generated by the omnifocal image generation unit 43 (step S205). ). The colony corresponds to the earliest state of Rosetta 100.
In step S205, the rosette extraction unit 44 processes each of the plurality of omnifocal images as a time-lapse image. This point is the same in the image processing step described later in the figure.
次に、ロゼッタ対応判定部４６は、抽出したコロニーの品質、大きさ、テクスチャなどの状態に基づいて、分化効率を予測する（ステップＳ２０６）。具体的に、ロゼッタ対応判定部４６は、例えば、抽出されたコロニーの総数のうちでロゼッタに分化成功するものの数を予測する。
そのうえで、ロゼッタ対応判定部４６は、上記の分化効率の予測結果のほかに、例えばロゼッタ１００の密度、ロゼッタ１００に分化するまでの日数なども予測し、これらの予測結果に基づいて、培養を継続すべきか廃棄すべきかの判定を行う（ステップＳ２０７）。
廃棄すべきと判定した場合には、装置制御部４９は、これまでに培養した神経細胞が廃棄されるように例えば容器搬送装置２３などを制御する（ステップＳ２０８）。一方、培養を継続すべきと判定した場合、装置制御部４９は、そのまま培養が継続されるように上部ケーシング１２内の所定の装置を制御する（ステップＳ２０９）。
Next, the rosette correspondence determination unit 46 predicts the differentiation efficiency based on the state such as the quality, size, and texture of the extracted colonies (step S206). Specifically, the Rosetta correspondence determination unit 46 predicts, for example, the number of the extracted colonies that succeed in differentiating into Rosetta.
Then, the Rosetta correspondence determination unit 46 predicts, for example, the density of Rosetta 100, the number of days until differentiation into Rosetta 100, etc., in addition to the above-mentioned prediction results of differentiation efficiency, and continues culturing based on these prediction results. It is determined whether it should be discarded or should be discarded (step S207).
When it is determined that the device should be discarded, the device control unit 49 controls, for example, the container transport device 23 or the like so that the nerve cells cultured so far are discarded (step S208). On the other hand, when it is determined that the culture should be continued, the device control unit 49 controls a predetermined device in the upper casing 12 so that the culture can be continued as it is (step S209).
ステップＳ２０９により培養を継続した場合、画像入力部４２は、培地交換直前のタイミングで出現している細胞の撮像画像を入力する（ステップＳ２１０）。ロゼッタ抽出部４４は、入力された撮像画像を利用して生成された全焦点画像からロゼッタを抽出するための画像処理を実行する（ステップＳ２１１）。 When the culture is continued in step S209, the image input unit 42 inputs an image of the cells appearing at the timing immediately before the medium exchange (step S210). The rosette extraction unit 44 executes image processing for extracting the rosette from the omnifocal image generated by using the input captured image (step S211).
次に、装置制御部４９は、しかるべきタイミングで培地交換を行う（ステップＳ２１２）。次に、画像入力部４２は、この培地交換直後における細胞の撮像画像を入力し（ステップＳ２１３）、ロゼッタ抽出部４４は、この入力された撮像画像を利用して生成された全焦点画像からコロニーを抽出する画像処理を実行する（ステップＳ２１４）。 Next, the device control unit 49 exchanges the medium at an appropriate timing (step S212). Next, the image input unit 42 inputs an captured image of the cells immediately after the medium exchange (step S213), and the rosette extraction unit 44 colonies from the omnifocal image generated using the input captured image. Image processing is executed (step S214).
ステップＳ２１３の段階の細胞はさらに培養される（ステップＳ２１５）。そして、この後の地交換直前のタイミングの細胞が撮像され、画像入力部４２は、その撮像画像を入力する（ステップＳ２１６）。ロゼッタ抽出部４４は、入力された撮像画像を利用して生成された全焦点画像からロゼッタ１００を抽出するための画像処理を実行する（ステップＳ２１７）。 The cells at the stage of step S213 are further cultured (step S215). Then, the cells at the timing immediately before the ground exchange after this are imaged, and the image input unit 42 inputs the captured image (step S216). The rosette extraction unit 44 executes image processing for extracting the rosette 100 from the omnifocal image generated by using the input captured image (step S217).
そして、ロゼッタ対応判定部４６は、ステップＳ２１４により抽出されたコロニーと、ステップＳ２１７により抽出されたロゼッタ１００とに基づいてロゼッタの状態を判定する（ステップＳ２１８）。具体的に、ロゼッタ対応判定部４６は、例えばロゼッタ１００が形成されたか否かについて判定する。また、ロゼッタ１００が形成された場合には、その品質について判定する。
そのうえで、ロゼッタ対応判定部４６は、ステップＳ２１８により判定されたロゼッタ１００の状態に基づいて、再び、以降の培養を継続すべきか廃棄すべきかの判定を行う（ステップＳ２１９）。
ロゼッタ対応判定部４６は、廃棄すべきと判定した場合には、これまでに判定対象とされていた細胞を廃棄し（ステップＳ２２０）、培養を継続すべきと判定した場合には、培地交換を行ったうえで培養を継続する（ステップＳ２２１）。
Then, the rosette correspondence determination unit 46 determines the state of the rosette based on the colony extracted in step S214 and the rosette 100 extracted in step S217 (step S218). Specifically, the rosette correspondence determination unit 46 determines whether or not the rosette 100 is formed, for example. When the rosette 100 is formed, its quality is judged.
Then, the rosette correspondence determination unit 46 again determines whether the subsequent culture should be continued or discarded based on the state of the rosette 100 determined in step S218 (step S219).
When the rosette correspondence determination unit 46 determines that the cells should be discarded, the cells which have been determined so far are discarded (step S220), and when it is determined that the culture should be continued, the medium is replaced. After that, the culture is continued (step S221).
ステップＳ２２１により培地交換を行った場合、培地交換直後の細胞（ステップＳ２２２）はロゼッタ１００が出現過程の状態にある。そして、この細胞がさらに培養されていく過程において（ステップＳ２２３）、画像入力部４２は、回収直前のタイミングの細胞の撮像画像を入力し（ステップＳ２２４）、ロゼッタ抽出部４４は、入力された撮像画像を利用して生成されたロゼッタ１００を抽出するための画像処理を実行する（ステップＳ２２５）。 When the medium is exchanged in step S221, the cells immediately after the medium exchange (step S222) are in a state in which Rosetta 100 is in the process of appearing. Then, in the process of further culturing the cells (step S223), the image input unit 42 inputs an image of the cell at the timing immediately before collection (step S224), and the rosette extraction unit 44 receives the input image. Image processing for extracting the rosette 100 generated by using the image is executed (step S225).
そして、ロゼッタ対応判定部４６は、ステップＳ２２５により抽出されたロゼッタ１００についての状態を判定する（ステップＳ２２６）。この段階では、ロゼッタ対応判定部４６は、例えばロゼッタ１００の状態として、その品質について判定する。 Then, the rosette correspondence determination unit 46 determines the state of the rosette 100 extracted in step S225 (step S226). At this stage, the rosette correspondence determination unit 46 determines the quality of the rosette 100, for example, as a state.
次に、ロゼッタ対応判定部４６は、ステップＳ２２６の判定結果に基づいて、以降の工程を継続すべきか廃棄すべきかの判定を行う（ステップＳ２２７）。
ロゼッタ対応判定部４６は、廃棄すべきと判定した場合には、これまでに判定対象とされていた細胞を廃棄する（ステップＳ２２８）。
また、ステップＳ２２８において培養を継続すべきとの判定した場合、その判定内容は、さらに２つに分けられる。
１つの判定内容は、例えばロゼッタ１００が十分に成長しているなどの理由で神経前駆細胞への分化のための工程に移行させるというものである。この場合、装置制御部４９は、神経前駆細胞への分化としての次の工程のために、回収装置５１により細胞を回収させる（ステップＳ２２９）。
もう１つの判定内容は、例えばロゼッタ１００が十分に成長していないなどの理由で、さらにロゼッタ１００を成長させるための工程に移行させるというものである。この場合、装置制御部４９は、ステップＳ２０３としての回収と播種の工程が行われるように、回収装置５１と播種装置５２を制御する。
Next, the rosette correspondence determination unit 46 determines whether the subsequent steps should be continued or discarded based on the determination result in step S226 (step S227).
When the rosette correspondence determination unit 46 determines that the cells should be discarded, the cells that have been determined so far are discarded (step S228).
Further, when it is determined in step S228 that the culture should be continued, the determination content is further divided into two.
One determination content is to shift to a step for differentiation into neural progenitor cells, for example, because Rosetta 100 is sufficiently grown. In this case, the device control unit 49 collects the cells by the recovery device 51 for the next step as differentiation into neural progenitor cells (step S229).
Another determination content is to shift to a process for further growing the rosette 100, for example, because the rosette 100 has not grown sufficiently. In this case, the device control unit 49 controls the recovery device 51 and the sowing device 52 so that the recovery and sowing steps as step S203 are performed.
図８のフローチャートは、神経突起３００の状態を判定するためのより詳細な手順例を示している。この図に示す手順は、図６との対応では、例えば、ステップＳ１１４〜Ｓ１１８から成る手順に相当する。 The flowchart of FIG. 8 shows a more detailed example of a procedure for determining the state of the neurite 300. The procedure shown in this figure corresponds to, for example, the procedure including steps S114 to S118 in correspondence with FIG.
神経突起３００の状態判定にあたっては、神経前駆細胞にまで分化が進行した細胞を培養する（ステップＳ３０１）。そして、制御装置４０における装置制御部４９は、回収と播種を、回収装置５１と播種装置５２のそれぞれに行わせ（ステップＳ３０２）、培養を継続する（ステップＳ３０３）。 In determining the state of the neurite 300, cells that have progressed to differentiate into neural progenitor cells are cultured (step S301). Then, the device control unit 49 in the control device 40 causes each of the recovery device 51 and the sowing device 52 to perform recovery and sowing (step S302), and continues culturing (step S303).
そして、ステップＳ３０３による培養を行っている過程において、画像入力部４２は、神経突起３００が出現した神経細胞の撮像画像、つまり、位相差画像としての単焦点画像を入力する（ステップＳ３０４）。また、神経突起抽出部４５は、入力された単焦点画像（原画像）から神経突起３００を抽出するための画像処理を実行する（ステップＳ３０５）。 Then, in the process of culturing in step S303, the image input unit 42 inputs an image of the nerve cell in which the neurite 300 appears, that is, a single focus image as a phase difference image (step S304). Further, the neurite extraction unit 45 executes image processing for extracting the neurite 300 from the input single focus image (original image) (step S305).
ここで、神経突起３００が出現している状態の細胞では、前述のように、死んでしまった細胞（死細胞）と、神経突起３００以外の生きている細胞（生細胞）とが混在している。これらの死細胞と生細胞も、神経細胞の分化状態を判定する有効な材料となる。そこで、ステップＳ３０５の画像処理によっては、神経突起３００だけではなく、死細胞と生細胞も抽出する。 Here, in the cells in which the neurite 300 appears, as described above, dead cells (dead cells) and living cells other than the neurite 300 (live cells) are mixed. There is. These dead cells and living cells are also effective materials for determining the differentiation state of nerve cells. Therefore, by the image processing in step S305, not only the neurite 300 but also dead cells and live cells are extracted.
そして、神経突起対応判定部４７は、ステップＳ３０５により抽出された神経突起３００と死細胞と生細胞とに基づいて、例えば神経突起３００の伸長した突起の長さ、神経突起３００と生細胞と死細胞の各数、また、神経突起３００と生細胞の増殖速度などを認識する。また、この認識結果を利用して、神経細胞の生育状態、分化状態などを判定する（ステップＳ３０６）。 Then, the neurite correspondence determination unit 47 is based on the neurite 300, the dead cell, and the living cell extracted in step S305, for example, the length of the extended neurite 300, the neurite 300, the living cell, and death. It recognizes each number of cells, neurites 300, and the growth rate of living cells. Further, using this recognition result, the growth state, differentiation state, etc. of nerve cells are determined (step S306).
そのうえで、神経突起対応判定部４７は、これらの判定結果に基づき、同じステップＳ３０６において、さらに、以降の工程についても決定する。
具体的に、神経突起対応判定部４７は、これまでに培養した神経細胞を廃棄すべきと決定することができる。このように決定された場合、装置制御部４９は、これまでに培養した神経細胞を廃棄させるように例えば容器搬送装置２３などを制御する（ステップＳ３０７）。また、培地交換をしたうえで次工程へ移行すべきと決定された場合、装置制御部４９は、培地交換装置５３により培地交換を行わせたうえで（ステップＳ３０８）、次の工程に移行させる（ステップＳ３０９）。または、培地交換をせずに次工程へ移行すべきと決定された場合、装置制御部４９は、次のしかるべき工程に移行されるように、例えば上部ケーシング１２における所定の装置を制御する。
Then, the neurite correspondence determination unit 47 further determines the subsequent steps in the same step S306 based on these determination results.
Specifically, the neurite correspondence determination unit 47 can determine that the nerve cells cultured so far should be discarded. When determined in this way, the device control unit 49 controls, for example, the container transport device 23 or the like so as to discard the nerve cells cultured so far (step S307). When it is determined that the medium should be exchanged and then moved to the next step, the apparatus control unit 49 causes the medium exchange device 53 to exchange the medium (step S308), and then shifts to the next step. (Step S309). Alternatively, if it is determined that the next step should be performed without changing the medium, the device control unit 49 controls, for example, a predetermined device in the upper casing 12 so as to move to the next appropriate step.
［ロゼッタ抽出のための画像処理］
次に、図９〜図１４を参照してロゼッタ１００を抽出するための画像処理の具体例について説明する。
前述のように、ロゼッタ１００を抽出するのに利用する原画像は、位相差顕微鏡を介して細胞を撮像した位相差画像であり、かつ、画面の全領域において合焦している全焦点画像である。また、全焦点画像は、例えば所定の時間間隔の撮像時刻ごとに対応して形成される。つまり、本実施形態においては、時系列における複数の全焦点画像によりタイムラプス画像が形成されている。
[Image processing for rosette extraction]
Next, a specific example of image processing for extracting the rosette 100 will be described with reference to FIGS. 9 to 14.
As described above, the original image used to extract the Rosetta 100 is a phase-contrast image obtained by imaging cells through a phase-contrast microscope, and is a omnifocal image that is in focus in the entire area of the screen. is there. Further, the omnifocal image is formed corresponding to each imaging time at a predetermined time interval, for example. That is, in the present embodiment, a time-lapse image is formed by a plurality of omnifocal images in a time series.
図９は、全焦点画像をタイムラプスにより生成する手順を模式的に示している。例えば撮像時刻ｔ０において、制御装置４０の装置制御部４９は、それぞれ異なる焦点位置により撮像したＮ枚の単焦点画像Ｐｓｆ−１〜Ｐｓｆ−Ｎを撮像装置３３ａに撮像させる。前述のように、各単焦点画像Ｐｓｆ−１〜Ｐｓｆ−Ｎは、位相差顕微鏡を介して観察される細胞を撮像した位相差画像である。制御装置４０における画像入力部４２は、これらの単焦点画像Ｐｓｆ−１〜Ｐｓｆ−Ｎを入力する。そして、全焦点画像生成部４３は、単焦点画像Ｐｓｆ−１〜Ｐｓｆ−Ｎから、例えばコントラストが高い画像領域を取り出して合成することで、撮像時刻ｔ０に対応する全焦点画像Ｐａｆ−０を生成する。 FIG. 9 schematically shows a procedure for generating a omnifocal image by time lapse. For example, at the imaging time t0, the device control unit 49 of the control device 40 causes the imaging device 33a to image N single-focus images Psf-1 to Psf-N imaged at different focal positions. As described above, each single focus image Psf-1 to Psf-N is a phase contrast image obtained by imaging cells observed through a phase contrast microscope. The image input unit 42 in the control device 40 inputs these single focus images Psf-1 to Psf-N. Then, the omnifocal image generation unit 43 generates an omnifocal image Paf-0 corresponding to the imaging time t0 by extracting, for example, an image region having high contrast from the single focus images Psf-1 to Psf-N and synthesizing them. To do.
また、撮像時刻ｔ０から所定時間を経過した撮像時刻ｔ１においても、同様に、撮像装置３３ａにより、Ｎ枚の単焦点画像Ｐｓｆ−１〜Ｐｓｆ−Ｎを撮像させる。そして、全焦点画像生成部４３は、画像入力部４２が入力した単焦点画像Ｐｓｆ−１〜Ｐｓｆ−Ｎを利用して、上記と同様に、撮像時刻ｔ１に対応する全焦点画像Ｐａｆ−１を生成する。
以降、同様にして、制御装置４０は、所定時間ごとに撮像装置３３ａが撮像した単焦点画像Ｐｓｆ−１〜Ｐｓｆ−Ｎを利用して、全焦点画像Ｐａｆ−Ｎを生成していく。
Further, at the imaging time t1 in which a predetermined time has passed from the imaging time t0, the imaging device 33a similarly images N single-focus images Psf-1 to Psf-N. Then, the omnifocal image generation unit 43 uses the single focus images Psf-1 to Psf-N input by the image input unit 42 to generate the omnifocal image Paf-1 corresponding to the imaging time t1 in the same manner as described above. Generate.
Hereinafter, in the same manner, the control device 40 generates the omnifocal image Paf-N by using the single focus images Psf-1 to Psf-N imaged by the image pickup device 33a at predetermined time intervals.
このように本実施形態のインキュベータ１１は、所定時間ごとに位相差画像による全焦点画像Ｐａｆを生成する。このように一定時間ごとに生成される全焦点画像Ｐａｆによりタイムラプス画像が形成される。そして、ロゼッタ抽出部４４は、このように生成された全焦点画像Ｐａｆのそれぞれからロゼッタ１００を抽出する。 As described above, the incubator 11 of the present embodiment generates a omnifocal image Paf based on a phase difference image at predetermined time intervals. A time-lapse image is formed by the omnifocal image Paf generated at regular intervals in this way. Then, the rosette extraction unit 44 extracts the rosette 100 from each of the omnifocal image Pafs generated in this way.
なお、神経突起抽出部４５が神経突起３００を抽出する際に処理対象とする原画像は、単焦点画像でよいが、図９に示すようにタイムラプス画像として形成される全焦点画像Ｐａｆであってもよい。神経突起３００はロゼッタ１００ほどの厚みはないので、単焦点画像でも十分な精度での抽出が可能であるが、全焦点画像Ｐａｆを利用すれば、抽出精度がより向上する。
ただし、神経突起３００の場合にはその伸長速度はロゼッタ１００の成長速度に対して相当に速い。このため、タイムラプス画像の時間間隔は、ロゼッタ１００を抽出するにあたっては約６時間程度が設定されるのに対して、神経突起３００を抽出するにあたっては、約３０分から１時間程度が設定される。
The original image to be processed when the neurite extraction unit 45 extracts the neurite 300 may be a single focus image, but is a omnifocal image Paf formed as a time-lapse image as shown in FIG. May be good. Since the neurite 300 is not as thick as the rosette 100, it is possible to extract a single focus image with sufficient accuracy, but if the full focus image Paf is used, the extraction accuracy is further improved.
However, in the case of the neurite 300, its elongation rate is considerably faster than the growth rate of the rosette 100. Therefore, the time interval of the time-lapse image is set to about 6 hours when extracting the rosette 100, whereas it is set to about 30 minutes to 1 hour when extracting the neurite 300.
なお、全焦点画像生成部４３は、撮像時刻ごとに対応した単焦点画像Ｐｓｆ−１〜Ｐｓｆ−Ｎが入力されたタイミングで全焦点画像Ｐａｆを生成してもよい。また、撮像時刻ごとに対応して入力された単焦点画像Ｐｓｆ−１〜Ｐｓｆ−Ｎを記憶部４１に記憶させておいたうえで、その後における所定のタイミングで記憶部４１から読み出した単焦点画像Ｐｓｆ−１〜Ｐｓｆ−Ｎを利用して全焦点画像Ｐａｆを生成するようにしてもよい。 The omnifocal image generation unit 43 may generate the omnifocal image Paf at the timing when the single focus images Psf-1 to Psf-N corresponding to each imaging time are input. Further, the single focus images Psf-1 to Psf-N input corresponding to each imaging time are stored in the storage unit 41, and then the single focus images read from the storage unit 41 at a predetermined timing thereafter. The omnifocal image Paf may be generated by using Psf-1 to Psf-N.
次に、図１０のフローチャートは、ロゼッタ１００を抽出するためにロゼッタ抽出部４４が実行する画像処理の手順例を示している。この図に示す処理は、例えば図６のステップＳ１０５や図７のステップＳ２０５、Ｓ２１１、Ｓ２１４、Ｓ２１７およびＳ２２５などに相当する。また、この図に示す処理は、図９における１つの撮像時刻において生成した全焦点画像を対象とするものとなる。 Next, the flowchart of FIG. 10 shows an example of a procedure of image processing executed by the rosette extraction unit 44 in order to extract the rosette 100. The process shown in this figure corresponds to, for example, step S105 in FIG. 6 and steps S205, S211, S214, S217, and S225 in FIG. 7. Further, the process shown in this figure is intended for the omnifocal image generated at one imaging time in FIG.
まず、制御装置４０におけるロゼッタ抽出部４４は、ロゼッタ抽出のために生成された全焦点画像を原画像として入力する（ステップＳ４０１）。なお、ロゼッタ抽出部４４は、例えば全焦点画像生成部４３が生成して記憶部４１に記憶させた全焦点画像を入力すればよい。 First, the rosette extraction unit 44 in the control device 40 inputs the omnifocal image generated for the rosette extraction as the original image (step S401). The rosette extraction unit 44 may input, for example, an omnifocal image generated by the omnifocal image generation unit 43 and stored in the storage unit 41.
次に、ロゼッタ抽出部４４は、原画像からロゼッタ１００に対応する特徴を有する画像領域を抽出するためのソフトマッチングを実行する（ステップＳ４０２）。ソフトマッチングは、教師付き分類の１つである。
図１１は、ステップＳ４０３としてのソフトマッチングの結果例を示している。図１１には、原画像が示されている。位相差画像である原画像においては、細胞に出現したロゼッタ１００は暗いまとまった領域として観察される。この点に着目し、ステップＳ４０３のソフトマッチングは、暗い領域を抽出するためのテクスチャを予め定めておき、原画像からこのテクスチャに該当する領域を抽出するものである。図１１において白抜きの矢印で示す黒色となっている領域がステップＳ４０３のソフトマッチングにより抽出された領域である。このように抽出された領域はロゼッタ１００である可能性が高い領域である。
Next, the rosette extraction unit 44 executes soft matching for extracting an image region having features corresponding to the rosette 100 from the original image (step S402). Soft matching is one of the supervised classifications.
FIG. 11 shows an example of the result of soft matching as step S403. The original image is shown in FIG. In the original image, which is a phase difference image, the rosette 100 appearing in the cell is observed as a dark cohesive region. Focusing on this point, in the soft matching of step S403, a texture for extracting a dark region is defined in advance, and the region corresponding to this texture is extracted from the original image. The black region indicated by the white arrow in FIG. 11 is the region extracted by the soft matching in step S403. The region thus extracted is a region that is likely to be Rosetta 100.
また、ロゼッタ１００が位相差画像としての原画像において一様に暗い領域の内、ロゼッタ１００に特徴的な円形構造はその周囲部分の濃度差が小さくなる。
そこで、ロゼッタ抽出部４４は、ステップＳ４０３のソフトマッチングと並行して、位相差画像としての原画像から、濃度差が一定以下の領域を抽出する（ステップＳ４０３〜Ｓ４０７）。
Further, in the region where the rosette 100 is uniformly dark in the original image as the phase difference image, the circular structure characteristic of the rosette 100 has a small density difference in the peripheral portion thereof.
Therefore, the rosette extraction unit 44 extracts a region having a density difference of a certain value or less from the original image as the phase difference image in parallel with the soft matching in step S403 (steps S403 to S407).
このために、ロゼッタ抽出部４４は、まず、原画像に対してエロージョン（Erosion）の処理を施す（ステップＳ４０３）。
図１２（ａ）は、ステップＳ４０２により生成された原画像の一例を示している。この原画像に対してステップＳ４０３によるエロージョンが施された画像を図１２（ｂ）に示す。このようにエロージョンが施された画像は、原画像において暗い部分が拡大されたような状態となる。
For this purpose, the rosette extraction unit 44 first performs an erosion process on the original image (step S403).
FIG. 12A shows an example of the original image generated in step S402. An image in which the original image is eroded by step S403 is shown in FIG. 12 (b). The image to which the erosion is applied in this way is in a state in which the dark portion of the original image is enlarged.
次に、ロゼッタ抽出部４４は、図１２（ｂ）のエロージョンが施された画像から図１２（ａ）の原画像を差し引いた差分画像を生成する（ステップＳ４０４）。図１２（ｃ）は、このステップＳ４０４により生成された差分画像である。次に、ロゼッタ抽出部４４は、ステップＳ４０４により生成された差分画像についてダイレーション（Dilation）を行う（ステップＳ４０５）。図１２（ｄ）は、ステップＳ４０５のダイレーションが施された画像を示している。このように生成された図１２（ｄ）の画像では、濃度差の絶対値が拡大されたような状態になる。 Next, the rosette extraction unit 44 generates a difference image obtained by subtracting the original image of FIG. 12 (a) from the eroded image of FIG. 12 (b) (step S404). FIG. 12C is a difference image generated by this step S404. Next, the rosette extraction unit 44 performs dilation on the difference image generated in step S404 (step S405). FIG. 12D shows the dilated image of step S405. In the image of FIG. 12D generated in this way, the absolute value of the density difference is magnified.
次に、ロゼッタ抽出部４４は、図１２（ｄ）のダイレーション後の画像について所定の閾値による二値化を行う（ステップＳ４０６）。図１３（ａ）の画像は、このステップＳ４０６により図１２（ｄ）の画像を二値化した結果を示している。この図において、輝度が最も低い黒色で示されている部分が、濃度差が一定以下であるとして抽出された領域（オブジェクト）である。 Next, the rosette extraction unit 44 binarizes the image after dilation in FIG. 12D with a predetermined threshold value (step S406). The image of FIG. 13 (a) shows the result of binarizing the image of FIG. 12 (d) by this step S406. In this figure, the part shown in black with the lowest brightness is the region (object) extracted assuming that the density difference is below a certain level.
そのうえで、ロゼッタ抽出部４４は、さらにノイズを除去するために、図１３（ａ）の二値化した画像におけるオブジェクトのうちでそのサイズが一定以下のものを削除する（ステップＳ４０７）。具体例として、図１３（ａ）の二値化された画像においては、破線で括って示す位置に小さいサイズのオブジェクトが存在する。ステップＳ４０７によっては、例えばこのようなオブジェクトが削除される。この結果、図１３（ｂ）に示す画像が得られる。この図１３（ｂ）の画像の破線で括って示す領域においては、濃度が一定以下であるとともにサイズが一定以下のオブジェクトが削除されており、存在していない。 Then, in order to further remove noise, the rosette extraction unit 44 deletes the objects in the binarized image of FIG. 13 (a) whose size is not more than a certain value (step S407). As a specific example, in the binarized image of FIG. 13A, a small-sized object exists at a position indicated by a broken line. In step S407, for example, such an object is deleted. As a result, the image shown in FIG. 13B is obtained. In the region shown by the broken line in the image of FIG. 13B, objects having a density of a certain value or less and a size of a certain size or less are deleted and do not exist.
次に、ロゼッタ抽出部４４は、ステップＳ４０３のソフトマッチングが施された画像と、ステップＳ４０３〜Ｓ４０７による処理が施された画像とでオブジェクトが共通する部分（オブジェクトの積）を抽出する（ステップＳ４０８）。 Next, the rosette extraction unit 44 extracts a portion (product of objects) in which objects are common between the soft-matched image in step S403 and the image processed in steps S403 to S407 (step S408). ).
図１４（ａ）は、ステップＳ４０２のソフトマッチングが施された画像として図１１と同じ画像を示し、図１４（ｂ）は、ステップＳ４０３〜Ｓ４０７による処理が施された画像として図１３（ｂ）と同じ画像を示している。
ロゼッタ抽出部４４は、ステップＳ４０８の処理として、図１１の画像において示されるオブジェクトと図１３（ｂ）において示されるオブジェクトとで一致する部分を抽出する。つまり、ロゼッタ抽出部４４は、図１１の画像において黒色により示される部分と、図１３（ｂ）の画像において黒色で示されている部分とでその座標が一致する領域を抽出する。図１４（ｃ）は、このようにステップＳ４０９により抽出された領域を白抜きの矢印で示すように黒色により示している。このように抽出された領域がロゼッタ１００である。
そして、ロゼッタ抽出部４４は、このようにステップＳ４０８により抽出したロゼッタ示される画像（ロゼッタ抽出画像）を出力する（ステップＳ４０９）。
14 (a) shows the same image as FIG. 11 as the soft-matched image of step S402, and FIG. 14 (b) is FIG. 13 (b) as the image processed by steps S403 to S407. Shows the same image as.
As the process of step S408, the rosette extraction unit 44 extracts a portion that matches the object shown in the image of FIG. 11 and the object shown in FIG. 13 (b). That is, the rosette extraction unit 44 extracts a region in which the coordinates of the portion shown in black in the image of FIG. 11 and the portion shown in black in the image of FIG. 13 (b) match. In FIG. 14C, the region thus extracted in step S409 is shown in black as indicated by the white arrow. The region thus extracted is Rosetta 100.
Then, the rosette extraction unit 44 outputs the image (rosetta extraction image) indicated by the rosette extracted in step S408 in this way (step S409).
なお、この図１０のフローチャートに示す処理は、図９における１つの撮像時刻に対応して生成された１つの全焦点画像としての原画像を対象として行われる。これまでの説明から理解されるように、全焦点画像は撮像時刻ごとの集合によりタイムラプス画像を形成する。
これに伴い、ロゼッタ抽出部４４は、図１０により説明した処理を、撮像時刻ごと対応する全焦点画像ごとに行う。そして、ロゼッタ対応判定部４６は、例えば、各撮像時刻の焦点画像から抽出されたロゼッタ１００の状態を比較することにより、時間経過に応じた状態変化に基づく判定を行うことができる。
The process shown in the flowchart of FIG. 10 is performed on the original image as one omnifocal image generated corresponding to one imaging time in FIG. 9. As can be understood from the above description, the omnifocal image forms a time-lapse image by the set for each imaging time.
Along with this, the rosette extraction unit 44 performs the process described with reference to FIG. 10 for each omnifocal image corresponding to each imaging time. Then, the rosette correspondence determination unit 46 can make a determination based on the state change according to the passage of time by comparing the states of the rosette 100 extracted from the focal image at each imaging time, for example.
［神経突起抽出のための画像処理］
次に、神経突起３００を抽出するために神経突起抽出部４５が実行する画像処理の手順例について説明する。
前述のように、神経突起抽出部４５は、神経突起３００だけではなく死細胞と生細胞についても抽出する。そこで、図１５を参照して位相差画像である原画像において観察される神経突起３００と死細胞と生細胞の特徴について説明する。
なお、神経突起３００の抽出に利用する位相差画像は、全焦点画像ではなく単焦点画像である。ロゼッタ１００は細胞が集まった立体構造であるために高さがあるが、神経突起３００の場合にはさほどの高さは生じない。このため、神経突起３００については全焦点画像を利用しなくとも十分に高い精度で抽出が行える。
[Image processing for neurite extraction]
Next, an example of a procedure of image processing executed by the neurite extraction unit 45 to extract the neurite 300 will be described.
As described above, the neurite extraction unit 45 extracts not only the neurite 300 but also dead cells and living cells. Therefore, the characteristics of the neurites 300, dead cells, and living cells observed in the original image, which is a phase difference image, will be described with reference to FIG.
The phase difference image used for extracting the neurite 300 is not a omnifocal image but a single focus image. The rosette 100 has a height because it has a three-dimensional structure in which cells are gathered, but in the case of the neurite 300, the height is not so high. Therefore, the neurite 300 can be extracted with sufficiently high accuracy without using the omnifocal image.
図１５（ａ）は、神経突起３００が出現している神経前駆細胞を撮像して得られた単焦点画像の一例を示している。図１５（ｂ）は、図１５（ａ）の単焦点画像において存在している神経突起３００と死細胞２４０と生細胞２５０とを区分して示したものである。なお、生細胞２５０は、神経突起３００以外の生きた細胞であり、具体的には細胞体２１０として生きている状態のものである。また、死細胞２４０は、死んでしまった状態の細胞体２１０と神経突起３００を含むものである。 FIG. 15A shows an example of a single focus image obtained by imaging a neural progenitor cell in which a neurite 300 appears. FIG. 15 (b) shows the neurites 300, the dead cells 240, and the living cells 250 that are present in the single focus image of FIG. 15 (a) separately. The living cell 250 is a living cell other than the neurite 300, and specifically, is a living cell as a cell body 210. In addition, the dead cell 240 includes a dead cell body 210 and a neurite 300.
単焦点画像は位相差顕微鏡を介して撮像された位相差画像である。位相差画像では、例えば起伏の大きい部分は明るく、起伏が小さい部分は暗くなるという特徴がある。
図１５（ａ）と図１５（ｂ）から理解されるように、神経突起３００は、位相差画像において、線状の暗い部分として観察される。そこで、神経突起抽出部４５は、単焦点画像（第１の原画像）において輝度が周囲よりも低く細い線状の部分を神経突起３００として抽出する。
また、死細胞２４０は、位相差画像において、明るい小さな円形が暗い線により縁取りされたような粒状の部分として観察される。そこで、神経突起抽出部４５は、単焦点画像において、輝度が一定以上で、その縁の輝度勾配が一定以上の粒状の部分を死細胞２４０として抽出する。
また、生細胞２５０は、位相差画像において、比較的大きく暗い塊であって、かつ、その周囲が明るく縁取られるような状態の部分として観察される。そこで、神経突起抽出部４５は、単焦点画像において、輝度が一定以下で、その面積が一定以上で、その縁の輝度が一定以上の部分を生細胞２５０として抽出する。
A single focus image is a phase contrast image taken through a phase contrast microscope. In a phase difference image, for example, a portion having a large undulation is bright and a portion having a small undulation is dark.
As can be seen from FIGS. 15 (a) and 15 (b), the neurite 300 is observed as a linear dark portion in the phase difference image. Therefore, the neurite extraction unit 45 extracts a thin linear portion having a brightness lower than the surroundings in the single focus image (first original image) as the neurite 300.
In addition, the dead cell 240 is observed in the phase difference image as a granular portion in which bright small circles are bordered by dark lines. Therefore, the neurite extraction unit 45 extracts a granular portion having a brightness of a certain value or more and a brightness gradient of the edge having a brightness gradient of a certain value or more as a dead cell 240 in the single focus image.
In addition, the living cell 250 is observed in the phase difference image as a portion of a relatively large and dark mass in which the periphery thereof is brightly bordered. Therefore, the neurite extraction unit 45 extracts a portion of the single focus image whose brightness is below a certain level, whose area is above a certain level, and whose edge brightness is above a certain level as living cells 250.
図１６のフローチャートは、神経突起抽出部４５が神経突起３００と、死細胞２４０と、生細胞２５０とを抽出するための処理手順例を示している。
まず、神経突起抽出部４５は、神経突起３００の抽出のために撮像装置３３ａにより撮像された単焦点画像を原画像として入力する（ステップＳ５０１）。なお、この際に、神経突起抽出部４５は、例えば神経突起３００の抽出のために撮像装置３３ａにより撮像させ、記憶部４１に記憶させた単焦点画像を入力すればよい。
The flowchart of FIG. 16 shows an example of a processing procedure for the neurite extraction unit 45 to extract the neurite 300, the dead cell 240, and the live cell 250.
First, the neurite extraction unit 45 inputs a single focus image captured by the imaging device 33a for extraction of the neurite 300 as an original image (step S501). At this time, the neurite extraction unit 45 may, for example, take an image with the imaging device 33a for extraction of the neurite 300, and input the single focus image stored in the storage unit 41.
神経突起抽出部４５は、入力した原画像としての位相差画像から死細胞２４０に対応する特徴を有する画像領域を抽出するためのソフトマッチングを実行する（ステップＳ５０２）。このステップＳ５０２におけるソフトマッチングとして、神経突起抽出部４５は、例えば明るい輪郭により周囲が縁取られた部分をオブジェクトとして抽出する処理を行う。 The neurite extraction unit 45 executes soft matching for extracting an image region having a feature corresponding to the dead cell 240 from the phase difference image as the input original image (step S502). As a soft matching in step S502, the neurite extraction unit 45 performs a process of extracting, for example, a portion whose periphery is bordered by a bright contour as an object.
図１７は、ステップＳ５０２としてのソフトマッチングの処理結果例を示している。 図１７（ａ）は、ステップＳ５０１により入力した原画像の一例を示している。ステップＳ５０２のソフトマッチングにより、神経突起抽出部４５は、図１７（ａ）の原画像から、図１７（ｂ）において黒色により強調されるように囲まれる領域をオブジェクトとして抽出する。このように抽出されたオブジェクトは、死細胞２４０である可能性が高い。 FIG. 17 shows an example of the processing result of soft matching as step S502. FIG. 17A shows an example of the original image input in step S501. By the soft matching in step S502, the neurite extraction unit 45 extracts the area surrounded by black in FIG. 17 (b) as an object from the original image of FIG. 17 (a). The object thus extracted is likely to be dead cells 240.
また、神経突起抽出部４５は、生細胞２５０の抽出のために、ステップＳ５０１により入力した原画像についてクロージングの画像処理を行い（ステップＳ５０３）、さらに、このクロージングした画像を二値化する（ステップＳ５０４）。 In addition, the neurite extraction unit 45 performs closing image processing on the original image input in step S501 for extraction of living cells 250 (step S503), and further binarizes the closed image (step). S504).
図１８（ａ）〜（ｃ）は、ステップＳ５０３とＳ５０４によるクロージングと二値化の画像処理の結果を示している。
図１８（ａ）は、ステップＳ５０１により入力した原画像の一例である。神経突起抽出部４５が、図１８（ａ）の原画像に対してクロージングを行うことにより、図１８（ｂ）に示す画像が得られる。このクロージングの処理によっては細い黒い溝が埋められる。これにより、生細胞２５０に対応する黒色の塊部分は保存されるが、例えば神経突起３００に対応する細い黒色の部分や、死細胞２４０のように小さい暗い円の周囲が明るい部分は周囲の濃度で埋められる。
次に、神経突起抽出部４５は、図１８（ｂ）の画像をステップＳ５０４により二値化することにより、黒色とされた部分の領域をオブジェクトとして抽出する。このように抽出されたオブジェクトは、図１８（ｃ）において黒色により示す領域である。このように抽出されたオブジェクトは、生細胞２５０である可能性が高い。
18 (a) to 18 (c) show the results of closing and binarization image processing in steps S503 and S504.
FIG. 18A is an example of the original image input in step S501. The neurite extraction unit 45 closes the original image of FIG. 18 (a) to obtain the image shown in FIG. 18 (b). This closing process fills the narrow black grooves. As a result, the black mass corresponding to the living cell 250 is preserved, but the thin black part corresponding to the neurite 300 and the bright part around the small dark circle such as the dead cell 240 have the surrounding concentration. Filled with.
Next, the neurite extraction unit 45 binarizes the image of FIG. 18B in step S504, and extracts the region of the black portion as an object. The object extracted in this way is the region shown in black in FIG. 18 (c). The object thus extracted is likely to be a living cell 250.
また、神経突起抽出部４５は、神経突起３００の抽出のために、ステップＳ５０３のクロージングが行われた画像から、ステップＳ５０１により入力した原画像を差し引いた差分画像を生成する（ステップＳ５０５）。次に、神経突起抽出部４５は、この差分画像を二値化する（ステップＳ５０６）。 Further, the neurite extraction unit 45 generates a difference image obtained by subtracting the original image input in step S501 from the image in which the closing of step S503 is performed for the extraction of the neurite 300 (step S505). Next, the neurite extraction unit 45 binarizes this difference image (step S506).
図１８（ａ）、（ｂ）、（ｄ）、（ｅ）は、ステップＳ５０５とＳ５０６によるクロージングと二値化の画像処理の結果を示している。つまり、神経突起抽出部４５が、ステップＳ５０５により、ステップＳ５０３によりクロージングした図１８（ｂ）の画像に対する図１８（ａ）の原画像の差分を求めることにより、図１８（ｄ）に示す差分画像が得られる。このように生成された差分画像は、例えば原画像における生細胞２５０に対応する暗い塊部分が除去された画像である。そして、神経突起抽出部４５が、ステップＳ５０６により、この差分画像を二値化することにより、図１８（ｅ）に示す画像が得られる。この図１８（ｅ）に示す画像における白色の部分は、原画像としての原画像において暗く細い部分を示すオブジェクトであり、神経突起３００である可能性が高い。 18 (a), (b), (d), and (e) show the results of closing and binarization image processing in steps S505 and S506. That is, the neurite extraction unit 45 obtains the difference between the original image of FIG. 18 (a) and the image of FIG. 18 (b) closed in step S503 in step S505, so that the difference image shown in FIG. 18 (d) is obtained. Is obtained. The difference image generated in this way is, for example, an image in which the dark mass portion corresponding to the living cell 250 in the original image is removed. Then, the neurite extraction unit 45 binarizes this difference image in step S506 to obtain the image shown in FIG. 18 (e). The white portion in the image shown in FIG. 18E is an object showing a dark and thin portion in the original image as the original image, and is likely to be a neurite 300.
また、神経突起抽出部４５は、生細胞２５０を抽出するにあたり、ステップＳ５０１により入力した原画像について二値化を行う（ステップＳ５０７）。そのうえで、神経突起抽出部４５は、ステップＳ５０７により二値化された画像と、ステップＳ５０４により二値化された画像とでオブジェクトが共通する画像部分（オブジェクトの積）を抽出する（ステップＳ５０８）。 In addition, the neurite extraction unit 45 binarizes the original image input in step S501 when extracting the living cells 250 (step S507). Then, the neurite extraction unit 45 extracts an image portion (product of objects) in which the objects are common to the image binarized in step S507 and the image binarized in step S504 (step S508).
図１９は、ステップＳ５０７とＳ５０８の画像処理に対応する画像例を示している。図１９（ａ）は、ステップＳ５０１により入力した原画像の例である。図１９（ｂ）は、ステップＳ５０７により、図１９（ａ）の原画像を二値化した画像と、ステップＳ５０４により二値化された画像とを重ね合わせた状態を示している。 FIG. 19 shows an example of an image corresponding to the image processing in steps S507 and S508. FIG. 19A is an example of the original image input in step S501. FIG. 19B shows a state in which the image obtained by binarizing the original image of FIG. 19A by step S507 and the image binarized by step S504 are superimposed.
図１９（ｂ）において白抜きで示す部分は、ステップＳ５０７により二値化された画像において白の階調に分類された部分である。また、同じ図１９（ｂ）において輝度が最も低い黒色で示す部分は、ステップＳ５０４により二値化された画像において黒の階調に分類された部分に対応するオブジェクトである。この黒色で示すオブジェクトは、原画像において暗い塊の領域に該当する。 The portion shown in white in FIG. 19B is a portion classified into a white gradation in the image binarized by step S507. Further, in the same FIG. 19B, the portion shown in black having the lowest brightness is an object corresponding to the portion classified into the black gradation in the image binarized by step S504. The object shown in black corresponds to a dark mass area in the original image.
そして、神経突起抽出部４５がステップＳ５０８の処理を実行することで、図１９（ｂ）のようにステップＳ５０４により二値化された画像におけるオブジェクトのうちで、その周囲に明るい縁取りが無いものについては、除外される。このステップＳ５０８の処理結果を図１９（ｃ）に示す。具体的に、図１９（ｂ）において破線で括って示す領域において抽出されていた４つのオブジェクトは、原画像においてその周囲が明るくないものであったために、図１９（ｃ）においては、除外されている。このように、ステップＳ５０８の処理が行われる結果、原画像における暗い塊のうちその周囲が明るく縁取られたもののみがオブジェクトとして抽出される。このことは、例えばステップＳ５０４による二値化画像から、生細胞２５０に該当するオブジェクトの絞り込みを行ったこと意味している。つまり、ステップＳ５０８によっては、高い精度で生細胞２５０に該当するオブジェクトが抽出される。 Then, when the neurite extraction unit 45 executes the process of step S508, among the objects in the image binarized by step S504 as shown in FIG. 19B, those having no bright border around them Is excluded. The processing result of this step S508 is shown in FIG. 19 (c). Specifically, the four objects extracted in the area indicated by the broken line in FIG. 19 (b) are excluded in FIG. 19 (c) because their surroundings were not bright in the original image. ing. As a result of the processing of step S508 in this way, only the dark lumps in the original image whose surroundings are brightly bordered are extracted as objects. This means that, for example, the objects corresponding to the living cells 250 were narrowed down from the binarized image in step S504. That is, in step S508, the object corresponding to the living cell 250 is extracted with high accuracy.
また、神経突起抽出部４５は、ステップＳ５０６により二値化された画像から、以下のように神経突起３００に対応するオブジェクトを抽出する。図１８（ｅ）にて説明したようにステップＳ５０６により二値化された画像において白の階調に分類された部分のオブジェクトは原画像において暗く細い部分であり、したがって神経突起３００である可能性が高い。ただし、ステップＳ５０６により二値化された画像の段階では、まだ、死細胞２４０や生細胞２５０などのノイズ成分がオブジェクトの中に比較的多く混在している可能性が高い。 Further, the neurite extraction unit 45 extracts an object corresponding to the neurite 300 from the image binarized in step S506 as follows. As described in FIG. 18E, the object of the portion classified into the white gradation in the image binarized by step S506 is a dark and thin portion in the original image, and therefore may be a neurite 300. Is high. However, at the stage of the image binarized by step S506, there is a high possibility that a relatively large amount of noise components such as dead cells 240 and living cells 250 are still mixed in the object.
そこで、神経突起抽出部４５は、神経突起３００に対応するオブジェクトの抽出のために、ステップＳ５０６により二値化された画像から、ステップＳ５０２のソフトマッチングにより処理された画像を差し引いた差分画像を生成する（ステップＳ５０９）。 Therefore, the neurite extraction unit 45 generates a difference image obtained by subtracting the image processed by the soft matching in step S502 from the image binarized in step S506 in order to extract the object corresponding to the neurite 300. (Step S509).
ステップＳ５０２のソフトマッチングにより処理された画像では、前述のように、死細胞２４０に対応する特徴を有する画像領域がオブジェクトとして抽出されている。したがって、ステップＳ５０９により生成された差分画像は、ステップＳ５０６により二値化された画像のオブジェクトから死細胞２４０に対応するオブジェクトを除外した内容を有する画像である。 In the image processed by the soft matching in step S502, as described above, the image region having the characteristics corresponding to the dead cells 240 is extracted as an object. Therefore, the difference image generated in step S509 is an image having the content of excluding the object corresponding to the dead cell 240 from the object of the image binarized in step S506.
また、神経突起抽出部４５は、さらに、ステップＳ５０９により生成した差分画像から、ステップＳ５０８により抽出されたオブジェクトの画像を差し引いた差分画像を生成する（ステップＳ５１０）。ステップＳ５０８により抽出されたオブジェクトは、前述のように生細胞２５０に対応する。したがって、ステップＳ５１０により生成された差分画像においては、さらに生細胞２５０に対応するオブジェクトが除外される。つまり、ステップＳ５１０により生成された差分画像は、神経突起３００の候補であるオブジェクトのうちから、死細胞２４０と生細胞２５０である可能性が高いオブジェクトを除外した内容を有する。 Further, the neurite extraction unit 45 further generates a difference image obtained by subtracting the image of the object extracted in step S508 from the difference image generated in step S509 (step S510). The object extracted in step S508 corresponds to the living cell 250 as described above. Therefore, in the difference image generated in step S510, the object corresponding to the living cell 250 is further excluded. That is, the difference image generated in step S510 has the content of excluding the objects that are likely to be dead cells 240 and live cells 250 from the objects that are candidates for the neurite 300.
図２０（ａ）は、ステップＳ５０６により二値化された画像の例を示している。また、図２０（ｂ）は、図２０（ａ）の画像の生成元となった原画像を利用してステップＳ５０２によるソフトマッチングを行った画像を示している。また、図２０（ｃ）は、ステップＳ５０８により抽出されたオブジェクトを示す画像である。
例えば、ステップＳ５０９とステップＳ５１０の処理は、図２０（ａ）に示す画像に対して、図２０（ｂ）に示す画像と図２０（ｃ）に示す画像の両者を差し引く処理に相当する。
FIG. 20A shows an example of the image binarized by step S506. Further, FIG. 20B shows an image obtained by soft matching in step S502 using the original image from which the image of FIG. 20A was generated. Further, FIG. 20 (c) is an image showing the objects extracted in step S508.
For example, the processes of steps S509 and S510 correspond to the processes of subtracting both the image shown in FIG. 20 (b) and the image shown in FIG. 20 (c) from the image shown in FIG. 20 (a).
次に、神経突起抽出部４５は、ステップＳ５１０により生成した差分画像から、さらに、神経突起３００に対応するオブジェクトを絞り込むための処理を以下のように実行する。
前述のように神経突起３００は、位相差画像としての原画像において細く暗い部分として観察されるのであるが、その長さが一定以下のものについては、神経突起３００ではなく、例えば生細胞２５０などである可能性が高い。したがって、ステップＳ５１０により生成された差分画像において示されるオブジェクトのうちで長さが一定以下のものについては除外すれば、より高い精度で神経突起３００を抽出できる。
Next, the neurite extraction unit 45 further executes a process for narrowing down the objects corresponding to the neurite 300 from the difference image generated in step S510 as follows.
As described above, the neurite 300 is observed as a thin and dark part in the original image as a phase difference image, but if the length is less than a certain value, the neurite 300 is not the neurite 300, for example, a living cell 250 or the like. Is likely to be. Therefore, the neurite 300 can be extracted with higher accuracy by excluding the objects having a length of a certain length or less from the objects shown in the difference image generated in step S510.
そこで、つまり、神経突起抽出部４５は、ステップＳ５１０により生成した差分画像において示される神経突起３００の候補のオブジェクトについて細線化処理を実行する（ステップＳ５１１）。なお、この細線化処理の方式についてはここでは特に限定されない。 Therefore, that is, the neurite extraction unit 45 executes the thinning process on the candidate object of the neurite 300 shown in the difference image generated in step S510 (step S511). The method of this thinning process is not particularly limited here.
図２１（ａ）は、ステップＳ５１０により生成された差分画像の内容例を示している。この図において、輝度が最も低い黒色により示されている部分が神経突起３００の候補として抽出されたオブジェクトである。
神経突起抽出部４５が図２１（ａ）の画像のオブジェクトに対する細線化を施すことにより、図２１（ｂ）に示す画像が得られる。この図２１（ｂ）から分かるように、ステップＳ５１１の細線化によって、図２１（ａ）においてある程度の太さを有していたオブジェクトが線状に変換される。このようにオブジェクトが線状化されたことにより、オブジェクトを長さにより定量化できる。
FIG. 21A shows a content example of the difference image generated in step S510. In this figure, the portion indicated by black, which has the lowest brightness, is an object extracted as a candidate for neurite 300.
The neurite extraction unit 45 draws a thin line on the object in the image of FIG. 21 (a) to obtain the image shown in FIG. 21 (b). As can be seen from FIG. 21 (b), the thinning of the line in step S511 transforms the object having a certain thickness in FIG. 21 (a) into a linear shape. By making the object linear in this way, the object can be quantified by the length.
そこで、神経突起抽出部４５は、ステップＳ５１１により細線化されたオブジェクトのうちから、その長さが一定以上のもののみを選別する（ステップＳ５１２）。具体的に、神経突起抽出部４５は、例えば細線化されたオブジェクトのうちで、その長さが予め設定した閾値未満のものについては削除し、閾値以上のもののみを残す。 Therefore, the neurite extraction unit 45 selects only objects having a certain length or more from the objects delineated in step S511 (step S512). Specifically, the neurite extraction unit 45 deletes, for example, thinned objects whose length is less than a preset threshold value, and leaves only those objects having a length equal to or greater than the threshold value.
次に、神経突起抽出部４５は、ステップＳ５１２により選別されたオブジェクトを元の太さに復元する（ステップＳ５１３）。
図２１（ｃ）は、ステップＳ５１２により復元されたオブジェクトを示す画像例を示している。ここで、図２１（ａ）において破線で括って示す領域に存在していたオブジェクトは、その長さが一定未満であったためにステップＳ５１２により削除されたため、図２１（ｃ）の復元段階においては存在していない。このようにステップＳ５１３により復元された段階の画像においては、死細胞２４０や生細胞２５０などに対応するノイズが除去され、神経突起３００に対応するオブジェクト高い精度で抽出されている。
そして、神経突起抽出部４５は、ステップＳ５１３により復元したオブジェクトを示す画像を、神経突起３００を抽出した結果として出力する（ステップＳ５１４）。
Next, the neurite extraction unit 45 restores the object selected in step S512 to the original thickness (step S513).
FIG. 21C shows an example image showing the object restored in step S512. Here, since the object existing in the area indicated by the broken line in FIG. 21 (a) was deleted in step S512 because its length was less than a certain value, in the restoration stage of FIG. 21 (c), the object was deleted. Does not exist. In the image at the stage restored by step S513 in this way, the noise corresponding to the dead cells 240 and the living cells 250 is removed, and the objects corresponding to the neurites 300 are extracted with high accuracy.
Then, the neurite extraction unit 45 outputs an image showing the object restored in step S513 as a result of extracting the neurite 300 (step S514).
前述のように、ステップＳ５０２のソフトマッチングによっては、死細胞２４０に対応する部分として、明るい輪郭により周囲が縁取られた部分をオブジェクトとして抽出した画像が得られる。そのうえで、神経突起抽出部４５は、より高い精度で死細胞２４０を抽出するために、以下の処理を実行する。 As described above, by the soft matching in step S502, an image obtained by extracting a portion whose periphery is bordered by a bright contour as an object as a portion corresponding to the dead cell 240 can be obtained. Then, the neurite extraction unit 45 executes the following processing in order to extract the dead cells 240 with higher accuracy.
つまり、神経突起抽出部４５は、ステップＳ５０１により入力した原画像についてダイレーション（膨張）を行い（ステップＳ５１５）、さらに、このステップＳ５１５によりダイレーションを行った画像から、ステップＳ５０１により入力した原画像を差し引いた差分画像を生成する（ステップＳ５１６）。 That is, the neurite extraction unit 45 performs dilation (expansion) on the original image input in step S501 (step S515), and further, from the image dilated in step S515, the original image input in step S501. Is subtracted to generate a difference image (step S516).
次に、神経突起抽出部４５は、ステップＳ５１６により生成された差分画像について二値化する（ステップＳ５１７）。そして、神経突起抽出部４５は、ステップＳ５１７により二値化した画像におけるオブジェクトと、ステップＳ５０２のソフトマッチングにより抽出したオブジェクトとで共通となる部分をオブジェクトとして抽出する（ステップＳ５１８）。 Next, the neurite extraction unit 45 binarizes the difference image generated in step S516 (step S517). Then, the neurite extraction unit 45 extracts a portion common between the object in the image binarized in step S517 and the object extracted by soft matching in step S502 as an object (step S518).
図２２は、ステップＳ５１５とステップＳ５１６の処理に対応する画像例を示している。図２２（ａ）は、ステップＳ５０１により入力した原画像の例であり、図２２（ｂ）は、図２２（ａ）の原画像をステップＳ５１６によりダイレーションした画像である。また、図２２（ｃ）は、ステップＳ５１６により、図２２（ａ）の画像から、図２２（ａ）の画像を差し引いた画像である。この図２２（ｃ）に示す画像においては、濃度勾配の大きい部分が強調された状態となっている。 FIG. 22 shows an example of an image corresponding to the processing of step S515 and step S516. FIG. 22 (a) is an example of the original image input in step S501, and FIG. 22 (b) is an image obtained by dilating the original image of FIG. 22 (a) in step S516. Further, FIG. 22 (c) is an image obtained by subtracting the image of FIG. 22 (a) from the image of FIG. 22 (a) in step S516. In the image shown in FIG. 22 (c), the portion having a large density gradient is emphasized.
また、図２３は、ステップＳ５１７とＳ５１８の処理に対応する画像例を示している。 図２３（ａ）は、図２２（ｃ）に示した差分画像をステップＳ５１７により二値化して、白の階調に分類された部分をオブジェクトとして抽出した例を示している。
そして、図２３（ｃ）は、ステップＳ５０８により、図２３（ａ）に示されるオブジェクトと図２３（ｂ）に示されるオブジェクトとで共通となる部分として抽出したオブジェクトを示す画像である。図２３（ｂ）と図２３（ｃ）を比較して分かるように、ステップＳ５１８の段階では、ソフトマッチングにより抽出されたオブジェクトから、さらに死細胞２４０としてのオブジェクトが絞り込まれている。
Further, FIG. 23 shows an example of an image corresponding to the processing of steps S517 and S518. FIG. 23A shows an example in which the difference image shown in FIG. 22C is binarized by step S517 and the portion classified into the white gradation is extracted as an object.
Then, FIG. 23 (c) is an image showing an object extracted as a common portion between the object shown in FIG. 23 (a) and the object shown in FIG. 23 (b) by step S508. As can be seen by comparing FIG. 23 (b) and FIG. 23 (c), at the stage of step S518, the objects as dead cells 240 are further narrowed down from the objects extracted by soft matching.
これまでの説明から理解されるように、ステップＳ５０８により抽出されたオブジェクトは生細胞２５０に対応する。しかし、ステップＳ５０８の段階では、現実には個別のものであるのに係わらず、互いが近接しているために、複数の生細胞２５０に対応するオブジェクトが１つのオブジェクトとしてつながった状態で抽出されている場合がある。この点については、ステップＳ５１８によって抽出された死細胞２４０のオブジェクトについても同様のことがいえる。 As will be understood from the above description, the object extracted in step S508 corresponds to the living cell 250. However, at the stage of step S508, objects corresponding to a plurality of living cells 250 are extracted as one object because they are close to each other even though they are actually individual objects. May be. The same can be said for the dead cell 240 object extracted in step S518.
例えば、神経突起３００の状態判定にあたり、生細胞２５０と死細胞２４０の数は有効な判定要素となる。このために、抽出結果における生細胞２５０と死細胞２４０のそれぞれに対応するオブジェクト数はできるだけ正確であることが好ましい。
そこで、神経突起抽出部４５は、ステップＳ５０８により抽出された生細胞２５０のオブジェクトについて領域分割の画像処理を実行する（ステップＳ５１９）。つまり、神経突起抽出部４５は、複数の生細胞２５０が重複して１つとして抽出されたものとして推定されるオブジェクトを複数の生細胞２５０ごとに対応して分割する。これにより、互いに接触して１つのオブジェクトとして抽出されている生細胞２５０のオブジェクトが複数に分割される。また、神経突起抽出部４５は、ステップＳ５１８により抽出された死細胞２４０オブジェクトについて領域分割の画像処理を実行する（ステップＳ５２１）。これにより、互いに接触して１つのオブジェクトとして抽出されている死細胞２４０のオブジェクトが複数に分割される。
For example, in determining the state of the neurite 300, the number of live cells 250 and dead cells 240 is an effective determination factor. For this reason, it is preferable that the number of objects corresponding to each of the live cells 250 and the dead cells 240 in the extraction result is as accurate as possible.
Therefore, the neurite extraction unit 45 executes the image processing of the region division on the object of the living cell 250 extracted in step S508 (step S519). That is, the neurite extraction unit 45 divides an object presumed to be extracted as one by overlapping a plurality of living cells 250 corresponding to each of the plurality of living cells 250. As a result, the objects of the living cells 250 that are in contact with each other and are extracted as one object are divided into a plurality of objects. In addition, the neurite extraction unit 45 executes image processing of region division on the dead cell 240 object extracted in step S518 (step S521). As a result, the objects of the dead cells 240 that are in contact with each other and are extracted as one object are divided into a plurality of objects.
ステップＳ５１９またはＳ５２１における領域分割のためのアルゴリズムとしては特に限定されないが、有効なものの１つとして水分界分離アルゴリズムが知られている。
図２４（ａ）、（ｂ）は、水分界分離による領域分割を模式的に示している。例えば、図２４（ａ）には、円形の２つのオブジェクトＯＢＪ１とオブジェクトＯＢＪ２との一部が重なるように接触した状態が示されている。この場合において、水分界分離のアルゴリズムにより分割領域を行うことで、オブジェクトＯＢＪ１とオブジェクトＯＢＪ２は、図２４（ｂ）に示すように分離される。
The algorithm for region division in steps S519 or S521 is not particularly limited, but a moisture boundary separation algorithm is known as one of the effective ones.
FIGS. 24 (a) and 24 (b) schematically show the region division by the separation of the water boundary. For example, FIG. 24A shows a state in which two circular objects OBJ1 and an object OBJ2 are in contact with each other so as to overlap each other. In this case, the object OBJ1 and the object OBJ2 are separated as shown in FIG. 24 (b) by performing the division region by the algorithm of the moisture boundary separation.
そのうえで、生細胞２５０は、死細胞２４０と比較すると大きく、その形状も比較的多様である。一方、死細胞２４０は比較的小さく、また、原画像上では円形に近い状態で存在している。
そこで、神経突起抽出部４５は、ステップＳ５１９とステップＳ５２１で、以下のように、生細胞２５０と死細胞２４０のそれぞれに適合させた領域分割を行う。
On top of that, the live cells 250 are larger than the dead cells 240 and their shapes are relatively diverse. On the other hand, the dead cells 240 are relatively small and exist in a state close to a circle on the original image.
Therefore, in step S519 and step S521, the neurite extraction unit 45 performs region division adapted to each of the live cell 250 and the dead cell 240 as follows.
具体的に、図２４（ｃ）、（ｄ）は、ステップＳ５１９による生細胞２５０のオブジェクトに対する領域分割の例を示している。図２４（ａ）は領域分割前の画像（つまり、ステップＳ５０８により抽出されたオブジェクトが示される画像）であり、図２４（ｂ）は、領域分割後の画像である。 Specifically, FIGS. 24 (c) and 24 (d) show an example of region division of living cell 250 for an object according to step S519. FIG. 24A is an image before the region division (that is, an image showing the object extracted in step S508), and FIG. 24B is an image after the region division.
図２４（ａ）において２つの生細胞２５０のオブジェクトが接触している可能性がある（分水界である）として推定される部位は、例えば破線Ａと破線Ｂで括って示す部位である。ここで、破線Ａにより示される部位において２つのオブジェクトが重なり合っているとした場合、これらのオブジェクトを分割した際の分割線（分水界）は、ある程度長いものとなる。一方、破線Ｂにより示される部位において２つのオブジェクトが重なり合っているとした場合のオブジェクト間の分水界の長さは、破線Ａにより示される部分と比較して相当に短い。 In FIG. 24A, the site presumed to be in contact with the objects of the two living cells 250 (the watershed) is, for example, a site enclosed by a broken line A and a broken line B. Here, assuming that two objects overlap at the portion indicated by the broken line A, the dividing line (watershed) when these objects are divided is somewhat long. On the other hand, when two objects are overlapped at the portion indicated by the broken line B, the length of the watershed between the objects is considerably shorter than the portion indicated by the broken line A.
生細胞２５０には、前述のように、その形状が多様であるという特徴がある。この点からすると、破線Ａで括って示す部位を含むオブジェクトは、現実においても１つの生細胞２５０である可能性が高い。これに対して、破線Ｂで括って示す部位については、現実には２つ存在するオブジェクトが重なっている部分である可能性が高い。そこで、生細胞２５０に対応するステップＳ５１９の領域分割にあたり、神経突起抽出部４５は、重複している部分を分割した場合の分水界（分割線）の長さが一定以下となる場合にのみ分割を行うようにする。これにより、図２４（ｃ）に示される画像を対象に領域分割を行った場合には、図２４（ｄ）に示すようになる。つまり、破線Ａで示す領域は分割されず、破線Ｂで示す領域が分割される。 As described above, the living cell 250 is characterized by having various shapes. From this point of view, it is highly possible that the object including the site enclosed by the broken line A is actually one living cell 250. On the other hand, the portion indicated by the broken line B is likely to be a portion where two existing objects actually overlap. Therefore, in dividing the region in step S519 corresponding to the living cell 250, the neurite extraction unit 45 only when the length of the watershed (dividing line) when the overlapping portion is divided is equal to or less than a certain level. Try to divide. As a result, when the area is divided for the image shown in FIG. 24 (c), it becomes as shown in FIG. 24 (d). That is, the region indicated by the broken line A is not divided, and the region indicated by the broken line B is divided.
一方、死細胞２４０は、前述のように、比較的小さく、その形状も円形に近い粒状である。そこで、生細胞２５０に対応するステップＳ５１９の領域分割にあたり、神経突起抽出部４５は、例えば分水界であると検出された部位について、その長短に係わらずすべて分割する。
図２４（ｅ）は、ステップＳ５１８にて抽出されたオブジェクトが示される画像の一例である。この画像においては、破線Ｃで示す部分が分水界として推定されている。そこで、神経突起抽出部４５は、図２４（ｆ）に示すように、ステップＳ５２１により、破線Ｃで示す部分を分割するように領域分割を行う。
On the other hand, the dead cells 240 are relatively small and have a shape close to a circle as described above. Therefore, in dividing the region in step S519 corresponding to the living cell 250, the neurite extraction unit 45 divides all the sites detected as, for example, the watershed, regardless of their lengths.
FIG. 24E is an example of an image showing the object extracted in step S518. In this image, the portion indicated by the broken line C is estimated as the watershed. Therefore, as shown in FIG. 24 (f), the neurite extraction unit 45 divides the region so as to divide the portion indicated by the broken line C in step S521.
そして、神経突起抽出部４５は、ステップＳ５１９により分割領域を行った後のオブジェクトの抽出結果を生細胞２５０の抽出結果として出力する（ステップＳ５２０）。また、神経突起抽出部４５は、ステップＳ５２１により分割領域を行った後のオブジェクトの抽出結果を死細胞２４０の抽出結果として出力する（ステップＳ５２２）。 Then, the neurite extraction unit 45 outputs the extraction result of the object after the division region is performed in step S519 as the extraction result of the living cells 250 (step S520). Further, the neurite extraction unit 45 outputs the extraction result of the object after the division region is performed in step S521 as the extraction result of the dead cells 240 (step S522).
なお、この図１６のフローチャートに示す処理も、図９における１つの撮像時刻に対応して生成された単焦点画像としての原画像を対象として行われるものである。したがって、神経突起抽出部４５は、タイムラプス画像を形成する単焦点画像ごとに対応して図１６の処理を実行する。 The process shown in the flowchart of FIG. 16 is also performed on the original image as a single focus image generated corresponding to one imaging time in FIG. 9. Therefore, the neurite extraction unit 45 executes the process of FIG. 16 corresponding to each single focus image forming the time-lapse image.
このように、本実施形態においては、画像からロゼッタ１００と神経突起３００を抽出し、この抽出結果に基づいてロゼッタ１００や神経突起３００の状態を判定する。つまり、本実施形態においては、インキュベータ１１によりロゼッタ１００と神経突起３００の抽出と、この抽出結果に基づく各種の判定とが自動で行われる。これにより、本実施形態においては、人的労力の軽減が図られる。
また、本実施形態においては、細胞を撮像した画像の内容に基づいてロゼッタの状態を判定しているので、非侵襲により安定的に神経細胞の分化状態が評価できる。本実施形態では、非侵襲によりロゼッタ１００や神経突起３００を有効に抽出可能な画像形式として、位相差画像を採用しているものである。
また、本実施形態では、インキュベータ１１内で培養されている環境の細胞を撮像するようにしているので、撮像のために培養を中断してインキュベータから取り出す必要が無い。これにより、培養過程の細胞の品質が劣化せず安定する。
As described above, in the present embodiment, the rosette 100 and the neurite 300 are extracted from the image, and the state of the rosette 100 and the neurite 300 is determined based on the extraction result. That is, in the present embodiment, the incubator 11 automatically extracts the rosette 100 and the neurite 300 and makes various determinations based on the extraction results. As a result, in the present embodiment, human labor can be reduced.
Further, in the present embodiment, since the state of Rosetta is determined based on the content of the image obtained by capturing the cells, the state of differentiation of nerve cells can be stably evaluated by non-invasiveness. In the present embodiment, a phase difference image is adopted as an image format capable of effectively extracting the rosette 100 and the neurite 300 by non-invasiveness.
Further, in the present embodiment, since the cells in the environment cultured in the incubator 11 are imaged, it is not necessary to interrupt the culture and remove the cells from the incubator for imaging. As a result, the quality of cells in the culture process is not deteriorated and is stabilized.
なお、本実施形態においては、ロゼッタ１００とともに神経突起３００も抽出し、これらの構造物の状態に基づいて細胞の状態を総合的に判定しているが、例えばロゼッタ１００のみにより細胞の状態を判定してもよい。ただし、神経突起３００の抽出結果も併用したほうが、より信頼性の高い判定結果が期待できる。
また、ロゼッタ１００とともに抽出する構造物については、例えば神経管など、神経突起３００以外のであってもよい。また、ロゼッタ１００と神経突起３００を抽出したうえで、さらに他の構造物も抽出し、これらの抽出結果に基づいて細胞の状態判定を行うようにしてもよい。
In the present embodiment, the neurite 300 is extracted together with the rosette 100, and the state of the cell is comprehensively determined based on the state of these structures. For example, the state of the cell is determined only by the rosette 100. You may. However, if the extraction result of the neurite 300 is also used, a more reliable determination result can be expected.
Further, the structure extracted together with the rosette 100 may be a structure other than the neurite 300, such as a neural tube. Further, after extracting the rosette 100 and the neurite 300, other structures may be extracted, and the state of the cell may be determined based on the extraction results.
また、図３における各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより構造物の抽出および状態の判定などを行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 Further, the program for realizing the functions of each part in FIG. 3 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read by the computer system and executed to extract the structure and execute the program. The state may be determined. The term "computer system" as used herein includes hardware such as an OS and peripheral devices.
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
In addition, the "computer system" includes a homepage providing environment (or display environment) if a WWW system is used.
Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system. Furthermore, a "computer-readable recording medium" is a volatile memory (RAM) inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, it shall include those that hold the program for a certain period of time. Further, the above-mentioned program may be a program for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in the computer system.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and the design and the like within a range not deviating from the gist of the present invention are also included.
なお、以上の実施形態において説明された発明を整理して、付記として開示する。 The inventions described in the above embodiments will be organized and disclosed as an appendix.
（付記１）
神経細胞分化過程の細胞を撮像した第１の撮像画像を入力する画像入力部と、
細胞の厚さ方向の位置において焦点の合った状態の全焦点画像を、少なくとも前記第１の撮像画像に基づく第１の原画像として生成する全焦点画像生成部と、
前記第１の原画像において一定以下の輝度分布を有する領域と、前記第１の原画像において濃度差が一定以下の領域とで共通する領域を、分化過程に出現するロゼッタとして抽出するロゼッタ抽出部と、
抽出された前記ロゼッタの状態を判定するロゼッタ対応判定部と、
を備える細胞評価装置。
(Appendix 1)
An image input unit for inputting a first captured image of cells in the process of nerve cell differentiation,
An omnifocal image generator that generates an omnifocal image in a focused state at a position in the thickness direction of the cell as a first original image based on at least the first captured image.
A rosette extraction unit that extracts a region common to a region having a brightness distribution of a certain level or less in the first original image and a region having a density difference of a certain level or less in the first original image as rosettes appearing in the differentiation process. When,
A rosette correspondence determination unit that determines the state of the extracted rosette,
A cell evaluation device comprising.
（付記２）
前記ロゼッタ対応判定部は、
判定したロゼッタの状態に基づいて前記細胞の分化に関連する工程又は将来予測についての判定を行う、
付記１に記載の細胞評価装置。
(Appendix 2)
The rosette correspondence determination unit
Based on the determined state of Rosetta, a determination is made regarding the process or future prediction related to the differentiation of the cells.
The cell evaluation device according to Appendix 1.
（付記３）
前記画像入力部は、
前記ロゼッタ以外の所定の構造物が出現する分化過程の細胞を撮像した単焦点画像である第２の撮像画像を入力し、
前記所定の構造物を前記第２の撮像画像に基づく第２の原画像から抽出する構造物抽出部と、
抽出された前記構造物の状態を判定する構造物対応判定部とをさらに備える、
付記１又は付記２に記載の細胞評価装置。
(Appendix 3)
The image input unit is
A second image, which is a single focus image of cells in the differentiation process in which a predetermined structure other than the rosette appears, is input.
A structure extraction unit that extracts the predetermined structure from the second original image based on the second captured image, and a structure extraction unit.
Further provided with a structure correspondence determination unit for determining the state of the extracted structure.
The cell evaluation device according to Appendix 1 or Appendix 2.
（付記４）
前記構造物対応判定部は、
判定した前記構造物の状態に基づいて前記細胞の分化誘導に関連する前記構造物の分化状態又は前記構造物の品質についての判定を行う、
付記３に記載の細胞評価装置。
(Appendix 4)
The structure correspondence determination unit is
Based on the determined state of the structure, the state of differentiation of the structure or the quality of the structure related to the induction of differentiation of the cells is determined.
The cell evaluation device according to Appendix 3.
（付記５）
前記ロゼッタ対応判定部の判定結果と前記構造物対応判定部の判定結果とに基づいて、前記細胞の分化培養に関連する分化状態又は分化効率についての判定を行う総合判定部をさらに備える、
付記３又は付記４に記載の細胞評価装置。
(Appendix 5)
A comprehensive determination unit for determining the differentiation state or differentiation efficiency related to the differentiation culture of the cells is further provided based on the determination result of the rosette correspondence determination unit and the determination result of the structure correspondence determination unit.
The cell evaluation device according to Appendix 3 or Appendix 4.
（付記６）
前記画像入力部は、
位相差顕微鏡により前記細胞を観察した位相差画像を撮像した前記第１の撮像画像を入力する、
付記１から付記５のいずれか一項に記載の細胞評価装置。
(Appendix 6)
The image input unit is
The first captured image obtained by capturing the phase-contrast image obtained by observing the cells with a phase-contrast microscope is input.
The cell evaluation device according to any one of Supplementary notes 1 to 5.
（付記７）
前記全焦点画像生成部は、
前記細胞の予め決定されたｘｙ平面上における撮像位置を前記細胞の深さ方向に添って焦点位置を変更して撮像された複数の単焦点画像としての前記第１の撮像画像を取得し、前記複数の単焦点画像の各々を合成することにより、細胞の厚さ方向の位置において焦点の合った状態の全焦点画像を、少なくとも前記第１の原画像として生成する
付記６に記載の細胞評価装置。
(Appendix 7)
The omnifocal image generator
The first captured image as a plurality of single focus images captured by changing the focal position of the cell on a predetermined xy plane along the depth direction of the cell is acquired, and the first captured image is obtained. The cell evaluation apparatus according to Appendix 6, which generates at least a first original image in a focused state at a position in the thickness direction of a cell by synthesizing each of a plurality of single focus images. ..
（付記８）
神経細胞分化過程の細胞を撮像した撮像画像を入力する画像入力ステップと、
細胞の厚さ方向の位置において焦点の合った状態の全焦点画像を、少なくとも前記撮像画像に基づく第１の原画像として生成する全焦点画像生成ステップと、
前記第１の原画像において一定以下の輝度分布を有する領域と、前記第１の原画像において濃度差が一定以下の領域とで共通する領域を、分化過程に出現するロゼッタとして抽出するロゼッタ抽出ステップと、
抽出された前記ロゼッタの状態を判定するロゼッタ対応判定ステップと、
を備えることを特徴とする細胞評価方法。
(Appendix 8)
An image input step for inputting an captured image of cells in the process of nerve cell differentiation,
A omnifocal image generation step of generating an omnifocal image in a focused state at a position in the thickness direction of a cell as at least a first original image based on the captured image.
A rosette extraction step of extracting a region common to a region having a brightness distribution of a certain level or less in the first original image and a region having a density difference of a certain level or less in the first original image as rosettes appearing in the differentiation process. When,
A rosette correspondence determination step for determining the extracted state of the rosette, and
A cell evaluation method characterized by comprising.
（付記９）
コンピュータに、
神経細胞分化過程の細胞を撮像した撮像画像を入力する画像入力ステップ、
細胞の厚さ方向の位置において焦点の合った状態の全焦点画像を、少なくとも前記撮像画像に基づく第１の原画像として生成する全焦点画像生成ステップ、
前記第１の原画像において一定以下の輝度分布を有する領域と、前記第１の原画像において濃度差が一定以下の領域とで共通する領域を、分化過程に出現するロゼッタとして抽出するロゼッタ抽出ステップ、
抽出された前記ロゼッタの状態を判定するロゼッタ対応判定ステップ、
を実行させるためのプログラム。
(Appendix 9)
On the computer
Image input step to input an image taken by imaging cells in the process of nerve cell differentiation,
A omnifocal image generation step of generating an omnifocal image in a focused state at a position in the thickness direction of a cell as at least a first original image based on the captured image.
A rosette extraction step of extracting a region common to a region having a brightness distribution of a certain level or less in the first original image and a region having a density difference of a certain level or less in the first original image as rosettes appearing in the differentiation process. ,
Rosetta correspondence determination step, which determines the state of the extracted rosette,
A program to execute.
１１ インキュベータ
１２ 上部ケーシング
１３ 下部ケーシング
１４ ベースプレート
１５ 恒温室
１５ａ 温度調整装置
１５ｂ 湿度調整装置
１６ 大扉
１７ 中扉
１８ 小扉
１９ 培養容器
２１ ストッカー
２２ 観察ユニット
２３ 容器搬送装置
２４ 搬送台
３１ 試料台
３２ スタンドアーム
３３ 本体部分
３３ａ 撮像装置
３３ｂ ＬＥＤ光源
３４ 垂直ロボット
３５ 回転ステージ
３５ａ 回転軸
３６ ミニステージ
３７ アーム部
４０ 制御装置
４１ 記憶部
４２ 画像入力部
４３ 全焦点画像生成部
４４ ロゼッタ抽出部
４５ 神経突起抽出部
４６ ロゼッタ対応判定部
４７ 神経突起対応判定部
４８ 総合判定部
４９ 装置制御部
５１ 回収装置
５２ 播種装置
５３ 培地交換装置
１００ ロゼッタ
２００ 神経細胞
２１０ 細胞体
２２０ 軸索
２３０ 樹状突起
２４０ 死細胞
２５０ 生細胞
３００ 神経突起
11 Incubator 12 Upper casing 13 Lower casing 14 Base plate 15 Constant greenhouse 15a Temperature control device 15b Humidity control device 16 Large door 17 Medium door 18 Small door 19 Culture vessel 21 Stocker 22 Observation unit 23 Container transport device 24 Transport stand 31 Sample stand 32 Stand Arm 33 Main body 33a Imaging device 33b LED light source 34 Vertical robot 35 Rotating stage 35a Rotating axis 36 Mini stage 37 Arm section 40 Control device 41 Storage section 42 Image input section 43 Omnifocal image generator 44 Rosetta extraction section 45 Neurite extraction section 46 Rosetta Correspondence Judgment Unit 47 Neurite Correspondence Judgment Unit 48 Comprehensive Judgment Unit 49 Device Control Unit 51 Recovery Device 52 Seeding Device 53 Media Exchanger 100 Rosetta 200 Nerve Cell 210 Cell Body 220 Axon 230 Dendrite 240 Dead Cell 250 Live Cell 300 neurites
上述した課題を解決するために、本発明の一態様としての細胞評価装置は、撮像された神経細胞の画像を取得する画像取得部と、取得された前記画像から神経突起以外の神経細胞要素を抽出する第１の抽出部と、前記第１の抽出部により抽出された前記神経突起以外の神経細胞要素の数又は増殖速度の少なくとも一方に基づいて、神経細胞の生育状態又は分化状態を判定する第１の判定部とを備える。 In order to solve the above-mentioned problems, the cell evaluation device as one aspect of the present invention has an image acquisition unit that acquires an image of an imaged nerve cell, and a nerve cell element other than a neurite from the acquired image. The growth state or differentiation state of nerve cells is determined based on at least one of the number of nerve cell elements other than the neurites extracted by the first extraction unit to be extracted and the proliferation rate. It is provided with a first determination unit.
また、本発明の一態様としてのインキュベータは、細胞の培養を行う恒温室と、細胞の前記画像を撮像するための観察ユニットとを備える。 Further, the incubator as one aspect of the present invention includes a constant temperature room for culturing cells and an observation unit for capturing the image of the cells.
また、本発明の一態様としてのプログラムは、コンピュータに、撮像された神経細胞の画像を取得する画像取得ステップと、取得された前記画像から神経突起以外の神経細胞要素を抽出する第１の抽出ステップと、前記第１の抽出ステップにより抽出された前記神経突起以外の神経細胞要素の数又は増殖速度の少なくとも一方に基づいて、神経細胞の生育状態又は分化状態を判定する第１の判定ステップとを実行させるためのものである。 Further, the program as one aspect of the present invention includes an image acquisition step of acquiring an image of an image of a nerve cell captured by a computer, and a first extraction of extracting a nerve cell element other than a neurite from the acquired image. A first determination step for determining a growth state or a differentiation state of a nerve cell based on at least one of a step and at least one of the number of nerve cell elements other than the neurite extracted by the first extraction step or the growth rate. Is for executing.
Claims (15)
前記第１の抽出部で算出された前記神経突起の長さを用いて、抽出された前記神経突起を有する前記神経細胞の生育状態を判定する第１の判定部と、
を備える細胞評価装置。 An object is extracted as a candidate for a neurite of a nerve cell from the captured image, and the object is thinned to be linearized, and the length of the thinned object is calculated from the captured image. A first extraction unit that extracts neurites of the nerve cells from the object based on the length of the object, and
Using the length of the neurite calculated by the first extraction unit, a first determination unit for determining the growth state of the nerve cell having the extracted neurite, and a first determination unit.
A cell evaluation device comprising.
請求項１に記載の細胞評価装置。 The cell evaluation device according to claim 1, wherein the neurite is composed of an axon and a dendrite.
前記第１の抽出部は、複数の前記画像の各々から前記神経細胞の神経突起の候補としてオブジェクトを抽出し、前記オブジェクトを線状に変換する細線化を行うと共に、前記細線化されたオブジェクトの長さから前記神経細胞の神経突起の伸長速度を算出し、
前記第1の判定部は、前記神経細胞の神経突起の伸長速度を用いて、前記抽出された前記神経細胞の神経突起を有する前記神経細胞の生育状態を判定する
請求項１に記載の細胞評価装置。 The captured image is an image captured in time series, and is
The first extraction unit extracts an object as a candidate for a neurite of the nerve cell from each of the plurality of images, performs thinning to convert the object into a linear shape, and thins the thinned object. Calculate the elongation rate of the neurite of the nerve cell from the length,
The cell evaluation according to claim 1, wherein the first determination unit determines the growth state of the nerve cell having the neurite of the extracted nerve cell by using the elongation rate of the neurite of the nerve cell. apparatus.
画像の明暗が強調された前記神経細胞の位相差画像の領域のうち暗い部分である第１領域を前記神経突起の候補としてのオブジェクトとして抽出する
請求項１に記載の細胞評価装置。 The first extraction unit is
The cell evaluation apparatus according to claim 1, wherein a first region, which is a dark portion of a region of a phase difference image of the nerve cell in which the brightness of the image is emphasized, is extracted as an object as a candidate for the neurite.
前記位相差画像を二値化処理することで前記第１領域の周囲に明るい縁取りのないものを除外することにより、前記神経突起の候補としてのオブジェクトを抽出する
請求項４に記載の細胞評価装置。 The first extraction unit is
The cell evaluation apparatus according to claim 4, wherein an object as a candidate for a neurite is extracted by binarizing the retardation image to exclude an object having no bright border around the first region. ..
請求項１に記載の細胞評価装置。 The cell evaluation according to claim 1, wherein the first extraction unit deletes an object in which the length of the second object is less than a predetermined threshold value among the second objects obtained by thinning the object. apparatus.
前記神経細胞の画像から前記神経細胞のロゼッタの候補としてオブジェクトを抽出する第２の抽出部と、
抽出された前記ロゼッタの状態を判定する第２の判定部と、
を更に備え、
前記第２の抽出部は、教師付き分類処理により複数の前記全焦点画像から抽出された領域と、複数の前記全焦点画像において濃度差に基づいて抽出された領域とで共通する領域を、前記ロゼッタとして抽出する
請求項３から請求項６のいずれか一項に記載の細胞評価装置。 A storage unit that stores a plurality of omnifocal images focused in the entire area of an image generated by using a plurality of unifocal images captured in time series.
A second extraction unit that extracts an object as a candidate for the rosette of the nerve cell from the image of the nerve cell,
A second determination unit that determines the state of the extracted rosette, and
With more
The second extraction unit provides a common region between the region extracted from the plurality of omnifocal images by the supervised classification process and the region extracted based on the density difference in the plurality of omnifocal images. The cell evaluation device according to any one of claims 3 to 6, which is extracted as a rosette.
請求項７に記載の細胞評価装置。 The storage unit stores the omnifocal image obtained by capturing a phase-contrast image obtained by observing the nerve cell with a phase-contrast microscope.
The cell evaluation device according to claim 7.
請求項７に記載の細胞評価装置。 The cell evaluation device according to claim 7, wherein the second determination unit determines whether the subsequent steps should be continued or discarded based on the state of the rosette.
前記第１の判定部の判定結果と前記第２の判定部の判定結果と前記記憶部が記憶する情報とに基づき、前記神経細胞の生育状態を判定する総合判定を行う第４の判定部と、
を更に備える
請求項７から請求項９のいずれか一項に記載の細胞評価装置。 The storage unit that stores the differentiation state of the rosette and the culture conditions until the rosette is differentiated to the stage where the neurite appears.
Based on the determination result of the first determination unit, the determination result of the second determination unit, and the information stored in the storage unit, the fourth determination unit that performs a comprehensive determination to determine the growth state of the nerve cell. ,
The cell evaluation device according to any one of claims 7 to 9, further comprising.
請求項１から請求項１０のいずれか一項に記載の細胞評価装置。 The first determination unit determines whether to discard the nerve cells based on the determination result of the determination of the growth state.
The cell evaluation device according to any one of claims 1 to 10.
前記第１の判定部は、前記神経突起と前記神経細胞の生細胞と前記神経細胞の死細胞とに基づいて、前記神経細胞の生育状態を判定する、
請求項２から請求項１１のいずれか一項に記載の細胞評価装置。 The first extraction unit further extracts an object as a candidate for a living cell and a dead cell of the nerve cell from each of a plurality of images of the nerve cell taken in time series.
The first determination unit determines the growth state of the nerve cell based on the neurite, the living cell of the nerve cell, and the dead cell of the nerve cell.
The cell evaluation device according to any one of claims 2 to 11.
請求項１から請求項１２のいずれか一項に記載の細胞評価装置。 The first determination unit determines at least one of the elongation rate of the neurite, the length of the neurite, the number of living cells of the nerve cell, the number of dead cells of the nerve cell, and the proliferation rate of the nerve cell. To determine the growth state of the nerve cell based on
The cell evaluation device according to any one of claims 1 to 12.
前記神経細胞の培養を行う恒温室と、
前記神経細胞の画像を撮像するための観察ユニットと
を備えるインキュベータ。 The cell evaluation device according to any one of claims 1 to 11.
A homeothermic chamber for culturing the nerve cells and
An incubator including an observation unit for capturing images of the nerve cells.
撮像された撮像画像から神経細胞の神経突起の候補としてオブジェクトを抽出し、前記オブジェクトを線状に変換する細線化を行うと共に、前記撮像画像から前記細線化されたオブジェクトの長さを算出し、前記オブジェクトの長さを基準に前記オブジェクトの中から前記神経細胞の神経突起を抽出する第１の抽出ステップと、
前記第1の抽出ステップにより算出された前記神経突起の長さを用いて、抽出された前記神経突起を有する前記神経細胞の生育状態を判定する第１の判定ステップと、
を実行させるためのプログラム。 On the computer
An object is extracted as a candidate for a neurite of a nerve cell from the captured image, and the object is thinned to be linearized, and the length of the thinned object is calculated from the captured image. The first extraction step of extracting the neurite of the nerve cell from the object based on the length of the object, and
Using the length of the neurite calculated in the first extraction step, the first determination step of determining the growth state of the nerve cell having the extracted neurite, and
A program to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020190301A JP7235027B2 (en) | 2020-11-16 | 2020-11-16 | Cell evaluation instruments, incubators and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020190301A JP7235027B2 (en) | 2020-11-16 | 2020-11-16 | Cell evaluation instruments, incubators and programs |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018140291A Division JP6798533B2 (en) | 2018-07-26 | 2018-07-26 | Cell evaluation device, incubator and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021027836A true JP2021027836A (en) | 2021-02-25 |
| JP7235027B2 JP7235027B2 (en) | 2023-03-08 |
Family
ID=74666858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020190301A Active JP7235027B2 (en) | 2020-11-16 | 2020-11-16 | Cell evaluation instruments, incubators and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7235027B2 (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002312761A (en) * | 2001-04-12 | 2002-10-25 | Matsushita Electric Ind Co Ltd | Image processing method for cell image |
| JP2003009898A (en) * | 2001-07-05 | 2003-01-14 | Matsushita Electric Ind Co Ltd | Method for determining protrusion of cell |
| JP2003014737A (en) * | 2001-07-05 | 2003-01-15 | Matsushita Electric Ind Co Ltd | Projection detection method of cell |
| JP2004163201A (en) * | 2002-11-12 | 2004-06-10 | Matsushita Electric Ind Co Ltd | Cell protrusion extraction apparatus and cell protrusion extraction method |
| JP2005095172A (en) * | 1999-08-05 | 2005-04-14 | Cellomics Inc | Optical system analysis of cell |
| JP2007020449A (en) * | 2005-07-14 | 2007-02-01 | Olympus Corp | Screening method and screening apparatus |
| JP2007503811A (en) * | 2003-08-29 | 2007-03-01 | ウイスコンシン アラムナイ リサーチ フオンデーシヨン | Method for in vitro differentiation of neural stem cells, motor neurons and dopamine neurons from primate embryonic stem cells |
| WO2009031283A1 (en) * | 2007-09-03 | 2009-03-12 | Nikon Corporation | Culture apparatus, culture information management method, and program |
| WO2011062013A1 (en) * | 2009-11-18 | 2011-05-26 | 国立大学法人徳島大学 | Inducer of selective differentiation into neural stem cells and/or neural precursor cells |
| US20110206262A1 (en) * | 2004-05-13 | 2011-08-25 | The Charles Stark Draper Laboratory, Inc. | Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation |
-
2020
- 2020-11-16 JP JP2020190301A patent/JP7235027B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005095172A (en) * | 1999-08-05 | 2005-04-14 | Cellomics Inc | Optical system analysis of cell |
| JP2002312761A (en) * | 2001-04-12 | 2002-10-25 | Matsushita Electric Ind Co Ltd | Image processing method for cell image |
| JP2003009898A (en) * | 2001-07-05 | 2003-01-14 | Matsushita Electric Ind Co Ltd | Method for determining protrusion of cell |
| JP2003014737A (en) * | 2001-07-05 | 2003-01-15 | Matsushita Electric Ind Co Ltd | Projection detection method of cell |
| JP2004163201A (en) * | 2002-11-12 | 2004-06-10 | Matsushita Electric Ind Co Ltd | Cell protrusion extraction apparatus and cell protrusion extraction method |
| JP2007503811A (en) * | 2003-08-29 | 2007-03-01 | ウイスコンシン アラムナイ リサーチ フオンデーシヨン | Method for in vitro differentiation of neural stem cells, motor neurons and dopamine neurons from primate embryonic stem cells |
| US20110206262A1 (en) * | 2004-05-13 | 2011-08-25 | The Charles Stark Draper Laboratory, Inc. | Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation |
| JP2007020449A (en) * | 2005-07-14 | 2007-02-01 | Olympus Corp | Screening method and screening apparatus |
| WO2009031283A1 (en) * | 2007-09-03 | 2009-03-12 | Nikon Corporation | Culture apparatus, culture information management method, and program |
| WO2011062013A1 (en) * | 2009-11-18 | 2011-05-26 | 国立大学法人徳島大学 | Inducer of selective differentiation into neural stem cells and/or neural precursor cells |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7235027B2 (en) | 2023-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6015113B2 (en) | Cell evaluation apparatus, cell evaluation method and program | |
| JP6015112B2 (en) | Cell evaluation apparatus, cell evaluation method and program | |
| JP6448129B2 (en) | Cell evaluation apparatus, incubator, cell evaluation method, program, and cell culture method | |
| JP5816415B2 (en) | Cell evaluation apparatus, incubator, program, and culture method | |
| JPWO2009031283A1 (en) | CULTURE DEVICE, CULTURE INFORMATION MANAGEMENT METHOD, AND PROGRAM | |
| CN111665225A (en) | Method and device for distinguishing different disease stresses of cucumbers based on chlorophyll fluorescence imaging technology | |
| JP6376196B2 (en) | Cell evaluation apparatus, cell evaluation method and program | |
| CN114359899A (en) | Cell co-culture model, cell model construction method, computer device, and storage medium | |
| JP6798533B2 (en) | Cell evaluation device, incubator and program | |
| JP6343874B2 (en) | Observation apparatus, observation method, observation system, program thereof, and cell manufacturing method | |
| US20230154003A1 (en) | Cell evaluation method, cell evaluation system and program | |
| JP2021027836A (en) | Cell evaluation device, incubator and program | |
| Masdiyasa et al. | A new method to improve movement tracking of human sperms | |
| JP7446616B2 (en) | Analysis method of cell behavior and its use | |
| JP6447601B2 (en) | Cell evaluation apparatus, cell evaluation method and program | |
| JP2011229411A (en) | Cell valuation model production apparatus, cell evaluation device, incubator, program, and culture method | |
| Viswanath et al. | Grading of mammalian cumulus oocyte complexes using machine learning for in vitro embryo culture | |
| JP5734595B2 (en) | Colony characterization method | |
| JP2011229412A (en) | Cell evaluation device, incubator, program, culture method, hand-technical evaluation device and cell evaluation model-building device | |
| WO2021045214A1 (en) | Image analyzer, cell culture observation device, image analysis method, program and data processing system | |
| WO2016088243A1 (en) | Determination device, observation system, observation method, program for same, method for manufacturing cell, and cell | |
| WO2020261455A1 (en) | Cell function evaluation method and cell analysis device | |
| Zheng et al. | STRAINS: A big data method for classifying cellular response to stimuli at the tissue scale | |
| Wang et al. | OC_Finder: A deep learning-based software for osteoclast segmentation, counting, and classification | |
| WO2022202368A1 (en) | Cell counting method, construction method of machine learning model for cell counting, computer program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201215 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220922 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230206 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7235027 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |