JP2020112552A - Three-dimensional shape information generation device, and cell determination system - Google Patents
Three-dimensional shape information generation device, and cell determination system Download PDFInfo
- Publication number
- JP2020112552A JP2020112552A JP2019237110A JP2019237110A JP2020112552A JP 2020112552 A JP2020112552 A JP 2020112552A JP 2019237110 A JP2019237110 A JP 2019237110A JP 2019237110 A JP2019237110 A JP 2019237110A JP 2020112552 A JP2020112552 A JP 2020112552A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- shape information
- light
- cell
- generation device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002834 transmittance Methods 0.000 claims abstract description 77
- 238000003384 imaging method Methods 0.000 claims abstract description 63
- 230000001678 irradiating effect Effects 0.000 claims abstract 2
- 206010028980 Neoplasm Diseases 0.000 claims description 18
- 201000011510 cancer Diseases 0.000 claims description 18
- 238000007689 inspection Methods 0.000 abstract description 56
- 210000004027 cell Anatomy 0.000 description 178
- 238000010586 diagram Methods 0.000 description 25
- 210000003855 cell nucleus Anatomy 0.000 description 23
- 210000001519 tissue Anatomy 0.000 description 17
- 238000012545 processing Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 9
- 210000000170 cell membrane Anatomy 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 102220500397 Neutral and basic amino acid transport protein rBAT_M41T_mutation Human genes 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、三次元形状情報生成装置、細胞判定システムに関する。 The present invention relates to a three-dimensional shape information generation device and a cell determination system.
従来から、生体組織に含まれる細胞の中にがん細胞が含まれているか否かを判定する作業は、生体組織の断層画像を撮像し、撮像した断層画像に基づいて、各細胞の三次元形状ががん細胞に特徴的な形状をしているか否かを人が判定していた。 Conventionally, the work of determining whether or not cancer cells are included in cells contained in a biological tissue is performed by capturing a tomographic image of the biological tissue and based on the captured tomographic image, a three-dimensional image of each cell. A person was determining whether or not the shape had a characteristic shape for cancer cells.
例えば下記特許文献１に記載されているような、三次元細胞画像撮像装置が知られている。この三次元細胞画像撮像装置は、試料の合焦位置をＺ方向に所定ピッチで連続的に異ならせた状態でＺ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像を解析する。
また、下記特許文献２に記載されているような、画像処理方法が知られている。この画像処理方法では、撮像光学系の焦点位置の設定値を撮像光学系の光軸方向に多段階に変更設定し、各設定値で細胞を明視野撮像して複数の原画像を取得することで、細胞の輪郭が明瞭な画像を作成する。
For example, a three-dimensional cell image capturing device as described in Patent Document 1 below is known. This three-dimensional cell image capturing device is a tertiary composed of an aggregate of a plurality of two-dimensional cell images, which are sequentially accumulated in the Z direction in a state where the focus position of the sample is continuously changed in the Z direction at a predetermined pitch. Analyze the original cell image.
Further, an image processing method as described in Patent Document 2 below is known. In this image processing method, the set value of the focus position of the image pickup optical system is changed and set in multiple steps in the optical axis direction of the image pickup optical system, and bright field images of cells are obtained at each set value to obtain a plurality of original images. Then, create an image with clear cell outlines.
ところで、特許文献１、２に開示されたような構成では、いずれも、撮像工学系における合焦位置を変化させることで、合焦位置が異なる複数枚の画像を撮像する。これには、複数の合焦位置のそれぞれにおいて、試料の断面を表す断層画像を撮像する必要がある。このように合焦位置が異なる複数の断層画像を撮像し、それらの複数の断層画像から三次元の細胞画像を生成する装置は、非常に複雑な構成で高価である。 By the way, in the configurations as disclosed in Patent Documents 1 and 2, a plurality of images having different focus positions are captured by changing the focus position in the imaging engineering system. For this purpose, it is necessary to capture a tomographic image representing the cross section of the sample at each of the plurality of in-focus positions. An apparatus for capturing a plurality of tomographic images having different in-focus positions and generating a three-dimensional cell image from the plurality of tomographic images has a very complicated configuration and is expensive.
本発明は、前述した事情に鑑みてなされたものであって、簡易な構成の装置で光透過性を有する物体を撮像することで、物体の三次元形状を示す三次元形状情報を生成することを可能とする三次元形状情報生成装置、細胞判定システムを提供することを目的とする。 The present invention has been made in view of the above-mentioned circumstances, and generates three-dimensional shape information indicating a three-dimensional shape of an object by capturing an image of the light-transmitting object with a device having a simple configuration. It is an object of the present invention to provide a three-dimensional shape information generation device and a cell determination system capable of performing the above.
本発明の一態様は、光透過性を有する物体に対して光を照射する光源と、前記物体を透過した透過光を撮像する撮像部と、前記光源で照射される前記光の合焦位置を、前記物体に対し、前記光源と前記撮像部とを結ぶ第一軸方向で相対的に移動させる合焦位置移動部と、前記合焦位置移動部で前記物体に対する前記光の合焦位置を前記第一軸方向で複数に異ならせたときに、複数の前記合焦位置のそれぞれで、前記撮像部で前記透過光を撮像させる撮像制御部と、複数の前記合焦位置のそれぞれで撮像された複数の撮像画像に基づいて、前記物体の三次元形状を示す三次元形状情報を生成する生成部と、を備える三次元形状情報生成装置である。 One embodiment of the present invention includes a light source that irradiates a light-transmissive object with light, an imaging unit that captures transmitted light that has passed through the object, and a focus position of the light irradiated by the light source. A focusing position moving unit that moves the light source and the imaging unit relative to the object in a first axis direction; and a focusing position moving unit that adjusts the focusing position of the light with respect to the object. When the plurality of focusing positions are changed in the first axis direction, the imaging control unit that causes the imaging unit to image the transmitted light at each of the plurality of focusing positions, and the plurality of focusing positions are imaged. A three-dimensional shape information generation device, comprising: a generation unit that generates three-dimensional shape information indicating a three-dimensional shape of the object based on a plurality of captured images.
また、本発明の他の態様は、三次元形状情報生成装置において、前記撮像制御部は、前記第一軸方向、前記第一軸方向に交差する第二軸方向、及び前記第一軸方向と前記第二軸方向とに交差する第三軸方向のそれぞれにおいて、前記物体を複数に区分することによって設定される複数の立体領域のそれぞれに対し、前記合焦位置移動部で前記光の前記合焦位置を合わせたときの前記透過光を前記撮像部で撮像させ、前記生成部は、複数の前記撮像画像に基づいて複数の前記立体領域それぞれの前記光の透過率を算出し、算出した複数の前記立体領域それぞれの前記透過率に基づいて、前記三次元形状情報を生成する、構成が用いられてもよい。 Further, in another aspect of the present invention, in the three-dimensional shape information generating device, the imaging control unit includes the first axial direction, a second axial direction intersecting the first axial direction, and the first axial direction. In each of a plurality of three-dimensional regions set by dividing the object into a plurality of parts in each of a third axis direction that intersects the second axis direction, the focusing position moving unit performs the focusing of the light. The transmitted light when the focus position is adjusted is imaged by the imaging unit, the generation unit calculates the transmittance of the light of each of the plurality of three-dimensional regions based on the plurality of captured images, the calculated plurality of A configuration that generates the three-dimensional shape information based on the transmittance of each of the three-dimensional regions may be used.
また、本発明の他の態様は、三次元形状情報生成装置において、前記透過光を前記撮像部の画素上に集光する集光部をさらに備え、前記生成部は、前記集光部で前記透過光が集光された前記画素の輝度値に基づいて、複数の前記立体領域それぞれの前記透過率を算出する、構成が用いられてもよい。 Further, according to another aspect of the present invention, in the three-dimensional shape information generating device, a condensing unit that condenses the transmitted light onto the pixels of the imaging unit is further provided, and the generating unit is the condensing unit. A configuration may be used in which the transmittance of each of the plurality of three-dimensional regions is calculated based on the brightness value of the pixel on which the transmitted light is collected.
また、本発明の他の態様は、三次元形状情報生成装置において、前記生成部は、複数の前記撮像画像のそれぞれについて、前記撮像画像の各画素の輝度値と、複数の前記立体領域それぞれの前記透過率とを対応付ける複数の方程式を算出し、算出した複数の前記方程式に基づいて、前記三次元形状情報を生成する、構成が用いられてもよい。 Further, another aspect of the present invention is a three-dimensional shape information generation device, wherein the generation unit, for each of the plurality of captured images, the brightness value of each pixel of the captured image and each of the plurality of three-dimensional regions. A configuration may be used in which a plurality of equations that correlate with the transmittance are calculated, and the three-dimensional shape information is generated based on the calculated plurality of equations.
また、本発明の他の態様は、三次元形状情報生成装置において、前記物体は、１以上の細胞を含む生体組織である、構成が用いられてもよい。 Further, according to another aspect of the present invention, in the three-dimensional shape information generating device, the object may be a living tissue containing one or more cells.
また、本発明の他の態様は、上記に記載の三次元形状情報生成装置と、前記三次元形状情報生成装置により生成された前記三次元形状情報に基づいて、前記生体組織に予め決められた条件を満たす細胞が含まれているか否かを判定する判定装置と、を備える細胞判定システムである。 Further, another aspect of the present invention is predetermined in the living tissue based on the above-described three-dimensional shape information generation device and the three-dimensional shape information generated by the three-dimensional shape information generation device. A cell determination system, comprising: a determination device that determines whether or not cells satisfying a condition are included.
また、本発明の他の態様は、細胞判定システムにおいて、前記条件は、前記細胞ががん細胞であること、であり、前記判定装置は、前記三次元形状情報生成装置により生成された前記三次元形状情報と、前記判定装置における判定結果に基づく学習済モデルとに基づいて、前記生体組織に前記条件を満たす細胞が含まれているか否かを判定する、構成が用いられてもよい。 Further, another aspect of the present invention is a cell determination system, wherein the condition is that the cells are cancer cells, and the determination device is the third order generated by the three-dimensional shape information generation device. A configuration may be used in which it is determined whether or not the living tissue contains cells satisfying the condition based on the original shape information and the learned model based on the determination result of the determination device.
本発明によれば、簡易な構成の装置で光透過性を有する物体を撮像することで、物体の三次元形状を示す三次元形状情報を生成することができる。 According to the present invention, it is possible to generate three-dimensional shape information indicating a three-dimensional shape of an object by capturing an image of the light-transmitting object with a device having a simple structure.
以下、図面を参照し、本発明の一実施形態に係る三次元形状情報生成装置、細胞判定システムを説明する。図１は、本発明の一実施形態に係る細胞判定システム１の構成例を機能的に示すブロック図である。
図１に示すように、細胞判定システム１は、三次元形状情報生成装置２と、判定装置５と、を備える。本実施形態において、細胞判定システム１は、生体組織にがん細胞が含まれているか否かを判定する。このため、細胞判定システム１は、生体組織を検査対象物１００とする。検査対象物１００である生体組織は、半透明で、光透過性を有する。なお、細胞判定システム１は、生体組織にがん細胞が含まれているか否かを判定する構成に代えて、生体組織にユーザーが所望する所定の種類の細胞が含まれているか否かを判定する構成であってもよい。
Hereinafter, a three-dimensional shape information generation device and a cell determination system according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram functionally showing a configuration example of a cell determination system 1 according to an embodiment of the present invention.
As shown in FIG. 1, the cell determination system 1 includes a three-dimensional shape information generation device 2 and a determination device 5. In the present embodiment, the cell determination system 1 determines whether or not the living tissue contains cancer cells. Therefore, the cell determination system 1 sets the biological tissue as the inspection target 100. The biological tissue that is the inspection object 100 is translucent and has light transparency. The cell determination system 1 determines whether or not the biological tissue contains cells of a predetermined type desired by the user, instead of the configuration for determining whether or not the biological tissue contains cancer cells. It may be configured to.
三次元形状情報生成装置２は、撮像機２０と、コントローラ３０と、を備えている。 The three-dimensional shape information generation device 2 includes an imager 20 and a controller 30.
図２に示すように、撮像機２０は、検査対象物１００に光Ｂを照射し、その透過光を撮像する。図２は、図１に示す細胞判定システム１を構成する三次元形状情報生成装置２の撮像機２０の概略構成例を示す図である。撮像機２０は、光源２１と、対象物支持部２２と、撮像部２３と、集光部２４と、を備える。 As shown in FIG. 2, the imaging device 20 irradiates the inspection object 100 with the light B and images the transmitted light. FIG. 2 is a diagram showing a schematic configuration example of the imaging device 20 of the three-dimensional shape information generation device 2 that constitutes the cell determination system 1 shown in FIG. The imager 20 includes a light source 21, an object supporter 22, an imager 23, and a condenser 24.
光源２１は、光透過性を有する検査対象物１００に対して光Ｂを照射する。光源２１は、光Ｂとして、可視光を照射する。このように、光源２１で照射する光Ｂに可視光を利用することで、Ｘ線を用いるＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：コンピューター断層撮像）装置や、磁気と電波とを用いるＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ：磁気共鳴画像）装置等と比較し、大幅に低コストとなる。 The light source 21 irradiates the inspection target object 100 having optical transparency with the light B. The light source 21 emits visible light as the light B. As described above, by using visible light as the light B emitted from the light source 21, a CT (Computed Tomography) apparatus that uses X-rays or an MRI (Magnetic Resonance Imaging) that uses magnetism and radio waves. (Image) Compared with other devices, the cost is significantly lower.
対象物支持部２２は、検査対象物１００を支持する。対象物支持部２２は、例えばプレパラート等に載せられた検査対象物１００を支持する。対象物支持部２２は、光源２１からの光Ｂが検査対象物１００に照射されるよう、光Ｂを透過する材料で形成されるか、又は光Ｂを透過する開口（図示無し）を有している。 The object support unit 22 supports the inspection object 100. The target object support unit 22 supports the test target object 100 placed on, for example, a slide. The object support portion 22 is formed of a material that transmits the light B or has an opening (not shown) that transmits the light B so that the light B from the light source 21 is irradiated on the inspection object 100. ing.
撮像部２３は、検査対象物１００を透過した透過光Ｂｔを撮像する。撮像部２３は、検査対象物１００に対向する側に、撮像素子（受光素子）２４ｓを備える。撮像素子２３ｓとしては、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）等が用いられる。 The imaging unit 23 images the transmitted light Bt that has passed through the inspection target 100. The imaging unit 23 includes an imaging element (light receiving element) 24s on the side facing the inspection object 100. As the image pickup device 23s, for example, a CCD (Charge Coupled Device), a CMOS (Complementary metal-oxide-semiconductor), or the like is used.
集光部２４は、対象物支持部２２と撮像部２３との間に設けられている。集光部２４は、光源２１から検査対象物１００に照射された光Ｂが検査対象物１００を透過した光（以下、これを透過光Ｂｔと称する）を、撮像部２３の撮像素子２３ｓの各画素上に集光させる。図２には、一例として、撮像素子２３ｓの画素２３ｍに集光された透過光Ｂｔが示されている。集光部２４は、１枚以上の光学レンズを備える。これにより、撮像部２３では、集光部２４によって撮像素子２３ｓの各画素上に集光させた透過光Ｂｔを含む撮像画像を撮像することになる。 The light collecting unit 24 is provided between the object support unit 22 and the imaging unit 23. The light condensing unit 24 outputs the light B emitted from the light source 21 to the inspection object 100 and transmitted through the inspection object 100 (hereinafter, referred to as transmitted light Bt) to each of the image pickup devices 23s of the image pickup unit 23. Focus on the pixel. FIG. 2 shows, as an example, the transmitted light Bt focused on the pixel 23m of the image sensor 23s. The light collection unit 24 includes one or more optical lenses. As a result, the image capturing unit 23 captures a captured image including the transmitted light Bt condensed on each pixel of the image sensor 23s by the light condensing unit 24.
このような撮像機２０において、光源２１からの光Ｂの合焦位置Ｐは、対象物支持部２２で支持された検査対象物１００に対し、相対移動可能となっている。具体的には、光源２１、集光部２４、及び撮像部２３と、検査対象物１００を支持する対象物支持部２２とは、図示しない移動機構によって、相対的に移動可能に設けられている。光源２１、集光部２４、及び撮像部２３と、対象物支持部２２とは、光源２１と撮像部２３とを結ぶ光Ｂの光軸方向に沿ったＺ軸に相対移動可能とされている。なお、光源２１、集光部２４、及び撮像部２３と、対象物支持部２２とは、Ｚ軸（第一軸）に直交するＸ軸（第二軸）、Ｚ軸及びＸ軸に直交するＹ軸（第三軸）の三軸方向に相対移動可能であってもよい。 In such an imaging device 20, the focus position P of the light B from the light source 21 can be moved relative to the inspection target object 100 supported by the target object support portion 22. Specifically, the light source 21, the condensing unit 24, the imaging unit 23, and the object support unit 22 that supports the inspection object 100 are provided so as to be relatively movable by a moving mechanism (not shown). .. The light source 21, the condensing unit 24, the imaging unit 23, and the object support unit 22 are relatively movable in the Z axis along the optical axis direction of the light B that connects the light source 21 and the imaging unit 23. .. In addition, the light source 21, the condensing unit 24, the imaging unit 23, and the object support unit 22 are orthogonal to the X axis (second axis), the Z axis, and the X axis that are orthogonal to the Z axis (first axis). Relative movement may be possible in the three axis directions of the Y axis (third axis).
図１に示すように、コントローラ３０は、合焦位置移動部３１と、撮像制御部３２と、生成部３３と、を備える。 As shown in FIG. 1, the controller 30 includes a focus position moving unit 31, an imaging control unit 32, and a generation unit 33.
合焦位置移動部３１は、光Ｂの合焦位置Ｐを、検査対象物１００に対し、Ｚ軸方向に相対的に移動させる。合焦位置移動部３１は、図示しない移動機構を有し、光源２１、集光部２４、及び撮像部２３と、対象物支持部２２との少なくとも一方をＺ軸方向に移動させる。これにより、検査対象物１００に対し、光Ｂの合焦位置ＰがＺ軸方向に相対的に移動する。 The focus position moving unit 31 moves the focus position P of the light B relative to the inspection object 100 in the Z-axis direction. The focus position moving unit 31 has a moving mechanism (not shown), and moves at least one of the light source 21, the light collecting unit 24, the imaging unit 23, and the object support unit 22 in the Z-axis direction. As a result, the focus position P of the light B moves relative to the inspection object 100 in the Z-axis direction.
撮像制御部３２は、合焦位置移動部３１の動作と、撮像部２３における撮像動作とを制御する。
本実施形態において、撮像制御部３２は、検査対象物１００を複数に区分することで、検査対象物１００に複数のボクセル（立体領域）１００ｓを設定する。ここで、図３に示すように、各ボクセル１００ｓは、検査対象物１００を、Ｚ軸方向、Ｘ軸方向、及びＹ軸方向のそれぞれにおいて、検査対象物１００を複数に区分することによって設定される。図３は、細胞判定システム１における検査対象物１００を、複数のボクセル１００ｓに区分した例を示す斜視図である。つまり、各ボクセル１００ｓは、直方体状をなしている。なお、各ボクセル１００ｓのうちの一部又は全部は、直方体状以外の形状をなす構成であってもよい。
The imaging control unit 32 controls the operation of the focus position moving unit 31 and the imaging operation of the imaging unit 23.
In the present embodiment, the imaging control unit 32 sets a plurality of voxels (three-dimensional regions) 100s in the inspection object 100 by dividing the inspection object 100 into a plurality of parts. Here, as shown in FIG. 3, each voxel 100 s is set by dividing the inspection object 100 into a plurality of inspection objects 100 in each of the Z-axis direction, the X-axis direction, and the Y-axis direction. It FIG. 3 is a perspective view showing an example in which the inspection object 100 in the cell determination system 1 is divided into a plurality of voxels 100s. That is, each voxel 100s has a rectangular parallelepiped shape. Note that a part or all of each voxel 100s may have a shape other than a rectangular parallelepiped shape.
撮像制御部３２は、合焦位置移動部３１を制御することによって、検査対象物１００に設定された複数のボクセル１００ｓに対し、光Ｂの合焦位置Ｐを順次移動させていく。ここで、複数のボクセル１００ｓのうちのあるボクセル１００ｓに光Ｂの合焦位置Ｐを一致させることは、Ｚ軸方向と直交する面のうち当該ボクセル１００ｓを通る面に対して光Ｂの焦点を一致させることを意味する。このため、撮像制御部３２が光Ｂの合焦位置Ｐを複数のボクセル１００ｓのそれぞれに順次一致させることは、撮像制御部３２が、Ｚ軸方向と直交する面のうち重複がないように複数のボクセル１００ｓを通る複数の面のそれぞれに対して光Ｂの焦点を順次一致させることを意味する。このような意味においては、光Ｂの合焦位置Ｐは、Ｚ軸方向の位置を示すと解されてもよい。なお、細胞判定システム１では、撮像制御部３２が光Ｂの合焦位置Ｐを複数のボクセル１００ｓのそれぞれに順次一致させることは、複数のボクセル１００ｓに含まれる個々のボクセル１００ｓに対して光Ｂの焦点を順次一致させることを意味する構成であってもよい。この場合、光Ｂの合焦位置Ｐは、Ｘ軸、Ｙ軸、Ｚ軸の３軸方向の位置を示すと解されてもよい。 The imaging control unit 32 controls the focus position moving unit 31 to sequentially move the focus position P of the light B with respect to the plurality of voxels 100s set in the inspection object 100. Here, in order to make the focusing position P of the light B coincide with a voxel 100s of the plurality of voxels 100s, the focus of the light B is made on the plane passing through the voxel 100s among the planes orthogonal to the Z-axis direction. Means to match. For this reason, the image pickup control unit 32 causes the focus position P of the light B to sequentially match with each of the plurality of voxels 100s, so that the image pickup control unit 32 does not overlap the planes orthogonal to the Z-axis direction. It means that the focal point of the light B is sequentially matched with each of the plurality of surfaces passing through the voxel 100s. In this sense, the focus position P of the light B may be understood to indicate the position in the Z-axis direction. In the cell determination system 1, the imaging control unit 32 sequentially matches the focus position P of the light B with each of the plurality of voxels 100s means that the light B with respect to each voxel 100s included in the plurality of voxels 100s. It may be configured to sequentially match the focal points of. In this case, the in-focus position P of the light B may be understood to indicate a position in the triaxial directions of the X axis, the Y axis, and the Z axis.
撮像制御部３２は、複数のボクセル１００ｓに合焦位置Ｐを順次合わせていき、それぞれの合焦位置Ｐで集光された光Ｂの透過光Ｂｔを、撮像部２３で撮像させる。ここで、複数のボクセル１００ｓのそれぞれに対して光源２１からの光Ｂを合焦させたときの透過光Ｂｔは、集光部２４により、撮像部２３の撮像素子２３ｓの各画素（例えば、図２に示した画素２３ｍ）上に集光される。なお、図２には、図が煩雑になるのを防ぐため、光Ｂ及び光Ｂｔの経路として、代表的な経路を１つのみ示している。 The imaging control unit 32 sequentially adjusts the in-focus position P to the plurality of voxels 100s, and causes the imaging unit 23 to image the transmitted light Bt of the light B condensed at each in-focus position P. Here, the transmitted light Bt when the light B from the light source 21 is focused on each of the plurality of voxels 100s is transmitted by the condensing unit 24 to each pixel of the image pickup device 23s of the image pickup unit 23 (for example, as illustrated in FIG. It is condensed on the pixel 23m) shown in 2. It should be noted that FIG. 2 shows only one representative path for the light B and the light Bt in order to prevent the drawing from becoming complicated.
生成部３３は、後に詳述するように、合焦位置Ｐを複数のボクセル１００ｓのそれぞれに合わせて撮像された複数の撮像画像に基づいて、検査対象物１００の三次元形状を示す三次元形状情報Ｍ（図７参照）を生成する。三次元形状情報Ｍは、例えば、三次元形状モデルであるが、これに代えて、三次元点群等の三次元形状を示す他の情報であってもよい。 As will be described in detail later, the generation unit 33, based on a plurality of picked-up images picked up by focusing the focus position P on each of the plurality of voxels 100s, a three-dimensional shape indicating the three-dimensional shape of the inspection object 100. The information M (see FIG. 7) is generated. The three-dimensional shape information M is, for example, a three-dimensional shape model, but instead of this, other information indicating a three-dimensional shape such as a three-dimensional point cloud may be used.
判定装置５は、三次元形状情報生成装置２により生成された三次元形状情報Ｍに基づいて、検査対象物１００である生体組織に、予め決められた条件を満たす細胞が含まれているか否かを判定する。本実施形態において、予め決められた条件とは、細胞ががん細胞であること（より具体的には、細胞の形状ががん細胞の形状であること）、とした。なお、予め決められた条件は、これに代えて、他の条件であってもよい。 Based on the three-dimensional shape information M generated by the three-dimensional shape information generation device 2, the determination device 5 determines whether or not the living tissue, which is the inspection object 100, contains cells that satisfy a predetermined condition. To judge. In the present embodiment, the predetermined condition is that the cell is a cancer cell (more specifically, the shape of the cell is the shape of the cancer cell). The predetermined condition may be another condition instead of this.
次に、上記細胞判定システム１における細胞の判定方法について説明する。図４は、細胞判定システム１における細胞の判定方法の流れの一例を示すフローチャートである。
まず、図４に示すように、三次元形状情報生成装置２で、検査対象の生体組織を検査対象物１００として、撮像を行う。
これには、プレパラート等に載せた検査対象物１００を、対象物支持部２２にセットする（ステップＳ１）。また、図３に示すように、撮像制御部３２では、予め定められたコンピュータプログラムに基づいて、検査対象物１００を、複数に区分し、複数のボクセル１００ｓを設定する。
Next, a cell determination method in the cell determination system 1 will be described. FIG. 4 is a flowchart showing an example of the flow of the cell determination method in the cell determination system 1.
First, as shown in FIG. 4, the three-dimensional shape information generation device 2 takes an image of a living body tissue to be inspected as an inspection object 100.
To this end, the inspection target 100 placed on a slide or the like is set on the target support 22 (step S1). Further, as shown in FIG. 3, the imaging control unit 32 divides the inspection target object 100 into a plurality of pieces and sets a plurality of voxels 100s based on a predetermined computer program.
次に、光源２１で光Ｂを照射する。照射された光Ｂは、所定の合焦位置Ｐで集光し、合焦される。以下では、説明を簡略化するため、検査対象物１００の一つのボクセル１００ｓ１を例に挙げて説明する。撮像制御部３２は、例えば図５に示すように、検査対象物１００の一つのボクセル１００ｓ１に合焦位置Ｐが合うよう、合焦位置移動部３１を動作させる（ステップＳ２）。すなわち、ステップＳ２において、撮像制御部３２は、Ｚ軸方向と直交する面のうちボクセル１００ｓ１を通る面に光Ｂの焦点が合うよう、合焦位置移動部３１を動作させる。図５は、撮像機２０においてボクセル１００ｓ１に合焦位置Ｐが合っている状態の一例を示す図である。なお、図５には、図が煩雑になるのを防ぐため、光Ｂ及び光Ｂｔの経路として、代表的な経路を１つのみ示している。 Next, the light source 21 emits the light B. The irradiated light B is focused and focused at a predetermined focus position P. In the following, in order to simplify the description, one voxel 100s1 of the inspection object 100 will be described as an example. For example, as shown in FIG. 5, the imaging control unit 32 operates the focus position moving unit 31 so that the focus position P matches one voxel 100s1 of the inspection object 100 (step S2). That is, in step S2, the imaging control unit 32 operates the focus position moving unit 31 so that the light B is focused on the surface passing through the voxel 100s1 among the surfaces orthogonal to the Z-axis direction. FIG. 5 is a diagram showing an example of a state where the in-focus position P is aligned with the voxel 100s1 in the image capturing device 20. It should be noted that FIG. 5 shows only one typical path for the light B and the light Bt in order to prevent the drawing from becoming complicated.
合焦位置Ｐを合わせた後（例えば、ボクセル１００ｓ１に合焦位置Ｐを合わせた後）、撮像部２３で撮像を行う（ステップＳ３）。撮像部２３で撮像した撮像画像には、合焦位置Ｐのボクセル１００ｓ１を透過し、集光部２４で画素２３ｍ上に集光された透過光Ｂｔが含まれている。 After the in-focus position P is adjusted (for example, after the in-focus position P is adjusted to the voxel 100s1), the image capturing unit 23 captures an image (step S3). The captured image captured by the image capturing unit 23 includes the transmitted light Bt that is transmitted through the voxel 100s1 at the focus position P and is focused on the pixel 23m by the light focusing unit 24.
続いて、撮像制御部３２は、例えば図６に示すように、合焦位置移動部３１で検査対象物１００に対して合焦位置ＰをＺ軸方向に移動させ、最初に合焦位置Ｐを合わせたボクセル１００ｓ１（図５参照）に対し、Ｚ軸方向で異なる位置の他のボクセル１００ｓ２に合わせる（ステップＳ４）。すなわち、ステップＳ４において、撮像制御部３２は、Ｚ軸方向と直交する面のうちボクセル１００ｓ２を通る面に光Ｂの焦点が合うよう、合焦位置移動部３１を動作させる。この後、撮像部２３で撮像を行う（ステップＳ５）。図６は、撮像機２０においてボクセル１００ｓ２に合焦位置Ｐが合っている状態の一例を示す図である。なお、図６には、図が煩雑になるのを防ぐため、光Ｂ及び光Ｂｔの経路として、代表的な経路を１つのみ示している。 Then, the imaging control unit 32 moves the focus position P in the Z-axis direction with respect to the inspection object 100 by the focus position moving unit 31, as shown in FIG. The matched voxel 100s1 (see FIG. 5) is matched with another voxel 100s2 at a different position in the Z-axis direction (step S4). That is, in step S4, the imaging control unit 32 operates the focus position moving unit 31 so that the light B is focused on the surface passing through the voxel 100s2 among the surfaces orthogonal to the Z-axis direction. After that, the image capturing unit 23 captures an image (step S5). FIG. 6 is a diagram showing an example of a state in which the in-focus position P is aligned with the voxel 100s2 in the imaging device 20. It should be noted that FIG. 6 shows only one typical path for the light B and the light Bt in order to prevent the drawing from becoming complicated.
撮像制御部３２は、検査対象物１００においてＺ軸方向で重なる複数のボクセル１００ｓに対し、合焦位置Ｐを合わせて撮像を行ったか否かを判定する（ステップＳ６）。撮像制御部３２は、Ｚ軸方向で全てのボクセル１００ｓに合焦位置Ｐを合わせて撮像を行うまで、ステップＳ４、Ｓ５を繰り返す。
これにより、合焦位置ＰをＺ軸方向で異ならせた複数枚の撮像画像が得られる。
The imaging control unit 32 determines whether or not imaging has been performed on the plurality of voxels 100s that overlap each other in the Z-axis direction on the inspection object 100, with the focus position P aligned (step S6). The imaging control unit 32 repeats steps S4 and S5 until all the voxels 100s in the Z-axis direction are imaged with the in-focus position P aligned.
As a result, a plurality of picked-up images having different focus positions P in the Z-axis direction can be obtained.
なお、撮像制御部３２は、上記のステップＳ２〜Ｓ６を終えた後、合焦位置Ｐを、Ｘ軸方向又はＹ軸方向に移動させ、Ｚ軸方向に直交するＸ−Ｙ平面内で他の位置のボクセル１００ｓに合わせる構成であってもよい。この場合、その位置で、撮像制御部３２は、上記と同様に、Ｚ軸方向で合焦位置Ｐを順次変えながら、Ｚ軸方向に重なる全てのボクセル１００ｓに合焦位置Ｐを合わせ、撮像を行う。 It should be noted that the imaging control unit 32 moves the focus position P in the X-axis direction or the Y-axis direction after finishing the above steps S2 to S6, and changes the focus position P to another position in the XY plane orthogonal to the Z-axis direction. It may be configured to match the voxel 100s at the position. In this case, at that position, the image capturing control unit 32 aligns the in-focus position P with all the voxels 100s overlapping in the Z-axis direction while sequentially changing the in-focus position P in the Z-axis direction in the same manner as described above, and captures an image. To do.
このようにして、検査対象物１００の全てのボクセル１００ｓに対し、合焦位置Ｐを合わせた撮像が完了した後、生成部３３で三次元形状情報を生成する（ステップＳ７）。
生成部３３は、撮像部２３で撮像された複数の撮像画像に基づいて、複数のボクセル１００ｓそれぞれの透過光Ｂｔの透過率を算出する。ボクセル１００ｓに、がん細胞等の細胞核がなければ、透過光Ｂｔの透過率は高くなる。ボクセル１００ｓに、細胞核があれば、透過光Ｂｔの透過率は低くなる。
具体的には、生成部３３は、各撮像画像に含まれる、撮像素子２３ｓの各画素の輝度値を、画像処理により検出する。生成部３３は、検出された輝度値に基づいて、各ボクセル１００ｓの透過光Ｂｔの透過率を算出する。
ここで、あるボクセル１００ｓに光Ｂの焦点が一致している場合、透過光Ｂｔは、透過光Ｂｔの光路上に位置する他のボクセル１００ｓも通る。例えば、撮像素子２３ｓの画素２３ｍ上で集光された透過光Ｂｔの輝度値には、合焦位置Ｐのボクセル１００ｓ１だけでなく、他の複数のボクセル１００ｓの影響が含まれている。
そこで、生成部３３は、複数のボクセル１００ｓに合焦位置Ｐを異ならせて撮像した複数枚の撮像画像における各画素の輝度値と、複数のボクセル１００ｓそれぞれの透過光Ｂｔの透過率とを対応付ける複数の方程式を、以下のように算出する。
In this way, after the imaging at the in-focus position P is completed for all the voxels 100s of the inspection object 100, the generation unit 33 generates three-dimensional shape information (step S7).
The generation unit 33 calculates the transmittance of the transmitted light Bt of each of the plurality of voxels 100s based on the plurality of captured images captured by the image capturing unit 23. If there is no cell nucleus such as a cancer cell in the voxel 100s, the transmittance of the transmitted light Bt will be high. If the voxel 100s has a cell nucleus, the transmittance of the transmitted light Bt becomes low.
Specifically, the generation unit 33 detects the brightness value of each pixel of the image sensor 23s included in each captured image by image processing. The generation unit 33 calculates the transmittance of the transmitted light Bt of each voxel 100s based on the detected brightness value.
Here, when the focus of the light B matches a certain voxel 100s, the transmitted light Bt also passes through other voxels 100s located on the optical path of the transmitted light Bt. For example, the luminance value of the transmitted light Bt condensed on the pixel 23m of the image sensor 23s includes not only the voxel 100s1 at the focus position P but also the influence of a plurality of other voxels 100s.
Therefore, the generation unit 33 associates the brightness value of each pixel in the plurality of captured images captured by the plurality of voxels 100s with different focus positions P with the transmittance of the transmitted light Bt of each of the plurality of voxels 100s. Several equations are calculated as follows.
ここで、一例として、ある撮像画像ＰＨを例に挙げて説明する。
撮像画像ＰＨ上の画素のＸ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれにおける位置を示す座標を（ｘ、ｙ、ｚ）によって示した場合、透過光Ｂｔが集光された各画素の輝度値を２５５で割った値ｆ（ｘ、ｙ、ｚ）は、以下の式（１）で表される。ここで、当該各画素は、撮像画像ＰＨ上の画素のことである。
Here, a certain captured image PH will be described as an example.
When coordinates indicating the position of each pixel in the captured image PH in the X-axis direction, the Y-axis direction, and the Z-axis direction are indicated by (x, y, z), the brightness of each pixel on which the transmitted light Bt is collected A value f(x, y, z) obtained by dividing the value by 255 is represented by the following equation (1). Here, each pixel is a pixel on the captured image PH.
この式（１）において、ａｉは、ボクセルｉにある物質の透過率（すなわち、ボクセルｉの透過率）である（ただし、０＜ａｉ＜１）。ｎは、全ボクセル数である。Ｎは、光Ｂの光線の本数である。Ｉｊは、入射光である（ただし、入射光Ｉｊは、次式（２）を満たす。）。ｌｉｊ（ｘ、ｙ、ｚ）は、撮像画像ＰＨ上の画素のうち座標（ｘ、ｙ、ｚ）によって示される位置に位置する画素に入射する入射光Ｉｊがボクセルｉを透過する長さである。 In this formula (1), a i is the transmittance of the substance in the voxel i (that is, the transmittance of the voxel i) (where 0<a i <1). n is the total number of voxels. N is the number of rays of light B. I j is incident light (however, the incident light I j satisfies the following expression (2)). l ij (x, y, z) is the length of the incident light I j that is incident on the pixel located at the position indicated by the coordinates (x, y, z) among the pixels on the captured image PH, that passes through the voxel i. Is.
次に、次式（３）の目的関数Ｆ（α）が最小となるように、例えば、ニュートン法、準ニュートン法等のアルゴリズムを用い、最適化する。 Next, the objective function F(α) of the following expression (3) is optimized by using, for example, an algorithm such as Newton method or quasi-Newton method.
ここで、αは、アルゴリズムにおいて可変させる重みである。
データ項Ｅは、次式（４）で表される。ここで、Ｐｋは、撮像画像ＰＨ上の画素のうち座標（ｘｋ、ｙｋ、ｚｋ）によって示される位置に位置する画素の輝度値である。
Here, α is a weight variable in the algorithm.
The data term E is expressed by the following equation (4). Here, P k is the luminance value of the pixel located at the position indicated by the coordinates (x k , y k , z k ) among the pixels on the captured image PH.
また、ＴＶ項ｔｖは、本最適化問題における最適化項であり、次式（５）で表される。このＴＶ項ｔｖは、互いに隣接するボクセル１００ｓ同士は、同じような透過率を有する、という拘束条件である。 The TV term tv is an optimization term in this optimization problem, and is represented by the following equation (5). This TV term tv is a constraint condition that voxels 100s adjacent to each other have similar transmittances.
ここで、ａｘ，ｙ，ｚ、及びｋは、次式（６）で表される。 Here, a x, y, z , and k are represented by the following equation (6).
なお、ＴＶ項ｔｖは、上記の式（５）に示した定義の項に代えて、例えば、平滑化項、正規化項等の他の定義の項であってもよい。 The TV term tv may be a term of another definition such as a smoothing term or a normalizing term, instead of the term of the definition shown in the equation (5).
上記のように、生成部３３は、複数の撮像画像のそれぞれについて、撮像画像の各画素の輝度値と、複数のボクセル１００ｓそれぞれの透過光Ｂｔの透過率とを対応付ける複数の方程式である式（３）を算出し、これを解くことで、複数のボクセル１００ｓのそれぞれの透過率を求める（推定する）。 As described above, for each of the plurality of captured images, the generation unit 33 is an equation that is a plurality of equations that associates the luminance value of each pixel of the captured image with the transmittance of the transmitted light Bt of each of the plurality of voxels 100s. 3) is calculated and solved to obtain (estimate) the transmittance of each of the plurality of voxels 100s.
この後、生成部３３は、各ボクセル１００ｓの透過率の推定値に基づいて、検査対象物１００の三次元形状情報Ｍを生成する。生成部３３は、検査対象物１００を構成する複数のボクセル１００ｓの透過率に応じて、各ボクセル１００ｓの色や、色の濃淡等の描画情報を設定する。各ボクセル１００ｓの色の濃淡は、透過率（０〜１）を複数段階に区分し、段階毎に互いに異なる色や、色の濃淡等を設定しておく。例えば、透過率が０に近いほど色が薄く、透過率が１に近づくほど色が濃くなるグラデーションのように、各段階の透過率に応じた色を、描画情報として設定する。この例では、透過率が低くなる細胞核が存在するボクセル１００ｓは、色が濃くなる。ボクセル１００ｓに含まれる細胞核の量が多いほど、ボクセル１００ｓの色は濃くなる。また、細胞が存在しない細胞膜が多く含まれるボクセル１００ｓは、色が薄くなる。
なおここで示す、各ボクセル１００ｓの透過率に応じて設定する色や、色の濃淡等の描画情報は一例にすぎず、適宜変更することが可能である。
After that, the generation unit 33 generates the three-dimensional shape information M of the inspection object 100 based on the estimated value of the transmittance of each voxel 100s. The generation unit 33 sets drawing information such as the color of each voxel 100s and the shade of the color according to the transmittance of the plurality of voxels 100s that form the inspection target 100. As for the color shade of each voxel 100s, the transmittance (0 to 1) is divided into a plurality of stages, and different colors, color shades, etc. are set for each stage. For example, a color corresponding to the transmittance of each step is set as the drawing information, such as a gradation in which the color is lighter as the transmittance is closer to 0 and darker as the transmittance is closer to 1. In this example, the voxel 100s having cell nuclei whose transmittance is low becomes dark in color. The larger the amount of cell nuclei contained in the voxel 100s, the darker the color of the voxel 100s. In addition, the voxel 100s containing many cell membranes in which cells do not exist becomes light in color.
It should be noted that the drawing information such as the color set according to the transmittance of each voxel 100s and the shading of the color shown here is merely an example, and can be appropriately changed.
生成部３３は、このように設定された描画情報に基づき、各ボクセル１００ｓを、その透過率に合わせた色に着色し、モニター（図示無し）等の表示装置に、検査対象物１００の画像を描画する。すると、例えば、図７に示すように、細胞核が含まれるボクセル１００ｓが、周囲の細胞膜が含まれるボクセル１００ｓとは異なる色に着色されることで、細胞核形状を表す細胞核モデルＭｓが、三次元形状情報Ｍ中に形成される。 Based on the drawing information set in this way, the generation unit 33 colors each voxel 100s with a color that matches its transmittance, and displays the image of the inspection object 100 on a display device such as a monitor (not shown). draw. Then, for example, as shown in FIG. 7, the voxel 100s containing the cell nucleus is colored in a different color from the voxel 100s containing the surrounding cell membrane, so that the cell nucleus model Ms representing the cell nucleus shape has a three-dimensional shape. It is formed in the information M.
このようにして、検査対象物１００の三次元形状情報Ｍが生成された後、判定装置５は、三次元形状情報Ｍに基づいて、検査対象物１００である生体組織に、がん細胞が含まれているか否かを、予め設定されたコンピュータプログラムに基づいて判定する（ステップＳ８）。判定装置５では、三次元形状情報Ｍに細胞核モデルＭｓが含まれていなければ、検査対象物１００にがん細胞が含まれていない、と判定する。また、判定装置５では、三次元形状情報Ｍに細胞核モデルＭｓが含まれている場合、予め記憶された比較対象モデル（図示無し）との比較を行う。比較対象モデルは、がん細胞である、と判定するための基準となるもので、判定装置５では、三次元形状情報Ｍに含まれる細胞核モデルＭｓと、比較対象モデルとで、例えば、大きさ、形状等の比較を行う。
このとき、比較対象モデルには、判定装置５における過去の判定結果において「がん細胞である」と判定された複数の細胞核モデルＭｓに基づいて、人工知能 (Artificial Intelligence)プログラム等によって生成された学習済モデルを用いるのが好ましい。
After the three-dimensional shape information M of the inspection object 100 is generated in this way, the determination device 5 includes cancer cells in the biological tissue that is the inspection object 100 based on the three-dimensional shape information M. Whether or not it is determined is determined based on a preset computer program (step S8). If the three-dimensional shape information M does not include the cell nucleus model Ms, the determination device 5 determines that the inspection target 100 does not include cancer cells. Further, when the three-dimensional shape information M includes the cell nucleus model Ms, the determination device 5 compares it with a comparison target model (not shown) stored in advance. The comparison target model serves as a reference for determining that it is a cancer cell, and in the determination device 5, the cell nucleus model Ms included in the three-dimensional shape information M and the comparison target model have, for example, a size. , Shape, etc. are compared.
At this time, the comparison target model is generated by an artificial intelligence (Artificial Intelligence) program or the like based on a plurality of cell nucleus models Ms determined to be “cancer cells” in the past determination result by the determination device 5. It is preferable to use a trained model.
判定装置５は、モニター、プリンター等の各種の出力装置（図示無し）により、その判定結果を出力する。 The determination device 5 outputs the determination result by various output devices (not shown) such as a monitor and a printer.
なお、上記において説明した三次元形状情報生成装置２は、細胞判定システムに代えて、他のシステムに適用される構成であってもよい。 The three-dimensional shape information generation device 2 described above may be applied to another system instead of the cell determination system.
例えば、三次元形状情報生成装置２は、光透過性を有する試料に含まれる結晶、不純物等を特定するシステムに適用されてもよい。 For example, the three-dimensional shape information generation device 2 may be applied to a system that specifies crystals, impurities, etc. contained in a sample having light transmittance.
また、例えば、三次元形状情報生成装置２は、光透過性を有するワークを把持するロボットを備えたロボットシステムに適用されてもよい。この場合、当該ロボットシステムは、三次元形状情報生成装置２によって生成された当該ワークについての三次元形状情報に基づいて、当該ワークを当該ロボットに把持させる。 Also, for example, the three-dimensional shape information generation device 2 may be applied to a robot system including a robot that holds a light-transmissive work. In this case, the robot system causes the robot to grip the work based on the three-dimensional shape information about the work generated by the three-dimensional shape information generation device 2.
＜三次元形状情報生成装置の動作についてのシミュレーションの結果＞
以下、上記において説明した三次元形状情報生成装置２の動作についてのシミュレーションの結果について説明する。
<Results of simulation of operation of three-dimensional shape information generation device>
Hereinafter, the result of the simulation of the operation of the three-dimensional shape information generation device 2 described above will be described.
このシミュレーションの結果は、図４に示したフローチャートの処理を、コンピューターの記憶領域内において仮想的に行った結果である。ただし、このシミュレーションでは、上記において説明した検査対象物１００の代わりとして、図８に示した細胞形状モデルＣＭを使用した。ここで、細胞形状モデルＣＭは、生体の細胞の形状を示すＣＧ（Computer Graphics）の一例である。図８は、細胞形状モデルＣＭを示す図である。より具体的には、図８（Ａ）は、細胞形状モデルＣＭの上面図である。図８（Ｂ）は、細胞形状モデルＣＭの側面図である。図８（Ｃ）は、細胞形状モデルＣＭの斜視図である。細胞形状モデルＣＭは、複数のボクセルによって構成されている。そして、これら複数のボクセルのそれぞれには、個々の透過率が設定されている。ここで、図８において、細胞形状モデルＣＭにおける色の濃淡は、細胞形状モデルＣＭを構成する各ボクセルに設定されている透過率を示す。図８に示した例では、細胞形状モデルＣＭにおける色が濃いボクセルほど、透過率の低いボクセルである。そして、当該例では、図８に示した通り、細胞形状モデルＣＭが有する部分のうち細胞核に相当する部分ＣＭＮに含まれるボクセルの透過率は、細胞形状モデルＣＭが有する部分のうち細胞膜に相当する部分ＣＭＭに含まれるボクセルの透過率よりも低く設定されている。また、当該例では、図８に示した通り、シミュレーションの結果を明確にするため、部分ＣＭＮを構成する個々のボクセルの透過率は、互いに等しい値に設定されている。また、当該例では、図８に示した通り、シミュレーションの結果を明確にするため、部分ＣＭＭを構成する個々のボクセルの透過率は、互いに等しい値に設定されている。 The result of this simulation is the result of virtually performing the process of the flowchart shown in FIG. 4 in the storage area of the computer. However, in this simulation, the cell shape model CM shown in FIG. 8 was used instead of the inspection object 100 described above. Here, the cell shape model CM is an example of CG (Computer Graphics) indicating the shape of cells of a living body. FIG. 8 is a diagram showing a cell shape model CM. More specifically, FIG. 8A is a top view of the cell shape model CM. FIG. 8B is a side view of the cell shape model CM. FIG. 8C is a perspective view of the cell shape model CM. The cell shape model CM is composed of a plurality of voxels. Then, an individual transmittance is set for each of the plurality of voxels. Here, in FIG. 8, the shade of the color in the cell shape model CM indicates the transmittance set for each voxel forming the cell shape model CM. In the example shown in FIG. 8, the voxels having a darker color in the cell shape model CM have lower transmittance. Then, in the example, as shown in FIG. 8, the transmittance of voxels contained in the portion CMN corresponding to the cell nucleus of the portion of the cell shape model CM corresponds to the cell membrane of the portion of the cell shape model CM. It is set to be lower than the transmittance of voxels included in the partial CMM. Further, in this example, as shown in FIG. 8, in order to clarify the result of the simulation, the transmittances of the individual voxels forming the partial CMN are set to equal values. Further, in this example, as shown in FIG. 8, in order to clarify the result of the simulation, the transmittances of the individual voxels forming the partial CMM are set to be equal to each other.
なお、図８（Ａ）〜図８（Ｃ）のそれぞれにおいてハッチングされた領域は、細胞形状モデルＣＭの周囲の何もない領域を示しており、細胞形状モデルＣＭの形状を明確に示すため描かれている。また、図８（Ｄ）は、図８（Ａ）に示した細胞形状モデルＣＭの濃淡を明確に示す加工を施した図である。また、図８（Ｅ）は、図８（Ｂ）に示した細胞形状モデルＣＭの濃淡を明確に示す加工を施した図である。また、図８（Ｆ）は、図８（Ｃ）に示した細胞形状モデルＣＭの濃淡を明確に示す加工を施した図である。 The hatched area in each of FIGS. 8A to 8C indicates an empty area around the cell shape model CM, and is drawn to clearly show the shape of the cell shape model CM. Has been. In addition, FIG. 8D is a diagram in which the cell shape model CM shown in FIG. Further, FIG. 8(E) is a diagram in which the cell shape model CM shown in FIG. 8(B) has been processed to clearly show the shading. In addition, FIG. 8F is a diagram in which the cell shape model CM shown in FIG.
ここで、図９は、仮想三次元形状情報生成装置によって細胞形状モデルＣＭを撮像した１１枚の撮像画像の一例を示す図である。仮想三次元形状情報生成装置は、シミュレーションにおいて用いられる仮想的な三次元形状情報生成装置２のことである。当該１１枚の撮像画像は、Ｚ軸方向において合焦位置が互いに異なる画像である。より具体的には、図９（Ａ）は、当該三次元形状情報生成装置２によって細胞形状モデルＣＭを撮像した１１枚の撮像画像の一例を示す。図９（Ｂ）は、図９（Ａ）に示した１１枚の撮像画像の濃淡を明確に示す加工を施した図である。また、図９に示した矢印は、図９における左方向及び右方向のそれぞれを示す。ここで、図９において、細胞形状モデルＣＭにおける色の濃淡は、細胞形状モデルＣＭを構成する各ボクセルに設定されている透過率を示す。図９に示した例では、細胞形状モデルＣＭにおける色が濃いボクセルほど、透過率の低いボクセルである。 Here, FIG. 9 is a diagram showing an example of 11 captured images obtained by capturing the cell shape model CM by the virtual three-dimensional shape information generation device. The virtual three-dimensional shape information generation device is the virtual three-dimensional shape information generation device 2 used in the simulation. The eleven captured images are images with different focus positions in the Z-axis direction. More specifically, FIG. 9A shows an example of 11 captured images obtained by capturing an image of the cell shape model CM by the three-dimensional shape information generation device 2. FIG. 9B is a diagram in which the 11 grayscale images shown in FIG. Moreover, the arrow shown in FIG. 9 shows each of the left direction and the right direction in FIG. Here, in FIG. 9, the shade of color in the cell shape model CM indicates the transmittance set for each voxel forming the cell shape model CM. In the example shown in FIG. 9, voxels with darker colors in the cell shape model CM have lower transmittance.
図９（Ａ）では、１１枚の撮像画像のそれぞれは、撮像された際の合焦位置の高さが高い順に左から右に向かって並べられている。このため、図９（Ａ）では、１１枚の撮像画像のうちの左端の撮像画像と右端の撮像画像とのそれぞれの濃度は、残りの撮像画像の濃度と比べて薄い。これは、細胞形状モデルＣＭの表面に近い位置に合焦位置が位置している場合において撮像された撮像画像が、当該左端の撮像画像と当該右端の撮像画像とであるためである。 In FIG. 9A, each of the 11 captured images is arranged from the left to the right in descending order of the height of the focus position at the time of capturing. Therefore, in FIG. 9A, the densities of the left-edge captured image and the right-edge captured image of the 11 captured images are lighter than the densities of the remaining captured images. This is because the captured images captured when the in-focus position is located near the surface of the cell shape model CM are the captured image at the left end and the captured image at the right end.
そして、図９に示した１１枚の撮像画像に基づいて仮想三次元形状情報生成装置により生成された三次元形状情報が、図１０に示した三次元形状情報Ｍ１である。図１０は、仮想三次元形状情報生成装置により生成された三次元形状情報の一例を示す図である。より具体的には、図１０（Ａ）は、仮想三次元形状情報生成装置により生成された三次元形状情報Ｍ１の一例を示す。図１０（Ｂ）は、図１０（Ａ）の比較対象としての細胞形状モデルＣＭである。また、図１０（Ｃ）は、図１０（Ａ）に示した三次元形状情報Ｍ１の濃淡を明確に示す加工を施した図である。図１０（Ｄ）は、図１０（Ｂ）に示した細胞形状モデルＣＭの濃淡を明確に示す加工を施した図である。ここで、図１０において、三次元形状情報Ｍ１における色の濃淡は、仮想三次元形状情報生成装置により推定された透過率を示す。図１０に示した例では三次元形状情報Ｍ１における色が濃い部分ほど、透過率の低い部分である。また、図１０において、細胞形状モデルＣＭにおける色の濃淡は、細胞形状モデルＣＭを構成する各ボクセルに設定されている透過率を示す。図１０に示した例では、細胞形状モデルＣＭにおける色が濃いボクセルほど、透過率の低いボクセルである。また、図１０（Ａ）においてハッチングされた領域は、三次元形状情報Ｍ１の周囲の何もない領域を示しており、三次元形状情報Ｍ１の形状を明確に示すため描かれている。また、図１０（Ｂ）においてハッチングされた領域は、細胞形状モデルＣＭの周囲の何もない領域を示しており、細胞形状モデルＣＭの形状を明確に示すため描かれている。 Then, the three-dimensional shape information generated by the virtual three-dimensional shape information generation device based on the 11 captured images shown in FIG. 9 is the three-dimensional shape information M1 shown in FIG. FIG. 10 is a diagram showing an example of the three-dimensional shape information generated by the virtual three-dimensional shape information generation device. More specifically, FIG. 10A shows an example of the three-dimensional shape information M1 generated by the virtual three-dimensional shape information generation device. FIG. 10(B) is a cell shape model CM as a comparison target of FIG. 10(A). Further, FIG. 10C is a diagram in which processing is performed to clearly show the shading of the three-dimensional shape information M1 shown in FIG. FIG. 10D is a diagram in which the cell shape model CM shown in FIG. 10B has been processed so as to clearly show the shading. Here, in FIG. 10, the shade of the color in the three-dimensional shape information M1 indicates the transmittance estimated by the virtual three-dimensional shape information generation device. In the example shown in FIG. 10, the darker the color in the three-dimensional shape information M1, the lower the transmittance. Further, in FIG. 10, the shade of the color in the cell shape model CM indicates the transmittance set for each voxel constituting the cell shape model CM. In the example shown in FIG. 10, a voxel with a darker color in the cell shape model CM has a lower transmittance. Further, the hatched area in FIG. 10A indicates an empty area around the three-dimensional shape information M1, and is drawn to clearly show the shape of the three-dimensional shape information M1. In addition, the hatched area in FIG. 10B shows an empty area around the cell shape model CM, and is drawn to clearly show the shape of the cell shape model CM.
図１０（Ａ）に示した三次元形状情報Ｍ１と、図１０（Ｂ）に示した細胞形状モデルＣＭとを比較することにより、仮想三次元形状情報生成装置は、細胞形状モデルＣＭを構成する各ボクセルの透過率を再現した三次元形状情報Ｍ１の生成に成功していることが分かる。すなわち、三次元形状情報Ｍ１内のある位置の透過率と、細胞形状モデルＣＭ内の当該位置に対応する位置の透過率とは、ほぼ同じ又は同じである。従って、仮想三次元形状情報生成装置により生成された三次元形状情報Ｍ１を用いることにより、ユーザーは、細胞形状モデルＣＭの構造を知ることができる。 By comparing the three-dimensional shape information M1 shown in FIG. 10(A) and the cell shape model CM shown in FIG. 10(B), the virtual three-dimensional shape information generation device constitutes the cell shape model CM. It can be seen that the three-dimensional shape information M1 that reproduces the transmittance of each voxel has been successfully generated. That is, the transmittance at a certain position in the three-dimensional shape information M1 and the transmittance at a position corresponding to the position in the cell shape model CM are substantially the same or the same. Therefore, the user can know the structure of the cell shape model CM by using the three-dimensional shape information M1 generated by the virtual three-dimensional shape information generation device.
ここで、図１１は、仮想三次元形状情報生成装置によって生成された三次元形状情報Ｍ１を、Ｚ軸方向において互いに異なる所定の断面においてスライスした１１枚の画像の一例を示す図である。より具体的には、図１１（Ａ）は、仮想三次元形状情報生成装置によって生成された三次元形状情報Ｍ１を、Ｚ軸方向において互いに異なる断面においてスライスした１１枚の画像の一例を示す。図１１（Ｂ）は、図１１（Ａ）に示した１１枚の画像の濃淡を明確に示す加工を施した図である。図１１（Ｃ）の比較対象としての細胞形状モデルＣＭを、当該所定の断面に対応する断面においてスライスした１１枚の画像の一例を示す。図１１（Ｄ）は、図１１（Ｃ）に示した１１枚の画像の濃淡を明確に示す加工を施した図である。ここで、図１１において、各画像における色の濃淡は、透過率を示す。図１１に示した例では各画像における色が濃い部分ほど、透過率の低い部分である。 Here, FIG. 11 is a diagram showing an example of 11 images obtained by slicing the three-dimensional shape information M1 generated by the virtual three-dimensional shape information generation device at predetermined cross sections different from each other in the Z-axis direction. More specifically, FIG. 11A shows an example of 11 images obtained by slicing the three-dimensional shape information M1 generated by the virtual three-dimensional shape information generation device in different cross sections in the Z-axis direction. FIG. 11B is a diagram in which processing is performed to clearly show the shading of the 11 images shown in FIG. 11A. An example of 11 images obtained by slicing a cell shape model CM as a comparison target in FIG. 11C in a cross section corresponding to the predetermined cross section is shown. FIG. 11D is a diagram in which processing for clearly showing the shading of the 11 images shown in FIG. 11C has been performed. Here, in FIG. 11, the shade of the color in each image indicates the transmittance. In the example shown in FIG. 11, the darker the color of each image, the lower the transmittance.
図１１（Ａ）に示した各画像と、図１１（Ｃ）に示した各画像とを比較することにより、仮想三次元形状情報生成装置は、細胞形状モデルＣＭを構成する各ボクセルの透過率を再現した三次元形状情報Ｍ１の生成に成功していることが分かる。すなわち、三次元形状情報Ｍ１内のある位置の透過率と、細胞形状モデルＣＭ内の当該位置に対応する位置の透過率とは、ほぼ同じ又は同じである。従って、仮想三次元形状情報生成装置により生成された三次元形状情報Ｍ１を用いることにより、ユーザーは、細胞形状モデルＣＭの構造を知ることができる。 By comparing each image shown in FIG. 11(A) with each image shown in FIG. 11(C), the virtual three-dimensional shape information generation device can determine the transmittance of each voxel forming the cell shape model CM. It can be seen that the three-dimensional shape information M1 that reproduces is successfully generated. That is, the transmittance at a certain position in the three-dimensional shape information M1 and the transmittance at a position corresponding to the position in the cell shape model CM are substantially the same or the same. Therefore, the user can know the structure of the cell shape model CM by using the three-dimensional shape information M1 generated by the virtual three-dimensional shape information generation device.
なお、我々が行ったシミュレーションでは、三次元形状情報Ｍ１内の各位置の透過率と、細胞形状モデルＣＭ内の当該各位置に対応する位置の透過率との誤差についての平均は、１．１０１×１０−２であった。このことからも、仮想三次元形状情報生成装置は、細胞形状モデルＣＭを構成する各ボクセルの透過率を再現した三次元形状情報Ｍ１の生成に成功していると言える。 In the simulation performed by us, the average of the errors between the transmittance at each position in the three-dimensional shape information M1 and the transmittance at the position corresponding to each position in the cell shape model CM is 1.101. It was ×10 −2 . From this, it can be said that the virtual three-dimensional shape information generation device has succeeded in generating the three-dimensional shape information M1 that reproduces the transmittance of each voxel forming the cell shape model CM.
従って、実施形態において説明した通り、三次元形状情報生成装置２は、簡易な構成の装置で光透過性を有する物体を撮像することで、物体の三次元形状を示すことができる。 Therefore, as described in the embodiment, the three-dimensional shape information generation device 2 can show the three-dimensional shape of an object by capturing an image of the light-transmitting object with a device having a simple configuration.
＜三次元形状情報生成装置の動作についての実験の結果＞
以下、上記において説明した三次元形状情報生成装置２の動作についての実験の結果について説明する。
<Results of Experiment on Operation of 3D Shape Information Generation Device>
Hereinafter, the results of the experiment on the operation of the three-dimensional shape information generation device 2 described above will be described.
この実験の結果は、図４に示したフローチャートの処理を、実際に作成した三次元形状情報生成装置２に行わせた結果である。ただし、このシミュレーションでは、上記において説明した検査対象物１００の代わりとして、実際の生体の細胞を使用した。 The result of this experiment is the result of having the actually created three-dimensional shape information generation device 2 perform the processing of the flowchart shown in FIG. However, in this simulation, actual living cells were used in place of the test object 100 described above.
図１２は、三次元形状情報生成装置２により撮像された細胞と、その細胞について三次元形状情報生成装置２により生成された三次元形状情報とのそれぞれの一例を示す図である。より具体的には、図１２（Ａ）は、三次元形状情報生成装置２によって細胞ＣＬ１を撮像した１１枚の撮像画像のうちの６枚の撮像画像の一例を示す。なお、図１２（Ａ）では、図が煩雑になるのを防ぐため、当該１１枚の撮像画像の中から当該６枚の撮像画像を選んで示している。細胞ＣＬ１は、がん化（Cancerization）していない正常な細胞の一例を示す。図１２（Ｂ）は、図１２（Ａ）に示した撮像画像に基づいて三次元形状情報生成装置２により生成された三次元形状情報Ｍ２の一例を示す。図１２（Ｃ）は、図１２（Ｂ）に示した三次元形状情報Ｍ２の濃淡を明確に示す加工を施した図である。ここで、図１２において、細胞ＣＬ１の撮像画像における色の濃淡は、細胞ＣＬ１の光の透過率を示す。図１２に示した例では当該撮像画像における色が濃い部分ほど、透過率の低い部分である。また、図１２において、三次元形状情報Ｍ２における色の濃淡は、三次元形状情報生成装置２により推定された透過率を示す。図１２に示した例では三次元形状情報Ｍ２における色が濃い部分ほど、透過率の低い部分である。また、図１２（Ｂ）においてハッチングされた領域は、細胞ＣＬ１の周囲の何もない領域を示しており、細胞ＣＬ１の形状を明確に示すため描かれている。 FIG. 12 is a diagram showing an example of a cell imaged by the three-dimensional shape information generation device 2 and three-dimensional shape information generated by the three-dimensional shape information generation device 2 for the cell. More specifically, FIG. 12(A) shows an example of six captured images of the 11 captured images of the cell CL1 captured by the three-dimensional shape information generation device 2. Note that in FIG. 12A, in order to prevent the drawing from becoming complicated, the six captured images are selected from the eleven captured images. Cell CL1 shows an example of normal cells that have not been cancerized. FIG. 12B shows an example of the three-dimensional shape information M2 generated by the three-dimensional shape information generation device 2 based on the captured image shown in FIG. FIG. 12C is a diagram in which processing for clearly showing the shading of the three-dimensional shape information M2 shown in FIG. 12B has been performed. Here, in FIG. 12, the shade of color in the captured image of the cell CL1 indicates the light transmittance of the cell CL1. In the example shown in FIG. 12, the darker the color of the captured image, the lower the transmittance. Further, in FIG. 12, the shade of the color in the three-dimensional shape information M2 indicates the transmittance estimated by the three-dimensional shape information generation device 2. In the example shown in FIG. 12, the deeper the color in the three-dimensional shape information M2, the lower the transmittance. The hatched area in FIG. 12B shows an empty area around the cell CL1 and is drawn to clearly show the shape of the cell CL1.
図１２に示したように、三次元形状情報生成装置２は、細胞ＣＬ１の形状と同じ形状の三次元形状情報Ｍ２の生成に成功している。また、図１２（Ｂ）に示した三次元形状情報Ｍ２には、図１２（Ａ）に示した細胞ＣＬ１の細胞核に相当する領域Ｍ２Ｎが、周囲の透過率と比較して低い透過率の領域として現われている。また、同様に、図１２（Ｂ）に示した三次元形状情報Ｍ２には、図１２（Ａ）に示した細胞ＣＬ１の細胞膜に相当する領域Ｍ２Ｍが、細胞ＣＬ１の細胞核に相当する領域Ｍ２Ｎの周囲の領域として現われている。すなわち、ユーザーは、図１２（Ｂ）に示した三次元形状情報Ｍ２を見ることにより、細胞ＣＬ１ががん化していない正常な細胞であるか否かを判定することができる。これは、細胞ＣＬ１ががん化しているか否かを判定する指標の１つが、細胞膜に対する細胞核の大きさの割合であるためである。更に、ユーザーは、図１２（Ｂ）に示した三次元形状情報Ｍ２を見ることにより、細胞ＣＬ１ががん化しているか否かを、三次元的に判定することができる。これは、図１２（Ａ）に示した６枚の撮像画像を含む１１枚の撮像画像に基づく細胞ＣＬ１の三次元形状をユーザーが頭の中に思い描く必要がないことを意味する。これにより、三次元形状情報生成装置２は、細胞ＣＬ１ががん化しているか否かを、容易に精度よくユーザーに判定させることができる。 As shown in FIG. 12, the three-dimensional shape information generation device 2 has succeeded in generating the three-dimensional shape information M2 having the same shape as the shape of the cell CL1. Further, in the three-dimensional shape information M2 shown in FIG. 12B, the region M2N corresponding to the cell nucleus of the cell CL1 shown in FIG. 12A has a lower transmittance than the surrounding transmittance. Appears as. Similarly, in the three-dimensional shape information M2 shown in FIG. 12B, the region M2M corresponding to the cell membrane of the cell CL1 shown in FIG. 12A is the region M2N corresponding to the cell nucleus of the cell CL1. It appears as the surrounding area. That is, the user can determine whether or not the cell CL1 is a normal cell that has not become cancerous by looking at the three-dimensional shape information M2 shown in FIG. 12(B). This is because one of the indexes for determining whether or not the cell CL1 has become cancerous is the ratio of the size of the cell nucleus to the cell membrane. Furthermore, the user can three-dimensionally determine whether or not the cell CL1 has become cancerous by looking at the three-dimensional shape information M2 shown in FIG. 12(B). This means that the user does not have to imagine in his head the three-dimensional shape of the cell CL1 based on the 11 captured images including the 6 captured images shown in FIG. 12(A). Accordingly, the three-dimensional shape information generation device 2 can allow the user to easily and accurately determine whether or not the cell CL1 has become cancerous.
図１３は、三次元形状情報生成装置２により撮像された細胞と、その細胞について三次元形状情報生成装置２により生成された三次元形状情報とのそれぞれの他の例を示す図である。より具体的には、図１３（Ａ）は、三次元形状情報生成装置２によって細胞ＣＬ２を撮像した１１枚の撮像画像のうちの６枚の撮像画像の一例を示す。なお、図１３（Ａ）では、図が煩雑になるのを防ぐため、当該１１枚の撮像画像の中から当該６枚の撮像画像を選んで示している。細胞ＣＬ２は、がん化（Cancerization）している可能性の高い細胞の一例を示す。図１３（Ｂ）は、図１３（Ａ）に示した撮像画像に基づいて三次元形状情報生成装置２により生成された三次元形状情報Ｍ３の一例を示す。図１３（Ｃ）は、図１３（Ｂ）に示した三次元形状情報Ｍ３の濃淡を明確に示す加工を施した図である。ここで、図１３において、細胞ＣＬ２の撮像画像における色の濃淡は、細胞ＣＬ２の光の透過率を示す。図１３に示した例では当該撮像画像における色が濃い部分ほど、透過率の低い部分である。また、図１３において、三次元形状情報Ｍ３における色の濃淡は、三次元形状情報生成装置２により推定された透過率を示す。図１３に示した例では三次元形状情報Ｍ３における色が濃い部分ほど、透過率の低い部分である。また、図１３（Ｂ）においてハッチングされた領域は、細胞ＣＬ２の周囲の何もない領域を示しており、細胞ＣＬ２の形状を明確に示すため描かれている。 FIG. 13 is a diagram showing another example of a cell imaged by the three-dimensional shape information generation device 2 and three-dimensional shape information generated by the three-dimensional shape information generation device 2 for the cell. More specifically, FIG. 13A shows an example of 6 captured images out of 11 captured images of the cell CL2 captured by the three-dimensional shape information generation device 2. Note that in FIG. 13A, in order to prevent the drawing from becoming complicated, the six captured images are selected from the eleven captured images. The cell CL2 shows an example of cells that are highly likely to be cancerous. FIG. 13B shows an example of the three-dimensional shape information M3 generated by the three-dimensional shape information generation device 2 based on the captured image shown in FIG. FIG. 13C is a diagram in which processing for clearly showing the shading of the three-dimensional shape information M3 shown in FIG. 13B has been performed. Here, in FIG. 13, the shade of color in the captured image of the cell CL2 indicates the light transmittance of the cell CL2. In the example shown in FIG. 13, the darker the color of the captured image, the lower the transmittance. Further, in FIG. 13, the shade of the color in the three-dimensional shape information M3 indicates the transmittance estimated by the three-dimensional shape information generating device 2. In the example shown in FIG. 13, the darker the color in the three-dimensional shape information M3, the lower the transmittance. The hatched area in FIG. 13B indicates an empty area around the cell CL2 and is drawn to clearly show the shape of the cell CL2.
図１３に示したように、三次元形状情報生成装置２は、細胞ＣＬ２の形状と同じ形状の三次元形状情報Ｍ３の生成に成功している。また、図１３（Ｂ）に示した三次元形状情報Ｍ３には、図１３（Ａ）に示した細胞ＣＬ２の細胞核に相当する領域Ｍ３Ｎが、周囲の透過率と比較して低い透過率の領域として現われている。また、同様に、図１３（Ｂ）に示した三次元形状情報Ｍ３には、図１３（Ａ）に示した細胞ＣＬ２の細胞膜に相当する領域Ｍ３Ｍが、細胞ＣＬ２の細胞核に相当する領域Ｍ３Ｎの周囲の領域として現われている。すなわち、ユーザーは、図１３（Ｂ）に示した三次元形状情報Ｍ３を見ることにより、細胞ＣＬ２ががん化している可能性の高い細胞であるか否かを判定することができる。更に、ユーザーは、図１３（Ｂ）に示した三次元形状情報Ｍ３を見ることにより、細胞ＣＬ２ががん化しているか否かを、三次元的に判定することができる。これは、図１３（Ａ）に示した６枚の撮像画像を含む１１枚の撮像画像に基づく細胞ＣＬ２の三次元形状をユーザーが頭の中に思い描く必要がないことを意味する。これにより、三次元形状情報生成装置２は、細胞ＣＬ２ががん化しているか否かを、容易に精度よくユーザーに判定させることができる。 As shown in FIG. 13, the three-dimensional shape information generation device 2 has succeeded in generating the three-dimensional shape information M3 having the same shape as the shape of the cell CL2. In addition, in the three-dimensional shape information M3 illustrated in FIG. 13B, a region M3N corresponding to the cell nucleus of the cell CL2 illustrated in FIG. 13A has a lower transmittance than the surrounding transmittance. Appears as. Similarly, in the three-dimensional shape information M3 shown in FIG. 13B, the region M3M corresponding to the cell membrane of the cell CL2 shown in FIG. 13A is the region M3N corresponding to the cell nucleus of the cell CL2. It appears as the surrounding area. That is, the user can determine whether or not the cell CL2 has a high possibility of becoming cancerous by looking at the three-dimensional shape information M3 shown in FIG. 13(B). Furthermore, the user can three-dimensionally determine whether or not the cell CL2 has become cancerous by looking at the three-dimensional shape information M3 shown in FIG. 13(B). This means that the user does not have to imagine in his head the three-dimensional shape of the cell CL2 based on the 11 captured images including the 6 captured images shown in FIG. 13(A). Accordingly, the three-dimensional shape information generation device 2 can allow the user to easily and accurately determine whether or not the cell CL2 has become cancerous.
図１４は、三次元形状情報生成装置２により撮像された細胞と、その細胞について三次元形状情報生成装置２により生成された三次元形状情報とのそれぞれの更に他の例を示す図である。より具体的には、図１４（Ａ）は、三次元形状情報生成装置２によって細胞ＣＬ４に重なっている細胞ＣＬ３を撮像した１１枚の撮像画像のうちの６枚の撮像画像の一例を示す。なお、図１４（Ａ）では、図が煩雑になるのを防ぐため、当該１１枚の撮像画像の中から当該６枚の撮像画像を選んで示している。細胞ＣＬ３は、がん化（Cancerization）していない正常な細胞の一例を示す。また、細胞ＣＬ４は、がん化（Cancerization）していない正常な細胞の一例を示す。図１４（Ｂ）は、図１４（Ａ）に示した撮像画像に基づいて三次元形状情報生成装置２により生成された三次元形状情報Ｍ４の一例を示す。図１４（Ｃ）は、図１４（Ｂ）に示した三次元形状情報Ｍ４の濃淡を明確に示す加工を施した図である。ここで、図１４において、細胞ＣＬ３及び細胞ＣＬ４の撮像画像における色の濃淡は、細胞ＣＬ３及び細胞ＣＬ４の光の透過率を示す。図１４に示した例では当該撮像画像における色が濃い部分ほど、透過率の低い部分である。また、図１４において、三次元形状情報Ｍ４における色の濃淡は、三次元形状情報生成装置２により推定された透過率を示す。図１４に示した例では三次元形状情報Ｍ４における色が濃い部分ほど、透過率の低い部分である。また、図１４（Ｂ）においてハッチングされた領域は、細胞ＣＬ３及び細胞ＣＬ４の周囲の何もない領域を示しており、細胞ＣＬ３及び細胞ＣＬ４の形状を明確に示すため描かれている。 FIG. 14 is a diagram showing still another example of each of the cells imaged by the three-dimensional shape information generation device 2 and the three-dimensional shape information generated by the three-dimensional shape information generation device 2 for the cell. More specifically, FIG. 14(A) shows an example of 6 captured images out of 11 captured images obtained by capturing the image of the cell CL3 overlapping the cell CL4 by the three-dimensional shape information generation device 2. In FIG. 14A, in order to prevent the figure from becoming complicated, the six captured images are selected from the eleven captured images. Cell CL3 represents an example of normal cells that have not been cancerized. The cell CL4 is an example of normal cells that have not been cancerized. FIG. 14B shows an example of the three-dimensional shape information M4 generated by the three-dimensional shape information generation device 2 based on the captured image shown in FIG. FIG. 14C is a diagram in which processing for clearly showing the shading of the three-dimensional shape information M4 shown in FIG. 14B has been performed. Here, in FIG. 14, the color shading in the captured images of the cells CL3 and CL4 indicates the light transmittance of the cells CL3 and CL4. In the example shown in FIG. 14, the darker the color of the captured image, the lower the transmittance. Further, in FIG. 14, the shade of the color in the three-dimensional shape information M4 indicates the transmittance estimated by the three-dimensional shape information generating device 2. In the example shown in FIG. 14, the deeper the color in the three-dimensional shape information M4, the lower the transmittance. In addition, the hatched area in FIG. 14B shows an empty area around the cells CL3 and CL4, and is drawn to clearly show the shapes of the cells CL3 and CL4.
図１４に示したように、三次元形状情報生成装置２は、細胞ＣＬ４に重なっている細胞ＣＬ３の様子を示す三次元形状情報Ｍ４の生成に成功している。また、図１４（Ｂ）に示した三次元形状情報Ｍ４には、図１３（Ａ）に示した細胞ＣＬ３の細胞核に相当する領域Ｍ４１Ｎと、細胞ＣＬ４の細胞核に相当する領域Ｍ４２Ｎとが、周囲の透過率と比較して低い透過率の領域として現われている。また、同様に、図１３（Ｂ）に示した三次元形状情報Ｍ４には、図１３（Ａ）に示した細胞ＣＬ３の細胞膜に相当する領域Ｍ４１Ｍが、細胞ＣＬ３の細胞核に相当する領域Ｍ４１Ｎの周囲の領域として現われている。また、同様に、図１３（Ｂ）に示した三次元形状情報Ｍ４には、図１３（Ａ）に示した細胞ＣＬ４の細胞膜に相当する領域Ｍ４２Ｍが、細胞ＣＬ４の細胞核に相当する領域Ｍ４２Ｎの周囲の領域として現われている。すなわち、ユーザーは、図１４（Ｂ）に示した三次元形状情報Ｍ４を見ることにより、重なり合っている２つの細胞を弁別することができ、且つ、当該２つの細胞のそれぞれについてがん化している可能性の高い細胞であるか否かを判定することができる。更に、ユーザーは、図１４（Ｂ）に示した三次元形状情報Ｍ４を見ることにより、細胞ＣＬ３及び細胞ＣＬ４のそれぞれががん化しているか否かを、三次元的に判定することができる。これは、図１４（Ａ）に示した６枚の撮像画像を含む１１枚の撮像画像に基づいて細胞ＣＬ４と重なっている細胞ＣＬ３の三次元形状をユーザーが頭の中に思い描く必要がないことを意味する。これにより、三次元形状情報生成装置２は、細胞ＣＬ３及び細胞ＣＬ４のそれぞれががん化しているか否かを、容易に精度よくユーザーに判定させることができる。 As shown in FIG. 14, the three-dimensional shape information generation device 2 has succeeded in generating the three-dimensional shape information M4 indicating the state of the cell CL3 overlapping the cell CL4. In addition, in the three-dimensional shape information M4 illustrated in FIG. 14B, a region M41N corresponding to the cell nucleus of the cell CL3 and a region M42N corresponding to the cell nucleus of the cell CL4 illustrated in FIG. It appears as a region of low transmittance as compared with the transmittance of. Similarly, in the three-dimensional shape information M4 shown in FIG. 13B, the region M41M corresponding to the cell membrane of the cell CL3 shown in FIG. 13A is the region M41N corresponding to the cell nucleus of the cell CL3. It appears as the surrounding area. Similarly, in the three-dimensional shape information M4 shown in FIG. 13B, the region M42M corresponding to the cell membrane of the cell CL4 shown in FIG. 13A is the region M42N corresponding to the cell nucleus of the cell CL4. It appears as the surrounding area. That is, the user can discriminate two overlapping cells by looking at the three-dimensional shape information M4 shown in FIG. 14(B), and each of the two cells has become cancerous. It is possible to determine whether or not the cells are highly probable. Furthermore, the user can three-dimensionally determine whether or not each of the cells CL3 and CL4 has become cancerous by looking at the three-dimensional shape information M4 shown in FIG. 14(B). This is because the user does not have to imagine in the head the three-dimensional shape of the cell CL3 that overlaps with the cell CL4 based on the 11 captured images including the 6 captured images shown in FIG. 14(A). Means Accordingly, the three-dimensional shape information generation device 2 can allow the user to easily and accurately determine whether or not each of the cells CL3 and CL4 has become cancerous.
以上説明したように、本実施形態に係る三次元形状情報生成装置２によれば、光源２１から照射した光Ｂを、検査対象物１００に集光させ、その透過光Ｂｔを撮像部２３で撮像する。合焦位置移動部３１により、検査対象物１００における光Ｂの合焦位置Ｐを、検査対象物１００に対してＺ軸方向で複数に異ならせ、それぞれの合焦位置Ｐで透過光Ｂｔを撮像する。このように、断層画像ではなく、光源２１からの光Ｂの合焦位置Ｐを複数に異ならせたときの検査対象物１００の光Ｂの透過画像に基づいて、検査対象物１００の三次元形状情報Ｍを生成することができるので、装置の構成を簡易なものとすることができる。
したがって、簡易な構成の撮像機２０で、光透過性を有する検査対象物１００を撮像することで、検査対象物１００の三次元形状を示す三次元形状情報Ｍを生成することができる。
As described above, according to the three-dimensional shape information generation device 2 according to the present embodiment, the light B emitted from the light source 21 is focused on the inspection object 100, and the transmitted light Bt is imaged by the imaging unit 23. To do. The focus position moving unit 31 makes the focus position P of the light B on the inspection object 100 different in the Z-axis direction with respect to the inspection object 100, and images the transmitted light Bt at each focus position P. To do. As described above, the three-dimensional shape of the inspection object 100 is not based on the tomographic image but on the transmission image of the light B of the inspection object 100 when the focus position P of the light B from the light source 21 is changed to be plural. Since the information M can be generated, the configuration of the device can be simplified.
Therefore, the three-dimensional shape information M indicating the three-dimensional shape of the inspection object 100 can be generated by capturing the image of the inspection object 100 having light transmittance with the image pickup device 20 having a simple configuration.
また、三次元形状情報生成装置２は、検査対象物１００を複数のボクセル１００ｓに分割し、それぞれのボクセル１００ｓの透過光Ｂｔの透過率に基づいて三次元形状情報Ｍを生成する。これにより、複数の断層画像に基づいて三次元形状を生成する場合に比較し、三次元形状情報Ｍを生成するための処理を、容易に行うことができる。これにより、生成部３３における三次元形状情報Ｍを生成するための画像処理の負荷が軽減される。 Further, the three-dimensional shape information generation device 2 divides the inspection object 100 into a plurality of voxels 100s, and generates the three-dimensional shape information M based on the transmittance of the transmitted light Bt of each voxel 100s. This makes it possible to easily perform the process for generating the three-dimensional shape information M, as compared with the case where the three-dimensional shape is generated based on a plurality of tomographic images. As a result, the load of image processing for generating the three-dimensional shape information M in the generation unit 33 is reduced.
また、三次元形状情報生成装置２は、合焦位置Ｐで合焦した光Ｂを撮像部２３の各画素上に集光させる。これにより、合焦位置Ｐを合わせたボクセル１００ｓを透過した光Ｂの透過率を、効率良く検出することが可能となる。 Further, the three-dimensional shape information generation device 2 focuses the light B focused at the focus position P on each pixel of the imaging unit 23. As a result, it becomes possible to efficiently detect the transmittance of the light B that has passed through the voxel 100s at the in-focus position P.
また、三次元形状情報生成装置２は、複数の撮像画像のそれぞれについて、撮像がオズの各画素の輝度値と、複数のボクセル１００ｓそれぞれの透過光Ｂｔの透過率とを対応付ける複数の方程式を算出し、算出した複数の方程式に基づいて、三次元形状情報Ｍを生成する。このような構成によれば、検査対象物１００の光Ｂの透過画像に基づいて、検査対象物１００の三次元形状情報Ｍを生成することが可能となる。 In addition, the three-dimensional shape information generation device 2 calculates, for each of the plurality of captured images, a plurality of equations that associate the luminance value of each pixel whose imaging is os and the transmittance of the transmitted light Bt of each of the plurality of voxels 100s. Then, the three-dimensional shape information M is generated based on the calculated equations. With such a configuration, it is possible to generate the three-dimensional shape information M of the inspection object 100 based on the transmission image of the light B of the inspection object 100.
また、三次元形状情報生成装置２は、生体組織に含まれる細胞（細胞核モデルＭｓ）の三次元形状を示す三次元形状情報Ｍを得ることができる。したがって、生体の診断を、より簡易かつ高精度に行うことが可能となる。 Further, the three-dimensional shape information generation device 2 can obtain the three-dimensional shape information M indicating the three-dimensional shape of the cells (cell nucleus model Ms) included in the biological tissue. Therefore, it becomes possible to diagnose the living body more easily and highly accurately.
また、上述したような細胞判定システム１は、細胞の三次元形状を、より簡易に得ることができるので、決められた条件を満たす細胞が含まれているか否かの判定を、判定装置５により、迅速かつ高精度に行うことが可能となる。
決められた条件として、「細胞ががん細胞であること」と設定することで、生体組織にがん細胞が含まれているか否かを、迅速かつ高精度に判断することが可能となる。また、判定装置５における判定結果に基づいて学習済モデルを生成することで、生体組織にがん細胞が含まれているか否かの判定を、より一層高精度に行うことが可能となる。
Further, since the cell determination system 1 as described above can more easily obtain the three-dimensional shape of the cell, the determination device 5 determines whether or not the cells satisfying the predetermined condition are included. It becomes possible to carry out quickly and with high accuracy.
By setting “the cells are cancer cells” as the determined condition, it becomes possible to quickly and highly accurately determine whether or not the cancer cells are contained in the biological tissue. Further, by generating the learned model based on the determination result of the determination device 5, it is possible to determine whether or not the living tissue contains cancer cells with higher accuracy.
なお、本発明の技術的範囲は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、三次元形状情報生成装置２では、検査対象物１００に、がん細胞が含まれているか否かを判定するようにしたが、がん細胞以外の細胞等を検出する用途で三次元形状情報生成装置２を用いることもできる。さらに、検査対象物１００は、生体組織に限らず、光透過性を有している様々な物体であってもよい。
また、上記実施形態で、各ボクセル１００ｓの透過率を推定するために用いた各式は、適宜変更可能である。
The technical scope of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
For example, in the three-dimensional shape information generation device 2, it is determined whether or not the inspection target 100 includes cancer cells. However, the three-dimensional shape is used for detecting cells other than cancer cells and the like. The information generating device 2 can also be used. Furthermore, the inspection target 100 is not limited to a living tissue, but may be various objects having optical transparency.
Further, in the above embodiment, each equation used for estimating the transmittance of each voxel 100s can be appropriately changed.
その他、本発明の趣旨に逸脱しない範囲で、前記実施形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は前記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。 In addition, it is possible to appropriately replace the constituent elements in the above-described embodiments with known constituent elements without departing from the spirit of the present invention. Further, the technical scope of the present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention.
１ 細胞判定システム
２ 三次元形状情報生成装置
５ 判定装置
２０ 撮像機
２１ 光源
２２ 対象物支持部
２３ 撮像部
２３ｍ 画素
２３ｓ 撮像素子
２４ 集光部
３０ コントローラ
３１ 合焦位置移動部
３２ 撮像制御部
３３ 生成部
１００ 検査対象物
１００ｓ ボクセル（立体領域）
Ｂ 光
Ｂｔ 透過光
Ｍ 三次元形状情報
Ｍｓ 細胞核モデル
Ｐ 合焦位置
DESCRIPTION OF SYMBOLS 1 Cell determination system 2 Three-dimensional shape information generation device 5 Determination device 20 Imaging device 21 Light source 22 Object support 23 Imaging unit 23m Pixel 23s Imaging device 24 Condensing unit 30 Controller 31 Focusing position moving unit 32 Imaging control unit 33 Generation Part 100 Inspection object 100s Voxel (3D area)
B light Bt transmitted light M three-dimensional shape information Ms cell nucleus model P focus position
Claims (7)
前記物体を透過した透過光を撮像する撮像部と、
前記光源で照射される前記光の合焦位置を、前記物体に対し、前記光源と前記撮像部とを結ぶ第一軸方向で相対的に移動させる合焦位置移動部と、
前記合焦位置移動部で前記物体に対する前記光の合焦位置を前記第一軸方向で複数に異ならせたときに、複数の前記合焦位置のそれぞれで、前記撮像部で前記透過光を撮像させる撮像制御部と、
複数の前記合焦位置のそれぞれで撮像された複数の撮像画像に基づいて、前記物体の三次元形状を示す三次元形状情報を生成する生成部と、
を備える三次元形状情報生成装置。 A light source for irradiating light to an object having light transparency,
An imaging unit for imaging the transmitted light that has passed through the object,
A focusing position moving unit that moves a focusing position of the light emitted from the light source relative to the object in a first axial direction connecting the light source and the imaging unit;
When the focusing position moving unit changes the focusing position of the light with respect to the object to a plurality in the first axis direction, the transmitted light is imaged by the imaging unit at each of the plurality of focusing positions. An imaging control unit for
A generation unit that generates three-dimensional shape information indicating the three-dimensional shape of the object based on a plurality of captured images captured at each of the plurality of in-focus positions,
A three-dimensional shape information generation device including.
前記生成部は、複数の前記撮像画像に基づいて複数の前記立体領域それぞれの前記光の透過率を算出し、算出した複数の前記立体領域それぞれの前記透過率に基づいて、前記三次元形状情報を生成する、
請求項１に記載の三次元形状情報生成装置。 The imaging control unit, in each of the first axial direction, the second axial direction intersecting the first axial direction, and the third axial direction intersecting the first axial direction and the second axial direction, For each of a plurality of three-dimensional regions set by dividing the object into a plurality of, the transmitted light when the focus position of the light is adjusted by the focus position moving unit is imaged by the imaging unit,
The generation unit calculates the light transmittance of each of the plurality of three-dimensional regions based on the plurality of captured images, and based on the calculated transmittance of each of the plurality of three-dimensional regions, the three-dimensional shape information. To generate,
The three-dimensional shape information generation device according to claim 1.
前記生成部は、前記集光部で前記透過光が集光された前記画素の輝度値に基づいて、複数の前記立体領域それぞれの前記透過率を算出する、
請求項２に記載の三次元形状情報生成装置。 Further comprising a condensing unit that condenses the transmitted light on the pixels of the imaging unit,
The generation unit calculates the transmittance of each of the plurality of three-dimensional regions based on the brightness value of the pixel on which the transmitted light is collected by the light collection unit.
The three-dimensional shape information generation device according to claim 2.
請求項２又は３に記載の三次元形状情報生成装置。 The generation unit calculates, for each of the plurality of captured images, a plurality of equations that associate the luminance value of each pixel of the captured image with the transmittance of each of the plurality of three-dimensional regions, and calculate the plurality of calculated equations. Generate the three-dimensional shape information based on an equation,
The three-dimensional shape information generation device according to claim 2 or 3.
請求項１から４のうちいずれか一項に記載の三次元形状情報生成装置。 The object is a biological tissue containing one or more cells,
The three-dimensional shape information generation device according to any one of claims 1 to 4.
前記三次元形状情報生成装置により生成された前記三次元形状情報に基づいて、前記生体組織に予め決められた条件を満たす細胞が含まれているか否かを判定する判定装置と、
を備える細胞判定システム。 A three-dimensional shape information generation device according to any one of claims 1 to 5,
Based on the three-dimensional shape information generated by the three-dimensional shape information generation device, a determination device for determining whether the biological tissue contains cells that satisfy a predetermined condition,
A cell determination system including.
前記判定装置は、前記三次元形状情報生成装置により生成された前記三次元形状情報と、前記判定装置における判定結果に基づく学習済モデルとに基づいて、前記生体組織に前記条件を満たす細胞が含まれているか否かを判定する、
請求項６に記載の細胞判定システム。 The condition is that the cells are cancer cells,
The determination device, based on the three-dimensional shape information generated by the three-dimensional shape information generation device, and a learned model based on the determination result in the determination device, the living tissue contains cells that satisfy the condition. Whether or not the
The cell determination system according to claim 6.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019002165 | 2019-01-09 | ||
| JP2019002165 | 2019-01-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020112552A true JP2020112552A (en) | 2020-07-27 |
| JP7420346B2 JP7420346B2 (en) | 2024-01-23 |
Family
ID=71666926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019237110A Active JP7420346B2 (en) | 2019-01-09 | 2019-12-26 | 3D shape information generation device, cell determination system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7420346B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011044016A (en) * | 2009-08-21 | 2011-03-03 | Olympus Corp | Three dimensional cell image analyzer |
| JP2013101512A (en) * | 2011-11-08 | 2013-05-23 | Dainippon Printing Co Ltd | Cell cross section analysis device, cell cross section analysis method, and cell cross section analysis program |
| JP2016071588A (en) * | 2014-09-30 | 2016-05-09 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method and image processor |
| WO2016103501A1 (en) * | 2014-12-26 | 2016-06-30 | 国立大学法人東京大学 | Analysis device, analysis method, analysis program, cell manufacturing method and cells |
| JP2016127342A (en) * | 2014-12-26 | 2016-07-11 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method, control program, and image processing apparatus |
| WO2017200066A1 (en) * | 2016-05-18 | 2017-11-23 | 国立大学法人三重大学 | Cancer test device, cancer test method, and staining agent for use in cancer test |
-
2019
- 2019-12-26 JP JP2019237110A patent/JP7420346B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011044016A (en) * | 2009-08-21 | 2011-03-03 | Olympus Corp | Three dimensional cell image analyzer |
| JP2013101512A (en) * | 2011-11-08 | 2013-05-23 | Dainippon Printing Co Ltd | Cell cross section analysis device, cell cross section analysis method, and cell cross section analysis program |
| JP2016071588A (en) * | 2014-09-30 | 2016-05-09 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method and image processor |
| WO2016103501A1 (en) * | 2014-12-26 | 2016-06-30 | 国立大学法人東京大学 | Analysis device, analysis method, analysis program, cell manufacturing method and cells |
| JP2016127342A (en) * | 2014-12-26 | 2016-07-11 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method, control program, and image processing apparatus |
| WO2017200066A1 (en) * | 2016-05-18 | 2017-11-23 | 国立大学法人三重大学 | Cancer test device, cancer test method, and staining agent for use in cancer test |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7420346B2 (en) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3776458B1 (en) | Augmented reality microscope for pathology with overlay of quantitative biomarker data | |
| CN106774863B (en) | Method for realizing sight tracking based on pupil characteristics | |
| JP6855587B2 (en) | Devices and methods for acquiring distance information from a viewpoint | |
| CN107480677B (en) | Method and device for identifying interest region in three-dimensional CT image | |
| CN109559275B (en) | Microscopic image stitching method of urine analyzer | |
| CN103845067B (en) | X-ray imaging equipment and method for controlling the x-ray imaging equipment | |
| JP2013101045A (en) | Recognition device and recognition method of three-dimensional position posture of article | |
| US10182185B2 (en) | Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points | |
| JP6447675B2 (en) | Information processing apparatus, information processing method, program, and microscope system | |
| CN104135934A (en) | Method for controlling X-ray image diagnosis device and X-ray generation device | |
| US20170270662A1 (en) | Image generation device, image generation method, recording medium, and processing method | |
| CN110168609A (en) | For generating the method and digital microscope of the threedimensional model of sample in digital microscope | |
| WO2018042786A1 (en) | Image processing method, image processing device, and imaging device | |
| US9245375B2 (en) | Active lighting for stereo reconstruction of edges | |
| CN105208937B (en) | Image processing apparatus | |
| JP5513038B2 (en) | 3D cell image analyzer | |
| JP5336325B2 (en) | Image processing method | |
| CN117064311B (en) | Endoscopic image processing method and endoscopic imaging system | |
| JP2011174896A (en) | Imaging apparatus and method | |
| JP5014593B2 (en) | Ophthalmic measuring device | |
| JP7420346B2 (en) | 3D shape information generation device, cell determination system | |
| CN113658243B (en) | Fundus three-dimensional model establishing method, fundus camera apparatus, and storage medium | |
| JP5992848B2 (en) | Body motion display device and method | |
| JP5849791B2 (en) | Image processing device | |
| JP2011112810A (en) | Image processing method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200421 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230726 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7420346 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |