JP2020060822A - Image processing method and image processing apparatus - Google Patents
Image processing method and image processing apparatus Download PDFInfo
- Publication number
- JP2020060822A JP2020060822A JP2018189643A JP2018189643A JP2020060822A JP 2020060822 A JP2020060822 A JP 2020060822A JP 2018189643 A JP2018189643 A JP 2018189643A JP 2018189643 A JP2018189643 A JP 2018189643A JP 2020060822 A JP2020060822 A JP 2020060822A
- Authority
- JP
- Japan
- Prior art keywords
- image
- phase difference
- teacher
- imaging
- bright
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
Description
この発明は、細胞を明視野撮像した画像を処理対象とする画像処理方法および画像処理装置に関するものである。 The present invention relates to an image processing method and an image processing apparatus for processing an image obtained by bright-field imaging cells.
生体から採取された組織や培養された細胞等の生試料を観察する目的においては、位相差撮像技術が広く用いられている。これは、撮像対象物である組織や細胞が無染色状態ではほぼ透明であり、明視野撮像では十分なコントラストが得にくいのに対し、位相差撮像は撮像対象物を透過する際の屈折率の変化に伴う光の位相変化をコントラストに変換して検出するという原理に基づくものであるため、透明な撮像対象物においても優れたコントラストを得ることができるからである。また、位相差画像は明視野画像にはない情報を含んでいる。位相差撮像のための装置構成としては、通常の光学顕微鏡の光学系に位相差コンデンサと位相差対物レンズとを導入したものが一般的である（例えば、特許文献１参照）。 The phase contrast imaging technique is widely used for the purpose of observing a living sample such as a tissue collected from a living body or a cultured cell. This is because the tissue or cells that are the object to be imaged are almost transparent in a non-stained state, and it is difficult to obtain sufficient contrast in bright-field imaging, whereas in phase contrast imaging, the refractive index when transmitting through the object to be imaged is This is because it is based on the principle of detecting the phase change of the light due to the change by converting it into the contrast, so that it is possible to obtain the excellent contrast even in the transparent imaging target. In addition, the phase difference image contains information that is not included in the bright field image. As a device configuration for phase difference imaging, a system in which a phase difference condenser and a phase difference objective lens are introduced into an optical system of a normal optical microscope is generally used (for example, see Patent Document 1).
上記した位相差撮像専用の光学素子は装置および撮像コストの増大を招く。また、設置スペースや構造上の制約により位相差撮像機能を設けることができない撮像装置もある。その一方で、医学や生化学の分野における研究者は位相差画像を用いた観察、評価に慣れている。また、個別の試料を撮像した２つの画像を比較対照して評価することが求められる場合において、一方が明視野画像であり他方が位相差画像であるため比較が難しくなるという状況もあり得る。 The above-mentioned optical element dedicated to the phase difference imaging causes an increase in the apparatus and the imaging cost. In addition, there are some image pickup apparatuses in which the phase difference image pickup function cannot be provided due to restrictions on installation space and structure. On the other hand, researchers in the fields of medicine and biochemistry are accustomed to observation and evaluation using phase contrast images. Further, when it is required to compare and evaluate two images obtained by imaging individual samples, there is a situation in which one of the images is a bright field image and the other is a phase difference image, which makes it difficult to compare.
これらの理由から、例えばある試料を撮像した明視野画像から、同じ試料を位相差撮像した場合に得られるであろう画像を高い精度で模した画像を疑似的に生成することができれば、その技術的な意義は極めて大きい。しかしながら、このような技術的アプローチはこれまでなされておらず、明視野画像から疑似的な位相差画像を生成する技術は実用化されるに至っていない。 For these reasons, if it is possible to generate a pseudo image of a high-precision image that would be obtained when phase-imaging the same sample from a bright-field image of a certain sample, it would be possible to create that technique. Its significance is extremely large. However, such a technical approach has not been made so far, and a technique for generating a pseudo phase difference image from a bright field image has not been put into practical use.
この発明は上記課題に鑑みなされたものであり、細胞を撮像した明視野画像から疑似的な位相差画像を高い精度で生成することのできる画像処理技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing technique capable of generating a pseudo phase difference image from a bright field image of a cell with high accuracy.
この発明に係る画像処理方法の一の態様は、上記目的を達成するため、細胞を明視野撮像した明視野画像である処理対象画像を取得する工程と、予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程とを備え、前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、前記第１教師画像は前記試料を明視野撮像した明視野画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料を位相差撮像した位相差画像であって前記ディープラーニングにおいては出力に対応づけられる。 One aspect of an image processing method according to the present invention is, in order to achieve the above object, a step of acquiring a processing target image which is a bright field image obtained by bright field imaging of cells, and the processing target in a pre-constructed learning model. A step of inputting an image and outputting an image output by the learning model as a result image, wherein the learning model includes a set of a first teacher image and a second teacher image corresponding to the same sample as teacher data. The first teacher image is a bright field image obtained by bright-field imaging the sample, and the second teacher image is associated with an input in the deep learning. Is a phase-contrast image obtained by phase-contrast imaging the sample, and is associated with the output in the deep learning.
また、この発明に係る画像処理方法の他の態様は、上記目的を達成するため、細胞を含む試料を明視野撮像した明視野画像および前記試料を位相差撮像した位相差画像を収集する工程と、互いに同一の前記試料に対応する前記明視野画像と前記位相差画像とのセットを教師データとし、前記明視野画像を第１教師画像として入力に、前記位相差画像を第２教師画像として出力にそれぞれ対応させてディープラーニングを実行して学習モデルを構築する工程と、細胞を明視野撮像した明視野画像である処理対象画像を取得する工程と、前記学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程とを備える。 Another aspect of the image processing method according to the present invention is, in order to achieve the above object, a step of collecting a bright-field image obtained by bright-field imaging a sample including cells and a phase-difference image obtained by phase-contrast imaging the sample. , A set of the bright field image and the phase difference image corresponding to the same sample as each other is used as teacher data, the bright field image is input as a first teacher image, and the phase difference image is output as a second teacher image. To construct a learning model by performing deep learning corresponding to each of the above, a step of acquiring a processing target image which is a bright field image of a bright field image of cells, and the processing target image is input to the learning model. And outputting the image output by the learning model as a result image.
また、この発明に係る画像処理装置の一の態様は、上記目的を達成するため、細胞を明視野撮像した明視野画像を処理対象画像として取得する画像取得部と、予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する画像処理部とを備え、前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、前記第１教師画像は前記試料を明視野撮像した明視野画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料を位相差撮像した位相差画像であって前記ディープラーニングにおいては出力に対応づけられている。 Further, one aspect of the image processing device according to the present invention is, in order to achieve the above object, an image acquisition unit that acquires a bright-field image of a cell as bright-field images as a processing target image, and a learning model built in advance. An image processing unit that inputs the processing target image and outputs the image output by the learning model as a result image, the learning model including a first teacher image and a second teacher image corresponding to the same sample. Is constructed by performing deep learning with the set of as a teacher data, the first teacher image is a bright field image of the bright field image of the sample, and is associated with an input in the deep learning, The second teacher image is a phase difference image obtained by performing a phase difference image of the sample, and is associated with the output in the deep learning.
このように構成された発明では、試料を明視野撮像した画像である第１教師画像と、同じ試料を位相差撮像した画像である第２教師画像とのセットが教師データとされる。このような教師データに基づくディープラーニングを実行すると、同一試料に対応する明視野画像と位相差画像とにそれぞれ現れる形態的特徴に基づきそれらの画像を相互に関連付ける学習モデルが構築されることになる。 In the invention configured as described above, a set of the first teacher image, which is an image obtained by bright-field imaging the sample, and the second teacher image, which is an image obtained by performing phase difference imaging of the same sample, is used as teacher data. When deep learning based on such teacher data is executed, a learning model for associating the bright field image and the phase difference image corresponding to the same sample with each other based on the morphological features that appear in each image is constructed. .
このとき、明視野画像である第１教師画像を入力に対応させ、位相差画像である第２教師画像を出力に対応させる。そのようにして構築された学習モデルは、ある明視野画像が入力されるとそれに対応する位相差画像、つまり明視野撮像された試料を位相差撮像したときに得られる画像を模した画像を出力することとなる。 At this time, the first teacher image which is a bright field image is made to correspond to the input, and the second teacher image which is a phase difference image is made to correspond to the output. The learning model constructed in this way outputs a phase-contrast image corresponding to a certain bright-field image, that is, an image simulating the image obtained when the bright-field imaged sample is phase-contrast imaged. Will be done.
画質の良好な教師データのセットを多数用意し学習を行わせることで、出力画像の精度を高めることが可能である。そして、高度に学習した学習モデルを用いれば、細胞を撮像した新たな明視野画像である処理対象画像から、これに対応する疑似的な位相差画像を生成しそれを結果画像として出力することが可能になる。なおここでいう精度とは、明視野画像が与えられた学習モデルが出力する画像と、当該明視野画像が撮像された試料を実際に位相差撮像して得られる位相差画像との類似の度合いを意味するものである。 The accuracy of the output image can be improved by preparing a large number of sets of teacher data with good image quality and performing learning. If a highly learned learning model is used, it is possible to generate a pseudo phase difference image corresponding to the processing target image, which is a new bright field image of a cell, and output it as a result image. It will be possible. Note that the accuracy here means the degree of similarity between the image output by the learning model given the bright field image and the phase difference image obtained by actually performing the phase difference image of the sample in which the bright field image is captured. Is meant.
教師付き機械学習により細胞の画像を分類することは以前から行われているが、それらの多くは人為的に選択された特徴量に基づく特徴量空間内でのクラスタリングによるものである。この場合、どのような特徴量を使用するかが分類精度に影響を与えるため、観察対象の細胞が示す特徴に応じて特徴量を決定する必要がある。したがって、運用に当たっては特徴量を選択するための専門的知識が必要となり、また種々の細胞に対する汎用性は必ずしも高くない。 Classifying cell images by supervised machine learning has been performed for a long time, but most of them are based on clustering in a feature space based on artificially selected features. In this case, since what kind of feature quantity is used affects the classification accuracy, it is necessary to determine the feature quantity according to the feature of the cell to be observed. Therefore, in operation, specialized knowledge for selecting a feature amount is required, and versatility for various cells is not necessarily high.
これに対し、ディープラーニングによる本発明では、事前の特徴量の選択が不要であり、教師データとなる画像サンプルを十分に用意することさえできれば、高精度な学習モデルを構築することが可能である。このため、画像に現れる特徴が異なる種々の細胞についても、同一の学習アルゴリズムでの対応が可能となる。 On the other hand, in the present invention based on deep learning, it is not necessary to select a feature amount in advance, and a high-accuracy learning model can be constructed as long as sufficient image samples to be teacher data can be prepared. . Therefore, the same learning algorithm can be applied to various cells having different features appearing in the image.
本発明によれば、同一試料に対応する明視野画像と位相差画像とのセットを教師データとするディープラーニングにより構築された学習モデルを使用することで、未知の明視野画像である処理対象画像から、これに対応する疑似的な位相差画像を高い精度で生成することが可能である。 According to the present invention, by using a learning model constructed by deep learning in which a set of a bright field image and a phase difference image corresponding to the same sample is used as teacher data, an image to be processed which is an unknown bright field image Therefore, it is possible to generate a pseudo phase difference image corresponding to this with high accuracy.
図１は本発明の一実施形態である画像処理プロセスの概念を示す図である。また、図２はこの画像処理プロセスを示すフローチャートである。この画像処理プロセスの目的は、細胞を含む試料を明視野撮像することで得られた明視野画像であるテスト画像Ｉｔから疑位相差画像Ｉｓを生成することである。ここでいう「疑位相差画像」とは、テスト画像Ｉｔが撮像されたものと同じ試料の同じ箇所を位相差撮像した場合に得られる画像を模した疑似的な位相差画像である。 FIG. 1 is a diagram showing a concept of an image processing process which is an embodiment of the present invention. 2 is a flowchart showing this image processing process. The purpose of this image processing process is to generate a pseudo phase difference image Is from a test image It that is a bright field image obtained by bright field imaging a sample containing cells. Here, the “suspicious phase difference image” is a pseudo phase difference image that imitates an image obtained when phase difference imaging is performed on the same portion of the same sample on which the test image It was imaged.
以下の説明において、「明視野画像に対応する位相差画像」という表現は、ある明視野画像に対して、当該明視野画像が撮像されたものと同一試料の同一箇所を位相差撮像したときに得られる画像を意味するものとする。 In the following description, the expression “a phase difference image corresponding to a bright field image” is used when a phase difference image of the same sample of the same bright field image as the bright field image is taken. It shall mean the image obtained.
擬位相差画像Ｉｓを表す画像データは、実際に位相差撮像により得られたデータを使用することなく、明視野画像であるテスト画像Ｉｔの画像データが有する情報に基づいて作成される。擬位相差画像Ｉｓを高い精度で、すなわち実際に位相差撮像されることにより得られる真の位相差画像に対し高い類似性を有するように作成することができれば、擬位相差画像Ｉｓを真の位相差画像の代替物として利用することが可能となる。その用途としては次のような例が挙げられる。 The image data representing the quasi phase difference image Is is created based on the information included in the image data of the test image It, which is a bright field image, without using the data actually obtained by the phase difference imaging. If the quasi phase difference image Is can be created with high accuracy, that is, to have a high similarity to the true phase difference image obtained by actually performing the phase difference image, the quasi phase difference image Is It can be used as a substitute for the phase difference image. Examples of its use include the following.
例えば、明視野画像では必ずしも明瞭に現れず位相差画像において明瞭な特徴に基づき試料を観察、評価することを求められる場合が、これに相当する。それ自身がほぼ透明である細胞においては、特にその内部テクスチャが明視野画像では不鮮明となりやすい。この問題を回避するために位相差画像が利用されるが、実験環境によっては明視野画像しか取得することができない場合があり得る。このような場合に、明視野画像から擬位相差画像を作成し、これを観察に供することができる。 For example, this corresponds to the case where it is required to observe and evaluate the sample based on the distinctive features in the phase difference image that do not always appear clearly in the bright field image. In a cell that is almost transparent in itself, its internal texture is likely to be unclear in a bright field image. Phase-contrast images are used to avoid this problem, but only bright-field images may be acquired in some experimental environments. In such a case, a quasi-phase difference image can be created from the bright field image and used for observation.
また、複数の試料を比較観察する際に、それらが別の環境で撮像されることで明視野画像と位相差画像とが混在することがあり得る。このような場合にも、新たに位相差撮像を行うことなく、明視野画像を擬位相差画像に変換することにより同じ観察条件での比較が可能になる。また、明視野画像のみが保存されている過去の試料についても、これに対応する位相差画像を事後的に作成することが可能となる。 Further, when performing comparative observation of a plurality of samples, it is possible that the bright-field image and the phase difference image are mixed because they are imaged in different environments. Even in such a case, it is possible to perform comparison under the same observation condition by converting the bright field image into the pseudo phase difference image without newly performing the phase difference imaging. In addition, it is possible to create a phase difference image corresponding to the past sample in which only the bright field image is stored afterwards.
また、画像に対し何らかの画像解析処理を施すことで定量的な情報を得ようとする場合がある。例えば画像中の細胞の位置や種別を特定したり、その個数を計数したりする目的の画像解析処理がある。このような処理において、処理のための入力画像として位相差画像が想定されている場合や、明視野画像よりも位相差画像を入力画像とした方が好結果を得ることができる場合などがあり得る。例えば解析に際して細胞の厚みが有意な重みを有する場合があるが、厚みに関する情報をより多く含むのは位相差画像である。これらの処理に際し明視野画像しか準備できない場合があったとしても、前処理として明視野画像から擬位相差画像の生成を行うことによって、良好な結果を得ることが可能になる。 Further, there is a case where quantitative information is obtained by performing some image analysis processing on the image. For example, there is an image analysis process for the purpose of specifying the position and type of cells in an image and counting the number of cells. In such processing, there are cases in which a phase difference image is assumed as an input image for processing, and there are cases where it is possible to obtain better results by using a phase difference image as an input image rather than a bright field image. obtain. For example, the cell thickness may have a significant weight in the analysis, but it is the phase difference image that contains more information about the thickness. Even if only bright-field images can be prepared for these processes, good results can be obtained by generating a quasi-phase difference image from the bright-field images as pre-processing.
具体的な処理プロセスの概要は以下の通りである。まず対象となるテスト画像Ｉｔが取得される（ステップＳ１０１）。テスト画像Ｉｔは新たに撮像を実行することによって取得されてもよく、また予め撮像され適宜の記憶手段に保存されている画像データを読み出すことにより取得されてもよい。 The outline of the specific processing process is as follows. First, the target test image It is acquired (step S101). The test image It may be acquired by newly capturing an image, or may be acquired by reading out image data captured in advance and stored in an appropriate storage unit.
テスト画像Ｉｔは学習モデル１０に入力される（ステップＳ１０２）。学習モデル１０は、テスト画像Ｉｔに基づき作成した擬位相差画像Ｉｓを出力する（ステップＳ１０３）。前述のように、擬位相差画像Ｉｓは、もしテスト画像Ｉｔと同一のサンプルの同一箇所が位相差撮像されれば得られるであろう画像を、テスト画像Ｉｔが有する情報から推定し作成したものである。学習モデル１０から出力された擬位相差画像Ｉｓは、本処理の結果画像として、表示手段への表示出力、記憶手段への書き込み、通信回線を介した外部装置への送信出力等の適宜の出力形態でユーザに提示される（ステップＳ１０４）。
The test image It is input to the learning model 10 (step S102). The
明視野画像からの擬位相差画像の生成という目的のために、学習モデル１０は、予め収集された教師データを用いたディープラーニングによって構築される。教師データは、細胞を含んで予め用意された学習用の試料の同一位置を明視野撮像して得られた明視野画像である第１教師画像Ｉ１と位相差撮像して得られた位相差画像である第２教師画像Ｉ２とのセットを、多数収集したものである。
For the purpose of generating a quasi phase difference image from a bright field image, the
このような第１教師画像Ｉ１と第２教師画像Ｉ２との間では、画像内で対応する位置同士を比較することで、試料中の同一オブジェクトを明視野撮像した場合と位相差撮像した場合との間での画像への現れ方を相互に関連付けることができる。テスト画像Ｉｔに含まれる細胞の種類が予め特定されている場合には、第１および第２教師画像Ｉ１，Ｉ２についても同種の細胞が含まれていることが好ましい。 By comparing corresponding positions in the image between the first teacher image I1 and the second teacher image I2 as described above, a case where the same object in the sample is subjected to bright field imaging and a case where phase difference imaging is performed are performed. It is possible to correlate the appearance in the image between the. When the type of cells included in the test image It is specified in advance, it is preferable that the first and second teacher images I1 and I2 also include cells of the same type.
第１および第２教師画像Ｉ１，Ｉ２の収集は、以下のようにして行うことができる。例えば位相差顕微鏡のように位相差撮像を行うための構成および機能を有する装置は一般的に、明視野撮像を行うための構成および機能を併せ持っているものが多い。このような装置を用い、同一試料の同一位置を視野に収めて明視野撮像と位相差撮像とをそれぞれ実行することで、１セット分の第１教師画像Ｉ１および第２教師画像Ｉ２とを取得することができる。同一試料で撮像位置を変えて同様に、また別途用意した他の試料についても同様に、明視野撮像と位相差撮像とをそれぞれ実行することで、第１教師画像Ｉ１と第２教師画像Ｉ２とのセットを多数収集することができる。また１つの画像内の複数位置から部分画像を切り出してそれらを複数の教師画像としてもよい。 Collection of the first and second teacher images I1 and I2 can be performed as follows. For example, an apparatus having a configuration and a function for performing phase difference imaging such as a phase contrast microscope generally has a configuration and a function for performing bright field imaging in general. By using such a device, the same position of the same sample is placed in the field of view and bright field imaging and phase difference imaging are performed, respectively, to acquire one set of the first teacher image I1 and the second teacher image I2. can do. By performing the bright field imaging and the phase difference imaging in the same manner by changing the imaging position of the same sample and similarly for other separately prepared samples, respectively, the first teacher image I1 and the second teacher image I2 are obtained. A large number of sets can be collected. Further, partial images may be cut out from a plurality of positions in one image and used as a plurality of teacher images.
なお、テスト画像Ｉｔがカラー画像である場合には第１および第２教師画像Ｉ１，Ｉ２もカラー画像であることが好ましく、テスト画像Ｉｔがモノクロ画像である場合には第１および第２教師画像Ｉ１，Ｉ２もモノクロ画像であることが好ましい。また、テスト画像Ｉｔおよび教師画像Ｉ１，Ｉ２のうち一方がカラー画像、他方がモノクロ画像である場合にはカラー画像をモノクロ画像に変換することで統一する態様であってもよい。 When the test image It is a color image, the first and second teacher images I1 and I2 are also preferably color images, and when the test image It is a monochrome image, the first and second teacher images are included. I1 and I2 are also preferably monochrome images. In addition, when one of the test image It and the teacher images I1 and I2 is a color image and the other is a monochrome image, the color image may be converted into a monochrome image to be unified.
このような事例を多数収集して教師データとして用い機械学習を実行することで、例えば明視野画像に現れるオブジェクトが、位相差画像においてどのような像として現れるかを類推することが可能となる。このことを利用して、明視野画像から疑似的な位相差画像、すなわち本明細書にいう擬位相差画像を作成することが可能である。特に学習アルゴリズムとしてディープラーニングを用いたとき、画像を解析するための特徴量を人為的に与える必要がないので、用途に応じて適切に特徴量を選定するための専門的知識が不要であり、しかも特徴量の不適切な選択による誤判定の可能性を排除した最適な学習モデルを構築することが可能である。 By collecting a large number of such cases and using them as teacher data to execute machine learning, it is possible to infer what kind of image an object appearing in a bright field image appears in a phase difference image, for example. By utilizing this, it is possible to create a pseudo phase difference image from the bright field image, that is, a pseudo phase difference image referred to in this specification. Especially when using deep learning as a learning algorithm, it is not necessary to artificially give the feature amount for analyzing the image, so specialized knowledge is not required to appropriately select the feature amount according to the application, Moreover, it is possible to construct an optimal learning model that eliminates the possibility of misjudgment due to inappropriate selection of feature quantities.
ディープラーニングの原理や学習アルゴリズムについては種々の公知資料が既に存在しているため、ここでは詳しい説明を省略する。本実施形態において利用可能なディープラーニング手法は特定のアルゴリズムに限定されるものではない。なお本実施形態において特に好適に利用可能な、画像等の対データを入出力に用い対データ間の相関を学習させるディープラーニング手法としては、例えばConditional GANをベースにしたpix2pixとして知られた方法がある（参考文献：Phillip Usola et al., Image-to-Image Translation with Conditional Adversarial Networks. CVPR, 21-Nov. 2016、ＵＲＬ：https://arxiv.org/pdf/1611.07004v1.pdf）。 Since various publicly known materials already exist regarding the principle of deep learning and learning algorithms, detailed description thereof will be omitted here. The deep learning method that can be used in this embodiment is not limited to a particular algorithm. In the present embodiment, as a deep learning method that can be particularly preferably used, for learning the correlation between paired data by using paired data such as images for input and output, a method known as pix2pix based on Conditional GAN is used. (Reference: Phillip Usola et al., Image-to-Image Translation with Conditional Adversarial Networks. CVPR, 21-Nov. 2016, URL: https://arxiv.org/pdf/1611.07004v1.pdf).
図３は学習モデルを構築するための学習プロセスを示すフローチャートである。上記したように、第１の学習モデル１０は、互いに同一試料の同一位置を撮像した明視野画像と位相差画像とのセットを種々の試料について多数収集し（ステップＳ２０１）、これらを教師データとしてディープラーニングを実行することにより、学習モデル１０を構築することができる（ステップＳ２０２）。
FIG. 3 is a flowchart showing a learning process for constructing a learning model. As described above, the
図４は本実施形態が採用する学習モデルであるpix2pixアルゴリズムの動作を示す模式図である。図４に示すように、学習モデル１０は、画像生成部１１と、識別部１２と、オプチマイザ１３とを備えている。画像生成部１１は、複数段の畳み込み層で画像特徴を捉えるエンコーダ１１ａと、同じ段数の逆畳み込み層でその特徴から逆演算を行って画像生成を行うデコーダ１１ｂとを有する。
FIG. 4 is a schematic diagram showing the operation of the pix2pix algorithm, which is a learning model adopted in this embodiment. As shown in FIG. 4, the
明視野画像である第１教師画像Ｉ１が入力画像として画像生成部１１に与えられると、エンコーダ１１ａがその画像特徴を求め、求められた画像特徴に基づきデコーダ１１ｂが画像生成を行って生成画像Ｉｇを出力する。
When the first teacher image I1 which is a bright field image is given to the
識別部１２は、画像特徴から入力画像か生成画像かを識別する。具体的には、識別部１２は位相差画像である第２教師画像Ｉ２を識別部１２に入力として本物学習を行う一方、画像生成部１１から出力された生成画像Ｉｇを入力として偽物学習を行う。オプチマイザ１３は、画像生成部１１が出力した生成画像Ｉｇが本物（第２教師画像Ｉ２）に近づくように学習モデルの内部パラメータ調整を行う。これを繰り返すことで学習が進む。十分学習が進めば、学習モデル１０は、未知の明視野画像（テスト画像Ｉｔ）からこれに対応する疑似的な位相差画像（擬位相差画像Ｉｓ）を生成する機能を有することとなる。
The
このようにして構築された学習モデル１０を用いることで、本実施形態の画像処理プロセスでは、細胞を含む明視野画像がテスト画像Ｉｔとして与えられると、これに対応する位相差画像を模した疑似的な画像である擬位相差画像Ｉｓを生成し結果画像として出力することが可能である。前記した各事例のように、位相差画像が必要であるが取得することが難しい場合に上記の画像処理プロセスを実行することで、生成される擬位相差画像Ｉｓを本来の位相差画像の代替物として利用することができる。
By using the
次に説明するように、良質の教師データを収集して学習モデルを構築すれば、実際の位相差撮像により得られる画像と遜色のない擬位相差画像を明視野画像から生成することが可能である。 As described below, by collecting high-quality teacher data and constructing a learning model, it is possible to generate a quasi-phase difference image that is comparable to the image obtained by actual phase difference imaging from a bright field image. is there.
図５は本実施形態の画像処理プロセスの作用を示す画像の例である。図のＡ欄は、ディープラーニングにおける教師データとして用いられた試料の一例に対応しており、左端の画像は第１教師画像Ｉ１として使用された、当該試料を明視野撮像して得られた明視野画像である。また、右端の画像は第２教師画像Ｉ２として使用された、当該試料の位相差撮像により得られた位相差画像である。これら２つの画像は同一試料の同一位置を撮像範囲として撮像されたものである。一方、中央の画像は、この試料の画像（明視野画像および位相差画像）を含む教師データに基づくディープラーニングの実行により構築された学習モデル１０にこの試料の明視野画像（左端に示す画像）をテスト画像として入力して生成された画像（擬位相差画像）である。
FIG. 5 is an example of an image showing the operation of the image processing process of this embodiment. The column A in the figure corresponds to an example of a sample used as teacher data in deep learning, and the image at the left end was used as the first teacher image I1 and was obtained by bright-field imaging the sample. It is a visual field image. The image at the right end is a phase difference image used as the second teacher image I2 and obtained by phase difference imaging of the sample. These two images were taken with the same position of the same sample as the imaging range. On the other hand, the central image is a bright-field image of this sample (image shown at the left end) in the
Ｂ欄およびＣ欄の画像は教師データとして用いられた他の試料の例である。上記と同様に、左端の画像が当該試料の明視野画像、右端の画像が位相差画像であり、これらはそれぞれディープラーニングにおける第１教師画像Ｉ１、第２教師画像Ｉ２として用いられたものである。また、中央の画像は、左端の明視野画像を学習モデル１０に入力して得られた擬位相差画像である。
The images in columns B and C are examples of other samples used as teacher data. Similarly to the above, the image at the left end is the bright field image of the sample and the image at the right end is the phase difference image, and these are used as the first teacher image I1 and the second teacher image I2 in deep learning, respectively. . Further, the center image is a quasi-phase difference image obtained by inputting the bright field image at the left end to the
本実施形態の画像処理プロセスにおいて使用される学習モデル１０の理想的な動作は、Ａ〜Ｃ各欄左端の明視野画像が入力されたときに、右端の位相差画像と同じ画像を出力することである。この意味において右端の位相差画像は、本学習モデル１０が出力すべきターゲット画像であると言える。
The ideal operation of the
各欄において、入力画像を与えられた学習モデル１０が学習の結果に基づき生成し出力した中央の生成画像（擬位相差画像）を、実際に試料を位相差撮像して得られた位相差画像である右端のターゲット画像と比較すると、部分的に背景濃度の違いがあるものの、画像に含まれる細胞等の輪郭や内部テクスチャなどの現れ方が極めてよく一致している。また生成画像においては、明視野画像である入力画像に対し細胞内部のコントラストがより鮮明となっており、明視野画像では視認しにくい細胞内部のテクスチャが明瞭になっている。これらのことから、本実施形態の画像処理プロセスが明視野画像から生成する擬位相差画像は、実際の位相差撮像により得られる位相差画像の代替物として十分に利用可能なものであると言える。
In each column, the central generated image (quasi phase difference image) generated and output by the
図５のＤ欄は教師データとして用いられていない試料の例である。ここでも、左端の画像が明視野画像、右端の画像がこれに対応する位相差画像であり、中央の画像は左端の明視野画像に基づき学習モデル１０が出力した擬位相差画像である。右端の位相差画像は本来必要ではないが、学習モデル１０が生成する擬位相差画像との比較のために取得されたものである。
Column D in FIG. 5 is an example of a sample that is not used as teacher data. Here again, the leftmost image is the bright field image, the rightmost image is the corresponding phase difference image, and the center image is the pseudo phase difference image output by the
教師データとして用いられなかった、つまり学習モデル１０にとって未知の入力画像であっても、学習モデル１０が出力した擬位相差画像（中央）は、実際の位相差撮像により得られた位相差画像（右端）とよく似たものとなっている。このことからも、本実施形態の画像処理プロセスが有効な擬位相差画像を生成する機能を有することがわかる。
Even if the input image is not used as teacher data, that is, the input image is unknown to the
図６は本実施形態の画像処理プロセスにより得られた他の結果の例を示す図である。より具体的には、図６は位相差撮像機能を持たない明視野撮像装置で撮像された試料の明視野画像から擬位相差画像を生成した例を示している。図のＡ欄およびＢ欄は互いに異なる試料に対応しており、各欄の左側の画像は入力画像（テスト画像Ｉｔ）である明視野画像を、右側の画像はこれから生成された生成画像（擬位相差画像Ｉｓ）である。これらの例においても、生成された擬位相差画像は、元の明視野画像に対して細胞の輪郭や内部テクスチャが鮮明であり、位相差画像が本来持つ特徴を有するものとなっている。 FIG. 6 is a diagram showing an example of another result obtained by the image processing process of this embodiment. More specifically, FIG. 6 shows an example in which a quasi-phase difference image is generated from a bright field image of a sample imaged by a bright field imaging device having no phase difference imaging function. Columns A and B in the figure correspond to different samples, and the image on the left side of each column is a bright-field image that is the input image (test image It), and the image on the right side is a generated image (pseudo-image generated from this). It is a phase difference image Is). Also in these examples, the generated quasi-phase difference image has sharper cell outlines and internal textures than the original bright-field image, and has the original characteristics of the phase difference image.
これらの例が示すように、本実施形態の画像処理プロセスは、細胞を含む試料の明視野画像から、これに対応する位相差画像を模した擬位相差画像を生成する機能を有するものである。その主要部となる学習モデル１０は、明視野画像とこれに対応する位相差画像とのセットを教師データとしてディープラーニングを実行することにより構築されるものである。したがって、良質の教師データをできるだけ多く収集して学習に適用することにより、明視野画像から擬位相差画像を生成する際の精度を高く、つまり生成される擬位相差画像と真の位相差画像との差異を小さくすることが可能となる。
As shown in these examples, the image processing process of this embodiment has a function of generating a quasi-phase difference image simulating a phase difference image corresponding to the bright field image of the sample containing cells. . The
図７は本実施形態の画像処理を実行可能な装置構成の一例を示すブロック図である。この装置は、本発明に係る画像処理方法を実行可能な画像処理システムの一例である。画像処理システム１００は、本発明に係る画像処理装置の一実施形態であり、データ処理装置１１０および撮像装置１２０を備えている。データ処理装置１１０は、画像処理部１１２を内蔵するＣＰＵ（Central Processing Unit）１１１と、メモリ１１３と、インターフェース１１４と、表示部１１５とを備えている。
FIG. 7 is a block diagram showing an example of a device configuration capable of executing the image processing of this embodiment. This apparatus is an example of an image processing system capable of executing the image processing method according to the present invention. The
ＣＰＵ１１１は、メモリ１１３に予め記憶された所定の制御プログラムを実行することで、上記した画像処理プロセスおよびディープラーニングを実行する。該プロセスにおいて画像データに対する処理は画像処理部１１２により実行される。メモリ１１３はＣＰＵ１１１が実行する制御プログラムや処理により生成されるデータを記憶する。インターフェース１１４は外部装置とのデータ通信を司る。インターフェース１１４はまた、図示しない入力装置（例えばキーボード、マウス等）を介してユーザからの操作入力を受け付ける。表示部１１５は、プロセスの進行状況や結果を表示出力してユーザに報知する。
The
撮像装置１２０は、例えば撮像機能を備えた顕微鏡装置である。撮像装置１２０は、例えばウェルプレートで培養された細胞等の試料を撮像して画像データを生成し、データ処理装置１１０のインターフェース１１４に送信する。撮像装置１２０が第１教師画像Ｉ１および第２教師画像Ｉ２を収集する目的で設けられる場合、明視野撮像機能と位相差撮像機能とを有していればよい。１つの試料に対し明視野撮像と位相差撮像とを同一視野で実行可能であることが望ましい。
The
一方、撮像装置１２０がテスト画像Ｉｔを撮像することを目的として設けられる場合、明視野撮像機能を有していればよく、位相差撮像機能は不要である。言い換えれば、撮像装置１２０が位相差撮像機能を有しているのであれば、明視野画像を撮像しそれをテスト画像Ｉｔとして擬位相差画像Ｉｓを生成するという処理を行う必要性が生じない。さらに言い方を変えれば、本実施形態の画像処理を組み込むことにより、撮像装置から位相差撮像機能を省くことができる。位相差撮像を行うためには専用の光学系が必要となるが、これらを省くことで、装置の小型化および低コスト化を図ることが可能である。
On the other hand, when the
このように、明視野画像から高精度の擬位相差画像を生成することができる本実施形態の画像処理を位相差撮像機能のない撮像装置に組み合わせれば、当該撮像装置を、位相差撮像機能を有する装置と同様に機能させることが可能である。 In this way, if the image processing of the present embodiment capable of generating a highly accurate quasi-phase difference image from a bright field image is combined with an image pickup apparatus having no phase difference image pickup function, the image pickup apparatus is provided with a phase difference image pickup function. It is possible to make it function like the device having.
なお、画像処理システムの構成は上記に限定されず、例えばデータ処理装置１１０と撮像装置１２０とが一体的に構成されていてもよい。また、例えば過去に撮像された画像データのライブラリを（例えばインターフェース１１４を介して受信することで）利用することができる場合には、画像処理システム１００が撮像機能を有していなくてもよい。このため、本実施形態の画像処理プロセスは、パーソナルコンピュータとして一般的なハードウェア構成を有するコンピュータ装置に、上記処理を実現するための適宜のソフトウェアを実装することによっても実施可能である。
The configuration of the image processing system is not limited to the above, and for example, the
以上のように、この実施形態では、予め収集された同一試料に対応する明視野画像と位相差画像とのセットを教師データとするディープラーニングにより構築される学習モデル１０が予め準備される。そして、テスト画像Ｉｔとしての明視野画像が学習モデル１０に入力されると、学習モデル１０は、学習結果に基づき、テスト画像Ｉｔに対応する位相差画像を疑似的に模した擬位相差画像Ｉｓを出力する。つまり、学習モデル１０は、細胞を含む試料を明視野撮像した明視野画像から、同じ試料に対し位相差撮像を行ったのと同様の画像を作成することができる。
As described above, in this embodiment, the
このため、明視野画像しか取得できない環境においても、実際に位相差撮像を行うことなく、明視野画像から精度の高い擬位相差画像を生成することが可能である。こうして生成される生成画像は、位相差画像が必要とされるが取得不可能な状況において、その代替物として有効に機能し得るものである。また、位相差撮像が実行可能な環境においても、擬位相差画像を利用することで撮像を省略することが可能となる。 Therefore, even in an environment where only a bright field image can be acquired, it is possible to generate a highly accurate pseudo phase difference image from the bright field image without actually performing the phase difference imaging. The generated image thus generated can effectively function as a substitute for the situation where the phase difference image is required but cannot be obtained. Further, even in an environment in which phase difference imaging can be performed, it is possible to omit imaging by using the pseudo phase difference image.
以上説明したように、上記の実施形態においては、第１教師画像Ｉ１、第２教師画像Ｉ２およびテスト画像Ｉｔがそれぞれ本発明の「第１教師画像」、「第２教師画像」および「処理対象画像」に相当している。また、擬位相差画像Ｉｓが本発明の「結果画像」に相当している。また、本発明の「画像処理装置」として機能する図７の画像処理システム１００においては、データ処理装置１１０が本発明の「画像処理部」として機能し、撮像装置１２０が本発明の「画像取得部」として機能している。なお、外部の画像ライブラリ等に記録されている画像データを受け入れて処理する態様においては、外部データを受け入れるインターフェース１１４が本発明の「画像取得部」として機能することになる。
As described above, in the above embodiment, the first teacher image I1, the second teacher image I2, and the test image It are the “first teacher image”, the “second teacher image”, and the “processing target” of the present invention, respectively. Image. The quasi-phase difference image Is corresponds to the "result image" of the present invention. Further, in the
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、複数の試料ごとに第１教師画像Ｉ１と第２教師画像Ｉ２とのセットが取得される。しかしながら、同一の試料の互いに異なる位置から複数のセットが取得されてもよい。 The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, in the above embodiment, the set of the first teacher image I1 and the second teacher image I2 is acquired for each of the plurality of samples. However, multiple sets may be acquired from different positions of the same sample.
また例えば、上記実施形態では、学習モデル１０が生成出力する擬位相差画像Ｉｓがそのまま表示出力または画像データとして出力される。しかしながら、本実施形態の画像処理は、他の画像処理プロセスの前処理として実行されてもよい。具体的には、例えば生体から採取された組織標本や培養された細胞等の画像に対し画像解析処理を施して細胞の種類を同定したりその個数を計数したりする解析処理のために、本実施形態の画像処理を利用することが可能である。このような画像解析処理では、明視野画像よりも、より高いコントラストが得られる位相差画像を入力画像とする方が好結果を得られる場合がある。このような場合において明視野画像しか入手できないとき、本実施形態の画像処理により明視野画像から擬位相差画像を生成し、これを入力画像として解析処理に供するようにすれば、良好な解析結果を得ることが可能となる。
Further, for example, in the above-described embodiment, the quasi-phase difference image Is generated and output by the
また、位相差画像を教師画像として構築された学習モデルを用いて明視野画像を解析することも可能となる。すなわち、このような学習モデルでは入力画像として位相差画像が想定されているが、テスト画像としての明視野画像を上記方法で擬位相差画像に変換した上で学習モデルの入力画像とすることで、結果的に明視野画像の解析を行うことができる。 It is also possible to analyze a bright-field image using a learning model constructed by using a phase difference image as a teacher image. That is, although a phase difference image is assumed as an input image in such a learning model, it is possible to convert a bright field image as a test image into a pseudo phase difference image by the above method and then use it as the input image of the learning model. As a result, the bright field image can be analyzed.
また例えば、学習モデルを構築するための処理を実行する装置と、その結果を利用してテスト画像Ｉｔを処理する装置とが異なっていてもよい。例えば、ある画像処理装置においてディープラーニングを実行することで構築された学習モデル１０を他の画像処理装置に移植し、移植先の装置がテスト画像Ｉｔを処理するように構成されてもよい。学習モデルの構築を例えばスーパーコンピュータにより実行するようにすれば、大量のデータを用いて精度の高い学習モデルを構築することが可能となる。一方、構築された学習モデルを利用してテスト画像Ｉｔを処理する装置では、比較的簡単な演算のみで済むため高い演算能力を備える必要がなく、例えば撮像装置に内蔵された比較的単純な演算装置で処理を実行することが可能になる。
Further, for example, the device that executes the process for constructing the learning model and the device that processes the test image It using the result may be different. For example, the
以上、具体的な実施形態を例示して説明してきたように、この発明において、例えば処理対象画像は、明視野撮像機能を有し位相差撮像機能を有さない撮像装置によって撮像されたものであってもよい。本発明では明視野画像である処理対象画像からのデータ処理により疑似的な位相差画像を作成することができるから、位相差撮像機能のない環境下で処理対象画像が撮像される場合に、特に顕著な効果を奏することになる。 As described above by exemplifying the specific embodiments, in the present invention, for example, the processing target image is an image captured by an image capturing apparatus having a bright field imaging function and not having a phase difference imaging function. It may be. In the present invention, since a pseudo phase difference image can be created by data processing from a processing target image which is a bright field image, especially when the processing target image is captured in an environment without a phase difference imaging function, It will have a remarkable effect.
また例えば、試料は、処理対象画像の撮像対象となった細胞と同一種類の細胞を含むものであってもよい。明視野画像と位相差画像との間の形態的な差異の現れ方は細胞の種類により異なるから、処理対象画像内の細胞と同種の細胞を含む試料を撮像した画像を教師データとすることで、より精度の高い、すなわち実際の撮像で得られる位相差画像との差異の小さい擬位相差画像を生成することが可能になる。 Further, for example, the sample may include cells of the same type as the cells that are the target of the image to be processed. The appearance of the morphological difference between the bright-field image and the phase-contrast image differs depending on the cell type, so it is possible to use the image of a sample containing cells of the same type as the cells in the processing target image as the teaching data. It is possible to generate a quasi-phase difference image with higher accuracy, that is, a small difference from the phase difference image obtained by actual imaging.
この発明は、細胞を含む試料を撮像した明視野画像から、実際に撮像することで得られる位相差画像を模した擬似的な位相差画像を生成することが可能であり、位相差画像に基づく観察や画像処理に好適に適用可能である。例えば医療や創薬などの医学分野や生化学分野に広く応用することができる。 INDUSTRIAL APPLICABILITY The present invention is capable of generating a pseudo phase difference image imitating a phase difference image obtained by actually capturing an image from a bright field image obtained by capturing an image of a sample containing cells. It can be suitably applied to observation and image processing. For example, it can be widely applied to medical fields such as medicine and drug discovery and biochemistry fields.
１０ 学習モデル
１００ 画像処理システム
１１０ 画像処理装置
１１１ ＣＰＵ
１１２ 画像処理部
１１４ インターフェース
１２０ 撮像装置（画像取得部）
Ｉ１ 第１教師画像
Ｉ２ 第２教師画像
Ｉｓ 擬位相差画像（結果画像）
Ｉｔ テスト画像（処理対象画像）
10
112 Image Processing Unit 114
I1 First teacher image I2 Second teacher image Is Pseudo-phase difference image (result image)
It test image (image to be processed)
Claims (5)
予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程と
を備え、
前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、
前記第１教師画像は前記試料を明視野撮像した明視野画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料を位相差撮像した位相差画像であって前記ディープラーニングにおいては出力に対応づけられる、画像処理方法。 A step of acquiring a processing target image which is a bright field image obtained by bright field imaging the cells,
Inputting the processing target image to a pre-constructed learning model, and outputting the image output by the learning model as a result image,
The learning model is constructed by performing deep learning using a set of a first teacher image and a second teacher image corresponding to the same sample as teacher data.
The first teacher image is a bright field image obtained by bright-field imaging the sample and is associated with an input in the deep learning, and the second teacher image is a phase difference image obtained by performing phase difference imaging of the sample, An image processing method that corresponds to output in deep learning.
互いに同一の前記試料に対応する前記明視野画像と前記位相差画像とのセットを教師データとし、前記明視野画像を第１教師画像として入力に、前記位相差画像を第２教師画像として出力にそれぞれ対応させてディープラーニングを実行して学習モデルを構築する工程と、
細胞を明視野撮像した明視野画像である処理対象画像を取得する工程と、
前記学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程と
を備える画像処理方法。 A step of collecting a bright field image obtained by bright-field imaging a sample containing cells and a phase-contrast image obtained by phase-contrast imaging the sample;
A set of the bright field image and the phase difference image corresponding to the same sample as each other is used as teacher data, the bright field image is input as a first teacher image, and the phase difference image is output as a second teacher image. The process of building a learning model by executing deep learning corresponding to each,
A step of acquiring a processing target image which is a bright field image obtained by bright field imaging the cells,
An image processing method comprising the steps of inputting the processing target image to the learning model and outputting the image output by the learning model as a result image.
予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する画像処理部と
を備え、
前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、
前記第１教師画像は前記試料を明視野撮像した明視野画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料を位相差撮像した位相差画像であって前記ディープラーニングにおいては出力に対応づけられた、画像処理装置。 An image acquisition unit that acquires a bright-field image obtained by bright-field imaging cells as a processing target image,
An image processing unit that inputs the processing target image to a pre-constructed learning model and outputs the image output by the learning model as a result image,
The learning model is constructed by performing deep learning using a set of a first teacher image and a second teacher image corresponding to the same sample as teacher data.
The first teacher image is a bright field image obtained by bright-field imaging the sample and is associated with an input in the deep learning, and the second teacher image is a phase difference image obtained by performing phase difference imaging of the sample, An image processing device associated with output in deep learning.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018189643A JP2020060822A (en) | 2018-10-05 | 2018-10-05 | Image processing method and image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018189643A JP2020060822A (en) | 2018-10-05 | 2018-10-05 | Image processing method and image processing apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020060822A true JP2020060822A (en) | 2020-04-16 |
Family
ID=70219856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018189643A Pending JP2020060822A (en) | 2018-10-05 | 2018-10-05 | Image processing method and image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020060822A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022113366A1 (en) * | 2020-11-30 | 2022-06-02 | 株式会社ニコン | Method for generating trained model, image processing method, image transforming device, and program |
| WO2022113368A1 (en) * | 2020-11-30 | 2022-06-02 | 株式会社ニコン | Image conversion method, program, image conversion device, and image conversion system |
| WO2022113367A1 (en) * | 2020-11-30 | 2022-06-02 | 株式会社ニコン | Image conversion method, program, and image processing device |
-
2018
- 2018-10-05 JP JP2018189643A patent/JP2020060822A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022113366A1 (en) * | 2020-11-30 | 2022-06-02 | 株式会社ニコン | Method for generating trained model, image processing method, image transforming device, and program |
| WO2022113368A1 (en) * | 2020-11-30 | 2022-06-02 | 株式会社ニコン | Image conversion method, program, image conversion device, and image conversion system |
| WO2022113367A1 (en) * | 2020-11-30 | 2022-06-02 | 株式会社ニコン | Image conversion method, program, and image processing device |
| JP7452702B2 (en) | 2020-11-30 | 2024-03-19 | 株式会社ニコン | Method for generating trained model, image processing method, image conversion device, program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7422825B2 (en) | Focus-weighted machine learning classifier error prediction for microscope slide images | |
| Jeckel et al. | Advances and opportunities in image analysis of bacterial cells and communities | |
| US10049447B2 (en) | Pathology case review, analysis and prediction | |
| Schoening et al. | RecoMIA—Recommendations for marine image annotation: Lessons learned and future directions | |
| US20190384047A1 (en) | Systems, devices, and methods for image processing to generate an image having predictive tagging | |
| Wagner et al. | Structure-preserving multi-domain stain color augmentation using style-transfer with disentangled representations | |
| JP2022500744A (en) | Computer implementation methods, computer program products and systems for analysis of cell images | |
| Long et al. | Visualization and analysis of 3D microscopic images | |
| JP2020060822A (en) | Image processing method and image processing apparatus | |
| Medyukhina et al. | Dynamic spherical harmonics approach for shape classification of migrating cells | |
| Pridmore et al. | What lies beneath: underlying assumptions in bioimage analysis | |
| CN109416836A (en) | Information processing equipment, information processing method and information processing system | |
| Mousavi et al. | Ai playground: Unreal engine-based data ablation tool for deep learning | |
| EP4367675A1 (en) | Stain-free detection of embryo polarization using deep learning | |
| Pylvänäinen et al. | Live-cell imaging in the deep learning era | |
| Kromp et al. | Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation | |
| Xue et al. | Seeing tree structure from vibration | |
| Lock et al. | Visual analytics of single cell microscopy data using a collaborative immersive environment | |
| Hu et al. | AlignBodyNet: Deep learning-based alignment of non-overlapping partial body point clouds from a single depth camera | |
| Velan et al. | Does Deep Learning-Based Super-Resolution Help Humans With Face Recognition? | |
| Jabłoński et al. | Evaluation of MoG video segmentation on GPU-based HPC system | |
| van Eekelen et al. | Multi-class semantic cell segmentation and classification of aplasia in bone marrow histology images | |
| Kim et al. | BeatProfiler: Multimodal In Vitro Analysis of Cardiac Function Enables Machine Learning Classification of Diseases and Drugs | |
| JP2020060823A (en) | Image processing method and image processing apparatus | |
| Prabhakaran et al. | Addressing persistent challenges in digital image analysis of cancerous tissues |