JP7214753B2

JP7214753B2 - 顕微鏡システム

Info

Publication number: JP7214753B2
Application number: JP2020562401A
Authority: JP
Inventors: 勇大尾原; 敏征服部; 雅善唐澤
Original assignee: Evident Corp
Current assignee: Evident Corp
Priority date: 2018-12-28
Filing date: 2019-12-26
Publication date: 2023-01-30
Anticipated expiration: 2039-12-26
Also published as: EP3904937A4; CN113260894A; US11861921B2; EP3904937A1; WO2020138279A1; US20210319208A1; CN113260894B; JPWO2020138279A1

Description

本明細書の開示は、顕微鏡システムに関する。

倒立顕微鏡の市場の一つとして、顕微授精が知られている。顕微授精は、体外受精の一種であり、顕微鏡下で***と卵子を受精させる方法である。顕微授精は、一般に、ホールディングピペットで固定した卵子に***が納められたインジェクションピペットを突き刺すことで卵子内に***を直接注入する、卵細胞質内***注入法（ＩＣＳＩ：Intracytoplasmic sperm injection）によって行われる。

このような顕微授精に関連する技術は、例えば、特許文献１に記載されている。特許文献１には、顕微授精において偏光観察法、微分干渉観察法、レリーフコントラスト観察法を切り替えて観察を行う観察装置が記載されている。

国際公開第２０１２／１５０６８９号

ところで、ＩＣＳＩの成功率を高めるためには、***を選別して受精に適した良好な***を卵子に注入することが重要である。しかしながら、選別作業によって得られる***が良好か否かは、作業者である胚培養士の経験によるところが大きく、胚培養士間で受精成功率に格差が生じやすい。

以上のような実情から、本発明の一側面に係る目的は、顕微授精を補助する技術を提供することである。

本発明の一態様に係る顕微鏡システムは、試料を照明する透過照明系を備えた顕微鏡システムである。顕微鏡システムは、接眼レンズと、前記試料を透過した透過光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間に配置され、前記透過光に基づいて前記試料の光学画像を形成する結像レンズと、前記透過光に基づいて前記試料のデジタル画像データを取得する撮像装置であって、前記対物レンズまたは前記透過照明系より下方に配置された撮像装置と、少なくとも前記撮像装置で取得した前記デジタル画像データに基づいて、投影画像に対応する投影画像データを生成する処理装置であって、前記投影画像は、前記試料を用いた顕微授精を補助する補助画像を含む、という処理装置と、前記対物レンズまたは前記透過照明系より下方に配置された投影装置であって、前記光学画像が形成されている像面へ、前記投影画像データに基づいて前記投影画像を投影する投影装置と、前記透過照明系に含まれ、前記試料に照射される照明光を変調する第１の変調素子と、前記対物レンズと前記結像レンズの間に配置され、前記透過光を変調する第２の変調素子と、を備える。前記処理装置は、少なくとも前記デジタル画像データに基づいて、前記試料に含まれる生殖細胞から受精に適した生殖細胞である候補細胞を特定する解析結果を生成する解析部と、前記解析部で生成された前記解析結果に基づいて、前記投影画像データを生成する投影画像生成部であって、前記投影画像は、前記補助画像として、前記候補細胞を特定する第１の補助画像を含む、という投影画像生成部と、を備える。前記生殖細胞は、運動中の***細胞であり、前記解析部は、前記運動中の***細胞から候補***を前記候補細胞として特定するものであり、前記投影装置は、前記運動中の***細胞から特定された前記候補細胞である前記候補***に重ならない位置に、前記第１補助画像を投影するものであり、前記試料の光学画像上で推奨度が判別可能であるように前記第１の補助画像は、当該第１の補助画像が特定する前記候補細胞の推奨度合いに応じた態様また色を有する。
本発明の別の態様に係る顕微鏡システムは、試料を照明する透過照明系を備えた倒立顕微鏡システムである。顕微鏡システムは、接眼レンズと、前記試料を透過した透過光を前記接眼レンズへ導く切り換え可能な複数の対物レンズと、前記接眼レンズと前記対物レンズの間に配置され、前記透過光に基づいて前記試料の光学画像を形成する結像レンズと、前記透過光に基づいて前記試料のデジタル画像データを取得する撮像装置であって、前記対物レンズまたは前記透過照明系より下方に配置された撮像装置と、少なくとも前記撮像装置で取得した前記デジタル画像データに基づいて、投影画像に対応する投影画像データを生成する処理装置であって、前記投影画像は、前記試料を用いた顕微授精を補助する補助画像を含む、という処理装置と、前記対物レンズまたは前記透過照明系より下方に配置された投影装置であって、前記光学画像が形成されている像面へ、前記投影画像データに基づいて前記投影画像を投影する投影装置と、前記試料を操作するために用いられるピペットと、を備える。前記投影装置を含む投影ユニットは、前記結像レンズと前記接眼レンズの間、または、前記対物レンズと前記結像レンズの間、に配置され、前記処理装置は、少なくとも前記デジタル画像データに基づいて、前記試料に含まれる生殖細胞から受精に適した生殖細胞である候補細胞を特定する解析結果を生成する解析部と、前記解析部で生成された前記解析結果に基づいて、前記投影画像データを生成する投影画像生成部であって、前記投影画像は、前記補助画像として、前記候補細胞を特定する第１の補助画像を含む、という投影画像生成部と、を備える。前記生殖細胞は、運動中の***細胞であり、前記解析部は、前記運動中の***細胞から候補***を前記候補細胞として特定するものであり、前記投影装置は、前記運動中の***細胞から特定された前記候補細胞である前記候補***に重ならない位置に、リアルタイムに前記第１補助画像を投影するものであり、前記試料の光学画像上で推奨度が判別可能であるように前記第１の補助画像は、当該第１の補助画像が特定する前記候補細胞の推奨度合いに応じた態様また色を有する。

上記の態様によれば、顕微授精を補助することができる。

第１の実施形態に係る顕微鏡システム１の構成を例示した図である。倒立顕微鏡１００の構成を例示した図である。入力装置５０の操作部の構成を例示した図である。処理装置２０の機能的構成を例示した図である。処理装置２０のハードウェア構成を例示した図である。ＩＣＳＩの手順の一例を示すフローチャートである。シャーレ２１０内に試料２００として形成されるドロップの構成を例示した図である。 ***選別手順の一例を示すフローチャートである。顕微鏡システム１が行う画像投影処理のフローチャートである。解析部２２が行う画像処理方法について説明するための図である。接眼レンズ１０１から見える画像の一例を示した図である。接眼レンズ１０１から見える画像の別の例を示した図である。接眼レンズ１０１から見える画像の更に別の例を示した図である。接眼レンズ１０１から見える画像の更に別の例を示した図である。接眼レンズ１０１から見える画像の更に別の例を示した図である。ニューラルネットワークの構成を示した図である。学習手順の一例を示すフローチャートである。教師画像のラベル付け方法について説明するための図である。教師データの作成方法について説明するための図である。接眼レンズ１０１から見える画像の更に別の例を示した図である。接眼レンズ１０１から見える画像の更に別の例を示した図である。 ***選別手順の別の例を示すフローチャートである。接眼レンズ１０１から見える画像の更に別の例を示した図である。接眼レンズ１０１から見える画像の更に別の例を示した図である。着床前診断の手順の一例を示すフローチャートである。接眼レンズ１０１から見える画像の更に別の例を示した図である。倒立顕微鏡３００の構成を例示した図である。倒立顕微鏡４００の構成を例示した図である。

［第１の実施形態］
図１は、本実施形態に係る顕微鏡システム１の構成を例示した図である。図２は、倒立顕微鏡１００の構成を例示した図である。図３は、入力装置５０の操作部の構成を例示した図である。図４は、処理装置２０の機能的構成を例示した図である。図５は、処理装置２０のハードウェア構成を例示した図である。図１に示す顕微鏡システム１は、顕微授精に用いられる、透過照明系１２０を備えた倒立型の顕微鏡システムであり、例えば、顕微授精を行う胚培養士によって利用される。

顕微鏡システム１は、少なくとも、接眼レンズ１０１、対物レンズ１０２、結像レンズ１０３、撮像ユニット１４０、処理装置２０、及び、投影装置１５３を備える。顕微鏡システム１は、さらに、顕微授精に用いられる無染色の試料を可視化するための変調素子を、照明光路と観察光路のそれぞれに備えている。

顕微鏡システム１は、対物レンズ１０２と結像レンズ１０３によって試料の光学画像が形成されている像面に、投影装置１５３を用いて投影画像を投影する。これにより、顕微鏡システム１の利用者は、光学画像に投影画像が重畳した画像を見ることになる。特に、投影画像に、顕微授精を補助する補助画像を含めることで、顕微鏡システム１は、顕微授精の作業のために接眼レンズ１０１を覗いて試料を観察している利用者に、顕微授精を補助する種々の情報を光学画像に重ねて提供することができる。

以下、図１から図４を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、倒立顕微鏡１００と、顕微鏡コントローラ１０と、処理装置２０と、表示装置３０と、複数の入力装置（入力装置４０、入力装置５０、入力装置６０、入力装置７０）と、識別装置８０を備えている。さらに、顕微鏡システム１は、種々のデータが格納されているデータベースサーバ２と接続されている。

倒立顕微鏡１００は、図１に示すように、顕微鏡本体１１０と、顕微鏡本体１１０に取り付けられた、複数の対物レンズ１０２、ステージ１１１、透過照明系１２０、及び接眼鏡筒１７０を備えている。利用者は、倒立顕微鏡１００を用いて、明視野（ＢＦ）観察、偏光（ＰＯ）観察、微分干渉（ＤＩＣ）観察、及び変調コントラスト（ＭＣ）観察の４つの顕微鏡法で、試料を観察することができる。なお、変調コントラスト観察は、レリーフコントラスト（ＲＣ）観察とも称される。

複数の対物レンズ１０２は、レボルバ１１２に装着されている。複数の対物レンズ１０２には、図２に示すように、ＢＦ観察用の対物レンズ１０２ａ、ＰＯ観察及びＤＩＣ観察用の対物レンズ１０２ｂ、ＭＣ観察用の対物レンズ１０２ｃが含まれている。また、対物レンズ１０２ｃには、モジュレータ１０４が含まれている。モジュレータ１０４は、透過率の異なる３つ領域（例えば、透過率１００％程度の領域、５％程度の領域、０％程度の領域）を含んでいる。

図２には、顕微鏡法に応じた３本の対物レンズが例示されているが、複数の対物レンズ１０２には、顕微鏡法毎に複数の倍率の異なる対物レンズが含まれてもよい。以降では、ＢＦ観察用の４倍対物レンズ、ＭＣ観察用の１０倍、２０倍、４０倍対物レンズ、ＰＯ観察用の２０倍対物レンズ、ＤＩＣ観察用の６０倍対物レンズが含まれている場合を例にして説明する。

レボルバ１１２は、複数の対物レンズ１０２の間で光路上に配置する対物レンズを切り替える切替装置である。レボルバ１１２は、顕微鏡法及び観察倍率に応じて光路上に配置する対物レンズを切り替える。レボルバ１１２によって光路上に配置された対物レンズは、試料を透過した透過光を接眼レンズ１０１へ導く。

ステージ１１１には、容器に入れられた試料が載置される。容器は、例えばシャーレであり、試料には、生殖細胞が含まれている。ステージ１１１は、光路上に配置された対物レンズ１０２の光軸方向、及び、対物レンズ１０２の光軸と直交する方向に移動する。なお、ステージ１１１は、手動ステージであっても、電動ステージであってもよい。

透過照明系１２０は、ステージ１１１に載置された試料を、ステージ１１１の上方から照明する。透過照明系１２０は、図１及び図２に示すように、光源１２１と、ユニバーサルコンデンサ１２２を含んでいる。光源１２１は、例えば、ＬＥＤ（Light Emitting Diode）光源であってもよく、ハロゲンランプ光源であってもよい。

ユニバーサルコンデンサ１２２には、図２に示すように、ポラライザ１２３（第１の偏光板）と、ターレット１２４に収容された複数の光学素子と、コンデンサレンズ１２８が含まれている。ポラライザ１２３は、ＭＣ観察、ＰＯ観察及びＤＩＣ観察で使用される。ターレット１２４には、顕微鏡法に応じて切り替えて使用される複数の光学素子が収容されている。ＤＩＣプリズム１２５は、ＤＩＣ観察で使用される。開口板１２６は、ＢＦ観察及びＰＯ観察で使用される。光学素子１２７は、スリットが形成された遮光板であるスリット板１２７ａと、スリットの一部を覆うように配置された偏光板１２７ｂ（第２の偏光板）と、の組み合わせであり、ＭＣ観察で使用される。

接眼鏡筒１７０には、接眼レンズ１０１が含まれている。結像レンズ１０３は、接眼レンズ１０１と対物レンズ１０２の間に配置されている。結像レンズ１０３は、接眼レンズ１０１と結像レンズ１０３の間の像面ＩＰに、透過光に基づいて試料の光学画像を形成する。また、像面ＩＰには、投影装置１５３からの光に基づいて後述する投影画像も形成される。これにより、像面ＩＰにおいて光学画像に投影画像が重畳される。顕微鏡システム１の利用者は、像面ＩＰに形成されている光学画像に投影画像が重畳した画像の虚像を、接眼レンズ１０１を用いて観察する。

顕微鏡本体１１０は、図１に示すように、レーザアシステッドハッチングユニット１３０と、撮像ユニット１４０と、投影ユニット１５０を含んでいる。また、顕微鏡本体１１０は、図２に示すように、中間変倍ユニット１６０と、を含んでいる。さらに、顕微鏡本体１１０は、ＤＩＣプリズム１０５と、アナライザ１０６を、光路に対して挿脱可能に含んでいる。

レーザアシステッドハッチングユニット１３０は、図２に示すように、対物レンズ１０２と結像レンズ１０３の間に配置されたレーザユニットである。レーザアシステッドハッチングユニット１３０は、対物レンズ１０２と結像レンズ１０３の間からレーザ光を導入することによって、試料にレーザ光を照射する。より具体的には、レーザアシステッドハッチングユニット１３０は、例えば、受精卵から成長した胚を取り囲む透明帯に、レーザ光を照射する。レーザアシステッドハッチングユニット１３０は、スプリッタ１３１と、スキャナ１３３と、レンズ１３４と、レーザ１３５を含んでいる。スプリッタ１３１は、例えば、ダイクロイックミラーである。スキャナ１３３は、例えば、ガルバノスキャナであり、レーザ光の照射位置を対物レンズ１０２の光軸と直交する方向に調整する。レンズ１３４は、レーザ光を平行光束に変換する。これにより、レーザ光は、対物レンズ１０２によって試料上に集光する。

撮像ユニット１４０は、透過光に基づいて試料のデジタル画像データを取得する撮像装置である。撮像ユニット１４０は、結像レンズ１０３と接眼レンズ１０１の間に配置されている。撮像ユニット１４０は、図２に示すように、スプリッタ１４１と、撮像素子１４３を含んでいる。スプリッタ１４１は、例えば、ハーフミラーである。結像レンズ１０３は、試料の光学画像を撮像素子１４３の受光面に形成する。撮像素子１４３は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサなどであり、試料からの光を検出し、検出した光を光電変換によって電気信号へ変換する。撮像ユニット１４０は、撮像素子１４３で得られた電気信号に基づいて、試料のデジタル画像データを生成する。

なお、後述する顕微鏡システム１は、***等の観察に用いられるが、***の細部、例えば、尻尾の部分はΦ０．５μm程度である。これを画像上で識別するためには、物体面に投影されたときにΦ０．５μm以下となる画素ピッチが要求される。つまり、総合倍率（＝対物レンズの倍率×中間変倍ユニットの倍率×図示しないカメラアダプタの倍率）で画素ピッチを割ることで算出される物体面における画素投影像のピッチがΦ０．５μｍ以下であることが要求される。例えば、２０倍の対物レンズ、２倍の中間変倍レンズ、０．２５倍のカメラアダプタの組み合わせであれば総合倍率は１０倍である。この場合、画素ピッチ３．４５μｍの顕微鏡用デジタルカメラを用いることで、物体面での画素投影像のピッチは０．３４５μｍとなり、***の尻尾部分も判別可能である。なお、実際のデジタルカメラの選択においては、さらに、有効画素からなる領域が視野全体を満たすサイズを有することにも留意する。

投影ユニット１５０は、結像レンズ１０３と接眼レンズ１０１の間に配置されている。投影ユニット１５０は、図２に示すように、スプリッタ１５１と、レンズ１５２と、投影装置１５３を含んでいる。スプリッタ１５１は、例えば、ハーフミラーである。投影装置１５３は、処理装置２０が生成した投影画像データに基づいて、投影画像を投影する。レンズ１５２は、結像レンズ１０３の像面、即ち、光学画像が形成されている像面ＩＰと同じ位置に、投影装置１５３からの光を集光することによって投影画像を投影する。

例えば、***の頭部から尾部までの大きさはおおよそ６０μm、頭部の大きさの短辺は３μm程度である。これをＭＣ観察用の２０倍の対物レンズと１倍の中間変倍レンズの組み合わせで、接眼レンズ前の像面ＩＰに投影すると、***の像は、1.2mm×0.06mmの大きさになる。これを囲うような投影画像データを作ると最小で1.5mm×0.1mm程度の長方形になる。この最小0.1mmの隙間を接眼レンズの視野内に認識できるように投影するためには、レンズ１５２の投影倍率が１倍の場合、0.05ｍｍピッチ以下の発光素子(単色の場合)で構成された投影装置１５３を用いればよい。これにより、上記の0.1mmの隙間を認識可能な投影画像を表示することが可能である。

さらに、投影装置１５３は、接眼レンズの視野数Φ２２を満たすだけでなく、それより一回り大きいΦ２３以上の視野に投影画像を投影する。具体的には、レンズ１５２の投影倍率が１倍の場合、Φ２３以上の有効発光領域を有する投影装置１５３が用いられる。これにより、接眼レンズ視野外から視野内に入ってきた視野周辺部の***のデータも投影画像データに含まれることになる。このため、接眼レンズ視野周辺部を含む視野内の全***から、余すことなく良好***を認識することが可能となる。なお、この場合、撮像装置１４３の有効画素領域も接眼レンズ部においてΦ２３以上のサイズを満たす必要がある事はいうまでもない。

中間変倍ユニット１６０は、対物レンズ１０２と結像レンズ１０３の間に配置されている。中間変倍ユニット１６０は、図２に示すように、複数のレンズ（レンズ１６１、レンズ１６２、レンズ１６３）を含み、これらの間で光路上に配置されるレンズを切り替えることで、像面に形成される光学画像の倍率を変更する。中間変倍ユニット１６０を用いることで、試料の近くに位置する対物レンズ１０２を切り替えることなく光学画像の倍率を変更することができる。

ＤＩＣプリズム１０５とアナライザ１０６は、対物レンズ１０２と結像レンズ１０３の間に配置されている。ＤＩＣプリズム１０５は、ＤＩＣ観察で使用される。アナライザ１０６は、ＰＯ観察及びＤＩＣ観察で使用される。

倒立顕微鏡１００では、ＭＣ観察を行うときには、試料に照射される照明光を変調する第１の変調素子として、照明光路上にポラライザ１２３と光学素子１２７が配置され、透過光を変調する第２の変調素子として、観察光路上にモジュレータ１０４が配置される。また、ＰＯ観察を行うときには、第１の変調素子として、照明光路上にポラライザ１２３が配置され、第２の変調素子として、観察光路上にアナライザ１０６が配置される。また、ＤＩＣ観察を行うときには、第１の変調素子として、照明光路上にポラライザ１２３とＤＩＣプリズム１２５が配置され、第２の変調素子として、観察光路上にアナライザ１０６とＤＩＣプリズム１０５が配置される。これにより、無染色の試料を可視化することができる。

顕微鏡コントローラ１０は、倒立顕微鏡１００を制御する装置である。顕微鏡コントローラ１０は、処理装置２０と入力装置５０と倒立顕微鏡１００に接続されていて、処理装置２０又は入力装置５０からの命令に応じて倒立顕微鏡１００を制御する。

表示装置３０は、例えば、液晶ディスプレイ、有機ＥＬ（OLED）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどである。

入力装置４０は、ハンドル４１とハンドル４２を含んでいる。ハンドル４１及びハンドル４２を操作することで、ピペット４３及びピペット４４を動かす図示しないマイクロマニュピレータの動作を制御する。ピペット４３及びピペット４４は、顕微授精の作業において試料を操作するために用いられる。ピペット４３は、例えば、ホールディングピペットであり、ピペット４４は、例えば、インジェクションピペットである。

入力装置５０は、倒立顕微鏡１００の設定を変更するためのハンドスイッチ装置である。入力装置５０は、図３に示すように、例えば、６つのボタン（ボタン５１～ボタン５６）を有していて、利用者はこれらのボタンを押下するだけで、倒立顕微鏡１００の設定を素早く切り替えることができる。

利用者がボタン５１を押下することで、倒立顕微鏡１００の設定は、観察倍率４倍のＢＦ観察（以降、ＢＦ４×観察と記す。）の設定に切り替わる。利用者がボタン５２を押下することで、倒立顕微鏡１００の設定は、観察倍率１０倍のＭＣ観察（以降、ＭＣ１０×観察と記す。）の設定に切り替わる。利用者がボタン５３を押下することで、倒立顕微鏡１００の設定は、観察倍率２０倍のＭＣ観察（以降、ＭＣ２０×観察と記す。）の設定に切り替わる。利用者がボタン５４を押下することで、倒立顕微鏡１００の設定は、観察倍率４０倍のＭＣ観察（以降、ＭＣ４０×観察と記す。）の設定に切り替わる。利用者がボタン５５を押下することで、倒立顕微鏡１００の設定は、観察倍率２０倍のＰＯ観察（以降、ＰＯ２０×観察と記す。）の設定に切り替わる。利用者がボタン５６を押下することで、倒立顕微鏡１００の設定は、観察倍率６０倍のＤＩＣ観察（以降、ＤＩＣ６０×観察と記す。）の設定に切り替わる。

入力装置６０は、キーボードである。入力装置７０は、マウスである。入力装置６０及び入力装置７０は、それぞれ処理装置２０に接続されている。

識別装置８０は、試料に付加された識別情報を取得する装置である。なお、試料に付加されたとは、例えば、識別情報が試料を収容する容器に貼付されている場合を含む。識別情報は、試料を識別する情報であり、より具体的には、試料を提供した患者を特定する情報である。識別装置８０は、例えば、バーコードリーダ、ＲＦＩＤ（登録商標）リーダ、ＱＲコード（登録商標）リーダなどである。

処理装置２０は、顕微鏡システム１全体を制御する装置である。処理装置２０は、図１に示すように、倒立顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置６０、入力装置７０、及び、識別装置８０に接続されている。また、処理装置２０は、データベースサーバ２にも接続されている。

処理装置２０は、少なくとも撮像ユニット１４０で取得したデジタル画像データに基づいて、投影画像に対応する投影画像データを生成する。投影画像は、顕微授精を補助する補助画像を含んでいる。そして、処理装置２０は、投影画像データを投影装置１５３へ出力することで、投影装置１５３を制御する。処理装置２０は、主に投影装置１５３の制御に関連する構成要素として、図４に示すように、カメラ制御部２１、解析部２２、投影画像生成部２３、及び、投影制御部２４を備えている。

カメラ制御部２１は、撮像ユニット１４０を制御することで、試料のデジタル画像データを取得する。カメラ制御部２１が取得したデジタル画像データは、解析部２２へ出力される。

解析部２２は、少なくともカメラ制御部２１が取得したデジタル画像データを解析し、解析結果を投影画像生成部２３へ出力する。投影画像生成部２３は、解析部２２で生成された解析結果に基づいて、顕微授精を補助する補助画像を含む投影画像に対応する投影画像データを生成し、投影制御部２４へ出力する。

より具体的には、例えば、利用者が顕微鏡システム１を用いてＩＣＳＩを実施する場合であれば、解析部２２は、例えば、少なくともデジタル画像データに基づいて、試料に含まれる生殖細胞から受精に適した生殖細胞である候補細胞を特定する解析結果を生成してもよい。この場合、投影画像生成部２３は、補助画像として候補細胞を特定する画像（第１の補助画像）を含む投影画像に対応する投影画像データを生成してもよい。

投影制御部２４は、投影装置１５３を制御することで、像面への投影画像の投影を制御する。より具体的には、投影制御部２４は、投影画像データを投影装置１５３へ出力し、これにより、投影装置１５３は、投影制御部２４から取得した投影画像データに基づいて、像面に投影画像を投影する。

以上のように構成された顕微鏡システム１は、顕微授精を補助する補助画像を含む投影画像を光学画像に重畳することができる。このため、利用者は、試料を観察しながら顕微授精に必要な情報を得ることが可能である。従って、顕微鏡システム１によれば、利用者が行う顕微授精を補助することができる。これにより、顕微授精を行う胚培養士間での受精成功率のばらつきを抑えることが可能であり、受精成功率の向上も期待できる。

さらに、顕微鏡システム１では、接眼レンズ１０１と結像レンズ１０３の間の像面に投影画像が光学画像に重ねて投影される。このため、利用者は、接眼レンズ１０１を覗きながら顕微授精を補助する種々の情報を得ることが可能であり、モニタ等に補助画像が表示される場合と比較すると、モニタと接眼レンズ１０１の間で視線を行き来するなどの視線の移動を回避することができる。従って、顕微鏡システム１によれば、利用者は、接眼レンズ１０１から眼を離すことなく光学画像を用いて試料を観察するだけで、投影画像によって顕微授精に必要な情報を得ることができる。これにより、顕微鏡システム１は、利用者の作業フローを変えることなく、補助画像によって顕微授精の作業を補助することが可能であり、顕微授精における利用者の作業負担を軽減することができる。また、利用者の作業時間が短縮され、その結果、試料が顕微鏡下で外気に晒されている時間も短縮されることになるため、試料が受けるダメージを軽減することもできる。

なお、顕微鏡システム１に含まれる処理装置２０は、汎用装置であっても、専用装置であってもよい。処理装置２０は、特にこの構成に限定されるものではないが、例えば、図５に示すような物理構成を有してもよい。具体的には、処理装置２０は、プロセッサ２０ａ、メモリ２０ｂ、補助記憶装置２０ｃ、入出力インタフェース２０ｄ、媒体駆動装置２０ｅ、通信制御装置２０ｆを備えてもよく、それらが互いにバス２０ｇによって接続されてもよい。

プロセッサ２０ａは、例えば、ＣＰＵ（Central Processing Unit）を含む、任意の処理回路である。プロセッサ２０ａは、メモリ２０ｂ、補助記憶装置２０ｃ、記憶媒体２０ｈに格納されているプログラムを実行してプログラムされた処理を行うことで、上述した投影装置１５３の制御に関連する構成要素（カメラ制御部２１、解析部２２、投影画像生成部２３、投影制御部２４）を実現しても良い。また、プロセッサ２０ａは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等の専用プロセッサを用いて構成されてもよく、ＧＰＵ（Graphics Processing Unit）を用いて構成されてもよい。

メモリ２０ｂは、プロセッサ２０ａのワーキングメモリである。メモリ２０ｂは、たとえば、ＲＡＭ（Random Access Memory）等の任意の半導体メモリである。補助記憶装置２０ｃは、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disc Drive）、ソリッドステートドライブ（Solid State Drive）等の不揮発性のメモリである。入出力インタフェース２０ｄは、外部装置（倒立顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置６０、入力装置７０、識別装置８０）と情報をやり取りする。

媒体駆動装置２０ｅは、メモリ２０ｂ及び補助記憶装置２０ｃに格納されているデータを記憶媒体２０ｈに出力することができ、また、記憶媒体２０ｈからプログラム及びデータ等を読み出すことができる。記憶媒体２０ｈは、持ち運びが可能な任意の記録媒体である。記憶媒体２０ｈには、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。

通信制御装置２０ｆは、ネットワークへの情報の入出力を行う。通信制御装置２０ｆとしては、例えば、ＮＩＣ（Network Interface Card）、Ｗｉ－Ｆｉ（登録商標）モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、ＢＬＥモジュール等が採用され得る。バス２０ｇは、プロセッサ２０ａ、メモリ２０ｂ、補助記憶装置２０ｃ等を、相互にデータの授受可能に接続する。

図６は、ＩＣＳＩの手順の一例を示すフローチャートである。図７は、シャーレ２１０内に試料２００として形成されるドロップの構成を例示した図である。図８は、***選別手順の一例を示すフローチャートである。図９は、顕微鏡システム１が行う画像投影処理のフローチャートである。図１０は、解析部２２が行う画像処理方法について説明するための図である。図１１は、接眼レンズ１０１から見える画像の一例を示した図である。以下、図６から図１１を参照しながら、利用者が顕微鏡システム１を用いて行うＩＣＳＩの手順について具体的に説明する。

まず、利用者は、試料を準備する（ステップＳ１）。ここでは、利用者は、例えば、図７に示すように、シャーレ２１０内に複数のドロップを含む試料２００を作成し、ステージ１１１上に配置する。

ドロップ２０１は、洗浄用のドロップであり、ピペットの洗浄に使用される。ドロップ２０２は、***浮遊ドロップであり、例えば、ＰＶＰ溶液に***懸濁液を滴下したものである。ドロップ２０３は、卵子操作用ドロップであり、例えば、ｍ－ＨＴＦ溶液に卵子を入れたものである。なお、ｍ－ＨＴＦ溶液は、１０％血清を添加したＨｅｐｐｓ含有ＨＴＦ溶液である。これらのドロップは、ミネラルオイルで覆われている。

次に、利用者は、顕微鏡システム１をセットアップする（ステップＳ２）。ここでは、利用者は、例えば、入力装置５０のボタン５１を押下して、顕微鏡システム１の設定をＢＦ４×観察に切り替える。その後、入力装置４０を操作してピペット４３及びピペット４４の位置を調整し、ピペット４３及びピペット４４にピントを合わせる。さらに、ステージ１１１を動かして、ピペット４３及びピペット４４をドロップ２０１（洗浄用ドロップ）で洗浄する。

セットアップが完了すると、利用者は、ドロップ２０３（卵子操作用ドロップ）内の卵子(卵細胞)の生育状態を確認する（ステップＳ３）。ここでは、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。ＭＣ２０×観察で卵子の形態を観察して、卵子を選別する。さらに、例えば、入力装置５０のボタン５５を押下して、顕微鏡システム１の設定をＰＯ２０×観察に切り替えてもよい。ＰＯ２０×観察で卵子の紡錘体を観察することで、卵子の成熟度を判定し、更に卵子を選別してもよい。

卵子の選別が終了すると、利用者は、図８に示す手順で***の選別を行う（ステップＳ４）。まず、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。そして、ステージ１１１を動かしてドロップ２０２（***浮遊ドロップ）に観察位置を移動し、ＭＣ２０×観察で***にピントを合わせる（ステップＳ１１）。

次に、利用者は、ＭＣ２０×観察で***を選別し、受精に適した良好***を選り分ける（ステップＳ１２）。良好***か否かの判断基準は、一般に、***の形態と運動性によって判断されるが、明確な基準は存在しない。このため、顕微鏡システム１の利用者である胚培養士の経験及び勘によって選択されることが多く、胚培養士によって判断が異なっている。このことは、胚培養士によって受精成功率に差が生じる原因となっている。そこで、顕微鏡システム１は、受精成功率の高い熟練の胚培養士が選択するであろう***を受精に適した良好***であると推定し、その推定した***を顕微鏡システム１の利用者に候補細胞（候補***）として通知する。

具体的には、ステップＳ１２では、顕微鏡システム１が図９に示す画像投影処理を行うことによって候補細胞を通知する。まず、顕微鏡システム１は、試料の光学画像Ｏ１を像面に投影する（ステップＳ２１）。同時に、顕微鏡システム１では、撮像ユニット１４０が試料のデジタル画像データを取得する（ステップＳ２２）。

撮像ユニット１４０で取得したデジタル画像データは、処理装置２０に出力され、処理装置２０の解析部２２は、デジタル画像データに基づいて候補細胞（候補***）を特定する解析結果を生成する（ステップＳ２３）。候補細胞を特定する解析アルゴリズムは、特に限定しないが、受精成功率の高い熟練の胚培養士の選択を再現するものであることが望ましい。より具体的には、解析部２２は、少なくとも生殖細胞である***の形態と***の運動性に基づいて***を解析し、それによって、受精成功率の高い熟練の胚培養士の選択を再現することが望ましい。また、解析に使用されるデジタル画像データは、静止画像データであっても動画像データであってもよい。ただし、静止画像データに基づいて***の運動性を解析することは困難であるため、解析部２２は、図１０に示すように、一旦、静止画Ｍ１の静止画像データを加工して運動性を示す画像（矢印の画像）を合成した静止画Ｍ２の静止画像データを生成してもよい。運動性を示す画像は、例えば、予め決められた時間だけ遡った時刻から現在時刻までの間の***の移動の軌跡を示す画像であり、該当する期間内に取得した複数の画像データに基づいて生成してもよい。そして、運動性を示す画像を合成した静止画Ｍ２の静止画像データに基づいて、***の形態と運動性を解析し、候補***を特定する解析結果を生成してもよい。

なお、解析部２２には、熟練の胚培養士の選択をルールベースで再現するアルゴリズムが採用されてもよい。また、熟練の胚培養士の選択を機械学習によって学習することで、良好***を推定するアルゴリズム（モデル）を構築してもよく、解析部２２には、その学習済みのモデルが採用されてもよい。なお、機械学習は、推定に必要な特徴を人間によって予め与られた上で学習する従来型の機械学習であってもよく、特徴を機械自らが抽出するディープラーニングであってもよい。

解析結果が生成されると、処理装置２０の投影画像生成部２３は、解析結果に基づいて、候補細胞を特定する補助画像Ａ１を含む投影画像Ｐ１に対応する投影画像データを生成し（ステップＳ２４）、投影装置１５３へ出力する。そして、投影装置１５３が投影画像データに基づいて投影画像Ｐ１を像面に投影する（ステップＳ２５）。

これにより、例えば、図１１に示すような、光学画像Ｏ１に、補助画像Ａ１を含む投影画像Ｐ１が重畳した画像Ｖ１が像面に形成される。図１１に示す補助画像Ａ１は、候補細胞の画像を取り囲む画像である。投影画像Ｐ１は、像面に投影されたときに、候補細胞の画像と重ならない位置に補助画像Ａ１を含んでいる。これにより、顕微鏡システム１は、候補細胞の観察を妨げることなく、利用者に候補細胞を通知することができる。

投影画像Ｐ１が光学画像Ｏ１に重畳された画像Ｖ１が像面に形成されることで、ステップＳ１２では、利用者は、補助画像Ａ１によって特定される候補細胞（候補***）に注目しながら***を選別して、良好***を選り分けることができる。このため、***選別作業が容易となり、選別作業の負担が大幅に軽減される。

良好***が選り分けられると、利用者は、ＲＣ２０×観察で良好***の尾部を傷つけて良好***を不動化する（ステップＳ１３）。ここでは、利用者は、良好***の尾部をピペットでシャーレ２１０の底面に擦り付けることで、良好***を不動化する。

その後、利用者は、不動化した良好***の形態を更に詳細に観察し、良好***を更に選別する（ステップＳ１４）。ここでは、利用者は、例えば、入力装置５０のボタン５４を押下して、顕微鏡システム１の設定をＭＣ４０×観察に切り替える。その後、利用者は、ＭＣ４０×観察で良好***を選り分ける。なお、顕微鏡システム１は、ステップＳ１４においても、ステップＳ１２と同様に、受精成功率の高い熟練の胚培養士が選択するであろう良好***を推定し、その推定した良好***を顕微鏡システム１の利用者に候補細胞（候補***）として通知してもよい。ただし、ステップＳ１４では、***は不動化しているため、解析部２２は、少なくとも***の形態に基づいて***を解析する点が、ステップＳ１２とは異なる。

ＭＣ４０×観察での良好***の選別が完了すると、利用者は、さらに、良好***の頭部を詳細に観察し、頭部に存在する空包の大きさによって良好***を更に選別する（ステップＳ１５）。ここでは、利用者は、例えば、入力装置５０のボタン５６を押下して、顕微鏡システム１の設定をＤＩＣ６０×観察に切り替える。その後、利用者は、ＤＩＣ６０×観察で空包が小さな良好***を選り分ける。なお、ステップＳ１５は、ＭＣ４０×観察下で行われてもよい。この場合、利用者は、頭部に生じる輝点を空包として認識することで、良好***を選り分ける。

その後、利用者は、選ばれた良好***をインジェクションピペットであるピペット４４中に取り込んで、観察位置をドロップ２０３（卵子操作用ドロップ）へ移動し（ステップＳ１６）、図８に示す***選別の一連の手順を終了する。

***選別が完了すると、利用者は、良好***の注入準備のために、紡錘体の位置を確認する（ステップＳ５）。ここでは、利用者は、ドロップ２０３内に存在するステップＳ３で選ばれた卵子を観察し、その卵子の紡錘体の位置を確認する。具体的には、利用者は、例えば、入力装置５０のボタン５５を押下して、顕微鏡システム１の設定をＰＯ２０×観察に切り替える。その後、利用者は、ＰＯ２０×観察で可視化された卵子の紡錘体が１２時又は６時の方向に位置するように、ホールディングピペットであるピペット４３を操作することで紡錘体の向きを変える。これは、後述するステップＳ６において、３時又は９時の方向から卵子に突き立てられるピペットによって、紡錘体が傷つくことを避けるためである。

最後に、利用者は、***を卵子に注入し（ステップＳ６）、ＩＣＳＩを終了する。ここでは、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。その後、利用者は、ＭＣ２０×観察で、ステップＳ５で向きを調整した卵子をホールディングピペットであるピペット４３で固定し、インジェクションピペットであるピペット４４を突き刺す。その後、ピペット４４から卵子内部に良好***を注入する。

図６に示すＩＣＳＩの一連の手順が終了すると、利用者は、***が注入された卵子をインキュベータに戻し、培養する。また、利用者は、入力装置６０及び入力装置７０を用いて処理装置２０を操作して、ＩＣＳＩで得られた情報をデータベースサーバ２に保存してもよい。例えば、***が注入された卵子の画像データ、選り分けられた良好***の画像データ、ＩＣＳＩの作業時間などに、***と卵子の患者情報（母体の臨床データ、***を含む***の検査結果など）、***と卵子の培養液のデータ（例えば、種類、濃度、ＰＨなど）を関連付けて、データベースサーバ２に保存してもよい。これらの情報は、図８のステップＳ１２、ステップＳ１４で使用される解析部２２での解析に使用されてもよい。即ち、処理装置２０は、デジタル画像データに加えて、データベースサーバ２に保存されているその他のデータに基づいて、補助画像を含む投影画像に対応する投影画像データを生成してもよい。このように、画像データに限らず様々な情報を総合して良好***を推定することで、より高い受精成功率の実現が期待できる。

以上のように、顕微鏡システム１では、ＩＣＳＩにおいて、候補***を特定する補助画像を含む投影画像が像面に投影される。***の大きさは６０μｍ程度であり、良好***を見分けるためには最低でも２０倍の対物レンズが用いられる。一般に倒立顕微鏡の視野数は２２程度であるので、実視野はΦ１ｍｍ程度である。この実視野Φ１ｍｍの領域内において、自由に動き回る***を選別する作業は、非常に困難な作業である。一般に、良好***と推定される***は運動性が高いこと、及び、ＩＣＳＩ作業は短時間で行われる必要があることから、***選別作業では、比較的速く移動する***の形態を素早く観察して良否を判断しなければならない。このような厳しい制約が課された作業環境において、良好***として推定される候補***を特定する補助画像が光学画像に重畳されることは、***選別作業の負担軽減に大きく寄与する。また、候補***を特定するための解析に熟練の胚培養士の知見を活用して、解析アルゴリズムとして組み込むことで、受精成功率の向上、及び、胚培養士間での受精成功率のバラつきの抑制も同時に達成することができる。従って、顕微鏡システム１によれば、利用者による***選別を効果的に補助することができる。

図１２から図１５は、接眼レンズ１０１から見える画像の別の例を示した図である。顕微鏡システム１は、ステップＳ１２において、光学画像Ｏ１に、図１１に示す投影画像Ｐ１の代わりに、図１２から図１５に示す投影画像Ｐ２から投影画像Ｐ５を重畳してもよい。

図１２に示す画像Ｖ２は、光学画像Ｏ１上に投影画像Ｐ２が重畳した画像である。図１１では、投影画像Ｐ１が候補***の画像を取り囲む形状を有する補助画像Ａ１を含む例を示したが、投影画像は、他の画像を含んでもよい。投影画像Ｐ２は、候補***を特定する補助画像Ａ１に加えて、候補***の移動の軌跡を示す補助画像Ａ２を含んでいる。補助画像Ａ２は、移動の軌跡によって候補***の運動性を表している。図１２に示す投影画像Ｐ２が像面に投影されることで、利用者による***選別が更に容易になる。なお、補助画像Ａ２も補助画像Ａ１と同様に、候補***の観察を妨げることを回避するため、投影画像Ｐ２の中の候補***の画像と重ならない位置に含まれることが望ましい。

図１３に示す画像Ｖ３は、光学画像Ｏ１上に投影画像Ｐ３が重畳した画像である。図１１では、候補***を一種類の画像（補助画像Ａ１）で特定する例を示したが、候補***は、複数種類の画像で特定されてもよい。投影画像Ｐ３は、候補***を特定する２種類の画像（補助画像Ａ１と補助画像Ａ３）を含んでいる。補助画像Ａ３は、補助画像Ａ１と比較して推奨度合いの低い候補***を特定する画像であり、補助画像Ａ３の色（例えば、水色）は、補助画像Ａ１の色（例えば、青）とは異なっている。即ち、補助画像Ａ１、補助画像Ａ３の各々は、その補助画像が特定する候補***の推奨度合いに応じた色を有している。図１３に示す投影画像Ｐ３が像面に投影されることで、利用者は優先して注目すべき候補***を把握することができるため、***選別作業を更に容易に行うことが可能となる。又、***の推奨度合いは絶対的なものであっても相対的なものであってもよい。実際に、患者によっては全体的に元気のない***しか居ないこともあるが、そのような場合には、限られた選択肢の中から比較的元気のよい***を選択することになる。この場合、仮に、推奨度合いが絶対的なものであっても、複数種類の推奨度合いを示す複数の画像を投影するように設定されている場合であれば、比較的低い推奨度合いを示す画像は少なくとも投影されることになる。上記の例で言えば、青色の補助画像Ａ１は投影されなくても水色の補助画像Ａ３だけは投影されることになる。従って、補助画像が全く投影されないといった可能性を大幅に低下させることができる。なお、異なる推奨度合いを示す複数種類の画像が投影されていればよく、異なる推奨度合いを示す３種類以上の画像が投影されていてもよい。また、推奨度合いが高いものに限らず、推奨度合いが特に低いものを示す画像が投影されてもよい。

図１４に示す画像Ｖ４は、光学画像Ｏ１上に投影画像Ｐ４が重畳した画像である。図１３では、候補***の推奨度合いに応じた色を有する補助画像を例示したが、補助画像は、その補助画像が特定する候補***の推奨度合いによって異なる態様を有していればよい。投影画像Ｐ４は、候補***を特定する４種類の画像（補助画像Ａ１、補助画像Ａ４、補助画像Ａ５及び補助画像Ａ６）を含んでいる。これらの補助画像は、互いに線種又は形状が異なっていて、線種又は形状の違いによって候補***の推奨度合いを表している。図１４に示す投影画像Ｐ４が像面に投影されることで、図１３に示す投影画像Ｐ３が投影される場合と同様に、利用者は優先して注目すべき候補***を把握することができるため、***選別作業を更に容易に行うことが可能となる。

図１５に示す画像Ｖ５は、光学画像Ｏ１上に投影画像Ｐ５が重畳した画像である。図１１では、投影画像Ｐ１が候補***の画像を取り囲む形状を有する補助画像Ａ１を含む例を示したが、投影画像は、候補***を特定する画像を含んでいればよい。図１５に示す投影画像Ｐ５は、候補***の画像を指し示す形状を有する補助画像Ａ７を含んでいる。投影画像Ｐ５が像面に投影されることで、図１１に示す投影画像Ｐ１が投影される場合と同様に、利用者は候補***を容易に把握することができるため、***選別作業の負担を大幅に軽減することができる。

図１６は、ニューラルネットワークの構成を示した図である。図１７は、学習手順の一例を示すフローチャートである。図１８は、教師画像のラベル付け方法について説明するための図である。上述したように、解析部２２には、機械学習によって学習済みのモデルが採用されてもよく、例えば、ディープラーニングなどによって学習済みのニューラルネットワークが採用されてもよい。即ち、解析部２２は、学習済みのニューラルネットワークを用いて、少なくともデジタル画像データを解析してもよい。以下、図１６から図１８を参照しながら、良好***を認識するように、図１６に示すニューラルネットワークＮＮを学習させる手順について説明する。

まず、顕微鏡システム１は、ＭＣ２０×観察下で行われる***の選別作業を動画又は静止画で記録する（ステップＳ３１）。ここでは、***の選別作業中に、撮像ユニット１４０が画像データを取得し、処理装置２０が画像データを保存する。

次に、顕微鏡システム１は、記録した画像から***部分の画像を切り出して並べて表示する（ステップＳ３２）。ここでは、処理装置２０は、ステップＳ３１で保存した動画データ又は静止画データを読み出して、動画又は静止画から***部分の画像を教師画像として切り出し、教師画像を表示装置３０に並べて表示する。並べて表示された教師画像は、受精成功率の高い熟練の胚培養士によって評価される。

図１８に示すように、胚培養士によって教師画像の各々が評価されると、顕微鏡システム１は、熟練の胚培養士による評価に基づいて教師画像にラベル付けを行う（ステップＳ３３）。ここでは、熟練胚培養士による評価結果（ラベル）を、教師画像と関連付けて保存する。以降では、教師画像とラベルを組み合わせたデータを教師データと記す。

なお、図１８の例では、ウィンドウＷ１上のボタンＢ１が選択された状態でクリックされた教師画像（Ｔ１、Ｔ１０、Ｔ１４、・・・）は、グレードＡのラベルと関連付けて保存される。また、ボタンＢ２が選択された状態でクリックされた教師画像（Ｔ２、Ｔ３、Ｔ６、Ｔ８、Ｔ９、Ｔ１１、Ｔ１５・・・）は、グレードＢのラベルと関連付けて保存される。また、ボタンＢ３が選択された状態でクリックされた教師画像（Ｔ４、Ｔ５、Ｔ１３、Ｔ１６・・・）は、グレードＣのラベルと関連付けて保存される。また、ボタンＢ４が選択された状態でクリックされた教師画像（Ｔ７、Ｔ１２・・・）は、グレードＤのラベルと関連付けて保存される。なお、グレードＡ、Ｂ、Ｃ、Ｄは、この順番に推奨度合いが低下することを示している。

ステップＳ３３により教師データが作成されると、顕微鏡システム１は、作成された大量の教師データを用いてニューラルネットワークを学習させる（ステップＳ３４）。

その後、顕微鏡システム１は、ＭＣ４０×観察下における選別作業についてもステップＳ３１からステップＳ３３と同様の処理を行ってニューラルネットワークを学習させる（ステップＳ３５）。これにより、顕微鏡システム１は、学習済みのニューラルネットワークを得る。即ち、顕微鏡システム１の学習済みのニューラルネットワークは、受精の適否についてラベル付けされた***の画像に対応する画像データを教師データとして用いて学習したニューラルネットワークである。

最後に、顕微鏡システム１は、学習済みのニューラルネットワークを検証する（ステップＳ３６）。ここでは、顕微鏡システム１は、例えば、学習段階とは異なる***に対して、ニューラルネットワークが良好***を適切に認識するか否かを検証する。検証の結果、適切に認識できることが確認されると、ステップＳ３５で得られた学習済みのニューラルネットワークを解析部２２に採用する。

以上のように、図１７に示す手順で教師データを生成しニューラルネットワークを学習させることで、熟練の胚培養士の知見を活用した***選別のための解析アルゴリズムを容易に構築することができる。このため、例えば、病院単位でニューラルネットワークを学習させて、又は、病院単位で追加で学習させて、病院毎に解析部２２に異なるモデルを採用してもよい。これにより、各病院の方針に従った良好***の選択に容易に対応することが可能である。

なお、図１７では、顕微鏡システム１を用いて、教師データの生成とニューラルネットワークの学習を行う例を示したが、教師データの生成とニューラルネットワークの学習は、顕微鏡システム１とは異なるシステムで行われてもよく、他のシステムで構築された学習済みのニューラルネットワークが顕微鏡システム１に適用されてもよい。

図１９は、教師データの作成方法について説明するための図である。図１８では、胚培養士が表示装置３０に表示された教師画像を評価することで、顕微鏡システム１がラベル付けを行う例を示したが、胚培養士は、接眼レンズ１０１を用いて見た画像に対してラベル付けを行ってもよい。

例えば、熟練の胚培養士がＭＣ２０×観察下で接眼レンズ１０１を用いて***を観察しているときに、処理装置２０が、胚培養士によるマウス移動操作（第１の入力操作）に応じた位置を指し示すポインタ画像ＰＰに対応するポインタ画像データを生成し、投影装置１５３が、図１９に示すように、ポインタ画像データに基づいてポインタ画像ＰＰを像面に投影する。図１９に示す画像Ｖ６は、光学画像Ｏ１上に投影画像Ｐ６が重畳した画像である。投影画像Ｐ６は、マウス移動操作に応じた位置を指し示すポインタ画像ＰＰを含んでいる。

その後、胚培養士によるマウスクリック操作（第２の入力操作）を検出すると、処理装置２０は、そのマウスクリック操作を検出したときのポインタ画像ＰＰの位置に基づいて、胚培養士が選択した***を特定する。そして、特定された***の画像Ｔ１を教師画像として記録する。なお、このとき、第２の入力操作の内容に応じて画像Ｔ１にラベル付けを行ってもよい。例えば、マウスクリック操作が左クリックであればグレードＡ、左ダブルクリックであればグレードＢ、右クリックであればグレードＣなどと、ラベル付けを行ってもよい。これにより、教師画像の取得とラベル付けを同時に行って、教師データを生成することができる。

表示装置３０に表示される画像の画質は、接眼レンズ１０１を用いて観察する画像の画質に比べて劣っているため、表示装置３０に表示される画像から***の微妙な個体差を見分けることは難しい。これに対して、図１９に示すように、胚培養士が接眼レンズ１０１を用いて***を観察しながら教師データを生成することで、ＩＣＳＩ作業時と同じ環境下で、***の微妙な個体差を認識しながら***を選別して、教師データを作成することができる。このため、高い受精成功率を有する熟練した胚培養士の知見を教師データとしてより正しくデータ化することが可能となる。

図２０及び図２１は、接眼レンズ１０１から見える画像の更に別の例を示した図である。以上では、投影画像が、候補***を特定する補助画像を含む例を示したが、投影画像は、候補***を特定する補助画像に加えて、顕微授精を補助するその他の補助画像を含んでもよい。

図２０に示す画像Ｖ７は、光学画像Ｏ１上に投影画像Ｐ７が重畳した画像である。投影画像Ｐ７は、候補***を特定する補助画像Ａ１に加えて、患者の情報を示す補助画像Ａ９（第７の補助画像の一例）を含んでいる。顕微鏡システム１では、識別装置８０が試料に付加された識別情報を取得する。処理装置２０が識別装置８０で取得した識別情報に基づいて試料を提供した患者の情報を取得する。具体的には、処理装置２０は、例えば、データベースサーバ２から識別情報に対応する患者の情報を抽出することで、試料を提供した患者の情報を取得する。なお、患者の情報には、例えば、患者の氏名、ＩＤなどが含まれている。さらに、処理装置２０は、少なくとも、撮像ユニット１４０が取得したデジタル画像データと患者の情報とに基づいて、補助画像Ａ１と補助画像Ａ９を含む投影画像Ｐ７に対応する投影画像データを生成する。最後に、投影装置１５３が投影画像データに基づいて投影画像Ｐ７を像面に投影することで、画像Ｖ７が像面に形成される。図２０に示すように、患者の情報を示す補助画像Ａ９が像面に投影されることで、利用者は、***提供者である患者を常に確認しながら、ＩＣＳＩを行うことができる。

図２１に示す画像Ｖ８は、光学画像Ｏ１上に投影画像Ｐ８が重畳した画像である。投影画像Ｐ８は、候補***を特定する補助画像Ａ１に加えて、処理装置２０が所定の操作を検知してからの経過時間を示す補助画像Ａ１０（第８の補助画像の一例）を含んでいる。所定の操作は、例えば、試料をステージ１１１上に置く操作である。顕微鏡システム１では、処理装置２０は、試料がステージ１１１に置かれてからの経過時間を取得する。さらに、処理装置２０は、少なくとも、撮像ユニット１４０が取得したデジタル画像データと経過時間とに基づいて、補助画像Ａ１と補助画像Ａ１０を含む投影画像Ｐ８に対応する投影画像データを生成する。最後に、投影装置１５３が投影画像データに基づいて投影画像Ｐ８を像面に投影することで、画像Ｖ８が像面に形成される。図２１に示すように、経過時間を示す補助画像Ａ１０が像面に投影されることで、利用者は、経過時間を確認しながら、ＩＣＳＩを行うことができる。

［第２の実施形態］
図２２は、***選別手順の別の例を示すフローチャートである。図２３は、接眼レンズ１０１から見える画像の更に別の例を示した図である。本実施形態に係る顕微鏡システムの構成は、顕微鏡システム１の構成と同様であるので、本実施形態に係る顕微鏡システムの構成要素については、顕微鏡システム１の構成要素と同じ符号で参照する。

本実施形態では、ＩＣＳＩにおける***選別作業が、図８に示す手順の代わりに、図２２に示す手順で行われる点が、第１の実施形態とは異なる。具体的には、まず、利用者は、例えば、入力装置５０のボタン５２を押下して、顕微鏡システムの設定をＭＣ１０×観察に切り替える。そして、ステージ１１１を動かしてドロップ２０２（***浮遊ドロップ）に観察位置を移動し、ＭＣ１０×観察でドロップ２０２にピントを合わせる（ステップＳ４１）。

次に、利用者は、ＭＣ１０×観察でドロップ２０２を観察し、ステージ１１１を動かして良好***の存在が予想される領域に観察位置を移動する（ステップＳ４２）。ここでは、顕微鏡システムは、良好***の存在が予想される領域を推定し、その推定した領域を候補領域として利用者に通知することで、利用者の作業を補助する。

図２３に示す画像Ｖ９は、ＭＣ１０×観察での光学画像Ｏ２である。画像Ｖ９で示されるように、ＭＣ１０×観察では、ドロップ２０２内の***の詳細な形態は確認できないが、***の存在は確認できる。そこで、ステップＳ４２では、まず、解析部２２は、デジタル画像データに基づいて、試料を複数の領域に分割し、***の移動量が他の領域内の***の移動量よりも大きい領域を候補領域とみなして、候補領域を特定する解析結果（第２の解析結果）を生成する。そして、投影画像生成部２３は、解析部２２が生成した解析結果に基づいて、候補領域を特定する補助画像（第２の補助画像）を含む投影画像に対応する投影画像データを生成する。最後に、投影装置１５３が、投影画像データに基づいて投影画像を像面に投影することで、利用者に候補領域を通知する。図２３に示す画像Ｖ１０は、光学画像Ｏ２上に投影画像Ｐ１０が重畳した画像である。投影画像Ｐ１０は、候補領域を特定する補助画像Ａ１１を含んでいる。また、投影画像Ｐ１０は、***の移動量の小さい領域を特定する補助画像Ａ１２も含んでいる。

投影画像Ｐ１０が光学画像Ｏ２に重畳された画像Ｖ１０が像面に形成されることで、ステップＳ４２では、利用者は、補助画像Ａ１１を参考にして良好***の存在が予想される領域を特定して、特定した領域に観察位置を移動することができる。このため、良好***が存在しない領域に観察位置を移動して時間を無駄にすることを回避することができる。

その後、利用者は、ステップＳ４３からステップＳ４７の手順で作業を行うことで、***の選別を行うことができる。なお、ステップＳ４３からステップＳ４７の手順は、図８に示すステップＳ１２からステップＳ１６の手順と同様である。

以上のように、図２２に示す手順で***選別が行われる本実施形態に係る顕微鏡システムによっても、良好***として推定される候補***を特定する補助画像が光学画像に重畳されることで、***選別作業の負担を軽減することが可能であり、顕微鏡システム１と同様に、顕微授精を補助することができる。さらに、本実施形態に係る顕微鏡システムによれば、観察位置を良好***が存在しない領域に移動してしまうことを回避することができる。このため、良好***を探してステージ１１１の移動を繰り返すといった事態を回避することができる。

なお、本実施形態では、ＭＣ１０×観察で候補領域を特定する補助画像を投影し、ＭＣ２０×観察で候補***を特定する補助画像を投影する例を示したが、これらの倍率はあくまで一例である。所定倍率未満のときに候補領域を特定する補助画像を投影し、所定倍率以上のときに候補画像を特定する補助画像を投影すればよい。

例えば、レボルバ１１２が結像レンズ１０３との組み合わせで所定倍率以上の倍率を有する対物レンズを光路上に配置しているときに、解析部２２が候補細胞を特定する解析結果を生成し、投影画像生成部２３は、解析結果に基づいて、候補細胞を特定する補助画像を含む投影画像に対応する投影画像データを生成してもよい。さらに、レボルバ１１２が結像レンズ１０３との組み合わせで所定倍率未満の倍率を有する対物レンズを光路上に配置しているときに、解析部２２は、候補領域を特定する解析結果を生成し、投影画像生成部２３は、解析結果に基づいて、候補領域を特定する補助画像を含む投影画像に対応する前記投影画像データを生成してもよい。

［第３の実施形態］
図２４は、接眼レンズ１０１から見える画像の更に別の例を示した図である。本実施形態に係る顕微鏡システムの構成は、顕微鏡システム１の構成と同様であるので、本実施形態に係る顕微鏡システムの構成要素については、顕微鏡システム１の構成要素と同じ符号で参照する。

顕微鏡システム１では、顕微鏡システムを用いてＩＣＳＩを行う例を示したが、本実施形態に係る顕微鏡システムは、ＴＥＳＥ（精巣内***採取術）に用いられる点が、第１の実施形態に係る顕微鏡システム１とは異なっている。

図２４に示す画像Ｖ１１は、光学画像Ｏ３上に投影画像Ｐ１１が重畳した画像である。光学画像Ｏ３は、陰嚢を切開することで採取した精巣内の精細管の画像である。光学画像Ｏ３には、赤血球、白血球を含む様々な組織の画像が含まれている。投影画像Ｐ１１は、生殖細胞である***を特定する補助画像（第４の補助画像）を含んでいる。

本実施形態に係る顕微鏡システムでは、解析部２２は、少なくともデジタル画像データに基づいて、試料に含まれる***を特定する解析結果を生成する。また、投影画像生成部２３は、解析部２２で生成された解析結果に基づいて、補助画像として***を特定する補助画像を含む投影画像データを生成する。さらに、投影装置１５３は、投影画像データに基づいて、投影画像を像面に投影する。これにより、図２４に示すように、光学画像Ｏ３上に補助画像Ａ１３を含む投影画像Ｐ１１が重畳される。

従って、本実施形態に係る顕微鏡システムによれば、ＴＥＳＥにおいて、様々な組織に混じって存在する***を容易に特定することが可能となる。従って、***探索作業の負担を大幅に軽減することが可能であり、顕微鏡システム１と同様に、顕微授精を補助することができる。

［第４の実施形態］
図２５は、着床前診断の手順の一例を示すフローチャートである。図２６は、接眼レンズ１０１から見える画像の更に別の例を示した図である。本実施形態に係る顕微鏡システムの構成は、顕微鏡システム１の構成と同様であるので、本実施形態に係る顕微鏡システムの構成要素については、顕微鏡システム１の構成要素と同じ符号で参照する。

顕微鏡システム１では、顕微鏡システムを用いてＩＣＳＩを行う例を示したが、本実施形態に係る顕微鏡システムは、受精卵から成長した胚（胚盤胞）の着床を助けるためのレーザアシステッドハッチング、及び、着床前診断のための栄養外細胞の採取に用いられる点が、第１の実施形態に係る顕微鏡システム１とは異なっている。なお、この例では、試料は、受精卵から成長した胚と、胚を取り囲む透明帯を含んでいる。

具体的には、まず、利用者は、例えば、入力装置５０のボタン５３又はボタン５４を押下して、顕微鏡システムの設定をＭＣ２０×観察又はＭＣ４０×観察に切り替える。そして、ステージ１１１を動かして胚を取り囲む透明帯にピントを合わせる（ステップＳ５１）。

次に、利用者は、透明帯を観察して、レーザアシステッドハッチングユニット１３０によるレーザ照射位置を決定する（ステップＳ５２）。透明帯が厚い又は硬いなどの質的異常が有る場合、胚は透明帯を突き破って子宮内膜に着床することができない。レーザアシステッドハッチングは、このような事態を回避する目的で、透明帯を除去して着床を補助するものである。ステップＳ５２では、胚を傷つけずに透明帯を除去するために、レーザ光の照射位置を適切に決定する必要がある。

そこで、顕微鏡システムは、ステップＳ５２において、画像解析により適切な照射位置を算出して、利用者に通知する。具体的には、解析部２２が、少なくとも撮像ユニット１４０で取得したデジタル画像データに基づいて、透明帯のうちのレーザ光の照射に適した候補部位を特定する解析結果を生成する。そして、投影画像生成部２３が、解析部２２で生成された解析結果に基づいて、投影画像データを生成する補助画像として候補部位を特定する補助画像（第５の補助画像）を含む投影画像に対応する投影画像データを生成する。さらに、投影装置１５３が投影画像生成部２３により生成された投影画像データに基づいて投影画像を像面に投影して、試料の光学画像に重畳する。図２６に示す画像Ｖ１２は、光学画像Ｏ４上に投影画像Ｐ１２が重畳した画像である。光学画像Ｏ４は、胚（内細胞塊Ｏ４１、胞胚腔Ｏ４２、栄養外胚葉Ｏ４３）の画像と、胚を取り囲む透明帯Ｏ４４の画像が含まれている。投影画像Ｐ１２は、レーザ光の照射に適した候補部位を特定する補助画像Ａ１４を含んでいる。

投影画像Ｐ１２が光学画像Ｏ４に重畳された画像Ｖ１２が像面に形成されることで、ステップＳ５２では、利用者は、補助画像Ａ１４の位置を参考にしてレーザ照射位置に決定し、レーザアシステッドハッチングユニット１３０に設定することができる。このため、適切なレーザ照射位置を容易に設定することができる。

レーザ照射位置が決定されると、利用者は、レーザアシステッドハッチングユニット１３０を用いて、透明帯のステップＳ５２で決定した位置にレーザ光を照射して、透明帯を開孔する（ステップＳ５３）。図２６に示す画像Ｖ１３は、レーザ光を照射した後における試料の光学画像Ｏ５であり、レーザ光の照射により透明帯Ｏ４４に開孔部ＡＰが形成されている様子が示されている。

その後、利用者は、胚を観察して、栄養外胚葉の位置を確認する（ステップＳ５４）。ここでは、顕微鏡システムは、画像解析により栄養外胚葉Ｏ４３の位置を特定して、利用者に通知する。具体的には、解析部２２が、少なくとも撮像ユニット１４０で取得したデジタル画像データに基づいて、胚の中の栄養外胚葉Ｏ４３を特定する解析結果を生成する。そして、投影画像生成部２３が、解析部２２で生成された解析結果に基づいて、補助画像として栄養外胚葉を特定する補助画像（第６の補助画像）を含む投影画像に対応する投影画像データを生成する。さらに、投影装置１５３が投影画像生成部２３により生成された投影画像データに基づいて投影画像を像面に投影して、試料の光学画像に重畳する。図２６に示す画像Ｖ１４は、光学画像Ｏ５上に投影画像Ｐ１４が重畳した画像である。投影画像Ｐ１５は、栄養外胚葉Ｏ４３を特定する補助画像Ａ１５を含んでいる。

投影画像Ｐ１４が光学画像Ｏ５に重畳された画像Ｖ１４が像面に形成されることで、ステップＳ５４では、利用者は、補助画像Ａ１５によって栄養外胚葉の位置を容易に確認することができる。

その後、利用者は、開口部ＡＰにピペットを挿入し、栄養外胚葉Ｏ４３を採取する（ステップＳ５５）。ここでは、挿入したピペットに陰圧をかけて、ステップＳ５４で位置を確認した栄養外胚葉Ｏ４３を吸引する。

栄養外胚葉は高い粘着性を有しているため、ピペットを開口部ＡＰから抜き出したのちに、栄養外胚葉が胚からはみ出してしまう。このため、利用者は、再び、レーザアシステッドハッチングユニット１３０を用いて、ピペットと胚の間にレーザ光を照射することではみ出している栄養外胚葉を切断する（ステップＳ５６）。

その後、利用者は、ピペット内に採取した栄養外胚葉を検査する（ステップＳ５７）。ここでは、採取した栄養外胚葉の細胞数個を用いて、着床前診断を行う。

以上のように、図２５に示す手順でレーザアシステッドハッチング及び栄養外胚葉の採取が行われる本実施形態に係る顕微鏡システムによっても、顕微授精のための胚培養士の作業を補助することができる。従って、上述した実施形態に係る顕微鏡システムと同様に、顕微授精を補助することができる。

なお、本実施形態に係る解析部２２にも、他の実施形態と同様に、ルールベースで再現するアルゴリズムが採用されてもよく、機械学習によって構築された学習済みのモデルが採用されてもよい。

上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

例えば、図１２では、候補***を特定する補助画像Ａ１とともに候補***の移動の軌跡を示す補助画像Ａ２を投影する例を示したが、候補***の移動の軌跡を示す補助画像（第３の補助画像）のみを光学画像に重畳してもよい。また、解析部２２がデジタル画像データに基づいて試料に含まれる生殖細胞の移動軌跡を特定し、投影画像生成部２３が解析結果に基づいて補助画像として生殖細胞の移動軌跡を示す補助画像を含む投影画像に対応する投影画像データを生成してもよい。即ち、候補***の移動の軌跡を示す補助画像に加えて、候補***以外の***の移動の軌跡を示す補助画像を投影してもよい。

また、上述した実施形態では、明視野（ＢＦ）観察、偏光（ＰＯ）観察、微分干渉（ＤＩＣ）観察、及び変調コントラスト（ＭＣ）観察の４つの顕微鏡法で、試料を観察する顕微鏡システムを例示したが、顕微鏡システムは、これらに加えて、位相差（ＰＣ）観察などの他の顕微鏡法で試料を観察してもよい。顕微鏡システムが位相差観察を行う場合には、位相差対物レンズが含まれる。

図２７は、倒立顕微鏡３００の構成を例示した図である。顕微鏡システム１は、倒立顕微鏡１００の代わりに、倒立顕微鏡３００を含んでもよい。倒立顕微鏡３００は、撮像ユニット１４０の代わりに撮像ユニット１４４を含んでいる点、撮像ユニット１４４と接眼レンズ１０１の間に結像レンズ１０３が位置する点が、倒立顕微鏡１００とは異なる。なお、撮像ユニット１４４は、結像レンズ１０３を通過することなく入射する光を撮像素子１４３に集光するためにレンズ１４５を含んでいる。顕微鏡システム１は、倒立顕微鏡３００を含む場合であっても、倒立顕微鏡１００を含む場合と同様の効果を得ることができる。

図２８は、倒立顕微鏡４００の構成を例示した図である。顕微鏡システム１は、倒立顕微鏡１００の代わりに、倒立顕微鏡４００を含んでもよい。倒立顕微鏡４００は、撮像ユニット１４０の代わりに撮像ユニット１４４を含んでいる点、投影ユニット１５０の代わりに投影ユニット１５４を含んでいる点、投影ユニット１５４と接眼レンズ１０１の間に結像レンズ１０３が位置する点が、倒立顕微鏡１００とは異なる。なお、撮像ユニット１４４は、結像レンズ１０３を通過することなく入射する光を撮像素子１４３に集光するためにレンズ１４５を含んでいる。投影ユニット１５４は、結像レンズ１０３を経由して光を像面ＩＰに集光するように、レンズ１５２とは異なる焦点距離のレンズ１５５を含んでいる。顕微鏡システム１は、倒立顕微鏡４００を含む場合であっても、倒立顕微鏡１００を含む場合と同様の効果を得ることができる。

１顕微鏡システム
２データベースサーバ
１０顕微鏡コントローラ
２０処理装置
２０ａプロセッサ
２０ｂメモリ
２０ｃ補助記憶装置
２０ｄ入出力インタフェース
２０ｅ媒体駆動装置
２０ｆ通信制御装置
２０ｇバス
２０ｈ記憶媒体
２１カメラ制御部
２２解析部
２３投影画像生成部
２４投影制御部
３０表示装置
４０、５０、６０、７０入力装置
４１、４２ハンドル
４３、４４ピペット
５１～５６、Ｂ１～Ｂ４ボタン
８０識別装置
１００、３００、４００倒立顕微鏡
１０１接眼レンズ
１０２、１０２ａ、１０２ｂ、１０２ｃ対物レンズ
１０３結像レンズ
１０４モジュレータ
１０５、１２５ＤＩＣプリズム
１０６アナライザ
１１０顕微鏡本体
１１１ステージ
１１２レボルバ
１２０透過照明系
１２１光源
１２２ユニバーサルコンデンサ
１２３ポラライザ
１２４ターレット
１２６開口板
１２７光学素子
１２７ａスリット板
１２７ｂ偏光板
１２８コンデンサレンズ
１３０レーザアシステッドハッチングユニット
１３１、１４１、１５１スプリッタ
１３４、１４５、１５２、１５５、１６１～１６３レンズ
１３３スキャナ
１３５レーザ
１４０、１４４撮像ユニット
１４３撮像素子
１５０、１５４投影ユニット
１５３投影装置
１６０中間変倍ユニット
１７０接眼鏡筒
２００試料
２０１～２０３ドロップ
２１０シャーレ
Ａ１～Ａ７、Ａ９～Ａ１５補助画像
ＰＰポインタ画像
ＡＰ開孔部
Ｏ１～Ｏ４５光学画像
Ｏ４１内細胞塊
Ｏ４２胞胚腔
Ｏ４３栄養外胚葉
Ｏ４４透明帯
Ｐ１～Ｐ１２、Ｐ１４投影画像
Ｖ１～Ｖ１４画像
Ｔ１～Ｔ２０教師画像
Ｗ１ウィンドウ

Claims

試料を照明する透過照明系を備えた倒立顕微鏡システムであって、
接眼レンズと、
前記試料を透過した透過光を前記接眼レンズへ導く対物レンズと、
前記接眼レンズと前記対物レンズの間に配置され、前記透過光に基づいて前記試料の光学画像を形成する結像レンズと、
前記透過光に基づいて前記試料のデジタル画像データを取得する撮像装置であって、前記対物レンズまたは前記透過照明系より下方に配置された撮像装置と、
少なくとも前記撮像装置で取得した前記デジタル画像データに基づいて、投影画像に対応する投影画像データを生成する処理装置であって、前記投影画像は、前記試料を用いた顕微授精を補助する補助画像を含む、という処理装置と、
前記対物レンズまたは前記透過照明系より下方に配置された投影装置であって、前記光学画像が形成されている像面へ、前記投影画像データに基づいて前記投影画像を投影する投影装置と、
前記透過照明系に含まれ、前記試料に照射される照明光を変調する第１の変調素子と、
前記対物レンズと前記結像レンズの間に配置され、前記透過光を変調する第２の変調素子と、を備え、
前記処理装置は、
少なくとも前記デジタル画像データに基づいて、前記試料に含まれる生殖細胞から受精に適した生殖細胞である候補細胞を特定する解析結果を生成する解析部と、
前記解析部で生成された前記解析結果に基づいて、前記投影画像データを生成する投影画像生成部であって、前記投影画像は、前記補助画像として、前記候補細胞を特定する第１の補助画像を含む、という投影画像生成部と、を備え、
前記生殖細胞は、運動中の***細胞であり、
前記解析部は、前記運動中の***細胞から候補***を前記候補細胞として特定するものであり、
前記投影装置は、前記運動中の***細胞から特定された前記候補細胞である前記候補***に重ならない位置に、前記第１の補助画像を投影するものであり、
前記試料の光学画像上で推奨度が判別可能であるように前記第１の補助画像は、当該第１の補助画像が特定する前記候補細胞の推奨度合いに応じた態様また色を有する
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、
前記第１の補助画像は、前記候補細胞の画像を囲う形状、又は、前記候補細胞の画像を指し示す形状を有する
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、
前記解析部は、少なくとも前記生殖細胞の形態と前記生殖細胞の運動性の一方に基づいて、前記生殖細胞を解析する
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、さらに、
前記対物レンズを含む複数の対物レンズが装着された切替装置であって、前記複数の対物レンズの間で光路上に配置する対物レンズを切り替える切替装置を備え、
前記切替装置が前記結像レンズとの組み合わせで所定倍率以上の倍率を有する対物レンズを前記光路上に配置しているときに、
前記解析部は、前記候補細胞を特定する前記解析結果を生成し、
前記投影画像生成部は、前記解析結果に基づいて、前記補助画像として前記第１の補助画像を含む前記投影画像に対応する前記投影画像データを生成し、
前記切替装置が前記結像レンズとの組み合わせで前記所定倍率未満の倍率を有する対物レンズを前記光路上に配置しているときに、
前記解析部は、候補領域を特定する第２の解析結果を生成し、ここで、前記候補領域は、前記試料の領域であって、前記候補領域内の生殖細胞の移動量が前記試料の他の領域内の生殖細胞の移動量よりも大きい領域であり、
前記投影画像生成部は、前記第２の解析結果に基づいて、前記補助画像として第２の補助画像を含む前記投影画像に対応する前記投影画像データを生成し、ここで、前記第２の補助画像は、前記候補領域を特定する画像である
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、
前記解析部は、学習済みのニューラルネットワークを用いて、少なくとも前記デジタル画像データを解析し、
前記学習済みのニューラルネットワークは、受精の適否についてラベル付けされた生殖細胞の画像に対応する画像データを教師データとして用いて学習したニューラルネットワークである
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、
前記処理装置は、
利用者による第１の入力操作に応じた位置を指し示すポインタ画像に対応するポインタ画像データを生成し、
前記試料に含まれる対象物であって、前記利用者による第２の入力操作を検出したときの前記ポインタ画像の位置に基づいて特定された対象物の画像を教師画像として記録し、
前記投影装置は、前記像面へ、前記ポインタ画像データに基づいて前記ポインタ画像を投影する
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、
前記処理装置は、前記デジタル画像データと、その他のデータと、に基づいて、前記投影画像データを生成し、
前記その他のデータは、前記試料を培養した培養液のデータ、母体の臨床データ、又は、前記***細胞を含む***の検査結果、の少なくとも１つを含む
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、さらに、
前記試料に付加された識別情報を取得する識別装置を備え、
前記処理装置は、
前記識別装置で取得した識別情報に基づいて、前記試料を提供した患者の情報を取得し、
少なくとも前記デジタル画像データと前記患者の情報とに基づいて、前記投影画像データを生成し、ここで、前記投影画像は、前記補助画像として、前記患者の情報を示す第７の補助画像を含む
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、
前記処理装置は、
所定の操作を検知してからの経過時間を取得し、
少なくとも前記デジタル画像データと前記経過時間とに基づいて、前記投影画像データを生成し、ここで、前記投影画像は、前記補助画像として、前記経過時間を示す第８の補助画像を含む
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、さらに、
前記対物レンズと前記結像レンズの間に配置された、前記光学画像の倍率を変更する中間変倍ユニットを備える
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、
前記第１の変調素子は、第１の偏光板と、スリットが形成された遮光板と、前記スリットの一部を覆う第２の偏光板と、を含み、
前記第２の変調素子は、透過率の異なる３つ領域を含むモジュレータを含む
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、
前記第１の変調素子は、ポラライザを含み、
前記第２の変調素子は、アナライザを含む
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、
前記像面は、前記結像レンズと前記接眼レンズの間に形成される
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、
前記投影装置を含む投影ユニットは前記結像レンズと前接眼レンズの間に配置される
ことを特徴とする倒立顕微鏡システム。
請求項１に記載の倒立顕微鏡システムにおいて、
前記投影装置を含む投影ユニットは前記対物レンズと前記結像レンズの間に配置される
ことを特徴とする倒立顕微鏡システム。
試料を照明する透過照明系を備えた倒立顕微鏡システムであって、
接眼レンズと、
前記試料を透過した透過光を前記接眼レンズへ導く切り換え可能な複数の対物レンズと、
前記接眼レンズと前記対物レンズの間に配置され、前記透過光に基づいて前記試料の光学画像を形成する結像レンズと、
前記透過光に基づいて前記試料のデジタル画像データを取得する撮像装置であって、前記対物レンズまたは前記透過照明系より下方に配置された撮像装置と、
少なくとも前記撮像装置で取得した前記デジタル画像データに基づいて、投影画像に対応する投影画像データを生成する処理装置であって、前記投影画像は、前記試料を用いた顕微授精を補助する補助画像を含む、という処理装置と、
前記対物レンズまたは前記透過照明系より下方に配置された投影装置であって、前記光学画像が形成されている像面へ、前記投影画像データに基づいて前記投影画像を投影する投影装置と、
前記試料を操作するために用いられるピペットと、を備え、
前記投影装置を含む投影ユニットは、前記結像レンズと前記接眼レンズの間、または、前記対物レンズと前記結像レンズの間、に配置され、
前記処理装置は、
少なくとも前記デジタル画像データに基づいて、前記試料に含まれる生殖細胞から受精に適した生殖細胞である候補細胞を特定する解析結果を生成する解析部と、
前記解析部で生成された前記解析結果に基づいて、前記投影画像データを生成する投影画像生成部であって、前記投影画像は、前記補助画像として、前記候補細胞を特定する第１の補助画像を含む、という投影画像生成部と、を備え、
前記生殖細胞は、運動中の***細胞であり、
前記解析部は、前記運動中の***細胞から候補***を前記候補細胞として特定するものであり、
前記投影装置は、前記運動中の***細胞から特定された前記候補細胞である前記候補***に重ならない位置に、リアルタイムに前記第１の補助画像を投影するものであり、
前記試料の光学画像上で推奨度が判別可能であるように前記第１の補助画像は、当該第１の補助画像が特定する前記候補細胞の推奨度合いに応じた態様また色を有する
ことを特徴とする倒立顕微鏡システム。