JP2023096267A - 顕微鏡システム、投影ユニット、及び、選別支援方法 - Google Patents

Abstract

【課題】試料内の対象の選別作業を支援する。【解決手段】顕微鏡システム１は、選別対象を含む試料の光学像を形成する顕微鏡１００と、試料のデジタル画像を取得するイメージング装置１４３と、デジタル画像に対する物体検出に基づいて対象画像を生成する処理装置２００と、対象画像を、光学像が形成される像面に、光学像中の選別対象よりも大きなサイズで表示する投影装置１５３と、を備える。【選択図】図１

Description

本明細書の開示は、顕微鏡システム、投影ユニット、及び、選別支援方法に関する。

晩婚化・晩産化が進む現在、不妊治療を受ける患者の数は年々増加しており、生殖補助医療（ＡＲＴ：Ａｓｓｉｓｔｅｄ Ｒｅｐｒｏｄｕｃｔｉｖｅ Ｔｅｃｈｎｏｌｏｇｙ）の需要もますます高まっている。

ＡＲＴは、体外受精（ＩＶＦ：Ｉｎ ｖｉｔｒｏ ｆｅｒｔｉｌｉｚａｔｉｏｎ）や顕微授精など、ヒトから取り出した卵子と***を体外で受精させる技術の総称であり、採取した***を子宮に注入し体内で卵子と受精させる一般的な人工授精とは区別される。

ＡＲＴに関連する技術は、例えば、特許文献１に記載されている。特許文献１には、ＡＲＴの一種である顕微授精において用いられる卵細胞質内***注入法（ＩＣＳＩ：Ｉｎｔｒａｃｙｔｏｐｌａｓｍｉｃ ｓｐｅｒｍ ｉｎｊｅｃｔｉｏｎ）に好適な顕微鏡が記載されている。なお、ＩＣＳＩは、ホールディングピペットで固定した卵子に***が納められたインジェクションピペットを突き刺すことで卵子内に***を直接注入する方法である。

国際公開第２０１２／１５０６８９号

ところで、ＩＣＳＩの成功率を高めるためには、***を選別して受精に適した***を卵子に注入することが重要である。しかしながら、選別作業により得られる***が良質か否かは、作業者である胚培養士の経験によるところが大きく、胚培養士間で受精率に格差が生じやすい。

なお、以上では***の選別作業を例に説明したが、上記の課題は、***の選別作業に限らずに、任意の対象の選別作業において生じ得る。

以上のような実情から、本発明の一側面に係る目的は、試料内の対象の選別作業を支援する技術を提供することである。

本発明の一態様に係る顕微鏡システムは、選別対象を含む試料の光学像を形成する顕微鏡と、前記試料のデジタル画像を取得するイメージング装置と、前記デジタル画像に対する物体検出に基づいて前記選別対象の画像である対象画像を生成する処理装置と、前記対象画像を、前記光学像が形成される像面に、前記光学像中の選別対象よりも大きなサイズで表示する光学装置と、を備える。

本発明の一態様に係る投影ユニットは、顕微鏡に装着される投影ユニットであって、試料のデジタル画像を取得するイメージング部と、前記デジタル画像に対する物体検出に基づいて前記試料に含まれる選別対象の画像である対象画像を生成する処理部と、前記対象画像を、前記顕微鏡が形成する前記試料の光学像が形成される像面に、前記光学像中の選別対象よりも大きなサイズで表示する投影部と、を備える。

本発明の一態様に係る選別支援方法は、選別対象を含む試料の光学像を形成し、前記試料のデジタル画像を取得し、前記デジタル画像に対する物体検出に基づいて前記選別対象の画像である対象画像を生成し、前記対象画像を、前記光学像が形成される像面に、前記光学像中の選別対象よりも大きなサイズで表示する。

上記の態様によれば、選別作業における試料の良否判断を支援することができる。

顕微鏡システム１の構成を例示した図である。 顕微鏡１００の構成を例示した図である。 入力装置５０の操作部の構成を例示した図である。 処理装置２００のハードウェア構成を例示した図である。 胚培養士によるＩＣＳＩの手順の一例を示すフローチャートである。 シャーレ３１０内に試料３００として形成されるドロップの構成を例示した図である。 胚培養士による***選別手順の一例を示すフローチャートである。 選別支援処理の一例を示すフローチャートである。 対象画像生成処理の一例を示すフローチャートである。 画像表示処理の一例を示すフローチャートである。 顕微鏡１００で生成される光学像の一例を示した図である。 イメージング装置１４３で取得されるデジタル画像の一例を示した図である。 デジタル画像に対する物体検出結果の一例を示した図である。 対象画像の生成方法の一例を説明するための図である。 接眼レンズ１０１から見える画像の一例を示した図である。 対象画像の生成方法の別の例を説明するための図である。 接眼レンズ１０１から見える画像の別の例を示した図である。 選別支援処理の別の例を示すフローチャートである。 画像表示処理の別の例を示すフローチャートである。 補助画像の生成方法の一例を説明するための図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 表示装置３０への画像出力の一例を示した図である。 顕微鏡システム２の構成を例示した図である。

［第１の実施形態］
図１は、顕微鏡システム１の構成を例示した図である。図２は、顕微鏡１００の構成を例示した図である。図３は、入力装置５０の操作部の構成を例示した図である。図４は、処理装置２００の構成を例示した図である。

顕微鏡システム１は、接眼レンズ１０１を覗いて試料を観察するためのシステムである。具体的には、顕微鏡システム１は、顕微授精、特に、***選別に用いられる、透過照明系１２０を備えた倒立型の顕微鏡システムである。顕微鏡システム１は、例えば、胚培養士によって利用される。観察対象である試料は、***選別作業時であれば、シャーレなどに収容された***を含む***懸濁液などである。

顕微鏡システム１は、少なくとも、顕微鏡１００と、イメージング装置１４３と、投影装置１５３と、処理装置２００と、を備えている。顕微鏡１００は、選別対象である***を含む試料の光学像を形成する。イメージング装置１４３は、試料のデジタル画像を取得する。処理装置２００は、デジタル画像に対する物体検出に基づいて選別対象の画像（以降、対象画像と記す。）を生成する。ここで、選別対象とは、利用者によって良否が判断される対象であり、良否判断の結果、選択又は非選択が決定される対象のことをいう。投影装置１５３は、対象画像を光学像が形成される像面に、光学像中の選別対象よりも大きなサイズで表示する光学装置の一例である。なお、本明細書において、“像（画像）を表示する”とは、像（画像）を視認可能に形成することをいい、別の言い方では、像（画像）を形成し視認可能な面（位置）に配置することをいう。

顕微鏡システム１は、顕微鏡１００によって試料の光学像が形成されている像面に、投影装置１５３を用いて対象画像を光学像中の選別対象よりも大きなサイズで表示する。つまり、光学画像中の選別対象（***）が、例えば、像面において１ｍｍ×１ｍｍの領域内に表示されている場合に、対象画像を１ｍｍ×１ｍｍよりも大きなサイズで像面に表示する。これにより、接眼レンズ１０１を覗いて試料を観察している利用者は、光学像に含まれる選別対象の***を、接眼レンズ１０１から目を離すことなく、さらに大きなサイズの対象画像で詳細に観察することができる。このため、良好な***を短時間で精度よく特定して採取することが可能となる。従って、顕微鏡システム１によれば、胚培養士などの利用者の***選別作業を支援することができる。

以下、図１から図４を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、上述した、顕微鏡１００と、イメージング装置１４３と、投影装置１５３と、処理装置２００に加えて、顕微鏡コントローラ１０と、表示装置３０と、複数の入力装置（入力装置４０、入力装置５０、入力装置６０、入力装置７０）と、識別装置８０を備えている。また、顕微鏡システム１は、種々のデータが格納されているデータベースサーバ２０に接続されている。なお、この例では、イメージング装置１４３と投影装置１５３は、顕微鏡１００の顕微鏡本体１１０内に配置されている。

顕微鏡１００は、接眼レンズ１０１を備えた倒立顕微鏡である。顕微鏡１００は、図１に示すように、顕微鏡本体１１０と、顕微鏡本体１１０に取り付けられた、複数の対物レンズ１０２、ステージ１１１、透過照明系１２０、及び接眼鏡筒１７０を備えている。また、顕微鏡１００は、後述するように、***や卵子などの無染色の試料を可視化するための変調素子を、照明光路と観察光路のそれぞれに備えている。胚培養士などの利用者は、顕微鏡１００を用いて、明視野（ＢＦ）観察、偏光（ＰＯ）観察、微分干渉（ＤＩＣ）観察、及び変調コントラスト（ＭＣ）観察の４つの顕微鏡法で、試料を観察することができる。なお、変調コントラスト観察は、レリーフコントラスト（ＲＣ）観察とも称される。

複数の対物レンズ１０２は、レボルバ１１２に装着されている。複数の対物レンズ１０２には、図２に示すように、ＢＦ観察用の対物レンズ１０２ａ、ＰＯ観察及びＤＩＣ観察用の対物レンズ１０２ｂ、ＭＣ観察用の対物レンズ１０２ｃが含まれている。また、対物レンズ１０２ｃには、モジュレータ１０４が含まれている。モジュレータ１０４は、透過率の異なる３つ領域（例えば、透過率１００％程度の領域、５％程度の領域、０％程度の領域）を含んでいる。

図２には、顕微鏡法に応じた３本の対物レンズが例示されているが、複数の対物レンズ１０２には、顕微鏡法毎に複数の倍率の異なる対物レンズが含まれてもよい。以降では、ＢＦ観察用の４倍対物レンズ、ＭＣ観察用の１０倍、２０倍、４０倍対物レンズ、ＰＯ観察用の２０倍対物レンズ、ＤＩＣ観察用の６０倍対物レンズが含まれている場合を例にして説明する。

レボルバ１１２は、複数の対物レンズ１０２の間で光路上に配置する対物レンズを切り替える切替装置である。レボルバ１１２は、顕微鏡法及び観察倍率に応じて光路上に配置する対物レンズを切り替える。レボルバ１１２によって光路上に配置された対物レンズは、試料を透過した透過光を接眼レンズ１０１へ導く。

ステージ１１１には、容器に入れられた試料が載置される。容器は、例えばシャーレであり、試料には、***や卵子などの生殖細胞が含まれている。ステージ１１１は、光路上に配置された対物レンズ１０２の光軸方向、及び、対物レンズ１０２の光軸と直交する方向に移動する。なお、ステージ１１１は、手動ステージであっても、電動ステージであってもよい。

透過照明系１２０は、ステージ１１１に載置された試料を、ステージ１１１の上方から照明する。透過照明系１２０は、図１及び図２に示すように、光源１２１と、ユニバーサルコンデンサ１２２を含んでいる。光源１２１は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）光源であってもよく、ハロゲンランプ光源などのランプ光源であってもよい。

ユニバーサルコンデンサ１２２には、図２に示すように、ポラライザ１２３（第１の偏光板）と、ターレット１２４に収容された複数の光学素子と、コンデンサレンズ１２８が含まれている。ポラライザ１２３は、ＭＣ観察、ＰＯ観察及びＤＩＣ観察で使用される。ターレット１２４には、顕微鏡法に応じて切り替えて使用される複数の光学素子が収容されている。ＤＩＣプリズム１２５は、ＤＩＣ観察で使用される。開口板１２６は、ＢＦ観察及びＰＯ観察で使用される。光学素子１２７は、スリットが形成された遮光板であるスリット板１２７ａと、スリットの一部を覆うように配置された偏光板１２７ｂ（第２の偏光板）と、の組み合わせであり、ＭＣ観察で使用される。

接眼鏡筒１７０には、接眼レンズ１０１が含まれている。結像レンズ１０３は、接眼レンズ１０１と対物レンズ１０２の間に配置されている。結像レンズ１０３は、接眼レンズ１０１と結像レンズ１０３の間の像面ＩＰに、透過光に基づいて試料の光学像を形成する。また、像面ＩＰには、投影装置１５３からの光に基づいて後述する対象画像も形成される。これにより、像面ＩＰに光学像と対象画像が表示される。顕微鏡システム１の利用者は、像面ＩＰに形成されている光学像及び対象画像の虚像を、接眼レンズ１０１を用いて観察する。

顕微鏡本体１１０は、図１及び図２に示すように、レーザアシステッドハッチングユニット１３０と、イメージングユニット１４０と、投影ユニット１５０を含んでいる。また、顕微鏡本体１１０は、図２に示すように、中間変倍ユニット１６０を含んでいる。さらに、顕微鏡本体１１０は、ＤＩＣプリズム１０５と、アナライザ１０６を、光路に対して挿脱可能に含んでいる。

レーザアシステッドハッチングユニット１３０は、図２に示すように、対物レンズ１０２と結像レンズ１０３の間に配置されたレーザユニットである。レーザアシステッドハッチングユニット１３０は、対物レンズ１０２と結像レンズ１０３の間からレーザ光を導入することによって、試料にレーザ光を照射する。より具体的には、レーザアシステッドハッチングユニット１３０は、例えば、受精卵から成長した胚を取り囲む透明帯に、レーザ光を照射する。レーザアシステッドハッチングユニット１３０は、スプリッタ１３１と、スキャナ１３３と、レンズ１３４と、レーザ１３５を含んでいる。スプリッタ１３１は、例えば、ダイクロイックミラーである。スキャナ１３３は、例えば、ガルバノスキャナであり、レーザ光の照射位置を対物レンズ１０２の光軸と直交する方向に調整する。レンズ１３４は、レーザ光を平行光束に変換する。これにより、レーザ光は、対物レンズ１０２によって試料上に集光する。

イメージングユニット１４０は、図２に示すように、スプリッタ１４１と、透過光に基づいて試料のデジタル画像を取得するイメージング装置１４３と、を含んでいる。イメージングユニット１４０は、結像レンズ１０３と接眼レンズ１０１の間に配置されている。スプリッタ１４１は、例えば、ハーフミラーである。結像レンズ１０３は、試料の光学像をイメージング装置１４３に含まれる撮像素子の受光面に形成する。イメージング装置１４３は、例えば、デジタル画像を取得するデジタルカメラであり、イメージング装置１４３に含まれる撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどである。撮像素子は、試料からの光を検出し、検出した光を光電変換によって電気信号へ変換する。イメージングユニット１４０は、イメージング装置１４３で取得したデジタル画像を処理装置２００へ出力する。

投影ユニット１５０は、結像レンズ１０３と接眼レンズ１０１の間に配置されている。投影ユニット１５０は、図２に示すように、スプリッタ１５１と、レンズ１５２と、投影装置１５３を含んでいる。スプリッタ１５１は、例えば、ハーフミラーである。投影装置１５３は、処理装置２００が生成した対象画像を投影する。より詳細には、レンズ１５２が結像レンズ１０３の像面、即ち、光学像が形成される像面ＩＰに、投影装置１５３からの光を集光することによって、投影装置１５３が像面ＩＰに対象画像を投影する。

中間変倍ユニット１６０は、対物レンズ１０２と結像レンズ１０３の間に配置されている。中間変倍ユニット１６０は、図２に示すように、複数のレンズ（レンズ１６１、レンズ１６２、レンズ１６３）を含み、これらの間で光路上に配置されるレンズを切り替えることで、像面に形成される光学像の倍率を変更する。中間変倍ユニット１６０を用いることで、試料の近くに位置する対物レンズ１０２を切り替えることなく光学像の倍率を変更することができる。

ＤＩＣプリズム１０５とアナライザ１０６は、対物レンズ１０２と結像レンズ１０３の間に配置されている。ＤＩＣプリズム１０５は、ＤＩＣ観察で使用される。アナライザ１０６は、ＰＯ観察及びＤＩＣ観察で使用される。

顕微鏡１００では、ＭＣ観察を行うときには、試料に照射される照明光を変調する変調素子（以降、第１の変調素子と記す。）として、照明光路上にポラライザ１２３と光学素子１２７が配置され、透過光を変調する変調素子（以降、第２の変調素子と記す。）として、観察光路上にモジュレータ１０４が配置される。また、ＰＯ観察を行うときには、第１の変調素子として、照明光路上にポラライザ１２３が配置され、第２の変調素子として、観察光路上にアナライザ１０６が配置される。また、ＤＩＣ観察を行うときには、第１の変調素子として、照明光路上にポラライザ１２３とＤＩＣプリズム１２５が配置され、第２の変調素子として、観察光路上にアナライザ１０６とＤＩＣプリズム１０５が配置される。これにより、無染色の試料を可視化することが可能であり、例えば、***の選別などを行うことができる。

顕微鏡コントローラ１０は、顕微鏡１００を制御する装置である。顕微鏡コントローラ１０は、処理装置２００と入力装置５０と顕微鏡１００に接続されていて、処理装置２００又は入力装置５０からの命令に応じて顕微鏡１００を制御する。

表示装置３０は、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ、ＬＥＤマトリクスパネルなどの表示装置である。

入力装置４０は、ハンドル４１とハンドル４２を含んでいる。ハンドル４１及びハンドル４２を操作することで、ピペット４３及びピペット４４を動かす図示しないマイクロマニュピレータの動作を制御する。ピペット４３及びピペット４４は、***選別を含む顕微授精の作業において試料を操作するために用いられる。ピペット４３は、例えば、ホールディングピペットであり、ピペット４４は、例えば、インジェクションピペットである。

入力装置５０は、顕微鏡１００の顕微鏡法と観察倍率に関する設定を変更するためのハンドスイッチ装置である。入力装置５０は、図３に示すように、例えば、６つのボタン（ボタン５１～ボタン５６）を有していて、利用者はこれらのボタンを押下するだけで、顕微鏡１００の設定を素早く切り替えることができる。

利用者がボタン５１を押下することで、顕微鏡１００の設定は、観察倍率４倍のＢＦ観察（以降、ＢＦ４×観察と記す。）の設定に切り替わる。利用者がボタン５２を押下することで、顕微鏡１００の設定は、観察倍率１０倍のＭＣ観察（以降、ＭＣ１０×観察と記す。）の設定に切り替わる。利用者がボタン５３を押下することで、顕微鏡１００の設定は、観察倍率２０倍のＭＣ観察（以降、ＭＣ２０×観察と記す。）の設定に切り替わる。利用者がボタン５４を押下することで、顕微鏡１００の設定は、観察倍率４０倍のＭＣ観察（以降、ＭＣ４０×観察と記す。）の設定に切り替わる。利用者がボタン５５を押下することで、顕微鏡１００の設定は、観察倍率２０倍のＰＯ観察（以降、ＰＯ２０×観察と記す。）の設定に切り替わる。利用者がボタン５６を押下することで、顕微鏡１００の設定は、観察倍率６０倍のＤＩＣ観察（以降、ＤＩＣ６０×観察と記す。）の設定に切り替わる。

入力装置６０は、キーボードである。入力装置７０は、マウスである。入力装置６０及び入力装置７０は、それぞれ処理装置２００に接続されている。なお、顕微鏡システム１には、タッチパネル、音声入力装置、フットペダルなどの図示しないその他の入力装置が含まれてもよい。

識別装置８０は、試料に付された識別情報を取得する装置である。なお、試料に付されたとは、例えば、識別情報が試料を収容する容器に貼付等されている場合を含む。識別情報は、試料を識別する情報であり、より具体的には、例えば、試料を提供した患者を特定する情報である。識別装置８０は、例えば、バーコードリーダ、ＲＦＩＤ（登録商標）リーダ、ＱＲコード（登録商標）リーダなどであってもよい。

処理装置２００は、イメージング装置１４３で取得したデジタル画像に対する物体検出に基づいて対象画像を生成する。生成した対象画像は、顕微鏡１００の投影装置１５３へ、直接または顕微鏡コントローラ１０を経由して、出力される。なお、処理装置２００は、図１に示すように、顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置６０、入力装置７０、及び、識別装置８０に接続されている。また、処理装置２００は、データベースサーバ２０にも接続されている。

処理装置２００は、対象画像の生成に関連する機能的構成要素として、画像解析部２１０と、画像生成部２２０と、記憶部２３０と、を備えている。

画像解析部２１０は、デジタル画像に対する物体検出と、物体検出で検出された***（以降、選別候補と記す。）の中から選別対象としての***（以降、単に選別対象と記す。）を決定する対象決定と、を含む画像解析を行う。画像解析部２１０が行う画像解析には、物体検出と対象決定に加えて、物体検出で検出された選別候補を評価する候補評価が含まれてもよい。なお、選別候補とは、選別対象の候補のことをいい、選別対象は、選別候補の中から決定される。

物体検出の方法は特に限定しない。画像解析部２１０は、例えば、記憶部２３０に記憶されている学習済みモデルを用いて物体検出を行い、***に分類された物体を選別候補として検出してもよい。学習済みモデルのアルゴリズムは、特に限定しないが、例えば、ＳＳＤ、ＹＯＬＯ、ＦａｓｔｅｒＲ－ＣＮＮなどの深層学習モデルが用いられてもよい。

対象決定の方法は特に限定しない。画像解析部２１０は、例えば、利用者が入力した情報に基づいて選別対象を決定してもよい。具体的には、画像解析部２１０は、ユーザが入力装置７０などを用いて指定した***を選別対象として決定してもよい。また、画像解析部２１０は、例えば、物体検出で検出された選別候補の位置に基づいて選別対象を決定してもよい。具体的には、画像解析部２１０は、視野の中心に最も近い***を選別対象として決定してもよく、視野内の予め決められた位置に設けられた枠に入った***を選別対象として決定してもよい。また、画像解析部２１０は、例えば、候補評価に基づいて選別対象を決定してもよい。具体的には、画像解析部２１０は、候補評価で最も評価の高い***を選別対象として決定してもよい。また、画像解析部２１０は、上述した対象決定の方法を組み合わせてもよく、例えば、基準よりも評価の高い***の中から視野の中心に最も近い***を選別対象として決定してもよい。

候補評価の方法は特に限定しない。例えば、画像解析部２１０は、デジタル画像に基づいて追跡した選別候補の直線速度（Ｓｔｒａｉｇｈｔ Ｌｉｎｅ Ｖｅｌｏｃｉｔｙ：ＶＳＬ）、曲線速度（Ｃｕｒｖｉｌｉｎｅａｒ Ｖｅｌｏｃｉｔｙ：ＶＣＬ）、平均速度（Ａｖｅｒａｇｅ Ｐａｔｈ Ｖｅｌｏｃｉｔｙ：ＶＡＰ）を算出してもよい。画像解析部２１０は、さらに、これらのパラメータを用いて算出された直進性（Ｌｉｎｅａｒｉｔｙ：ＬＩＮ）、直線性（Ｓｔｒａｉｇｈｔｎｅｓｓ：ＳＴＲ）に基づいて選別候補を評価してもよい。即ち、画像解析部２１０は、選別候補の運動性（ｍｏｔｉｌｉｔｙ）について選別候補を評価してもよい。

画像解析部２１０は、デジタル画像に基づいて選別候補に含まれる空胞部位を検出し、さらに計数してもよい。

胚培養士は、詳細に観察するために有望な***をピペットなどの器具で拘束し、その***が顕微授精に適した***か否かを判断する。このため、画像解析部２１０は、デジタル画像に基づいて選別候補が拘束されているか否かを評価してもよく、選別候補の中から、選別候補が拘束されているか否かの評価に基づいて、選別対象を決定してもよい。なお、画像解析部２１０は、例えば、記憶部２３０に記憶されている学習済みモデルを用いた画像分類に基づいて、上述した評価（選別候補が拘束されているか否か）を算出してもよい。また、画像解析部２１０は、物体検出で検出されたピペットなどの器具と選別候補の位置関係などを用いて選別候補が拘束されているか否かの評価を算出してもよい。

画像生成部２２０は、デジタル画像に基づいて、画像解析部２１０で決定された選別対象の画像である対象画像を生成する。対象画像の生成方法は特に限定しない。画像生成部２２０は、例えば、デジタル画像から画像解析部２１０で決定された選別対象の領域を切り出すことで対象画像を生成してもよい。画像生成部２２０は、例えば、切り出した画像にさらに画像処理を施すことで対象画像を生成してもよい。また、画像生成部２２０は、例えば、デジタル画像に画像処理を施した画像から選別対象の領域を切り出すことで対象画像を生成してもよい。画像処理は、例えば、明るさを調整する処理、コントラストを強調する処理、ノイズを除去する処理などであってもよく、その他の任意の処理であってもよい。また、これらの処理は組み合わせて行われてもよい。

画像生成部２２０は、投影装置１５３が対象画像を像面に投影した場合に、像面に投影された対象画像が同じく像面に投影された光学像中の選別対象よりも大きなサイズで表示されるように、デジタル画像から切り出した画像をデジタルズームにより拡大又は縮小することで、生成する対象画像のサイズを調整してもよい。その他、デジタル画像を取得する際の対物レンズの変更、デジタル画像の像面への投影倍率の変更などによって対象画像のサイズを調整してもよく、その他の調整方法でもよく、これらの方法は組み合わせて行われてもよい。また、像面に配置される対象画像の総合倍率は、選別対象の大きさに応じて決定されてもよく、光学像の総合倍率に応じて決定されてもよい。ここで、対象画像の総合倍率とは、物体面における選別対象の大きさに対する総合倍率のことである。光学像の総合倍率とは、物体面における試料の大きさに対する総合倍率のことであり、最終的に利用者が観察する像の倍率のことである。いずれも、最終的に利用者が観察する像の倍率のことである。つまり、対象画像の総合倍率は、像面に形成される対象画像（実像）を接眼レンズを通して虚像として観察するときの倍率のことであり、実像を拡大した虚像の倍率である。また、光学像の総合倍率は、像面に形成される光学像（実像）を接眼レンズを通して虚像として観察するときの倍率のことであり、実像を拡大した虚像の倍率である。具体的には、画像解析部２１０で検出された選別対象の大きさに応じて画像生成部２２０が対象画像の総合倍率を変更してもよく、顕微鏡システム１の設定によって定まる光学像の総合倍率、つまり、虚像の倍率に応じて画像生成部２２０が対象画像の総合倍率を変更してもよい。

デジタル画像から切り出される選別対象の領域は、例えば、物体検出で検出された***全体を含む領域であるが、必ずしも***全体を切り出さなくてもよい。選別対象のうちのどの範囲を切り出すかは顕微鏡システム１の設定によって変更可能であってもよい。このため、画像生成部２２０は、顕微鏡システム１の設定に応じて、***の全体（頭部から尾部まで）の領域を切り出してもよく、***の頭部から頸部までの領域を切り出してもよく、頭部の領域のみを切り出してもよく、頸部の領域のみを切り出してもよく、尾部の領域のみを切り出してもよく、その他、***の指定された領域を切り出してもよい。顕微鏡システム１の設定は、例えば、利用者が選別のために選別対象のどの部分に注目して良否判断を行うかに応じて変更してもよい。

画像生成部２２０で生成された対象画像は、投影装置１５３へ出力される。これにより、投影装置１５３が対象画像を像面に投影し、対象画像が光学像中の選別対象よりも大きなサイズで像面に投影される。これにより、望ましくは、対象画像は光学像よりも高い総合倍率で像面に表示される。

記憶部２３０は、画像解析部２１０が行う画像解析で用いられる学習済みモデルを記憶する。具体的には、記憶部２３０には、選別候補である***を検出するために行われる物体検出用の学習済みモデルと選別候補である***を評価する候補評価用の学習済みモデルが記憶されている。画像解析部２１０は、記憶部２３０に記憶されている学習済みモデルを用いて物体検出と候補評価を行う。

なお、処理装置２００は、汎用のコンピュータであっても、専用のコンピュータであってもよい。処理装置２００は、特にこの構成に限定されるものではないが、例えば、図４に示すような物理構成を有してもよい。具体的には、処理装置２００は、プロセッサ２０１と、記憶装置２０２と、入力インターフェース（Ｉ／Ｆ）２０３と、出力インターフェース（Ｉ／Ｆ）２０４と、通信装置２０５と、を備えてもよく、それらが互いにバス２０６によって接続されてもよい。

プロセッサ２０１は、ハードウェアを含んでもよく、ハードウェアは例えば、デジタル信号を処理するための回路およびアナログ信号を処理するための回路のうちの少なくとも１つを含んでもよい。プロセッサ２０１は、例えば、回路基板上に、１つまたは複数の回路デバイス（例えば、ＩＣ）または１つまたは複数の回路素子（例えば、抵抗器、コンデンサ）を含むことができる。プロセッサ２０１は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよい。また、プロセッサ２０１には、ＧＰＵ（Ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を含む様々なタイプのプロセッサが使用されてもよい。プロセッサ２０１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を有するハードウェア回路であってもよい。プロセッサ２０１は、アナログ信号を処理するための増幅回路、フィルタ回路などを含むことができる。プロセッサ２０１は、記憶装置２０２に記憶されているプログラムを実行することで、上述した画像解析部２１０及び画像生成部２２０として機能する。

記憶装置２０２は、メモリ及び／又はその他の記憶装置を含んでもよい。メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）であってもよい。メモリは、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体メモリであってもよい。記憶装置２０２は、例えば、レジスタ、ハードディスク装置のような磁気記憶装置、光学ディスク装置のような光学記憶装置、内部または外部ハードディスクドライブ、ソリッドステート記憶装置、ＣＤ－ＲＯＭ、ＤＶＤ、他の光学または磁気ディスク記憶装置、または、他の記憶装置であってもよい。記憶装置２０２は、プロセッサ２０１によって実行されるプログラム、学習済みモデル、その他のデータを記憶し、上述した記憶部２３０として機能する。なお、記憶装置２０２は、非一時的なコンピュータ可読記憶媒体の一例である。

入力Ｉ／Ｆ２０３は、顕微鏡システム１の利用者（例えば、胚培養士）が操作する入力装置に接続され、入力装置に対する操作に応じた操作信号を受信し、プロセッサ２０１へ出力する。

出力Ｉ／Ｆ２０４は、表示装置３０に接続される。出力Ｉ／Ｆ２０４は、さらに、図示しない、音声を出力するスピーカーなどの音声出力装置、光を出力するランプなどの発光装置、振動を出力するバイブレータなどの振動装置などに接続されてもよい。

通信装置２０５は、顕微鏡１００やその他の装置とデータをやり取りする装置である。通信装置２０５は、有線でデータをやり取りする通信装置であってもよく、無線でデータをやり取りする通信装置であってもよい。記憶装置２０２に記憶されるプログラムや学習済みモデルは、通信装置２０５がインターネット経由で他の装置から取得したものであってもよい。

図５は、胚培養士によるＩＣＳＩの手順の一例を示すフローチャートである。図６は、シャーレ３１０内に試料３００として形成されるドロップの構成を例示した図である。図７は、胚培養士による***選別手順の一例を示すフローチャートである。図８は、選別支援処理の一例を示すフローチャートである。図９は、対象画像生成処理の一例を示すフローチャートである。図１０は、画像表示処理の一例を示すフローチャートである。図１１は、顕微鏡１００で生成される光学像の一例を示した図である。図１２は、イメージング装置１４３で取得されるデジタル画像の一例を示した図である。図１３は、デジタル画像に対する物体検出結果の一例を示した図である。図１４は、対象画像の生成方法の一例を説明するための図である。図１５は、接眼レンズ１０１から見える画像の一例を示した図である。以下、図５から図１５を参照しながら、顕微鏡システム１が行う***の選別支援方法の、ＩＣＳＩにおける具体的な活用について説明する。

まず、利用者は、試料を準備する（ステップＳ１）。ここでは、利用者は、例えば、図６に示すように、シャーレ３１０内に複数のドロップを含む試料３００を作成し、ステージ１１１上に配置する。

ドロップ３０１は、洗浄用のドロップであり、ピペットの洗浄に使用される。ドロップ３０２は、***浮遊ドロップであり、例えば、ＰＶＰ溶液に***懸濁液を滴下したものである。ドロップ３０３は、卵子操作用ドロップであり、例えば、ｍ－ＨＴＦ溶液に卵子を入れたものである。なお、ｍ－ＨＴＦ溶液は、１０％血清を添加したＨｅｐｐｓ含有ＨＴＦ溶液である。これらのドロップは、ミネラルオイルで覆われている。

次に、利用者は、顕微鏡システム１をセットアップする（ステップＳ２）。ここでは、利用者は、例えば、入力装置５０のボタン５１を押下して、顕微鏡システム１の設定をＢＦ４×観察に切り替える。その後、入力装置４０を操作してピペット４３及びピペット４４の位置を調整し、ピペット４３及びピペット４４にピントを合わせる。さらに、ステージ１１１を動かして、ピペット４３及びピペット４４をドロップ３０１（洗浄用ドロップ）で洗浄する。

セットアップが完了すると、利用者は、ドロップ３０３（卵子操作用ドロップ）内の卵子(卵細胞)の状態を確認する（ステップＳ３）。ここでは、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。ＭＣ２０×観察で卵子の形態を観察して、卵子を選別する。さらに、例えば、入力装置５０のボタン５５を押下して、顕微鏡システム１の設定をＰＯ２０×観察に切り替えてもよい。ＰＯ２０×観察で卵子の紡錘体を観察することで、卵子の成熟度を判定し、更に卵子を選別してもよい。

卵子の選別が終了すると、利用者は、図７に示す手順で***の選別を行う（ステップＳ４）。まず、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。そして、ステージ１１１を動かしてドロップ３０２（***浮遊ドロップ）に観察位置を移動し、ＭＣ２０×観察で***にピントを合わせる（ステップＳ１１）。

次に、利用者は、ＭＣ２０×観察で受精に適した***を選別する（ステップＳ１２）。従来、この工程では、胚培養士が、光学像で観察される***の形態と運動性に基づいて***の質を判断し、その判断に基づいて***を選別していた。しかしながら、ＭＣ２０×では、***の大きさに対して十分な視野が確保され、そのため、***の運動性を把握しやすいというメリットがある一方で、***の形態を正確に把握するには倍率が低すぎる。このため、ステップＳ１２で選別した***をより高い倍率で観察する必要があり、選別作業に時間がかかることと、手戻りが生じることが問題となっていた。

このような課題を踏まえて、顕微鏡システム１は、ステップＳ１２において、像面に対象画像を光学像中の選別対象よりも大きなサイズで表示する。光学像中の選別対象よりも大きなサイズで投影されることで、従来、この工程においては難しかった利用者による***の形態の判断を補助できる。これにより、後工程における異なる判断による手戻りを抑制することができ、例えばステップＳ１４のＭＣ４０ｘ観察へ切り替えが省略できる。さらに、光学像と対象画像が同じ像面に投影されることで、光学像で主に***の運動性を確認しながら、対象画像によって注目している***（選別対象の***）の形態を正確に把握することができる。従って、運動性と形態の両方を確認して***を選別することができるため、後工程における異なる判断による手戻りを抑制することができる。

具体的には、ステップＳ１２において、顕微鏡システム１が図８に示す選別支援処理を行うことで、光学像とともに対象画像が像面に投影される。選別支援処理では、まず、顕微鏡システム１は、試料の光学像を像面に投影する（ステップＳ２１）。ここでは、顕微鏡１００が、像面に、例えば図１１に示す光学像Ｏ１を形成する。なお、図１１に示す領域１４３ＲはステップＳ２２でイメージング装置１４３によって撮影される領域を示している。

顕微鏡システム１は、ステップＳ２１と同時に、デジタル画像を取得する（ステップＳ２２）。ここでは、イメージング装置１４３は、試料からの光に基づいて、例えば図１２に示す試料のデジタル画像Ｄ１を取得し、取得したデジタル画像Ｄ１を処理装置２００へ出力する。

その後、顕微鏡システム１は、デジタル画像に基づいて対象画像を生成する（ステップＳ２３）。ここでは、処理装置２００が図９に示す対象画像生成処理を行う。対象画像生成処理では、処理装置２００は、まず、デジタル画像Ｄ１に対して物体検出を行う（ステップＳ３１）。ここでは、画像解析部２１０が、例えば、デジタル画像Ｄ１を入力画像として学習済みモデルに入力することで物体検出を行い、図１３に示すように、***を選別候補として検出する。なお、図１３には、物体検出によって***の分類された物体（選別候補）の位置にボックスＢが付された様子が示されている。

物体検出によって選別候補が検出されると、処理装置２００は、選別候補を評価する（ステップＳ３２）。ここでは、画像解析部２１０が選別候補の各々を評価する。具体的には、画像解析部２１０は、選別候補の運動性を評価してもよい。また、選別候補が拘束されているか否かを評価してもよい。以降、画像解析部２１０が、拘束されている選別候補を相対的に高く評価し、拘束されていない選別候補を相対的に低く評価した場合を例に説明する。

その後、処理装置２００は、ステップＳ３２で行われた評価に基づいて選別対象を決定する（ステップＳ３３）。ここでは、画像解析部２１０が評価に基づいて選別候補の中から最も高く評価された選別候補を選別対象として決定する。具体的には、例えば、図１３に示すピペット４４で拘束された***を選別対象として決定する。

選別対象が決まると、処理装置２００は、デジタル画像から選別対象の領域を切り出す（ステップＳ３４）。ここでは、画像生成部２２０が、例えば、図１４に示すように、デジタル画像Ｄ１から、選別対象の領域を切り出して、対象画像Ｔ１を生成する。対象画像Ｔ１のサイズは、ステップＳ３４において、像面に投影したときに光学像中の選別対象よりも大きく表示されるように調整されてもよい。

ステップＳ２３で対象画像が生成されると、顕微鏡システム１は、光学像中の選別対象よりも大きなサイズで対象画像を像面に表示する（ステップＳ２４）。ここでは、処理装置２００が図１０に示す画像表示処理を行う。画像表示処理では、処理装置２００は、まず、像面に表示される対象画像Ｔ１の総合倍率を決定し（ステップＳ４１）、さらに対象画像Ｔ１のサイズを決定する（ステップＳ４２）。ステップＳ４１では、像面に形成される光学像の総合倍率が例えば２００倍の場合、画像解析部２１０が、像面に投影される対象画像Ｔ１の総合倍率を、２００倍を上回る倍率（例えば１０００倍）に決定する。また、ステップＳ４２では、像面に形成される光学像中の選別対象が１ｍｍ×１ｍｍの領域に投影される場合、画像解析部２１０が、対象画像Ｔ１のサイズを１ｍｍ×１ｍｍ以上のサイズに決定する。

さらに、処理装置２００は、像面に表示される対象画像Ｔ１の位置を決定する（ステップＳ４３）。ここでは、処理装置２００は、例えば、光学像に含まれる選別対象の***の領域と対象画像が重ならないように、対象画像の位置を光学像に含まれる選別対象の***の領域を避けて決定する。なお、対象画像の位置は、視野の中心を基準に上側、下側、右側、左側など、予め指定された位置に配置されてもよい。

最後に、処理装置２００は、ステップＳ４３で決定した位置に、ステップＳ４１で決定した総合倍率でステップＳ４２で決定したサイズの対象画像Ｔ１を表示する（ステップＳ４４）。ここでは、処理装置２００は、対象画像Ｔ１の各画素を、ステップＳ４１で決定した総合倍率とステップＳ４２で決定したサイズとステップＳ４３で決定した位置とに基づいて投影装置１５３の画素に割り当てる。その結果、投影装置１５３が、対象画像Ｔ１を、像面の光学像中の選別対象と重ならない位置に、光学像中の選別対象よりも大きなサイズで投影する。これにより、利用者は、例えば図１５に示すように、像面に表示された光学像Ｏ１と対象画像Ｔ１を同時に確認することができる。このため、***の形態と運動性の両方を確認して受精に適した***を高精度に選別することができる。また、ステップＳ１２において、図８に示す選別支援処理が繰り返し行われることで、視野内を移動する選別対象の***を追跡することができるため、対象画像で選別対象の***をじっくりと観察することができる。

ステップＳ１２で***が選別されると、利用者は、ＲＣ２０×観察で***の尾部を傷つけて***を不動化する（ステップＳ１３）。ここでは、利用者は、***の尾部をピペットでシャーレ３１０の底面に擦り付けることで、***を不動化する。

その後、利用者は、不動化した***の形態を更に詳細に観察し、***を更に選別してもよい（ステップＳ１４）。ここでは、利用者は、例えば、入力装置５０のボタン５４を押下して、顕微鏡システム１の設定をＭＣ４０×観察に切り替える。その後、利用者は、ＭＣ４０×観察でさらに***を選別してもよい。ここでも、顕微鏡システム１は、ステップＳ１２と同様に、図８に示す選別支援処理を行い、対象画像を光学像中の選別対象よりも大きなサイズで像面に投影することで、胚培養士の***選別作業を支援してもよい。

***の選別が完了すると、その後、利用者は、選別された***をインジェクションピペットであるピペット４４中に取り込んで、観察位置をドロップ３０３（卵子操作用ドロップ）へ移動し（ステップＳ１５）、図７に示す***選別の一連の手順を終了する。

なお、顕微鏡システム１では、ステップＳ１２およびステップＳ１４において投影される対象画像により、従来確認できなかった***頭部の空胞の存在や大きさのような形態の判断を補助できる。

***選別が完了すると、利用者は、***の注入準備のために、紡錘体の位置を確認する（ステップＳ５）。ここでは、利用者は、ドロップ３０３内に存在するステップＳ３で選ばれた卵子を観察し、その卵子の紡錘体の位置を確認する。具体的には、利用者は、例えば、入力装置５０のボタン５５を押下して、顕微鏡システム１の設定をＰＯ２０×観察に切り替える。その後、利用者は、ＰＯ２０×観察で可視化された卵子の紡錘体が１２時又は６時の方向に位置するように、ホールディングピペットであるピペット４３を操作することで紡錘体の向きを変える。これは、後述するステップＳ６において、３時又は９時の方向から卵子に突き立てられるピペットによって、紡錘体が傷つくことを避けるためである。

最後に、利用者は、***を卵子に注入し（ステップＳ６）、ＩＣＳＩを終了する。ここでは、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。その後、利用者は、ＭＣ２０×観察で、ステップＳ５で向きを調整した卵子をホールディングピペットであるピペット４３で固定し、インジェクションピペットであるピペット４４を突き刺す。その後、ピペット４４から卵子内部に良好***を注入する。

図５に示すＩＣＳＩの一連の手順が終了すると、利用者は、***が注入された卵子をインキュベータに戻し、培養する。また、利用者は、入力装置６０及び入力装置７０を用いて処理装置２００を操作して、ＩＣＳＩで得られた情報をデータベースサーバ２０に保存してもよい。例えば、***が注入された卵子の画像、選別された***の画像、ＩＣＳＩの作業時間などに、***と卵子の患者情報（母体の臨床データ、***を含む***の検査結果など）、***と卵子の培養液のデータ（例えば、種類、濃度、ＰＨなど）を関連付けて、データベースサーバ２０に保存してもよい。

以上のように、顕微鏡システム１では、ＩＣＳＩにおいて、選別対象の***の画像である対象画像が像面に光学像中の選別対象よりも対象画像が大きなサイズで投影される。***の大きさは６０μｍ程度であり、良好***を見分けるためには最低でも２０倍の対物レンズが用いられる。一般に倒立顕微鏡の視野数は２２程度であるので、実視野はΦ１ｍｍ程度である。この実視野Φ１ｍｍの領域内において、自由に動き回る６０μｍ程度の大きさの***を選別する作業は、非常に困難な作業である。一般に、良好***と推定される***は運動性が高いこと、及び、ＩＣＳＩ作業は短時間で行われる必要があることから、***選別作業では、比較的速く移動する***の形態を素早く観察して良好／不良を判断しなければならない。このような厳しい制約が課された作業環境であっても、顕微鏡システム１によれば、光学像で主に***の運動性を確認しながら、光学像よりも高い総合倍率で像面に投影された対象画像により***の形態を同時に確認することが可能となる。これにより、***の運動性と形態の両方に基づいて良好な***を適切かつ短時間で選別することができるため、受精成功率の向上を実現することができる。従って、顕微鏡システム１によれば、試料内の***の選別作業を効果的に支援することができる。

［第２の実施形態］
図１６は、対象画像の生成方法の別の例を説明するための図である。図１７は、接眼レンズ１０１から見える画像の別の例を示した図である。以下、図１６及び図１７を参照しながら、本実施形態について説明する。なお、本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムとも記す。）の構成は、顕微鏡システム１と同様である。

本実施形態は、複数の対象画像が像面に表示される点が、第１の実施形態とは異なっている。その他の点は、第１の実施形態と同様である。具体的には、図９に示す対象画像生成処理のステップＳ３３において、処理装置２００は、ステップＳ３２で行われた評価に基づいて複数の選別対象を決定する。選別対象の数は、例えば２つなど、予め決定されていてもよい。また、選別対象の数は、ステップＳ３２の評価に基づいて決定されてもよく、処理装置２００は、例えば、ある基準を上回っていると評価された選別候補の全てを選別対象に決定してもよい。

これにより、ステップＳ３４において、処理装置２００は、例えば、図１６に示すように、デジタル画像から複数の選別対象の領域を切り出して、複数の対象画像（対象画像Ｔ１、対象画像Ｔ２）を生成する。

本実施形態に係る顕微鏡システムによっても、対象画像が像面に光学像中の選別対象よりも大きなサイズで投影されるため、利用者による***の形態の判断を補助できることができる点、光学像と対象画像により***の運動性と形態の両方を同時に確認することができるため、***の運動性と形態の両方に基づいて良好な***を適切かつ短時間で選別することができる点は、第１の実施形態に係る顕微鏡システム１と同様である。また、本実施形態に係る顕微鏡システムでは、図１７に示すように、光学像Ｏ１に含まれる複数の***を選別対象として決定して、複数の対象画像（対象画像Ｔ１、対象画像Ｔ２）が光学像とともに表示される。このため、利用者による良否判断の基準を上回る良好***が早期に発見される可能性が高まるため、顕微鏡システム１よりも効率良く***を選別することができる。

［第３の実施形態］
図１８は、選別支援処理の別の例を示すフローチャートである。図１９は、画像表示処理の別の例を示すフローチャートである。図２０は、補助画像の生成方法の一例を説明するための図である。図２１は、接眼レンズ１０１から見える画像の更に別の例を示した図である。以下、図１８から図２１を参照しながら、本実施形態について説明する。なお、本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムとも記す。）の構成は、顕微鏡システム１と同様である。

本実施形態は、図８に示す選別支援処理の代わりに、図１８に示す選別支援処理が行われる点が、第１の実施形態とは異なっている。その他の点は、第１の実施形態と同様である。

図１８に示す選別支援処理では、顕微鏡システムは、試料の光学像を像面に投影し（ステップＳ５１）、デジタル画像を取得し（ステップＳ５２）、対象画像を生成する（ステップＳ５３）。なお、ステップＳ５１からステップＳ５３の処理は、図８のステップＳ２１からステップＳ２３の処理と同様である。

その後、顕微鏡システムは、対象画像に関する補助画像を生成する（ステップＳ５４）。ここでは、処理装置２００が補助画像を生成する。補助画像は、対象画像に関連する情報を利用者に提供する画像であり、典型的には、選別対象の評価など選別対象に関連する情報を利用者に提供する画像である。ただし、補助画像は、対象画像に関連する情報を提供する画像であればよく、選別対象に関連しない対象画像の総合倍率などの情報を利用者に提供する画像であってもよい。

ステップＳ５４では、処理装置２００は、例えば、図２０に示すように、まず、対象画像Ｔ１に基づいて選別対象を評価することで評価結果ＥＲを生成し、さらに、評価結果ＥＲに基づいて補助画像Ａ１を生成してもよい。なお、図２０では、補助画像Ａ１は、選別対象の運動性に関する評価情報Ｅ１と、選別対象中の空胞の位置又は領域を示すマーカーＭ１とを含み、さらに、空胞の数を示す情報を含んでいる。

また、補助画像Ａ１は、選別対象のＤＮＡ完全性（integrity）に関する評価情報を含んでもよい。即ち、補助画像Ａ１は、選別対象の質に関する評価情報を含んでもよく、評価結果ＥＲは運動性に関する評価結果に限らず、選別対象の任意の質に関する評価結果であってもよい。

なお、図２０では、対象画像Ｔ１に基づいて補助画像Ａ１を生成する例を示したが、補助画像Ａ１は、ステップＳ５３で対象画像Ｔ１を生成する過程で得られた情報（例えば、候補評価の結果）に基づいて生成されてもよい。

対象画像と補助画像が生成されると、顕微鏡システムは、対象画像と補助画像を像面に表示する（ステップＳ５５）。ここでは、処理装置２００が図１９に示す画像表示処理を行うことで、図２１に示すように、像面に対象画像Ｔ１と補助画像Ａ１が光学像Ｏ１と共に表示される。

画像表示処理では、処理装置２００は、まず、像面に配置される対象画像Ｔ１の総合倍率を決定し（ステップＳ６１）、次に、対象画像Ｔ１のサイズを決定し（ステップＳ６２）、さらに、像面に表示される対象画像Ｔ１の位置を決定する（ステップＳ６３）。なお、ステップＳ６１からステップＳ６３の処理は、図１０のステップＳ４１からステップＳ４３の処理と同様である。

さらに、処理装置２００は、像面に配置される補助画像Ａ１の位置を決定する（ステップＳ６４）。ステップＳ６４では、処理装置２００は、補助画像Ａ１の位置を対象画像Ｔ１との関係で決定してもよい。処理装置２００は、たとえば、例えば、補助画像Ａ１中のマーカーＭ１が対象画像Ｔ１中の注目領域を重ねるように、補助画像Ａ１と対象画像Ｔ１の位置関係を決定してもよい。即ち、処理装置２００は、決定された位置関係で補助画像Ａ１と対象画像Ｔ１を含む投影画像を生成する。

最後に、処理装置２００は、ステップＳ６３で決定した位置に、ステップＳ６１で決定した総合倍率でステップＳ６２で決定したサイズの対象画像Ｔ１を、また、ステップＳ６４で決定した位置に補助画像Ａ１を、表示する（ステップＳ６５）。即ち、処理装置２００は、ステップＳ６４で生成された投影画像を像面に投影する。ここでは、処理装置２００は、投影画像の各画素を投影装置１５３の画素に割り当てる。即ち、対象画像Ｔ１の各画素を、ステップＳ６１で決定した総合倍率とステップＳ６２で決定したサイズとステップＳ６３で決定した位置とに基づいて投影装置１５３の画素に割り当て、さらに、補助画像Ａ１の各画素を、ステップＳ６４で決定した位置に基づいて投影装置１５３の画素に割り当てる。その結果、投影装置１５３が、対象画像Ｔ１を、像面の光学像Ｏ１中の選別対象と重ならない位置に光学像中の選別対象よりも大きなサイズで投影し、且つ、補助画像Ａ１を像面の適切な位置に投影する。これにより、利用者は、図２１に示すように、光学像Ｏ１と対象画像Ｔ１と補助画像Ａ１を同時に確認することができる。

本実施形態に係る顕微鏡システムによっても、対象画像が像面に光学像中の選別対象よりも大きなサイズで投影されるため、利用者による***の形態の判断を補助できることができる点、光学像と対象画像により***の運動性と形態の両方を同時に確認することができるため、***の運動性と形態の両方に基づいて良好な***を適切かつ短時間で選別することができる点は、第１の実施形態に係る顕微鏡システム１と同様である。また、本実施形態に係る顕微鏡システムは、図２１に示すように、対象画像に関連する情報を提供する補助画像を像面に投影することで、利用者が行う***の良否判断をさらに支援することができる。特に、選別対象の注目位置又は領域を示すマーカーを光学像中の選別対象よりも大きなサイズを有する対象画像に重ねることで、光学像に重ねた場合には小さすぎて見づらいという問題を回避しながら、利用者に注目すべき部分を知らせることができる。従って、本実施形態に係る顕微鏡システムによれば、受精に適した***を高い精度で選別することが可能となるため、胚培養士間で生じる受精率の格差を抑えることができる。

図２２から図２５は、接眼レンズ１０１から見える画像の更に別の例を示した図である。補助画像に含まれる情報は、上述したように、評価情報Ｅ１とマーカーＭ１に限らない。図２２から図２５に示すように、その他の情報が含まれてもよい。

図２２に示す補助画像Ａ２は、評価情報Ｅ１とマーカーＭ１に加えて、マーカーＭ２を含んでいる。マーカーＭ２は、光学像Ｏ１中の選別対象の位置又は領域を示すマーカーであり、例えば、物体検出で得られた情報に基づいて生成されてもよい。マーカーＭ２が補助画像に含まれることで対象画像Ｔ１が光学像Ｏ１上のどの***についての画像であるかを利用者は容易に認識することが可能となる。従って、光学像Ｏ１で選別対象の運動性を確認しながら対象画像Ｔ１で選別対象の形態を確認する作業を容易に行うことができる。

図２３に示す補助画像Ａ３は、評価情報Ｅ１とマーカーＭ１とマーカーＭ２に加えて、スケールＳと倍率情報Ｍを含んでいる。対象画像Ｔ１の大きさを計測するスケールＳや対象画像Ｔ１の総合倍率を示す倍率情報Ｍが含まれることで、選別対象である***の各部の絶対的な大きさを把握することができる。また、注目部位（例えば、空胞）が***に占める割合の把握も容易になる。このため、例えば***がＷＨＯのガイドラインに示される要件を満たしているか否かの判断が容易になる。

図２４に示す補助画像Ａ４は、評価情報Ｅ１とマーカーＭ１とマーカーＭ２とスケールＳと倍率情報Ｍに加えて、患者情報Ｐを含んでいる。患者情報Ｐが含まれることで、誰の***を選別しているかを利用者が常に把握することができる。なお、患者情報Ｐは、識別装置８０で取得した識別情報を用いてデータベースサーバ２０から取得される。

図２５に示す補助画像Ａ５は、マーカーＭ２に加えて、対象画像Ｔ１と比較する参考画像Ｒ１を含んでもよい。参考画像Ｒ１は、例えば、過去の顕微授精で受精に成功した良好***の画像である。補助画像Ａ５に参考画像Ｒ１が含まれることで、利用者は、参考画像Ｒ１に含まれている***と対象画像Ｔ１に含まれている***（選別対象）を比較することが可能であり、比較結果を選別対象が良好***か否かの判断の参考にすることができる。

［第４の実施形態］
図２６は、表示装置３０への画像出力の一例を示した図である。以下、図２６を参照しながら、本実施形態について説明する。なお、本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムとも記す。）の構成は、顕微鏡システム１と同様である。

本実施形態は、像面に投影される対象画像と補助画像が表示装置３０にも表示される点が、第１の実施形態とは異なっている。その他の点は、第１の実施形態と同様である。なお、図２６に示すように、表示装置３０に表示される画像（対象画像Ｔ１と補助画像Ａ６）は、必ずしも像面に投影される画像（対象画像Ｔ１と補助画像Ａ４）と全く同じでなくてもよい。

本実施形態に係る顕微鏡システムによれば、複数名の胚培養士による共同作業が容易になる。具体的には、接眼レンズを覗いて***を選別している胚培養士に対して、表示装置３０に表示された画像を見ながら他の胚培養士が助言することが可能となる。このため、経験の浅い胚培養士を経験豊富な胚培養士が指導するなどの用途に利用することができる。

また、表示装置３０では、補助画像をより大きく表示することができる。つまり、より高い倍率で選別対象を拡大して表示することができる。従って、本実施形態に係る顕微鏡システムによれば、表示装置３０を確認することで、選別対象の形態をさらに詳細に観察して、受精に適した***をより高い精度で選別することができる。

なお、接眼レンズ１０１を用いた観察では光学像Ｏ１上に重ねられた対象画像Ｔ１が見にくい場合であっても、表示装置３０を用いた観察では、対象画像Ｔ１の背景を任意に調整することができるため、対象画像Ｔ１の視認性を確実に確保することができる。このため、光学像Ｏ１上の対象画像Ｔ１の視認性が悪い場合の予備的な手段として、表示装置３０に表示される画像を使用してもよい。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の顕微鏡システム、投影ユニット、及び、選別支援方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

上述した実施形態では、顕微鏡システム１を例示したが、顕微鏡システムの構成は、この例に限らない。例えば、図２７に示す顕微鏡システム２が用いられてもよい。顕微鏡システム２は、顕微鏡１００の代わりに顕微鏡４００を備える点が、顕微鏡システム１とは異なっている。顕微鏡４００は、顕微鏡本体４１０と鏡筒４２０の間に投影ユニット５００を備えている。

投影ユニット５００は、顕微鏡用の投影ユニットであり、図１に示す投影ユニット１５０に相当する投影部（スプリッタ１５１とレンズ１５２と投影装置１５３）と、図１に示すイメージングユニット１４０に相当するイメージング部（スプリッタ１４１とイメージング装置１４３）と、画像処理部５１０を含んでいる。画像処理部５１０は、図２に示す画像解析部２１０と画像生成部２２０と記憶部２３０として機能する。

投影ユニット５００及び顕微鏡システム２によっても、顕微鏡システム１と同様の効果を得ることができる。また、投影ユニット５００を用いることで既存の顕微鏡システムを拡張することで上述した効果を得ることができるため、既存の顕微鏡システムを有効活用することができる。

上述した実施形態では、***を選別する場合を例に説明したが、選別対象は***に限らない。なお、選別対象は、運動性と形態の両方に基づいて選択されるものであることが望ましい。

上述した実施形態では、投影装置１５３が像面に対象画像を投影する例を示したが、像面に対象画像を表示できればよく、投影装置１５３の代わりに像面に置かれた透過型の液晶デバイスが用いられてもよい。また、上述した実施形態では、対象画像が光学像中の選別対象よりも大きなサイズで像面に表示される例を示したが、対象画像は、光学像が形成される像面に、光学像中の選別対象と同等以上のサイズで表示されてもよい。

また、上述した実施形態では、選別対象の各々に対して１つの対象画像を生成する例を示したが、選別対象の各々に対して２つ以上の対象画像を生成してもよい。例えば、***の全体の領域を切り出した対象画像と、***の頭部の領域のみを切り出した対象画像を生成し、これらを異なる総合倍率で像面に配置してもよい。これにより、***の特定部位をより高い倍率で観察しながら、***の全体も適切な倍率で観察することができる。

なお、対象画像は、例えば、イメージング装置１４３で撮影した動画のフレームレートに基づいて、定期的に更新してもよく、更新頻度は設定に応じて変更可能であってもよい。即ち、対象画像は、動画として像面に投影されてもよく、静止画として投影されてもよい。静止画として対象画像を投影することで、利用者は***の形態をじっくりと観察することができる。また、***画として対象画像を投影することで、補助画像の作成が遅延したために補助画像が対象画像に対して所定位置からずれた位置に投影されるといった事態を回避することができる。一方で、動画として対象画像を投影することで、利用者は撮影タイミングに左右されることなく***の形態を詳細に観察することができる。これは換言すると、処理装置が選別対象を追跡することを意味している。また、動画として投影する場合も更新頻度を調整することで補助画像の作成の遅延によって生じる不都合を回避することができる。

本明細書において、“Ａに基づいて”という表現は、“Ａのみに基づいて”を意味するものではなく、“少なくともＡに基づいて”を意味し、さらに、“少なくともＡに部分的に基づいて”をも意味している。即ち、“Ａに基づいて”はＡに加えてＢに基づいてもよく、Ａの一部に基づいてよい。

１、２ 顕微鏡システム
１０ 顕微鏡コントローラ
２０ データベースサーバ
３０ 表示装置
４０、５０、６０、７０ 入力装置
４１、４２ ハンドル
４３、４４ ピペット
８０ 識別装置
１００ 顕微鏡
１０１ 接眼レンズ
１０２、１０２ａ～１０２ｃ 対物レンズ
１０３ 結像レンズ
１０４ モジュレータ
１０５、１２５ ＤＩＣプリズム
１０６ アナライザ
１１０ 顕微鏡本体
１１１ ステージ
１１２ レボルバ
１２０ 透過照明系
１２１ 光源
１２２ ユニバーサルコンデンサ
１２３ ポラライザ
１２４ ターレット
１２６ 開口板
１２７ 光学素子
１２７ａ スリット板
１２７ｂ 偏光板
１２８ コンデンサレンズ
１３０ レーザアシステッドハッチングユニット
１３１、１４１、１５１ スプリッタ
１３３ スキャナ
１３５ レーザ
１４０ イメージングユニット
１４３ イメージング装置
１４３Ｒ 撮影領域
１５０ 投影ユニット
１５３ 投影装置
１６０ 中間変倍ユニット
１７０ 接眼鏡筒
２００ 処理装置
２０１ プロセッサ
２０２ 記憶装置
２０３ 入力インターフェース
２０４ 出力インターフェース
２０５ 通信制御装置
２０６ バス
２１０ 画像解析部
２２０ 画像生成部
２３０ 記憶部
３００ 試料
３１０ シャーレ
４００ 顕微鏡
４１０ 顕微鏡本体
４２０ 鏡筒
５００ 投影ユニット
５１０ 画像処理部
Ａ１～Ａ６ 補助画像
Ｂ ボックス
Ｄ１ デジタル画像
ＥＲ 評価結果
Ｅ１ 評価情報
Ｏ１ 光学像
Ｍ 倍率情報
Ｍ１、Ｍ２ マーカー
Ｐ 患者情報
Ｔ１、Ｔ２ 対象画像
Ｒ１ 参考画像
Ｓ スケール

Claims (22)

1. 選別対象を含む試料の光学像を形成する顕微鏡と、
   前記試料のデジタル画像を取得するイメージング装置と、
   前記デジタル画像に対する物体検出に基づいて前記選別対象の画像である対象画像を生成する処理装置と、
   前記対象画像を、前記光学像が形成される像面に、前記光学像中の選別対象よりも大きなサイズで表示する光学装置と、を備える
   ことを特徴とする顕微鏡システム。
2. 請求項１に記載の顕微鏡システムにおいて、
   前記処理装置は、前記物体検出で検出された選別候補を追跡する
   ことを特徴とする顕微鏡システム。
3. 請求項１又は請求項２に記載の顕微鏡システムにおいて、
   前記処理装置は、前記物体検出で検出された選別候補の中から前記選別対象を決定する
   ことを特徴とする顕微鏡システム。
4. 請求項３に記載の顕微鏡システムにおいて、
   前記処理装置は、前記選別候補の中から、前記選別候補の運動性に関する評価に基づいて、前記選別対象を決定する
   ことを特徴とする顕微鏡システム。
5. 請求項３又は請求項４に記載の顕微鏡システムにおいて、
   前記処理装置は、前記選別候補の中から、前記選別候補が拘束されているか否かの評価に基づいて、前記選別対象を決定する
   ことを特徴とする顕微鏡システム。
6. 請求項４又は請求項５に記載の顕微鏡システムにおいて、
   前記処理装置は、学習済みモデルを用いた画像分類に基づいて前記評価を算出する
   ことを特徴とする顕微鏡システム。
7. 請求項３乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、
   前記処理装置は、前記選別候補の中から、前記選別候補の位置に基づいて、前記選別対象を決定する
   ことを特徴とする顕微鏡システム。
8. 請求項１乃至請求項７のいずれか１項に記載の顕微鏡システムにおいて、
   前記処理装置は、学習済みモデルを用いて前記物体検出を行う
   ことを特徴とする顕微鏡システム。
9. 請求項１乃至請求項８のいずれか１項に記載の顕微鏡システムにおいて、
   前記処理装置は、前記対象画像に関する補助画像を生成し、
   前記光学装置は、前記対象画像とともに前記補助画像を前記像面に表示する
   ことを特徴とする顕微鏡システム。
10. 請求項９に記載の顕微鏡システムにおいて、
    前記補助画像は、前記選別対象の運動性に関する評価情報を含む
    ことを特徴とする顕微鏡システム。
11. 請求項９又は請求項１０に記載の顕微鏡システムにおいて、
    前記補助画像は、前記対象画像中の注目位置又は領域を示すマーカーを含む
    ことを特徴とする顕微鏡システム。
12. 請求項１１に記載の顕微鏡システムにおいて、
    前記補助画像は、前記対象画像中の***の空胞を示すマーカーを含む
    ことを特徴とする顕微鏡システム。
13. 請求項９乃至請求項１２のいずれか１項に記載の顕微鏡システムにおいて、
    前記補助画像は、前記光学像中の前記選別対象の位置又は領域を示すマーカーを含む
    ことを特徴とする顕微鏡システム。
14. 請求項９乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、
    前記補助画像は、前記対象画像の総合倍率であって物体面における前記選別対象の大きさに対する総合倍率を示す倍率情報を含む
    ことを特徴とする顕微鏡システム。
15. 請求項９乃至請求項１４のいずれか１項に記載の顕微鏡システムにおいて、
    前記補助画像は、前記対象画像に付されたスケールを含む
    ことを特徴とする顕微鏡システム。
16. 請求項９乃至請求項１５のいずれか１項に記載の顕微鏡システムにおいて、
    前記補助画像は、前記対象画像と比較する参考画像を含む
    ことを特徴とする顕微鏡システム。
17. 請求項１乃至請求項１６のいずれか１項に記載の顕微鏡システムにおいて、
    前記対象画像は、前記光学像内の前記選別対象と重ならない位置に表示される
    ことを特徴とする顕微鏡システム。
18. 請求項１７に記載の顕微鏡システムにおいて、
    前記対象画像は、前記デジタル画像に基づいて決定された位置に表示される
    ことを特徴とする顕微鏡システム。
19. 請求項１乃至請求項１８のいずれか１項に記載の顕微鏡システムにおいて、
    前記像面に表示される前記対象画像の総合倍率であって物体面における前記選別対象の大きさに対する総合倍率は、前記物体面における前記選別対象の大きさに応じて決定される
    ことを特徴とする顕微鏡システム。
20. 請求項１乃至請求項１８のいずれか１項に記載の顕微鏡システムにおいて、
    前記像面に表示される前記対象画像の総合倍率であって物体面における前記選別対象の大きさに対する総合倍率は、前記光学像の総合倍率であって前記物体面における前記試料の大きさに対する総合倍率に応じて決定される
    ことを特徴とする顕微鏡システム。
21. 顕微鏡に装着される投影ユニットであって、
    試料のデジタル画像を取得するイメージング部と、
    前記デジタル画像に対する物体検出に基づいて前記試料に含まれる選別対象の画像である対象画像を生成する処理部と、
    前記対象画像を、前記顕微鏡が形成する前記試料の光学像が形成される像面に、前記光学像中の選別対象より大きなサイズで表示する投影部と、を備える
    ことを特徴とする投影ユニット。
22. 選別対象を含む試料の光学像を形成し、
    前記試料のデジタル画像を取得し、
    前記デジタル画像に対する物体検出に基づいて前記選別対象の画像である対象画像を生成し、
    前記対象画像を、前記光学像が形成される像面に、前記光学像中の選別対象よりも大きなサイズで表示する
    ことを特徴とする選別支援方法。

Images