JP7163079B2 - 撮像システム、画像構築方法 - Google Patents

Description

本明細書の開示は、撮像システム、及び、画像構築方法に関する。

病理検査の分野では、試料の小領域の拡大画像を順次撮影し、複数の画像を継ぎ目無く貼り合わせるバーチャルスライド画像（WSI: Whole Slide Imageともいう。）を構築する装置が提案されている。このような装置は、例えば、特許文献１、特許文献２に記載されていて、高い解像度と広い視野範囲を両立することが可能である。

特開平１１－２６４９３７号公報 特開２０１１－１１８１０７号公報

しかしながら、従来の装置では、画像構築に多くの時間がかかってしまうため、画像構築に要する時間の短縮が望まれている。

以上のような実情から、本発明の一側面に係る目的は、良好な画質を維持しながら画像構築に要する時間を短縮してスループットを改善することである。

本発明の一態様に係る撮像システムは、光学像を電気信号に変換する矩形形状の撮像素子を含み、前記電気信号に基づいて撮像画像を取得する撮像装置と、第１の対物レンズを含み、前記第１の対物レンズのＯＦＮ（Objective Field Number）に対応する物体面上の領域である円形の実視野領域の光学像を前記撮像素子内に形成する光学系と、前記第１の対物レンズの光軸に対して前記物体面を移動する電動ステージと、前記電動ステージ及び前記撮像装置を制御することで取得された複数の撮像画像に含まれる複数の要素画像を貼り合わせることによって前記実視野領域よりも広い領域の画像である第１の広域画像を構築する制御装置と、を備え、前記複数の撮像画像は、前記物体面の互いに異なる複数の領域の画像であり、前記複数の要素画像は、複数のハニカムセル形状の六角形の画像であり、前記複数の要素画像の各々は、前記複数の撮像画像の各々の一部分であり、且つ、複数の実視野領域の画像の各々に内接し、前記複数の実視野領域に対応する前記第１の対物レンズの前記光軸の複数の位置は、互いに異なる。

本発明の一態様に係る画像構築方法は、第１の対物レンズのＯＦＮ（Objective Field Number）に対応する物体面上の領域である円形の実視野領域の光学像を矩形形状の撮像素子内に形成し、前記撮像素子で前記光学像を変換した電気信号に基づいて撮像画像を取得し、複数の撮像画像に含まれる複数の要素画像を貼り合わせることによって前記実視野領域よりも広い領域の画像である第１の広域画像を構築し、前記複数の撮像画像は、前記物体面の互いに異なる複数の領域の画像であり、前記複数の要素画像は、複数のハニカムセル形状の六角形の画像であり、前記複数の要素画像の各々は、前記複数の撮像画像の各々の一部分であり、且つ、複数の実視野領域の画像の各々に内接し、前記複数の実視野領域に対応する前記第１の対物レンズの光軸の複数の位置は、互いに異なる。

上記の態様によれば、良好な画質を維持しながら画像構築に要する時間を短縮してスループットを改善することができる。

撮像システム１の構成を示した図である。 対物レンズ２１を光軸上に配置した場合における標本Ｓｍから撮像素子３１までの間の光線図である。 対物レンズ２２を光軸上に配置した場合における標本Ｓｍから撮像素子３１までの間の光線図である。 制御装置４０のハードウェア構成を示した図である。 従来の撮像システムにおける撮像素子９１とイメージサークル９２の関係を示した図である。 撮像システム１における撮像素子３１とイメージサークル３２の関係を示した図である。 複数の撮像画像の位置の関係を説明するための図である。 広域画像Ｗ内における要素画像Ｅの配列を示した図である。 要素画像の貼り合わせ方法の一例を示した図である。 要素画像の貼り合わせ方法の別の例を示した図である。 要素画像の貼り合わせ方法のさらに別の例を示した図である。 要素画像の貼り合わせ方法のさらに別の例を示した図である。 画像構築方法のフローチャートの一例である。 撮像画像内における要素画像の向きについて説明するための図である。 要素画像の向きと貼り合わせ方向の関係を示した図である。 画像構築方法のフローチャートの別の例である。 複数の第２の撮像画像の位置の関係を説明するための図である。 第３の広域画像の表示例である。 第３の広域画像の別の表示例である。 第１の広域画像を構築する各実施例の数値データを示した表である。 第１の広域画像を構築する各実施例の追加の数値データを示した表である。 第２の広域画像を構築する各実施例の数値データを示した表である。 広域画像を構築する参考例の数値データを示した表である。

図１は、撮像システム１の構成を示した図である。撮像システム１は、顕微鏡装置１０で取得した複数の画像を用いることで広い領域の画像を構築するシステムである。撮像システム１は、特に限定しないが、例えば、病理検査で用いられるバーチャルスライド画像を構築するバーチャルスライドシステムであってもよい。

撮像システム１は、図１に示すように、顕微鏡装置１０と制御装置４０を備えている。撮像システム１は、表示装置５０と、入力装置６０を備えてもよく、さらに、ネットワーク７０を経由して制御装置４０に接続されている記録装置８０を備えてもよい。

顕微鏡装置１０は、ステージ１１と、ステージ駆動部１２と、光源（光源１３、光源１４）と、図示しない照明光学系と、撮像光学系２０と、撮像装置３０を備えている。撮像装置３０は、撮像素子３１を含んでいる。

ステージ１１は、撮像対象の物体である標本Ｓｍが置かれるステージであり、制御装置４０によってその駆動が制御される電動ステージである。ステージ１１は、撮像光学系２０の光軸上に配置された対物レンズの光軸に対して物体面を移動する。なお、ステージ１１は、対物レンズの光軸と直交する方向（Ｘ方向及びＹ方向）に物体面を移動するだけではなく、対物レンズの光軸方向（つまり、Ｚ方向）に物体面を移動してもよい。

ステージ駆動部１２は、ステージ１１を動かすモータを含むアクチュエータである。モータは、例えば、ステッピングモータ、超音波モータなどである。ステージ駆動部１２には、移動量を検出するためのエンコーダが含まれてもよい。ステージ駆動部１２は、制御装置４０からの命令に従ってステージ１１を水平方向（Ｘ方向及びＹ方向）へ動かすことで、撮像領域を変更する走査部である。撮像領域は、撮像装置３０で撮像される領域のことである。また、ステージ駆動部１２は、制御装置４０からの命令に従ってステージ１１を垂直方向へ動かすことで、対物レンズとステージ１１の間の距離を変化させて、それによって、フォーカス調整を行う準焦部でもある。

光源１３は、落射照明用の光源である。光源１３は、例えば、水銀ランプ、キセノンランプなどのランプ光源である。また、光源１３は、ライトガイド光源で代用されてもよい。光源１４は、透過照明用の光源である。光源１４は、例えば、ＬＥＤ光源であるが、ハロゲン光源であってもよい。なお、光源１３及び光源１４の各々は、特定の種類の光源に限らない。光源１３及び光源１４の各々は、レーザ光源であってもよい。

撮像光学系２０は、標本Ｓｍの光学像を撮像装置３０に投影する光学系である。撮像光学系２０は、図１に示すように、切り替えて使用される対物レンズ２１と対物レンズ２２を含んでいる。撮像光学系２０は、さらに、図２及び図３に示すように、結像レンズ２３と、リレー光学系２４と、開口絞り２５を備えている。

図２は、対物レンズ２１を光軸上に配置した場合における標本Ｓｍから撮像素子３１までの間の光線図である。図３は、対物レンズ２２を光軸上に配置した場合における標本Ｓｍから撮像素子３１までの間の光線図である。なお、図２及び図３の実線は軸上マージナル光線を示し、破線は最軸外の主光線を示している。

対物レンズ２１、対物レンズ２２は、結像レンズ２３と組み合わせて使用される無限遠補正型の顕微鏡対物レンズである。対物レンズ２１と対物レンズ２２は、乾燥系対物レンズであっても、液浸系対物レンズであってもよい。対物レンズ２１は、撮像システム１の第１の対物レンズであり、対物レンズ２２よりも高い倍率を有し、対物レンズ２２よりも高い最大開口数を有している。対物レンズ２２は、撮像システム１の第２の対物レンズであり、対物レンズ２１よりも低い倍率を有し、対物レンズ２１よりも低い最大開口数を有している。対物レンズ２１のＯＦＮ（Objective Field Number）と対物レンズ２２のＯＦＮは同じであり、例えば、22である。なお、ＯＦＮとは、対物レンズの設計において、その対物レンズと組み合わせる接眼レンズの最大視野数のことである。２０倍の対物レンズのＯＦＮが22であるとき、組み合わされる接眼レンズの視野数は22であり、物体側の観察範囲はφ1.1[mm]となる。

結像レンズ２３は、対物レンズからの光を集光し、標本Ｓｍの一次像を形成する。リレー光学系２４は、対物レンズと結像レンズ２３により形成された一次像を撮像素子３１に投影する光学系であり、前群２４ａと、後群２４ｂを含んでいる。開口絞り２５は、前群２４ａと後群２４ｂの間にある瞳共役位置に配置された可変絞りである。開口絞り２５の径を変更することで、対物レンズの開口数を制限することができる。なお、瞳共役位置とは、対物レンズの瞳位置と光学的に共役な位置のことである。

撮像光学系２０は、実視野領域の光学像を撮像装置３０に含まれる撮像素子３１内に形成する。この点については、後に詳述する。なお、実視野領域とは、対物レンズのＯＦＮに対応する物体面上の領域のことである。

撮像装置３０は、撮像素子３１を備えるデジタルカメラである。撮像素子３１は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどである。撮像素子３１は、矩形形状を有している。撮像素子３１は、撮像光学系２０が形成した光学像を電気信号に変換し、撮像装置３０は、その電気信号に基づいて撮像画像を取得し、取得した撮像画像を制御装置４０へ出力する。

撮像装置３０は、例えば、撮像素子３１から出力されたアナログ信号をデジタル信号に変換してＲＡＷデータを生成するＡＤ変換に加えて、ＯＢ減算、ＷＢ補正、デモザイキングなどの画像処理を行うことにより撮像画像を取得してもよい。なお、撮像画像とは、撮像素子３１から物体面に向かって光線を逆追跡したときに撮像素子３１の像が投影される物体面上の領域の画像である。また、撮像素子３１から物体面に向かって光線を逆追跡したときに撮像素子３１の像が投影される物体面上の領域を撮像領域という。

制御装置４０は、撮像システム１の動作を制御する装置であり、例えば、ステージ１１の駆動制御、撮像装置３０の撮像制御、撮像画像に対する画像処理などを行う。制御装置４０は、例えば、図４に示すような標準的なコンピュータであってもよい。

図４は、制御装置４０のハードウェア構成を示した図である。制御装置４０は、図４に示すように、プロセッサ４１と、メモリ４２と、入出力インタフェース４６と、ネットワークインタフェース４７と、バス４８を備えている。制御装置４０は、さらに、記録媒体４３と、可搬記録媒体４５を収容する可搬記録媒体駆動装置４４を備えてもよい。なお、メモリ４２、記録媒体４３、及び、可搬記録媒体４５は、それぞれプログラムを記憶した非一過性のコンピュータ読取可能記憶媒体の一例である。

プロセッサ４１は、例えば、ＣＰＵ（Central Processing Unit）を含む、任意の処理回路である。プロセッサ４１は、メモリ４２又は記録媒体４３に格納されているプログラムを実行してプログラムされた処理を行う。メモリ４２は、プロセッサ４１のワーキングメモリである。メモリ４２は、ＲＡＭ（Random Access Memory）等の任意の半導体メモリである。記録媒体４３は、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disc Drive）等の不揮発性のメモリである。

可搬記録媒体駆動装置４４は、メモリ４２又は記録媒体４３に格納されているデータを可搬記録媒体４５に出力することができ、また、可搬記録媒体４５からプログラム及びデータ等を読み出すことができる。可搬記録媒体４５は、持ち運びが可能な任意の記録媒体である。可搬記録媒体４５には、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。

入出力インタフェース４６は、外部装置（顕微鏡装置１０、表示装置５０、入力装置６０など）と情報をやり取りする。入出力インタフェース４６は、例えば、撮像装置３０から出力された撮像画像を取得する。また、入出力インタフェース４６は、ステージ１１の駆動を制御するための命令、撮像装置３０による撮像を制御するための命令などを顕微鏡装置１０へ出力する。

ネットワークインタフェース４７は、ネットワークへの情報の入出力を行う。ネットワークインタフェース４７としては、ＮＩＣ（Network Interface Card）、無線ＬＡＮ（Local Area Network）カード等が採用され得る。バス４８は、プロセッサ４１、メモリ４２、記録媒体４３等を、相互にデータの授受可能に接続する。

図４に示す構成は、制御装置４０のハードウェア構成の一例である。制御装置４０はこの構成に限定されるものではない。制御装置４０は、汎用装置であっても専用装置であってもよい。
表示装置５０は、例えば、液晶ディスプレイ、有機ＥＬ（OLED）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどである。

入力装置６０は、利用者の操作に応じた操作信号を制御装置４０へ出力する。入力装置６０は、例えば、キーボードであるが、マウス、ジョイスティック、タッチパネル、スタイラスなどを含んでもよい。

記録装置８０は、ネットワーク７０を経由してアクセス可能なオンラインストレージサーバである。記録装置８０は、クラウドストレージサービスによって提供されるストレージ領域であってもよい。ネットワーク７０は、例えば、インターネットであるが、専用回線などの他のネットワークであってもよい。

以上のように構成された撮像システム１では、制御装置４０は、まず、ステージ１１及び撮像装置３０を制御することで、複数の撮像画像を取得する。この複数の撮像画像は、物体面の互いに異なる複数の領域の画像である。その後、制御装置４０は、取得した複数の撮像画像に含まれる複数の要素画像を貼り合わせることによって実視野領域よりも広い領域の画像である広域画像を構築する。つまり、要素画像は、広域画像を構成する画像であり、広域画像に含まれる。その複数の要素画像の各々は、撮像装置３０が取得した複数の撮像画像の各々の一部分であり、また、複数の実視野領域の画像の各々の少なくとも一部分である。ここで、この複数の実視野領域の画像に対応する対物レンズアダプタ本体２１の光軸の複数の位置は、互いに異なる。これにより、撮像システム１は、従来のシステムと比較して、良好な画質を維持しながら広域画像の構築に要する時間を短縮して、スループットを改善することができる。以下、その理由について詳細に説明する。

図５は、従来の撮像システムにおける撮像素子９１とイメージサークル９２の関係を示した図である。従来の撮像システムでは、図５（ａ）に示すように、撮像素子９１全体を覆うようにイメージサークル９２を形成することが通常である。イメージサークル９２は、実視野領域２０１の光学像のことであり、実視野領域２０１は、対物レンズのＯＦＮに対応する物体面上の領域である。つまり、物体側では、図５（ｂ）に示すように、実視野領域２０１内に撮像領域２００が設けられるのが通常である。なお、実視野領域の直径をFOV（Field Of View）という。

実視野領域２０１については、その外側の領域に比べて良好な画質の光学像が得られる。このため、実視野領域２０１内に撮像領域２００を設けることで中心から周辺まで高い画質を有する撮像画像を得ることが可能である。従って、従来の撮像システムでは、複数の画像を貼り合わせて広域画像を構築する場合に、顕微鏡装置で取得した撮像画像全体を無駄なく利用することができる。

一方で、円形の実視野領域２０１内に矩形の撮像領域２００を収めようとすると、実視野領域２０１の利用効率が低くなってしまう。つまり、撮影で良好な画質の光学像を得ることができる領域を有効に活用することができない。このため、撮影回数が増加してしまい、その結果、広域画像の構築に時間がかかってしまう。

図６は、撮像システム１における撮像素子３１とイメージサークル３２の関係を示した図である。撮像システム１では、図６（ａ）に示すように、撮像光学系２０はイメージサークル３２を撮像素子３１内に形成する。なお、イメージサークル３２は、対物レンズ２１のＯＦＮに対応する物体面上の領域である実視野領域１０１の光学像である。つまり、物体側では、図６（ｂ）に示すように、撮像領域１００内に実視野領域１０１が設けられる。

イメージサークル３２を撮像素子３１内に形成することで、実視野領域１０１全体を画像化することができる。つまり、撮影で良好な画質の光学像が得られる領域を有効に活用することができる。このため、少ない撮影回数で広域画像の構築に必要な領域の画像を得ることが可能であり、その結果、従来よりも短い時間で広域画像を構築することができる。

また、撮像システム１では、制御装置４０は、複数の要素画像を貼り合わせることによって広域画像を構築する。ここで、複数の要素画像の各々は、実視野領域の画像の少なくとも一部分であるので、良好な画質を有している。広域画像は、良好な画質を有する複数の要素画像を貼り合わせて構築されるため、良好な画質を有している。

以上のように、撮像システム１では、撮像光学系２０がイメージサークル３２を撮像素子３１内に形成し、制御装置４０が複数の要素画像を貼り合わせて広域画像を構築することで、良好な画質を維持しながら画像構築に要する時間を短縮してスループットを改善することができる。

撮像システム１では、従来と同じ大きさの撮像素子が使用される場合、イメージサークルを撮像素子内に形成するために、従来の撮像システムよりも低い投影倍率で実視野領域の光学像を撮像装置３０へ投影する。このとき、従来よりも倍率の低い対物レンズを使用するのではなく、従来よりもリレー倍率の低いリレー光学系２４を使用することで、投影倍率を低くすることが望ましい。又は、撮像光学系２０がリレー光学系２４を含まない場合には、結像レンズ２３の焦点距離を従来よりも短く設計することで、投影倍率を低くすることが望ましい。

これにより、従来の撮像システムと同じ倍率の対物レンズを使用しながら投影倍率を低くすることができるため、開口数が低下することがなく解像力を維持することが可能となる。従って、撮像システム１によれば、病理検査等で要求される解像力を確保しながら、スループットを改善することができる。

なお、撮像素子３１のサイズに応じてリレー光学系２４の倍率が調整可能であれば、さらに望ましい。このため、リレー光学系２４は、ズーム光学系であることが望ましい。又は、リレー光学系２４は、例えば、スライダなどの切替機構により、リレー倍率の異なる他のリレー光学系と交換可能に、撮像光学系２０内に設けられることが望ましい。

撮像システム１では、撮影で良好な画質の光学像が得られる領域を有効に活用するためには、実視野領域全体を画像化するだけではなく、実視野領域の画像のできる限り広い範囲を貼り合わせに用いることが望ましい。また、広域画像を構成する複数の要素画像の画質を一定に維持するためには、複数の要素画像はできる限り同じ形状であることが望ましい。

このため、複数の要素画像は、複数のハニカムセル形状の画像であることが望ましい。要素画像の形状がハニカムセル形状であれば、円形の実視野領域の画像の広い範囲を利用しながら、均質なハニカム構造を有する広域画像を構築することができる。ただし、複数の要素画像は、隙間なく貼り合わせることができる限り、その他の形状の画像であってもよい。

なお、ハニカムセル形状は、正六角形形状を含んでいる。正六角形は、平面充填が可能な正多角形のうち最も円形に近い正多角形である。要素画像が正六角形形状であれば、平面充填可能な他の正多角形（正三角形、正方形）形状である場合よりも、実視野領域の画像を有効に活用することができる。例えば、図６に示すように、撮像画像のうちの、イメージサークル３２に内接した正六角形の領域３３（実視野領域１０１に内接した要素画像領域１０２）に対応する画像を要素画像してもよい。

また、それぞれハニカムセル形状を有する複数の要素画像のうちの１つの要素画像を第１の要素画像とし、複数の要素画像のうちの第１の要素画像を取り囲む６つの要素画像を６つの第２の要素画像とし、第１の要素画像を一部分として含む撮像画像を取得したときの対物レンズの光軸の位置を第１の位置とする。このとき、撮像装置３０は、図７に示すように、第１の要素画像を含む撮像画像を取得したときの光軸の位置である第１の位置から等距離にある６つの第２の位置のそれぞれに光軸がある状態で撮像することで、６つの撮像画像を取得してもよい。上述した６つの第２の要素画像の各々は、この６つの撮像画像の各々の一部分である。
また、第１の位置と６つの第２の位置のすべては互いに等距離に配置されることが望ましい。

図７は、複数の撮像画像の位置の関係を説明するための図である。図７には、第１の要素画像を含む撮像画像に対応する撮像領域１１０と、６つの第２の要素画像を含む６つの撮像画像に対応する撮像領域（撮像領域１２０、撮像領域１３０、撮像領域１４０、撮像領域１５０、撮像領域１６０、撮像領域１７０）と、の位置関係が示されている。撮像位置Ａ１は、第１の要素画像を含む撮像画像を取得したときの光軸の位置、つまり、第１の位置である。撮像位置Ａ２から撮像位置Ａ７は、６つの第２の要素画像を含む撮像画像を取得したときの光軸の位置、つまり、６つの第２の位置である。図７に示すように、撮像位置Ａ２から撮像位置Ａ７は、撮像位置Ａ１を中心とする半径Ｐの円Ｃ上に等間隔（距離Ｐ）に整列している。また、実視野領域１１１から実視野領域１７１のそれぞれに内接する要素画像領域１１２から要素画像領域１７２は、物体面上で隙間なく配列されている。また、互いに隣接する３つの要素画像領域に対応する３つの撮像位置（例えば、撮像位置Ａ１、Ａ２、Ａ３）は、正三角形の頂点に位置する。

このように、６つの第２の要素画像を含む６つの撮像画像の中心が第１の要素画像の中心まで等距離にあれば、要素画像の形状であるハニカムセル形状は、完全な正六角形形状に限らず、正六角形形状から変形した形状であってもよい。これは、この条件を満たす限り、要素画像が正六角形形状である場合と同様に、高い移動の自由度、及び、対象物の形状に応じた無駄の少ない走査が実現可能となるからである。なお、移動の自由度、無駄の少ない走査については、後に詳述する。

図８は、広域画像Ｗ内における要素画像Ｅの配列を示した図である。撮像システム１によれば、図８に示すように、ハニカムセル形状の要素画像Ｅを貼り合わせて広域画像Ｗを形成することで、画質とスループットをさらに高いレベルで両立することができる。

撮像システム１では、制御装置４０は、ハニカム形状の複数の要素画像を隙間なく貼り合わせるために、貼り合わせ位置を算出し、算出された貼り合わせ位置で複数の要素画像を貼り合わせる。ただし、貼り合わせ位置の算出方法は特に限定しない。貼り合わせ位置は、顕微鏡装置１０のエンコーダからの出力によって特定される座標情報に基づいて算出してよい。また、貼り合わせ位置は、顕微鏡装置１０で取得した撮像画像に基づいて算出してもよい。その際、例えば、ＳＡＤ（Sum of Absolute Differences）、ＳＳＤ（Sum of Squared Differences）、ＮＣＣ（Normalized Cross Correlation）、又は、ＰＯＣ（Phase-Only Correlation）を評価関数としたマッチング技術を用いてもよい。

マッチング技術を用いて貼り合わせ位置を決定する場合、撮像画像中のマッチングに利用する部分については、特に限定しない。制御装置４０は、例えば、図９に示すように、貼り合わせる２つの要素画像（要素画像Ｅ１、要素画像Ｅ２）を含む２つの撮像画像（撮像画像Ｍ１、撮像画像Ｍ２）の重複部分Ｄ１に基づいて、貼り合わせ位置を決定してもよい。また、図１０に示すように、重複部分Ｄ１のうちの２つの実視野画像（実視野画像Ｆ１、実視野画像Ｆ２）の重複部分Ｄ２に基づいて、貼り合わせ位置を決定してもよい。図９及び図１０では、貼り合わせる２つの要素画像（要素画像Ｅ１、要素画像Ｅ２）が全く重なっていなくても貼り合わせ位置を決定することができるため、広域画像の構築に必要な領域の画像をより短時間で取得することが可能となる。さらに、２つの要素画像が部分的に重なっている場合には、図１１に示すように、重複部分Ｄ１のうちの２つの要素画像の重複部分Ｄ３に基づいて、貼り合わせ位置を決定してもよい。また、図１２に示すように、２つの要素画像が部分的に重なっている状態で、２つの実視野画像の重複部分Ｄ４に基づいて、貼り合わせ位置を決定してもよい。

撮像システム１が満たすことが望ましい条件式について説明する。
撮像素子３１が矩形形状を有し、且つ、ハニカムセル形状が正六角形形状である場合には、撮像システム１は、下記の条件式（１）を満たすことが望ましい。ただし、Ｈは、複数の要素画像の各々に対応する撮像素子３１上の正六角形形状の領域の対角長である。Ｄは、撮像素子３１の短辺の長さである。
０．７≦Ｈ／Ｄ≦１．２ （１）

条件式（１）を満たすことで、実視野領域の画像を有効に活用することができる。Ｈ／Ｄが下限値を下回ると、要素画像領域が実視野領域に対して小さくなりすぎてしまう。また、Ｈ／Ｄが上限値を上回ると、要素画像領域の光学像が撮像素子３１に対して大きくなりすぎてしまう。

撮像システム１は、条件式（１）に加えて、下記の条件式（２）及び条件式（３）を満たすことがさらに望ましい。ただし、Ｐは、第１の位置と第２の位置の間の距離ある。Ｍは、撮像光学系２０の倍率である。Ｓは、図１１及び図１２に示すように、第１の位置と第２の位置を結ぶ線分上で、第１の要素画像に対応する物体面上の領域と第２の要素画像に対応する物体面上の領域が重なり合う長さである。

条件式（２）及び条件式（３）を満たすことで、重複領域の長さＳが適度な長さに設定される。このため、貼り合わせ精度を確保しながら、過剰な重複撮影を防止することができるため、撮影回数を抑えることができる。（Ｈ／Ｍ－Ｓ）／（Ｈ／Ｍ）が下限値を下回ると、要素画像が互いに過剰に重複することになるため、撮影回数が増加してしまう。（Ｈ／Ｍ－Ｓ）／（Ｈ／Ｍ）が上限値を上回ると、要素画像間に隙間ができてしまう。

撮像システム１で行われる画像構築処理の手順について説明する。
図１３は、撮像システム１が行う画像構築方法のフローチャートの一例である。例えば、撮像システム１の利用者が入力装置６０を操作し、制御装置４０のプロセッサ４１が所定のアプリケーションプログラムを実行することで、図１３に示す処理が開始される。

まず、制御装置４０は、広域画像として画像化すべき領域の領域情報（以降、単に、広域画像の領域情報と記す。）を取得する（ステップＳ１）。ここでは、例えば、利用者が入力装置６０を用いて標本Ｓｍ上の領域を指定し、利用者が指定した領域の情報を広域画像として画像化する領域の領域情報として制御装置４０が取得する。

次に、制御装置４０は、撮像位置を決定する（ステップＳ２）。ここでは、ステップＳ１で取得した領域情報に基づいて、広域画像を構築するための複数の撮像位置を決定する。撮像位置は、例えば、条件式（２）及び条件式（３）を満たすように決定される。

その後、制御装置４０は、撮像光学系２０が実視野領域の光学像を撮像素子３１内に形成している状態で、ステージ１１と撮像装置３０を制御して、ステップＳ２で決定した撮像位置へ移動して撮像画像を取得する処理を繰り返す（ステップＳ３からステップＳ５）。これにより、制御装置４０は、複数の撮像画像を取得する。

最後に、制御装置４０は、取得した複数の撮像画像を用いて、広域画像を構築する（ステップＳ６）。より具体的には、複数の撮像画像に含まれるハニカムセル形状を有する複数の要素画像を貼り合わせることで、広域画像を構築する。

以上では、例えば図６に示すように、要素画像に対応する正六角形形状の領域が撮像素子３１の長辺と平行な対角線を有する例を示したが、正六角形形状の向きはこの例に限らない。制御装置４０は、例えば図１４に示すように、撮像画像Ｍの長辺と平行な対角線を有する要素画像Ｅａの代わりに撮像画像Ｍの短辺と平行な対角線を有する要素画像Ｅｂを用いてもよい。

制御装置４０は、正六角形形状の向きを、画像化すべき領域の形状に応じて決定してもよい。より具体的には、制御装置４０は、正六角形形状の向きを、画像化すべき領域を最も少ない数の要素画像領域で満たすことができる向きに決定してもよい。これにより、撮影回数を更に減らすことができるため、スループットを更に向上させることができる。

また、ハニカムセル形状（正六角形形状を含む）の要素画像を用いる撮像システム１では、貼り合わせ方向の自由度が３であり、矩形形状の要素画像を用いる従来の撮像システムより高い自由度が実現されている。このため、画像化すべき領域を走査する場合に、無駄なステージ１１の移動を少なくすることができる。また、図１５（ａ）から図１５（ｃ）に示すように、ハニカムセル形状（正六角形形状を含む）の向きを変更することで、無駄な移動をさらに少なくすることができる。無駄な移動を減らすことで、撮像位置へ素早く移動することができるため、より短時間で必要な画像を取得することが可能となる。従って、スループットの向上に寄与することができる。なお、図１５に示す方向Ｘ１から方向Ｘ３は、それぞれ貼り合わせ方向を示している。

上述したように、ハニカムセル形状の向きは、撮像システム１のスループットに多大な影響を及ぼす可能性がある。そこで、撮像システム１では、図１６に示すように、ある程度画質を犠牲にした広域画像を高速に構築し、その広域画像に基づいてハニカムセル形状の向きを含む設定を決定してもよい。その上で、その後に、決定した設定に従ってより画質の高い広域画像を構築してもよい。なお、以降では、ある程度画質を犠牲にした広域画像を第２の広域画像と記し、第２の広域画像よりも画質の高い広域画像を第１の広域画像と記す。

図１６は、画像構築方法のフローチャートの別の例である。図１７は、複数の第２の撮像画像の位置の関係を説明するための図である。図１８は、第３の広域画像の表示例である。図１９は、第３の広域画像の別の表示例である。例えば、撮像システム１の利用者が入力装置６０を操作し、制御装置４０のプロセッサ４１が所定のアプリケーションプログラムを実行することで、図１６に示す処理が開始される。
なお、図１８と図１９に描かれた太い実線部分とその内部が細胞などの観察する対象を示している。すなわち、画像化すべき領域を示している。

まず、制御装置４０は、第２の広域画像として画像化すべき領域の領域情報（以降、単に、広域画像の領域情報と記す。）を取得する（ステップＳ１１）。この処理は、図１３のステップＳ１と同様である。

次に、制御装置４０は、第２の広域画像を構築する（ステップＳ１２）。ここでは、制御装置４０は、撮像光学系２０が実視野領域の光学像を撮像素子３１内に形成している状態で、ステージ１１と撮像装置３０を制御して、複数の第２の撮像画像を取得し、取得した複数の第２の撮像画像を貼り合わせて第２の広域画像を構築する。矩形形状を有する複数の第２の撮像画像の全体を利用することで、少ない撮影回数で第２の広域画像を構築することができる。

なお、ステップＳ１２では、制御装置４０は、以下の条件式（４）及び（５）を満たすことが望ましい。ただし、ＰＤは、図１７に示すように、撮像素子３１の短辺に沿った方向に隣り合う２つの第２の撮像画像を取得するときの光軸の位置の間の距離である。また、ＰＬは、図１７に示すように、撮像素子３１の長辺に沿った方向に隣り合う２つの第２の撮像画像を取得するときの光軸の位置の間の距離である。なお、図１７に示す領域３０１から領域３３４は撮像画像領域を示している。
０．５Ｄ／Ｍ≦ＰＤ≦Ｄ／Ｍ （４）
０．５Ｌ／Ｍ≦ＰＬ≦Ｌ／Ｍ （５）

条件式（４）及び条件式（５）を満たすことで、第２の広域画像に必要な領域を効率良く撮影して第２の広域画像を構築することができる。ＰＤとＰＬの少なくとも一方が下限値を下回ると、撮像画像が互いに過剰に重複することになるため、撮影回数が増加してしまう。ＰＤとＰＬの少なくとも一方が上限値を上回ると、撮像画像間に隙間ができてしまう。

なお、第２の広域画像は、実視野領域の外部の領域の画像も含んでいるため、画像周辺部の画質及び明るさが不足している可能性がある。このため、シェーディング補正、その他の画像処理によって、画質及び明るさを調整してもよい。

第２の広域画像が構築されると、制御装置４０は、ステップＳ１２で構築した第２の広域画像に基づいて画像構築設定を決定する（ステップＳ１３）。ここでは、画像構築設定とは、第１の広域画像を構築するための設定であり、少なくとも、複数の撮像位置、ハニカムセル形状の向き、及び、複数の撮像位置の移動順序を含んでいる。なお、ステップＳ１３では、制御装置４０は、例えば、撮影回数を最小化するという基準で、複数の撮像位置、ハニカムセル形状の向き、及び、移動順序を決定してもよい。

次に、制御装置４０は、第３の広域画像を表示装置５０に表示させる（ステップＳ１４）。ここでは、後述するステップＳ１９で構築される第１の広域画像を構成する要素画像の輪郭を、ステップＳ１２で構築した第２の広域画像に重ねることで、第３の広域画像を構築し、その後、第３の広域画像を表示装置５０に表示する。第３の広域画像とともに、要素画像の数を表示してもよい。なお、要素画像の輪郭は、ステップＳ１３の画像構築設定によって一意に決定される。図１８には、ハニカムセル形状の向きが横向きに決定された場合の第３の広域画像Ｗ２が示されている。また、図１９には、ハニカムセル形状の向きが縦向きに決定された場合の第３の広域画像Ｗ３が示されている。

その後、制御装置４０は、利用者が画像構築設定を変更したか否かを判断する（ステップＳ１５）。利用者は、例えば、第３の広域画像に表示されている要素画像の輪郭を回転させることで、要素画像の向きを変更してもよい。または、要素画像の向きの変更に合わせて、要素画像の数を再計算して計算結果を表示してもよい。制御装置４０は、利用者によるこのような操作が行われると、画像構築設定が変更されたと判断し、ステップＳ１３からステップＳ１５の処理を繰り返す。制御装置４０は、画像構築設定が変更されていないと判断すると、ステップＳ１３で決定した画像構築設定に従って、ステップＳ１６からステップＳ１９の処理を行う。なお、ステップＳ１６からステップＳ１９の処理は、図１３のＳ３からステップＳ６の処理と同様である。

以上では、第２の広域画像を第１の広域画像と同じ対物レンズ２１を用いて構築する例を示したが、第２の広域画像は、対物レンズ２１よりも低倍の対物レンズ２２を用いて構築しても良い。これにより、第２の広域画像を更に少ない撮影回数で構築することができる。なお、対物レンズ２１を用いて第２の広域画像を構築する場合であっても、従来の撮像システム１よりも少ない撮影回数で広域画像を構築することができる。これは、撮像光学系２０が実視野領域の光学像を撮像素子３１内に形成している状態で撮像画像が取得されているからである。例えば、３：４の矩形形状を有する撮像素子が使用される場合で計算すると、１回の撮影で従来の撮像システム１よりも約２．８倍の領域の画像を取得することができる。

また、対物レンズ２１を用いて第１の広域画像を構築し、対物レンズ２２を用いて第２の広域画像を構築する場合、撮像システム１は、以下の条件式（６）及び（７）を満たすことが望ましい。但し、ＮＡ１０は、対物レンズ２１の最大開口数である。ＮＡ２０は、対物レンズ２２の最大開口数である。ＮＡ１は、対物レンズ２１を用いて撮像画像を取得するときの開口絞り２５により制限された対物レンズ２１の開口数である。ＮＡ２は、対物レンズ２２用いて第２の撮像画像を取得するときの開口絞り２５により制限された対物レンズ２２の開口数である。
０．３＜ＮＡ２／ＮＡ２０＜１ （６）
ＮＡ２＜ＮＡ１≦ＮＡ１０ （７）

条件式（６）を満たすことで、対物レンズ２２使用時における開口効率を改善することができるため、軸外性能の改善と周辺光量の向上を図ることができる。また、条件式（７）を満たすことで、第１の広域画像を構築するときの開口数が第２の広域画像を構築するときの開口数よりも高くなるため、高い分解能を有する第１の広域画像を構築することができる。また、条件式（７）を満たす範囲で撮像素子３１のサイズ等に応じて対物レンズ２１の開口数を制限することで、より高い画質の第１の広域画像を構築することが可能となる。

さらに、撮像システム１は、以下の条件式を満たしてもよい。但し、λは、撮像素子３１に入射する光の波長である。ＮＡＩは、撮像光学系２０の像側の開口数である。ｋは、撮像素子３１の画素ピッチである。Ｍは、撮像光学系２０の倍率である。結像レンズ２３及びリレー光学系２４からなる光学系の焦点距離をＦＴＬとし、対物レンズ２１の焦点距離をＦＯＢとすると、Ｍ＝ＦＴＬ／ＦＯＢで算出される。
２≦（１．２２×λ／ＮＡＩ）／ｋ≦１０ （８）
０．１≦ｋ／Ｍ≦０．２５ （９）

より高い画質を得るためには、回折像の大きさで定義される範囲内に画素を何個配置することができるかが重要となる。条件式（８）を満足することで、十分な数の画素が回折径内に存在することになるため、高い画質を得ることができる。（１．２２×λ／ＮＡＩ）／ｋが下限値を下回ると、十分な数の画素が回折径内に存在しないため、十分な画質が得られない。また、（１．２２×λ／ＮＡＩ）／ｋが上限値を上回ると、画素数が多くなりすぎるため、画像処理及びデータ転送にかかる時間が長くなり、十分なスループットが得られない。

条件式（８）に加えて条件式（９）を満たすことで、第１の広域画像を構築するときの倍率と画素数の関係が適切に設定されることになるため、高画質で高いスループットを実現することができる。ｋ／Ｍが下限値を下回ると、画素数が多くなりすぎるため、画像処理及びデータ転送にかかる時間が長くなり、十分なスループットが得られない。ｋ／Ｍが上限値を上回ると、画素数が不足してしまい第１の広域画像の画質が低下してしまう。

最後に、上述した撮像システムの実施例として具体的な数値データを開示する。図２０及び図２１は、第１の広域画像を構築する各実施例の数値データを示した表である。実施例１－１から実施例１－９は、いずれも２０倍の対物レンズを使用した実施例である。図２２は、第２の広域画像を構築する各実施例の数値データを示した表である。実施例２－１から実施例２－５は、いずれも４倍の対物レンズを使用した実施例である。図２３は、広域画像を構築する参考例の数値データを示した表である。図２３に示す参考例１から参考例４は、従来の撮像システムにおいて２０倍の対物レンズを使用した例であり、図２３に示す参考例５から参考例８は、従来の撮像システムにおいて４倍の対物レンズを使用した例である。

２０倍の対物レンズを使用する図２０に示す各実施例では、撮影回数は２８０回から４７０回程度である。これに対して、同じく２０倍の対物レンズを使用する図２３に示す参考例１から４では、撮影回数が５００回を越えている。これらの比較から明らかなように、本発明の実施例の方が、参考例よりも少ない撮影回数で第１の広域画像を構築することができる。

また、４倍の対物レンズを使用する図２２に示す各実施例では、撮影回数は１０回程度である。これに対して、同じく４倍の対物レンズを使用する図２３に示す参考例５から８では、撮影回数が２０回程度である。これらの比較から明らかなように、本発明の実施例の方が、参考例よりも少ない撮影回数で第２の広域画像を構築することができる。

１：撮像システム、１０：顕微鏡装置、１１：ステージ、１２：ステージ駆動部、１３、１４：光源、２０：撮像光学系、２１、２２：対物レンズ、２３：結像レンズ、２４：リレー光学系、２４ａ：前群、２４ｂ：後群、２５：開口絞り、３０：撮像装置、３１、９１：撮像素子、３２、９２：イメージサークル、３３、３０１、３０４：領域、４０：制御装置、４１：プロセッサ、４２：メモリ、４３：記録媒体、４４：可搬記録媒体駆動装置、４５：可搬記録媒体、４６：入出力インタフェース、４７：ネットワークインタフェース、４８：バス、５０：表示装置、６０：入力装置、７０：ネットワーク、８０：記録装置、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、２００：撮像領域、１０１、１１１、１７１、２０１：実視野領域、１０２、１１２、１７２：要素画像領域、Ａ１、Ａ２、Ａ３、Ａ７：撮像位置、Ｄ１、Ｄ２、Ｄ３、Ｄ４：重複部分、Ｅ、Ｅ１、Ｅ２，Ｅａ、Ｅｂ：要素画像、Ｆ１、Ｆ２：実視野画像、Ｍ、Ｍ１、Ｍ２：撮像画像、Ｓｍ：標本、Ｗ：広域画像、Ｗ２、Ｗ３：第３の広域画像

Claims (16)

1. 光学像を電気信号に変換する矩形形状の撮像素子を含み、前記電気信号に基づいて撮像画像を取得する撮像装置と、
   第１の対物レンズを含み、前記第１の対物レンズのＯＦＮ（Objective Field Number）に対応する物体面上の領域である円形の実視野領域の光学像を前記撮像素子内に形成する光学系と、
   前記第１の対物レンズの光軸に対して前記物体面を移動する電動ステージと、
   前記電動ステージ及び前記撮像装置を制御することで取得された複数の撮像画像に含まれる複数の要素画像を貼り合わせることによって前記実視野領域よりも広い領域の画像である第１の広域画像を構築する制御装置と、を備え、
   前記複数の撮像画像は、前記物体面の互いに異なる複数の領域の画像であり、
   前記複数の要素画像は、複数のハニカムセル形状の六角形の画像であり、
   前記複数の要素画像の各々は、前記複数の撮像画像の各々の一部分であり、且つ、複数の実視野領域の画像の各々に内接し、
   前記複数の実視野領域に対応する前記第１の対物レンズの前記光軸の複数の位置は、互いに異なる
   ことを特徴とする撮像システム。
2. 請求項１に記載の撮像システムにおいて、
   前記複数の要素画像のうちの１つの要素画像を第１の要素画像とし、前記複数の要素画像のうちの前記第１の要素画像を取り囲む６つの要素画像を６つの第２の要素画像とし、
   前記第１の要素画像を一部分として含む撮像画像を取得したときの前記光軸の位置を第１の位置とするとき、
   前記撮像装置は、前記第１の位置から等距離にある６つの第２の位置のそれぞれに前記光軸がある状態で撮像することで、６つの撮像画像を取得し、
   前記６つの第２の要素画像の各々は、前記６つの撮像画像の各々の一部分である
   ことを特徴とする撮像システム。
3. 請求項２に記載の撮像システムにおいて、
   前記制御装置は、
   前記複数の撮像画像に基づいて貼り合わせ位置を算出し、
   算出された前記貼り合わせ位置で前記複数の要素画像を貼り合せる
   ことを特徴とする撮像システム。
4. 請求項３に記載の撮像システムにおいて、
   前記制御装置は、前記複数の撮像画像の一部分である前記複数の実視野領域の画像に基づいて、前記貼り合わせ位置を算出する
   ことを特徴とする撮像システム。
5. 請求項２乃至請求項４のいずれか１項に記載の撮像システムにおいて、
   前記ハニカムセル形状は、正六角形形状であり、
   以下の条件式を満たすことを特徴とする撮像システム。
   ０．７≦Ｈ／Ｄ≦１．２ （１）
   ただし、Ｈは、前記複数の要素画像の各々に対応する前記撮像素子上の正六角形形状の領域の対角長であり、Ｄは、前記撮像素子の短辺の長さである。
6. 請求項５に記載の撮像システムにおいて、
   以下の条件式を満たすことを特徴とする撮像システム。
   

   

   ただし、Ｐは、前記第１の位置と前記第２の位置の間の距離あり、Ｍは、前記光学系の倍率であり、Ｓは、前記第１の位置と前記第２の位置を結ぶ線分上で、前記第１の要素画像に対応する前記物体面上の領域と前記第２の要素画像に対応する前記物体面上の領域が重なり合う長さである。
7. 請求項１乃至請求項６のいずれか１項に記載の撮像システムにおいて、
   前記制御装置は、前記電動ステージ及び前記撮像装置を制御することで取得された複数の第２の撮像画像を貼り合せることによって前記実視野領域よりも広い領域の画像である第２の広域画像を構築し、
   以下の条件式を満たすことを特徴とする撮像システム。
   ０．５Ｄ／Ｍ≦ＰＤ≦Ｄ／Ｍ （４）
   ０．５Ｌ／Ｍ≦ＰＬ≦Ｌ／Ｍ （５）
   ただし、Ｄは、前記撮像素子の短辺の長さである。Ｌは、前記撮像素子の長辺の長さである。Ｍは、前記光学系の倍率である。ＰＤは、前記短辺に沿った方向に隣り合う２つの第２の撮像画像を取得するときの前記光軸の位置の間の距離である。ＰＬは、前記長辺に沿った方向に隣り合う２つの第２の撮像画像を取得するときの前記光軸の位置の間の距離である。
8. 請求項７に記載の撮像システムにおいて、
   前記制御装置は、前記第２の広域画像に基づいて、前記第１の広域画像を構築するための設定を決定する
   ことを特徴とする撮像システム。
9. 請求項８に記載の撮像システムにおいて、
   前記設定は、前記複数の撮像画像を取得するときの前記光軸の位置である複数の撮像位置、前記ハニカムセル形状の向き、及び、前記複数の撮像位置の移動順序を含む
   ことを特徴とする撮像システム。
10. 請求項９に記載の撮像システムにおいて、
    前記制御装置は、撮影回数を最小化するという基準で、前記複数の撮像位置、前記向き、及び、前記移動順序を決定する
    ことを特徴とする撮像システム。
11. 請求項７乃至請求項１０のいずれか１項に記載の撮像システムにおいて、
    前記制御装置は、前記第１の広域画像を構築する前に、前記第１の広域画像を構成する前記複数の要素画像の輪郭を前記第２の広域画像に重ねることで生成される第３の広域画像を、表示装置に表示させる
    ことを特徴とする撮像システム。
12. 請求項７乃至請求項１１のいずれか１項に記載の撮像システムにおいて、
    前記光学系は、さらに、前記第１の対物レンズと切り替えて使用される、前記第１の対物レンズよりも低倍の第２の対物レンズを備え、
    前記制御装置は、
    前記第１の対物レンズを用いて前記第１の広域画像を構築し、
    前記第２の対物レンズを用いて前記第２の広域画像を構築する
    ことを特徴とする撮像システム。
13. 請求項１２に記載の撮像システムにおいて、さらに、
    前記光学系は、さらに、開口絞りを備え、
    以下の条件式を満たすことを特徴とする撮像システム。
    ０．３＜ＮＡ２／ＮＡ２０＜１ （６）
    ＮＡ２＜ＮＡ１≦ＮＡ１０ （７）
    ただし、ＮＡ１０は、前記第１の対物レンズの最大開口数である。ＮＡ２０は、前記第２の対物レンズの最大開口数である。ＮＡ１は、前記第１の対物レンズを用いて前記撮像画像を取得するときの前記開口絞りにより制限された前記第１の対物レンズの開口数である。ＮＡ２は、前記第２の対物レンズを用いて前記第２の撮像画像を取得するときの前記開口絞りにより制限された前記第２の対物レンズの開口数である。
14. 請求項１乃至請求項１３のいずれか１項に記載の撮像システムにおいて、
    以下の条件式を満たすことを特徴とする撮像システム。
    ２≦（１．２２×λ／ＮＡＩ）／ｋ≦１０ （８）
    ０．１≦ｋ／Ｍ≦０．２５ （９）
    ただし、λは、前記撮像素子に入射する光の波長である。ＮＡＩは、前記光学系の像側の開口数である。ｋは、前記撮像素子の画素ピッチである。Ｍは、前記光学系の倍率である。
15. 請求項１乃至請求項１４のいずれか１項に記載の撮像システムにおいて、
    前記光学系は、さらに、
    前記第１の対物レンズとともに前記実視野領域の一次像を形成する結像レンズと、
    前記一次像を前記撮像素子へ投影するリレー光学系と、を備え、
    前記リレー光学系は、倍率が可変なズーム光学系である
    ことを特徴とする撮像システム。
16. 第１の対物レンズのＯＦＮ（Objective Field Number）に対応する物体面上の領域である円形の実視野領域の光学像を矩形形状の撮像素子内に形成し、
    前記撮像素子で前記光学像を変換した電気信号に基づいて撮像画像を取得し、
    複数の撮像画像に含まれる複数の要素画像を貼り合わせることによって前記実視野領域よりも広い領域の画像である第１の広域画像を構築し、
    前記複数の撮像画像は、前記物体面の互いに異なる複数の領域の画像であり、
    前記複数の要素画像は、複数のハニカムセル形状の六角形の画像であり、
    前記複数の要素画像の各々は、前記複数の撮像画像の各々の一部分であり、且つ、複数の実視野領域の画像の各々に内接し、
    前記複数の実視野領域に対応する前記第１の対物レンズの光軸の複数の位置は、互いに異なる
    ことを特徴とする画像構築方法。

Images