JP2013201530A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】画像が有する高い解像度を維持したまま、画像合成における位置合わせ精度を向上させる。
【解決手段】撮像対象領域を複数の分割領域にわけて撮像し、得られた分割領域ごとの画像を合成することにより分割領域よりも大きい領域の合成画像を生成する撮像装置の制御方法が、複数の分割領域のそれぞれについて、第１の画像と第２の画像を取得する工程と、第２の画像を用いて、隣接する分割領域間で画像の位置合わせを行う工程と、第２の画像を用いた位置合わせの結果にしたがって、隣接する分割領域間で第１の画像どうしを合成することにより、合成画像を生成する工程と、を含む。第２の画像は、第１の画像に対し、被写界深度若しくは焦点位置、又はその両方が異なる画像である。
【選択図】図１０

Description

本発明は、撮像装置の制御方法に関し、特に、撮像素子を用いて領域を分割して撮像し、それら複数の分割領域を合成して大画面を生成する撮像装置の制御方法に関する。

病理分野において、病理診断のツールである光学顕微鏡の代替として、スライドに載置された標本を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャル・スライド装置がある。バーチャル・スライド装置による病理診断のデジタル化により、従来の標本の光学顕微鏡像をデジタルデータとして取り扱える。それによって、遠隔診断の迅速化、デジタル画像を使った患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られる。

光学顕微鏡での操作をバーチャル・スライド装置で実現するためには、スライド上の標本全体をデジタル化する必要がある。標本全体のデジタル化により、バーチャル・スライド装置で作成したデジタルデータをＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やＷＳ（Ｗｏｒｋｓｔａｔｉｏｎ）で動作するビューワソフトで観察することができる。標本全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。そのためバーチャル・スライド装置では、数十万から数百万程度の画素数を有する２次元撮像素子、または、数千程度の画素数を有する１次元撮像素子を用いて標本の領域を複数に分割して撮像することが行われる。分割撮像を行うため、標本全体の画像の生成には複数の分割画像を合成することが必要となる。

分割画像の合成における位置合わせとして、つなぎ合わせ部分の特徴抽出と相関法によるパターンマッチングを用いる手法がある。つなぎ合わせ部分において、標本が被写界深度から外れているなどに起因する画像ぼけが発生すると、分割画像間での十分な特徴の対応が得られず、位置合わせ精度が低下するという課題がある。

特許文献１は、容易な操作で絞りを調節して被写界深度を変更して撮影する撮影技術、所謂、被写界深度ブラケット機能を開示している。しかしながら、その画像を用いて合成画像を生成することを開示していない。
また、画像合成に関しては、特許文献２、特許文献３に開示されている技術が知られている。特許文献２は、第２の露光制御手段による露光制御で撮影された間引き画像を用いて位置ずれ量を演算し、第１の露光制御手段による露光制御で撮影された画像を用いてＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する技術である。特許文献３は、縮小画像を用いて特徴領域を抽出し、その特徴領域を用いて、露光時間の長さの異なる複数画像の画像間ずれ量検知、及び、画像間ずれ補正を行って、ＨＤＲ画像を生成する技術である。

特開２００９−２０７１８８号公報 特許第３３９５７７０号公報 特開２０１０−２５８８８５号公報

特許文献１では、絞りを絞って被写界深度を深くして撮影するため、コントラストが向
上したピントの合った画像が取得できることを開示している。しかし、これらの画像を利用した合成画像の生成は開示していない。本発明者らが特許文献１の方法によりコントラストの向上した画像を取得し、その画像を基に合成を行う検討を行った。その結果、合成画像を生成する一工程である繋ぎ合わせ部分の位置合わせが精度良く行えることがわかった。しかしながら、絞りを絞った撮影のために、合成された画像の高周波成分が失われて解像度が低下するという新たな課題が発生することがわかった。
特許文献２、特許文献３に開示されているＨＤＲ画像生成技術では、ＨＤＲ画像とは別に、画像間の位置合わせ処理のための画像を用いるために、画像間の位置合わせ処理を高速に行うことができる。しかしながら、これらの技術は、位置合わせ精度を向上させる効果が得られるものではない。

本発明は、このような問題点に鑑みてなされたものであり、画像が有する高い解像度を維持したまま、画像合成における位置合わせ精度を向上させることを目的とする。

本発明の第一態様は、撮像対象領域を複数の分割領域にわけて撮像し、得られた分割領域ごとの画像を合成することにより分割領域よりも大きい領域の合成画像を生成する撮像装置の制御方法であって、複数の分割領域のそれぞれについて、第１の画像と第２の画像を取得する工程と、第２の画像を用いて、隣接する分割領域間で画像の位置合わせを行う工程と、第２の画像を用いた位置合わせの結果にしたがって、隣接する分割領域間で第１の画像どうしを合成することにより、合成画像を生成する工程と、を含み、第２の画像は、第１の画像に対し、被写界深度若しくは焦点位置、又はその両方が異なる画像であることを特徴とする撮像装置の制御方法である。

本発明の第二態様は、撮像対象領域を複数の分割領域にわけて撮像し、得られた分割領域ごとの画像を合成することにより分割領域よりも大きい領域の合成画像を生成する撮像装置であって、複数の分割領域のそれぞれについて、第１の画像と第２の画像を取得する手段と、第２の画像を用いて、隣接する分割領域間で画像の位置合わせを行う手段と、第２の画像を用いた位置合わせの結果にしたがって、隣接する分割領域間で第１の画像どうしを合成することにより、合成画像を生成する手段と、を含み、第２の画像は、第１の画像に対し、被写界深度若しくは焦点位置、又はその両方が異なる画像であることを特徴とする撮像装置である。

本発明によれば、画像が有する高い解像度を維持したまま、画像合成における位置合わせ精度を向上させることができる。

開口絞りによる空間周波数とコントラストの変化を説明する模式図。 開口絞りによる被写界深度の変化を説明する図。 開口絞りによるデフォーカス量とコントラストの変化を説明する図。 撮像装置の概略構成を説明する模式図。 ２次元撮像素子による撮像タイルを説明する模式図。 標本での焦点位置と被写界深度を説明する模式図。 プレ計測を説明するフローチャート。 本撮像を説明するフローチャート。 本撮像に関わる機能ブロック図。 合成画像生成の工程を説明する模式図。 撮像タイル（分割画像）の位置合わせを説明する模式図。 撮像タイル（分割画像）の合成を説明するフローチャート。 撮像タイル（分割画像）の合成を説明するシーケンス図。 コントラスト判定を行う場合の本撮像に関わる機能ブロック図。 コントラスト判定を行う場合の分割画像の合成を説明するフローチャート。 プレ計測での標本表面形状計測を説明する模式図。 被写界深度判定を行う場合のプレ計測、本撮像を説明するフローチャート。 被写界深度判定を行う場合の分割画像の合成を説明するシーケンス図。 細胞診におけるzスタック画像群と被写界深度を説明する模式図。 zスタック画像群撮像に関わる機能ブロック図。 zスタック画像群を用いた合成画像生成の工程を説明する模式図。 zスタック画像群を用いた分割画像の合成を説明するシーケンス図。 zスタック画像枚数削減での焦点位置と被写界深度を説明する模式図。 組織診におけるzスタック画像群と被写界深度を説明する模式図。 １次元撮像素子による撮像タイルを説明する模式図。 撮像装置の概略構成を説明する模式図。 複数撮像素子による大画面撮像と撮像素子の移動機構を説明する模式図。 本撮像でのスライド移動による大画面撮像を説明する模式図。

まず、本発明における技術背景を説明する。図１と図２では、光学像における開口絞りの効果を説明する。図３では、デジタル画像における開口絞りの効果を説明する。

（絞りによる空間周波数に対するコントラスト変化）
図１（ａ）は、開口絞りによる空間周波数とコントラストの変化を説明する模式図である。図１（ａ）の横軸は白黒パターンの半周期（ハーフピッチ［μｍ］）、縦軸はコントラストである。図１（ｂ）に示すようにハーフピッチは白黒パターンの半周期を意味するので、空間周波数とは反比例の関係にある。開口絞りの開放側から順に点線（絞り１）、実線（絞り２）、破線（絞り３）として、空間周波数におけるコントラストの変化を示している。開口絞りが開放側であるほど、空間周波数の高い領域（ハーフピッチ０．５［μｍ］〜１．７５［μｍ］）ではコントラストが大きい、すなわち、高解像度な画像が得られる。病理検査での組織診や細胞診で、ハーフピッチ０．５［μｍ］程度の細かい構造を観察するには、高解像度を確保するために、開口絞りを開放側にしたほうが良いことがわかる。
光学の一般特性として、フォーカス面において、開口絞りを開放して高ＮＡとしたほうが、空間周波数の高い領域でコントラストが大きい、すなわち、高解像度となる像が得られる。

（絞りによる深度に対する空間周波数変化）
図２は、開口絞りによる深度の変化を説明する図である。図２の横軸は白黒パターンの半周期（ハーフピッチ［μｍ］）、縦軸は５０％ＤＯＦ（Ｄｅｐｔｈ Ｏｆ Ｆｉｅｌｄ）［μｍ］である。５０％ＤＯＦは物側焦点からの深度であり、物側焦点からの前側、もしくは、後側のズレ量に着目しているため５０％としている。開口絞りの開放側から順に点線（絞り１）、実線（絞り２）、破線（絞り３）として、５０％ＤＯＦ［μｍ］において得られる空間周波数を示している。５０％ＤＯＦ４μｍにおいて、開口絞りが絞り側であるほど、空間周波数の高い像が得られる。５０％ＤＯＦ４μｍでは、絞り側の絞り３では、ハーフピッチ１．１［μｍ］程度の構造が得られるが、開放側の絞り１では、ハーフピッチ１．８［μｍ］程度の構造までしか得られない。病理検査での組織診や細胞診で、５０％ＤＯＦ４μｍにおいて得られる構造の精細さは、開口絞り程度により異なることがわかる。
光学の一般特性として、開口絞りを絞って低ＮＡとしたほうが、フォーカス面から離れた位置では高解像度となる像が得られる。

（絞りによるデフォーカス量に対するコントラスト評価値変化）
図３は、開口絞りによるデフォーカス量とコントラスト評価値の変化を説明する図である。図３の横軸はデフォーカス量［μｍ］、縦軸はコントラスト評価値の一例である。開口絞りの開放側から順に点線（絞り１）、実線（絞り２）、破線（絞り３）として、デフォーカス量［μｍ］における、ある画像のコントラスト評価値の変化を示している。デフォーカス量は物体面におけるフォーカス面からのズレ量として示している。開口絞りが開放側であるほど、デフォーカス量の小さい領域（デフォーカス量０［μｍ］〜１．０［μｍ］）では高いコントラスト評価値が得られるが、デフォーカス量が大きい領域（デフォーカス量２．０［μｍ］〜５．０［μｍ］）では、開口絞りが絞り側であるほど高いコントラスト評価値が得られる。病理検査の細胞診でｚスタック画像群を取得する場合には、開口絞りを絞ったほうが、デフォーカス量が大きい領域でも高いコントラスト評価値となる画像が得られることがわかる。

ここでのコントラスト評価値とは、コントラスト評価値をＥ、画素の輝度成分をＬ（ｍ，ｎ）とした場合に、以下の式を用いて算出できる。ここで、ｍは画素のＹ方向位置、ｎは画素のＸ方向位置を表している。

右辺の第１項はＸ方向に隣り合う画素の輝度差を表しており、第２項はＹ方向に隣り合う画素の輝度差を表している。コントラスト評価値Ｅは、Ｘ方向とＹ方向に隣り合う画素の輝度差の自乗和を示す指標である。なお、図３ではコントラスト評価値Ｅを０〜１で規格化した値を用いている。

画像、特に自然画像などの一般特性として、開口絞りを絞って低ＮＡとしたほうが、デフォーカス量が大きい領域でコントラスト評価値の高い画像が得られる。

本発明に関わるバーチャル・スライド装置は、数μｍ前後の細胞小器官を観察する装置である。このような微細構造を観察するためには、図１（ａ）で示したように、微細構造のコントラストを上げるために開口絞りを開放して高ＮＡとするのが良い。一方で、図２に示したように、スライドに載置された標本の厚さ程度の深度を確保する場合には、開口絞りを絞って低ＮＡとしたほうが、解像力が上がる。このように、深度を考慮するか否かで、開口絞りの効果は相反するものとなる。また、図３に示したように、細胞のピントが合っているフォーカス面では開口絞りを開放して高ＮＡとしたほうが高コントラストな画像が得られる。しかしながら、深さ方向まで考えると、開口絞りを絞って低ＮＡとしたほうが、フォーカス面から外れた細胞のコントラストが確保できる画像が得られる。このように、細胞の深さ方向での位置により、開口絞りの効果は相反するものとなる。

以上説明したように、本発明は、要求される深度に対応して開口絞りを調整し、必要なコントラスト、解像度が得られることを利用したものである。

［第１の実施形態］
まず、本発明の第１の実施形態を、図面を参照しながら説明する。

（撮像装置の構成）
図４は、撮像装置の概略構成を説明する模式図である。この撮像装置は、被写体となるスライド４０３上の標本の光学顕微鏡像を高解像かつ大サイズ（広画角）のデジタル画像
として取得するための装置である。

図４（ａ）は撮像装置の概略構成を示す模式図である。撮像装置は、光源４０１、照明光学系４０２、開口絞り４０４、結像光学系４０５、撮像部４０６、画像処理部４０７、撮像制御部４０８、ＸＹＺ移動機構４０９、レール移動機構４１０を備えて構成される。後述するが、画像処理部４０７は、位置合わせパラメータ生成部、現像・補正部、画像ズレ補正部、合成部、圧縮部、伝送部などの機能ブロックを有している。撮像装置の各部の動作やタイミングは、撮像制御部４０８によって制御される。

光源４０１は撮像用の照明光を発生する手段である。光源４０１としては、ＲＧＢ３色の発光波長を有する光源、例えばＬＥＤやＬＤ等を用いて各単色光を電気的に切り替えて発光する構成や、白色ＬＥＤとカラーホイールで各単色光を機械的に切り替える構成が用いられる。この場合、撮像部４０６の撮像素子群にはカラーフィルタを有さないモノクロ撮像素子が用いられる。光源４０１と撮像部４０６は、撮像制御部４０８の制御により同期して動作する。撮像制御部４０８の制御に従って、光源４０１ではＲＧＢを順次発光させ、撮像部４０６は光源４０１の発光タイミングに同期して露光し、ＲＧＢそれぞれの画像を取得する。ＲＧＢ各画像から１枚の撮像画像の生成は後段の画像処理部４０７内の現像・補正部で行う。

照明光学系４０２は、光源４０１の光を効率良くスライド４０３に導光する光学系である。
スライド４０３は、病理検査の対象となる標本を支持する支持プレートであり、標本をスライドグラスに載置し、マウント液を使ってカバーグラスで封入したものである。
開口絞り４０４は、スライド４０３からの透過光（より正確には、撮像対象領域からの拡散光）の絞りを制御する。開口絞り４０４による効果は、図１から図３で説明した通りである。撮像対象領域は図５で説明する。
結像光学系４０５は、スライド４０３からの透過光を拡大して導光し、撮像部４０６の像面上にスライド４０３（より正確には、撮像対象領域）の実像を結像する光学系である。

ＸＹＺ移動機構４０９は、標本が撮像画面の中央付近に位置するように制御するＸＹ平面移動機構と、標本のＺ方向位置を制御するＺ方向移動機構とを備える。光軸に垂直な面をＸＹ平面、光軸方向をＺ方向としている。スライド４０３における標本のＸＹ平面位置は、図４（ｂ）で説明するプレ計測で把握する。スライド４０３の標本のＺ方向位置は、撮像部４０６のオートフォーカス機能を利用して決定する。撮像部４０６のオートフォーカス機能は、広く実用化されているコントラストＡＦや位相差ＡＦにより実現できる。撮像制御部４０８が、プレ計測、オートフォーカス機能の情報からスライド４０３のＸＹＺ位置を制御する。

レール移動機構４１０は、スライド４０３を本撮像系とプレ計測系の間を移動させる機構であり、詳細を図４（ｂ）に示した。スライド４０３はＸＹＺ移動機構４０９上に支持されており、さらに、それらはレール移動機構４１０上に支持されている。この構成で、スライド４０３は、レール４１１を介してプレ計測系と本撮像系との間を移動できる。本撮像系とは図４（ａ）に示す撮像機構であり、プレ計測系はスライド４０３の標本位置を把握するための計測機構である。本実施形態の撮像装置は、まず、プレ計測系でスライド４０３の標本位置を把握し、本撮像系に移動して、標本の高解像大サイズ撮像を行う。

撮像部４０６は、２次元撮像素子を有して構成される撮像手段である。２次元撮像素子としては、ＣＭＯＳイメージセンサやＣＣＤイメージセンサが用いられる。撮像部４０６には、２次元撮像素子、ＣＤＳ回路（相関２重サンプリング回路）、ＡＧＣ回路（オート
・ゲイン・コントロール回路）、ＡＤ変換回路（アナログ・デジタル変換回路）、オートフォーカス機能が含まれる。撮像部４０６からは、撮像画像のデジタル信号が画像処理部４０７に伝送される。

画像処理部４０７は、現像・補正部、位置合わせパラメータ生成部、画像ズレ補正部、合成部、圧縮部の機能ブロックを有している。現像・補正部は、撮像部４０６で取得した撮像画像のデジタル信号の現像処理、補正処理を行う。機能としては、黒レベル補正、ＤＮＲ（Ｄｉｇｉｔａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）、画素欠陥補正、撮像素子の個体ばらつきやシェーディングに対する輝度補正、現像処理、ホワイトバランス処理、強調処理、歪曲収差補正、倍率色収差補正などを含む。位置合わせパラメータ生成部は、複数の撮像画像（分割画像）を繋ぎ合わせるための補正パラメータの生成を行う。位置合わせパラメータ生成用の分割画像に対して、歪曲収差補正など画像補正を行い、補正後の各画像に対して、特徴量抽出、位置ズレ検知、補正パラメータ生成、の各工程を行う。画像ズレ補正部は、位置合わせパラメータ生成部で生成した補正パラメータを用いて複数の撮像画像（分割画像）の位置ズレ補正を行う。合成部は、画像ズレ補正後の各撮像画像（分割画像）を繋ぎ合わせる処理を行う。ここで繋ぎ合せる画像は、現像・補正部で歪曲収差補正や倍率収差補正済みの画像である。圧縮部は、合成部から出力されるブロック画像毎に逐次圧縮処理を行う。伝送部は、圧縮ブロック画像の信号をパーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）に出力する。ＰＣやＷＳへの信号伝送では、ギガビット・イーサネットなどの大容量の伝送が可能な通信規格を用いる。ＰＣやＷＳでは、送られてくる圧縮ブロック画像ごとに順次ストレージに格納する。取得した標本の撮像画像の閲覧にはビューワソフトを用いると良い。ビューワソフトは閲覧領域の圧縮ブロック画像を読み出して伸張しディスプレイに表示する。

以上の構成により、標本の高解像かつ大サイズ（広画角）のデジタル画像の取得と取得画像の表示が実現できる。
ここでは、光源４０１で単色光を順次発光させてモノクロの２次元撮像素子で撮像する構成を説明したが、光源を白色ＬＥＤとし、撮像素子をカラーフィルタ付撮像素子としても良い。

（撮像対象領域と撮像タイル）
図５は、２次元撮像素子による撮像タイルを説明する模式図である。本実施形態の撮像装置は、スライド４０３上の標本の光学顕微鏡像を高解像かつ大サイズ（広画角）のデジタル画像として取得するための装置である。高解像かつ大サイズ（広画角）を両立するために、２次元撮像素子で撮像対象領域をいくつかの領域に分割して、その分割領域を撮像する。ここでは、標本の全体像となる撮像領域を「撮像対象領域」、分割領域を「撮像タイル」とよび、撮像対象領域は撮像タイルを合成して構成されるものとする。また、光軸に垂直な面をｘｙ平面としている。

図５（ａ）は、物体面における撮像対象領域と標本を示す模式図である。撮像対象領域５０１をｘ方向に８分割、ｙ方向に６分割し、その１領域が撮像タイル５０３である。撮像対象領域５０１は、スライド４０３における座標で設定される領域であり、スライド４０３での標本５０２位置を考慮してスライド４０３ごとに設定される。プレ計測において、標本５０２が撮像対象領域５０１の中心付近となるように、スライド４０３における撮像対象領域５０１の座標設定が行われる。

図５（ｂ）は、物体面における撮像タイル５０３を示す模式図である。撮像タイル（Ｎ、Ｍ）は、ｙ方向にＮ番目、ｘ方向にＭ番目の撮像タイルを示している。複数の分割領域（撮像タイル）の撮像例として、まずは、ｘ方向に撮像タイル（１、１）から撮像タイル（１、８）まで撮像し、次に、ｙ方向に移動して撮像タイル（２、１）から撮像タイル（
２、８）まで撮像する、といった撮像順番を矢印で示している。各撮像タイルの合成を考えると、注目する撮像タイルは、その周辺全ての撮像タイルと画像の合成処理を行うことになる。撮像タイル（３、４）であれば、撮像タイル（２、３）、（２、４）、（２、５）、（３、３）、（３、５）、（４、３）、（４、４）、（４、５）の８つの撮像タイルと合成処理が行われる。合成処理において、隣接する撮像タイルは互いに重複した領域を有し、その重複領域を位置合わせ領域として利用するが、図５ではその位置合わせ領域を省略して記載している。

ここでは、撮像対象領域５０１のすべての撮像タイルを撮像するものとして説明したが、撮像タイル（１、１）などの標本５０２が存在しない撮像タイルは撮像せずにスキップする処理とすることも可能である。これにより、撮像回数減少による撮像時間短縮、撮像画像枚数削減によるメモリ容量削減、といった効果がある。

以上説明したように、本撮像装置は、撮像対象領域を幾つかの撮像タイル（分割領域）に分割して、各撮像タイルを順々に撮像し、各撮像タイルはそれぞれ周辺全ての撮像タイルと合成処理が行われる。

（焦点位置と被写界深度）
図６は、標本での焦点位置と被写界深度を説明する模式図である。
図６（ａ）は、物体面における組織診標本上面図を示す模式図である。撮像タイル（４、６）６０１と撮像タイル（４、７）６０２の合成処理に着目することとし、重複領域を含めた撮像タイルを太枠で示している。

図６（ｂ）は、組織診標本断面図を示す模式図であり、図６（ａ）に示す切断面６１０における標本５０２のｘｚ平面を示している。スライドグラスとカバーグラスに挟まれた領域に標本５０２があり、標本５０２の表面のうねりが曲線で示されている。撮像タイル（４、６）６０１のｘｚ平面が６０３、撮像タイル（４、７）６０２のｘｚ平面が６０４である。スライドグラスとカバーグラスの間隙は４μｍである。

図６（ｃ）は、組織診標本断面拡大図を示す模式図であり、図６（ｂ）に示した６０３と６０４を拡大した図である。まず、６０３の領域に着目して、焦点位置と被写界深度について説明する。６０３の焦点位置６０５は破線で示されている。焦点位置６０５は、標本５０２表面を最小自乗法などで直線近似した面であり、撮像部４０６のオートフォーカス機能により決定される位置である。実際の焦点位置６０５は、１断面である６０３の標本５０２の表面うねりで決まるものではなく、撮像タイル（４、６）６０１における標本５０２の表面うねりで決定されるものである。以下、簡単のため、１断面の表面うねりが焦点位置を決定するとして説明する。６０３の第１の画像の被写界深度６０８は、斜線（左下がり斜線）で示された範囲であり、開口絞り４０４により決定される範囲である。ここでの第１の画像の被写界深度は、±０．５μｍである。第１の画像とは画像合成に供する画像であり、合成画像を構成する画像である。第１の画像の詳細は後述する。同様に、６０４の領域に着目すると、焦点位置６０６が破線で、第１の画像の被写界深度６０７が斜線（右下がり斜線）で示されている。位置合わせ領域（ｘｚ平面）６０９は、撮像タイル（４、６）６０１と撮像タイル（４、７）６０２の重複領域であり、合成処理で位置合わせ領域として使用される領域である。画像合成での位置合わせはｘｙ平面の画像を利用するが、ここでの位置合わせ領域（ｘｚ平面）６０９は、その１断面であるｘｚ平面を示している。ここで、位置合わせ領域（ｘｚ平面）６０９における、６０３の第１の画像の被写界深度６０８と、６０４の第１の画像の被写界深度６０７の関係について説明する。各撮像タイルでは、それぞれの標本５０２の表面うねりにより焦点位置が決まるため、図６（ｃ）に示すように、隣り合う撮像タイルで第１の画像の被写界深度が重なりをもたない場合が発生する。このような状況は、表面うねりの傾斜が大きい箇所が、撮像タイル間
の位置合わせ領域付近にあるときや、ＸＹＺ移動機構４０９のＺ移動精度が高くないときに起こる可能性がある。図６（ｃ）はｘｚ平面の１断面で考えた場合だが、ｘｙ平面で考えた場合にも、撮像タイル（４、６）６０１で山型に***し、撮像タイル（４、７）６０２で谷型に陥没しているような表面うねりでは、第１の画像の被写界深度が重なりをもたない状況が発生する可能性がある。その場合、撮像タイル（４、６）６０１、及び、撮像タイル（４、７）６０２の位置合わせ領域で画像ボケが発生する。画像ボケの発生（ボケ具合）は、各撮像タイルにおける焦点位置、被写界深度、及び、標本５０２の表面うねりに依存する。

以上説明したように、各撮像タイルにおける焦点位置、被写界深度、標本の表面うねりにより、合成処理を行うための位置合わせ領域で画像ボケが発生する場合がある。位置合わせ領域での画像ボケにより、位置合わせにおける特徴量抽出（後述）の精度が著しく低下し、精度の良い画像の合成処理ができなくなってしまう。合成処理に供するいずれかの撮像タイルで特徴量抽出の精度が低下すると、画像の合成処理の精度が低下してしまう。

（プレ計測処理）
図７は、プレ計測を説明するフローチャートである。なお、以下に述べる各ステップの処理は、図４（ｂ）に示すプレ計測系で行われるものである。

ステップＳ７０１では、標本５０２のプレ撮像を行う。スライド４０３の全体像を撮影するためのものであり、産業用デジタルカメラなどで行われる。
ステップＳ７０２では、標本５０２の領域、及び、標本５０２のスライド４０３における位置を把握する。プレ撮像画像を用いて、標本５０２の領域抽出と、抽出した領域がスライド４０３のどの領域に存在しているかを座標情報として記憶する。

ステップＳ７０３では、本撮像系における撮像対象領域の設定を行う。図５を参照すると、スライド４０３上の標本５０２の存在位置に合わせて、スライド４０３での撮像対象領域５０１の座標が設定される。標本５０２が撮像対象領域５０１の中心付近となるように、スライド４０３における撮像対象領域５０１の座標設定が行われる。

ステップＳ７０４では、撮像する撮像タイルの設定を行う。図５（ｂ）を参照すると、撮像タイル（１、１）などの、撮像対象領域５０１で標本５０２が存在しない撮像タイルの撮像実行可否の判断を行う。撮像の必要がないと判断された撮像タイルの撮像をスキップして、撮像する撮像タイルの選定を行う。撮像実行可否判断は、ユーザが指定することもできるし、標本５０２の領域抽出結果から自動で判定することもできる。
以上の説明のとおり、プレ計測処理において、スライド４０３における撮像対象領域５０１の座標設定、撮像する撮像タイルの設定が行われる。

（本撮像処理）
図８は、本撮像を説明するフローチャートである。なお、以下に述べる各ステップの処理は、図４（ｂ）に示す本撮像系で行われるものである。
図８（ａ）は、複数回撮像タイルを撮像して撮像対象領域５０１を取得する処理フローを示している。撮像タイルの撮像には、位置合わせ用の画像である第２の画像の撮像、及び、合成用の画像である第１の画像の撮像を含んでいる。なお、以下に述べる各ステップの処理は、撮像制御部４０８が実行するか、又は、撮像制御部４０８からの指令に基づき撮像装置の各部が実行するものである。

ステップＳ８０１では、本撮像の初期位置（Ｎ＝１；Ｎは撮像対象である撮像タイルの通し番号）へスライドを移動させる。スライド４０３をプレ計測系から本撮像系に移動させ、かつ、プレ計測で取得したスライド４０３における撮像対象領域５０１の座標情報に
基づき、最初に撮像する撮像タイルが撮像できるようにスライド４０３をセットする。更に、撮像部４０６のオートフォーカス機能によりスライド４０３のｚ方向位置をセットする。ここで、撮像タイルの焦点位置が決定される。図７のＳ７０４で標本５０２が存在しない撮像タイルは撮像しないと判断した場合には、撮像タイル（１、３）を最初に撮像する撮像タイルとして、当該撮像タイルが本撮像系の初期位置としてセットされる。

ステップＳ８０２では、絞り制御１を行う。開口絞り４０４を制御して、位置合わせ用である第２の画像を撮影するための絞りとする。第２の画像は、被写界深度が深く、デフォーカス量が大きい領域でコントラストが高い画像であり、図２、図３で説明したように、開口絞り４０４を絞って低ＮＡとすることで得られる。
ステップＳ８０３では、撮像タイルＮ番目の第２の画像の撮像を行う。第２の画像は、位置合わせに用いる画像であり、合成に用いる画像（第１の画像）とは別に取得する。

ステップＳ８０４では、絞り制御２を行う。開口絞り４０４を制御して、合成用である第１の画像を撮影するための絞りとする。第１の画像は、空間周波数の高い領域においてＭＴＦ（Modulation Transfer Function）が得られる画像（高解像な画像）であり、図１で説明したように、開口絞り４０４を開放して高ＮＡとすることで得られる。
ステップＳ８０５では、撮像タイルＮ番目の第１の画像の撮像を行う。第１の画像は、合成に用いる画像であり、位置合わせに用いる画像（第２の画像）とは別に取得する。

ステップＳ８０６では、撮像対象領域５０１の全ての撮像タイルの撮像が終了したか否かを判断する。撮像対象領域５０１の全ての撮像タイルの撮像が終了していなければ、Ｓ８０７へ進む。全ての撮像タイルの撮像が終了していれば、処理を終了する。
ステップＳ８０７では、次の撮像タイルが撮像できる位置に、ＸＹＺ移動機構４０９によりスライド４０３を移動させる。

図８（ｂ）は図８（ａ）のＳ８０５の第１の画像撮像での処理をさらに分解した処理フローを示している。
ステップＳ８０８では、単色光源（Ｒ光源、Ｇ光源、または、Ｂ光源）の発光、及び、２次元撮像素子の露光を開始する。単色光源の点灯タイミングと２次元撮像素子の露光タイミングは同期して動作するように制御される。
ステップＳ８０９では、２次元撮像素子から単色画像信号（Ｒ画像信号、Ｇ画像信号、または、Ｂ画像信号）の読み出しを行う。
ステップＳ８１０では、ＲＧＢ画像の撮像が全て終了したかどうかを判断する。ＲＧＢ各画像の撮像が終了していなければＳ８０８へ戻り、次の色の撮像を行う。全ての色の撮像が終了していれば処理を終了する。
以上の処理ステップにしたがって、各撮像タイルにおいて、位置合わせ用の画像である第２の画像と、合成用の画像である第１の画像の撮像を連続して行う。

（撮像機能）
図９は、本撮像に関わる機能ブロック図である。図９（ａ）には、撮像部４０６と画像処理部４０７を分解した機能ブロック図が示してある。画像処理部４０７は、第１の画像格納部９０１、第２の画像格納部９０２、ＣＰＵ９０３、位置合わせパラメータ生成部９０４、現像・補正部９０５、画像ズレ補正部９０６、合成部９０７、圧縮部９０８、ＣＰＵ９０９、伝送部９１０を備えて構成される。図９（ｂ）には、位置合わせパラメータ生成部９０４を分解した機能ブロック図が示してある。位置合わせパラメータ生成部９０４は、画像補正部９１１、特徴量抽出部９１２、位置ズレ検知部９１３、補正パラメータ生成部９１４を備えて構成される。

第１の画像格納部９０１は、第１の画像を格納するためのメモリである。第１の画像格
納部９０１の書き込みはＣＰＵ９０３により制御され、読み出しはＣＰＵ９０９により制御される。
第２の画像格納部９０２は、第２の画像を格納するためのメモリである。第１の画像格納部９０１と同様に、第２の画像格納部９０２の書き込みはＣＰＵ９０３により制御され、読み出しはＣＰＵ９０９により制御される。
ＣＰＵ９０３は、撮像部４０６で取得した第１の画像、及び、第２の画像を、それぞれ、第１の画像格納部９０１、及び、第２の画像格納部９０２に格納するタイミングを制御するＣＰＵである。

位置合わせパラメータ生成部９０４は、第２の画像格納部９０２に格納した第２の画像に対して、各撮像タイル（分割画像）を繋ぎ合わせるための補正パラメータの生成を行う。まず、画像補正部９１１では、位置合わせパラメータ生成用の各撮像タイル画像に対して、歪曲収差補正などの画像補正を行う。次に、特徴量抽出部９１２では、補正後の各画像の位置合わせ領域における特徴量を抽出する。次に、位置ズレ検知部９１３では、特徴量をもとに各画像の相対的位置ズレを検知する。そして、補正パラメータ生成部９１４では、相対的位置ズレ量から、各画像の位置ズレ補正量（補正パラメータ）を生成する。

現像・補正部９０５は、第１の画像格納部９０１に格納した第１の画像に対して、現像処理、補正処理を行う。機能としては、黒レベル補正、ＤＮＲ（Ｄｉｇｉｔａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）、画素欠陥補正、撮像素子の個体ばらつきやシェーディングに対する輝度補正、現像処理、ホワイトバランス処理、強調処理、歪曲収差補正、倍率色収差補正などを含む。
画像ズレ補正部９０６は、位置合わせパラメータ生成部９０４で生成した補正パラメータを用いて、各撮像タイルの第１の画像の位置ズレ補正を行う。
合成部９０７は、画像ズレ補正後の各撮像タイル（分割画像）を繋ぎ合わせる処理を行う。ここで繋ぎ合せる画像は、現像・補正部９０５で歪曲収差補正や倍率収差補正済みの画像である。
圧縮部９０８は、合成部９０７から出力されるブロック画像毎に逐次圧縮処理を行う。
ＣＰＵ９０９は、第１の画像格納部９０１に格納されている第１の画像を現像・補正部９０５に読み出すタイミング、及び、第２の画像格納部９０２に格納されている第２の画像を位置合わせパラメータ生成部９０４に読み出すタイミングを制御するＣＰＵである。
伝送部９１０は、圧縮ブロック画像の信号をＰＣやＷＳに出力する。ＰＣやＷＳへの信号伝送では、ギガビット・イーサネットなどの大容量の伝送が可能な通信規格を用いる。

以上の機能ブロックにより、第１の画像の位置合わせ領域がボケた画像であっても、第２の画像を用いて画像ズレ補正のための補正パラメータが生成でき、その補正パラメータを用いて、第１の画像の画像ズレ補正と画像の合成処理が実現できる。

（画像合成処理の概念）
図１０は、画像処理部４０７による合成画像生成の工程を説明する模式図である。本発明のポイントとなる、第２の画像を用いて撮像タイル（分割領域）間の位置合わせを行い、第１の画像を用いて合成画像を生成する工程を概念的に示している。本実施例では、第１の画像と第２の画像は、被写界深度が異なる画像である。

ステップＳ１００１では、撮像タイル（４、６）６０１の第１の画像１００１と撮像タイル（４、７）６０２の第１の画像１００２を示している。これらの第１の画像は、高解像な画像であり、図１で説明したように、開口絞り４０４を開放して高ＮＡとすることで得られる。病理検査の組織診や細胞診では、ハーフピッチ０．５［μｍ］程度の細かい構造を観察する必要があり、観察用の画像として高解像な画像が求められている。

ステップＳ１００２では、撮像タイル（４、６）６０１の第２の画像１００３と撮像タイル（４、７）６０２の第２の画像１００４を示している。これらの第２の画像は、被写界深度が深く、デフォーカス量が大きい領域でコントラストが高い画像であり、図２、図３で説明したように、開口絞り４０４を絞って低ＮＡとすることで得られる。図６で説明したように、第１の画像では位置合わせ領域で画像ボケがある場合でも、開口絞り４０４を絞った第２の画像では被写界深度が深くなることで位置合わせ領域の画像ボケを解消できる。第２の画像は位置合わせパラメータ生成に用いる画像であるため、位置合わせ領域のみの取得で良い。ここでは、隣り合う撮像タイル間での合成に着目しているために、画像１００３では右端の位置合わせ領域のみ、画像１００４では左端の位置合わせ領域のみを取得している。しかし、例えば、撮像タイル（３、４）のように周辺８つの撮像タイルと合成処理を行うには、撮像タイルの周辺（上端、右端、下端、左端）の位置合わせ領域の取得が必要である（図５参照）。

ここで、第１の画像と第２の画像について説明する。第１の画像では染色標本を観察することから、第１の画像はカラー画像とすることが望ましいが、第２の画像はカラー画像である必要はなく、モノクロ画像でも良い。更に、第２の画像からの特徴量抽出を考えると、高いコントラストが得られる色の輝度情報から生成したモノクロ画像であればなお良い。高いコントラストが得られる色は、第２の画像を解析することにより特定することもできるし、標本の染色方法から特定することもできる。例えば、標本がＨＥ染色（ヘマトキシリン・エオジン染色）の場合には、ヘマトキシリンの青紫色に着目し、Ｂ画像信号をモノクロ画像とする、などである。標本の染色方法は、スライドに関係付けられた染色情報から得ることができる。染色情報は、例えば、スライドに貼付された２次元コードやＩＣチップから読み取るか、或いは、ユーザ入力若しくはデータ入力により与えられる。また、第１の画像は高解像である必要から全画素読み出し画像であることが望まれるが、第２の画像は特徴量が抽出できれば良いため第１の画像よりも低解像度の画像（例えば、間引き画像）でも良い。

第２の画像をモノクロ画像、低解像度画像、撮像タイル（分割領域）の一部のみを含む画像とすることで、計算時間短縮、計算コスト削減、データ容量削減、消費電力削減、といった効果がある。また、第２の画像として、染色による色の輝度情報から生成した、高コントラストのモノクロ画像を用いることで、データ容量を削減しつつ特徴量抽出精度を維持できるといった効果がある。

ステップＳ１００３では、画像合成に供する第２の画像１００３と１００４から、位置合わせパラメータを生成することを示している。各第２の画像は、光学系収差による画像歪みを補正する画像補正が施され、補正後の画像から特徴量が抽出される。そして、第２の画像それぞれの特徴量を比較して位置ズレを検知し、画像ズレ補正のための補正パラメータを生成する。ここでの画像補正は、第１の画像に対して行う画像補正と同様のパラメータを用いて行う。また、第２の画像と第１の画像は、被写界深度が違うのみで撮像範囲（画角）は同一である。そのため、第２の画像から生成した補正パラメータは、そのまま第１の画像に対して適用できる。ただし、カラー画像とモノクロ画像では、倍率色収差の影響で画像の歪み程度が変化するため、モノクロ画像を用いる場合には、倍率色収差の影響を加味した画像補正が必要である。

ステップＳ１００４では、第２の画像１００３と１００４から生成した補正パラメータを用いて、第１の画像１００１と１００２の画像ズレ補正を行う。
ステップＳ１００５では、第１の画像１００１と１００２の合成画像１００５を生成する。
以上説明したように、第２の画像を用いて撮像タイル（分割領域）間の位置合わせを行い、第１の画像を用いて合成画像を生成することで、第１の画像が有する高い解像度を維
持したまま、画像合成における位置合わせ精度を向上させることができる。

（位置合わせ）
図１１は、撮像タイル（分割画像）の位置合わせを説明する模式図である。ここでは、第１の画像を用いたときに発生する画像ボケと、その対処法となるボケの少ない第２の画像を用いることで精度良い位置合わせができることを説明する。

図１１（ａ）は撮像タイル（４、６）６０１のｘｚ断面図であり、図１１（ｂ）は撮像タイル（４、７）６０２のｘｚ断面図である。図１１（ａ）、（ｂ）は、図６（ｃ）の６０３と６０４を分解して図示したものであり、位置合わせ領域（ｘｚ平面）６０９を網掛けで示している。図１１（ｃ）は撮像タイル（４、６）６０１のｘｙ平面図であり、図１１（ａ）の上面図に対応する。ただし、図１１（ｃ）は、図１１（ａ）の１断面にしか対応していないが、説明を簡単にするため、全断面で同じ表面うねりであると仮定して説明する。同様に、図１１（ｄ）は撮像タイル（４、７）６０２のｘｙ平面図であり、図１１（ｂ）の上面図に対応する。ただし、図１１（ｄ）は、図１１（ｂ）の１断面にしか対応していないが、説明を簡単にするため、全断面で同じ表面うねりであると仮定して説明する。図１１（ｃ）、（ｄ）には、標本表面の細胞（１１０３は細胞の１つ）が図示されており、それらを特徴量として抽出するものとする。

図１１（ａ）と（ｃ）の対応をみると、位置合わせ領域（ｘｙ平面）１１０１のほぼ右４分の３の領域が被写界深度から外れており、画像ボケ領域１１０４となる。同様に、図１１（ｂ）と（ｄ）対応させると、位置合わせ領域（ｘｙ平面）１１０２のほぼ左４分の３の領域が被写界深度から外れており、画像ボケ領域１１０５となる。ボケた領域では特徴量抽出精度が低下するため、第１の画像を用いたのでは位置合わせ領域（ｘｙ平面）１１０１と１１０２との相関をとることができない。そこで、開口絞り４０４を絞って低ＮＡとして被写界深度を２μｍ程度とすることで、画像ボケの少ない第２の画像が取得でき、精度良く位置合わせを行うことができる。被写界深度としては、厚い標本への対応、表面うねりのマージン、被写界深度端でのコントラスト確保を考慮し、図２に示すように、５０％ＤＯＦ４μｍ程度（被写界深度８μｍ程度）を考えれば十分である。このとき、開口絞りを絞った状態である絞り３では、ハーフピッチ１．１［μｍ］程度の構造まで撮像できることになる。

以上説明したように、第１の画像では発生してしまう可能性のある画像ボケに対して、被写界深度の深い第２の画像を用いることで、位置合わせにおける特徴量抽出が精度良く行える。

（画像合成処理）
図１２は、画像処理部４０７による撮像タイル（分割画像）の合成を説明するフローチャートである。なお、図１０では発明のポイントとなる工程の概念的なフローを説明したが、ここでは、機能ブロックと対応付けた説明を行う。

ステップＳ１２０１では、第２の画像に対して歪曲収差補正などの画像補正を行う。第２の画像としてモノクロ画像を用いる場合には、倍率色収差の影響を加味した画像補正を行う。これは、位置合わせパラメータ生成部９０４内の画像補正部９１１で行われる。
ステップＳ１２０２では、第２の画像の特徴量抽出を行う。病理検査における組織診や細胞診では、核、細胞膜などの細胞小器官やピロリ菌などが特徴となり得る。これは、位置合わせパラメータ生成部９０４内の特徴量抽出部９１２で行われる。
ステップＳ１２０３では、抽出した特徴量をもとに、第２の画像同士の相対的位置ズレ量を検知する。これは、位置合わせパラメータ生成部９０４内の位置ズレ検知部９１３で行われる。
ステップＳ１２０４では、第２の画像同士の相対的位置ズレ量から、各画像の位置ズレ補正量（補正パラメータ）の生成を行う。Ｓ１２０１の画像補正により、第１の画像と第２の画像は等価な画像とみなせる。そのため、第２の画像から求めた補正パラメータは、第１の画像に対しても適用できる。これは、位置合わせパラメータ生成部９０４内の補正パラメータ生成部９１４で行われる。
Ｓ１２０１からＳ１２０４までの処理は、第２の画像に対して行われる処理である。

ステップＳ１２０５では、第１の画像に対して現像・補正を行う。黒レベル補正、ＤＮＲ（Ｄｉｇｉｔａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）、画素欠陥補正、撮像素子の個体ばらつきやシェーディングに対する輝度補正、現像処理、ホワイトバランス処理、強調処理、歪曲収差補正、倍率色収差補正などが行われる。これは、現像・補正部９０５で行われる。
ステップＳ１２０６では、第２の画像から生成した補正パラメータを用いて、第１の画像に対して画像ズレ補正を行う。これは、画像ズレ補正部９０６で行われる。
ステップＳ１２０７では、第１の画像の合成画像を生成する。これは、合成部９０７で行われる。
Ｓ１２０５からＳ１２０７までの処理は、第１の画像に対して行われる処理である。
以上の処理ステップにしたがって、第２の画像を用いて位置合わせを行い、第１の画像を用いて画像合成を行う。

（画像合成シーケンス）
図１３は、撮像タイル（分割画像）の合成を説明するシーケンス図である。撮像から合成までの処理に寄与する主要な機能ブロックごとに縦軸があり、縦軸の上から下への方向が時間の経過を示している。四角は処理を示しており、矢印は画像データと制御データの流れを示している。

ステップＳ１３０１では、撮像部４０６が撮像タイル（４、６）６０１の第２の画像を取得する。
ステップＳ１３０２では、ＣＰＵ９０３の制御により、撮像タイル（４、６）６０１の第２の画像を第２の画像格納部９０２に格納する。
ステップＳ１３０３では、撮像部４０６が撮像タイル（４、６）６０１の第１の画像を取得する。
ステップＳ１３０４では、ＣＰＵ９０３の制御により、撮像タイル（４、６）６０１の第１の画像を第１の画像格納部９０１に格納する。
ステップＳ１３０５では、撮像部４０６が撮像タイル（４、７）６０２の第２の画像を取得する。
ステップＳ１３０６では、ＣＰＵ９０３の制御により、撮像タイル（４、６）６０２の第２の画像を第２の画像格納部９０２に格納する。
ステップＳ１３０７では、撮像部４０６が撮像タイル（４、７）６０２の第１の画像を取得する。
ステップＳ１３０８では、ＣＰＵ９０３の制御により、撮像タイル（４、７）６０２の第１の画像を第１の画像格納部９０１に格納する。
Ｓ１３０１からＳ１３０８までに示した、画像取得から画像格納までは、第１の画像格納部９０１、もしくは、第２の画像格納部９０２からのビジー信号を受信しない限りは、ＣＰＵ９０３の制御により順次実行される。

ステップＳ１３０９では、第２の画像格納部９０２から撮像タイル（４、６）６０１の第２の画像を読み出し、位置合わせパラメータ生成部９０４において当該画像の画像補正、特徴量抽出を行う。この処理は、Ｓ１３０２での画像格納処理が終了するのを待たずに実施しても良い。
ステップＳ１３１０では、第２の画像格納部９０２から撮像タイル（４、７）６０２の第２の画像を読み出し、位置合わせパラメータ生成部９０４において当該画像の画像補正、特徴量抽出を行う。この処理は、Ｓ１３０６での画像格納処理が終了するのを待たずに実施しても良い。

ステップＳ１３１１では、位置合わせパラメータ生成部９０４において補正パラメータ生成を行う。補正パラメータは、Ｓ１３０９で抽出した撮像タイル（４、６）６０１の第２の画像の特徴量と、Ｓ１３１０で抽出した撮像タイル（４、７）６０２の第２の画像の特徴量とを用いた位置ズレ検知部９１３により生成される。

ステップＳ１３１２では、現像・補正部９０５において、撮像タイル（４、６）６０１の第１の画像の現像・補正処理を行う。この処理は、Ｓ１３０４での画像格納処理が終了するのを待たずに実施しても良い。
ステップＳ１３１３では、現像・補正部９０５において、撮像タイル（４、７）６０２の第１の画像の現像・補正処理を行う。この処理は、Ｓ１３０８での画像格納処理が終了するのを待たずに実施しても良い。

ステップＳ１３１４では、画像ズレ補正部９０６において、Ｓ１３１１で生成した補正パラメータを用いて、撮像タイル（４、６）６０１の第１の画像と撮像タイル（４、７）６０２の第１の画像の画像ズレ補正を行う。この処理は、Ｓ１３１１の処理、及び、Ｓ１３１３の処理が終了後に即座に実行される。
ステップＳ１３１５では、合成部９０７において、画像ズレ補正後の撮像タイル（４、６）６０１の第１の画像と撮像タイル（４、７）６０２の第１の画像の合成処理を行う。

以上説明したように、第２の画像と第１の画像は時間的に順番に取得され、第２の画像が第１の画像に先行して取得される。それにより、第２の画像からの特徴量抽出を第１の画像の取得と同時に（並列に）行うことができ、Ｓ１３１３の撮像タイル（４、７）６０２の現像・補正処理の直後に、Ｓ１３１４の画像ズレ補正を行うことができる。特徴量抽出による待ち時間が発生せず、合成までの処理時間を短縮することができる。

（本実施形態の利点）
以上述べた本実施形態の構成によれば、第２の画像は第１の画像よりも被写界深度の深い画像である。第２の画像を用いて分割領域間の位置合わせを行い、第１の画像を用いて合成画像を生成することで、画像が有する高い解像度を維持したまま、画像合成における位置合わせ精度を向上させることができる。
更に、第１の画像はカラー画像であり第２の画像はモノクロ画像とすること、また、第１の画像は全画素読み出し画像であり第２の画像は低解像度画像とすること、また、第１の画像は撮像タイル（分割領域）をすべて含み第２の画像は撮像タイル（分割領域）の一部のみを含む画像とすることで、計算時間短縮、計算コスト削減、データ容量削減、消費電力削減、といった効果がある。
更に、第２の画像として、染色による色の輝度情報から生成した、高コントラストのモノクロ画像を用いることで、データ容量を削減しつつ特徴量抽出精度を維持できるといった効果がある。
更に、第１の画像と第２の画像は時間的に順番に取得され、第２の画像を第１の画像より先行して取得することで、特徴量抽出と第１の画像の取得とを同時に行うことにより、合成までの処理時間を短縮することができる。

（本実施形態の変形例）
ここで、以上述べた本実施形態の変形例について説明する。第１の画像は高い解像度を有した画像であるが、一方で、被写界深度が浅く、標本の表面うねりに対して画像ボケが
発生しやすい。そこで、第１の画像の画像ボケの程度を画像のコントラストで把握し、画像のコントラストがしきい値以下の場合には、第１の画像を第２の画像で置き換えることを行う。この場合、第２の画像としては第１の画像と被写界深度以外の属性（カラー画像、全画素読み出し画像、撮像タイル（分割領域）をすべて含む画像）はすべて同じ画像とする必要がある。

（撮像機能）
図１４は、コントラスト判定を行う場合の本撮像に関わる機能ブロック図である。図９で示した本撮像に関わる機能ブロック図に、コントラスト判定部１４０１が追加された構成である。コントラスト判定部１４０１以外の機能ブロックは、図９で説明したものと同一である。

コントラスト判定部１４０１は、第１の画像のコントラストを判定する。コントラスト判定部１４０１は、第１の画像格納部９０１に格納してある第１の画像を読み出して、コントラスト判定を行う。第１の画像のコントラストは、図３で説明したコントラスト評価値を用いることで数値化できる。コントラスト評価値がしきい値以上であれば、第１の画像は観察に耐え得る画像であると判断し、そのまま画像合成に用いる。コントラスト評価値がしきい値未満であれば、第１の画像は観察に耐え得ない画像であると判断し、第２の画像を画像合成に用いる。しきい値は、多くの病理検査画像（組織診画像、細胞診画像）を用いて病理診断医に観察に耐え得るか否かをヒアリングするなどして決定する。
以上の機能ブロックにより、第１の画像が観察に耐えられないボケ画像であった場合には、第２の画像を用いて画像合成をすることができ、画像ボケの少ない合成画像が実現できる。

（画像合成処理）
図１５は、コントラスト判定を行う場合の分割画像の合成を説明するフローチャートである。図１２で示した撮像タイル（分割画像）の合成を説明するフローチャートに、Ｓ１５０１とＳ１５０２が追加された構成である。Ｓ１５０１とＳ１５０２以外の処理ステップは、図１２で説明したものと同一である。

ステップＳ１５０１では、第１の画像のコントラスト判定を行い、第１の画像のコントラスト評価値がしきい値以上かどうかを判断する。しきい値以上であればＳ１２０５へ進み、しきい値未満であればＳ１５０２へ進む。これは、コントラスト判定部１４０１で行われる。
ステップＳ１５０２では、第２の画像読み出しを行う。ＣＰＵ９０９により第２の画像が読み出され、Ｓ１２０５の現像・補正処理に進む。
以上の処理ステップにしたがって、第１の画像が観察に耐え得ないボケた画像であると判断した場合には、第１の画像の代わりに第２の画像を用いて画像合成を行う。

（本実施形態の変形例の利点）
以上述べた本実施形態の変形例の構成によれば、第１の画像が観察に耐えられないボケ画像であった場合には、第２の画像を用いて画像合成をすることができ、画像ボケの少ない合成画像が実現できる。
ここで、処理を簡略化するため、第１の画像のコントラスト評価値をしきい値と比較しているが、第１の画像と第２の画像のコントラスト評価値を比較して、コントラスト評価値の高い画像を画像合成に用いる画像として選択する構成も可能である。

［第２の実施形態］
次に、本発明の第２の実施形態を、図面を参照しながら説明する。第１の実施形態では、画像合成に供するすべての撮像タイル（分割領域）で第１の画像と第２の画像を取得す
る例について述べた。これに対し、本実施形態では、被写界深度判定を行い、合成までの処理時間を短縮する例について述べる。
本実施形態の説明において、前述した第１の実施形態と同一の部分についての説明を省略する。図４に示した撮像装置の概略構成、図５に示した撮像対象領域と撮像タイルの説明、図６に示した焦点位置と被写界深度の説明、図９に示した本撮像の機能ブロック図、図１１に示した位置合わせの説明、図１３に示した画像合成シーケンスは、第１の実施形態と同じである。

（標本表面形状計測）
図１６は、プレ計測での標本表面形状計測を説明する模式図である。標本表面形状計測は、標本の表面うねりを計測するためのものであり、波面計測用光源１６０１と波面計測センサ１６０２で構成される。図４（ｂ）に示すプレ計測系に、標本表面形状計測が追加される構成となる。波面計測センサ１６０２として、シャックハルトマンセンサなどが用いられる。波面計測センサ１６０２は、波面計測用光源１６０１から照射された光の標本表面での反射光（標本表面の像のずれ）を測定し、標本表面のうねり状態を把握するものである。
以上の構成により、プレ計測系において、図６（ｃ）に示した標本断面形状（標本表面のうねり状態）が把握できる。

（プレ計測処理、本撮像処理）
図１７は、被写界深度判定を行う場合のプレ計測、本撮像を説明するフローチャートである。
図１７（ａ）はプレ計測を説明するフローチャートである。図７で示したプレ計測を説明するフローチャートに、Ｓ１７０１からＳ１７０４が追加された構成である。Ｓ１７０１からＳ１７０４以外の処理ステップは、図７で説明したものと同一である。

ステップＳ１７０１では、標本表面形状計測を行う。標本表面形状計測により、標本表面のうねり状態が把握できる。
ステップＳ１７０２では、標本表面のうねり状態に基づき、すべての撮像タイルでの焦点位置を決定する。
ステップＳ１７０３では、各撮像タイルの被写界深度判定を行う。Ｓ１７０２で決定した焦点位置と絞り制御１での被写界深度（±０．５μｍ）から、位置合わせ領域での標本表面うねり範囲が被写界深度内かどうかを、すべての撮像タイルで判断する。標本表面うねり範囲とは、位置合わせ領域での表面うねりのｚ方向範囲である。例えば、図６（ｃ）では、スライドグラス側をｚ＝０μｍとすると、位置合わせ領域（ｘｚ平面）６０９における標本表面うねり範囲は、ｚ＝約１．７μｍからｚ＝約２．８μｍまでの範囲となる。ただし、図６（ｃ）は、説明を簡単にするために、位置合わせ領域の１断面のみを示しているが、実際には全断面（表面うねり）で把握する。撮像タイルにおける焦点位置と被写界深度内か否かの情報は、Ｓ１７０４、及び、本撮像で用いるため、テーブルとして記憶しておく。

ステップＳ１７０４では、Ｓ１７０３で取得した撮像タイルにおける焦点位置と被写界深度内か否かの情報を基に、撮像タイルの撮像順番の決定を行う。画像合成に供する複数の撮像タイル（分割領域）のうち、標本表面のうねり範囲が被写界深度に収まっているものを第１の撮像タイル（第１の分割領域）とよび、それ以外を第２の撮像タイル（第２の分割領域）とよぶ。このとき、第１の撮像タイル（第１の分割領域）の画像が第２の撮像タイル（第２の分割領域）の画像に時間的に先行して取得されるように、すべての撮像タイルに対して撮像順番付けを行う。
以上の処理ステップにしたがって、プレ計測において被写界深度判定と撮像タイルの撮像順番の決定を行う。

図１７（ｂ）は本撮像を説明するフローチャートである。図８で示した本撮像を説明するフローチャートに、Ｓ１７０５とＳ１７０６が追加された構成である。Ｓ１７０５とＳ１７０６以外の処理ステップは、図８で説明したものと同一である。

ステップＳ１７０５では、本撮像の初期位置（Ｎ＝１；Ｎは撮像対象である撮像タイルの通し番号）へスライドを移動させる。スライド４０３をプレ計測系から本撮像系に移動させ、かつ、プレ計測のＳ１７０４で決定した撮像タイルの撮像順番に基づき、最初に撮像する撮像タイルが撮像できるようにスライド４０３をセットする。更に、Ｓ１７０３でテーブルとして記憶した焦点位置情報に基づき、スライド４０３のｚ方向位置をセットする。
ステップＳ１７０６では、被写界深度判定を行う。Ｓ１７０３でテーブルとして記憶した当該撮像タイルが被写界深度内か否かの情報に基づき判断する。当該撮像タイルが被写界深度内であればＳ８０４へ進み、被写界深度内でなければＳ８０２へ進む。当該撮像タイルが被写界深度内であれば、第２の画像の撮像が省略できる。
以上の処理ステップにしたがって、各撮像タイルにおいて、位置合わせ用の画像である第２の画像と、合成用の画像である第１の画像の撮像を連続して行う。

（画像合成シーケンス）
図１８は、被写界深度判定を行う場合の分割画像の合成を説明するシーケンス図である。撮像から合成までの処理に寄与する主要な機能ブロックごとに縦軸があり、縦軸の上から下への方向が時間の経過を示している。四角は処理を示しており、矢印は画像データと制御データの流れを示している。図１３で示した分割画像の合成を説明するシーケンス図と同じ処理は同一符号で示している。新たに追加されたＳ１８０１の処理は黒塗り四角で示している。
ここで、撮像タイル（４、６）６０１の位置合わせ領域は、被写界深度判定で被写界深度に収まっていると判断され、撮像タイル（４、７）６０２の位置合わせ領域は、被写界深度判定で被写界深度に収まっていないと判断されたものとする。

ステップＳ１８０１では、第１の画像格納部９０１から撮像タイル（４、６）６０１の第１の画像（の位置合わせ領域）を読み出し、位置合わせパラメータ生成部９０４において当該画像の画像補正、特徴量抽出を行う。この処理は、Ｓ１３０４での画像格納処理が終了するのを待たずに実施しても良い。これは、Ｓ１３０９とほぼ同一の処理で、対象となる画像が第２の画像から第１の画像に置き換わっただけである。

図１３で示したシーケンス図と比較すると、図１８では、撮像タイル（４、６）６０１の第２の画像の取得が省略され、撮像タイル（４、６）６０１の画像補正・特徴量抽出を第１の画像で行っている。被写界深度判定を行ったことで撮像タイル（４、６）６０１の第２の画像の取得が省略され、合成までの処理時間が短縮されている。更に、被写界深度判定で被写界深度に収まっていると判断された撮像タイル（４、６）６０１が時間先行して取得されたことにより、合成までの処理時間が短縮されている。

（本実施形態の利点）
以上述べた本実施形態の構成によれば、画像合成に供する領域の被写界深度を判定する被写界深度判定工程を有し、被写界深度に収まっていると判断された分割領域に対しては、第１の画像のみ取得し、位置合わせに第１の画像を用いることで、撮像から合成までの処理時間を短縮できる。
更に、画像合成に供する第１の分割領域と第２の分割領域において、第１の分割領域と第２の分割領域は時間的に順番に取得され、被写界深度判定工程で被写界深度に収まっていると判断された分割領域が先行して取得されることで、撮像から合成までの処理時間を
短縮できる。

［第３の実施形態］
次に、本発明の第３の実施形態を、図面を参照しながら説明する。
第１の実施形態では、第１の画像と第２の画像は被写界深度が異なる画像であるが、本実施形態では、第１の画像と第２の画像は焦点位置が異なる画像である。また、第１の実施形態では、画像合成に供するすべての撮像タイル（分割領域）で第１の画像と第２の画像をそれぞれ１枚ずつ取得する例であり、主に、病理検査の組織診標本に対して適用できる。これに対し、本実施形態では、各撮像タイル（分割領域）で複数枚撮像し、そこから第１の画像と第２の画像を選択して画像合成する例であり、主に、ｚスタック画像を取得する病理検査の細胞診標本に対して適用できる。ｚスタック画像とは、焦点位置を変えながら撮像することにより得られた複数枚の２次元画像から構成されるデータである。ｚスタック画像を構成する各焦点位置の２次元画像は、レイヤー画像と呼ばれる。
本実施形態の説明において、前述した第１の実施形態と同一の部分についての説明を省略する。図４に示した撮像装置の概略構成、図５に示した撮像対象領域と撮像タイルの説明、図７に示したプレ計測処理は、第１の実施形態と同じである。

（ｚスタック画像群と被写界深度）
図１９は、細胞診におけるzスタック画像群と被写界深度を説明する模式図である。
図１９（ａ）は、物体面における細胞診標本上面図を示す模式図である。１９０１は細胞診標本である。撮像タイル（４、６）１９０２と撮像タイル（４、７）１９０３の合成処理に着目することとし、重複領域を含めた撮像タイルを太枠で示している。

図１９（ｂ）は、細胞診標本断面拡大図を示す模式図であり、図１９（ａ）に示す切断面１９０９における標本１９０１のｘｚ平面を示している。撮像タイル（４、６）１９０２のｘｚ平面が１９０４、撮像タイル（４、７）１９０３のｘｚ平面が１９０５である。細胞診でのスライドグラスとカバーグラスの間隙は数十μｍである。まず、ｚスタック画像の焦点位置と被写界深度について説明する。＃１〜＃５は、撮像タイル（４、６）１９０２における５枚のレイヤー画像であり、それぞれの焦点位置が破線で示されている。撮像タイル（４、７）１９０３におけるレイヤー画像＃１’〜＃５’の焦点位置も破線で示されている（符号は不図示）。

以下、１９０４の領域に着目して説明する。レイヤー画像＃５を観察するものとする。観察面であるレイヤー画像＃５の被写界深度１９０７は、斜線（左下がり斜線）で示された範囲である。細胞（１９０６は細胞の１つ）は標本内に散在、浮遊している。１９０４と１９０５に対する位置合わせ領域（ｘｚ平面）１９０８は、撮像タイル（４、６）１９０２と撮像タイル（４、７）１９０３の重複領域であり、合成処理で位置合わせ領域として使用される領域である。画像合成での位置合わせはｘｙ平面の画像を利用するが、ここでの位置合わせ領域（ｘｚ平面）は、その１断面であるｘｚ平面を示している。

ここで、位置合わせ領域（ｘｚ平面）１９０８における、観察面（＃５；第１の画像）とそのほかの面（＃１〜＃４）の関係について説明する。観察面の位置合わせ領域（ｘｚ平面）１９０８では、位置合わせに必要な特徴となる細胞が存在しないため、特徴量の相関比較の精度が低下する。一方、＃２や＃３の位置合わせ領域（ｘｚ平面）１９０８では、特徴量となる細胞が存在するため、観察面と比較して、高精度で位置合わせが行える。位置合わせ精度に寄与する細胞の存在はランダムであるため、観察面での位置合わせが常に精度良く行えるとは限らない。図１９（ｂ）はｘｚ平面の１断面で考えた場合だが、ｙ軸を含めた３次元で考えた場合にも、位置合わせ領域（ｘｙｚ空間；ｘｙ平面とｚ軸は被写界深度範囲）に位置合わせ精度が確保できる程度の細胞が存在しない可能性がある。

図１９（ｃ）は、位置合わせ領域におけるレイヤー画像＃１〜＃５のコントラストを比較した表である。各レイヤー画像のコントラストは、図３で説明したコントラスト評価値を用いることで数値化できる。コントラスト評価値を用いて、十分な精度で位置合わせができるかどうかという観点で各レイヤー画像のコントラスト判定を行う。コントラスト判定の基準は、多くの病理検査画像（組織診画像、細胞診画像）を用いて病理診断医に観察に耐え得るか否かをヒアリングするなどして決定する。コントラスト判定により、観察面であるレイヤー画像＃５での位置合わせ精度は低いが、レイヤー画像＃３では高精度に位置合わせが行えることがわかる。第１の実施形態と対比させると、観察面であるレイヤー画像＃５が第１の画像であり、レイヤー画像＃３が第２の画像となる。

以上説明したように、合成処理を行うための位置合わせ領域において、位置合わせ精度に寄与する細胞の存在はランダムであるため、観察面のレイヤー画像（第１の画像）での位置合わせが常に精度良く行えるとは限らない。そのため、位置合わせ精度が確保できる観察面以外のレイヤー画像（第２の画像）で位置合わせを行うことが好ましい場合がある。

（撮像機能）
図２０は、zスタック画像撮像に関わる機能ブロック図である。図２０（ａ）には、撮
像部４０６と画像処理部４０７を分解した機能ブロック図が示してある。画像処理部４０７は、現像・補正部２００１、ｚスタック画像格納部２００２、ｚスタック画像格納部２００３、ＣＰＵ２００４、コントラスト判定部２００５、位置合わせパラメータ生成部２００６、画像ズレ補正部２００７、合成部２００８、圧縮部２００９、ＣＰＵ２０１０、伝送部２０１１を備えて構成される。図２０（ｂ）には、位置合わせパラメータ生成部２００６を分解した機能ブロック図が示してある。位置合わせパラメータ生成部２００６は、特徴量抽出部２０１２、位置ズレ検知部２０１３、補正パラメータ生成部２０１４を備えて構成される。

現像・補正部２００１は、撮像部４０６が撮像したｚスタック画像の各レイヤー画像に対して、順次、現像処理、補正処理を行う。機能としては、黒レベル補正、ＤＮＲ（Ｄｉｇｉｔａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）、画素欠陥補正、撮像素子の個体ばらつきやシェーディングに対する輝度補正、現像処理、ホワイトバランス処理、強調処理、歪曲収差補正、倍率色収差補正などを含む。

ｚスタック画像格納部２００２は、画像合成に供する一方の撮像タイル（分割領域）のレイヤー画像群を格納するためのメモリである。ｚスタック画像格納部２００２の書き込みはＣＰＵ２００４により制御され、読み出しはＣＰＵ２０１０により制御される。
ｚスタック画像格納部２００３は、画像合成に供する他方の撮像タイル（分割領域）のレイヤー画像群を格納するためのメモリである。ｚスタック画像格納部２００２と同様に、ｚスタック画像格納部２００３の書き込みはＣＰＵ２００４により制御され、読み出しはＣＰＵ２０１０により制御される。

ＣＰＵ２００４は、撮像部４０６で取得したｚスタック画像（レイヤー画像群）を、撮像タイル（分割領域）ごとに、ｚスタック画像格納部２００２、及び、ｚスタック画像格納部２００３に格納するタイミングを制御するＣＰＵである。

コントラスト判定部２００５は、画像合成に供するいずれか一方の撮像タイル（分割領域）のレイヤー画像群を用いて、位置合わせ領域のコントラストを判定する。画像のコントラストは、図３で説明したコントラスト評価値を用いることで数値化できる。コントラスト評価値を用いて、十分な精度で位置合わせができるかどうかという観点で各レイヤー画像のコントラスト判定を行う。コントラスト判定の基準は、多くの病理検査画像（組織
診画像、細胞診画像）を用いて病理診断医に観察に耐え得るか否かをヒアリングするなどして決定する。ここで、いずれのレイヤー画像もコントラスト判定の基準を満たさない場合のエラー処理として、ｚスタック画像を構成するレイヤー画像の中で最もコントラストの大きな画像を選択することも可能である。

位置合わせパラメータ生成部２００６は、コントラスト判定部２００５でコントラストが高いと判定された面の画像（第２の画像）に対して、各撮像タイル（分割画像）を繋ぎ合わせるための補正パラメータの生成を行う。まず、特徴量抽出部２０１２では、補正後の各画像の位置合わせ領域における特徴量を抽出する。次に、位置ズレ検知部２０１３では、特徴量をもとに各画像の相対的位置ズレを検知する。そして、補正パラメータ生成部２０１４では、相対的位置ズレ量から、各画像の位置ズレ補正量（補正パラメータ）を生成する。

画像ズレ補正部２００７は、位置合わせパラメータ生成部２００６で生成した補正パラメータを用いて、撮像タイルそれぞれの観察面の画像（第１の画像）の位置ズレ補正を行う。
合成部２００８は、画像ズレ補正後の各観察面の画像（第１の画像）を繋ぎ合わせる処理を行う。
圧縮部２００９は、合成部から出力されるブロック画像毎に逐次圧縮処理を行う。
ＣＰＵ２０１０は、ｚスタック画像格納部２００２に格納されているレイヤー画像群を読み出すタイミング、及び、ｚスタック画像格納部２００３に格納されているレイヤー画像群を読み出すタイミングを制御するＣＰＵである。
伝送部２０１１は、圧縮ブロック画像の信号をＰＣやＷＳに出力する。ＰＣやＷＳへの信号伝送では、ギガビット・イーサネットなどの大容量の伝送が可能な通信規格を用いる。
以上の機能ブロックにより、コントラストの良いレイヤー画像（第２の画像）で位置合わせパラメータ生成を行い、観察面の画像（第１の画像）で精度良い合成画像が実現できる。

（画像合成処理の概念）
図２１は、zスタック画像を用いた合成画像生成の工程を説明する模式図である。本発
明のポイントとなる、第２の画像を用いて撮像タイル（分割領域）間の位置合わせを行い、第１の画像を用いて合成画像を生成する工程を概念的に示している。本実施形態では、第１の画像と第２の画像は、焦点位置が異なる画像である。

ステップＳ２１０１では、撮像タイル（４、６）１９０２のレイヤー画像群（＃１〜＃５）２１０１と撮像タイル（４、７）１９０３のレイヤー画像群（＃１’〜＃５’）２１０２を示している。レイヤー画像＃５、＃５’が観察面である。これらのレイヤー画像群は、空間周波数の高い領域においてコントラストが得られる画像（高解像な画像）であり、図１で説明したように、開口絞り４０４を開放して高ＮＡとすることで得られる。病理検査の組織診や細胞診では、ハーフピッチ０．５［μｍ］程度の細かい構造を観察する必要があり、観察用の画像として高解像な画像が求められている。

ステップＳ２１０２では、画像合成に供するいずれか一方の撮像タイル（分割領域）のレイヤー画像群を用いて、位置合わせ領域のコントラストを判定する。

ステップＳ２１０３では、撮像タイル（４、６）１９０２の第２の画像２１０３と撮像タイル（４、７）１９０３の第２の画像２１０４を示している。これらの第２の画像は、Ｓ２１０２でコントラストが高いと判定された画像であり、位置合わせパラメータ生成を行うのに適した画像である。ここでは、レイヤー画像＃３、＃３’が第２の画像として選
ばれている。第２の画像は位置合わせパラメータ生成に用いる画像であるため、位置合わせ領域のみの取得で良い。ここでは、隣り合う撮像タイル間での合成に着目しているために、２１０３では画像右端の位置合わせ領域のみ、２１０４では画像左端の位置合わせ領域のみを取得している。しかし、例えば、撮像タイル（３、４）のように周辺８つの撮像タイルと合成処理を行うには、撮像タイルの周辺（上端、右端、下端、左端）の位置合わせ領域の取得が必要である（図５参照）。

ここで、第１の画像と第２の画像について説明する。本実施の形態で撮像する画像としてｚスタック画像を想定しているため、いずれの撮像画像も同一の属性（カラー画像、全画素読み出し画像、撮像タイル（分割領域）をすべて含む画像）を有している。しかしながら、Ｓ２１０２からＳ２１０４の工程における第２の画像として、その画像データすべてを利用する必要はない。そこで、第１の画像では染色標本を観察することから、第１の画像はカラー画像とすることが望ましいが、第２の画像はカラー画像である必要はなく、モノクロ画像でも良い。更に、第２の画像からの特徴量抽出を考えると、高いコントラストが得られる色の輝度情報から生成したモノクロ画像であればなお良い。高いコントラストが得られる色は、第２の画像を解析することにより特定することもできるし、標本の染色方法から特定することもできる。例えば、標本がＨＥ染色（ヘマトキシリン・エオジン染色）の場合には、ヘマトキシリンの青紫色に着目し、Ｂ画像信号をモノクロ画像とする、などである。また、第１の画像は高解像である必要から全画素読み出し画像であることが望まれるが、第２の画像は特徴量が抽出できれば良いため低解像度画像（例えば間引き画像）でも良い。

第２の画像をモノクロ画像、低解像度画像、撮像タイル（分割領域）の一部のみを含む画像とすることで、計算時間短縮、計算コスト削減、データ容量削減、消費電力削減、といった効果がある。また、第２の画像として、染色による色の輝度情報から生成した、高コントラストのモノクロ画像を用いることで、データ容量を削減しつつ特徴量抽出精度を維持できるといった効果がある。

ステップＳ２１０４では、画像合成に供する第２の画像２１０３と２１０４から、位置合わせパラメータを生成することを示している。各第２の画像の特徴量抽出を行い、それぞれの特徴量を比較して位置ズレを検知し、画像ズレ補正のための補正パラメータを生成する。第２の画像と第１の画像は、焦点位置が違うのみで撮像範囲（画角）は同一である。そのため、第２の画像から生成した補正パラメータは、そのまま第１の画像に対して適用できる。ただし、カラー画像とモノクロ画像では、倍率色収差の影響で画像の歪み程度が変化するため、第２の画像としてモノクロ画像を用いる場合には、倍率色収差の影響を加味した画像補正が必要である。

ステップＳ２１０５では、撮像タイル（４、６）１９０２の第１の画像２１０５と撮像タイル（４、７）１９０３の第１の画像２１０６を示している。これら第１の画像は、観察面の画像であり、ここではレイヤー画像＃５、＃５’が選ばれる。

ステップＳ２１０６では、第２の画像２１０３と２１０４から生成した補正パラメータを用いて、第１の画像２１０５と２１０６の画像ズレ補正を行う。
ステップＳ２１０７では、第１の画像２１０５と２１０６の合成画像２１０７を生成する。
以上説明したように、第２の画像を用いて撮像タイル（分割領域）間の位置合わせを行い、第１の画像を用いて合成画像を生成することで、画像合成における位置合わせ精度を向上させることができる。

図２２は、zスタック画像を用いた分割画像の合成を説明するシーケンス図である。撮
像から合成までの処理に寄与する主要な機能ブロックごとに縦軸があり、縦軸の上から下への方向が時間の経過を示している。四角は処理を示しており、矢印は画像データと制御データの流れを示している。

ステップＳ２２０１では、撮像部４０６が、撮像タイル（４、６）１９０２のレイヤー画像群（＃１〜＃５）を取得する。
ステップＳ２２０２では、現像・補正部２００１が、撮像タイル（４、６）１９０２のレイヤー画像群の現像・補正処理を行う。
ステップＳ２２０３では、ＣＰＵ２００４の制御により、撮像タイル（４、６）１９０２の現像・補正後のレイヤー画像群をｚスタック画像格納部２００２に格納する。
ステップＳ２２０４では、撮像部４０６が、撮像タイル（４、７）１９０３のレイヤー画像群（＃１’〜＃５’）を取得する。
ステップＳ２２０５では、現像・補正部２００１が、撮像タイル（４、７）１９０３のレイヤー画像群の現像・補正処理を行う。
ステップＳ２２０６では、ＣＰＵ２００４の制御により、撮像タイル（４、７）１９０３の現像・補正後のレイヤー画像群をｚスタック画像格納部２００３に格納する。
Ｓ２２０１からＳ２２０６までに示した、画像取得から画像格納までは、ｚスタック画像格納部２００２、もしくは、ｚスタック画像格納部２００３からのビジー信号を受信しない限りは、ＣＰＵ２００４の制御により順次実行される。

ステップＳ２２０７では、コントラスト判定部２００５が、撮像タイル（４、６）１９０２の各レイヤー画像の位置合わせ領域に対してコントラスト判定を行う。
ステップＳ２２０８では、コントラスト判定部２００５でコントラストが高いと判定された焦点位置のレイヤー画像（第２の画像）をｚスタック画像格納部２００２から読み出し、その画像中の位置合わせ領域から特徴量抽出を行う。
ステップＳ２２０９では、コントラスト判定部２００５によりコントラストが高いと判定された焦点位置のレイヤー画像（第２の画像）をｚスタック画像格納部２００３から読み出し、その画像中の位置合わせ領域から特徴量抽出を行う。
ステップＳ２２１０では、位置合わせパラメータ生成部２００６において補正パラメータ生成を行う。補正パラメータは、Ｓ２２０８で抽出した撮像タイル（４、６）１９０２の第２の画像の特徴量と、Ｓ２２０９で抽出した撮像タイル（４、７）１９０３の第２の画像の特徴量とを用いて生成される。

ステップＳ２２１１では、画像ズレ補正部２００７において、Ｓ２２１０で生成した補正パラメータを用いて、撮像タイル（４、６）１９０２の観察面（第１の画像）と撮像タイル（４、７）１９０３の観察面（第１の画像）の画像ズレ補正を行う。この処理は、Ｓ２２１０の処理が終了後に即座に実行される。

ステップＳ２２１２では、合成部２００８において、画像ズレ補正後の撮像タイル（４、６）１９０２の観察面の画像（第１の画像）と撮像タイル（４、７）１９０３の観察面の画像（第１の画像）の合成処理を行う。

以上の処理シーケンスにしたがって、ｚスタック画像の場合に、コントラスト判定でコントラストが高いと判定された焦点位置のレイヤー画像（第２の画像）を用いて撮像タイル（分割領域）間の位置合わせを行い、観察面のレイヤー画像（第１の画像）を用いて合成画像を生成する。
本実施形態では、第１の画像をｚスタック画像を構成するレイヤー画像群の中から選択するとしたが、第１の画像は複数のレイヤー画像を深度合成した合成画像としても良い。

（本実施形態の利点）
以上述べた本実施形態の構成によれば、画像合成に供する領域のコントラストを判定するコントラスト判定工程を有し、第１の画像は観察面の画像であり、第２の画像はコントラスト判定手段でコントラストが高いと判定された画像である。第２の画像を用いて分割領域間の位置合わせを行い、第１の画像を用いて合成画像を生成することで、画像合成における位置合わせ精度を向上させることができる。
更に、第１の画像はカラー画像であり第２の画像はモノクロ画像とすること、また、第１の画像は全画素読み出し画像であり第２の画像は低解像度画像とすること、また、第１の画像は撮像タイル（分割領域）をすべて含み第２の画像は撮像タイル（分割領域）の一部のみを含む画像とすることで、計算時間短縮、計算コスト削減、データ容量削減、消費電力削減、といった効果がある。
更に、第２の画像として、染色による色の輝度情報から生成した、高コントラストのモノクロ画像を用いることで、データ容量を削減しつつ特徴量抽出精度を維持できるといった効果がある。

（本実施形態の変形例）
ここで、以上述べた本実施形態の変形例について説明する。変形例は、ｚスタック画像の画像枚数を削減するために、観察面（第１の画像）以外のレイヤーでは被写界深度を深くした画像とする。この方法は、主に、病理検査の細胞診標本で予め観察面を指定する場合に適用できる。本実施形態の変形例では、第１の画像と第２の画像は、焦点位置と被写界深度の両方が異なる画像である。

（ｚスタック画像と被写界深度）
図２３は、zスタック画像枚数削減での焦点位置と被写界深度を説明する模式図である
。
図２３（ａ）は、物体面における細胞診標本上面図を示す模式図である。２３０１は細胞診標本である。撮像タイル（４、６）２３０２と撮像タイル（４、７）２３０３の合成処理に着目することとし、重複領域を含めた撮像タイルを太枠で示している。

図２３（ｂ）は、細胞診標本断面拡大図を示す模式図であり、図２３（ａ）に示す切断面２３１０における標本２３０１のｘｚ平面を示している。撮像タイル（４、６）２３０２のｘｚ平面が２３０４、撮像タイル（４、７）２３０３のｘｚ平面が２３０５である。細胞診でのスライドグラスとカバーグラスの間隙は数十μｍである。まず、ｚスタック画像の各レイヤー画像の焦点位置と被写界深度について説明する。＃２、＃５は、撮像タイル（４、６）２３０２におけるレイヤー画像であり、それぞれの焦点位置が破線で示されている。撮像タイル（４、７）２３０３におけるレイヤー画像＃２’、＃５’の焦点位置も破線で示されている（符号は不図示）。

以下、２３０４の領域に着目して説明する。レイヤー画像＃５を観察するものとする。観察面でないレイヤー画像＃２の被写界深度２３０７は、斜線（右下がり斜線）で示された範囲であり、開口絞り４０４により決定される範囲である。観察面であるレイヤー画像＃５の被写界深度２３０８は、斜線（左下がり斜線）で示された範囲であり、開口絞り４０４により決定される範囲である。レイヤー画像＃２は開口絞り４０４を絞った状態で撮像した画像であり、レイヤー画像＃５は開口絞り４０４を開放した状態で撮像した画像である。細胞（２３０６は細胞の１つ）は標本内に散在、浮遊している。２３０４と２３０５に対する位置合わせ領域（ｘｚ平面）２３０９は、撮像タイル（４、６）２３０２と撮像タイル（４、７）２３０３の重複領域であり、合成処理で位置合わせ領域として使用される領域である。画像合成での位置合わせはｘｙ平面の画像を利用するが、ここでの位置合わせ領域（ｘｚ平面）は、その１断面であるｘｚ平面を示している。

ここで、位置合わせ領域（ｘｚ平面）２３０９における、観察面（＃５；第１の画像）
とそのほかの面（＃２）の関係について説明する。観察面の位置合わせ領域（ｘｚ平面）２３０９では、位置合わせに必要な特徴となる細胞が存在しないため、特徴量の相関比較の精度が低下する。一方、＃２の位置合わせ領域（ｘｚ平面）２３０９では、被写界深度を広くしたことで特徴量となる細胞が十分存在し、観察面と比較して、高精度で位置合わせが行える。位置合わせ精度に寄与する細胞の存在はランダムであるため、観察面での位置合わせが常に精度良く行えるとは限らない。図２３（ｂ）はｘｚ平面の１断面で考えた場合だが、ｙ軸を含めた３次元で考えた場合にも、位置合わせ領域（ｘｙｚ空間；ｘｙ平面とｚ軸は被写界深度範囲）に位置合わせ精度が確保できる程度の細胞が存在しない可能性がある。

図２３（ｃ）は、位置合わせ領域におけるレイヤー画像のコントラストを比較した表である。各レイヤー画像のコントラストは、図３で説明したコントラスト評価値を用いることで数値化できる。コントラスト評価値を用いて、十分な精度で位置合わせができるかどうかという観点で各レイヤー画像のコントラスト判定を行う。コントラスト判定の基準は、多くの病理検査画像（組織診画像、細胞診画像）を用いて病理診断医に観察に耐え得るか否かをヒアリングするなどして決定する。コントラスト判定により、観察面であるレイヤー画像＃５での位置合わせ精度は低いが、レイヤー画像＃２では高精度に位置合わせが行えることがわかる。観察面であるレイヤー画像＃５が第１の画像であり、レイヤー画像＃２が第２の画像である。ここで、いずれのレイヤー画像もコントラスト判定の基準を満たさない場合のエラー処理として、ｚスタック画像を構成するレイヤー画像の中で最もコントラストの大きなレイヤー画像を選択することも可能である。

以上説明したように、合成処理を行うための位置合わせ領域において、位置合わせ精度に寄与する細胞の存在はランダムであるため、観察面（第１の画像）での位置合わせが常に精度良く行えるとは限らない。そのため、観察面以外のレイヤー画像（第２の画像）の被写界深度を深くすることで、位置合わせ精度を十分確保することができる場合がある。

（本実施形態の変形例の利点）
以上述べた本実施形態の変形例の構成によれば、観察面以外のレイヤー画像（第２の画像）の被写界深度を深くして、位置合わせ精度を十分確保することで、観察面のレイヤー画像に対して精度の良い合成画像が実現できる。

（本実施形態の別の変形例）
ここで、以上述べた本実施形態の別の変形例について説明する。画像のコントラスト判定を行う代わりに、被写界深度判定を行う例である。第２の画像を被写界深度判定により選び出す例であり、主に、ｚスタック画像を取得する組織診標本で予め観察面を指定する場合に適用できる。

（ｚスタック画像と被写界深度）
図２４は、zスタック画像枚数削減での焦点位置と被写界深度を説明する模式図である
。
図２４（ａ）は、物体面における組織診標本上面図を示す模式図である。２４０１は組織診標本である。撮像タイル（４、６）２４０２と撮像タイル（４、７）２４０３の合成処理に着目することとし、重複領域を含めた撮像タイルを太枠で示している。

図２４（ｂ）は、組織診標本断面図を示す模式図であり、図２４（ａ）に示す切断面２４０８における標本２４０１のｘｚ平面を示している。撮像タイル（４、６）２４０２のｘｚ平面が２４０４、撮像タイル（４、７）２４０３のｘｚ平面が２４０５である。スライドグラスとカバーグラスに挟まれた領域に標本２４０１があり、標本２４０１の表面のうねりを示している。スライドグラスとカバーグラスの間隙は４μｍである。観察面２４
０９を破線で示している。

図２４（ｃ）は、組織診標本断面拡大図を示す模式図である。ｚスタック画像の焦点位置と被写界深度について説明する。＃１〜＃５は、撮像タイル（４、６）２４０２における５枚のレイヤー画像であり、それぞれの焦点位置が破線で示されている。撮像タイル（４、７）２４０３におけるレイヤー画像＃１’〜＃５’の焦点位置も破線で示されている（符号は不図示）。

以下、２４０４の領域に着目して説明する。レイヤー画像＃１を観察するものとする。観察面であるレイヤー画像＃１の被写界深度２４０６は、斜線（左下がり斜線）で示された範囲である。２４０４と２４０５に対する位置合わせ領域（ｘｚ平面）２４０７は、撮像タイル（４、６）２４０２と撮像タイル（４、７）２４０３の重複領域であり、合成処理で位置合わせ領域として使用される領域である。画像合成での位置合わせはｘｙ平面の画像を利用するが、ここでの位置合わせ領域（ｘｚ平面）は、その１断面であるｘｚ平面を示している。

ここで、位置合わせ領域（ｘｚ平面）２４０７における、観察面（＃１；第１の画像）の被写界深度とそのほかの面（＃２〜＃５）の被写界深度の関係について説明する。ｚスタック画像では一意に焦点位置が決まるため、図２４（ｃ）に示すように、位置合わせ領域２４０７における標本の表面うねりが、観察面（第１の画像）の被写界深度から外れる場合が発生する。このような状況は、表面うねりの傾斜が大きい箇所が、撮像タイル間の位置合わせ領域付近にあるときに起こる可能性がある。図２４（ｃ）はｘｚ平面の１断面で考えた場合だが、ｘｙ平面で考えた場合にも、撮像タイル（４、６）２４０２で山型に***し、撮像タイル（４、７）２４０３で谷型に陥没しているような表面うねりでは、標本の表面うねりが、観察面（第１の画像）の被写界深度から外れる場合が発生する可能性がある。その場合、撮像タイル（４、６）２４０２、及び、撮像タイル（４、７）２４０３の位置合わせ領域で画像ボケが発生する。画像ボケの発生（ボケ具合）は、ｚスタック画像の焦点位置、被写界深度、及び、標本５０２の表面うねりに依存する。

図２４（ｄ）は、位置合わせ領域におけるレイヤー画像群の被写界深度を比較した表である。被写界深度判定は、実施例２（図１６〜図１８）で説明した構成で実現できる。被写界深度判定により、観察面であるレイヤー画像＃１での位置合わせ精度は低いが、レイヤー画像＃２では高精度に位置合わせが行えることがわかる。観察面であるレイヤー画像＃１が第１の画像であり、レイヤー画像＃２が第２の画像である。

以上説明したように、画像のコントラスト判定を行う代わりに被写界深度判定を行い、被写界深度内である観察面以外のレイヤー画像（第２の画像）を用いることで、位置合わせ精度を十分確保することができる。

（本実施形態の変形例の利点）
以上述べた本実施形態の変形例の構成によれば、画像のコントラスト判定を行う代わりに被写界深度判定を行い、被写界深度内である観察面以外のレイヤー画像（第２の画像）を用いることで位置合わせ精度が確保でき、精度の良い合成画像が実現できる。

［第４の実施形態］
次に、本発明の第４の実施形態を、図面を参照しながら説明する。第１の実施形態から第３の実施形態では、撮像部として２次元撮像素子を用いる例を説明したが、本実施の形態では、１次元撮像素子を用いる例について述べる。

本実施形態の説明において、前述した第１の実施形態と同一の部分についての説明を省
略する。図４に示した撮像装置の概略構成、図６に示した焦点位置と被写界深度の説明、図７に示したプレ計測のフロー説明、図８に示した本撮像のフロー説明、図９に示した本撮像の機能ブロック図、図１０に示した合成画像生成の工程の説明、図１１に示した位置合わせの説明、図１２に示した合成のフロー説明、図１３に示した画像合成シーケンスは、第１の実施形態と同じである。

（撮像対象領域と撮像タイル）
図２５は、１次元撮像素子による撮像タイルを説明する模式図である。本実施形態の撮像装置は、スライド４０３上の標本の光学顕微鏡像を高解像かつ大サイズ（広画角）のデジタル画像として取得するための装置である。高解像かつ大サイズ（広画角）を両立するために、１次元撮像素子で撮像対象領域をいくつかの領域に分割して、その分割領域を撮像する。ここでは、標本の全体像となる撮像領域を撮像対象領域、分割領域を撮像タイルとし、撮像対象領域は撮像タイルを合成して構成されるものとする。また、光軸に垂直な面をｘｙ平面としている。

図２５（ａ）は、物体面における撮像対象領域と標本を示す模式図である。撮像対象領域５０１をｘ方向に８分割し、その１領域が撮像タイル２５０１である。撮像対象領域５０１は、スライド４０３における座標で設定される領域であり、スライド４０３での標本５０２位置を考慮してスライド４０３ごとに設定される。プレ計測において、標本５０２が撮像対象領域５０１の中心付近となるように、スライド４０３における撮像対象領域５０１の座標設定が行われる。

図２５（ｂ）は、物体面における撮像タイルを示す模式図である。撮像タイル（Ｌ）は、ｘ方向にＬ番目の撮像タイルを示している。複数の分割領域（撮像タイル）の撮像例として、ｘ方向に撮像タイル（１）から撮像タイル（８）まで撮像する、といった撮像順番を矢印で示している。各撮像タイルの合成を考えると、注目する撮像タイルは、その左右の撮像タイルと画像の合成処理を行うことになる。撮像タイル（３）であれば、撮像タイル（２）と撮像タイル（４）の２つの撮像タイルと合成処理が行われる。合成処理において、隣接する撮像タイルはそれぞれ重複した領域を有し、その重複領域を位置合わせ領域として利用するが、図２５ではその位置合わせ領域を省略して記載している。

ここでは、撮像対象領域５０１のすべての撮像タイルを撮像するものとして説明したが、標本５０２が存在しない撮像タイルがある場合には、その撮像タイルを撮像せずにスキップする処理とすることも可能である。これにより、撮像回数減少による撮像時間短縮、撮像画像枚数削減によるメモリ容量削減、といった効果がある。

以上説明したように、本撮像装置は、撮像対象領域を幾つかの撮像タイル（分割領域）に分割して、各撮像タイルを順々に撮像し、各撮像タイルはそれぞれ周辺全ての撮像タイルと合成処理が行われる。

（焦点位置と被写界深度）
図６（ａ）は２次元撮像素子で撮像した場合の撮像タイルを示しているが、図６（ａ）を図２５で置き換えれば、１次元撮像素子でも同様の説明が可能である。ピントを合わせるために、１次元撮像素子のｚ方向位置を標本５０２の表面うねりに合わせて移動させる場合にも、焦点位置６０５は、標本５０２表面を最小自乗法などで直線近似した面となるため、図６（ｃ）に示す焦点位置で説明できる。１次元撮像素子を用いた場合、各撮像タイルにおける焦点位置、被写界深度、標本の表面うねりにより、被写界深度の狭い第１の画像では、合成処理を行うための位置合わせ領域で画像ボケが発生する場合がある。そのため、被写界深度の深い第２の画像を用いることで位置合わせ精度が確保でき、精度の良い合成画像が実現できる。

（本実施形態の利点）
以上述べた本実施形態の構成によれば、第２の画像は第１の画像よりも被写界深度の深い画像であり、第２の画像を用いて分割領域間の位置合わせを行い、第１の画像を用いて合成画像を生成することで、第１の画像が有する高い解像度を維持したまま、画像合成における位置合わせ精度を向上させることができる。
第１の実施形態同様に、第１の画像はカラー画像であり第２の画像はモノクロ画像とすること、また、第１の画像は全画素読み出し画像であり第２の画像は低解像度画像とすること、また、第１の画像は撮像タイル（分割領域）をすべて含み第２の画像は撮像タイル（分割領域）の一部のみを含む画像とすることで、計算時間短縮、計算コスト削減、データ容量削減、消費電力削減、といった効果がある。
更に、第２の画像として、染色による色の輝度情報から生成した、高コントラストのモノクロ画像を用いることで、データ容量を削減しつつ特徴量抽出精度を維持できるといった効果がある。
更に、第１の画像と第２の画像は時間的に順番に取得され、第２の画像を第１の画像に先行して取得することで、特徴量抽出と第１の画像の取得とを同時に行うことにより、合成までの処理時間を短縮することができる。

［第５の実施形態］
次に、本発明の第５の実施形態を、図面を参照しながら説明する。第１の実施形態から第４の実施形態では、撮像部として単一の撮像素子を用いる例を説明したが、本実施の形態では、複数の撮像素子を用いる例について述べる。

本実施形態の説明において、前述した第１の実施形態と同一の部分についての説明を省略する。図５に示した撮像タイルの説明、図６に示した焦点位置と被写界深度の説明、図７に示したプレ計測のフロー説明、図８に示した本撮像のフロー説明、図９に示した本撮像の機能ブロック図、図１０に示した合成画像生成の工程の説明、図１１に示した位置合わせの説明、図１２に示した合成のフロー説明、図１３に示した画像合成シーケンスは、第１の実施形態と同じである。

（撮像装置の構成）
図２６は、撮像装置の概略構成を説明する模式図である。この撮像装置は、被写体となるスライド４０３上の標本の光学顕微鏡像を高解像かつ大サイズ（広画角）のデジタル画像として取得するための装置である。図４で示した撮像装置の概略構成と比べると、撮像部２６０１、ＸＹ移動機構２６０２が異なっている。撮像部２６０１、ＸＹ移動機構２６０２以外の機能ブロックは、図４で説明したものと同一である。

撮像部２６０１は、複数の２次元撮像素子を有して構成される撮像手段である。２次元撮像素子としては、ＣＭＯＳイメージセンサやＣＣＤイメージセンサが用いられる。撮像部２６０１としては、複数の２次元撮像素子と、各２次元素子に備わるＣＤＳ回路（相関２重サンプリング回路）、ＡＧＣ回路（オート・ゲイン・コントロール回路）、ＡＤ変換回路（アナログ・デジタル変換回路）、オートフォーカス機能が含まれる。撮像部２６０１からは、撮像画像のデジタル信号が画像処理部４０７に伝送される。

ＸＹ移動機構２６０２は、標本が撮像画面の中央付近に位置するように制御するＸＹ平面移動機構を備える。光軸に垂直な面をＸＹ平面、光軸方向をＺ方向としている。スライド４０３の標本のＸＹ平面位置は、図２６（ｂ）に示すプレ計測で把握する。撮像制御部４０８が、プレ計測の情報からスライド４０３のＸＹ位置を制御する。なお、スライド４０３と撮像部２６０１のＺ方向位置は、撮像部４０６のオートフォーカス機能を利用して決定され、２次元撮像素子のＺ方向が撮像制御部４０８により制御される。オートフォー
カス機能は、広く実用化されているコントラストＡＦや位相差ＡＦにより実現できる。
以上の構成により、標本の高解像・大サイズ撮像と取得画像の表示が実現できる。

（撮像素子の移動機構）
図２７は、複数撮像素子による大画面撮像と撮像素子の移動機構を説明する模式図である。
図２７（ａ）は、撮像素子２７０１ａ〜２７０１ｌと撮像タイル２７０２の関係を模式的に示している。撮像部２６０１は、互いに間隙を介してＸ方向とＹ方向の２次元的に離散的に配置された複数の２次元撮像素子を有して構成される。本実施形態では、４列×３行の１２個の２次元撮像素子２７０１ａ〜２７０１ｌが設けられている。これらの撮像素子は同一の基板上に実装してもよいし、別々の基板上に実装してもよい。なお、個々の撮像素子を区別するために、参照符号に対し、１行目の左から順にａ〜ｄ、２行目にｅ〜ｈ、３行目にｉ〜ｌのアルファベットを付しているが、図示の便宜のため図面中では「２７０１ａ〜２７０１ｌ」のように略記する。他の図面においても同様である。

図２７（ｂ）は、各撮像素子が備えるＺ移動機構を模式的に示している。撮像素子２７０１ａは撮像素子保持板２７０３で保持されている。Ｚ移動機構２７０４ａが撮像素子保持板２７０３をｚ方向に移動させることで、焦点位置の調整（撮像素子２７０１ａとスライド４０３の間隔調整）を行う。Ｚ移動機構はすべての撮像素子が備え、撮像タイルごとに独立に焦点位置が制御できる。
以上の構成により、撮像タイルごとに焦点位置が制御した画像が取得できる。

（分割撮像の手順）
図２８は、本撮像でのスライド移動による大画面撮像を説明する模式図である。
図２８（ａ）は、撮像素子２７０１ａ〜２７０１ｌと、像面での撮像基準領域２８０２ａの位置関係を模式的に図示している。物体面の標本が倒立像として像面に形成されるものとして図示する。撮像基準領域とは、スライドの位置に依存せず、物体面の基準位置として存在する領域である。なお、像面で図示する場合に撮像基準領域２８０２ａ、物体面で図示する場合に撮像基準領域２８０２ｂと表記する。撮像基準領域は、固定配置されている結像光学系４０５に対しては固定された領域であるが、スライド４０３との相対位置関係はスライド４０３の移動に合わせて変動する。スライド４０３上の標本の領域としては、撮像基準領域２８０２ｂとは別に、撮像対象領域２８０３を定義する。スライド４０３が初期位置（後述）にある場合は、撮像基準領域２８０２ｂと撮像対象領域２８０３は一致する。像面における撮像基準領域２８０２ａと撮像素子２７０１ａ〜２７０１ｌと結像光学系４０５の有効視野２８０１の位置関係は固定である。説明を簡単にするため、結像光学系４０５の歪曲収差の影響は無視している。

図２８（ｂ）の（１）から（４）は、ＸＹ移動機構２６０２によりスライド４０３を移動させたときに、撮像対象領域２８０３を撮像素子２７０１ａ〜２７０１ｌでどのように撮像していくかをわかり易く説明するための模式的な図である。スライド４０３（撮像対象領域２８０３）を移動させながら全領域を撮像するときは、歪曲収差を考慮に入れる必要を排除するために、図２８（ｂ）の（１）から（４）に示すように物体面での撮像対象領域２８０３の等間隔移動を考えるのが簡単である。実際には撮像素子２７０１ａ〜２７０１ｌで各分割領域を撮像後に、現像・補正部で各撮像素子に合わせた歪曲収差補正が必要であるが、撮像対象領域２８０３全体を隙間なく撮像することだけを考えるのであれば、物体面で考えるだけで十分である。図２８（ｂ）の（１）には１回目の撮像で取得するエリアを黒ベタで示している。１回目の撮像位置（初期位置）では光源の発光波長を切り替えてＲＧＢの各画像を取得する。スライド４０３が初期位置にある場合は、撮像基準領域２８０２ｂ（実線）と撮像対象領域２８０３（一点鎖線）は一致している。（２）には移動機構によりスライド４０３をＹ正方向に移動させた後の、２回目の撮像で取得するエ
リアを斜線（左下がり斜線）で示している。（３）には移動機構によりスライド４０３をＸ負方向に移動させた後の、３回目の撮像で取得するエリアを逆斜線（右下がり斜線）で、（４）には移動機構によりスライド４０３をＹ負方向に移動させた後の、４回目の撮像で取得するエリアを網掛けで示している。なお、後段の合成処理を簡易なシーケンスで行うために、物体面におけるＸ方向に隣り合う分割領域のＹ方向の読み出し画素数は概略一致していると良い。また、合成部１０７で合成処理を行うために、隣接する撮像素子間には重複領域が必要となるが、説明を簡単にするために、ここでは重複領域を省略している。
以上より、複数の撮像素子により４回の撮像（ＸＹ移動機構によるスライド移動回数が３回）で撮像対象領域全体を隙間なく撮像することができる。

（本実施形態の利点）
以上述べた本実施形態の構成によれば、第２の画像は第１の画像よりも被写界深度の深い画像であり、第２の画像を用いて分割領域間の位置合わせを行い、第１の画像を用いて合成画像を生成することで、第１の画像が有する高い解像度を維持したまま、画像合成における位置合わせ精度を向上させることができる。
第１の実施形態同様に、第１の画像はカラー画像であり第２の画像はモノクロ画像とすること、また、第１の画像は全画素読み出し画像であり第２の画像は低解像度画像とすること、また、第１の画像は撮像タイル（分割領域）をすべて含み第２の画像は撮像タイル（分割領域）の一部のみを含む画像とすることで、計算時間短縮、計算コスト削減、データ容量削減、消費電力削減、といった効果がある。
更に、第２の画像として、染色による色の輝度情報から生成した、高コントラストのモノクロ画像を用いることで、データ容量を削減しつつ特徴量抽出精度を維持できるといった効果がある。
更に、第１の画像と第２の画像は時間的に順番に取得され、第２の画像を第１の画像に先行して取得することで、特徴量抽出と第１の画像の取得とを同時に行うことにより、合成までの処理時間を短縮することができる。

４０３：スライド、４０６：撮像部、４０７：画像処理部、５０１：撮像対象領域、５０２：標本、５０３：撮像タイル、９０４：位置合わせパラメータ生成部、９０６：画像ズレ補正部、９０７：合成部

Claims (15)

1. 撮像対象領域を複数の分割領域にわけて撮像し、得られた分割領域ごとの画像を合成することにより分割領域よりも大きい領域の合成画像を生成する撮像装置の制御方法であって、
   複数の分割領域のそれぞれについて、第１の画像と第２の画像を取得する工程と、
   第２の画像を用いて、隣接する分割領域間で画像の位置合わせを行う工程と、
   第２の画像を用いた位置合わせの結果にしたがって、隣接する分割領域間で第１の画像どうしを合成することにより、合成画像を生成する工程と、を含み、
   第２の画像は、第１の画像に対し、被写界深度若しくは焦点位置、又はその両方が異なる画像である
   ことを特徴とする撮像装置の制御方法。
2. 第２の画像は、第１の画像よりも被写界深度の深い画像である
   ことを特徴とする請求項１に記載の撮像装置の制御方法。
3. 第２の画像は、互いに焦点位置が異なる複数の画像のうちから選ばれた画像である
   ことを特徴とする請求項１に記載の撮像装置の制御方法。
4. 第１の画像はカラー画像であり、第２の画像はモノクロ画像である
   ことを特徴とする請求項１〜３のうちいずれか一項に記載の撮像装置の制御方法。
5. 撮像対象領域には染色された標本が含まれており、
   第２の画像は、染色による色の輝度情報から生成されるモノクロ画像である
   ことを特徴とする請求項４に記載の撮像装置の制御方法。
6. 第２の画像は、第１の画像よりも低解像度の画像である
   ことを特徴とする請求項１〜５のうちいずれか一項に記載の撮像装置の制御方法。
7. 第２の画像は、分割領域のうちの一部の領域のみの画像である
   ことを特徴とする請求項１〜６のうちいずれか一項に記載の撮像装置の制御方法。
8. 第２の画像が第１の画像に時間的に先行して取得される
   ことを特徴とする請求項２に記載の撮像装置の制御方法。
9. 合成画像を生成する工程において、ある分割領域の第１の画像のコントラストがしきい値以下である場合に、当該分割領域では第１の画像の代わりに第２の画像が合成に用いられる
   ことを特徴とする請求項２に記載の撮像装置の制御方法。
10. 合成画像を生成する工程において、ある分割領域の第２の画像のコントラストが第１の画像のコントラストよりも高い場合に、当該分割領域では第１の画像の代わりに第２の画像が合成に用いられる
    ことを特徴とする請求項２に記載の撮像装置の制御方法。
11. 分割領域ごとに、標本表面のうねりの範囲が被写界深度に収まっているか否かを判定する工程をさらに有し、
    標本表面のうねりの範囲が被写界深度に収まっていると判定された分割領域に対しては、第２の画像の取得が省略され、第２の画像の代わりに第１の画像が位置合わせに用いられる
    ことを特徴とする請求項２に記載の撮像装置の制御方法。
12. 標本表面のうねりの範囲が被写界深度に収まっていると判定された第１の分割領域の画像が、標本表面のうねりの範囲が被写界深度に収まっていないと判定された第２の分割領域の画像に時間的に先行して取得される
    ことを特徴とする請求項１１に記載の撮像装置の制御方法。
13. 分割領域ごとに、前記互いに焦点位置が異なる複数のうち、いずれの画像のコントラストが高いかを判定する工程をさらに有し、
    前記複数の画像のうち最もコントラストが高いと判定された画像が第２の画像として選ばれる
    ことを特徴とする請求項３に記載の撮像装置の制御方法。
14. 分割領域ごとに、前記互いに焦点位置が異なる複数の画像のうち、いずれの画像の被写界深度に標本表面のうねりの範囲が収まっているかを判定する工程をさらに有し、
    前記複数の画像のうち標本表面のうねりの範囲が被写界深度に収まっていると判定された画像が第２の画像として選ばれる
    ことを特徴とする請求項３に記載の撮像装置の制御方法。
15. 撮像対象領域を複数の分割領域にわけて撮像し、得られた分割領域ごとの画像を合成することにより分割領域よりも大きい領域の合成画像を生成する撮像装置であって、
    複数の分割領域のそれぞれについて、第１の画像と第２の画像を取得する手段と、
    第２の画像を用いて、隣接する分割領域間で画像の位置合わせを行う手段と、
    第２の画像を用いた位置合わせの結果にしたがって、隣接する分割領域間で第１の画像どうしを合成することにより、合成画像を生成する手段と、を含み、
    第２の画像は、第１の画像に対し、被写界深度若しくは焦点位置、又はその両方が異なる画像である
    ことを特徴とする撮像装置。

Images