JP2015108837A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2015108837A JP2015108837A JP2015001274A JP2015001274A JP2015108837A JP 2015108837 A JP2015108837 A JP 2015108837A JP 2015001274 A JP2015001274 A JP 2015001274A JP 2015001274 A JP2015001274 A JP 2015001274A JP 2015108837 A JP2015108837 A JP 2015108837A
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- image data
- imaging
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の画像データから、それよりも被写界深度が深い画像データを生成するための技術に関する。 The present invention relates to a technique for generating image data having a deeper depth of field from a plurality of image data obtained by imaging a subject while changing a focal position in an optical axis direction.
病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャル・スライド・システムがある。バーチャル・スライド・システムによる病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱える。それによって、遠隔診断の迅速化、デジタル画像を使った患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られる。 In the field of pathology, as an alternative to an optical microscope, which is a tool for pathological diagnosis, there is a virtual slide system that enables imaging of a test sample placed on a slide and digitizes it to enable pathological diagnosis on a display. By digitizing pathological diagnosis images using a virtual slide system, conventional optical microscope images of specimens can be handled as digital data. As a result, advantages such as rapid remote diagnosis, explanation to patients using digital images, sharing of rare cases, efficiency of education and practical training, etc. can be obtained.
バーチャル・スライド・システムで光学顕微鏡の操作を仮想化して実現するためには、プレパラート上の被検試料全体像をデジタル化する必要がある。被検試料全体像のデジタル化により、バーチャル・スライド・システムで作成したデジタルデータをＰＣやワークステーション上で動作するビューアソフトで観察することができる。被検試料全体像をデジタル化した場合の画素数は、通常、数億画素から数十億画素であり、非常に大きなデータ量となる。
バーチャル・スライド・システムで作成したデータの量は膨大であるが、それゆえ、ビューアで拡大／縮小を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することができ、種々の利便性を提供する。必要な情報を予め全て取得しておくことで、低倍画像から高倍画像までユーザが欲する解像度・倍率による即時の表示が可能となる。
In order to virtualize and realize the operation of the optical microscope with the virtual slide system, it is necessary to digitize the entire specimen image on the preparation. By digitizing the entire image of the test sample, the digital data created by the virtual slide system can be observed with viewer software operating on a PC or workstation. The number of pixels when the entire test sample image is digitized is usually several hundreds of millions to several billions of pixels, which is a very large amount of data.
The amount of data created by the virtual slide system is enormous, so it can be observed from the micro (detailed enlarged image) to the macro (overall bird's-eye view) by enlarging / reducing with the viewer. Provide convenience. By acquiring all necessary information in advance, it is possible to display immediately from the low-magnification image to the high-magnification image at the resolution and magnification desired by the user.
しかし、プレパラートにはカバーグラスやスライドグラス、標本の凹凸が原因のうねりが存在する。また前記の凹凸が無い場合でも、標本は厚みを持っており、観察したい組織や細胞が存在する奥行き位置がプレパラートの（水平方向の）観察位置によって異なる。そのため、１つのプレパラート（被写体）に対し、光軸方向に沿って焦点位置を変えて複数枚の画像を撮像する構成が存在する。このような構成で取得した複数枚の画像データを「Ｚスタック画像」と呼び、Ｚスタック画像を構成する各焦点位置の平面画像を「レイヤー画像」と呼ぶ。 However, the slides have undulations caused by cover glass, slide glass, and unevenness of the specimen. Even when there is no unevenness, the specimen has a thickness, and the depth position where the tissue or cell to be observed exists differs depending on the observation position (in the horizontal direction) of the slide. For this reason, there is a configuration in which a plurality of images are taken with respect to one preparation (subject) by changing the focal position along the optical axis direction. A plurality of pieces of image data acquired with such a configuration is referred to as a “Z stack image”, and a planar image at each focal position constituting the Z stack image is referred to as a “layer image”.
バーチャル・スライド・システムでは、効率の観点から通常、高倍率（高ＮＡ）で標本の局所領域毎に標本を撮影し、その撮影像を繋ぎ合せて全体画像を生成する。全体画像の空間分解能は高いが、被写界深度が浅い。そのため、バーチャル・スライド・システムにおいて、高倍画像（例えば対物レンズ４０倍）を縮小した低倍画像（例えば対物レンズ１０倍）の被写界深度は光学顕微鏡の直接観察像の被写界深度に比べて浅く、本来低倍画像では存在しないピンぼけが含まれる。病理診断においては低倍画像で病変部の見落としがないように全体のスクリーニングを行う必要があるため、病理医は低倍画像の画質を重視しており、ピンぼけによる画質劣化の少ない低倍画像を作る必要がある。
In the virtual slide system, from the viewpoint of efficiency, usually, a specimen is photographed for each local region of the specimen at a high magnification (high NA), and the photographed images are connected to generate an entire image. The spatial resolution of the whole image is high, but the depth of field is shallow. Therefore, in the virtual slide system, the depth of field of the low-magnification image (for example,
バーチャル・スライド・システムにおける低倍画像の画質向上に関しては、従来、以下の提案がされている。特許文献１では、高倍画像の表示時にはＺスタック画像の中から選択したレイヤー画像を表示し、一方、低倍画像の表示時にはＺスタック画像を構成する全てのレイヤー画像を用いて、全てに焦点が合った画像（全焦点画像）を合成し表示する構成を開示している。
また、被写界深度の制御技術に関しては、従来、以下の提案がされている。特許文献２では、焦点位置を変えた複数枚の撮影像に対し、撮影像が３次元のコンボリューションモデルに合致するように座標変換処理を行い、３次元周波数空間上でぼけを変える３次元フィルタリング処理を行うことで被写界深度を拡大する構成を開示している。
Conventionally, the following proposals have been made for improving the image quality of low-magnification images in a virtual slide system. In
Conventionally, the following proposals have been made regarding the control technology of the depth of field. In
しかしながら上述した従来の技術においては、以下のような問題があった。
特許文献１の方法では、被写界深度が浅い画像か、もしくは全焦点画像かの２通りしか選定できない。いずれの画像も光学顕微鏡の目視観察像とは被写界深度（或いは像のぼけ）が大きく異なる。病理医は、画像に含まれるぼけ情報から組織や細胞の３次元的な立体構造の把握をしており、倍率に応じたぼけは診断上有益な情報である。しかし特許文献１の方法では、被写界深度の浅い高倍画像か、全焦点画像の低倍画像のいずれかしか生成できないため、その中間倍率（例えば対物レンズ２０倍）においてぼけ情報を元にした立体構造の推測が難しいという課題があった。
特許文献２の方法によれば、Ｚスタック画像から任意の被写界深度の画像を生成することができる。しかしながら、特許文献２には、Ｚスタック画像の全てのレイヤー画像を使用する方法しか開示されていない。被写界深度の拡大処理に全てのレイヤー画像を使用すると、演算コストの増加、応答速度の低下が発生する課題がある。特にレイヤー画像の高解像度化や大サイズ化が進むほど、またレイヤー画像の枚数が増えるほど、この問題は深刻なものとなる。
However, the conventional techniques described above have the following problems.
In the method of
According to the method of
本発明は、このような問題点に鑑みてなされたものであり、バーチャル・スライド・システムでのユーザ設定に応じた被写界深度の拡大処理において演算コストを抑制し、装置のスループット（単位時間当たりの処理枚数）や応答速度の向上を目的とする。 The present invention has been made in view of such a problem, and suppresses the calculation cost in the expansion process of the depth of field according to the user setting in the virtual slide system, and the throughput (unit time) of the apparatus. For the purpose of improving the response speed.
本発明に係る画像処理装置は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理装置であって、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、前記結像特性取得手段で取得された結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、前記複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択手段と、前記選択手段により選択された第１の画像データを用いて、前記第２の画像データを生成する生成手段と、を有することを特徴とする画像処理装置である。 The image processing apparatus according to the present invention has a depth of field deeper than the first image data from a plurality of first image data obtained by imaging a subject while changing a focal position in the optical axis direction. An image processing apparatus that generates second image data, the virtual optical system having the specified depth of field based on information that specifies the depth of field of the generated second image data Based on the imaging characteristics acquired by the imaging characteristics acquisition means, the influence of the object away from the focal position in the optical axis direction on the image is predetermined. An influence range that is larger than the above condition, a selection unit that selects, from the plurality of first image data, first image data that includes a focal position within the influence range, and is selected by the selection unit. Using the first image data An image processing apparatus characterized by having a generating means for generating the second image data.
本発明に係る別の画像処理装置は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理装置であって、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、前記指定された被写界深度に基づいて、前記第２の画像データの焦点位置に相当する合成焦点面を決定する決定手段と、前記結像特性取得手段で取得された結像特性と前記決定手段で決定された合成焦点面とに基づいて、
前記前記第２の画像データを生成する生成手段と、を有することを特徴とする画像処理装置である。
Another image processing apparatus according to the present invention has a depth of field more than the first image data from a plurality of first image data obtained by imaging a subject while changing a focal position in the optical axis direction. An image processing apparatus that generates second image data having a deep depth, and a virtual image having the specified depth of field based on information that specifies the depth of field of the second image data to be generated An imaging characteristic acquisition unit that acquires an imaging characteristic of an optical system; a determination unit that determines a synthetic focal plane corresponding to a focal position of the second image data based on the designated depth of field; Based on the imaging characteristics acquired by the imaging characteristics acquisition means and the combined focal plane determined by the determination means,
An image processing apparatus comprising: generating means for generating the second image data.
本発明に係る画像処理方法は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理方法であって、コンピュータが、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、コンピュータが、前記結像特性取得ステップで取得された結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、前記複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択ステップと、コンピュータが、前記選択ステップにより選択された第１の画像データを用いて、前記第２の画像データを生成する生成ステップと、を有することを特徴とする画像処理方法である。 The image processing method according to the present invention has a depth of field deeper than the first image data from a plurality of first image data obtained by imaging the subject while changing the focal position in the optical axis direction. An image processing method for generating second image data, wherein the computer has a virtual depth having the specified depth of field based on information specifying the depth of field of the second image data to be generated An imaging characteristic acquisition step for acquiring an imaging characteristic of a simple optical system, and an object separated from the focal position in the optical axis direction into an image based on the imaging characteristic acquired by the computer in the imaging characteristic acquisition step. A selection step of obtaining an influence range in which an influence on the image is larger than a predetermined condition, and selecting first image data including a focal position within the influence range from the plurality of first image data; Compu Motor is using said first image data selected by the selecting step, an image processing method characterized by having: a generation step of generating said second image data.
本発明に係る別の画像処理方法は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理方法であって、コンピュータが、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、コンピュータが、前記指定された被写界深度に基づいて、前記第２の画像データの焦点位置に相当する合成焦点面を決定する決定ステップと、コンピュータが、前記結像特性取得ステップにより取得された結像特性と前記決定ステップにより決定された合成焦点面とに基づいて、前記第２の画像データを生成する生成ステップと、を有することを特徴とする画像処理方法である。 Another image processing method according to the present invention is based on a plurality of first image data obtained by imaging a subject while changing a focal position in the optical axis direction, and a depth of field more than the first image data. Image processing method for generating deep second image data, wherein the computer has the specified depth of field based on information specifying the depth of field of the second image data to be generated An imaging characteristic acquisition step for acquiring imaging characteristics of a virtual optical system, and a computer calculates a synthetic focal plane corresponding to a focal position of the second image data based on the designated depth of field. And a generation step for generating the second image data based on the imaging characteristics acquired by the imaging characteristics acquisition step and the composite focal plane determined by the determination steps. Tsu and up, an image processing method characterized by having a.
本発明に係るプログラムは、本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。 A program according to the present invention causes a computer to execute each step of the image processing method according to the present invention.
本発明では、バーチャル・スライド・システムでのユーザ設定に応じた被写界深度の拡大処理において、演算コストを低減し、装置のスループットや応答速度を向上することができる。 In the present invention, in the process of expanding the depth of field according to the user setting in the virtual slide system, the calculation cost can be reduced and the throughput and response speed of the apparatus can be improved.
［実施例１］
（システムの全体構成）
図１は、本発明の撮像システムの一実施例である、バーチャル・スライド・システムの構成を示している。
バーチャル・スライド・システムは、検体の撮像データを取得する撮像装置（バーチャル・スライド・スキャナとも呼ぶ）１２０とそのデータ処理・制御を行う画像処理装置（ホストコンピュータとも呼ぶ）１１０およびその周辺機器から構成されている。
画像処理装置１１０にはユーザからの入力を受け付けるキーボードやマウスなどの操作入力デバイス１１１、処理画像を表示するディスプレイ１１２が接続される。また画像処理装置１１０には、記憶装置１１３、他のコンピュータシステム１１４が接続されている。
[Example 1]
(Overall system configuration)
FIG. 1 shows the configuration of a virtual slide system which is an embodiment of the imaging system of the present invention.
The virtual slide system includes an imaging device (also referred to as a virtual slide scanner) 120 that acquires imaging data of a specimen, an image processing device (also referred to as a host computer) 110 that performs data processing and control thereof, and peripheral devices thereof. Has been.
The
多数の検体（プレパラート）の撮像をバッチ処理で行う場合、画像処理装置１１０の制御の下で撮像装置１２０が各検体を順に撮像し、画像処理装置１１０が各検体の画像データに対し必要な処理を施す。そして得られた各検体の画像データは、大容量のデータストレージである記憶装置１１３又は他のコンピュータシステム１１４へ伝送され、蓄積される。
When imaging a large number of specimens (preparations) by batch processing, the imaging apparatus 120 sequentially captures each specimen under the control of the
撮像装置１２０での撮像（プレ計測および本計測）は、ユーザの入力を受けて画像処理装置１１０がコントローラ１０８へ指示を送り、次にコントローラ１０８が本計測ユニット１０１とプレ計測ユニット１０２を制御することで実現される。
本計測ユニット１０１はプレパラート内の検体診断のための高精細な画像を取得する撮像ユニットである。プレ計測ユニット１０２は本計測に先立って撮像を行う撮像ユニットで、本計測で精度の良い画像取得をするための撮像制御情報取得を目的とした画像取得を行う。
In imaging (pre-measurement and main measurement) with the imaging device 120, the
This
コントローラ１０８には変位計１０３が接続され、本計測ユニット１０１またはプレ計測ユニット１０２内のステージに設置されるプレパラートの位置や距離が測定できる構成となっている。変位計１０３は、本計測およびプレ計測を行うにあたり、プレパラート内の検体の厚みを計測するために用いられる。
A
またコントローラ１０８には本計測ユニット１０１およびプレ計測ユニット１０２の撮像条件を制御するための、開口絞り制御１０４、ステージ制御１０５、照明制御１０６、センサ制御１０７が接続されている。そして、それぞれはコントローラ１０８からの制御信号に従って、開口絞り、ステージ、照明、イメージセンサの動作を制御する構成となっている。
The
ステージにはプレパラートを光軸に垂直な方向に移動するＸＹステージと光軸に沿った方向に移動するＺステージがある。それぞれ、ＸＹステージは光軸に垂直な方向に分布する検体画像を、Ｚステージは奥行き方向に焦点位置を変えた画像を撮像するために用いる。図示しないが、撮像装置１２０は、複数のプレパラートをセット可能なラックと、ラックからステージ上の撮像位置へとプレパラートを送り出す搬送機構とが設けられている。バッチ処理の場合は、コントローラ１０８が搬送機構を制御することで、ラックからプレパラートを１枚ずつ、プレ計測ユニット１０２のステージ、本計測ユニット１０１のステージの順に送り出す。
The stage includes an XY stage that moves the preparation in a direction perpendicular to the optical axis and a Z stage that moves in the direction along the optical axis. The XY stage is used to capture a specimen image distributed in a direction perpendicular to the optical axis, and the Z stage is used to capture an image whose focal position is changed in the depth direction. Although not shown, the imaging apparatus 120 is provided with a rack on which a plurality of preparations can be set, and a transport mechanism that sends the preparations from the rack to the imaging position on the stage. In the case of batch processing, the
本計測ユニット１０１、プレ計測ユニット１０２には撮像した画像を用いてオートフォーカスを実現するＡＦユニット１０９が接続されている。ＡＦユニット１０９は、コントローラ１０８を介して、本計測ユニット１０１、プレ計測ユニット１０２のステージの位置を制御することで合焦位置を探し出すことが出来る。オートフォーカスの方式は画像を用いるパッシブ型であり、公知の位相差検出方式やコントラスト検出方式が用いられる。
The
（本計測ユニット）
図２（ａ）は実施例１における本計測ユニット１０１の内部構成を示す図である。
光源２０１ａの光は照明光学系２０２ａを通じ、光量ムラが無いように均一化され、ステージ２０３ａの上に設置されたプレパラート２０４を照射する。プレパラート２０４は観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定したものであり、検体（被写体）を観察可能な状態に準備したものである。
(This measuring unit)
FIG. 2A is a diagram illustrating an internal configuration of the
The light from the
結像光学系２０５ａは検体の像を拡大して撮像手段である撮像部２０７ａに導くものである。プレパラート２０４を通った光は結像光学系２０５ａを介して、撮像部２０７ａ上の撮像面で結像する。結像光学系２０５ａの中には開口絞り２０６ａが存在し、開口絞り２０６ａを調整することで被写界深度が制御できる。
The imaging
撮像にあたっては、光源２０１ａを点灯させ、プレパラート２０４に光を照射する。そして、照明光学系２０２ａ、プレパラート２０４、結像光学系２０５ａを通って撮像面に結像した像を撮像部２０７ａのイメージセンサで受光する。モノクロ（グレースケール）撮影時には光源２０１ａを白色で露光し、１回撮像を行う。カラー撮影時には、ＲＧＢの３つの光源２０１ａで順番に露光し、３回撮像を行うことで、カラー画像を取得する。
In imaging, the
撮像面で結像した検体の像は、複数のイメージセンサから構成される撮像部２０７ａで光電変換され、Ａ／Ｄ変換を実行した後、像は電気信号として画像処理装置１１０に送られる。本実施例ではＡ／Ｄ変換を実行した後のノイズ除去や色変換処理、鮮鋭化処理に代表される現像処理は画像処理装置１１０内部で行うとして説明する。しかし、現像処理は撮像部２０７ａに接続された専用の画像処理ユニット（不図示）で行い、その後画像処理装置１１０にデータを送信することも可能であり、そのような形態での実施も本発明の範疇となる。
The specimen image formed on the imaging surface is photoelectrically converted by the
（プレ計測ユニット）
図２（ｂ）は実施例１におけるプレ計測ユニット１０２の内部構成を示す図である。
光源２０１ｂの光は照明光学系２０２ｂを通じ、光量ムラが無いように均一化され、ステージ２０３ｂの上に設置されたプレパラート２０４を照射する。プレパラート２０４を通った光は結像光学系２０５ｂにより、撮像部２０７ｂ上の撮像面で結像する。結像光学系２０５ｂの中には開口絞り２０６ｂが存在し、開口絞り２０６ｂを調整することで被写界深度が制御できる。
(Pre-measurement unit)
FIG. 2B is a diagram illustrating an internal configuration of the
The light from the
撮像にあたっては、光源２０１ｂを点灯させ、プレパラート２０４に光を照射する。そして、照明光学系２０２ｂ、プレパラート２０４、結像光学系２０５ｂを通って撮像面に結像した像を撮像部２０７ｂのイメージセンサで受光する。モノクロ（グレースケール）撮影時には光源２０１ｂを白色で露光し、１回撮像を行う。カラー撮影時には、ＲＧＢの３つの光源２０１ｂで順番に露光し、３回撮像を行うことで、カラー画像を取得する。
In imaging, the
撮像面で結像した検体の像は、イメージセンサを備えた撮像部２０７ｂで光電変換され、Ａ／Ｄ変換を実行した後、像は電気信号として画像処理装置１１０に送られる。本実施
例ではＡ／Ｄ変換を実行した後のノイズ除去や色変換処理、鮮鋭化処理に代表される現像処理は画像処理装置１１０内部で行うとして説明する。しかし、現像処理は撮像部２０７ｂに接続された専用の画像処理ユニット（不図示）で行い、その後画像処理装置１１０にデータを送信することも可能であり、そのような形態での実施も本発明の範疇とする。
The specimen image formed on the imaging surface is photoelectrically converted by the
（画像処理装置）
図３は本発明における画像処理装置（ホストコンピュータ）１１０の内部構成を示す図である。
ＣＰＵ３０１はＲＡＭ３０２やＲＯＭ３０３に格納されているプログラムやデータを用いて画像処理装置全体の制御を行う。またＣＰＵ３０１は、以降の実施例で説明する各種演算処理、データ処理、例えば、後述する被写界深度拡大処理、現像・補正処理、合成処理、圧縮処理等を行う。
(Image processing device)
FIG. 3 is a diagram showing an internal configuration of the image processing apparatus (host computer) 110 according to the present invention.
The
ＲＡＭ３０２は記憶装置１１３からロードされたプログラムやデータ、他のコンピュータシステム１１４からネットワークＩ／Ｆ（インターフェース）３０４を介してダウンロードしたプログラムやデータを一時的に記憶するエリアを備える。またＲＡＭ３０２は、ＣＰＵ３０１が各種の処理を行うために必要とするワークエリアを備える。ＲＯＭ３０３はコンピュータの機能プログラムや設定データなどを記憶する。ディスプレイ制御装置３０６は画像や文字等をディスプレイ１１２に表示させるための制御処理を行う。ディスプレイ１１２はユーザに入力を求めるための画面表示を行うとともに、撮像装置１２０から取得しＣＰＵ３０１で処理した画像データを画像表示する。
The
操作入力デバイス１１１はキーボードやマウスなどＣＰＵ３０１に各種の指示を入力することのできるデバイスにより構成される。ユーザは撮像装置１２０の動作を制御する情報を操作入力デバイス１１１により入力する。３０８は操作入力デバイス１１１を介して入力された各種の指示等をＣＰＵ３０１に通知するためのＩ／Ｏである。
The
記憶装置１１３はハードディスクなどの大容量情報記憶装置であり、ＯＳ（オペレーティングシステム）や以降の実施例で説明する処理をＣＰＵ３０１に実行させるためのプログラムやバッチ処理によりスキャンした画像データなどを記憶する。
記憶装置１１３への情報の書き込みや記憶装置１１３からの情報の読み出しはＩ／Ｏ３１０を介して行われる。制御Ｉ／Ｆ３１２は、撮像装置１２０を制御するためのコントローラ１０８と制御コマンド（信号）をやりとりするためのＩ／Ｆである。
The
Writing information to the
コントローラ１０８は本計測ユニット１０１およびプレ計測ユニット１０２を制御する機能を持つ。画像Ｉ／Ｆ（インターフェース）３１３には上述以外のインターフェース、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサの出力データを取り込むための外部インターフェースが接続されている。なおインターフェースとしてはＵＳＢ、ＩＥＥＥ１３９４などのシリアルインターフェースやカメラリンクなどのインターフェースを使うことが出来る。この画像Ｉ／Ｆ３１３を通じて本計測ユニット１０１やプレ計測ユニット１０２が接続される。
The
（深度拡大処理フロー）
本実施例のバーチャル・スライド・システムは、図４に示す深度拡大処理フローを実行し、ユーザが指定する被写界深度を持つ深度拡大画像データを生成する。以下、深度拡大処理について図４を用いて説明する。
(Depth expansion processing flow)
The virtual slide system of the present embodiment executes the depth expansion processing flow shown in FIG. 4 and generates depth expansion image data having a depth of field specified by the user. Hereinafter, the depth expansion process will be described with reference to FIG.
まず、深度拡大設定Ｓ４０１では、画像処理装置１１０に対し、操作入力デバイス１１１を通じてユーザが所望する被写界深度の拡大量（つまり深度拡大画像データの被写界深度を指定する情報）を、深度拡大原情報として設定する。深度拡大原情報には様々な設定
を割り当てることが出来る。一例としては、対物レンズ倍率および／または開口絞りがある。その他には実在する光学顕微鏡の対物レンズの型番や仮想的な対物レンズの種類、被写界深度拡大後のＮＡ（開口数）などがある。なお、ＮＡを設定する場合、結像光学系２０５ａのＮＡよりも小さくする必要がある。もちろん被写界深度そのものを指定することもできる。
First, in the depth expansion setting S401, the
深度拡大設定Ｓ４０１では、画像処理装置１１０上の撮像装置１２０を制御するアプリケーションを通じて、画像処理装置１１０に接続されたディスプレイ１１２に設定画面を表示し、ユーザに前述の深度拡大原情報を設定させる。例えば、対物レンズ倍率を設定させる場合には、光学顕微鏡で良く使用される倍率、例えば４０倍、２０倍、１０倍等を選択させる構成を取ると、ユーザにとって被写界深度が感覚的に把握しやすくなる。また開口絞りを設定させる場合、ＮＡの変更率を設定させると良い。
In the depth expansion setting S401, a setting screen is displayed on the
次に、プレ計測処理Ｓ４０２では、後段の本計測処理Ｓ４０３でのデータ取得に必要なＸＹ分割撮像位置情報およびＺスタック撮像位置情報を決定する。ここでＸＹ分割撮像位置情報は標本を光軸（Ｚ軸）に垂直な面（ＸＹ平面）に複数回に渡って分割撮像する際に必要な情報で、具体的には各分割撮像領域の中心を結像光学系２０５ａと重ねるために必要なＸＹステージの位置や移動量を表す。Ｚスタック撮像位置情報は分割撮像領域毎に光軸（Ｚ軸）に沿って移動してＺスタック画像データを取得する際のＺステージ移動に必要な位置情報を表す。なお、Ｚスタック撮像位置は分割撮像領域毎に異なってもよい。
Next, in pre-measurement processing S402, XY divisional imaging position information and Z stack imaging position information necessary for data acquisition in the subsequent main measurement processing S403 are determined. Here, the XY divided imaging position information is information necessary when the sample is divided and imaged multiple times on a plane (XY plane) perpendicular to the optical axis (Z axis), specifically, the center of each divided imaging area. Represents the position and amount of movement of the XY stage required to overlap the image forming
次に本計測処理Ｓ４０３では、前記プレ計測処理Ｓ４０２で決定した情報を用いて、コントローラ１０８を制御し、分割撮像領域毎にＺスタック画像データを取得し、画像処理装置１１０に送信する。
次に深度拡大処理Ｓ４０４では、前記本計測処理Ｓ４０３で撮影した分割撮像領域毎のＺスタック画像データと深度拡大設定Ｓ４０１で設定した深度拡大原情報（被写界深度の拡大量）を用いて、被写界深度を拡大した画像データを生成する。
上記のプレ計測処理Ｓ４０２、本計測処理Ｓ４０３、深度拡大処理Ｓ４０４に関しては、後に詳しく説明する。
Next, in the main measurement process S403, the
Next, in the depth expansion process S404, using the Z stack image data for each divided imaging area captured in the main measurement process S403 and the depth expansion original information (the amount of expansion of the depth of field) set in the depth expansion setting S401, Image data with an expanded depth of field is generated.
The pre-measurement process S402, the main measurement process S403, and the depth expansion process S404 will be described in detail later.
次に現像・補正処理Ｓ４０５では、前述の被写界深度を拡大した画像データに対し、画像処理装置１１０が色変換処理、鮮鋭化処理、ノイズ低減処理などを実施する。これらの処理により、ディスプレイ１１２に表示される画像の色を標本の実際の色に近づけ、観察に好ましい鮮鋭化処理を施し、画像のノイズを抑制する。
次に合成処理Ｓ４０６では、画像処理装置１１０が分割撮像領域毎に深度拡大処理および現像・補正処理を行った画像データをつなぎ合わせ、プレパラート上の観察対象領域全体（例えば２０ｍｍ角の領域）の像を作る。
次に圧縮処理Ｓ４０７では、画像処理装置１１０が合成処理を行った画像データを圧縮し、データ容量を削減する。圧縮方法としては静止画圧縮符号化方式のＪＰＥＧやＪＰＥＧ２０００などを用いることが可能である。
続いて、伝送処理Ｓ４０８では、画像処理装置１１０が圧縮処理した画像データを記憶装置１１３に送り、データを保存する。画像処理装置１１０はネットワークＩ／Ｆを介してネットワーク上のコンピュータシステム１１４や画像サーバに画像データを送信してもよい。
Next, in development / correction processing S405, the
Next, in the composition processing S406, the
Next, in the compression process S407, the
Subsequently, in transmission processing S408, the image data compressed by the
（プレ計測及び本計測における装置の動作）
図５（ａ）〜図５（ｄ）、図６（ａ）、図６（ｂ）を用いてプレ計測処理Ｓ４０２及び本計測処理Ｓ４０３における装置の動作について説明する。
(Operation of the device in pre-measurement and main measurement)
The operation of the apparatus in the pre-measurement process S402 and the main measurement process S403 will be described with reference to FIGS. 5 (a) to 5 (d), FIG. 6 (a), and FIG. 6 (b).
図５（ａ）はプレパラートの模式図である。スライドグラス５１０上にはカバーグラス
５１１によって検体５００を封入した領域とラベルエリア５１２がある。本計測処理Ｓ４０３では、プレ計測で求めた検体５００が存在する外接矩形領域の内部を撮像対象とする。
FIG. 5A is a schematic diagram of a preparation. On the slide glass 510, there are an area in which the specimen 500 is enclosed by a cover glass 511 and a label area 512. In the main measurement process S403, the inside of the circumscribed rectangular area where the sample 500 obtained by the pre-measurement exists is set as an imaging target.
図５（ｂ）は本計測処理Ｓ４０３で検体５００が存在する外接矩形領域を複数領域に分割して撮像する様子を表している。図５（ｃ）は撮像面を表しており、有効視野５０２は本計測ユニット１０１の結像光学系２０５ａを通して像が映る範囲を、センサ有効領域５０３は撮像部２０７ａのイメージセンサで撮像可能な領域を示している。物体面における撮像領域５０１（斜線領域）は本計測ユニット１０１の結像光学系２０５ａを通じて結像し、撮像面における撮像領域５０４に対応する。
FIG. 5B shows a state in which the circumscribed rectangular area where the sample 500 exists is divided into a plurality of areas and imaged in the main measurement process S403. FIG. 5C shows the imaging surface, the effective field of view 502 is a range in which an image is reflected through the imaging
図５（ｃ）に示すように、センサ有効領域５０３には、撮像領域５０４に対して若干広い領域が割り当てられている。これは、結像光学系２０５ａが有する光学的な収差やイメージセンサの取付位置のズレを許容するためのマージンである。すなわち、光学的な収差やセンサの取付位置のズレがあったとしても、物体面の撮像領域５０１がセンサ有効領域５０３内に収まるようにしてある。合成処理Ｓ４０６では、センサ有効領域５０３の画像に対して収差補正や位置ズレ補正を行い、補正した画像から撮像領域５０４に対応する部分を切り出し、その画像を合成に用いる。
As shown in FIG. 5C, a slightly wider area is allocated to the sensor
図５（ｄ）はプレ計測におけるプレパラート２０４の撮像領域５０５を示している。プレ計測は本計測を精度よく撮像するための撮像制御情報取得を目的としており、画像の特徴が大まかに把握できれば良く、本計測ほどの解像度（倍率）は必要ない。本実施例のプレ計測では低倍率でプレパラート２０４の全体を撮像する。また、本計測と異なり複数の領域に分割することなく１つのイメージセンサでプレパラート２０４の全体を一括撮像する。これによりプレ計測ユニット１０２の構成を簡易化することができるとともに、プレ計測に要する時間、ひいてはプレ計測と本計測を含む撮像処理全体の時間を短縮することができる。
FIG. 5D shows an imaging area 505 of the
図６（ａ）は図５（ｂ）で示す分割撮像領域をラスタースキャン順に撮像する場合のステージ２０３ａのＸＹ方向の移動方向と順序を表している。プレパラートの左上から右下の領域を撮像するには、プレパラートを搭載するステージ２０３ａは逆方向の右下から左上に移動する。このように撮像領域を複数領域に分割し、ステージ２０３ａを移動しながら繰り返し撮像することで比較的小さなイメージセンサでも広い領域を撮像することができる。
FIG. 6A shows the movement direction and order of the
図６（ｂ）は本計測処理Ｓ４０３で、焦点位置（観察深さ、フォーカス位置、或いはピント位置ともいう）の異なる複数の画像を取得する場合のステージ２０３ａのＺ方向（奥行き方向）の移動方向を示している。図に示すように、プレパラート２０４内の検体の上側（カバーグラス裏面側）に焦点位置を移動するには、結像光学系２０５ａの光軸方向に沿って、ステージ２０３ａをＺ方向下向きに移動させる。逆に、検体の下側（スライドグラス表面側）に焦点位置を移動するには、ステージ２０３ａをＺ方向上向きに移動させる。
FIG. 6B shows the movement direction of the
撮像部２０７ａ、或いは、撮像部２０７ａとステージ２０３ａの両方を結像光学系２０５ａの光軸方向に沿って移動することでも焦点位置を変更することができる。また、結像光学系２０５ａのレンズを制御することにより光学的に焦点距離を変更することでも、焦点位置を変更可能である。なお、プレ計測ユニット１０２のステージ機構は本計測ユニット１０１とほぼ同じため、説明は省略する。
The focal position can also be changed by moving the
（プレ計測処理Ｓ４０２）
続いて、図７を用いてプレ計測処理Ｓ４０２の内部処理フローについて説明する。
プレ計測処理ではまずプレ計測データ取得Ｓ７０１で標本の画像（プレ計測データと呼ぶ）を取得する。取得時の装置の動作については既に述べたため、省略する。
(Pre-measurement process S402)
Subsequently, an internal processing flow of the pre-measurement process S402 will be described with reference to FIG.
In the pre-measurement process, first, a sample image (referred to as pre-measurement data) is acquired in pre-measurement data acquisition S701. Since the operation of the apparatus at the time of acquisition has already been described, a description thereof will be omitted.
続いてＸＹ分割撮像位置決定処理Ｓ７０２では、標本のＸＹ方向の撮像領域を決定し、ＸＹ分割撮像位置情報を計算する。具体的にはプレ計測データの画像から検体５００を検出し、検体５００の外接矩形を計算し、標本の撮像範囲を決定する。この矩形範囲を本計測ユニット１０１で１回で撮像出来ない場合には、図５（ｂ）で示すように、矩形範囲を分割し本計測の分割撮像領域５０１を決定する。その後、求めた分割撮像領域毎に撮影時のＸＹステージ移動に必要な情報、即ちＸＹ分割撮像位置情報を計算する。
なお、外接矩形の計算は画像輝度の分析等、公知の技術で実現できるため、詳細説明は省く。またユーザから撮像領域の指定がある場合には、その領域に対して分割撮像領域の決定とＸＹ分割撮像位置情報の計算を行う。
Subsequently, in an XY division imaging position determination process S702, an imaging area in the XY direction of the sample is determined, and XY division imaging position information is calculated. Specifically, the specimen 500 is detected from the pre-measurement data image, the circumscribed rectangle of the specimen 500 is calculated, and the imaging range of the specimen is determined. When this rectangular range cannot be imaged by the
Since the calculation of the circumscribed rectangle can be realized by a known technique such as image luminance analysis, a detailed description is omitted. When the user designates an imaging region, the divisional imaging region is determined and XY divisional imaging position information is calculated for the region.
続いて、ＡＦ合焦位置取得処理Ｓ７０３では、ＡＦユニット１０９を用いて分割撮像領域毎にオートフォーカスを実施し、フォーカスが合うＺ位置（ＡＦ合焦位置と呼ぶ）を取得する。
Subsequently, in an AF in-focus position acquisition process S703, the
続いて、Ｚスタック撮像位置決定処理Ｓ７０４では本計測ユニット１０１を用いて分割撮像領域毎にＺスタック撮像位置を決定する。この処理では、各分割撮像領域に対し、ＡＦ合焦位置から光軸方向に沿って前後にステージ２０３ａを動かし、画像内に一定以上の鮮鋭度（コントラスト）を持つＺ方向の範囲を求め、その範囲をＺスタック撮像領域に決定する。なおＳ７０４では本計測ユニット１０１の代わりにプレ計測ユニット１０２を用いても良いし、変位計１０３を用いて、プレパラート内の検体の表面と裏面位置を調べ、その間をＺスタック撮像領域に定めても良い。
Subsequently, in the Z stack imaging position determination processing S704, the Z stack imaging position is determined for each divided imaging area using the
その後、ＡＦ合焦位置を中心として所定のＺスタック間隔で動かすことにより、求めたＺスタック撮像領域がカバー出来るよう、レイヤー画像の枚数と撮影時のＺステージの移動に必要な情報、即ち、Ｚスタック撮像位置情報を求める。なお、Ｚスタック間隔は結像光学系２０５ａの被写界深度が好ましいが、ユーザが事前に設定した値を用いることもできる。
After that, by moving the AF focusing position at a predetermined Z stack interval, information necessary for moving the number of layer images and the Z stage at the time of shooting, that is, Z information so that the obtained Z stack imaging area can be covered. Obtain stack imaging position information. The Z stack interval is preferably the depth of field of the imaging
例えば、Ｚスタック撮像領域はＡＦ合焦位置を中心に±５μｍの領域で、結像光学系２０５ａの被写界深度は０．５μｍとする。その場合、Ｚスタック画像を構成するレイヤー画像の枚数は２１枚となり、Ｚスタック撮像位置情報は、ＡＦ合焦位置±０．５ｎ［μｍ］（ｎ＝０〜１０）となる。このように分割撮像領域毎にＺスタック撮像位置情報を決めるのは、標本の凹凸やカバーグラスのうねり等の影響により、観察対象となる検体（細胞や組織）のＺ方向の位置がばらついているからである。
For example, the Z stack imaging area is an area of ± 5 μm centered on the AF in-focus position, and the depth of field of the imaging
上記のＸＹ分割撮像位置情報およびＺスタック撮像位置情報は、画像処理装置１１０で撮影時にステージ２０３ａの移動量が少なく済むように、昇順または降順に位置を並べ替え、画像処理装置１１０内のＲＡＭ３０２や記憶装置１１３に格納する。
The XY division imaging position information and the Z stack imaging position information are rearranged in ascending order or descending order so that the moving amount of the
（本計測処理Ｓ４０３）
本計測処理Ｓ４０３では後段の深度拡大処理Ｓ４０４での被写界深度拡大処理に必要となる分割領域毎のＺスタック画像の取得を行う。Ｚスタック画像とは、光軸方向に焦点位置を変えながら被写体（プレパラート）を撮像することにより得られる画像群データであり、１つのＺスタック画像は各焦点位置で得られた複数枚のレイヤー画像データで構成される。本計測処理Ｓ４０３の内部処理について図８を用いて説明する。
(Main measurement process S403)
In the main measurement process S403, a Z stack image for each divided area necessary for the depth-of-field expansion process in the subsequent depth expansion process S404 is acquired. A Z stack image is image group data obtained by imaging a subject (preparation) while changing the focal position in the optical axis direction, and one Z stack image is a plurality of layer images obtained at each focal position. Consists of data. The internal process of the main measurement process S403 will be described with reference to FIG.
まずＳ８０１では、画像処理装置１１０からプレ計測処理Ｓ４０２で求めたＸＹ分割撮像位置情報の初期位置を読み出し、コントローラ１０８が、ステージ制御１０５を介して、初期の分割撮像領域が撮影できる位置にステージ２０３ａを移動させる。
First, in step S <b> 801, the initial position of the XY divided imaging position information obtained in the pre-measurement process S <b> 402 is read from the
次にＳ８０２では、画像処理装置１１０から初期の分割撮像領域におけるＺスタック撮像位置情報を読み出し、同様にコントローラ１０８が、ステージ制御１０５を介してステージ２０３ａを初期のＺ位置へ移動する。例えば前述の例であれば、ＡＦ合焦位置＋０．５×１０［μｍ］の位置に焦点位置を合わせるようにステージ２０３ａが移動する。
In step S <b> 802, the Z stack imaging position information in the initial divided imaging area is read from the
続いてＳ８０３で画像データの取得を行う。取得した画像データは本計測ユニット１０１から画像処理装置１１０に転送され、画像処理装置１１０内のＲＡＭ３０２あるいは記憶装置１１３に格納される。
In step S803, image data is acquired. The acquired image data is transferred from the
続いてＳ８０４では、現在の分割撮像領域においてＺスタック画像の全てのレイヤー画像のデータを取得したかを判定し、未取得のデータが存在すれば、Ｓ８０５に進み、ステージ２０３ａを次のＺ位置に移動する。例えば前述の例であれば、焦点位置を０．５μｍずつ小さくしていき、全部で２１枚のレイヤー画像を取得する。Ｓ８０４で全て取得済みであれば、次のＳ８０６に進む。
In step S804, it is determined whether all layer image data of the Z stack image has been acquired in the current divided imaging area. If there is unacquired data, the process advances to step S805 to move the
続いてＳ８０６では、全ての分割撮像領域のＺスタック画像を取得したかを判定し、未取得のデータが存在すれば、Ｓ８０７に進み、ステージ２０３ａを次の分割撮像領域に移動させる。全て取得済みであれば、処理を終了する。
以上の処理を繰り返し、本計測処理Ｓ４０３では、各分割撮像領域のＺスタック画像のデータを取得する。
Subsequently, in S806, it is determined whether or not the Z stack images of all the divided imaging areas have been acquired. If there is unacquired data, the process proceeds to S807, and the
The above process is repeated, and in the main measurement process S403, data of the Z stack image of each divided imaging region is acquired.
（深度拡大処理Ｓ４０４）
深度拡大処理Ｓ４０４では、分割撮像領域毎に、本計測処理Ｓ４０３で取得したＺスタック画像を構成する複数のレイヤー画像データから、このレイヤー画像データよりも被写界深度が深い深度拡大画像データを生成する処理を行う。以下、撮像により得られたレイヤー画像データを第１の画像データ、深度拡大処理により生成される画像データを第２の画像データとも呼ぶ。
(Depth expansion processing S404)
In the depth expansion processing S404, depth expansion image data having a depth of field deeper than the layer image data is generated from the plurality of layer image data constituting the Z stack image acquired in the main measurement processing S403 for each divided imaging region. Perform the process. Hereinafter, the layer image data obtained by imaging is also referred to as first image data, and the image data generated by the depth expansion process is also referred to as second image data.
本実施例では説明の簡略化のため、分割撮像領域が１つで（検体５００が、本計測撮像領域５０１よりも小さい場合）、本計測処理Ｓ４０３でモノクロ（グレースケール）撮像する場合について説明する。ただし、複数の分割撮像領域が存在する場合でも、以降で説明する深度拡大処理Ｓ４０４を分割撮像領域毎に繰り返すことで、検体５００全体の被写界深度の拡大が可能である。またカラー撮像においてもＲＧＢ毎に被写界深度の拡大が可能である。 In this embodiment, for simplification of description, a case where there is one divided imaging area (when the specimen 500 is smaller than the main measurement imaging area 501) and monochrome (grayscale) imaging is performed in the main measurement process S403 will be described. . However, even when there are a plurality of divided imaging regions, the depth of field of the entire specimen 500 can be expanded by repeating the depth expansion processing S404 described below for each divided imaging region. In color imaging, the depth of field can be expanded for each RGB.
図９（ａ）を用いて深度拡大処理Ｓ４０４について説明する。
深度拡大処理Ｓ４０４では、画像処理装置１１０は、まず、深度拡大特性情報取得処理Ｓ９０１において深度拡大設定Ｓ４０１で設定された深度拡大原情報から、被写界深度と結像特性情報を取得する。本処理については後に詳しく説明する。
次に合成焦点面・対象面決定処理Ｓ９０２では、画像処理装置１１０は、後段の深度合成データ生成処理Ｓ９０３で用いる、画像合成時の焦点面、即ち合成焦点面と、画像合成時の処理対象面、即ち合成対象面を決定する。合成焦点面・対象面決定処理Ｓ９０２は本実施例の深度拡大アルゴリズムにおける特徴的な処理の一つであり、後段の深度合成データ生成処理９０３での被写界深度の拡大処理の計算負荷を軽減する。本処理については後に詳しく説明する。
The depth expansion process S404 will be described with reference to FIG.
In the depth expansion process S404, the
Next, in the synthesis focal plane / target plane determination process S902, the
次に深度合成データ生成処理Ｓ９０３では、前段の合成焦点面・対象面決定処理Ｓ９０２で決定した合成焦点面および合成対象面を用いて、被写界深度を拡大したデータを生成する。本処理の内部で用いる被写界深度の拡大処理としては様々な方式が考えられるが、本実施例では後に３つの手法に絞って説明する。しかし説明した手法に限定されないため、それ以外の手法を用いる場合でも本発明の範疇となる。 Next, in the depth synthesis data generation process S903, data with an expanded depth of field is generated using the synthesis focal plane and the synthesis target plane determined in the previous synthesis focal plane / target plane determination process S902. Various methods are conceivable as the depth-of-field expansion processing used in this processing, but in this embodiment, only three methods will be described later. However, the method is not limited to the method described above, and even when other methods are used, they are included in the scope of the present invention.
（深度拡大特性情報取得処理Ｓ９０１）
図９（ｂ）は深度拡大特性情報取得処理Ｓ９０１の内部処理フローである。
被写界深度取得処理Ｓ１００１では、画像処理装置１１０が、深度拡大設定Ｓ４０１で設定した深度拡大原情報から被写界深度を取得する。
例えば、深度拡大原情報として対物レンズ倍率を設定する場合、画像処理装置１１０は、画像処理装置１１０内にある対物レンズ倍率と被写界深度の関係を記録する対応表を用いて、対物レンズ倍率から被写界深度を求めると良い。対応表には事前の実験または計算により求めた対物レンズ倍率と被写界深度の対応関係を記載しておく。深度拡大原情報として実在する光学顕微鏡の対物レンズの型番や仮想的な対物レンズの種類を設定する場合も同様に対応表を用いて被写界深度を求められる。
(Depth expansion characteristic information acquisition processing S901)
FIG. 9B is an internal processing flow of the depth expansion characteristic information acquisition processing S901.
In the depth of field acquisition process S1001, the
For example, when the objective lens magnification is set as the depth expansion original information, the
深度拡大原情報として、対物レンズ倍率および開口絞りを設定する場合には、画像処理装置１１０は、対応表を用いて対物レンズ倍率に対応するＮＡを取得し、開口絞りによるＮＡの変更率を掛け算してトータルでのＮＡを求める。そして、下記の＜１＞式により、被写界深度Ｄを求めると良い。
±Ｄ＝ｎλ／｛２（ＮＡ）２｝ …＜１＞式
ｎ：媒質の屈折率、λ：光の波長［μｍ］、ＮＡ：対物レンズのＮＡ（開口数）
屈折率と光の波長はそれぞれ一般的な標本の屈折率、基準波長０．５５μｍを用いることで大まかに計算できる。
When the objective lens magnification and the aperture stop are set as the depth extension original information, the
± D = nλ / {2 (NA) 2 } Equation <1> n: refractive index of medium, λ: wavelength of light [μm], NA: NA of objective lens (numerical aperture)
The refractive index and the light wavelength can be roughly calculated by using a general specimen refractive index and a reference wavelength of 0.55 μm, respectively.
続いて結像特性取得処理Ｓ１００２では、画像処理装置１１０は、深度拡大原情報を用いて結像特性情報を求める。結像特性情報とは、深度拡大原情報で指定された被写界深度（拡大後の被写界深度）をもつ仮想的な光学系の結像特性を表す情報である。具体的には、焦点位置からの距離に従って変化する、複数の２次元ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の情報や、３次元ＰＳＦの情報を結像特性情報として用いることができる。ＰＳＦは周波数変換してＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の形で与えても構わない。これらの情報は深度拡大原情報と対応付けて、前述の対応表に格納しておくことで実現できる。また深度拡大原情報から求めた値（例えばＮＡ）から数式で被写界深度拡大後の結像特性である３次元ＰＳＦや３次元ＯＴＦを計算しても良い。
Subsequently, in the imaging characteristic acquisition process S1002, the
（合成焦点面・対象面決定処理Ｓ９０２）
図９（ｃ）を用いて合成焦点面・対象面決定処理Ｓ９０２の内部処理フローを説明する。合成焦点面・対象面決定処理Ｓ９０２では、拡大後の被写界深度に基づいて深度拡大画像の焦点位置に相当する合成焦点面を決定する処理と、Ｚスタック画像を構成する全レイヤー画像の中から深度拡大画像の生成に使う画像を合成対象面として選択する処理を行う。
(Synthetic focal plane / target plane determination processing S902)
The internal processing flow of the composite focal plane / target plane determination process S902 will be described with reference to FIG. In the combined focal plane / target plane determining process S902, a process of determining a combined focal plane corresponding to the focal position of the depth-enlarged image based on the expanded depth of field, and all of the layer images constituting the Z stack image To select an image to be used for generating a depth-enlarged image as a synthesis target plane.
まず、合成焦点面の決定処理について説明する。ここでは、合成焦点面を中心とする被写界深度（拡大後の被写界深度）の内に観察対象としての物体が最も多く含まれるように、合成焦点面のＺ方向の位置を決定する。
画像処理装置１１０は、まず画像評価値計算処理Ｓ１１０１でＺスタック画像を構成す
る各レイヤー画像の画像評価値を計算する。画像評価値は、レイヤー画像内に焦点があった領域がどの程度存在するかを分析する評価値であり、画像に対する鮮鋭度評価値の面内積分値が好適である。鮮鋭度評価値としては、フーリエ変換やウェーブレット変換等の画像の周波数解析を含むコントラスト評価値、ラプラシアンフィルタに代表されるエッジ検出フィルタによる演算値、局所領域内の画素値の分散を画像全体に渡って求めた分散値等が挙げられる。
First, the composite focal plane determination process will be described. Here, the position of the composite focal plane in the Z direction is determined so that the number of objects to be observed is the largest in the depth of field around the synthetic focal plane (expanded depth of field). .
The
図１０（ａ）及び図１０（ｂ）は画像評価値の計算の様子を示す図である。図１０（ａ）はＺ方向に焦点位置を変えて撮像装置で撮像した標本のＺスタック画像を示す。このＺスタック画像は１６枚のレイヤー画像で構成されている。Ｚ軸に記載の番号はレイヤー画像の位置を識別するためのインデックスであり、単位は持たない。図１０（ｂ）は各レイヤー画像に対して計算した画像評価値を示す。横軸は画像評価値、縦軸は前述のレイヤー画像の位置を表すインデックスを示す。図１０（ａ）のレイヤー画像１２０１ａの画像評価値は図１０（ｂ）の１２０１ｂの値に対応している。図１０（ｂ）のグラフは、標本内でインデックス＋２および０のＺ位置に、焦点が合う物体が最も多く在在することを示している。
FIG. 10A and FIG. 10B are diagrams showing how image evaluation values are calculated. FIG. 10A shows a Z stack image of a specimen imaged by the imaging device while changing the focal position in the Z direction. This Z stack image is composed of 16 layer images. The number described on the Z axis is an index for identifying the position of the layer image, and has no unit. FIG. 10B shows an image evaluation value calculated for each layer image. The horizontal axis represents the image evaluation value, and the vertical axis represents an index representing the position of the layer image. The image evaluation value of the
次の画像評価積分値計算処理Ｓ１１０２では、画像処理装置１１０は、深度拡大処理Ｓ４０４において被写界深度を拡大した後の画像における画像評価値を予測する処理を行う。図１１（ａ）〜図１１（ｃ）を用いて画像評価積分値計算処理Ｓ１１０２の処理を説明する。図１１（ａ）、（ｂ）、（ｃ）はそれぞれ被写界深度が前後１枚、２枚、３枚（それぞれ合計３枚、５枚、７枚）の場合における画像評価積分値を示すグラフである。これらのグラフは、図１０（ｂ）の各インデックスにおいて、各インデックスを中心として被写界深度の枚数分だけ隣接するインデックスの画像評価値を積分した結果であり、被写界深度拡大後の各Ｚ位置における画像評価値の推定値となっている。
In the next image evaluation integrated value calculation process S1102, the
上記の処理により、撮像時の対物レンズ倍率や開口絞りが被写界深度拡大後のそれらと異なる場合でも、被写界深度拡大後に最もピントが合うＺ位置を予測できる。図１１（ａ）〜図１１（ｃ）から分かるように、被写界深度が変わると、ピントが合う物体が最も多く含まれるＺ位置（画像評価値が最も大きくなるＺ位置）も変わり得る。
なお、被写界深度拡大後の被写界深度が、撮像時のＺスタック間隔（レイヤー画像の間隔）の整数倍で表現できない場合には、図１０（ｂ）の各Ｚ位置の画像評価値を補間して積分区間内の画像評価値を求め、それらを積分することにより画像評価積分値を求めると良い。なお、補間方式としては公知の線形補間やスプライン補間等が適用可能である。
With the above processing, even when the objective lens magnification and aperture stop at the time of imaging are different from those after the depth of field expansion, it is possible to predict the best Z position after the depth of field expansion. As can be seen from FIGS. 11A to 11C, when the depth of field changes, the Z position where the most focused object (the Z position where the image evaluation value becomes the largest) can be changed.
If the depth of field after the depth of field expansion cannot be expressed by an integral multiple of the Z stack interval (layer image interval) at the time of imaging, the image evaluation value at each Z position in FIG. The image evaluation value in the integration interval is obtained by interpolating and the image evaluation integration value is obtained by integrating them. As the interpolation method, known linear interpolation, spline interpolation, or the like can be applied.
次に合成焦点面決定処理Ｓ１１０３の処理を説明する。本処理では前段の画像評価積分値計算処理Ｓ１１０２で求めた画像評価積分値が最大となるＺ位置を求め、そのＺ位置を被写界深度拡大後の焦点面に設定する。
図１１（ａ）ではインデックス＋１で表されるＺ位置で画像評価積分値が最大になっており、そのＺ位置が被写界深度拡大後に最も焦点が合う領域と推測される。そのため、前後１枚（合計３枚）の範囲まで被写界深度を拡大する場合には、合成焦点面はインデックス＋１で表されるＺ位置に決定する。同様に、前後２枚（合計５枚）の範囲まで被写界深度を拡大する場合にはインデックス＋２のＺ位置、前後３枚（合計７枚）の範囲まで被写界深度を拡大する場合にはインデックス＋３のＺ位置がそれぞれ合成焦点面に選ばれる。
Next, the process of the composite focal plane determination process S1103 will be described. In this process, the Z position at which the image evaluation integral value obtained in the previous image evaluation integral value calculation process S1102 is maximized is obtained, and the Z position is set as the focal plane after the depth of field is expanded.
In FIG. 11A, the image evaluation integral value is maximum at the Z position represented by the index +1, and it is estimated that the Z position is the most focused area after the depth of field is expanded. Therefore, when the depth of field is expanded to the range of one front and back (total of three), the composite focal plane is determined at the Z position represented by the index +1. Similarly, when the depth of field is expanded to the range of two front and rear (total 5), the depth of field is expanded to the Z position of index +2, and the range of three front and rear (total 7). The Z position at index +3 is selected as the composite focal plane.
次に合成対象面決定処理Ｓ１１０４の処理を説明する。
合成対象面決定処理Ｓ１１０４では、画像処理装置１１０が、前述の結像特性情報に基づいて、焦点位置（合成焦点面）から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる範囲（これを影響範囲と呼ぶ）を求める。そして、Ｚスタック画像を構成するレイヤー画像の中から、影響範囲内に焦点位置が含まれるレイヤー画像
を合成対象面として選択する。選択された合成対象面は、後段の深度合成データ生成処理Ｓ９０３での被写界深度拡大処理に用いられる。
Next, the process of the synthesis target surface determination process S1104 will be described.
In the compositing target plane determination process S1104, the
合成対象面の選択基準となる、所定の条件及び影響範囲の決め方の一例について、図１２（ａ）及び図１２（ｂ）を用いて説明する。図１２（ａ）及び図１２（ｂ）は結像特性取得処理Ｓ１００２で求めた、被写界深度拡大後（つまり仮想的な光学系）の結像特性（ＰＳＦ）を示す図である。
図１２（ａ）の円錐は、焦点位置（図の原点）から離れる程、ＰＳＦが拡がる様子を示している。図１２（ｂ）は図１２（ａ）で示した３次元ＰＳＦの、原点からの距離が異なる２つの平面Ｚ＝ａおよびＺ＝ｂ（ａ＜ｂ）における２次元ＰＳＦ（横軸：ｒ、縦軸：強度）を示している。Ｚ＝ａは被写界深度内の平面の２次元ＰＳＦを示し、Ｚ＝ｂは被写界深度外の平面の２次元ＰＳＦを示している。Ｚ＝ｂにおける原点（中心画素）の像強度はＺ＝ａにおけるそれと比べてかなり小さくなっている。このようなＰＳＦ形状から予測できるように、被写界深度拡大後の焦点面における画像において、｜Ｚ｜＞ｂの位置にある物体は大きくぼけて重畳されるのみで、焦点面での画質に大きな影響を及ぼさないことが推定される。
An example of how to determine a predetermined condition and an influence range, which are selection criteria for the synthesis target surface, will be described with reference to FIGS. 12 (a) and 12 (b). FIGS. 12A and 12B are diagrams illustrating the imaging characteristics (PSF) after the depth of field expansion (that is, a virtual optical system) obtained in the imaging characteristics acquisition process S1002.
The cone in FIG. 12A shows how the PSF expands with increasing distance from the focal position (the origin in the figure). FIG. 12B shows a two-dimensional PSF in two planes Z = a and Z = b (a <b) having different distances from the origin of the three-dimensional PSF shown in FIG. Vertical axis: intensity). Z = a represents a two-dimensional PSF of a plane within the depth of field, and Z = b represents a two-dimensional PSF of a plane outside the depth of field. The image intensity at the origin (center pixel) at Z = b is considerably smaller than that at Z = a. As can be predicted from such a PSF shape, in the image on the focal plane after the depth of field expansion, the object at the position of | Z |> b is only largely blurred and superimposed, and the image quality on the focal plane is improved. It is estimated that it does not have a large effect.
ここで焦点位置から離れた位置の物体の、焦点位置に対する画質影響評価指標の例として、焦点位置および焦点位置から離れた位置のＰＳＦの中心（イメージセンサの中心画素）の強度比を定義する。そして、中心の強度比が１／Ｎ以下なら焦点面の画質への影響が無視できるとする。Ｎには任意の値（正の実数）を設定することができるが、被写界深度拡大後の画像の画質評価実験やシミュレーションなどから適切な値を求めると良い。本実施例では、Ｎ＝１０に設定する。 Here, as an example of the image quality influence evaluation index for the object at a position away from the focal position, the intensity ratio between the focal position and the center of the PSF at the position away from the focal position (center pixel of the image sensor) is defined. If the intensity ratio at the center is 1 / N or less, the influence on the image quality on the focal plane can be ignored. An arbitrary value (positive real number) can be set for N, but an appropriate value may be obtained from an image quality evaluation experiment or simulation after the depth of field is expanded. In this embodiment, N = 10 is set.
図１２（ａ）においてＰＳＦの中心の強度比が１／Ｎとなる、焦点位置からの距離をＺ＝ｂとすると、少なくとも｜Ｚ｜≦ｂの範囲内に存在する画像を用いれば、合成焦点面の画像が精度よく再現できる。従って、｜Ｚ｜≦ｂの範囲内に存在するレイヤー画像を合成対象面と定義し、深度合成データ生成処理Ｓ９０３に入力すれば、画質を維持した上で、合成枚数の削減による演算コストの低減が実現できる。この例では、「ＰＳＦの中心の強度比が１／Ｎ」が前述の所定の条件に対応し、「｜Ｚ｜≦ｂの範囲」が影響範囲に対応する。 In FIG. 12A, assuming that the intensity ratio at the center of the PSF is 1 / N and the distance from the focal position is Z = b, if the image existing at least in the range of | Z | The surface image can be accurately reproduced. Therefore, if a layer image existing in the range of | Z | ≦ b is defined as a synthesis target surface and input to the depth synthesis data generation processing S903, the calculation cost can be reduced by reducing the number of synthesized images while maintaining the image quality. Can be realized. In this example, “the intensity ratio of the center of the PSF is 1 / N” corresponds to the above-described predetermined condition, and “range of | Z | ≦ b” corresponds to the influence range.
上記のように、本実施例では、合成対象面決定処理Ｓ１１０４において、深度拡大像の画質に与える寄与を考慮し、深度拡大処理に用いるレイヤー画像の枚数を削減する。これにより、従来の方法（Ｚスタック画像を構成する全てのレイヤー画像を用いる方法）に比べて、後段の深度合成データ生成処理Ｓ９０３における処理の高速化が実現できる。 As described above, in the present exemplary embodiment, the number of layer images used for the depth expansion process is reduced in consideration of the contribution to the image quality of the depth expansion image in the compositing target plane determination process S1104. Thereby, compared with the conventional method (method using all the layer images constituting the Z stack image), it is possible to realize a high-speed processing in the subsequent depth synthesis data generation processing S903.
なお、焦点位置における画質影響評価指標は前記の方法に限らない。例えば、焦点位置から離れた位置の、指定周波数におけるＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を評価指標と定め、１０％以上となる範囲を合成対象面と定めても良い。またＭＴＦと人間の視覚特性の積の積分値を評価指標とし、人間の知覚特性に基づく閾値から合成対象面を定めても良い。その他にも様々な変形例が考えられる。従って、前記以外の評価指標を適用し、合成焦点面を定める場合も本発明の範疇となる。また、画質と速度のバランスに応じて、前記で定めた合成対象面から一部の画像を間引くことでさらなる処理枚数の低減と高速化を実現することも可能である。 The image quality influence evaluation index at the focal position is not limited to the above method. For example, MTF (Modulation Transfer Function) at a specified frequency at a position away from the focal position may be defined as an evaluation index, and a range of 10% or more may be defined as a synthesis target surface. Further, an integration value of the product of MTF and human visual characteristics may be used as an evaluation index, and the synthesis target plane may be determined from a threshold value based on human perceptual characteristics. Various other modifications can be considered. Therefore, the present invention also falls within the scope of the case where an evaluation index other than the above is applied to define the composite focal plane. Further, according to the balance between the image quality and the speed, it is possible to further reduce the number of processed sheets and increase the speed by thinning out a part of the image from the synthesis target surface defined above.
なお、前述の画質影響評価指標を用いた合成対象面決定処理は必ずしも必須ではない。すなわち、合成焦点面を定めた後、合成対象面決定処理の代わりに、合成対象面として分割領域毎のＺスタック画像を構成するレイヤー画像の全てを設定したり、合成焦点面を中心として予め定めた一定範囲のレイヤー画像を一律に設定することでも実現できる。この
方法は前述の画質影響評価指標を用いて合成対象面を選択する方法に比べ、処理枚数が増加する可能性があるが、条件判定による分岐処理を減らし、回路構成の簡素化や安定動作を実現出来るメリットがある。いずれの方法においても合成焦点面を定めることにより、後段の深度合成データ生成性処理Ｓ９０３の計算負荷を低減できるメリットが実現できる。
Note that the compositing target surface determination process using the above-described image quality influence evaluation index is not necessarily essential. That is, after determining the synthesis focal plane, instead of the synthesis target plane determination process, all of the layer images constituting the Z stack image for each divided region are set as the synthesis target plane, or predetermined with the synthesis focal plane as the center. This can also be realized by uniformly setting a certain range of layer images. Although this method may increase the number of processed images compared to the method of selecting the synthesis target surface using the image quality influence evaluation index described above, it reduces branch processing by condition judgment, simplifies the circuit configuration, and stabilizes operation. There are benefits that can be realized. In any method, by defining the synthesis focal plane, it is possible to realize an advantage of reducing the calculation load of the subsequent depth synthesis data generation processing S903.
図１３は合成焦点面・対象面決定処理Ｓ９０２で決定した情報を説明する模式図である。１５０１は合成焦点面、１５０２は合成対象面、１５０３は拡大後の被写界深度を表している。前述の数値と対応づけると、１５０２はｂ＝５（合計１１枚）、１５０３はａ＝１（合計３枚）となっている。
FIG. 13 is a schematic diagram for explaining the information determined in the composite focal plane / target plane determination process S902.
（深度合成データ生成処理Ｓ９０３）
図１４は深度合成データ生成処理Ｓ９０３の内部処理を示すブロック図である。
画像処理装置１１０は、画像取得処理１６０１において、合成焦点面の情報と合成対象面のレイヤー画像のデータを、画像処理装置１１０内のＲＡＭ３０１や記憶装置１１３から取得する。
次に画像処理装置１１０は、画像合成処理１６０２において、合成対象面のレイヤー画像データに対し処理を施し、被写界深度を拡大した画像データを出力する。
(Depth synthesis data generation process S903)
FIG. 14 is a block diagram showing the internal processing of the depth composite data generation processing S903.
In the
Next, in the
画像合成処理１６０２の内部処理として様々な方式を用いることが出来る。例えば、（１）評価値に基づく選択・統合手法、（２）重み付け合成手法、（３）３次元フィルタリング手法などが存在する。本実施例では前記３つの手法を用いる場合に絞って説明するが、それ以外の被写界深度拡大方法を用いた場合も本発明の範疇に含まれるとする。
Various methods can be used as internal processing of the
（１）評価値に基づく選択・統合手法
図１５（ａ）を用いて（１）評価値に基づく選択・統合手法の例について説明する。この手法（１）は、拡大後の被写界深度に対応する仮想的な光学系の結像特性に基づくコンボリューション処理を適用することによって合成対象面の各々に対し焦点位置（合成焦点面）からの距離に応じたぼけを付与する手法である。
まずコンボリューション処理Ｓ１７０１では、画像処理装置１１０は、結像特性取得処理Ｓ１００２で求めた結像特性情報、つまり合成焦点面を原点としたときの当該Ｚ位置における被写界深度拡大後の２次元ＰＳＦであるｗｎ（ｘ，ｙ）を取得する。
(1) Selection / Integration Method Based on Evaluation Value An example of the (1) selection / integration method based on the evaluation value will be described with reference to FIG. This method (1) applies a convolution process based on the imaging characteristics of a virtual optical system corresponding to the depth of field after expansion to a focus position (synthetic focal plane) for each of the synthesis target planes. This is a technique for providing blur according to the distance from the camera.
First, in the convolution process S1701, the
続いて、画像処理装置１１０は、合成対象面のレイヤー画像ｇｎ（ｘ，ｙ）に対し、前記のｗｎ（ｘ，ｙ）をコンボリューションし、各レイヤー画像に合成焦点面からの距離に応じたぼけを与える。数式で表現すると以下の＜２＞式で表現できる。
これにより、各々のＺ位置に焦点を合わせて撮像された各Ｚ位置のレイヤー画像は、合成焦点面からの距離に応じて、ユーザの設定する被写界深度拡大量に対応するぼけを持つ画像に補正される。
Subsequently, the
Thereby, the layer image at each Z position imaged with the focus on each Z position has an image corresponding to the depth of field expansion amount set by the user according to the distance from the synthetic focal plane. It is corrected to.
次に評価値計算処理Ｓ１７０２では、画像処理装置１１０は、コンボリューション処理を適用したレイヤー画像のそれぞれに対し、画像評価値を計算する。画像評価値は画像内の鮮鋭度の高い位置、即ち、焦点の合った位置の抽出に適した値であり、合成焦点面・対象面決定処理Ｓ９０２で述べた鮮鋭度評価値が活用できる。画像評価値は、レイヤー画像内の各画素の水平（ＸＹ）位置について計算される。
Next, in the evaluation value calculation process S1702, the
次に選択処理Ｓ１７０３では、画像処理装置１１０は、合成対象面のレイヤー画像の間で画像評価値を比較し、画像評価値が最も高くなるＺ位置を特定する。画像評価値の比較は画像内の同一のＸＹ位置について行われ、ＸＹ位置毎に画像評価値が最も高くなるＺ位置が選択される。その結果は、ＸＹ位置と選択されたＺ位置との対応を表すＺ位置マップとして出力される。
Next, in selection processing S1703, the
このとき、各ＸＹ位置において最も鮮鋭度評価値が高いＺ位置を抽出すると、ノイズ等の影響により画像面内でＺ位置が急激に変化し、合成画像の画質を低下させる可能性がある。そこで例えば、Ｚ位置マップに対して空間フィルタ（ノイズ抑制フィルタ）を適用し、Ｚ位置の急激な変化を抑えることが好ましい。ノイズ抑制フィルタとしては、メディアンフィルタやバイラテラルフィルタ等を用いることができる。 At this time, if the Z position having the highest sharpness evaluation value is extracted at each XY position, the Z position may change abruptly in the image plane due to the influence of noise or the like, and the image quality of the composite image may be degraded. Therefore, for example, it is preferable to apply a spatial filter (noise suppression filter) to the Z position map to suppress a sudden change in the Z position. As the noise suppression filter, a median filter, a bilateral filter, or the like can be used.
次に統合処理Ｓ１７０４では、画像処理装置１１０が、ＸＹ位置毎に、合成対象面のレイヤー画像群からＺ位置マップに記載されたＺ位置の画素値を抽出し、それらを統合した合成画像を生成する。なお、ここでは画素単位で処理を行ったが、所定サイズの画素ブロック単位で同様の処理を行うことで計算量を削減することも可能である。
Next, in the integration process S1704, the
（２）重み付け合成手法
次に図１５（ｂ）を用いて（２）重み付け合成手法の例について説明する。
手法（２）は、仮想的な光学系の結像特性に基づいて決定される重みを用いて、周波数空間上で合成対象面のレイヤー画像を重み付け加算する手法である。具体的には、合成対象面となる複数のレイヤー画像の各々を２次元離散フーリエ変換し、それらを被写界深度拡大後の焦点距離に応じて重み付け加算した後、２次元離散逆フーリエ変換することで合成画像（深度拡大画像）を生成する。なお、以降の説明では、離散フーリエ変換をＤＦＴ、離散逆フーリエ変換をＩＤＦＴと記載する。
(2) Weighting Synthesis Method Next, an example of (2) weighting synthesis method will be described with reference to FIG.
Method (2) is a method of weighting and adding layer images on the synthesis target surface in the frequency space using weights determined based on the imaging characteristics of the virtual optical system. Specifically, each of a plurality of layer images to be combined is subjected to a two-dimensional discrete Fourier transform, weighted and added according to the focal length after the depth of field expansion, and then subjected to a two-dimensional discrete inverse Fourier transform. Thus, a composite image (depth-enlarged image) is generated. In the following description, the discrete Fourier transform is referred to as DFT, and the discrete inverse Fourier transform is referred to as IDFT.
まず、周波数変換処理Ｓ１８０１では、画像処理装置１１０が、各Ｚ位置（ｎ）のレイヤー画像ｇｎ（ｘ，ｙ）に対し、２次元ＤＦＴを行う。その結果、合成対象面の枚数分の２次元ＤＦＴ画像Ｇｎ（ｕ，ｖ）が生成される。
First, in the frequency conversion process S1801, the
次に、重み付け合成処理Ｓ１８０２では、画像処理装置１１０が、各２次元ＤＦＴ画像Ｇｎ（ｕ，ｖ）に対し、空間周波数成分毎に係数を持つ重み付け関数Ｗｎ（ｕ，ｖ）を掛け算した後、全画像を合計することで合成周波数データＡ（ｕ，ｖ）を生成する。数式で表現すると、下記の＜３＞式のようになる。
被写界深度の変更はこの空間周波数成分毎に係数を持つ重み付け関数Ｗｎ（ｕ，ｖ）を変更することで実現できる。
Next, in weighting synthesis processing S1802, the
一般に焦点位置から離れるほど画像のＭＴＦは低下するため、重み付け関数Ｗｎ（ｕ，ｖ）は合成焦点面からの距離に応じて小さくなるように設定するとよい。重み付け関数Ｗｎ（ｕ，ｖ）には様々な関数が適用できるが、例えば、結像特性取得処理Ｓ１００２で取得した焦点位置からの距離に従って変化する２次元ＯＴＦを用いて重み付け関数Ｗｎ（ｕ，ｖ）を決定することが可能である。
最後に逆周波数変換処理Ｓ１８０３では、画像処理装置１１０は、合成周波数データＡ（ｕ，ｖ）を２次元ＩＤＦＴし、被写界深度を拡大した像ａ（ｘ，ｙ）を得る。
In general, since the MTF of an image decreases with increasing distance from the focal position, the weighting function W n (u, v) may be set to be small in accordance with the distance from the synthetic focal plane. Various functions can be applied to the weighting function W n (u, v). For example, the weighting function W n (u is expressed using a two-dimensional OTF that changes according to the distance from the focal position acquired in the imaging characteristic acquisition processing S1002. , V) can be determined.
Finally, in inverse frequency conversion processing S1803, the
（３）３次元フィルタリング手法
次に図１５（ｃ）を用いて（３）３次元フィルタリング手法の例について説明する。なお、ここで３次元フィルタリング手法と呼ぶ手法は、特許文献２に記載される手法である。
(3) Three-dimensional filtering method Next, an example of the (3) three-dimensional filtering method will be described with reference to FIG. Note that a technique called a three-dimensional filtering technique is a technique described in
まず本手法では、画像処理装置１１０が、合成対象面の各レイヤー画像ｇｎ（ｘ，ｙ）に座標変換処理Ｓ１９０１を施し、３次元フィルタ処理で被写界深度拡大が可能な形式ｇ（Ｘ，Ｙ，Ｚ）に変換する。なお、本処理はＺ位置により像倍率が変わらない場合には不要で、その場合にはＳ１９０１の処理は省略する。
First, in this technique, the
次に３次元フィルタ計算Ｓ１９０２では、画像処理装置１１０が、被写界深度拡大に必要な３次元フィルタを計算する。結像光学系２０５ａの撮像時の３次元ＯＴＦをＨ（ｕ，ｖ，ｗ），被写界深度を拡大した撮影像の３次元ＯＴＦをＨａ（ｕ，ｖ，ｗ）とすると、３次元フィルタはＨａ（ｕ，ｖ，ｗ）＊Ｈ（ｕ，ｖ，ｗ）−１で計算できる。このフィルタは、レイヤー画像を撮像した結像光学系２０５ａの結像特性によるぼけをキャンセルした上で、仮想的な光学系の結像特性によるぼけを付与する機能をもつフィルタである。
Next, in the three-dimensional filter calculation S1902, the
結像光学系２０５ａの撮像時の３次元ＯＴＦであるＨ（ｕ，ｖ，ｗ）に関しては、予め求めた値を画像処理装置１１０内のＲＯＭ３０３や記憶装置１１３に格納しておき、画像合成処理１６０２でその値を読み出して用いる。被写界深度を拡大した撮影像の３次元ＯＴＦであるＨａ（ｕ，ｖ，ｗ）には結像特性取得処理Ｓ１００２で取得した値を設定する。
Regarding H (u, v, w), which is a three-dimensional OTF at the time of imaging by the imaging
次に、３次元フィルタ処理Ｓ１９０３では、画像処理装置１１０が、ｇ（Ｘ，Ｙ，Ｚ）に対し、３次元ＤＦＴを実施し、Ｇ（ｕ，ｖ，ｗ）を計算する。その後、３次元フィルタ計算Ｓ１９０２で求めた３次元フィルタＨａ（ｕ，ｖ，ｗ）＊Ｈ（ｕ，ｖ，ｗ）−１と積算し、被写界深度を拡大した３次元ＤＦＴ画像Ａ（ｕ，ｖ，ｗ）を求める。
次に、焦点面データ算出処理Ｓ１９０４では、画像処理装置１１０が、原理的には、Ａ（ｕ，ｖ，ｗ）に対し３次元ＩＤＦＴを実施することで、座標変換空間における被写界深度拡大像ａ（Ｘ，Ｙ，Ｚ）を求めることが出来る。
しかし、上記のように、３次元ＩＤＦＴを変数ｕ，ｖ，ｗ（それぞれＸ，Ｙ，Ｚの周波数変換後の変数）に適用し、その後、合成焦点面（座標変換前ｚ＝ｐ、座標変換後Ｚ＝Ｐ）の画像ａ（Ｘ，Ｙ，Ｐ）を抽出すると演算コストが増加し、計算時間がかかる。
３次元ＤＦＴ（ＩＤＦＴ）は、それぞれの変数ｕ，ｖ，ｗに対し、順次１次元ＤＦＴ（ＩＤＦＴ）を行うことで実現できる。そのため、Ａ（ｕ，ｖ，ｗ）の変数ｗの全要素に１次元ＩＤＦＴを行うのではなく、合成焦点面Ｚ＝Ｐのみの１次元ＩＤＦＴ値を求め、変数ｕ，ｖに対しそれぞれ１次元ＩＤＦＴを実施してａ（Ｘ，Ｙ，Ｐ）を求めることで演算コストを抑えることができる。
However, as described above, the three-dimensional IDFT is applied to the variables u, v, and w (variables after frequency conversion of X, Y, and Z, respectively), and then the synthetic focal plane (z = p before coordinate conversion, coordinate conversion). If an image a (X, Y, P) of Z = P) is extracted, the calculation cost increases and calculation time is required.
The three-dimensional DFT (IDFT) can be realized by sequentially performing the one-dimensional DFT (IDFT) on each variable u, v, w. Therefore, instead of performing one-dimensional IDFT on all elements of the variable w of A (u, v, w), a one-dimensional IDFT value of only the synthetic focal plane Z = P is obtained, and one-dimensional ID is obtained for each of the variables u and v. The calculation cost can be reduced by performing IDFT to obtain a (X, Y, P).
最後に座標変換処理Ｓ１９０５おいて、画像処理装置１１０が合成焦点面の画像データ
に対して座標変換処理を行い、ａ（ｘ，ｙ，ｐ）を求める。なお、Ｓ１９０５においてもＳ１９０１同様、空間変換処理が必要ない場合には本処理は省略できる。
Finally, in coordinate conversion processing S1905, the
以上のように深度合成データ生成処理Ｓ９０３で適用可能な３つの手法について述べた。いずれの手法においても、前段の合成焦点面・対象面決定処理Ｓ９０３において合成焦点面および合成対象面を定めることで、演算コストを抑え、計算時間を短縮できることが分かる。 As described above, the three methods applicable in the depth synthesis data generation processing S903 have been described. In any of the methods, it is understood that the calculation cost can be reduced and the calculation time can be shortened by determining the synthesis focal plane and the synthesis target plane in the previous synthesis focal plane / target plane determination processing S903.
予め合成焦点面を定めない場合、想定される複数の焦点面に対し、被写界深度拡大処理を行う必要があり、演算コストがかかることが課題である。本実施例の方法では比較的良く標本の内部構造を表している被写界深度の浅い画像データを用いて合成焦点面を予測することにより、被写界深度拡大処理の演算コストを大幅に低減し、撮像装置のスループットや応答速度を高めることが出来る。 When a composite focal plane is not defined in advance, it is necessary to perform depth-of-field expansion processing on a plurality of assumed focal planes, which is problematic in that it requires calculation costs. In the method of this embodiment, the calculation cost of the depth-of-field expansion process is greatly reduced by predicting the composite focal plane using image data with a shallow depth of field that represents the internal structure of the sample relatively well. In addition, the throughput and response speed of the imaging device can be increased.
なお、深度合成データ生成処理Ｓ９０３において、（２）および（３）の手法で用いるＤＦＴは計算負荷がかかるため、本計測処理Ｓ４０３と深度拡大処理Ｓ４０４をパイプライン的に処理しても良い。例えば、本計測処理Ｓ４０３において、次のＺ位置の画像データを取得している間に、取得済みの画像データに対して２次元ＤＦＴを実行すると良い。さらに次の分割撮像領域のＺスタック画像取得に移った後、取得済みの分割撮像領域のＺスタック画像に対し、深度拡大処理Ｓ４０４を実行すると良い。上記の並列処理により、深度拡大処理Ｓ４０４の深度合成データ生成処理Ｓ９０３における計算時間を短縮することが出来、応答速度を高めることが出来る。 Note that in the combined depth data generation process S903, the DFT used in the methods (2) and (3) is computationally intensive, so the main measurement process S403 and the depth expansion process S404 may be processed in a pipeline manner. For example, in the main measurement process S403, the two-dimensional DFT may be performed on the acquired image data while the image data at the next Z position is acquired. Further, after shifting to the acquisition of the Z stack image of the next divided imaging area, the depth expansion process S404 may be executed on the acquired Z stack image of the divided imaging area. By the above parallel processing, the calculation time in the depth synthesis data generation processing S903 of the depth expansion processing S404 can be shortened, and the response speed can be increased.
本実施例では本計測処理Ｓ４０３でモノクロ撮像する場合について説明したが、カラー撮像する場合について補足する。カラー撮像の場合、合成焦点面および合成対象面はＲＧＢ共通に設定するのが好ましい。例えば、いずれか１つのチャネル（Ｇ）の画像を用いて合成焦点面および合成対象面を決定し、それらをＲＧＢで共通に用いると良い。結像特性情報（ＰＳＦ）はＲＧＢ共通でもＲＧＢ毎に変えても良い。共通に設定する場合には、例えば、いずれか１つのチャネル（Ｇ）のＰＳＦをＲＧＢで共通に用いると良い。結像特性情報（ＰＳＦ）をＲＧＢ毎に変える場合には、深度拡大特性情報取得処理Ｓ９０１でＲＧＢそれぞれの結像特性情報を求め、それらを用いてＲＧＢ毎に深度合成データ生成処理Ｓ９０３を実施する。 In the present embodiment, the case where monochrome imaging is performed in the main measurement processing S403 has been described, but a case where color imaging is performed will be supplemented. In the case of color imaging, it is preferable to set the synthesis focal plane and the synthesis target plane in common for RGB. For example, it is preferable to determine a synthesis focal plane and a synthesis target plane using an image of any one channel (G) and use them in common for RGB. The imaging characteristic information (PSF) may be common to RGB or may be changed for each RGB. In the case of setting in common, for example, the PSF of any one channel (G) may be used in common for RGB. When the image formation characteristic information (PSF) is changed for each RGB, the image formation characteristic information for each of RGB is obtained in the depth expansion characteristic information acquisition process S901, and the depth synthesis data generation process S903 is performed for each RGB using them. .
またカラー撮像はＲＧＢ３色に限らない。光源２０１ａが複数波長の光源またはカラーフィルタを備える場合、複数波長での撮像（マルチバンド撮像）が可能となり、ＲＧＢと同様に複数波長毎の深度合成データ生成処理が可能となる。
Color imaging is not limited to RGB three colors. When the
本実施例の構成によれば、高い解像度を持つ結像光学系２０５ａを用いて撮像した像をユーザが所望する設定値に応じて被写界深度拡大した像に高速に補正出力することが可能となり、ユーザ（病理医）の標本の診断効率を高められる効果が実現できる。
According to the configuration of the present embodiment, an image captured using the imaging
［実施例２］
本実施例では、本計測処理Ｓ４０３における分割撮像領域間で合成焦点面のＺ位置が大きく異なる場合の被写界深度の拡大方法について述べる。本実施例で述べる構成により、プレパラートのうねりや凹凸、標本内の組織や細胞の分布位置のばらつきが大きい場合であっても、合焦位置では焦点ぼけの無い明瞭な像を生成してユーザ（病理医）の診断効率を高められる効果が実現できる。
[Example 2]
In the present embodiment, a method for expanding the depth of field when the Z position of the composite focal plane is greatly different between the divided imaging regions in the main measurement process S403 will be described. The configuration described in the present embodiment generates a clear image with no out-of-focus at the in-focus position even when there are large undulations and irregularities in the slide and variations in the distribution position of tissues and cells in the specimen. The effect of improving the diagnostic efficiency of the pathologist) can be realized.
図１６（ａ）は本実施例における深度拡大処理Ｓ４０４の内部処理フローを示す。
深度拡大特性情報取得処理Ｓ２００１では、画像処理装置１１０は、Ｓ９０１と同様の
方法で深度拡大処理後の被写界深度および結像特性情報を取得する。これらの処理は既に述べた為、詳細は省略する。
FIG. 16A shows an internal processing flow of the depth expansion processing S404 in this embodiment.
In the depth expansion characteristic information acquisition process S2001, the
続いて領域内サブ分割処理Ｓ２００２では、画像処理装置１１０は、本計測処理Ｓ４０３で定めた分割撮像領域に対し、さらに領域内のサブ分割処理を行う。
続いてＳ２００３では、画像処理装置１１０が、Ｓ２００２で作成された複数のサブ分割領域の中から最初の処理対象となるサブ分割領域を選ぶ。画像処理装置１１０は、処理対象のサブ分割領域に対し、合成焦点面と合成対象面を決定し（Ｓ２００４）、被写界深度を拡大した深度合成データを生成する（Ｓ２００５）。合成焦点面・対象面決定処理Ｓ２００４および深度合成データ生成処理Ｓ２００５の処理は実施例１のＳ９０２およびＳ９０３と同様のため、説明は省略する。ループ処理（Ｓ２００６，Ｓ２００７）により、領域内サブ分割処理Ｓ２００２で定めた全てのサブ分割領域に対し、Ｓ２００４とＳ２００５の処理が実行される。
Subsequently, in the intra-region sub-division processing S2002, the
Subsequently, in S2003, the
続いて図１６（ｂ）、図１７（ａ）および図１７（ｂ）を用いて領域内サブ分割処理Ｓ２００２の詳細を説明する。
初期分割処理Ｓ２１０１では、画像処理装置１１０は予め定めた所定の領域サイズで領域内のサブ分割を行う。例えば、本計測撮像領域５０４の画素数を２０４８×２０４８画素とし、サブ分割領域サイズは５１２×５１２画素とすると、この処理により１６のサブ分割領域に分割できる。
Next, details of the intra-region sub-division processing S2002 will be described with reference to FIGS. 16B, 17A, and 17B.
In the initial division processing S <b> 2101, the
続いて、画像評価値計算処理Ｓ２１０２では、画像処理装置１１０は、各レイヤー画像の各サブ分割領域（１６個）に対する画像評価値を計算する。続いて、画像評価積分値計算処理Ｓ２１０３では、画像処理装置１１０は、Ｓ２１０２で求めた画像評価値から、各サブ分割領域のＺ位置毎に画像評価積分値を計算する。続いて、合成焦点面決定処理Ｓ２１０４では、画像処理装置１１０は、サブ分割領域毎に画像評価積分値が最大となるＺ位置を求め、これを被写界深度拡大後の焦点面である合成焦点面に決定する。Ｓ２１０２、Ｓ２１０３、Ｓ２１０４の処理は、それぞれ、実施例１で述べた図９（ｃ）のＳ１１０１、Ｓ１１０２、Ｓ１１０３の処理に対応している。
Subsequently, in the image evaluation value calculation process S2102, the
続いて、隣接領域差計算処理Ｓ２１０５では、画像処理装置１１０は、隣接するサブ分割領域の合成焦点面のＺ位置の差を計算する。続いて、閾値判定Ｓ２１０６では、画像処理装置１１０は、全てのサブ分割領域において隣接する合成焦点面のＺ位置の差が閾値未満ならば、領域分割処理を終了する。一つでもＺ位置の差が閾値以上であれば再分割処理Ｓ２１０７に進み、さらに細かな分割領域サイズ（例えば、５１２×５１２画素の半分の２５６×２５６画素）で分割し、画像評価値計算処理Ｓ２１０２からの処理を続行する。
Subsequently, in the adjacent area difference calculation process S2105, the
なお、閾値判定Ｓ２１０６で用いる閾値の一例としては、深度拡大処理後の被写界深度がある。被写界深度を拡大した後でもサブ分割領域間で合成焦点面の差が被写界深度内に収まっていれば、サブ領域間の繋ぎ目を目立たなくできる。または閾値として事前に設定した一定の距離値を用いることも可能である。 An example of the threshold used in threshold determination S2106 is the depth of field after the depth expansion process. Even after the depth of field is expanded, if the difference in the composite focal plane between the sub-divided regions is within the depth of field, the joint between the sub-regions can be made inconspicuous. Alternatively, a certain distance value set in advance as a threshold value can be used.
再分割処理Ｓ２１０７において新たに適用するサブ分割領域サイズとして様々な値が設定可能であるが、一例として現在の分割領域サイズの半分とする。例えば、５１２×５１２画素の分割で閾値以上と判定された場合、２５６×２５６画素で再分割する。その後、１２８×１２８画素、６４×６４画素、３２×３２画素、・・・のように、隣接するサブ分割領域間での合成焦点面のＺ位置の差が閾値未満となるまで再分割が繰り返される。 Various values can be set as the sub-divided area size to be newly applied in the re-dividing process S2107, but it is assumed to be half of the current divided area size as an example. For example, if it is determined that the threshold value is equal to or greater than the threshold in the division of 512 × 512 pixels, the division is performed again with 256 × 256 pixels. Thereafter, the subdivision is repeated until the difference in the Z position of the composite focal plane between adjacent sub-divided areas becomes less than the threshold, such as 128 × 128 pixels, 64 × 64 pixels, 32 × 32 pixels,. It is.
図１７（ａ）および図１７（ｂ）は領域内サブ分割処理Ｓ２００２でのサブ分割処理を説明する１次元の模式図である。図１７（ａ）の領域１、２はそれぞれ初期分割処理Ｓ２
１０１で本計測撮像領域５０４を分割したサブ分割領域を示している。また点線２２は、標本内の物体（組織や細胞）の分布を模式的に示している。図１７（ａ）において領域１、２の隣接する合成焦点面の差はａとなり、差ａは被写界深度拡大後の被写界深度ｔよりも大きい。このｔを閾値とした場合、領域１、２はそれぞれ図１７（ｂ）に示すように半分のサブ分割領域に再分割される。領域１、２を再分割した領域１−１、１−２、２−１、２−２において隣接する合成焦点面の差はそれぞれａ１、ａ２、ａ３となり、いずれも閾値である被写界深度ｔ未満に収まっている。
FIGS. 17A and 17B are one-dimensional schematic diagrams illustrating the sub-division processing in the intra-region sub-division processing S2002.
A sub divided area obtained by dividing the main measurement imaging area 504 by 101 is shown. A dotted
本実施例では１つの分割撮像領域の中を再分割する方法について説明したが、隣接する分割撮像領域の間で合成焦点面の差が閾値ｔ以上となる場合も想定される。そこで、領域内サブ分割処理Ｓ２００２内で隣接する分割撮像領域の合成焦点面の差を計算し、閾値ｔ以上ならば、それらの分割撮像領域を再分割する処理を追加すると良い。 In the present embodiment, the method of re-dividing one divided imaging region has been described. However, a case where the difference in the composite focal plane between adjacent divided imaging regions is equal to or greater than the threshold value t is also assumed. Therefore, it is preferable to add a process of calculating the difference between the combined focal planes of adjacent divided imaging regions in the intra-region sub-division processing S2002 and subdividing those divided imaging regions if the difference is equal to or greater than the threshold value t.
本実施例によれば、領域内サブ分割処理Ｓ２００２を導入することにより、プレパラートのうねりや凹凸、標本内の組織や細胞の分布位置のばらつきにかかわらず、標本の全域で焦点が合い、かつ、繋ぎ目が滑らかな被写界深度拡大像を生成することが出来る。 According to the present embodiment, by introducing the sub-division process S2002 in the region, the whole region of the sample is focused regardless of the undulations and unevenness of the preparation, the variation in the distribution position of the tissue and cells in the sample, and An enlarged depth-of-field image with a smooth joint can be generated.
［実施例３］
本実施例では深度拡大設定Ｓ４０１において、複数の被写界深度に対応する深度拡大原情報を指定可能とし、複数の被写界深度拡大像を生成する処理について述べる。被写界深度が異なる複数枚の被写界深度拡大像を生成することにより、光学顕微鏡を操作して得られる画像を一度に生成でき、バーチャルスライドを用いたユーザの診断効率を高める効果が実現できる。
[Example 3]
In the present embodiment, a process for generating a plurality of depth-of-field-expanded images by making it possible to designate depth-expansion original information corresponding to a plurality of depth-of-fields in the depth expansion setting S401 will be described. By generating multiple depth-of-field images with different depths of field, it is possible to generate images obtained by operating an optical microscope at the same time, realizing the effect of increasing the diagnostic efficiency of users using virtual slides it can.
図９（ａ）を用いて処理の流れを説明する。まず、深度拡大特性情報取得処理Ｓ９０１において、画像処理装置１１０が、深度拡大設定Ｓ４０１において設定した深度拡大原情報から複数の被写界深度と結像特性情報を取得する。次に合成焦点面・対象面決定処理Ｓ９０２では、画像処理装置１１０が、深度拡大原情報毎に合成焦点面と合成対象面を設定する。次に深度合成データ生成処理Ｓ９０３では、画像処理装置１１０が、Ｓ９０１で求めた複数の被写界深度と結像特性情報を用いて、複数の被写界深度拡大画像を生成する。Ｓ９０１〜９０３のいずれの処理も複数の深度拡大原情報毎に計算する以外には実施例１、２との違いはないため、説明は省略する。
The process flow will be described with reference to FIG. First, in the depth expansion characteristic information acquisition process S901, the
次に上記で生成した画像データについて説明する。
図１８（ａ）は、対物レンズ倍率４０倍で撮影したＺスタック画像から、対物レンズ倍率４０倍、２０倍、１０倍、５倍に対応する被写界深度の画像を同一の画像サイズで計算した例を示している。２３０１、２３０２、２３０３、２３０４はそれぞれ対物レンズ４０倍、２０倍、１０倍、５倍に対応する被写界深度を持つ画像を表す。４０倍の画像データ２３０１については、被写界深度拡大処理は必要なく、合成焦点面の位置のレイヤー画像がそのまま利用される。このように画像サイズを同一にした、被写界深度を変えた複数枚の画像は、光学顕微鏡の操作において開口絞りを切替えて得られる画像に近く、ぼけの情報によってユーザに標本の奥行き情報を提示する効果がある。
Next, the image data generated above will be described.
FIG. 18 (a) shows an image of depth of field corresponding to objective lens magnifications of 40, 20, 10, and 5 with the same image size from a Z stack image taken at an objective lens magnification of 40. An example is shown.
図１８（ｂ）は対物レンズ倍率４０倍で撮影したＺスタック画像から、対物レンズ倍率４０倍、２０倍、１０倍、５倍に対応する被写界深度の画像を、対物レンズ倍率に応じて縮小して計算した場合の例を示している。２３１１、２３１２、２３１３、２３１４はそれぞれ対物レンズ４０倍、２０倍、１０倍、５倍に対応する被写界深度を持つ画像を表す。図に示すように２３１２、２３１３、２３１４の画像の一辺はそれぞれ２３１１の画像の一辺の１／２、１／４、１／８となっている。
FIG. 18B shows images of depth of field corresponding to the objective lens magnifications of 40, 20, 10 and 5 from the Z stack image taken at the objective lens magnification of 40 according to the objective lens magnification. An example in which the calculation is performed at a reduced size is shown.
図１８（ｂ）のように画像サイズを撮影時の対物レンズ倍率との比に応じて縮小することでディスプレイ１１２で画像を画面全面に表示したときに広い視野を表示できるようになる。従って、対物レンズ倍率に応じて画像サイズを縮小したデータをファイル内に階層的に格納することで、データ容量を抑えて、光学顕微鏡の低倍観察像（被写界深度が深く視野が広い）と高倍観察像（被写界深度が浅く視野が狭い）を高速に表示できるようになる。
As shown in FIG. 18B, the image size is reduced in accordance with the ratio to the objective lens magnification at the time of photographing, so that a wide field of view can be displayed when an image is displayed on the entire screen on the
図１８（ｂ）で示した画像サイズの縮小は、深度合成データ生成処理Ｓ９０３で実現する。このとき、画像サイズの縮小処理のタイミングは複数存在する。単純な実装では、図１４の画像合成処理Ｓ１６０２の後に対物レンズ倍率に応じた縮小処理（不図示）を挿入することで実現できる。 The image size reduction shown in FIG. 18B is realized in the depth composite data generation processing S903. At this time, there are a plurality of timings for image size reduction processing. A simple implementation can be realized by inserting a reduction process (not shown) according to the objective lens magnification after the image composition process S1602 of FIG.
しかし、画像合成処理Ｓ１６０２において、計算負荷の大きい処理の前に縮小することで計算速度を高めることも可能である。例えば、深度合成データ生成処理Ｓ９０３の内部処理として（１）評価値に基づく選択・統合手法を用いる場合、対物レンズ倍率に応じて、レイヤー画像や２次元ＰＳＦを縮小してから処理するとコンボリューションの演算コストを低減できる。 However, in the image composition processing S1602, it is also possible to increase the calculation speed by reducing before the processing with a large calculation load. For example, when the selection / integration method based on the evaluation value is used as the internal processing of the depth synthesis data generation processing S903, if the layer image or the two-dimensional PSF is reduced after processing according to the objective lens magnification, the convolution Calculation cost can be reduced.
また（２）重み付け合成手法を用いる場合や（３）３次元フィルタリング手法を用いる場合には、周波数領域上で原点を中心とした縮小した画像サイズに相当する低周波成分領域のみを処理対象とし、その処理対象領域のみ逆変換を行うと良い。これにより、逆フーリエ変換の計算負荷を低減して縮小した合成画像が得られる。（２）を例に説明すると、撮像時の対物レンズ倍率と被写界深度拡大後の対物レンズ倍率の比が１／Ｎとすると、合成周波数データＡ（ｕ，ｖ）の内、原点を中心として画像サイズが１／Ｎの範囲の周波数データを取得し、その成分のみを逆フーリエ変換すると良い。（３）においても３次元フーリエ変換像のうち、逆フーリエ変換するＵＶ平面の範囲は原点を中心として画像サイズが１／Ｎの範囲の周波数データで良い。 When (2) the weighted synthesis method or (3) the three-dimensional filtering method is used, only the low frequency component region corresponding to the reduced image size centered on the origin on the frequency region is processed. It is preferable to perform inverse transformation only on the processing target area. As a result, a reduced composite image is obtained by reducing the computational load of inverse Fourier transform. In the example of (2), assuming that the ratio of the objective lens magnification at the time of imaging and the objective lens magnification after the depth of field expansion is 1 / N, the origin is the center of the synthesized frequency data A (u, v). As a result, it is preferable to obtain frequency data in the range of the image size of 1 / N and perform inverse Fourier transform only on the component. Also in (3), in the three-dimensional Fourier transform image, the range of the UV plane for inverse Fourier transform may be frequency data having an image size in the range of 1 / N with the origin at the center.
また、本実施例では、複数の対物レンズ倍率や開口絞りにおいて、共通の合成焦点面になるように設定することも可能である。合成焦点面を共通にすることにより、複数の被写界深度拡大像を画面上で切り替えて表示したときに、光学顕微鏡の対物レンズ倍率や開口絞りを調整した場合と同じような視覚効果が得られるという利点がある。 In the present embodiment, it is also possible to set so as to have a common synthetic focal plane at a plurality of objective lens magnifications and aperture stops. By using a common focal plane, the same visual effect as when adjusting the objective lens magnification and aperture stop of an optical microscope can be obtained when multiple enlarged depth-of-field images are displayed on the screen. There is an advantage that
簡単な方法としては、最も被写界深度が浅い場合における合成焦点面を共通の焦点面として用いるとよい。別の方法としては、対物レンズ倍率毎に求めた画像評価積分値に対し、ウェイトを掛けて合計した値を新たな画像評価積分値とし、そこから合成焦点面を定めるとよい。対物レンズ倍率が４０倍、２０倍、１０倍、５倍における画像評価積分値をそれぞれＥａ（ｚ）、Ｅｂ（ｚ）、Ｅｃ（ｚ）、Ｅｄ（ｚ）とする。このとき、下記の＜６＞式に示す新たな画像評価積分値ｆ（ｚ）を用いて、倍率にかかわらず合成焦点面を一つに定めることが出来る。
＜６＞式では、重視する倍率の重み係数を大きくすることで、合成焦点面の位置を制御出来る。
As a simple method, the combined focal plane when the depth of field is the shallowest may be used as a common focal plane. As another method, a value obtained by multiplying the image evaluation integrated value obtained for each objective lens magnification by multiplying the weight is set as a new image evaluation integrated value, and a composite focal plane is determined therefrom. Assume that the image evaluation integral values at the objective lens magnifications of 40 times, 20 times, 10 times, and 5 times are Ea (z), Eb (z), Ec (z), and Ed (z), respectively. At this time, using the new image evaluation integrated value f (z) shown in the following formula <6>, a single composite focal plane can be determined regardless of the magnification.
In the equation <6>, the position of the synthetic focal plane can be controlled by increasing the weighting factor of the magnification to be emphasized.
以上、本実施例の構成によれば、Ｚスタック画像から被写界深度を変えた複数の画像を生成し、ファイルに格納することにより、画像処理装置１１０上で光学顕微鏡に近い操作性を提供でき、ユーザ（病理医）の診断効率を高める効果が実現できる。
As described above, according to the configuration of this embodiment, a plurality of images with different depths of field are generated from a Z stack image and stored in a file, thereby providing operability close to that of an optical microscope on the
［実施例４］
実施例１〜３では一つの被写界深度に対して一つの合成焦点面を設定する場合について説明したが、本実施例では、一つの被写界深度に対し、複数の合成焦点面を設定し、被写界深度を拡大したＺスタック画像を生成する場合について説明する。
[Example 4]
In the first to third embodiments, the case where one composite focal plane is set for one depth of field has been described. However, in this embodiment, a plurality of composite focal planes are set for one depth of field. A case where a Z stack image with an expanded depth of field is generated will be described.
図９（ａ）を用いて処理の流れを説明する。まず、深度拡大特性情報取得処理Ｓ９０１において、画像処理装置１１０は、深度拡大設定Ｓ４０１において設定した深度拡大原情報から被写界深度と結像特性情報を取得する。次に合成焦点面・対象面決定処理Ｓ９０２では、画像処理装置１１０は、実施例１と同様の手法で合成焦点面と合成対象面を決定する。本実施例では、事前にユーザが指定するＺスタック枚数から、複数の合成焦点面と合成対象面を決定していく。なお、Ｚスタック枚数は深度拡大設定Ｓ４０１で設定する。
The process flow will be described with reference to FIG. First, in depth expansion characteristic information acquisition processing S901, the
図９（ｃ）を用いて本実施例における合成焦点面・対象面決定処理Ｓ９０２の内部処理を説明する。画像評価値計算処理Ｓ１１０１、画像評価積分値計算処理Ｓ１１０２については実施例１と同様のため、説明を省略する。 The internal processing of the combined focal plane / target plane determination process S902 in this embodiment will be described with reference to FIG. Since the image evaluation value calculation process S1101 and the image evaluation integral value calculation process S1102 are the same as those in the first embodiment, description thereof is omitted.
合成焦点面決定処理Ｓ１１０３では、画像処理装置１１０が、実施例１と同じ方法で合成焦点面を決定し、これを第１の合成焦点面とする。次に、画像処理装置１１０は、深度拡大設定Ｓ４０１で設定したＺスタック枚数に従い、複数の合成焦点面を決定していく。
In the composite focal plane determination process S1103, the
例えば、ユーザから「ｍ［μｍ］間隔でＺスタック枚数３枚」と指定された場合、画像処理装置１１０は、第１の合成焦点面を中心として、Ｚ方向の上下にｍ［μｍ］離れた第２、第３の合成焦点面を設定する。なお、指定された位置にレイヤー画像が存在しない場合には、指定された位置に最も近いレイヤー画像のＺ位置に合成焦点面を設定する。また深度拡大設定Ｓ４０１での設定により、Ｚスタック間隔には被写界深度拡大後の被写界深度距離を設定することも可能である。このとき被写界深度の値として深度拡大特性情報取得処理Ｓ９０１で求めた値を用いる。
For example, when the user designates “three Z stacks at an interval of m [μm]”, the
次に合成対象面決定処理Ｓ１１０４では、画像処理装置１１０が、前段で定めた複数の合成焦点面に対して、それぞれ合成対象面を設定する。合成対象面はそれぞれの合成焦点面に対し、個別に求める。なお、合成対象面の求め方は実施例１と同様のため、説明は省略する。
Next, in the synthesis target plane determination process S1104, the
上記のように、合成焦点面・対象面決定処理Ｓ９０２で定めた複数の合成焦点面の情報および合成対象面のデータを用いて、深度合成データ生成処理Ｓ９０３では、被写界深度を拡大した複数の画像データを生成し、これらをＺスタック画像として出力する。ここでは各々の合成焦点面および合成対象面からの被写界深度拡大処理を複数実行する。個々の処理については実施例１と同様のため、説明は省略する。
以上、一つの被写界深度に対して、被写界深度を拡大した複数の画像データ（Ｚスタック）を生成する方法について述べた。
As described above, using the combined focal plane information and the synthesis target plane data determined in the combined focal plane / target plane determining process S902, in the combined depth data generation process S903, a plurality of depths of field are expanded. Are generated and output as a Z stack image. Here, a plurality of depth-of-field expansion processes are performed from each synthesis focal plane and synthesis target plane. Since the individual processes are the same as those in the first embodiment, description thereof is omitted.
The method for generating a plurality of image data (Z stacks) in which the depth of field is expanded with respect to one depth of field has been described above.
本実施例においても、実施例１と同様に、事前に合成焦点面、合成対象面を定めることにより、深度合成データ生成処理Ｓ９０３における演算コストを抑制することで撮像装置のスループットや応答速度を高めることが出来る。また、本実施例を実施例２、３と組合せることで、従来のバーチャルスライドの機能を強化できる。実施例２との組合せにより、検体の注目箇所でピンぼけが無く、さらにＺスタック画像により奥行きまで観察できる。また、実施例３との組合せにより、被写界深度を変えながらの観察が可能となる。 Also in the present embodiment, similarly to the first embodiment, by determining the synthesis focal plane and the synthesis target plane in advance, the throughput and response speed of the imaging apparatus are increased by suppressing the calculation cost in the depth synthesis data generation processing S903. I can do it. Moreover, the function of the conventional virtual slide can be enhanced by combining this embodiment with the second and third embodiments. In combination with Example 2, there is no blur at the point of interest of the specimen, and further, the depth can be observed with the Z stack image. Further, the combination with Example 3 enables observation while changing the depth of field.
［実施例５］
実施例１〜４では、深度拡大処理Ｓ４０４を現像・補正処理Ｓ４０５の前段で行う場合について説明したが、深度拡大処理Ｓ４０４は本計測処理Ｓ４０３の直後ではなく伝送処理Ｓ４０８の後で実施しても良い。例えば、本計測ユニット１０１で撮像し、現像・補正処理や合成処理、圧縮処理を施した画像データを画像処理装置１１０上の画像表示アプリケーションで表示しているとする。実施例１〜４で述べた被写界深度拡大処理を、前記の画像表示アプリケーション上で高速に実行することで、被写界深度拡大像の対話的な表示が可能となり、光学顕微鏡の観察に近い操作性が実現でき、ユーザ（病理医）の診断効率を高める効果が期待できる。
[Example 5]
In the first to fourth embodiments, the case where the depth expansion process S404 is performed before the development / correction process S405 has been described. However, the depth expansion process S404 may be performed not after the main measurement process S403 but after the transmission process S408. good. For example, it is assumed that image data captured by the
１１０：画像処理装置、１１１：操作入力デバイス、１１２：ディスプレイ、１１３：記憶装置、１２０：撮像装置、２０４：プレパラート 110: Image processing device, 111: Operation input device, 112: Display, 113: Storage device, 120: Imaging device, 204: Preparation
本発明に係る画像処理装置は、プレパラートの複数のレイヤーを撮像装置で撮像することにより得られた複数のレイヤー画像のデータから、前記複数のレイヤー画像のそれぞれよりも被写界深度が深い合成画像のデータを生成する画像処理装置であって、前記合成画像のデータの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、前記指定された被写界深度に基づいて、前記合成画像のデータの焦点位置に相当する合成焦点面を決定する決定手段と、前記結像特性取得手段で取得された結像特性と前記決定手段で決定された合成焦点面とに基づいて、前記合成画像のデータを生成する生成手段と、を有することを特徴とする画像処理装置である。
Engaging Ru images processing device according to the present invention, a plurality of layers of the slide from the data of a plurality of layer images obtained by imaging by the imaging device, the depth of field is deeper than each of the plurality of layer images an image processing apparatus for generating data of a composite image, based on the information specifying the depth of field of the data of the composite image, image of the virtual optical system having a depth of field the specified Imaging characteristic acquisition means for acquiring characteristics, determination means for determining a composite focal plane corresponding to a focal position of the data of the composite image based on the designated depth of field, and the imaging characteristic acquisition means in on the basis of the determined combined focal plane in the acquired imaging characteristics and the determination unit, an image processing apparatus characterized by having a generating means for generating data of the composite image.
本発明に係る画像処理方法は、プレパラートの複数のレイヤーを撮像装置で撮像することにより得られた複数のレイヤー画像のデータから、前記複数のレイヤー画像のそれぞれよりも被写界深度が深い合成画像のデータを生成する画像処理方法であって、コンピュータが、前記合成画像のデータの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、コンピュータが、前記指定された被写界深度に基づいて、前記合成画像のデータの焦点位置に相当する合成焦点面を決定する決定ステップと、コンピュータが、前記結像特性取得ステップにより取得された結像特性と前記決定ステップにより決定された合成焦点面とに基づいて、前記合成画像のデータを生成する生成ステップと、を有することを特徴とする画像処理方法である。 Engaging Ru images processing method according to the present invention, a plurality of layers of the slide from the data of a plurality of layer images obtained by imaging by the imaging device, the depth of field is deeper than each of the plurality of layer images an image processing method for generating data of a composite image, computer, based on the information specifying the depth of field of the data of the composite image, the virtual optical system having a depth of field the specified An imaging characteristic acquisition step of acquiring the imaging characteristics of the computer, and a determination step in which the computer determines a synthetic focal plane corresponding to a focal position of the data of the synthetic image based on the designated depth of field, computer, based on the determined combined focal plane by said determining step and the obtained imaging properties by the imaging characteristic obtaining step, generates data of the composite image A generation step that is an image processing method characterized by having a.
Claims (19)
生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、
前記結像特性取得手段で取得された結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、前記複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択手段と、
前記選択手段により選択された第１の画像データを用いて、前記第２の画像データを生成する生成手段と、を有することを特徴とする画像処理装置。 An image for generating second image data having a depth of field deeper than the first image data from a plurality of first image data obtained by imaging the subject while changing the focal position in the optical axis direction. A processing device comprising:
An imaging characteristic acquisition means for acquiring an imaging characteristic of a virtual optical system having the specified depth of field based on information specifying the depth of field of the second image data to be generated;
Based on the imaging characteristics acquired by the imaging characteristics acquisition means, an influence range in which the influence of an object away from the focal position in the optical axis direction on the image is greater than a predetermined condition is obtained, Selecting means for selecting first image data having a focal position within the affected range from the first image data;
An image processing apparatus comprising: generating means for generating the second image data using the first image data selected by the selecting means.
前記決定手段は、前記合成焦点面を中心とする前記被写界深度内に物体が最も多く含まれるように、前記合成焦点面の位置を決定し、
前記選択手段は、前記決定手段で決定された合成焦点面を中心として前記影響範囲を設定することを特徴とする請求項１に記載の画像処理装置。 Determining means for determining a synthetic focal plane corresponding to a focal position of the second image data based on the designated depth of field;
The determining means determines the position of the synthetic focal plane so that the most objects are included in the depth of field around the synthetic focal plane,
The image processing apparatus according to claim 1, wherein the selection unit sets the influence range centering on a synthetic focal plane determined by the determination unit.
生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、
前記指定された被写界深度に基づいて、前記第２の画像データの焦点位置に相当する合成焦点面を決定する決定手段と、
前記結像特性取得手段で取得された結像特性と前記決定手段で決定された合成焦点面とに基づいて、前記前記第２の画像データを生成する生成手段と、を有することを特徴とする画像処理装置。 An image for generating second image data having a depth of field deeper than the first image data from a plurality of first image data obtained by imaging the subject while changing the focal position in the optical axis direction. A processing device comprising:
An imaging characteristic acquisition means for acquiring an imaging characteristic of a virtual optical system having the specified depth of field based on information specifying the depth of field of the second image data to be generated;
Determining means for determining a synthetic focal plane corresponding to a focal position of the second image data based on the designated depth of field;
Generating means for generating the second image data based on the imaging characteristics acquired by the imaging characteristics acquisition means and the composite focal plane determined by the determination means; Image processing device.
前記複数の第１の画像データの各々について、画像内に焦点が合った領域がどの程度存在するかを表す画像評価値を計算し、
複数の焦点位置のそれぞれについて、前記焦点位置を中心とする前記被写界深度内で第１の画像データの画像評価値を積分した画像評価積分値を計算し、
前記画像評価積分値が最も良い値となる焦点位置を前記合成焦点面の位置に決定することを特徴とする請求項３又は４に記載の画像処理装置。 The determining means includes
For each of the plurality of first image data, calculate an image evaluation value representing how much a focused area exists in the image;
For each of a plurality of focal positions, calculate an image evaluation integral value obtained by integrating the image evaluation value of the first image data within the depth of field centered on the focal position,
5. The image processing apparatus according to claim 3, wherein a focal position where the image evaluation integrated value is the best value is determined as a position of the synthetic focal plane.
前記仮想的な光学系の結像特性に基づくコンボリューション処理を適用することによって、前記第１の画像データの各々に対し焦点位置からの距離に応じたぼけを付与した後、
ぼけを付与した第１の画像データを合成して前記第２の画像データを生成することを特徴とする請求項１〜９のうちいずれか１項に記載の画像処理装置。 The generating means includes
By applying a convolution process based on the imaging characteristics of the virtual optical system to give each of the first image data blur corresponding to a distance from a focal position,
The image processing apparatus according to claim 1, wherein the second image data is generated by synthesizing the first image data to which blur is applied.
前記複数の第１の画像データを撮像した光学系の結像特性によるぼけをキャンセルし、且つ、前記仮想的な光学系の結像特性によるぼけを付与するフィルタを用いて、周波数空間上で前記第１の画像データに対し前記フィルタを適用することにより、前記第２の画像データを生成することを特徴とする請求項１〜９のうちいずれか１項に記載の画像処理装置。 The generating means includes
Using a filter that cancels the blur due to the imaging characteristics of the optical system that has captured the plurality of first image data and adds blur due to the imaging characteristics of the virtual optical system, the filter is used in the frequency space. The image processing apparatus according to claim 1, wherein the second image data is generated by applying the filter to the first image data.
コンピュータが、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、
コンピュータが、前記結像特性取得ステップで取得された結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、前記複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択ステップと、
コンピュータが、前記選択ステップにより選択された第１の画像データを用いて、前記第２の画像データを生成する生成ステップと、を有することを特徴とする画像処理方法。 An image for generating second image data having a depth of field deeper than the first image data from a plurality of first image data obtained by imaging the subject while changing the focal position in the optical axis direction. A processing method,
An imaging characteristic acquisition step in which the computer acquires the imaging characteristic of the virtual optical system having the specified depth of field based on information specifying the depth of field of the second image data to be generated When,
Based on the imaging characteristics acquired in the imaging characteristics acquisition step, the computer determines an influence range in which the influence of the object away from the focal position in the optical axis direction on the image is greater than a predetermined condition, A selection step of selecting, from the plurality of first image data, first image data having a focal position within the influence range;
An image processing method, comprising: a generation step of generating the second image data using the first image data selected in the selection step.
コンピュータが、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、
コンピュータが、前記指定された被写界深度に基づいて、前記第２の画像データの焦点位置に相当する合成焦点面を決定する決定ステップと、
コンピュータが、前記結像特性取得ステップにより取得された結像特性と前記決定ステップにより決定された合成焦点面とに基づいて、前記第２の画像データを生成する生成ステップと、を有することを特徴とする画像処理方法。 An image for generating second image data having a depth of field deeper than the first image data from a plurality of first image data obtained by imaging the subject while changing the focal position in the optical axis direction. A processing method,
An imaging characteristic acquisition step in which the computer acquires the imaging characteristic of the virtual optical system having the specified depth of field based on information specifying the depth of field of the second image data to be generated When,
A determining step in which a computer determines a synthetic focal plane corresponding to a focal position of the second image data based on the designated depth of field;
And a generation step of generating the second image data based on the imaging characteristics acquired by the imaging characteristics acquisition step and the synthetic focal plane determined by the determination step. An image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015001274A JP2015108837A (en) | 2015-01-07 | 2015-01-07 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015001274A JP2015108837A (en) | 2015-01-07 | 2015-01-07 | Image processing apparatus and image processing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011264897A Division JP5705096B2 (en) | 2011-12-02 | 2011-12-02 | Image processing apparatus and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015108837A true JP2015108837A (en) | 2015-06-11 |
Family
ID=53439180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015001274A Pending JP2015108837A (en) | 2015-01-07 | 2015-01-07 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015108837A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017156443A (en) * | 2016-02-29 | 2017-09-07 | 富士フイルム株式会社 | Cell observation device and method |
| JP2019515362A (en) * | 2016-02-09 | 2019-06-06 | モレキュラー デバイシーズ， エルエルシー | System and method for image analysis of multidimensional data |
| JP2019527551A (en) * | 2016-07-21 | 2019-10-03 | タカラ バイオ ユーエスエー， インコーポレイテッド | Multi-Z imaging and dispensing using multi-well devices |
| WO2020012825A1 (en) * | 2018-07-13 | 2020-01-16 | 富士フイルム株式会社 | Image generation device, image generation method, and image generation program |
| JPWO2020195042A1 (en) * | 2019-03-25 | 2020-10-01 | ||
| JP2021533389A (en) * | 2018-08-01 | 2021-12-02 | シーディーエックス・メディカル・アイピー・インコーポレイテッドCdx Medical Ip, Inc. | Extended and enhanced focusing depth to biological samples |
| WO2023157098A1 (en) * | 2022-02-15 | 2023-08-24 | 株式会社ニコン | Microscope, image processing device, image processing method, and image processing program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0721365A (en) * | 1993-07-06 | 1995-01-24 | Canon Inc | Method and device for processing picture |
| JPH0981724A (en) * | 1995-09-20 | 1997-03-28 | Canon Inc | Image processor and its method |
| JPH09179998A (en) * | 1995-12-25 | 1997-07-11 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional image display system |
| JPH09196621A (en) * | 1996-01-18 | 1997-07-31 | Olympus Optical Co Ltd | Focal plane detection method and image input/output device |
| JPH11295826A (en) * | 1998-04-15 | 1999-10-29 | Univ Tokyo | Image processing method using plural images and plural-image simultaneous pickup type camera apparatus used in the same |
| JP2005037902A (en) * | 2003-07-01 | 2005-02-10 | Olympus Corp | Microscope system, microscope image display system, object image display method, and program |
| JP2005518570A (en) * | 2002-02-22 | 2005-06-23 | バクス リサーチ ラボラトリーズ インコーポレイテッド | Focusable virtual microscope apparatus and method |
| JP2007128009A (en) * | 2005-11-07 | 2007-05-24 | Research Organization Of Information & Systems | Imaging device and imaging method using out-of-focus structure |
-
2015
- 2015-01-07 JP JP2015001274A patent/JP2015108837A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0721365A (en) * | 1993-07-06 | 1995-01-24 | Canon Inc | Method and device for processing picture |
| JPH0981724A (en) * | 1995-09-20 | 1997-03-28 | Canon Inc | Image processor and its method |
| JPH09179998A (en) * | 1995-12-25 | 1997-07-11 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional image display system |
| JPH09196621A (en) * | 1996-01-18 | 1997-07-31 | Olympus Optical Co Ltd | Focal plane detection method and image input/output device |
| JPH11295826A (en) * | 1998-04-15 | 1999-10-29 | Univ Tokyo | Image processing method using plural images and plural-image simultaneous pickup type camera apparatus used in the same |
| JP2005518570A (en) * | 2002-02-22 | 2005-06-23 | バクス リサーチ ラボラトリーズ インコーポレイテッド | Focusable virtual microscope apparatus and method |
| JP2005037902A (en) * | 2003-07-01 | 2005-02-10 | Olympus Corp | Microscope system, microscope image display system, object image display method, and program |
| JP2007128009A (en) * | 2005-11-07 | 2007-05-24 | Research Organization Of Information & Systems | Imaging device and imaging method using out-of-focus structure |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019515362A (en) * | 2016-02-09 | 2019-06-06 | モレキュラー デバイシーズ， エルエルシー | System and method for image analysis of multidimensional data |
| US11334743B2 (en) | 2016-02-09 | 2022-05-17 | Molecular Devices, Llc | System and method for image analysis of multi-dimensional data |
| US11061214B2 (en) | 2016-02-29 | 2021-07-13 | Fujifilm Corporation | Cell observation apparatus and method |
| WO2017149880A1 (en) * | 2016-02-29 | 2017-09-08 | 富士フイルム株式会社 | Cell observation device and method |
| KR20180104041A (en) * | 2016-02-29 | 2018-09-19 | 후지필름 가부시키가이샤 | Cell observation apparatus and method |
| JP2017156443A (en) * | 2016-02-29 | 2017-09-07 | 富士フイルム株式会社 | Cell observation device and method |
| KR102066807B1 (en) * | 2016-02-29 | 2020-01-15 | 후지필름 가부시키가이샤 | Cell observation apparatus and method |
| JP7075394B2 (en) | 2016-07-21 | 2022-05-25 | タカラ バイオ ユーエスエー， インコーポレイテッド | Multi-Z imaging and dispensing using a multi-well device |
| US11460405B2 (en) | 2016-07-21 | 2022-10-04 | Takara Bio Usa, Inc. | Multi-Z imaging and dispensing with multi-well devices |
| JP2019527551A (en) * | 2016-07-21 | 2019-10-03 | タカラ バイオ ユーエスエー， インコーポレイテッド | Multi-Z imaging and dispensing using multi-well devices |
| WO2020012825A1 (en) * | 2018-07-13 | 2020-01-16 | 富士フイルム株式会社 | Image generation device, image generation method, and image generation program |
| US11574384B2 (en) | 2018-07-13 | 2023-02-07 | Fujifilm Corporation | Image generation device, image generation method, and image generation program to generate a combination region image |
| JPWO2020012825A1 (en) * | 2018-07-13 | 2021-07-15 | 富士フイルム株式会社 | Image generator, image generator and image generator |
| JP7030986B2 (en) | 2018-07-13 | 2022-03-07 | 富士フイルム株式会社 | Image generator, image generator and image generator |
| JP7166456B2 (en) | 2018-08-01 | 2022-11-07 | シーディーエックス・メディカル・アイピー・インコーポレイテッド | Enhanced depth of focus for biological samples |
| JP2021533389A (en) * | 2018-08-01 | 2021-12-02 | シーディーエックス・メディカル・アイピー・インコーポレイテッドCdx Medical Ip, Inc. | Extended and enhanced focusing depth to biological samples |
| JP2023017808A (en) * | 2018-08-01 | 2023-02-07 | シーディーエックス・メディカル・アイピー・インコーポレイテッド | System for generating composite digital image of biological sample |
| JP7244706B2 (en) | 2018-08-01 | 2023-03-22 | シーディーエックス・メディカル・アイピー・インコーポレイテッド | A system for generating synthetic digital images of biological specimens |
| CN113574437A (en) * | 2019-03-25 | 2021-10-29 | 索尼奥林巴斯医疗解决方案公司 | Medical viewing system |
| WO2020195042A1 (en) * | 2019-03-25 | 2020-10-01 | ソニー・オリンパスメディカルソリューションズ株式会社 | Medical observation system |
| JPWO2020195042A1 (en) * | 2019-03-25 | 2020-10-01 | ||
| WO2023157098A1 (en) * | 2022-02-15 | 2023-08-24 | 株式会社ニコン | Microscope, image processing device, image processing method, and image processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5705096B2 (en) | Image processing apparatus and image processing method | |
| JP2015108837A (en) | Image processing apparatus and image processing method | |
| Gallo et al. | 3D reconstruction of small sized objects from a sequence of multi-focused images | |
| JP7252190B2 (en) | System for generating enhanced depth-of-field synthetic 2D images of biological specimens | |
| JP5780865B2 (en) | Image processing apparatus, imaging system, and image processing system | |
| JP6598660B2 (en) | Image processing apparatus and image processing method | |
| JP5675419B2 (en) | Image generating apparatus and image generating method | |
| JP2014071207A (en) | Image processing apparatus, imaging system, and image processing system | |
| CN102057397A (en) | System and method for producing an optically sectioned image using both structured and uniform illumination | |
| JP2013152426A (en) | Image processing device, image processing system, image processing method and program | |
| US6693716B2 (en) | Method and apparatus for optical measurement of a surface profile of a specimen | |
| EP3902238A1 (en) | Image processing device, image processing program, image processing method, and imaging device | |
| JP2014021489A (en) | Apparatus and method for improving depth of field (dof) in microscopy | |
| JP2011164905A (en) | Device for retrieving corresponding point | |
| KR102253320B1 (en) | Method for displaying 3 dimension image in integral imaging microscope system, and integral imaging microscope system implementing the same | |
| JP2010117229A (en) | Height information acquisition apparatus, height information acquisition method, and program | |
| JP2012220490A (en) | Method of creating three-dimensional profile map for image synthesis | |
| JP6661491B2 (en) | Image processing apparatus and image processing method | |
| Garud et al. | Volume visualization approach for depth-of-field extension in digital pathology | |
| KR100983548B1 (en) | A 3d shape reconstruction method considering point spread function of a microscope | |
| CN114881907A (en) | Optical microscopic image multi-depth-of-field focus synthesis method and system and image processing method | |
| WO2021100328A1 (en) | Image processing method, image processing device, and image processing system | |
| Widjanarko et al. | A post-processing technique for extending depth of focus in conventional optical microscopy | |
| CN113077395B (en) | Deblurring method for large-size sample image under high-power optical microscope | |
| Laksameethanasan et al. | A three-dimensional Bayesian reconstruction method with the point spread function for micro-rotation sequences in wide-field microscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160105 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160705 |