JP2013141263A - 画像処理装置、撮像システム、画像処理システム - Google Patents
画像処理装置、撮像システム、画像処理システム Download PDFInfo
- Publication number
- JP2013141263A JP2013141263A JP2013014117A JP2013014117A JP2013141263A JP 2013141263 A JP2013141263 A JP 2013141263A JP 2013014117 A JP2013014117 A JP 2013014117A JP 2013014117 A JP2013014117 A JP 2013014117A JP 2013141263 A JP2013141263 A JP 2013141263A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- observation
- depth
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Abstract
【解決手段】画像処理装置が、異なる焦点位置で被写体を撮像することにより得られた複数の原画像を取得する画像取得手段と、前記複数の原画像から複数の観察用画像を生成する画像生成手段と、前記観察用画像を表示装置に表示する画像表示手段と、を備える。画像生成手段は、前記複数の原画像から2枚以上の原画像を選択し深度合成することで1枚の観察用画像を生成する合成処理を、選択する原画像の組み合わせを異ならせながら複数回実行することによって、前記複数の観察用画像を生成する。
【選択図】図8
Description
像が得られるため、1つの画像だけで被写体全体の様子を把握できるという利点がある。しかしながら、このようなパンフォーカス画像は、被写体全体を大まかに観察するのには有用であるものの、被写体の一部を詳細に観察したり、被写体の立体的な構造を把握したりする目的には適していない。多数の画像を深度合成したことにより、奥行き方向の情報(前後関係の情報)が失われてしまっているためである。
(システム構成)
図1は、本発明の第1の実施形態に係る撮像システムの装置構成の全体図である。
図2は、撮像装置101の機能構成を示すブロック図である。
撮像装置101は、概略、照明ユニット201、ステージ202、ステージ制御ユニット205、結像光学系207、撮像ユニット210、現像処理ユニット216、プレ計測ユニット217、メイン制御系218、外部インターフェース219から構成される。
。
また、不図示ではあるが、結像光学系207を構成するレンズ群の影響によって撮像エリア内の周辺部の光量が落ちることを補正する周辺減光補正の機能を搭載しても良い。あるいは、結像光学系207で生じる各種収差の内、結像の位置ずれを補正する歪曲収差補正、色毎の像の大きさの違いを補正する倍率色収差補正など、各種光学系の補正処理機能を搭載しても良い。
と画像処理装置102とは、光通信のケーブルにより接続される。あるいは、USBやGigabitEthernet(登録商標)等のインターフェースが使用される。
図3は、深度合成の概念図である。図3を用いて深度合成処理の概要を説明する。
図4は、焦点位置を固定したまま被写界深度を変化させるという観察の仕方をバーチャ
ル・スライド装置にて実現するための方法を示す概念図である。図4を用いて本実施形態の特徴である深度合成処理の基本的な考え方を説明する。
次に、本実施形態における画像処理装置102の動作を、図5〜図9を用いて説明する。なお、以下に述べる処理は、特にことわりの無いかぎり、画像処理装置102のCPUがプログラムを実行することにより実現されるものである。
、撮像装置101が、指定された撮像パラメータに従って各焦点位置での撮像を行い、得られたZスタック画像を画像処理装置102に送信する。画像は画像処理装置102内の記憶装置に保存される。
次に図6を用いてステップS707の合成処理フローの詳細を説明する。
次に図7を用いてステップS709の表示処理フローの詳細を説明する。
示装置103に表示し(ステップS902)、前述のステップS708で指定された表示方法の設定を読み込む(ステップS903)。なお、図7の例においては、表示方法の取得ステップS903はステップS902より後に行われているが、例えば、選択画像の表示ステップS902の前に表示方法の取得を行ってもよい。
ステップS905では、画像処理装置102はユーザーによる操作が行われたか否かの判別を行う。操作が無いと判断された場合はステップS905にて待機状態となる。操作が行われたと判断された場合、画像処理装置102は、マウスによるホイール操作がされたか否かを判別する(ステップS906)。ホイール操作が行われたと判断された場合、画像処理装置102は、UP操作かDOWN操作かを判別し(ステップS907)、UP操作の場合は表示画像を被写界深度が一段階深い画像へ切り替える(ステップS908)。DOWN操作の場合、画像処理装置102は、表示画像を被写界深度が一段階浅い画像へと切り替える(ステップS909)。なお、ここではホイール操作に応答して被写界深度を一段階ずつ切り替える例を示したが、マウスホイールの所定時間あたりの回転量を検出し、回転量に応じて被写界深度の変化量を変えてもよい。
ユーザー切替では、ユーザー操作にしたがって表示画像が切り替えられるのに対し、自動切替では、所定の時間間隔(tとする。)で自動的に表示画像が切り替わる。
の例である。図8Bは、被写界深度が一段階深い画像、すなわち焦点位置4〜7の4枚の画像から生成された合成画像の例である。図8Cは、被写界深度がさらに一段階深い画像、すなわち焦点位置2〜8の7枚の画像から生成された合成画像の例である。図8A、図8B、図8Cの順に、ピントの合っている観察対象が増えていることが分かる。なお、被写界深度が切り替わるのは、範囲指定された領域1003内の画像部分だけであり、それ以外の部分は基準位置6の画像のまま変化しない。
本発明の第2の実施形態を説明する。第1の実施形態では、焦点位置を固定したまま被写界深度を変化させる観察方法を実現するための構成を示したが、第2の実施形態では、被写界深度を固定したまま焦点位置を変化させる観察方法を実現するための構成を示す。
図10は、本発明の第2の実施形態に係る画像処理システムの装置構成の全体図である。
図11は、被写界深度を固定したまま焦点位置(実際は深度合成の基準位置)を変化させるという観察の仕方をバーチャル・スライド装置にて実現するための方法を示す概念図である。図11を用いて本実施形態の特徴である深度合成処理の基本的な考え方を説明する。
説明する。
本実施形態における画像処理装置102の動作を、図12〜図14を用いて説明する。なお、メイン処理のフローは、第1の実施形態で述べた図5のものと同様である。ただし、本実施形態では、図5におけるステップS702の判定は画像サーバ1201中に撮像された画像が存在するか否かの判定となる。また、ステップS704の保存先は画像サーバ1201となる。以下、第1の実施形態と異なる処理について詳しく説明する。
図14は本実施形態における深度合成処理のパラメータを設定するための設定画面の一例である。
図12は図11に示す合成処理のフローを示すものであり、本実施形態におけるステップS707の詳細な内容を示している。図12は第1の実施形態における合成処理の詳細フローである図6に対応するものであり、同様の項目には同じ符号を付し説明は省略する。
度の範囲で合成処理が出来ない場合がある。そこで、指定された被写界深度の範囲で合成処理を行う事が可能な焦点位置の画像に対してのみ合成処理を行うようにしてもよい。あるいは、合成処理を行う焦点位置の範囲をユーザーに指定させる等さまざまな方法が適用可能である。
図13は、本実施形態における画像の表示処理の詳細フローである。図13は第1の実施形態における画像の表示処理の詳細フローである図7に対応するものであり、同様の項目には同じ符号を付し説明は省略する。
本発明の第3の実施形態を説明する。本実施形態の画像処理装置102の特徴の一つは、上述の実施形態において説明した合成方法を選択的に実行して合成画像を取得可能であることである。また本実施形態の画像処理装置102の特徴の一つは、上述の実施形態において説明した表示方法、および後述する他の表示方法を選択的に実行することである。以下、これらの点を中心に説明する。
でもよい。あるいは、専用線で接続されたストレージ、メモリカード等の記録媒体、他のコンピュータ、他のバーチャル・スライド・システムなど、画像取得先の選択肢をさらに増やすこともできる。
、図8、および図18の画像表示画面に表示モードを選択するUIを設けても良い。
上述した実施形態は本発明の一具体例を示すものにすぎず、本発明の構成はそれらの具体例に限定されるものではない。
第1の実施形態の画像合成処理および画像表示処理を行うこともできる。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属するものである。
回実行することによって、焦点位置が異なる前記複数の観察用画像を生成し、前記画像表示手段は、前記表示装置に表示する観察用画像を切り替える際に、焦点位置が順に変化するように、表示する観察用画像を選択することを特徴とする画像処理装置である。
また、本発明の画像処理装置は、被写体の異なるZ方向位置を顕微鏡装置で撮像することにより得られた複数のZスタック画像を取得する画像取得手段と、前記複数のZスタック画像から複数の観察用画像を生成する画像生成手段と、を備え、前記画像生成手段は、前記複数のZスタック画像のうちの2枚以上のZスタック画像を深度合成することで1枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度が同じで且つ焦点位置が異なる前記複数の観察用画像を生成することを特徴とする画像処理装置である。
また、本発明の画像処理装置は、被写体の異なるZ方向位置を顕微鏡装置で撮像することにより得られた複数のZスタック画像を取得する画像取得手段と、前記Zスタック画像の中から合成処理の対象となる対象範囲をユーザーに指定させる範囲指定手段と、前記複数のZスタック画像のうちの2枚以上のZスタック画像を深度合成することで1枚の観察用画像を生成する合成処理を複数回実行することによって、焦点位置が異なる複数の観察用画像を生成する画像生成手段と、を備え、前記画像生成手段は、前記範囲指定手段で指定された前記対象範囲内の部分についてのみ、観察用画像を生成することを特徴とする画像処理装置である。
また、本発明の画像処理装置は、被写体の異なるZ方向位置を顕微鏡装置で撮像することにより得られた複数のZスタック画像を取得する画像取得手段と、前記複数のZスタック画像から複数の観察用画像を生成する画像生成手段と、前記観察用画像を表示装置に表示する画像表示手段と、を備え、前記画像生成手段は、前記複数のZスタック画像のうちの2枚以上のZスタック画像を深度合成することで1枚の観察用画像を生成する合成処理を複数回実行することによって、焦点位置が異なる前記複数の観察用画像を生成し、前記画像表示手段は、焦点位置が異なる前記複数の観察用画像を空間的に並べて前記表示装置に表示することを特徴とする画像処理装置である。
また、本発明の画像処理方法は、コンピュータが、被写体の異なるZ方向位置を顕微鏡装置で撮像することにより得られた複数のZスタック画像を取得する画像取得ステップと、コンピュータが、前記複数のZスタック画像から複数の観察用画像を生成する画像生成ステップと、を有し、前記画像生成ステップでは、前記複数のZスタック画像のうちの2枚以上のZスタック画像を深度合成することで1枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度が同じで且つ焦点位置が異なる前記複数の観察用画像を生成することを特徴とする画像処理方法である。
また、本発明の画像処理方法は、コンピュータが、被写体の異なるZ方向位置を顕微鏡装置で撮像することにより得られた複数のZスタック画像を取得する画像取得ステップと、コンピュータが、前記Zスタック画像の中から合成処理の対象となる対象範囲をユーザーに指定させる範囲指定ステップと、コンピュータが、前記複数のZスタック画像のうちの2枚以上のZスタック画像を深度合成することで1枚の観察用画像を生成する合成処理を複数回実行することによって、焦点位置が異なる複数の観察用画像を生成する画像生成ステップと、を有し、前記画像生成ステップでは、前記範囲指定ステップで指定された前記対象範囲内の部分についてのみ、観察用画像を生成することを特徴とする画像処理方法である。
また、本発明の画像処理方法は、コンピュータが、被写体の異なるZ方向位置を顕微鏡装置で撮像することにより得られた複数のZスタック画像を取得する画像取得ステップと、コンピュータが、前記複数のZスタック画像から複数の観察用画像を生成する画像生成ステップと、コンピュータが、前記観察用画像を表示装置に表示する画像表示ステップと、を有し、前記画像生成ステップでは、前記複数のZスタック画像のうちの2枚以上のZスタック画像を深度合成することで1枚の観察用画像を生成する合成処理を複数回実行することによって、焦点位置が異なる前記複数の観察用画像を生成し、前記画像表示ステップでは、焦点位置が異なる前記複数の観察用画像を空間的に並べて前記表示装置に表示することを特徴とする画像処理方法である。
また、本発明のプログラムは、上記本発明の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。
Claims (12)
- 異なる焦点位置で被写体を撮像することにより得られた複数の原画像を取得する画像取得手段と、
前記複数の原画像から複数の観察用画像を生成する画像生成手段と、
前記観察用画像を表示装置に表示する画像表示手段と、を備え、
前記画像生成手段は、前記複数の原画像から2枚以上の原画像を選択し深度合成することで1枚の観察用画像を生成する合成処理を、選択する原画像の組み合わせを異ならせながら複数回実行することによって、前記複数の観察用画像を生成することを特徴とする画像処理装置。 - 前記画像生成手段は、前記複数の観察用画像が焦点位置が同じで且つ被写界深度が互いに異なる画像となるように、選択する原画像の組み合わせを決定することを特徴とする請求項1に記載の画像処理装置。
- 前記画像生成手段は、前記複数の観察用画像が被写界深度が同じで且つ焦点位置が互いに異なる画像となるように、選択する原画像の組み合わせを決定することを特徴とする請求項1に記載の画像処理装置。
- 原画像の中から合成処理の対象となる対象範囲をユーザーに指定させる範囲指定手段をさらに備え、
前記画像生成手段は、前記範囲指定手段で指定された前記対象範囲内の部分についてのみ、観察用画像を生成することを特徴とする請求項1〜3のいずれかに記載の画像処理装置。 - 前記画像表示手段は、前記原画像における前記対象範囲の部分に前記観察用画像をはめ込んだ画像を前記表示装置に表示することを特徴とする請求項4に記載の画像処理装置。
- 前記画像表示手段は、自動で、又は、ユーザー操作に従って、前記表示装置に表示する観察用画像を切り替えることを特徴とする請求項1〜5のいずれかに記載の画像処理装置。
- 前記複数の観察用画像は、焦点位置と被写界深度の少なくともいずれかが互いに異なる画像であり、
前記画像表示手段は、前記表示装置に表示する観察用画像を切り替える際に、焦点位置又は被写界深度が順に変化するように、表示する観察用画像を選択することを特徴とする請求項6に記載の画像処理装置。 - 前記ユーザー操作は、ポインティングデバイスによるスクロール操作、又は、キーボードの所定のキーの押下であることを特徴とする請求項6又は7に記載の画像処理装置。
- 複数の画像を時分割で順番に表示するモードと複数の画像を空間的に並べて表示するモードを含む複数の表示モードのうちから、使用する表示モードをユーザーに指定させるモード指定手段をさらに備え、
前記画像表示手段は、前記モード指定手段で指定された表示モードに従って、複数の観察用画像を表示することを特徴とする請求項1〜7のいずれかに記載の画像処理装置。 - 異なる焦点位置で被写体を撮像することにより複数の原画像を生成する撮像装置と、
前記撮像装置から前記複数の原画像を取得する、請求項1〜9のいずれかに記載の画像処理装置と、を備えることを特徴とする撮像システム。 - 異なる焦点位置で被写体を撮像することにより得られた複数の原画像を格納するサーバと、
前記サーバから前記複数の原画像を取得する、請求項1〜9のいずれかに記載の画像処理装置と、を備えることを特徴とする画像処理システム。 - 異なる焦点位置で被写体を撮像することにより得られた複数の原画像を取得するステップと、
前記複数の原画像から複数の観察用画像を生成するステップと、
前記観察用画像を表示装置に表示するステップと、をコンピュータに実行させるためのプログラムであって、
前記観察用画像を生成するステップでは、前記複数の原画像から2枚以上の原画像を選択し深度合成することで1枚の観察用画像を生成する合成処理を、選択する原画像の組み合わせを異ならせながら複数回実行することによって、前記複数の観察用画像が生成されることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013014117A JP5818828B2 (ja) | 2013-01-29 | 2013-01-29 | 画像処理装置、撮像システム、画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013014117A JP5818828B2 (ja) | 2013-01-29 | 2013-01-29 | 画像処理装置、撮像システム、画像処理システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011074603A Division JP5197785B2 (ja) | 2011-03-30 | 2011-03-30 | 画像処理装置、撮像システム、画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013141263A true JP2013141263A (ja) | 2013-07-18 |
JP5818828B2 JP5818828B2 (ja) | 2015-11-18 |
Family
ID=49038257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013014117A Active JP5818828B2 (ja) | 2013-01-29 | 2013-01-29 | 画像処理装置、撮像システム、画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5818828B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015127771A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社キーエンス | 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体 |
JP2017517794A (ja) * | 2014-05-28 | 2017-06-29 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 画像処理方法および画像処理装置 |
JP2019186831A (ja) * | 2018-04-13 | 2019-10-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
-
2013
- 2013-01-29 JP JP2013014117A patent/JP5818828B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015127771A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社キーエンス | 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体 |
JP2017517794A (ja) * | 2014-05-28 | 2017-06-29 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 画像処理方法および画像処理装置 |
JP2019186831A (ja) * | 2018-04-13 | 2019-10-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5818828B2 (ja) | 2015-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5197785B2 (ja) | 画像処理装置、撮像システム、画像処理システム | |
JP2014071207A (ja) | 画像処理装置、撮像システム、画像処理システム | |
JP5780865B2 (ja) | 画像処理装置、撮像システム、画像処理システム | |
JP6124543B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
WO2013100025A9 (ja) | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム | |
JP5350532B2 (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム | |
JP6455829B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2013099141A1 (en) | Image processing apparatus and system, method for processing image, and program | |
JP2013200640A (ja) | 画像処理装置、画像処理システム、画像処理方法、およびプログラム | |
JP2014222321A (ja) | 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム | |
WO2013100029A1 (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム | |
JP5818828B2 (ja) | 画像処理装置、撮像システム、画像処理システム | |
KR20140107469A (ko) | 화상 처리장치, 화상 처리 시스템, 화상 처리방법 및 기억매체 | |
US20150049180A1 (en) | Microscope | |
JP2015035782A (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム | |
JP2016038542A (ja) | 画像処理方法および画像処理装置 | |
JP6338730B2 (ja) | 表示データを生成する装置、方法、及びプログラム | |
JP2016206228A (ja) | 合焦位置検出装置、合焦位置検出方法、撮像装置、撮像システム | |
JP6962725B2 (ja) | 観察装置および観察方法 | |
JP2013250400A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2016038541A (ja) | 画像処理方法および画像処理装置 | |
JP2017215247A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2016166941A (ja) | 合焦位置検出装置、合焦位置検出方法、撮像システム | |
JP2013250574A (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150929 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5818828 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |