JP2013058124A - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2013058124A JP2013058124A JP2011196813A JP2011196813A JP2013058124A JP 2013058124 A JP2013058124 A JP 2013058124A JP 2011196813 A JP2011196813 A JP 2011196813A JP 2011196813 A JP2011196813 A JP 2011196813A JP 2013058124 A JP2013058124 A JP 2013058124A
- Authority
- JP
- Japan
- Prior art keywords
- partial images
- image
- display
- partial
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 47
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000003860 storage Methods 0.000 claims abstract description 24
- 238000006073 displacement reaction Methods 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 46
- 238000009825 accumulation Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 51
- 238000005304 joining Methods 0.000 description 35
- 238000012545 processing Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 25
- 230000003287 optical effect Effects 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 17
- 230000005284 excitation Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 238000007447 staining method Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 238000002738 Giemsa staining Methods 0.000 description 1
- 229920001222 biopolymer Polymers 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000012757 fluorescence staining Methods 0.000 description 1
- 238000007901 in situ hybridization Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
【課題】隣接する部分画像間のずれが蓄積してしまうことを抑えることが可能な情報処理装置、情報処理方法、及びプログラムを提供すること。
【解決手段】本技術の一形態に係る情報処理装置は、記憶部と、判定部と、生成部とを具備する。前記記憶部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する2つの部分画像ごとに算出された、当該隣接する2つの部分画像の相対的な位置ずれ情報とを記憶する。前記判定部は、前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、1以上の表示用部分画像を判定する。前記生成部は、前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する。
【選択図】図8
【解決手段】本技術の一形態に係る情報処理装置は、記憶部と、判定部と、生成部とを具備する。前記記憶部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する2つの部分画像ごとに算出された、当該隣接する2つの部分画像の相対的な位置ずれ情報とを記憶する。前記判定部は、前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、1以上の表示用部分画像を判定する。前記生成部は、前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する。
【選択図】図8
Description
本技術は、複数の画像を合成することが可能な情報処理装置、情報処理方法、及びそのプログラムに関する。
従来、被写体を部分的に撮影することで得た複数の部分画像を1つに合成して被写体画像を生成するスティッチング技術が知られている。スティッチング技術は、例えばパノラマ画像の生成や、顕微鏡を用いた拡大画像の生成等に用いられる。例えば特許文献1には、複数の画像を適切に合成することを目的としたパノラマ画像合成システムが記載されている。
しかしながら特許文献1に記載の技術等を用いても、スティッチング技術により合成される複数の画像の位置に誤差が生じてしまう可能性がある。すなわち隣接する画像間にずれが生じてしまう可能性がある。例えば多くの画像が合成されて1つの画像が作成される場合、隣接する画像間のずれが蓄積して、最終的に大きなずれが発生してしまう可能性がある。
以上のような事情に鑑み、本技術の目的は、隣接する部分画像間のずれが蓄積してしまうことを抑えることが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、記憶部と、判定部と、生成部とを具備する。
前記記憶部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する2つの部分画像ごとに算出された、当該隣接する2つの部分画像の相対的な位置ずれ情報とを記憶する。
前記判定部は、前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、1以上の表示用部分画像を判定する。
前記生成部は、前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する。
前記記憶部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する2つの部分画像ごとに算出された、当該隣接する2つの部分画像の相対的な位置ずれ情報とを記憶する。
前記判定部は、前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、1以上の表示用部分画像を判定する。
前記生成部は、前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する。
この情報処理装置では、複数の部分画像と、隣接する2つの部分画像ごとに算出された位置ずれ情報とが記憶される。また上記表示領域画像を生成するための1以上の表示用部分画像が判定される。そして複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像が位置ずれ情報をもとに合成され、表示領域画像が生成される。このように被写体の画像として表示される領域に応じて適宜表示領域画像が生成されるので、隣接する部分画像間のずれが蓄積してしまうことを抑えることが可能となる。
前記生成部は、前記判定部により1つの表示用部分画像が判定された場合に、当該1つの表示用部分画像をもとに前記表示領域画像を生成してもよい。
複数の部分画像は、上記した複数の撮影領域が互いに重なる部分に対応した接続領域をそれぞれ有している。従って、1つの部分画像から生成可能な表示領域画像の範囲が大きい。この結果、高精度の表示領域画像を生成することが可能となる。
複数の部分画像は、上記した複数の撮影領域が互いに重なる部分に対応した接続領域をそれぞれ有している。従って、1つの部分画像から生成可能な表示領域画像の範囲が大きい。この結果、高精度の表示領域画像を生成することが可能となる。
前記生成部は、前記判定部による判定結果が変更する場合に、変更前の前記複数の表示用部分画像の接続結果を用いて、変更後の前記複数の表示用部分画像を互いに接続してもよい。
例えば表示領域の移動等により、複数の表示用部分画像が変更する場合がある。この場合、変更前の複数の表示用部分画像の接続結果を用いて、変更後の複数の表示用部分画像が互いに接続される。これにより、表示領域の移動等を精度よく実行することが可能となる。
例えば表示領域の移動等により、複数の表示用部分画像が変更する場合がある。この場合、変更前の複数の表示用部分画像の接続結果を用いて、変更後の複数の表示用部分画像が互いに接続される。これにより、表示領域の移動等を精度よく実行することが可能となる。
前記記憶部は、前記位置ずれ情報の信頼度を記憶してもよい。この場合、前記生成部は、前記信頼度をもとに、前記複数の表示用部分画像を互いに接続してもよい。
このように位置ずれ情報の信頼度をもとに複数の表示用部分画像が互いに接続されてもよい。これにより、高精度の表示領域画像を生成することが可能となる。
このように位置ずれ情報の信頼度をもとに複数の表示用部分画像が互いに接続されてもよい。これにより、高精度の表示領域画像を生成することが可能となる。
前記生成部は、隣接する2つの前記表示用部分画像の位置ずれ情報の信頼度が所定の値よりも小さい場合に、前記2つの表示用部分画像と、前記2つの表示用部分画像に隣接する前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記2つの表示用部分画像を互いに接続してもよい。
このように、表示用部分画像間の位置ずれ情報の信頼度が所定の値よりも小さい場合に、2つの表示用部分画像と、表示用部分画像として判定されていない部分画像との位置ずれ情報が用いられてもよい。これにより高精度の表示領域画像を生成することが可能となる。
このように、表示用部分画像間の位置ずれ情報の信頼度が所定の値よりも小さい場合に、2つの表示用部分画像と、表示用部分画像として判定されていない部分画像との位置ずれ情報が用いられてもよい。これにより高精度の表示領域画像を生成することが可能となる。
前記生成部は、前記表示用部分画像と、前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記表示領域画像を生成してもよい。
このように、表示領域画像を生成するために、表示用部分画像と、表示用部分画像として判定されていない部分画像との位置ずれ情報が用いられてもよい。これにより高精度の表示領域画像を生成することが可能となる。
このように、表示領域画像を生成するために、表示用部分画像と、表示用部分画像として判定されていない部分画像との位置ずれ情報が用いられてもよい。これにより高精度の表示領域画像を生成することが可能となる。
前記情報処理装置は、前記複数の表示用部分画像が互いに接続されて生成された前記表示領域画像の、隣接する2つの前記表示用部分画像の相対的な位置を変更する指示を受け付ける指示入力部をさらに具備してもよい。この場合、前記生成部は、前記受け付けられた変更指示をもとに、前記複数の表示用部分画像を互いに接続してもよい。
これにより、例えば表示領域画像を目視で確認しながら、2つの表示用部分画像の相対的な位置関係を修正することが可能となる。
これにより、例えば表示領域画像を目視で確認しながら、2つの表示用部分画像の相対的な位置関係を修正することが可能となる。
本技術の一形態に係る情報処理方法は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する2つの部分画像ごとに算出された、当該隣接する2つの部分画像の相対的な位置ずれ情報とを記憶することを含む。
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、1以上の表示用部分画像が判定される。
複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像が前記記憶された位置ずれ情報をもとに互いに接続され、前記表示領域画像が生成される。
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、1以上の表示用部分画像が判定される。
複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像が前記記憶された位置ずれ情報をもとに互いに接続され、前記表示領域画像が生成される。
本技術の一形態に係るプログラムは、上記情報処理方法をコンピュータに実行させる。
以上のように、本技術によれば、隣接する部分画像間のずれが蓄積してしまうことを抑えることが可能となる。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[画像処理システムの構成]
図1は、本技術の第1の実施形態に係る画像処理システムを示す模式的な図である。同図に示すように、画像処理システム500は、デジタル顕微鏡100と、制御PC(Personal computer)200と、サーバ300と、ビューア400とを有する。ここでは、サーバ300が、本実施形態に係る情報処理装置として機能する。
[画像処理システムの構成]
図1は、本技術の第1の実施形態に係る画像処理システムを示す模式的な図である。同図に示すように、画像処理システム500は、デジタル顕微鏡100と、制御PC(Personal computer)200と、サーバ300と、ビューア400とを有する。ここでは、サーバ300が、本実施形態に係る情報処理装置として機能する。
図2は、デジタル顕微鏡100と制御PC200との構成例を示す模式的な図である。
デジタル顕微鏡100は、ステージ101と、光学系102と、照明灯103と、光源104と、光学センサ105と、光学センサ制御部106と、発光制御部107と、ステージ制御部108とを有する。
ステージ101は、撮影対象である被写体1が載置される載置面109を有する。被写体1は、例えば組織切片、細胞、染色体等の生体高分子等の試料(サンプル)である。しかしこれに限定されるわけではない。
ステージ101は、互いに直交する3軸方向に移動自在である。すなわちステージ101は、載置面109の平面方向において互いに直交するX軸方向及びY軸方向へ移動自在である。またステージ101は、光学系102の対物レンズ102Aの光軸に沿ったZ軸方向へ移動自在である。
被写体1は、スライドガラスSGとカバーガラスCGとに挟まれて所定の固定手法により固定され、必要に応じて染色を施される。この染色方法としては、例えばHE(ヘマトキシリン・エオジン)染色、ギムザ染色またはパパニコロウ染色等の一般的な染色法のほか、FISH(Fluorescence In Situ Hybridization)や酵素抗体法等の蛍光染色も含まれる。当該蛍光染色は、例えば被写体1中の特定のターゲットをマーキングするために行われる。
光学系102は、ステージ101の上方に設けられ、対物レンズ102A、結像レンズ102B、ダイクロイックミラー102C、エミッションフィルタ102D及び励起フィルタ102Eを有する。光源104は、例えばLED(Light Emitting Diode)等からなる。
対物レンズ102A及び結像レンズ102Bは、上記照明灯103により得られた被写体1の像を所定の倍率に拡大し、当該拡大像を光学センサ105の撮像面に結像させる。
励起フィルタ102Eは、光源104から出射された光のうち、蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー102Cは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ102Aへ導く。対物レンズ102Aは、当該励起光を被写体1へ集光する。
スライドガラスSGに固定された被写体1に蛍光染色が施されている場合、上記励起光により蛍光色素が発光する。この発光により得られた光(発色光)は、対物レンズ102Aを介してダイクロイックミラー102Cを透過し、エミッションフィルタ102Dを介して結像レンズ102Bへ到達する。
エミッションフィルタ102Dは、上記対物レンズ102Aによって拡大された発色光以外の光(外光)を吸収する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ102Bにより拡大され、光学センサ105上に結像される。
照明灯103は、ステージ101の下方に設けられ、ステージ101に設けられた開口(図示せず)を介して、上記載置面109に載置された被写体1へ照明光を照射する。
光学センサ105としては、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等が用いられる。当該光学センサ105は、デジタル顕微鏡100と一体的に設けられていてもよいし、デジタル顕微鏡100に接続可能な別個の撮像装置(デジタルカメラ等)内に設けられていてもよい。
光学センサ制御部106は、制御PC200からの制御指令に基づいて光学センサ105の制御を行う。また、光学センサ制御部106は、光学センサ105の出力を取り込み、制御PC200に転送する。
発光制御部107は、制御PC200からの制御指令に基づいて照明灯103や光源104の露光時間や発光強度など、露光に関する制御を行う。
ステージ制御部108は、制御PC200からの制御指令に基づいてステージ101のXYZ軸方向への移動を制御する。
制御PC200は、典型的なコンピュータのハードウェア要素を有する装置である。制御PC200は、デジタル顕微鏡100を制御するとともに、デジタル顕微鏡100によって撮影された被写体1の像を所定のフォーマット形式のデジタル画像データとして保存することができる。
制御PC200は、典型的なコンピュータのハードウェア要素を用いて実現される機能的な構成として、ハードウェア制御部201と、センサ信号現像部202と、マッチング処理部203と、画像出力部204とを有している。これらは制御PC200を動作させるプログラムによって実現される。あるいは専用のハードウェアが適宜用いられてもよい。
センサ信号現像部202は、光学センサ制御部106を通じて光学センサ105より取り込んだセンサ信号からデジタル画像データを生成する。生成されたデジタル画像データは、マッチング処理部203に供給される。
本実施形態では、被写体1に対して複数の撮影領域が互いに重なるように撮影されることで、複数の部分画像が生成される。具体的には、複数の部分画像についてのセンサ信号が、センサ信号現像部202に出力される。そしてセンサ信号現像部202により、複数の部分画像の画像データが生成される。生成された部分画像の画像データはマッチング処理部203に供給される。以下、画像という記載が当該画像の画像データを含むものとする。
マッチング処理部203は、オフセット値算出部205と、信頼度算出部206とを有する。オフセット値算出部205は、複数の部分画像のうちの隣接する2つの部分画像ごとにオフセット値を算出する。本実施形態では、このオフセット値が、当該隣接する2つの部分画像の相対的な位置ずれ情報として算出される。
信頼度算出部206は、2つの部分画像ごとに算出されたオフセット値の信頼度を算出する。
画像出力部204は、センサ信号現像部202より供給されたデジタル画像データを、JPEG(Joint Photographic Experts Group)やTiff(Tagged Image File Format)など、コンピュータ上での処理が容易なファイルフォーマットに変換し、ファイルとして、記憶部308等に保存する。
ハードウェア制御部201は、デジタル顕微鏡100における光学センサ制御部106、発光制御部107、ステージ制御部108を制御する。
図3は、本実施形態に係る情報処理装置であるサーバ300のハードウェア構成例を示す模式的な図である。本実施形態では、サーバ300としてPC等のコンピュータが用いられる。
サーバ300は、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、入出力インターフェース305、及び、これらを互いに接続するバス304を備える。
入出力インターフェース305には、表示部306、入力部307、記憶部308、通信部309、ドライブ部310等が接続される。
表示部306は、例えば液晶、EL(Electro-Luminescence)、CRT(Cathode Ray Tube)等を用いた表示デバイスである。
入力部307は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部307がタッチパネルを含む場合、そのタッチパネルは表示部306と一体となり得る。
記憶部308は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)、フラッシュメモリ、その他の固体メモリである。
ドライブ部310は、例えば光学記録媒体、フロッピー(登録商標)ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体311を駆動することが可能なデバイスである。これに対し上記記憶部308は、主にリムーバブルでない記録媒体を駆動する、サーバ300に予め搭載されたデバイスとして使用される場合が多い。
通信部309は、LAN(Local Area Network)、WAN(Wide Area Network)等のネットワークに接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部309は、有線及び無線のどちらを利用して通信するものであってもよい。通信部309は、サーバ300とは別体で使用される場合が多い。
上記のようなハードウェア構成を有するサーバ300による情報処理は、記憶部308またはROM302等に記憶されたソフトウェアと、サーバ300のハードウェア資源との協働により実現される。具体的には、CPU301が記憶部308またはROM302等に記憶された、ソフトウェアを構成するプログラムをRAM303にロードして実行することにより実現される。プログラムは、例えば記録媒体を介してサーバ300にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがインストールされてもよい。
本実施形態では、CPU301により、判定部、生成部及び指示入力部が実現される。あるいは入出力インターフェース305及びCPU301により指示入力部が実現される。しかしながらこれに限定されるわけではない。専用のハードウェアが適宜用いられてもよい。
また記憶部308及びROM302等により、本実施形態に係る記憶部が実現される。この記憶部に複数の部分画像、オフセット値及び信頼度等の情報が記憶される。
ビューア400は、サーバ300により生成された各種の画像を閲覧するために用いられる。ビューア400としては、ディスプレイを有するPC等が用いられる。本実施形態に係るビューア400は、ユーザが操作することが可能な図示しない入力部を有する。ユーザは、ディスプレイに表示された画像を目視しながら、入力部を用いて種々の操作を入力することが可能である。
本実施形態では、LANやWAN等のネットワークを介して、制御PC200、サーバ300及びビューア400が接続される。そして例えば画像や各種の情報等が各デバイスの間で送信及び受信される。また、各デバイスの入力部(入力部307)に入力されたユーザの操作に応じた指示が各デバイスの間で送信及び受信される。
なお、LAN等のネットワークを介さずに制御PC200、サーバ300、及びビューア400が互いに接続されてもよい。その他それぞれのデバイス間の接続形態は適宜設定可能である。
[画像処理システムの動作]
本実施形態に係る画像処理システム500の動作を説明する。図4は、本実施形態に係る画像処理システム500の動作の概要を示す模式的な図である。
本実施形態に係る画像処理システム500の動作を説明する。図4は、本実施形態に係る画像処理システム500の動作の概要を示す模式的な図である。
制御PC200によりデジタル顕微鏡100が制御され、被写体1に対して複数の撮影領域50が互いに重なるように撮影されることで複数の部分画像51が生成される。また制御PC200により、複数の部分画像51のうちの隣接する2つの部分画像51ごとに、当該隣接する2つの部分画像51の相対的な位置ずれ情報としてのオフセット値が算出される。
図5及び図6は、制御PC200による複数の部分画像51及びオフセット値の生成処理について説明するための図である。
図5(A)は、ステージ101の載置面109の被写体1に対する撮影領域50の移動を示す図である。ステージ101の載置面109の撮影対象となる全体領域52は、通常、矩形である。この全体領域52よりも小さい面積である撮影領域50が、1回の撮影範囲である。全体領域52に対して撮影領域50をX軸方向およびY軸方向に選択的に移動させ、その都度、撮影領域50の撮影を繰り返すことによって全体領域52が撮影される。
ステージ101と光学系102は相対的にXYZ軸方向に移動可能であればよい。本実施形態では、光学系102が固定され、ステージ101がXYZ軸方向に移動可能な構成としたが、逆にステージ101が固定され、光学系102がXYZ軸方向に選択的に移動可能なように構成してもかまわない。
撮影領域50のサイズと、X軸方向およびY軸方向それぞれの移動量は、X軸とY軸のそれぞれの方向で互いに隣り合う撮影領域50の間で所定の重なり53ができるように設定される。例えば、撮影領域50のX軸方向の1回の移動量は、撮影領域50のX軸方向のサイズの60〜95%程度である。また、X軸方向に隣り合う撮影領域50間の重なり53のX軸方向のサイズは、撮影領域50のX軸方向のサイズの5〜40%程度である。これらの割合は撮影領域50のY軸方向についても同様でよい。
このように被写体1に対して複数の撮影領域50が互いに重なるように撮影されることで、図5(B)に示すように、複数の部分画像51が生成される。複数の部分画像51は、撮影領域50の重なり53に対応した接続領域54をそれぞれ有している。
図5に示す例では、9つの撮影領域50が撮影され、9枚の部分画像51が生成された。しかしながら、撮影領域50の数、サイズ、撮影順序、重なり53のサイズ等は限定されず、適宜設定されてよい。すなわち生成される部分画像51の数、サイズ等も適宜設定可能である。
例えば医療または病理等の分野において、デジタル顕微鏡により得られた生体の細胞や組織等の拡大画像が、スティッチング技術により生成されることがある。このような場合では、例えばX軸方向に40枚及びY軸方向に60枚並ぶ、合計2400枚もの部分画像51が生成される場合もある。
図5(C)に示すように、制御PC200のマッチング処理部203により、隣接する2つの部分画像51ごとにマッチング処理が実行される。これによりオフセット値算出部205によりオフセット値が算出される。
例えばステージ101の移動誤差や撮影精度の誤差等により、複数の部分画像51の相対的な位置関係において誤差が生じる場合がある。すなわち、複数の部分画像51の相対的な位置関係が、図5(A)に示す複数の撮影領域50の相対的な位置関係と比べてずれてしまう場合がある。
従って図5(C)に示すように、複数の部分画像51を適切に接続するためには、複数の部分画像51の相対的な位置を適宜調整しなければならない。そのために、隣接する2つの部分画像51の相対的な位置ずれ情報であるオフセット値が算出される。
本実施形態では、隣接する2つの部分画像51がそれぞれ有する接続領域54同士でマッチング処理が行われ、その結果をもとにオフセット値が算出される。本実施形態のマッチング処理は、接続領域54の画素ごとに輝度値が算出され、その輝度値に基づいて相関係数が算出されることで行われる。しかしながら、これに限定されず、接続領域54の画素ごとに輝度値の差の自乗が算出されることでマッチング処理が行われてもよい。あるいは、接続領域54の周波数成分が利用されてもよい。その他、画像のパターンマッチングで用いられる各種アルゴリズムが利用可能である。
図6(A)は、算出されたオフセット値をもとに適切な位置関係で接続された2つの部分画像51a及び51bを示す模式的な図である。例えば部分画像51a及び51bの相対的な位置関係にずれが生じていないのであれば、2つの部分画像51a及び51bの各接続領域54a及び54bをそのまま重ね合わせることで、部分画像51a及び51bは適切に接続される。この場合、オフセット値は(0,0)となる。
図6(A)に示す例では、左の部分画像51aの接続領域54aに対して、左の部分画像51bの接続領域54bが、X軸方向にa(pixel)、Y軸方向に−b(pixel)ずらされて重ね合わされる。そして、この位置で2つの部分画像51a及び51bが適切に接続されている。すなわちこの例では、オフセット値として(a,−b)が算出されている。
なお本実施形態では、配置される部分画像51a及び51bの左上に位置する点を原点とした座標系が定められる。図6(A)で見て、左から右の向きがX座標の正の向きである。また上から下の向きがY座標の正の向きである。オフセット値は、この座標系をもとに、符号付の整数で表せされる。しかしながら座標系は適宜設定可能である。
図6(B)に示すように、本実施形態では、複数の部分画像51のうちの隣接する2つの部分画像51ごとにオフセット値(x,y)が算出される。算出されたオフセット値は、複数の部分画像51とともに、サーバ300に送信される。
また本実施形態では、信頼度算出部206により、2つの部分画像51ごとに算出されたオフセット値の信頼度が算出される。本実施形態では、マッチング処理において算出された相関係数の値が、信頼度として用いられる。
接続領域54同士の相関係数が高い場合では、その接続領域54は高い精度で接続されていると考えられる。従って相関係数が高い値の場合は、算出されたオフセット値の信頼度は高いと判定可能である。一方、相関係数が低い値の場合は、算出されたオフセット値の信頼度は低いと判定可能である。
なお信頼度は、相関係数の値に限定されない。例えば相関係数をもとに新たな数値が算出され、それが信頼度として用いられてもよい。また輝度値の差の自乗や標準偏差等の、マッチング処理に関する他の数値が適宜用いられてもよい。算出された信頼度は、サーバ300に送信される。
図7は、本実施形態に係るオフセット値及び信頼度のデータ形式の一例を示す模式的な図である。ここでは隣接する部分画像51a及び51b間のオフセット値及び信頼度が以下のようにして生成される。
オフセット値と信頼度を生成するためには以下の要素が必要となる。
部分画像51a及び51bの識別子
部分画像51a及び51bのX軸方向、Y軸方向それぞれのずれ量(オフセット値)
部分画像51a及び51bのずれ量の確からしさ(信頼度)
部分画像51a及び51bの識別子
部分画像51a及び51bのX軸方向、Y軸方向それぞれのずれ量(オフセット値)
部分画像51a及び51bのずれ量の確からしさ(信頼度)
上記した各要素は例えば次のようにして取得することができる。
左上を原点とし、部分画像51の大きさを単位元とするXY座標を部分画像51の識別子とする。図6(B)には、各部分画像51の中央に、当該部分画像51を識別するためのXY座標が図示されている。
隣接する2つの部分画像51a及び51bの相対的なずれ量を符号付き整数で表す(部分画像間の図示されたXY座標)。
パターンマッチ計算の相関値(0以上1以下の実数)を確からしさとする。
左上を原点とし、部分画像51の大きさを単位元とするXY座標を部分画像51の識別子とする。図6(B)には、各部分画像51の中央に、当該部分画像51を識別するためのXY座標が図示されている。
隣接する2つの部分画像51a及び51bの相対的なずれ量を符号付き整数で表す(部分画像間の図示されたXY座標)。
パターンマッチ計算の相関値(0以上1以下の実数)を確からしさとする。
上記の考え方をもとに、オフセット値及び信頼度を図7に示すようにテキストデータ30で表現することが可能となる。図7に示すテキストデータ30の各行において左から順に並ぶ数字は、それぞれ以下の情報を表している。
(部分画像51aのx座標)
(部分画像51aのy座標)
(部分画像51bのx座標)
(部分画像51bのy座標)
(X軸方向のずれ)
(Y軸方向のずれ)
(ずれ量の確からしさ)
(部分画像51aのy座標)
(部分画像51bのx座標)
(部分画像51bのy座標)
(X軸方向のずれ)
(Y軸方向のずれ)
(ずれ量の確からしさ)
例えば1行目に示すデータは、図6(B)に示す座標(0,0)の部分画像51aと、座標(1,0)の部分画像51bとの間のオフセット値は(3,−4)であり、その信頼度は0.893847であることを表している。
このように本実施形態では、オフセット値及び信頼度をテキストデータとして生成することができる。これによりオフセット値及び信頼度を記憶する際の記憶容量を節減することができる。
しかしながら、オフセット値及び信頼度がテキストデータとして生成される場合に限定されるわけではない。例えば複数の部分画像51が識別子を介して縦及び横に並べられたテーブルが、オフセット値及び信頼度を表すデータとして生成されてもよい。その他、オフセット値及び信頼度を表すデータの形式は適宜設定可能である。
[サーバの動作]
図4に示すように、本実施形態に係る情報処理装置としてのサーバ300は、制御PC200から、複数の部分画像51と、オフセット値及び信頼度情報のテキストデータ30を受信する。これらのデータは、サーバ300の記憶部308等に記憶される。そしてサーバ300により、記憶された各データをもとに、表示領域画像が生成され、ビューア400に送信される。表示領域画像とは、被写体1の画像としてビューア400のディスプレイに表示される領域の画像である。
図4に示すように、本実施形態に係る情報処理装置としてのサーバ300は、制御PC200から、複数の部分画像51と、オフセット値及び信頼度情報のテキストデータ30を受信する。これらのデータは、サーバ300の記憶部308等に記憶される。そしてサーバ300により、記憶された各データをもとに、表示領域画像が生成され、ビューア400に送信される。表示領域画像とは、被写体1の画像としてビューア400のディスプレイに表示される領域の画像である。
図8は、本実施形態に係るサーバ300の動作の概要を示す模式的な図である。本実施形態では、判定部として機能するCPU301により、記憶された複数の部分画像51から、表示領域画像55を生成するための、1以上の表示用部分画像56が判定される。
図8に示す例では、表示領域画像55が生成されるためには、部分画像51c〜51fが接続されなければならない。従って、当該部分画像51c〜51fが表示用部分画像56c〜56fとして判定される。
次に生成部として機能するCPU301により、判定された複数の表示用部分画像56c〜56fが、記憶部308等に記憶されたオフセット値をもとに互い接続される。これにより表示領域画像55が生成される。すなわち本実施形態では、ビューア400により表示される領域に応じて適宜表示用部分画像56が判定されて表示領域画像55が生成される。
図9は、サーバ300の動作例を示すフローチャートである。まずビューア400に表示される表示領域が判定される(ステップ101)。そして表示領域の画像55を生成するための表示用部分画像56が判定される(ステップ102)。
図10は、表示領域及び表示用部分画像56の判定処理を説明するための図である。本実施形態では、図10に示す基準画像57をもとに、表示領域58の位置が算出される。基準画像57は、複数の部分画像51が接続領域54で重ね合わされた画像である。この際オフセット値は考慮されず、各部分画像51が有する接続領域54がそのまま重ねられる(オフセット値(0,0)での重なりに相当)。
また画像合成処理が実行される必要はなく、基準画像57における各部分画像51の位置と、接続領域54の位置とが取得されればよい。例えば基準画像57内における表示領域58のサイズと、中心の座標とが設定される。この際、表示領域58に含まれる部分画像51が判定可能であればよい。なお、表示領域58の中心の座標に限定されず、例えば表示領域58の左上の座標等が用いられてもよい。
図10に示す例では、基準画像57内における表示領域58のサイズと中心位置の座標とをもとに、当該表示領域58に含まれる部分画像51として部分画像51c〜51fが判定される。この部分画像51c〜51fが表示用部分画像56c〜56fとして判定される。
なお表示領域58は、表示領域画像55がビューア400に最初に表示されるときには、デフォルトで設定されていてもよい。そして、ビューア400の入力部やサーバ300の入力部307により受け付けられた指示により表示領域58が移動されてもよい。例えばマウス等を用いたドラッグ操作や、コントローラの十字キーを用いた入力により、表示領域58の座標が変更される。
表示用部分画像56の数は複数か否かが判定される(ステップ103)。図10に示すように、複数の表示用部分画像56c〜56fが判定された場合(ステップ103のYes)、当該複数の表示用部分画像56c〜56f間のオフセット値が記憶部308等から読み出される(ステップ104)。
読み出されたオフセット値をもとに、複数の表示用部分画像56c〜56fの繋ぎ合わせ位置が決定される(ステップ105)。本実施形態では、オフセット値及び当該オフセット値の信頼度をもとに、繋ぎ合わせ位置が決定される。
例えば図10に示す例では、4枚の表示用部分画像56c〜56f間において、4つのオフセット値とその値の信頼度が取得されている。この4つのオフセット値のうち、信頼度の高いものが順に用いられて、繋ぎ合わせ位置が決定される。
例えば最も信頼度が高いオフセット値をもとに、当該オフセット値で接続される2枚の表示用部分画像56(例えば56cと56d)が配置される。次に信頼度が高いオフセット値が用いられて3枚目の表示用部分画像56(例えば56e)が配置され、最後に4枚目の表示用部分画像56(例えば56f)が配置される。
あるいは、2枚の表示用部分画像56(例えば56cと56d)が配置された後に、残る2枚の表示用部分画像56(例えば56eと56f)が配置される場合もある。そして3番目に信頼度が高いオフセット値が用いられて、4枚の表示用部分画像56c〜56fが配置されてもよい。
繋ぎ合わせ位置が決定された複数の表示用部分画像56c〜56fが互いに接続される(ステップ106)。そして当該接続された画像59(図8参照)から、表示領域画像55が生成される(ステップ107)。生成された表示領域画像55はビューア400に送信され、当該ビューア400により表示される(ステップ108)。この際、接続画像59内の表示領域画像55の画像データが送信されてもよい。あるいは、接続画像59の画像データが送信されビューア400で適宜表示領域画像55が表示されてもよい。この場合、接続画像59の生成が表示領域画像55の生成に相当する。
ステップ103において、表示用部分画像56の数が複数ではなく1枚であると判定された場合(ステップ103のNo)、当該1枚の表示用部分画像56をもとに表示領域画像55が生成される(ステップ107)。
図11は、表示用部分画像56の数について説明するための図である。図11に示す例では、表示領域58が基準画像57の中央に位置している。表示領域58には、中央の部分画像51gと、その上下に隣接する4枚の部分画像51h〜51kが含まれる。
一方で、表示領域58の全体が、中央の部分画像51gに含まれている。このような場合では、中央の部分画像51gにより表示領域画像55が生成可能であるので、中央の部分画像51g1枚が表示用部分画像56として判定されればよい。これにより接続箇所を含まない高精度の表示領域画像55が生成される。
このように、表示領域58に含まれる部分画像51のうち、一部の部分画像51で表示領域画像55が生成可能である場合がある。このような場合では、例えば数が少なくなるように表示用部分画像56が判定さればよい。これによりスティッチング処理される箇所が少ない高精度の表示領域画像55が生成される。
なおオフセット値の信頼度等が低く、少ない数の表示用部分画像56では高精度の表示領域画像55が生成されない場合は、表示用部分画像56の数が増やされてもよい。すなわち接続箇所の数と、オフセット値の信頼度等を総合的に判断して、表示用部分画像56の数が適宜設定されてよい。そのための設定として、例えば信頼度に閾値を設定する等が考えられる。
また表示領域58の位置によって、表示用部分画像56の数が適宜設定されてもよい。例えば図11に示す例において、表示領域58の位置が中央の部分画像51gの縁60から所定の距離以内であった場合(縁60から近い場合)、その縁60を含む接続領域54を有する隣の部分画像51も表示用部分画像56として判定されてもよい。これにより高精度の表示領域画像55が生成される。
ユーザの指示等により表示領域58が変更された場合には、ステップ109以下の処理が実行される。ステップ109にて表示領域58が変更されると、変更後の表示領域画像55を生成するための表示用部分画像56が判定される(ステップ110)。この判定処理は、ステップ102と略同様に実行されればよい。
判定結果としての表示用部分画像56が変更されたか否かが判定される(ステップ111)。例えば表示領域58の移動等が少ない場合では、変更前の表示領域58を生成するための表示用部分画像56の接続画像59をもとに、変更後の表示領域画像55を生成することが可能である。このような場合は、表示用部分画像56の変更はなしと判定され(ステップ111のNo)、変更前に生成された接続画像59をもとに変更後の表示領域画像55が生成される(ステップ107)。
表示用部分画像56が変更されたと判定された場合(ステップ111のYes)、ステップ103に戻り、上記で説明した処理が実行される。すなわち変更後の表示用部分画像56が複数ある場合、それらが適宜接続され表示領域画像55が生成される。変更後の表示用部分画像56が1枚の場合は、当該表示用部分画像56をもとに表示領域画像55が生成される。
以上、本実施形態に係る情報処理装置としてのサーバ300では、複数の部分画像51と、隣接する2つの部分画像51ごとに算出されたオフセット値とが記憶される。また上記した表示領域画像55を生成するための1以上の表示用部分画像56が判定される。そして複数の表示用部分画像56が判定された場合に、当該複数の表示用部分画像56がオフセット値をもとに合成され、表示領域画像55が生成される。このように被写体1の画像として表示される領域に応じて適宜表示領域画像55が生成されるので、隣接する部分画像51間のずれが蓄積してしまうことを十分に抑えることが可能となる。
図12では、比較例として挙げる表示領域画像の生成方法を説明するための図である。比較例として挙げる画像生成方法では、制御PCにより複数の部分画像951がオフセット値をもとに接続される。そして1枚の巨大画像950が生成され、サーバに送信される。サーバでは、表示領域の位置をもとに、巨大画像950から表示領域画像を生成しビューアに送信する。
図12に示すように、巨大画像950が生成される場合には、接続される部分画像951間のずれが蓄積されてしまい、最終的に大きなずれが発生してしまう可能性がある。すなわち部分画像951はオフセット値をもとに接続されるが、オフセット値を算出するためのマッチング処理等の精度等に起因して、どうしてもずれが発生してしまう可能性がある。このような部分画像951間の小さなずれが蓄積されてしまうのである。
例えば図12に示すように、左上の部分画像951aを基準として、下側(Y軸方向の正の向き)に複数の部分画像951が順次接続される。最も下側に位置する部分画像951bが接続されると、その部分画像951bから右側(X軸方向の正の向き)に複数の部分画像951が順次接続される。
一方、左上の部分画像951aを基準として、右側(X軸方向の正の向き)に複数の部分画像951が順次接続される。最も右側に位置する部分画像951cが接続されると、その部分画像951cから下側(Y軸方向の正の向き)に複数の部分画像951が順次接続される。
このように複数の部分画像951が接続される場合、部分画像951bが接続されるルートと、部分画像951cが接続されるルートとにおいて、それぞれ大きなずれが蓄積されてしまう可能性がある。
その場合、右下の部分画像951dが接続されるときに、左側の部分画像951に接続されると、上側の部分画像951との間に大きなずれ990が発生してしまう。一方、右下の部分画像951dが、上側の部分画像951に接続されると、左側の部分画像951との間に大きなずれが発生してしまう。
上記したように、医療等の分野では、2400枚もの部分画像が接続されることがある。このような場合、小さなずれが蓄積することによるずれは相当なものになる可能性が高い。
大きなずれが発生すると巨大画像950の右下の部分(部分画像951dが接続される部分)において、被写体が適正に表示されなくなってしまう。そうすると例えば医療等の分野においては誤診等が発生してしまう可能性が高い。
また巨大画像950は複数の部分画像951が合成された画像であるので、右下の部分が表示されるときに大きなずれ990を適宜修正するということはできない。
これに対して本実施形態では、表示領域58の位置に応じて適宜表示用部分画像56が判定され、表示領域画像55が適宜生成される。部分画像51のサイズや、表示領域58のサイズ等にもよるが、判定される表示用部分画像56の数は、部分画像51全体の数と比べて十分に少なくすることができる。典型的な例としては、4枚の表示用部分画像56で表示領域画像55が生成可能である。
従って、部分画像51間の小さなずれが蓄積して大きなずれが発生してしまうことを防止することができる。この結果、高精度の表示領域画像55が表示されることになり、例えば誤診等が発生してしまうことを防止することができる。
また図12に示す巨大画像950が生成されるときには、複数の部分画像951がオフセット値をもとに配置され、各部分画像951から巨大画像950として用いられる領域が切り取られる。そして当該切り取られた領域が連結される。従って1枚の部分画像951から表示領域画像が生成可能であるためには、当該切り取られた領域のなかに表示領域が含まれなければならない。
これに対して本実施形態では、接続領域54を有する1枚の部分画像51内に表示領域58が含まれるのであれば、当該1枚の部分画像51が表示用部分画像56として判定され、そこから表示領域画像55が生成可能である。すなわち、本実施形態では、比較例の画像生成方法と比べて、1つの部分画像51から生成可能な表示領域画像55の範囲が大きい。この結果、比較例の画像生成方法では複数の部分画像951(切り取られた領域)が接続されることで生成された表示領域画像であっても、1枚の表示用部分画像56から生成可能な場合がある。これにより、接続箇所のない高精度の表示領域画像55を多く生成することが可能となる。
また本実施形態では、図9のステップ105及びステップ106において、オフセット値の信頼度をもとに複数の表示用部分画像56が互いに接続される。これにより、高精度の表示領域画像55を生成することが可能となる。
例えば図12に示す巨大画像950の生成の際に信頼度が用いられて複数の部分画像951が接続される最適な順番が設定される方法も考えられる。しかしながらその方法を実現するためには、各部分画像951間の信頼度を全て読み出し、全ての部分画像951が接続される最適な順序を算出しなければならない。この結果、サーバのCPUやRAM等の処理リソースに対する負荷が大きくなってしまい、また処理速度も遅くなってしまう。
これに対して本実施形態では、接続される表示用部分画像56の数が少ないので、信頼度を用いた接続処理が容易に可能となる。
<第2の実施形態>
本技術の第2の実施形態に係る情報処理装置について説明する。これ以降の説明では、上記の実施形態で説明した画像処理システム500における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
本技術の第2の実施形態に係る情報処理装置について説明する。これ以降の説明では、上記の実施形態で説明した画像処理システム500における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
本実施形態に係る情報処理装置としてのサーバは、判定結果としての表示用部分画像が変更される場合に、変更前の複数の表示用部分画像の接続結果を用いて、変更後の複数の表示用部分画像を互いに接続する。すなわち変更後の表示用部分画像が複数であると判定された場合に、変更前の複数の表示用部分画像の接続結果が用いられて、変更後の複数の表示用部分画像が互いに接続される。
図13は、そのサーバの動作例を示すフローチャートであり、図9に示すフローチャートのステップ103のYesからステップ108までの間に行われる動作を示している。図14は、図13に示す動作例を説明するための模式的な図である。
変更された複数の表示用部分画像56のなかに、元の表示用部分画像56として互いに接続された2つの部分画像51があるか否かが判定される(ステップ201)。例えば図14(A)に示す位置から、図14(B)に示す位置に表示領域58が変更されたとする。これにともない、表示用部分画像56として判定される部分画像51も、部分画像51c〜51fの4枚から部分画像51d及び51eの2枚に変更されたとする。
この際に、変更された表示用部分画像56のなかに、元の表示用部分画像56として互いに接続された2つの部分画像51があるか否かが判定される。図14(B)に示す部分画像51d及び51eは、元の表示用部分画像56として互いに接続されている。従ってステップ201にてYesとなり、ステップ202に進む。
ステップ202では、当該2つの部分画像51d及び51eの繋ぎ合せ位置は変更せずに、全ての表示用部分画像56の繋ぎ合わせ位置が決定される。図14(B)に示す例では、部分画像51d及び51eの繋ぎ合わせ位置が決定される。この際に、図14(A)に示す表示領域画像55が生成されたときの繋ぎ合わせ位置が変更されることなく用いられる。すなわち表示領域58の変更前と変更後において、部分画像51d及び51eの繋ぎ合わせ位置は変更されない。
例えば図14(A)において、表示用部分画像56である4枚の部分画像51c〜51fが接続されるときに、部分画像51d及び51c間のオフセット値が用いられない場合がある。例えば他の3つのオフセット値をもとに、4枚の部分画像51c〜51fが配置される場合等がある。
このような場合において、図14(B)に示すように表示用部分画像56が、部分画像51d及び51eの2枚に変更される。このときに、部分画像51d及び51c間のオフセット値をもとに2枚の部分画像51c及び51eが接続される。そうすると、表示領域58の変更前と変更後において、部分画像51d及び51eの相互の位置関係が変化してしまう可能性がある。
この結果、例えば図14(A)から図14(B)へ表示領域58が徐々に変更されたときに、ビューアに表示される表示領域画像55が急に変化してしまう可能性がある。そうすると、ユーザによる被写体1の観察等に支障が出てしまう可能性がある。
従って本実施形態では、変更された複数の表示用部分画像56のなかに、元の表示用部分画像56として互いに接続された2つの部分画像51がある場合は、当該2つの部分画像51の繋ぎ合わせ位置は変更されないように設定されている。すなわち変更前の複数の表示用部分画像56の接続結果を用いて、変更後の複数の表示用部分画像56が互いに接続すされる。これにより上記した問題を防ぐことができ、表示領域58の移動等を精度よく実行することが可能となる。
図14(B)から図14(C)に表示領域58が変更される場合も同様である。図14(C)では、部分画像51d、51e、51g及び51hが表示用部分画像56として判定されている。このうち、部分画像51d及び51eについては繋ぎ合わせ位置は変更されない。その他の部分画像51g及び51hについては、オフセット値や信頼度等をもとに、繋ぎ合わせ位置が適宜算出される。
図14(A)に示す位置から、例えば図11に示すような中央の位置に表示領域58が移動され、そこから図14(C)に示す位置に表示領域58が移動されたとする。この場合、図14(C)に示す4枚の表示用部分画像56のうち、元の表示用部分画像56として接続されたものはなくなるので、ステップ201のNoからステップ203へ進む。
ステップ203において、4枚の表示用部分画像56間の繋ぎ合わせ位置がそれぞれ決定される。この際には、各画像間のオフセット値及び信頼度等をもとに4枚の表示用部分画像56間の繋ぎ合わせ位置が適宜決定される。
<第3の実施形態>
本技術の第3の実施形態に係る情報処理装置について説明する。
本技術の第3の実施形態に係る情報処理装置について説明する。
上記の実施形態では、図9のフローチャートのステップ104に示すように、複数の表示用部分画像間のオフセット値が取得された。そして当該オフセット値をもとに表示用部分画像が互いに接続された。
本実施形態では、表示用部分画像と、表示用部分画像として判定されていない部分画像とのオフセット値が適宜用いられて、複数の表示用部分画像が接続される。そして表示領域画像が生成される。
例えば隣接する2つの表示用部分画像のオフセット値の信頼度が所定の値よりも小さいとする。この場合に、当該2つの表示用部分画像と、これら2つの表示用部分画像に隣接する表示用部分画像として判定されていない部分画像とのオフセット値が適宜用いられる。これにより2つの表示用部分画像が互いに接続される。以下、表示用部分画像に隣接する表示用部分画像として判定されていない部分画像を隣接画像と記載する。
図15は、本実施形態に係る情報処理装置としてのサーバの動作例を示すフローチャートである。図16は、図15に示す動作例を説明するための模式的な図である。
本例では、図16に示すような形状を有する被写体5が、6枚の部分画像51により撮影されている。そしてその略中央にて表示領域58が設定されている。このような場合に、本実施形態では、以下のようにして表示領域画像55が生成される。
表示領域58に含まれる表示用部分画像56a及び56bのみで、繋ぎ合わせの位置が決定可能か否かが判定される(ステップ301)。本実施形態では、表示用部分画像56a及び56b間のオフセット値の信頼度をもとに当該判定処理が実行される。
図16に示すように、表示用部分画像56a及び56b間には被写体5が存在しないので、画像間のオフセット値の信頼度は低くなっている。本実施形態では、この信頼度は予め定められた閾値よりも小さくなっており、表示用部分画像56a及び56bのみでは繋ぎ合わせ位置が決定できないと判定される(ステップ301のNo)。
なおステップ301の判定処理が信頼度をもと実行される場合に限定されない。例えば表示用部分画像56間に表示される被写体5の有無や、被写体5の表示面積等をもとに判定処理が実行されてもよい。あるいは被写体5の全体形状と、表示用部分画像56の位置等をもとにステップ301の判定処理が実行されてもよい。
表示用部分画像56a及び56b間の繋ぎ合わせ位置の決定に利用できる隣接画像61は1組か否かが判定される(ステップ302)。隣接画像61の組とは、互いに隣合う2つの隣接画像61のことである。図16に示す例では、隣接画像61a及び61bが組となり、隣接画像61c及び61dが組となる。
隣接画像61の組が、繋ぎ合わせ位置の決定に利用できるかどうかは、表示用部分画像56a及び56bと、各組の隣接画像61との間のオフセット値の信頼度をもとに判定される。
図16に示す例では、表示用部分画像56a及び隣接画像61a間のオフセット値の信頼度、及び表示用部分画像56b及び隣接画像61b間のオフセット値の信頼度がともに予め定められた閾値よりも大きくなっている。従って、隣接画像61a及び61bの組は、繋ぎ合わせ位置の決定に利用可能と判定される。
一方、表示用部分画像56a及び隣接画像61c間のオフセット値の信頼度、及び表示用部分画像56a及び隣接画像61d間のオフセット値の信頼度はともに予め定められた閾値よりも小さくなっている。従って、隣接画像61c及び61dの組は、繋ぎ合わせ位置の決定に利用できないと判定される。
なおステップ302の判定処理も、オフセット値の信頼度をもとにしたものに限定されない。また2枚の隣接画像61の組に対する閾値の設定方法等も限定されない。
ステップ302のYesに進み、隣接画像61a及び61bを利用して、表示用部分画像56a及び56b間の繋ぎ合わせ位置が決定される(ステップ303)。その方法としては、例えば信頼度の高い順に画像が順次配置される方法等が用いられる。これは表示用部分画像56a及び56bと、隣接画像61a及び61bとの4枚の画像が全て表示用部分画像56として判定された場合に実行される方法と略等しい。その他、隣接画像61a及び61bを利用する方法としてどのような方法が採用されてもよい。
例えばステップ302において閾値が低く設定されており、隣接画像61c及び61dも利用可能であると判定されたとする。この場合、ステップ302のNoに進み、隣接画像61a及び61bと、隣接画像61c及び61dとの2組の隣接画像61が利用される。そして表示用部分画像56a及び56b間の繋ぎ合わせ位置が決定される(ステップ304)。
このときに、例えば表示用部分画像56a及び56bと隣接画像61a及び61bとの間の信頼度と、表示用部分画像56a及び56bと隣接画像61c及び61dとの間の信頼度とが比較される。また隣接画像61a及び61b間の信頼度と、隣接画像61c及び61d間の信頼度とが比較される。
図16に示す例では、表示用部分画像56a及び56bと隣接画像61a及び61bとの間の信頼度の方が高く、また隣接画像61a及び61b間の信頼度の方が高い。この結果を受けて、隣接画像61a及び61bのみが利用されて繋ぎ合わせ位置が決定されてもよい。
なおステップ304において、表示用部分画像56a及び56b間の繋ぎ合わせ位置の決定に利用できる隣接画像61が1組選択される処理に限定されるわけではない。利用可能と判定された複数組の隣接画像が適宜利用されて、繋ぎ合わせ位置が適宜決定されてよい。
ステップ301にて、表示領域58に含まれる表示用部分画像56a及び56bのみで、繋ぎ合わせの位置が決定可能であると判定された場合は(ステップ301のYes)、当該2つの表示用部分画像56a及び56b間のオフセット値をもとに、繋ぎ合わせ位置が決定されればよい(ステップ305)。
このように、表示用部分画像56a及び56b間のオフセット値の信頼度が所定の値よりも小さい場合に、2つの表示用部分画像56a及び56bと、隣接画像61a〜61dとのオフセット値が適宜用いられてよい。これにより高精度の表示領域画像55を生成することが可能となる。
本実施形態で説明したものに限定されず、表示用部分画像56a及び56bと、表示用部分画像として判定されていない部分画像51とのオフセット値が適宜用いられてよい。これにより高精度の表示領域画像55を生成することが可能となる。
<第4の実施形態>
本技術の第4の実施形態に係る情報処理装置について説明する。図17は、本実施形態に係る情報処理装置としてのサーバ600の動作の概要を示す模式的な図である。
本技術の第4の実施形態に係る情報処理装置について説明する。図17は、本実施形態に係る情報処理装置としてのサーバ600の動作の概要を示す模式的な図である。
本実施形態では、複数の表示用部分画像656が互いに接続されて表示領域画像655が生成され、ビューア400により表示される。この際に、ユーザは表示領域画像655を目視しながら、隣接する2つの表示用部分画像656の相対的な位置を変更する指示を入力することができる。
ビューア400が有する入力部等から入力された変更指示は、ビューア400からサーバ600に送信され、サーバ600のCPU等により受け付けられる。あるいは、サーバ600が有する入力部から変更指示が入力されてもよい。
変更指示を受け付けたサーバ600は、当該変更指示をもとに、複数の表示用部分画像656を改めて接続し、新たな表示領域画像655を生成する。当該表示領域画像655はビューア400に送信されディスプレイに表示される。
図18は、本実施形態に係るサーバ600の動作例を示すフローチャートである。
ユーザにより、2つの表示用部分画像656間の繋ぎ合わせ位置を変更するモードが選択される(ステップ401)。本実施形態では、この繋ぎ合わせ位置が、2つの表示用部分画像656間の相対的な位置を表すパラメータとして用いられる。しかしこれに限定されるわけではない。
サーバ600により、繋ぎ合わせ位置の変更モード用のUI(User Interface)が送信される。そして当該UIがビューア400のディスプレイに表示される(ステップ402)。そして当該UIをもとに、ユーザより繋ぎ合わせ位置を変更する操作が入力される(ステップ403)。この結果、サーバ600に変更指示が受け付けられる。
図19は、繋ぎ合わせ位置の変更モード用のUIの一例を示す模式的な図である。図19(A)に示すUI610では、2つの表示用部分画像656a及び656bが、それぞれの接続領域654及び654bが半透明合成された状態で表示される。ユーザは、中央部分の半透明画像615を目視しながら、表示用部分画像656a及び656bの繋ぎ合わせ位置を適宜変更することができる。
例えば図19(A)に示すようにビューア400のディスプレイにポインタ620が表示される。当該ポインタ620は、マウス等の入力デバイス等を用いて操作することが可能である。ユーザは、ポインタ620をいずれか一方の表示用部分画像656上に移動させる。そしてそこからドラッグ操作等を実行することで、繋ぎ合わせ位置を変更させる。
図19(B)示すUI625では、表示領域画像655として使用される領域630の連結位置631が表示された画像が用いられる。表示領域画像655として使用される領域630とは、表示用部分画像656から切り出された領域である。
ユーザは、何れかの領域630に対してポインタ620を用いてドラッグ操作等を実行する。そうすると、領域630の枠を示す枠画像632がドラッグ操作等に応じて移動する。この枠画像632の移動量をもとに、表示用部分画像656間の繋ぎ合わせ位置が変更されてもよい。
その他、繋ぎ合わせ位置の変更モード用のUIとしてどのようなものが用いられてもよい。また繋ぎ合わせ位置を変更するための操作等も限定されず、例えばコントローラの十字キー等が適宜用いられ、1ピクセルごとに位置変更が実行されてもよい。
変更指示を受け付けたサーバ600により、繋ぎ合わせ位置が改めて決定され(ステップ404)、当該繋ぎ合わせ位置にて複数の表示用部分画像656が接続される(ステップ405)。そして表示領域画像655が生成され(ステップ406)、ビューア400に表示される(ステップ407)。例えばユーザにより再度繋ぎ合わせ位置の変更指示が入力される際には、ステップ401からの処理が再度実行される。
このように本実施形態では、表示領域画像655を目視で確認しながら、2つの表示用部分画像656の相対的な位置関係を修正することが可能となる。例えば図12に示す比較例においては、制御PCにより1枚の巨大画像950が生成されるので、後に部分画像951の相対的な位置関係を変更することができない。本実施形態では、それが可能である。
なお変更指示に基づいて、サーバ600の記憶部等に記憶されたオフセット値が更新されてもよい。すなわち変更結果が新たなオフセット値として記憶されてもよい。この場合、信頼度を示す数値として、ユーザの変更指示により更新された旨を表す所定の数値等が入力されてもよい。
<第5の実施形態>
本技術の第5の実施形態に係る画像処理システムについて説明する。
本技術の第5の実施形態に係る画像処理システムについて説明する。
本実施形態に係る画像処理システムでは、ビューアに表示された表示領域画像に対して、ズームイン/ズームアウトの操作が可能である。
図20は、本実施形態に係る表示領域画像の表示原理を説明するための模式的な図である。図20に示す画像ピラミッド構造70は、デジタル顕微鏡により同じ1つの被写体15から得られる同一の画像について、異なる複数の解像度により生成された画像群である。
画像ピラミッド構造70の最下には、最も解像度の大きい(サイズの大きい)画像71が配置される。最上には、最も解像度の小さい(サイズの小さい)画像74が配置される。ユーザによりズームイン/ズームアウトの操作が入力された場合は、これら複数の画像71〜74が適宜使用される。
すなわち画像71〜74のなかからユーザにより入力された倍率に応じた画像が選択され、当該画像内での表示領域758の位置に応じた表示領域画像755が生成される。これによりズームイン/ズームアウトの操作が高速で実現される。
なお本実施形態では、画像72〜74は予め被写体15の全体画像75として生成される。一方、最も解像度の大きい画像71は、全体画像としては生成されない。その点について以下に説明する。
本実施形態に係る画像処理システムでは、上記した各実施形態と同様に、デジタル顕微鏡により複数の部分画像が撮像される。複数の部分画像は制御PCに出力され、制御PCにより部分画像間のオフセット値と信頼度とが算出される。
また制御PCにより、複数の部分画像が順次接続されて、被写体15の拡大画像が生成される。この拡大画像が、公知の圧縮技術等により圧縮されて、図20に示す低解像度の全体画像75(72〜74)が生成される。なお低解像度の全体画像75の数やそれぞれの解像度は限定されない。
制御PCからサーバには、複数の部分画像と、オフセット値と、信頼度の情報とが送信される。また低解像度の全体画像75が送信される。
サーバにより、最も倍率の大きい表示領域画像755が生成される場合には、上記した各実施形態で説明した技術が適宜用いられる。すなわち表示領域758の位置に応じて複数の部分画像から表示用部分画像が判定される。そして記憶されたオフセット値及び信頼度をもとに表示用部分画像が適宜接続される。これにより高精度の表示領域画像755が生成される。
サーバにより、低倍率の表示領域画像が生成される場合には、倍率に応じた低解像度の全体画像75から表示領域画像755が適宜生成される。低倍率で表示領域画像755が表示される場合には、ずれが問題となる可能性が低い。従って低解像度の全体画像75が予め生成され、当該全体画像75により表示領域画像755が生成されても、問題が発生する可能性は低いと考えられる。
このように、高倍率の表示領域画像755が表示されるときには、当該表示時に表示領域画像755が生成される。低倍率の表示領域画像755に関しては予め生成された全体画像75が適宜用いられる。これにより、ズームイン/ズームアウトの操作が高速で実現される。
上記した各実施形態に係る技術を、医療や病理等の分野において用いることが可能であることはすでに述べた。しかしながら医療等の分野に限定されず、他の分野においても適用可能である。例えばデジタル顕微鏡を用いて種々の材料等が観察されるときに、上記した技術が用いられてもよい。
<変形例>
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
図21は、上記した表示領域及び表示用部分画像の判定処理の変形例について説明するための模式的な図である。
上記した判定処理では、図10に示す基準画像57をもとに、表示領域58及び表示用部分画像56が判定された。基準画像57は、オフセット値を考慮せずに、各接続領域54が重ね合わされた画像である。
しかしながら図21に示すように、複数の部分画像51がオフセット値をもとに重ね合わされた画像80をもとに、表示領域58及び表示用部分画像56が判定されてもよい。
またオフセット値をもとに複数の部分画像51が合成された画像をもとに、判定処理が実行されてもよい。仮にその合成画像において、部分画像51間のずれが蓄積されていたとしても、表示領域58及び表示用部分画像56の判定処理においては、特に問題は発生しないと考えられる。従って複数の部分画像51がスティッチング処理により合成された合成画像が用いられてもよい。その他、表示領域58及び表示用部分画像56の判定方法としてどのようなアルゴリズムが用いられてもよい。
上記では、制御PCによりオフセット値の信頼度が算出され、当該信頼度をもとにサーバにより表示用部分画像が接続された。しかしながら、信頼度が取得されず、また信頼度が用いられることなく、表示用部分画像が接続されてもよい。この場合、複数の表示用部分画像の接続順序等がデフォルトで設定されていてもよい。
上記の第5の実施形態にて説明した画像ピラミッド構造70について、いずれの解像度においても全体画像75は生成されず、各解像度ごとに複数の部分画像が記憶されてもよい。低解像度の部分画像は、撮影された高解像度の部分画像が圧縮されて生成されればよい。低解像度の表示領域画像755が表示される場合には、表示領域758に応じた表示用部分画像が適宜判定され、それらが適宜接続される。
上記では、デジタル顕微鏡100、制御PC200、サーバ300及びビューア400をそれぞれ別個のデバイスとして説明した。しかしながらサーバ300がビューアの機能を兼ね備えてもよい。この場合、例えば図3に示す表示部306により表示領域画像が表示されればよい。すなわち、制御PCからビューアに複数の部分画像と、オフセット値と、信頼度情報とが送信され、ビューア内部にて上記した実施形態に係る処理が実行されてもよい。
あるいは、制御PC200により上記した実施形態に係る処理が実行されてもよい。すなわち本実施形態に係る情報処理装置により、複数の部分画像が取得され、かつオフセット値と信頼度情報とが算出されてもよい。さらにデジタル顕微鏡100、制御PC200、サーバ300が一体的に構成されたものが、本実施形態に係る情報処理装置として用いられてもよい。
デジタル顕微鏡により得られた被写体の画像に限られず、例えばデジタルカメラ等で撮影された他の種類のデジタル画像についても本技術は適用可能である。
上記した各実施形態及び変形例を適宜組み合わせたものが、本技術にかかる実施形態と
して採用されてもよい。
して採用されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する2つの部分画像ごとに算出された、当該隣接する2つの部分画像の相対的な位置ずれ情報とを記憶する記憶部と、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、1以上の表示用部分画像を判定する判定部と、
前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する生成部と
を具備する情報処理装置。
(2)前記(1)に記載の情報処理装置であって、
前記生成部は、前記判定部により1つの表示用部分画像が判定された場合に、当該1つの表示用部分画像をもとに前記表示領域画像を生成する
情報処理装置。
(3)前記(1)又は(2)に記載の情報処理装置であって、
前記生成部は、前記判定部による判定結果が変更する場合に、変更前の前記複数の表示用部分画像の接続結果を用いて、変更後の前記複数の表示用部分画像を互いに接続する
情報処理装置。
(4)前記(1)から(3)のうちいずれか1つに記載の情報処理装置であって、
前記記憶部は、前記位置ずれ情報の信頼度を記憶し、
前記生成部は、前記信頼度をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
(5)前記(4)に記載の情報処理装置であって、
前記生成部は、隣接する2つの前記表示用部分画像の位置ずれ情報の信頼度が所定の値よりも小さい場合に、前記2つの表示用部分画像と、前記2つの表示用部分画像に隣接する前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記2つの表示用部分画像を互いに接続する
情報処理装置。
(6)前記(1)から(5)のうちいずれか1つに記載の情報処理装置であって、
前記生成部は、前記表示用部分画像と、前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記表示領域画像を生成する
情報処理装置。
(7)前記(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記複数の表示用部分画像が互いに接続されて生成された前記表示領域画像の、隣接する2つの前記表示用部分画像の相対的な位置を変更する指示を受け付ける指示入力部をさらに具備し、
前記生成部は、前記受け付けられた変更指示をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、1以上の表示用部分画像を判定する判定部と、
前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する生成部と
を具備する情報処理装置。
(2)前記(1)に記載の情報処理装置であって、
前記生成部は、前記判定部により1つの表示用部分画像が判定された場合に、当該1つの表示用部分画像をもとに前記表示領域画像を生成する
情報処理装置。
(3)前記(1)又は(2)に記載の情報処理装置であって、
前記生成部は、前記判定部による判定結果が変更する場合に、変更前の前記複数の表示用部分画像の接続結果を用いて、変更後の前記複数の表示用部分画像を互いに接続する
情報処理装置。
(4)前記(1)から(3)のうちいずれか1つに記載の情報処理装置であって、
前記記憶部は、前記位置ずれ情報の信頼度を記憶し、
前記生成部は、前記信頼度をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
(5)前記(4)に記載の情報処理装置であって、
前記生成部は、隣接する2つの前記表示用部分画像の位置ずれ情報の信頼度が所定の値よりも小さい場合に、前記2つの表示用部分画像と、前記2つの表示用部分画像に隣接する前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記2つの表示用部分画像を互いに接続する
情報処理装置。
(6)前記(1)から(5)のうちいずれか1つに記載の情報処理装置であって、
前記生成部は、前記表示用部分画像と、前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記表示領域画像を生成する
情報処理装置。
(7)前記(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記複数の表示用部分画像が互いに接続されて生成された前記表示領域画像の、隣接する2つの前記表示用部分画像の相対的な位置を変更する指示を受け付ける指示入力部をさらに具備し、
前記生成部は、前記受け付けられた変更指示をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
1、5、15…被写体
51…部分画像
55、655、755…表示領域画像
56、656…表示用部分画像
58、758…表示領域
61…隣接画像
100…デジタル顕微鏡
200…制御PC
300、600…サーバ
400…ビューア
500…画像処理システム
51…部分画像
55、655、755…表示領域画像
56、656…表示用部分画像
58、758…表示領域
61…隣接画像
100…デジタル顕微鏡
200…制御PC
300、600…サーバ
400…ビューア
500…画像処理システム
Claims (9)
- 被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する2つの部分画像ごとに算出された、当該隣接する2つの部分画像の相対的な位置ずれ情報とを記憶する記憶部と、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、1以上の表示用部分画像を判定する判定部と、
前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する生成部と
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記生成部は、前記判定部により1つの表示用部分画像が判定された場合に、当該1つの表示用部分画像をもとに前記表示領域画像を生成する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記生成部は、前記判定部による判定結果が変更する場合に、変更前の前記複数の表示用部分画像の接続結果を用いて、変更後の前記複数の表示用部分画像を互いに接続する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記記憶部は、前記位置ずれ情報の信頼度を記憶し、
前記生成部は、前記信頼度をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記生成部は、隣接する2つの前記表示用部分画像の位置ずれ情報の信頼度が所定の値よりも小さい場合に、前記2つの表示用部分画像と、前記2つの表示用部分画像に隣接する前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記2つの表示用部分画像を互いに接続する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記生成部は、前記表示用部分画像と、前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記表示領域画像を生成する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記複数の表示用部分画像が互いに接続されて生成された前記表示領域画像の、隣接する2つの前記表示用部分画像の相対的な位置を変更する指示を受け付ける指示入力部をさらに具備し、
前記生成部は、前記受け付けられた変更指示をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。 - 被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する2つの部分画像ごとに算出された、当該隣接する2つの部分画像の相対的な位置ずれ情報とを記憶し、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、1以上の表示用部分画像を判定し、
複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する
情報処理方法。 - 被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する2つの部分画像ごとに算出された、当該隣接する2つの部分画像の相対的な位置ずれ情報とを記憶し、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、1以上の表示用部分画像を判定し、
複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する
ことをコンピュータに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011196813A JP2013058124A (ja) | 2011-09-09 | 2011-09-09 | 情報処理装置、情報処理方法、及びプログラム |
US13/604,186 US20130063585A1 (en) | 2011-09-09 | 2012-09-05 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011196813A JP2013058124A (ja) | 2011-09-09 | 2011-09-09 | 情報処理装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013058124A true JP2013058124A (ja) | 2013-03-28 |
Family
ID=47829523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011196813A Withdrawn JP2013058124A (ja) | 2011-09-09 | 2011-09-09 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130063585A1 (ja) |
JP (1) | JP2013058124A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015221089A (ja) * | 2014-05-22 | 2015-12-10 | キヤノン株式会社 | 画像生成装置および画像生成方法 |
JP2016101235A (ja) * | 2014-11-27 | 2016-06-02 | 株式会社ニデック | 眼科用画像処理装置および眼科用画像処理プログラム |
JP2017055916A (ja) * | 2015-09-15 | 2017-03-23 | キヤノン株式会社 | 画像生成装置、画像生成方法及びプログラム |
JP2017102405A (ja) * | 2015-12-04 | 2017-06-08 | オリンパス株式会社 | 顕微鏡、画像貼り合わせ方法、プログラム |
WO2020003548A1 (ja) * | 2018-06-29 | 2020-01-02 | 株式会社日立システムズ | 画像表示システムおよび方法 |
US11508047B2 (en) | 2017-09-14 | 2022-11-22 | Hitachi High-Tech Corporation | Charged particle microscope device and wide-field image generation method |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013007000A1 (de) * | 2013-04-19 | 2014-10-23 | Carl Zeiss Microscopy Gmbh | Steuergerät und Verfahren zur Steuerung eines motorisierten Digitalmikroskops |
US20150006742A1 (en) | 2013-07-01 | 2015-01-01 | Echostar Technologies L.L.C. | Live non-av content over a dlna network |
JP2018054690A (ja) * | 2016-09-26 | 2018-04-05 | オリンパス株式会社 | 顕微鏡撮像システム |
EP3610451B1 (en) * | 2017-04-14 | 2021-09-29 | Ventana Medical Systems, Inc. | Local tile-based registration and global placement for stitching |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
-
2011
- 2011-09-09 JP JP2011196813A patent/JP2013058124A/ja not_active Withdrawn
-
2012
- 2012-09-05 US US13/604,186 patent/US20130063585A1/en not_active Abandoned
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015221089A (ja) * | 2014-05-22 | 2015-12-10 | キヤノン株式会社 | 画像生成装置および画像生成方法 |
JP2016101235A (ja) * | 2014-11-27 | 2016-06-02 | 株式会社ニデック | 眼科用画像処理装置および眼科用画像処理プログラム |
JP2017055916A (ja) * | 2015-09-15 | 2017-03-23 | キヤノン株式会社 | 画像生成装置、画像生成方法及びプログラム |
JP2017102405A (ja) * | 2015-12-04 | 2017-06-08 | オリンパス株式会社 | 顕微鏡、画像貼り合わせ方法、プログラム |
US11508047B2 (en) | 2017-09-14 | 2022-11-22 | Hitachi High-Tech Corporation | Charged particle microscope device and wide-field image generation method |
WO2020003548A1 (ja) * | 2018-06-29 | 2020-01-02 | 株式会社日立システムズ | 画像表示システムおよび方法 |
JP2020005186A (ja) * | 2018-06-29 | 2020-01-09 | 株式会社日立システムズ | 画像表示システムおよび方法 |
JP7051616B2 (ja) | 2018-06-29 | 2022-04-11 | 株式会社日立システムズ | 画像表示システムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
US20130063585A1 (en) | 2013-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013058124A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP4667944B2 (ja) | 画像作成装置 | |
JP6091137B2 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
JP5589619B2 (ja) | 情報処理装置、ステージうねり補正方法、プログラム | |
US8000560B2 (en) | Virtual slide generation device, virtual slide generation method, virtual slide generation program product and virtual slide generation program transmission medium | |
JP2013020475A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2009014939A (ja) | 顕微鏡システム、そのvs画像生成方法、プログラム | |
JP6447675B2 (ja) | 情報処理装置、情報処理方法、プログラム及び顕微鏡システム | |
JP2013152423A (ja) | 画像処理装置、その制御方法、画像処理システム、及びプログラム | |
JP2012003214A (ja) | 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置 | |
JP2013174581A (ja) | 画像データ生成装置および画像データ生成方法 | |
JP2014130221A (ja) | 画像処理装置、その制御方法、画像処理システム、及びプログラム | |
JP2012013804A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
JP2014029380A (ja) | 情報処理装置、情報処理方法、プログラム及び画像表示装置 | |
US20130022268A1 (en) | Image processing apparatus, image processing system, and image processing program | |
JP2013153429A (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム | |
JP2011065371A (ja) | 画像生成方法及び画像生成装置 | |
JP2013068706A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
WO2013179723A1 (ja) | 情報処理装置、情報処理方法、プログラム及び顕微鏡システム | |
CN114175019A (zh) | 图像显示装置、方法及程序 | |
JP2016038542A (ja) | 画像処理方法および画像処理装置 | |
JP2005266718A (ja) | 顕微鏡画像撮影システム | |
JP2010020997A (ja) | モンタージュ画像の合成方法及び電子顕微鏡 | |
JP2011259504A (ja) | 撮像装置 | |
JP5874540B2 (ja) | 情報処理装置、情報処理方法、プログラム及び顕微鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141202 |