JP2013200639A - 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム - Google Patents
描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム Download PDFInfo
- Publication number
- JP2013200639A JP2013200639A JP2012067577A JP2012067577A JP2013200639A JP 2013200639 A JP2013200639 A JP 2013200639A JP 2012067577 A JP2012067577 A JP 2012067577A JP 2012067577 A JP2012067577 A JP 2012067577A JP 2013200639 A JP2013200639 A JP 2013200639A
- Authority
- JP
- Japan
- Prior art keywords
- magnification
- display
- image
- drawing data
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 44
- 230000002093 peripheral effect Effects 0.000 claims abstract description 6
- 238000002360 preparation method Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 9
- 230000000052 comparative effect Effects 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 5
- 239000012188 paraffin wax Substances 0.000 description 5
- 238000010827 pathological analysis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Microscoopes, Condenser (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Image Processing (AREA)
Abstract
【課題】 少ない視点移動で観察を行うことができ、拡大前後の画像を比較することも可能となる描画データを生成する描画データ生成装置を提供すること。
【解決手段】 描画データ生成装置は画像取得手段と倍率取得手段と生成手段を備える。生成手段は、第1の倍率への変更指示を取得した場合には、第1のレイアウトの描画データを生成し、第2の倍率への変更指示を取得した場合には、第2のレイアウトの描画データを生成する。第1のレイアウトでは、表示画像中の部分領域が該部分領域が表示されていた位置上に第1の倍率で表示される。第2のレイアウトでは、表示画像中の部分領域が該部分領域が表示されていた位置上に第2の倍率で表示され、且つ、部分領域及び該部分領域の周辺領域が第2の倍率よりも低い倍率で表示され、且つ、第2の倍率の部分領域と低い倍率の部分領域とが重ならない。
【選択図】 図7
【解決手段】 描画データ生成装置は画像取得手段と倍率取得手段と生成手段を備える。生成手段は、第1の倍率への変更指示を取得した場合には、第1のレイアウトの描画データを生成し、第2の倍率への変更指示を取得した場合には、第2のレイアウトの描画データを生成する。第1のレイアウトでは、表示画像中の部分領域が該部分領域が表示されていた位置上に第1の倍率で表示される。第2のレイアウトでは、表示画像中の部分領域が該部分領域が表示されていた位置上に第2の倍率で表示され、且つ、部分領域及び該部分領域の周辺領域が第2の倍率よりも低い倍率で表示され、且つ、第2の倍率の部分領域と低い倍率の部分領域とが重ならない。
【選択図】 図7
Description
本発明は、撮像画像を表示装置に表示するための描画データを生成する描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システムに関する。
従来、画像を表示する際に表示倍率を変更させながら画像の表示を行う様々な方法がある。例えば、画像中の注目領域において拡大表示を行うと画像全体の表示倍率が変更される方法、或いは、該注目領域近傍のみ部分的にオーバーラップ領域が形成されて拡大画像が元画像の上にオーバーラップされて表示される方法などがある。その他にも、注目領域の拡大前後が比較可能なように拡大画像を表示させる方法が提案されている(特許文献1)。
特許文献1では、注目領域の画像を拡大表示させる際に、注目領域以外の領域にオーバーラップ領域を形成して拡大画像を表示させる方法が開示されている。
特許文献1では、ユーザーが指定した注目領域以外の領域に新たにオーバーラップ領域を形成して拡大表示を行っている。このようにすることで、元々観察を行っていた表示倍率で表示された画像と拡大表示を行った表示倍率で表示された画像とが画面内に表示されるため、比較観察を行うことが可能となる。
ここで、大きな画像をスクロールさせながら観察する場合においては、観察位置の移動はスクロール操作によって行われ、表示画面を見るユーザーの視点の位置は移動されない場合や狭い限定された範囲内でのみ移動される場合が多い。これは、スクロールしながら視点を移動させてしまうと、見ている個所が分からなくなり混乱しやすくなるからである。このように、大きな画像をスクロールさせながら観察を行う場合の例としては、地図や医療用の病理診断用画像等の画像を観察する場合が挙げられる。このような画像の観察時にスクロール、及び、表示倍率の変更を繰り返し行う場合には、なるべく画面に対する視点の移動が生じないように表示することが望ましい。ところが特許文献1の方法では、注目領域の画像を拡大して観察したい場合に、注目領域として指定した以外の画面上の位置に、これから観察したい拡大画像が表示されてしまう。その結果、拡大画像を表示させるたびに視点の移動を行わなければならず、観察作業が非効率になってしまう場合があった。
そこで、本発明は、撮像画像の観察を行う際により少ない視点移動で観察を行うことができ、拡大前後の画像を比較することも可能となる描画データを生成する描画データ生成装置を提供することを目的とする。
本発明の一側面としての描画データ生成装置は、撮像画像のデータを取得する画像取得手段と、表示倍率の変更指示を取得する倍率取得手段と、前記撮像画像の少なくとも一部を表示画像として表示装置に表示するための描画データを生成する生成手段と、を備え、前記生成手段は、前記倍率取得手段で第1の倍率への変更指示を取得した場合には、第1のレイアウトの前記描画データを生成し、前記倍率取得手段で前記第1の倍率よりも高い第2の倍率への変更指示を取得した場合には、前記第1のレイアウトと異なる第2のレイアウトの前記描画データを生成し、前記第1のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第1の倍率で表示され、前記第2のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第2の倍率で表示され、且つ、該部分領域及び該部分領域の周辺領域が該第2の倍率よりも低い倍率で表示され、且つ、該第2の倍率の該部分領域と該低い倍率の該部分領域とが重ならないことを特徴とする。
本発明のその他の側面については、以下で説明する実施の形態で明らかにする。
撮像画像の観察を行う際により少ない視点移動で観察を行うことができ、拡大前後の画像を比較することも可能となる描画データを生成する描画データ生成装置を提供することができる。
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。なお、本実施形態はユーザーの視点移動が少なくなるように、表示画像のスクロールと変倍を行いながら表示を行うことを可能にするものである。本実施形態における画像表示の代表的な例としては、大きな画像を表示する用途として医療用画像(特に、病理画像)の観察を目的とした画像表示が挙げられる。以下、高解像度で静止画の撮像を行う顕微鏡等で撮像した撮像画像を想定し、以後の説明を行うものとする。
図1は本実施形態における装置構成を示している。図1中、100は静止画の撮像が可能な顕微鏡装置を示している。101は被写体となる試料が載せられたプレパラートであり、本実施例の説明において試料は透過物体であるものとして説明する。102はプレパラート101を載せるためのステージであり、撮像時に使う対物レンズ104の光軸方向に垂直な平面における位置の移動を行うことが可能である。また、ステージ102は撮像時の光軸方向に対しても移動可能であり、被写体の厚さ方向に対する位置(焦点)を変更することが可能である。103は光源、104は対物レンズであり、光源103からの光はプレパラート101を透過して対物レンズ104に入射する。105は撮像部であり、対物レンズ104が形成した被写体の像を撮像する。106はコントローラであり、ステージ102、光源103、撮像部105等の動作制御を行う。なお、対物レンズ104は、倍率が可変となるように、複数のレンズを切り替えられるようになっている、或いは、ズーム機構を備えているものであっても良い。この場合、レンズの切り替え、或いはズーム機能の制御はコントローラ106が行うようにすると良い。107は顕微鏡装置100に動作指示を送信するとともに、撮像された画像データを受信するための端末である。なお、コントローラ106の機能が端末107により実現されるような構成でも良い。
108は操作者に対して顕微鏡装置100の動作指示を指定するための画面、及び、撮像された画像情報の表示を行うディスプレイである。109は操作者の操作指示を入力するためのキーボードである。110は操作者の操作指示を入力するためのマウスである。111はネットワークを介して端末107と接続されたサーバーであり、顕微鏡装置100で撮像された画像データを記録する。なお、サーバー111は顕微鏡装置100とネットワークを介して直接接続されていて、撮像された画像データが直接サーバー111に記録されるようにしても良い。
本実施形態の画像表示方法(描画データ生成方法)は、描画データ生成装置としての端末107により実行され、表示装置としてのディスプレイ108により表示されるものである。しかし、顕微鏡装置100が上述の構成に加えてディスプレイ及びボタン等の操作指示入力手段を有している構成にし、端末107の機能をコントローラ106に組み込むことで、本実施形態の画像表示方法をコントローラ106により実現しても良い。なお、本明細書では、描画データ生成装置と表示装置とで構成されるシステムを描画データ生成システムと呼ぶ。
図2は、本実施形態の画像表示を実行する端末(コンピュータ)107の内部構成、及び、外部機器との関係を示している。200はCPUであり、処理に必要な演算を行う。201はプログラムやデータを記憶するROMであり、記憶されているプログラムやデータを読み出すことが可能である。202はRAMであり、プログラムや処理に必要なデータの書き込み、或いは、読み出しが可能である。203はプログラムや画像データなどの書き込み、或いは、読み出しが可能なストレージであり、HDDやSSDなどから構成される。204はグラフィックボードであり、画面表示を行う際に使用する描画データの生成を行う。205はインターフェースであり、端末107が外部機器である顕微鏡装置100との通信を行う際にデータの送受信を行う。206はLANインターフェースであり、端末107がネットワークと接続するサーバー111との通信を行う際にデータの送受信を行う。
以下に説明する本実施形態は、CPU200によって実行されるプログラムにより実現されるものとする。
次に、図3を用いて本実施形態の撮像対象であるプレパラート101の例を説明する。なお、図3を用いて行う以下の説明では、本実施形態に関係するプレパラート作成工程のみ説明するものとし、その他は省略する。
図3は、本実施形態の撮像対象であるプレパラート101の一例を示しており、病理診断時において使用される組織細胞の診断(以下、組織診と呼ぶ)向けのプレパラートの作成例である。組織診用のプレパラートでは、検体の組織的な構造、及び個々の細胞の形態を観察する目的で作成される。
300はパラフィンブロックであり、手術で切り出した検体301を薄切するためにパラフィン302で埋包したものである。通常、病理診断向けのプレパラート作成時には、スライドガラスに載せる試料は細胞1つの厚さに対して十分薄く切断される。そのため、連続的に薄切した試料はほぼ同じ細胞に対する断面とみなすことが可能である。306〜308は、パラフィンブロック300における連続的な切断位置303〜305においてそれぞれ薄切した結果の試料である。309〜311はそれぞれ306〜308からパラフィンを除去し、スライドガラス上に載せて異なる染色、或いは蛍光剤の付与を行った後に、カバーガラスを載せてプレパラートを作成した結果である。そして、各プレパラートの試料に対して拡大、縮小させた像を観察することにより、診断に有用な様々な情報を得ることが可能となる。更に、309〜311に示したように、ほぼ同じ細胞の様子を異なる染色結果や蛍光を用いて比較観察することにより、診断に有用な異なる複数の情報を得ることが可能となる。以上のように、1つのプレパラート内における様々な位置で、試料を拡大、縮小させた結果の比較観察や、異なる作成方法で作成されたプレパラート間の比較観察は、病理診断時において有用な情報を得るために重要である。
以上説明した病理診断用のプレパラートの観察では、高い倍率の対物レンズを用いて該プレパラートを撮像した画像を生成して観察を行う必要がある。そのため、プレパラート1枚分の画像サイズは非常に大きなものとなり、画像を観察する際にはスクロールを繰り返しながら画像を観察する必要がある。また、検体の表面側か内側か等の組織的な構造と、個々の細胞の様子を両方観察する必要が発生する場合も多く、観察時の表示倍率は頻繁に変更される可能性がある。このような画像の観察時にスクロールを行う際にはなるべく画面に対する視点は固定したい。そのため、同じ観察作業の中で頻繁に行われる表示倍率の変更を行った際にも、なるべく視点移動が少ない方が観察作業全体として視点移動が少なくなり作業効率が向上する。本実施形態はこのように表示画像に対するスクロール、及び、変倍が頻繁に発生するような画像観察時に、ユーザーの画面に対する視点移動を減らすことにより、観察作業効率を向上させることを目的とする。
図4は本実施例における描画データ生成システムの機能ブロック図である。400は表示倍率を入力するための表示倍率入力手段であり、画面上に表示された倍率変更ボタンの押下やマウス110に搭載されているホイール、或いは、キーボード109等から入力された指示を入力する。この表示倍率入力手段400が倍率取得手段に相当する。401は画像中の注目位置(注目領域の位置)を変更させる際の注目位置変更指示を入力する注目位置変更指示入力手段であり、画面上に表示された位置変更ボタンの押下やマウス110の移動、或いは、キーボード109等から入力された指示を入力する。402は表示する画像情報を入力するための画像入力端子であり、画像取得手段に相当する。403は予め定められた画面上の視点位置を取得する視点位置入力端子であり、視点位置取得手段に相当する。404は表示レイアウトを記憶するレイアウト記憶部であり、所定の倍率未満の画像表示を行うためのレイアウト、及び、所定の倍率未満の画像と所定の倍率以上の画像の表示を行うためのレイアウトを少なくとも記憶している。
405は高倍率描画範囲決定部であり、所定の倍率以上の表示倍率で画像を表示する際の画像中の描画範囲である高倍率描画範囲を決定する。高倍率描画範囲決定部405は、入力された表示倍率、注目位置、画面上の視点位置、及び、記憶されているレイアウトに応じて描画範囲を決定する。406は低倍率描画範囲決定部であり、所定の倍率未満の表示倍率で画像を表示する際の画像中の描画範囲である低倍率描画範囲を決定する。低倍率描画範囲決定部405は、入力された表示倍率、注目位置、画面上の視点位置、及び、記憶されているレイアウト、及び、高倍率描画範囲に応じて描画範囲を決定する。
407は描画データ生成部であり、低倍率描画範囲決定部406、及び、高倍率描画範囲決定部405で決定された描画範囲、及び、レイアウト記憶部404から取得されたレイアウトに基づいて、画像入力端子402から入力された画像から描画データを生成する。408は描画データ生成部407で生成された描画データを表示する画像表示部であり、表示装置に相当する。
図5、及び、図6は本実施例における画像表示方法の動作フローを示すフローチャートである。処理が開始されるとまず、ステップ500において初期表示を行う画像データの取得が行われる。ステップ501では、低倍率表示用、及び、高倍率表示用の初期注目位置、及び、初期表示倍率が取得される。ステップ502では、初期表示用の表示レイアウト、及び、視点位置の取得が行われる。ステップ503では、注目位置、表示倍率、視点位置、及び、表示レイアウトに基づいて高倍率表示用の表示範囲が決定される。ステップ504では、注目位置、表示倍率、視点位置、及び、表示レイアウトに加え、高倍率表示範囲に基づいて低倍率表示用の表示範囲が決定される。ステップ505では、高倍率表示用の表示範囲、及び、低倍率表示用の表示範囲、及び、表示レイアウトに基づいて表示用描画データの生成を行う。ステップ506では、ステップ505で生成した描画データに基づいて、ディスプレイ108に表示を行う。
ディスプレイ108に画像が表示されると、ステップ507において操作指示が入力されたか否かの判断が行われ、操作指示が入力されていなければ繰り返し操作指示の入力を待つ。ステップ507において操作指示が入力されたと判断されると処理はステップ508に移行し、操作指示が表示倍率の指定指示であったか否かが判定される。ステップ508において操作指示が表示倍率の変更指示であったと判定されると処理は後述する図6の処理に移行する。
ステップ508において操作指示が表示倍率の変更指示ではないと判定されると、処理はステップ509に移行して、操作指示が注目位置の変更指示であったか否かが判定される。ステップ509において注目位置の変更指示であったと判定されると、ステップ510において注目位置の取得を行い、次いでステップ511において予め定められた画面上の視点位置の取得を行う。
そして、ステップ512では現在の表示において高倍率での画像表示が行われていたか否かの判定が行われ、高倍率での画像表示が行われていたと判定された場合には、ステップ513で高倍率表示用の画像表示位置の設定を行う。ステップ513では、高倍率表示されている画像に対して、変更指示により指定された注目領域(部分領域)がステップ511で取得した視点位置に対応する画面上の位置に表示されるように表示位置の設定を行う。ステップ514では低倍率表示用の画像表示位置の決定を行う。ステップ514では後述するように、高倍率表示画像の注目領域と低倍率表示画像の画面上の表示が重ならないように、低倍率表示用の画像表示位置を決定する。一方、ステップ512において高倍率での画像表示が行われていなかったと判定された場合には、ステップ515において低倍率表示用の画像表示位置の設定を行う。ステップ515では、低倍率表示されている画像に対して、変更指示により指定された画像中の注目領域がステップ511で取得した視点位置に対応する画面上の位置に表示されるように表示位置の設定を行う。そして、ステップ514、或いは、ステップ515の処理が終了すると、ステップ503に戻って同様の処理を繰り返す。
一方、ステップ509において操作指示が注目位置の変更指示ではないと判定されると、処理はステップ516に移行して、操作指示が表示画像の変更指示であったか否かを判定する。ステップ516において表示画像の変更指示であると判定されると、処理はステップ517に移行して表示画像データの取得を行った後に、処理はステップ501に戻って同様の処理が繰り返す。
ステップ516において操作指示が表示画像の変更指示ではないと判定されると、処理はステップ518に移行して、操作指示が終了指示であったか否かが判定される。ステップ518において操作指示が終了指示ではないと判定されると、処理はステップ507に戻って操作指示の入力を待つ。一方、ステップ518において操作指示が終了指示であると判定されると、処理を終了する。
次に、ステップ508において操作指示が表示倍率の変更指示であったと判定された場合の処理を、図6を用いて説明する。
処理が開始されるとステップ600において操作指示で指定された表示倍率の取得が行われる。ステップ601では、予め定められた画面上の視点位置の取得が行われる。ステップ602では、ステップ600で取得した表示倍率が所定の閾値よりも大きいか否かの判定が行われる。ステップ602において表示倍率が所定の閾値よりも大きいと判定されると、処理はステップ603に移行し、表示レイアウトとして低倍率と高倍率の画像表示を並列に行うための並列表示レイアウトの選択を行う。ステップ604では、ステップ600で取得した表示倍率に基づいて高倍率表示用の表示倍率の設定を行う。ステップ605では、高倍率表示画像の注目領域がステップ601で取得した画面上の視点位置に表示されるように設定する。ステップ606では、高倍率表示画像の注目領域と低倍率表示画像の画面上の表示が重ならないように、低倍率表示用の画像表示位置を決定する。ステップ606の処理が終了すると、ステップ503に戻って同様の処理を繰り返す。
一方、ステップ602において表示倍率が所定の閾値未満であると判定されると、処理はステップ607に移行し、低倍率の画像表示を行うための基本表示レイアウトの選択を行う。ステップ608では、ステップ600で取得した表示倍率に基づいて低倍率表示用の表示倍率の設定を行う。ステップ609では、低倍率表示画像の注目領域がステップ601で取得した画面上の視点位置に表示されるように設定する。ステップ609の処理が終了すると、処理はステップ503に戻って同様の処理を繰り返す。
次に、図7を用いて、本実施形態の特徴である画像表示の好適な例を説明する。まず、図7(a)を用いて本実施形態において重要な項目である視点位置の説明を行う。図7(a)において、700はアプリケーションウィンドウである。701は画像表示領域であり、表示画像に相当する。702は予め定められた視点位置であり、図7(a)の例では画像表示領域701の中心位置に設定した例を示している。視点位置702は、画像の表示内容や表示レイアウトに依存せず、画像表示領域701或いはアプリケーションウィンドウ700内における相対的な位置関係から予め決定されている。
次に、図7(b)を用いて、基本表示レイアウトを用いた画像表示の好適な例を説明する。図7(b)中、703は所定の表示倍率未満での画像表示が行われている低倍率表示画像である。704は画面内で位置の指定や不図示のボタンなどを選択して操作指示を行うためのカーソルである。基本表示レイアウトでは、表示画像が選択され表示倍率と画像中の注目位置が設定されると、画像中の注目領域を視点位置702の位置に、指定された表示倍率で表示する。そして、表示位置の変更指示が行われると、指定された画像中の注目領域が視点位置に表示されるように表示位置が移動する。また、表示倍率の変更が行われた場合において、基本表示レイアウトで表示されている間は、画像中の注目領域が視点位置に表示されている状態で、注目領域を含む低倍率表示画像703の表示倍率が指定された倍率に変更される。基本表示レイアウト(第1のレイアウト)では、表示倍率が変更される前に注目領域が表示されていた位置上に、指定された新たな倍率(第1の倍率)で拡大された注目領域が表示される。
次に、図7(c)を用いて、並列表示レイアウト(第2のレイアウト)を用いた画像表示の好適な例を説明する。図7(c)中、705は所定の表示倍率以上での画像表示を行うための高倍率画像表示領域であり、視点位置702を含む位置に表示される。706は高倍率画像表示領域に表示されている高倍率表示画像であり、画像中の注目領域が視点位置702に表示されている。707は低倍率表示画像703中の注目領域である。
次に、画像が選択された後の初期表示画面が図7(b)であって、ユーザーの指示により表示画像中の注目領域の表示倍率を変化させ所定の閾値以上とした結果、表示画面が図7(c)のようになった場合の変化の様子を説明する。図7(b)の画面において表示倍率を変化させ所定の閾値以上となると表示レイアウトの変更が行われ、新たに高倍率画像表示領域705が視点位置702を含むように生成される。そして、指定された表示倍率(第2の倍率)を用いて、高倍率画像表示領域705に対して注目領域が視点位置上に表示されるように、注目領域が拡大して表示される。一方、画像表示領域701内であって、高倍率画像表示領域705以外の領域には、表示倍率変更指示前の低い表示倍率で画像の表示を行う。この場合に、低倍率表示画像703中の注目領域が、高倍率画像表示領域705に隠れないように表示する。具体的には、図7(c)に示すように、画像表示領域701内であって高倍率画像表示領域705以外の領域に、倍率表示画像703中の注目領域707が表示されるようにする。
次に、図7(c)のように並列表示レイアウトを用いた表示が行われている場合に、ユーザーの指示により画像中の注目領域の表示倍率を変化させ所定の閾値未満とした結果、表示画面が図7(b)のようになった場合の変化の様子を説明する。図7(c)の表示画面において表示倍率を変化させ所定の閾値未満となると、表示レイアウトの変更が行われ高倍率画像表示領域705が表示されなくなる。その結果、画像表示領域701内には低倍率表示画像703のみが表示されることになる。そして、表示倍率には変更を加えずに、低倍率表示画像703中の注目領域が視点位置702に表示されるように表示位置が変更されて図7(b)の表示状態となる。
図7のように表示を行うことにより、画像観察を行う際にユーザーは視点の移動を行う画像観察と、視点移動の少ない画像観察を選択的に行うことが可能となり、効率的に画像観察を行うことが可能となる。具体的には、表示倍率や表示位置を変化させながら画像の細部を観察する際に、画面内における視点位置を移動させてしまうと、表示内容の変更と視点移動の2重の変化に対応しなくてはならなくなり、見ている個所が分からなくなってしまう場合がある。そのため、視点位置を移動が少なくなるように、指定された位置の表示を行うことが望ましく、表示位置の移動が行われた場合には、図7(b)に示すように指示された注目領域が視点位置に表示されるようにすると良い。また、表示倍率の変更が行われる場合には、注目領域は視点位置に表示されたままで、表示倍率が変更された画像が表示されるようにすると良い。
一方で、画像観察において、所定以上の表示倍率で詳細な様子を観察行いながら、更に所定未満の倍率で全体の様子を観察し、両方の結果を比較しながら観察する場合がある。例えば、図3で説明したような病理画像の観察においては、高倍率の表示で個々の細胞の形状の様子を観察する一方で、低倍率の表示で臓器などの組織的な特徴に基づいて癌の浸潤度や発生位置などを確認する場合がある。このような場合に、異なる表示倍率で同じ位置の画像を比較観察できることが望ましく、表示画面上に異なる表示倍率の画像の表示を行うことで、比較観察を行うことが可能となる。ここで、比較観察を行う場合においては、まず高倍率で表示を行うべき領域を探す必要がある。具体的には、図7(b)で示すような低倍率の表示を行っている状態から、高倍率で確認する領域を拡大して確認することが行われる。この場合、高倍率で確認すべき領域を探している間は、表示位置の移動と倍率の変更が繰り返されるため、視点の移動は少ない方が望ましい。一方、高倍率で確認すべき領域が見つかった後で、低倍率の表示画像との比較観察を行う際には、ユーザー操作による表示位置の移動が行われることが少ないため、表示画面内で視点位置を移動させても、見ている箇所が分からなくなってしまうことが少なくなる。また、図7(c)で示したように高倍率で確認すべき領域の外に、比較すべき注目領域を含むように低倍率の表示を行うことにより、高倍率で確認すべき領域を見つける作業に続いて、比較観察を実行することが可能となる。
なお、図7においては視点位置702、及び、705は矩形で示しているが、本発明はこれに限るものではない。例えば、視点位置内、或いは、視点位置外の領域の色や輝度を変化させても良い。更に、画像表示領域701の内側、或いは、外側に矩形ではない視点位置を示すマーカー等の表示を行う等でも良い。その他、本発明は視点位置をユーザーに対して示すことが可能であれば、視点位置の提示方法は限定されない。また、視点位置を示す表示が画像観察の邪魔になる場合には、表示、非表示を選択可能にしても良い。
なお、本実施例では視点位置は画面の中央であるとしたが、本発明はこれに限るものではなく中央以外の様々な位置にしても良い。
更に、本実施例では表示位置の移動の際に、注目位置を指定するものとして説明したが、特定の位置を指定して観察するのではなく、連続的に位置を変化させながら画像全体を走査して観察する場合であれば、移動速度や移動方向を指定するようにしても良い。この場合であっても、本発明を適用することにより、表示位置の移動、及び、表示倍率の変更時には視点移動の少ない画像観察をすることが可能になり、更に、高倍率表示時において異なる表示倍率での画像比較観察も可能となる。
以上説明したように、本実施形態によるとスクロールや変倍を繰り返し行いながら画像観察を行う場合に、視点移動を低減させながら観察を行うことが可能となる。更に、本実施形態によれば、スクロールや変倍を繰り返し行う観察作業中に、画像中の注目領域に対して異なる倍率での比較観察を行うことが可能となる。その結果、スクロールや変倍を繰り返しながら画像を観察する際のユーザーの負荷を低減させ観察作業の効率を上げることが可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
例えば、上述の実施例1では高倍率の画像表示は低倍率の画像表示領域の上に重ねて表示する例を示した。しかし、本発明はこれに限定されるものではなく、視点の移動を少なくする方法であれば良いため、例えば画像表示領域を分割する等の表示方法も適用可能である。図8は表示領域を分割する際の一例を示している。図8(a)は基本表示レイアウト時の表示画面を示しており、図7と同様の符号は説明を省略する。図8(b)は並列表示レイアウト(第2のレイアウト)を示しており、図8(a)の表示レイアウトに対して、表示領域が分割されている。なお、視点位置702が画像表示領域701、或いは、アプリケーションウィンドウ700に対して固定されていることは上述の実施例と同様である。図8(a)の画像表示領域701が、図8(b)では高倍率画像表示領域800と、低倍率画像表示領域801に分割される。そして、低倍率画像の表示は図8(b)の802に示すように、注目領域およびその周辺領域が含まれるように低倍率画像表示領域801中に表示する。一方、表示倍率の変更指示に基づいて表示倍率を高めた画像表示を行っている高倍率画像表示領域800では、画像の注目領域が視点位置702に表示されるようにする。
なお、図8の例では表示レイアウトの切り替えに応じて画像表示領域の分割・非分割が切り替わっているが、図8(b)に示すレイアウトのみにして切り替えを行わず、予め分割されていても良い。この場合、表示倍率の変更指示に従って表示倍率を変更する画像表示が視点位置702を含む画像表示領域800に、表示倍率の変更を行わない比較対象の表示倍率の画像表示が他方の画像表示領域801に表示されるようにすると良い。そして、所定の表示倍率を超えたときにのみ画像領域801に低倍率の画像表示を行うようにしても良い。このようにすることで、並列表示の際の画像表示位置が固定的になるため、表示内容の切り替えが発生しても注目領域の画面内での表示位置を予測しやすくなる。なお、レイアウトに関しては上述の説明に限定されるものではなく、視点位置に注目領域を表示させることで視点移動を少なくすることが可能な様々な配置を適用することが可能である。
更に、上述の実施例1では、視点位置は予め定められているとしたが、ユーザーが適宜変更可能にしても良い。このようにすることで、画面内の表示内容に応じて、適切な位置に視点位置を指定することが可能になり、観察作業が効率的になる。
なお、上述の実施例はCPU200によって実行されるプログラムにより実現されるものとして説明したが、本発明はこれに限るものではない。例えば、上述の一部、或いは全部をハードウェアにより構成するようにしても良い。
更に、本発明はディスプレイ108が接続された端末107中で実施されるのみならず、ネットワークに接続された他の端末により描画データの生成を行うようにする。そして、ネットワークを介して送信された描画データがディスプレイ108に表示されるような構成であっても良い。つまり、描画データの生成と画像表示が行われるディスプレイが離れた位置にあるようなシステム構成においても適用可能である。
なお、本発明では、常に、上述の描画データ生成方法又は画像表示方法を使ったモードを実行する必要はなく、状況に応じて、そのモードとは別のモードを(ユーザーの指示またはコンピュータの判断により)実行しても良い。
100 顕微鏡装置
101 プレパラート
102 ステージ
103 光源
104 対物レンズ
105 撮像部
106 コントローラ
107 端末
108 ディスプレイ
109 キーボード
110 マウス
111 サーバー
200 CPU
201 ROM
202 RAM
203 ストレージ
204 グラフィックボード
205 I/F
206 LAN I/F
300 パラフィンブロック
301 検体
302 パラフィン
306〜308 試料
309〜311 プレパラート
101 プレパラート
102 ステージ
103 光源
104 対物レンズ
105 撮像部
106 コントローラ
107 端末
108 ディスプレイ
109 キーボード
110 マウス
111 サーバー
200 CPU
201 ROM
202 RAM
203 ストレージ
204 グラフィックボード
205 I/F
206 LAN I/F
300 パラフィンブロック
301 検体
302 パラフィン
306〜308 試料
309〜311 プレパラート
Claims (9)
- 撮像画像のデータを取得する画像取得手段と、
表示倍率の変更指示を取得する倍率取得手段と、
前記撮像画像の少なくとも一部を表示画像として表示装置に表示するための描画データを生成する生成手段と、を備え、
前記生成手段は、
前記倍率取得手段で第1の倍率への変更指示を取得した場合には、第1のレイアウトの前記描画データを生成し、
前記倍率取得手段で前記第1の倍率よりも高い第2の倍率への変更指示を取得した場合には、前記第1のレイアウトと異なる第2のレイアウトの前記描画データを生成し、
前記第1のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第1の倍率で表示され、
前記第2のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第2の倍率で表示され、且つ、該部分領域及び該部分領域の周辺領域が該第2の倍率よりも低い倍率で表示され、且つ、該第2の倍率の該部分領域と該低い倍率の該部分領域とが重ならない
ことを特徴とする描画データ生成装置。 - ユーザーの視点位置を取得する視点位置取得手段を備え、
前記生成手段は、前記部分領域が前記視点位置上に表示されるように、前記描画データを生成する
ことを特徴とする請求項1に記載の描画データ生成装置。 - 前記第2のレイアウトでは、前記第2の倍率の表示領域が、前記低い倍率の表示領域の中に表示される
ことを特徴とする請求項1又は2に記載の描画データ生成装置。 - 前記第2のレイアウトでは、前記第2の倍率の表示領域が、前記低い倍率の表示領域の外に表示される
ことを特徴とする請求項1又は2に記載の描画データ生成装置。 - 前記第1のレイアウトでは、前記第1の倍率の表示領域のみが表示される
ことを特徴とする請求項1乃至4のいずれか1項に記載の描画データ生成装置。 - 前記撮像画像は、顕微鏡で取得した画像である
ことを特徴とする請求項1乃至5のいずれか1項に記載の描画データ生成装置。 - コンピュータが撮像画像のデータを取得する画像取得工程と、
コンピュータが表示倍率の変更指示を取得する倍率取得工程と、
コンピュータが前記撮像画像の少なくとも一部を表示画像として表示装置に表示するための描画データを生成する生成工程と、を有し、
前記生成工程では、
前記倍率取得工程で第1の倍率への変更指示を取得した場合には、第1のレイアウトの前記描画データを生成し、
前記倍率取得工程で前記第1の倍率よりも高い第2の倍率への変更指示を取得した場合には、前記第1のレイアウトと異なる第2のレイアウトの前記描画データを生成し、
前記第1のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第1の倍率で表示され、
前記第2のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第2の倍率で表示され、且つ、該部分領域及び該部分領域の周辺領域が該第2の倍率よりも低い倍率で表示され、且つ、該第2の倍率の該部分領域と該低い倍率の該部分領域とが重ならない
ことを特徴とする描画データ生成方法。 - 請求項7に記載の描画データ生成方法の各工程をコンピュータに実行させるプログラム。
- 表示装置と、撮像画像を前記表示装置に表示するための描画データを生成する描画データ生成装置と、を備える描画データ生成システムであって、
撮像画像のデータを取得する画像取得手段と、
表示倍率の変更指示を取得する倍率取得手段と、
前記撮像画像の少なくとも一部を表示画像として表示装置に表示するための描画データを生成する生成手段と、を有し、
前記生成手段は、
前記倍率取得手段で第1の倍率への変更指示を取得した場合には、第1のレイアウトの前記描画データを生成し、
前記倍率取得手段で前記第1の倍率よりも高い第2の倍率への変更指示を取得した場合には、前記第1のレイアウトと異なる第2のレイアウトの前記描画データを生成し、
前記第1のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第1の倍率で表示され、
前記第2のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第2の倍率で表示され、且つ、該部分領域及び該部分領域の周辺領域が該第2の倍率よりも低い倍率で表示され、且つ、該第2の倍率の該部分領域と該低い倍率の該部分領域とが重ならない
ことを特徴とする描画データ生成システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012067577A JP2013200639A (ja) | 2012-03-23 | 2012-03-23 | 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム |
US13/835,761 US9159117B2 (en) | 2012-03-23 | 2013-03-15 | Drawing data generation apparatus, drawing data generation method, program, and drawing data generation system for changing magnification of displayed images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012067577A JP2013200639A (ja) | 2012-03-23 | 2012-03-23 | 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013200639A true JP2013200639A (ja) | 2013-10-03 |
Family
ID=49211373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012067577A Pending JP2013200639A (ja) | 2012-03-23 | 2012-03-23 | 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9159117B2 (ja) |
JP (1) | JP2013200639A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021515912A (ja) * | 2018-03-06 | 2021-06-24 | ベンタナ メディカル システムズ, インコーポレイテッド | ディジタル病理スキャニング・インターフェースおよびワークフロー |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
KR102065408B1 (ko) * | 2013-08-16 | 2020-01-13 | 엘지전자 주식회사 | 이동 단말기 |
CN104408687B (zh) * | 2014-10-31 | 2018-07-27 | 酷派软件技术(深圳)有限公司 | 一种图片播放的方法及装置 |
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
US10373290B2 (en) * | 2017-06-05 | 2019-08-06 | Sap Se | Zoomable digital images |
US10782875B2 (en) * | 2018-10-17 | 2020-09-22 | Emagine Solutions Technology LLC | Touchscreen method for medically precise measurements in ultrasound images |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10274741A (ja) * | 1997-03-31 | 1998-10-13 | Tsushin Hoso Kiko | 被検体遠隔観測システム |
JP2001059940A (ja) * | 1999-08-24 | 2001-03-06 | Nikon Corp | 顕微鏡及び記録媒体 |
JP2006145857A (ja) * | 2004-11-19 | 2006-06-08 | Olympus Corp | 走査型レーザ顕微鏡 |
JP2006343573A (ja) * | 2005-06-09 | 2006-12-21 | Olympus Corp | 顕微鏡システム、観察方法および観察プログラム |
US20090028544A1 (en) * | 2007-07-27 | 2009-01-29 | Nikon Corporation | Microscope system and microscope observation method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07320085A (ja) | 1994-05-27 | 1995-12-08 | Ricoh Co Ltd | 画像情報処理装置 |
US5754348A (en) * | 1996-05-14 | 1998-05-19 | Planetweb, Inc. | Method for context-preserving magnification of digital image regions |
JP3713696B2 (ja) * | 1997-06-02 | 2005-11-09 | ソニー株式会社 | デジタルマップの拡大縮小表示方法、デジタルマップの拡大縮小表示装置、及びデジタルマップの拡大縮小表示プログラムを格納した格納媒体 |
US7474960B1 (en) * | 2002-12-30 | 2009-01-06 | Mapquest, Inc. | Presenting a travel route |
US8031206B2 (en) * | 2005-10-12 | 2011-10-04 | Noregin Assets N.V., L.L.C. | Method and system for generating pyramid fisheye lens detail-in-context presentations |
US8179403B2 (en) * | 2006-10-19 | 2012-05-15 | Panasonic Corporation | Image synthesis device, image synthesis method, image synthesis program, integrated circuit |
KR101009881B1 (ko) * | 2008-07-30 | 2011-01-19 | 삼성전자주식회사 | 재생되는 영상의 타겟 영역을 확대 디스플레이하기 위한장치 및 방법 |
JP5652227B2 (ja) * | 2011-01-25 | 2015-01-14 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
-
2012
- 2012-03-23 JP JP2012067577A patent/JP2013200639A/ja active Pending
-
2013
- 2013-03-15 US US13/835,761 patent/US9159117B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10274741A (ja) * | 1997-03-31 | 1998-10-13 | Tsushin Hoso Kiko | 被検体遠隔観測システム |
JP2001059940A (ja) * | 1999-08-24 | 2001-03-06 | Nikon Corp | 顕微鏡及び記録媒体 |
JP2006145857A (ja) * | 2004-11-19 | 2006-06-08 | Olympus Corp | 走査型レーザ顕微鏡 |
JP2006343573A (ja) * | 2005-06-09 | 2006-12-21 | Olympus Corp | 顕微鏡システム、観察方法および観察プログラム |
US20090028544A1 (en) * | 2007-07-27 | 2009-01-29 | Nikon Corporation | Microscope system and microscope observation method |
Non-Patent Citations (1)
Title |
---|
JPN6016002244; 山口 雅浩、外4名: '"定量的病理診断を可能とする病理画像認識技術の開発"' 電子情報通信学会技術研究報告 Vol.111, No.389, 20120112, pp.165-170, 社団法人電子情報通信学会 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021515912A (ja) * | 2018-03-06 | 2021-06-24 | ベンタナ メディカル システムズ, インコーポレイテッド | ディジタル病理スキャニング・インターフェースおよびワークフロー |
JP7183286B2 (ja) | 2018-03-06 | 2022-12-05 | ベンタナ メディカル システムズ, インコーポレイテッド | ディジタル病理スキャニング・インターフェースおよびワークフロー |
US11656446B2 (en) | 2018-03-06 | 2023-05-23 | Ventana Medical Systems, Inc. | Digital pathology scanning interface and workflow |
Also Published As
Publication number | Publication date |
---|---|
US20130249952A1 (en) | 2013-09-26 |
US9159117B2 (en) | 2015-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6348504B2 (ja) | 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法 | |
US9891804B2 (en) | Selection and display of biomarker expressions | |
JP2013200639A (ja) | 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム | |
JP5561027B2 (ja) | 情報処理装置、情報処理方法及びそのプログラム | |
JP5617233B2 (ja) | 情報処理装置、情報処理方法及びそのプログラム | |
US8417006B2 (en) | System and method for improved viewing and navigation of digital images | |
JP2006343573A (ja) | 顕微鏡システム、観察方法および観察プログラム | |
JP2013134574A (ja) | 画像データ生成装置、画像データ表示システムおよび画像データ生成方法 | |
JP2014021490A (ja) | スタックされた顕微鏡画像をナビゲートするための方法及び装置 | |
EP2984471A1 (en) | Method and apparatus for small and large format histology sample examination | |
CN112585692A (zh) | 医疗***、医疗设备和医疗方法 | |
JP2011227629A (ja) | 情報処理装置及びそのプログラム | |
US9214019B2 (en) | Method and system to digitize pathology specimens in a stepwise fashion for review | |
EP1990668A2 (en) | Microscopic-measurement apparatus | |
CN114388105A (zh) | 病理切片处理方法、装置、计算机可读介质及电子设备 | |
JP5858774B2 (ja) | 表示画面生成装置及びその制御方法 | |
JP2016038542A (ja) | 画像処理方法および画像処理装置 | |
JP2013190787A (ja) | 描画データ生成装置、描画データ生成方法、及びプログラム | |
CN116235223A (zh) | 使用基于目光的跟踪的注释数据收集 | |
JP2013200638A (ja) | 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160628 |