JP2019532352A - 組織標本の組織学的検査のためのシステム - Google Patents

Abstract

画像取得および投影のための相互作用性の装置、システムおよび方法が光学顕微鏡に統合される。画像取得および投影ユニットが処理ユニットに動作可能に接続され、処理ユニットは、（ａ）ユーザー作成のデータを受け取る、かつ（ｂ）ユーザ作成のデータをアイピースを通して見える光学的に観察される画像にオーバーレイする、ように構成される。【選択図】図１

Description

発明の分野
本発明は、手動および自動顕微鏡、詳細にはアイピースと、標本を照明する働きがある照明光路と、標本を撮像する検出光路とを有し、追加のデータをアイピース内でオーバーレイできる顕微鏡の分野、ならびにその操作方法に関する。

発明の背景
顕微鏡は、２００年以上にわたり使用されてきたが、この間に設計および使用における概念上の変化はほとんどなかった。しかし、非限定的に病理学者などの多忙な顕微鏡ユーザにとって、顕微鏡の操作は、最良の診断に達することおよび症例報告書を完成させることに関して必ずしも効率的ではない。

現在、標本検査を開始する際に顕微鏡ユーザは、標本を観察するためにアイピースを通して見る。ユーザはその後、最良の判断に従って標本の特徴または特色に基づく決定または診断を行う。言い換えれば、ユーザは、主にアイピース中の光学的画像に基づいて決定に至り、決定への到達を支援する他のコンピュータ支援ツール、または患者データもしくは同等の標本などの他のデータセットを一般には使用していない。

その上、ユーザにより実施される研究を審査するための効果的方法、または標本について同僚と効果的に相談することが可能なユーザは現在のところ存在しない。後の時点で、どの研究を実施したか、特定の結論に達するのに用いられた画像が何か、またはどのようにして診断に至ったか、を知るための検証可能な方法は存在しない。

今日では多くの顕微鏡が、そこで画像をさらに分析し報告として保存できる個人のコンピュータステーション中に画像を取得するために用いられる第三の接眼レンズ内の撮像カメラを可能にするが、多くの顕微鏡ユーザは概して、ワークフローが緩徐になるために、これらの撮像カメラを用いないことが分かっている。

さらに、診断に続き、ユーザはその後、症例報告書を生成するために顕微鏡の使用を中止しなければならない。これに関連して、ユーザは、中核的仕事の一部ではない職務を完了するために、顕微鏡から離れて時間を過ごさざるを得ない。これは、標本診断ワークフローの改善に充分に適さない、手間のかかる状況である。

具体的には、
・顕微鏡は、各試料が組織細胞の物理的または化学的性質により顕在化される様々な重要な病理の存在について顕微鏡レンズ下で検査される、臨床病理学および毒性病理学において最も重要なツールである。
・今日まで、顕微鏡検査には２種の主要な方法：手動顕微鏡検査および自動ホールスライド画像検査、が存在する。
・手動顕微鏡検査を用いる実際の臨床または医薬研究の現場では、検査スライドの処理能力は、分析正確度と同程度に重要である。必要であれば、他のスライドとの比較が、顕微鏡下でスライドを交換することにより手動で実施される。標本のデジタル写真撮影は、データ獲得、保存、分析および報告に追加のコンピュータ使用ステップを必要とするため、時折行われるに過ぎない。
・とりわけ、手動の顕微鏡検査の顕著な利点は、ヒトの知覚の利用であり、より深い検査のためのスライドエリアの非常に迅速なスキャニングおよび関心領域（ＲＯＩ）の同定を可能にする。この目標のために多くの試みがなされているが、コンピュータアルゴリズムは、十分に訓練された専門家の能力に匹敵しない。さらに別の利点は、画像センサおよびモニターによって再生することが困難である領域の色および深さの正確な非間接的知覚である。
・さらに、実際の臨床現場での日常的写真撮影の欠如は、自動診断および／または診断支援アルゴリズムの開発に不可欠な構成要素であるデータベース中に配列される臨床データの作成を限定する。
・自動ホールスライド撮像顕微鏡検査は、スライドをスキャニングし情報をコンピュータシステムに保存することにより、ホールスライドエリアの多重解像度画像／焦平面のスキャニング画像を作成する。現行の技術の限界内では、スキャニング／情報検索は、手動の顕微鏡検査に比較して実質的により長い時間がかかる。例えば、デジタルホールスライド撮像システムの手動顕微鏡検査との比較は、自動システムでの１３倍長い概算時間を明らかにした（“Ｕｓｉｎｇ ｃｏｍｐｕｔｅｒｉｚｅｄ ｗｏｒｋｆｌｏｗ ｓｉｍｕｌａｔｉｏｎｓ ｔｏ ａｃｃｅｓｓ ｔｈｅ ｆｅａｓｉｂｉｌｉｔｙ ｏｆ ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｉｎｇ ｆｕｌｌ ａｄｏｐｔｉｏｎ ｉｎ ａ ｈｉｇｈ−ｖｏｌｕｍｅ ｈｉｓｔｏｌｏｇｙ ｌａｂｏｒａｔｏｒｙ” ＭｃＣｌｉｎｔｏｃｋ， Ｌｅｅ， Ｇｉｌｂｅｒｔｓｏｎ）。この欠点が、それらのシステムの実際の配備に少なからぬ障害を与えている。
・この状況は、少なくとも２０年間存在する。

幾つかのバックグランド情報を、以下の米国特許および特許出願に見出すことができ、これらは参照により本明細書に組み入れられる：

Ｄｕｒｎｅｌｌらへの表題「Ｅｙｅ ｔｒａｃｋｉｎｇ ａｐｐａｒａｔｕｓ」の米国特許第９，２７１，６４８号は、双眼鏡または暗視ゴーグルなどの第二の光学装置との併用のための、ユーザの目をモニタリングする視線計測装置を開示する。

Ｌｕｌｅｙ，ＩＩＩらへの表題「ＩＮＪＥＣＴＩＯＮ ＯＦ ＳＥＣＯＮＤＡＲＹ ＩＭＡＧＥＳ ＩＮＴＯ ＭＩＣＲＯＳＣＯＰＥ ＶＩＥＷＩＮＧ ＦＩＥＬＤＳ」の米国特許出願公開第２０１００２４５５５７号は、二次画像を手術用顕微鏡の視野に導入するためのシステムおよび方法を開示する。幾つかの模範的実施形態は二次画像導入をピクチャーインピクチャー配置で提供でき、それにより外科医に、手術用顕微鏡の接眼レンズを通して１つまたは複数の二次画像と手術領域とを同時に観察させる。幾つかの模範的実施形態は、内視鏡からのライブ映像などのライブビデオを含む二次画像、および術前試験からの保存された画像などの過去に得られた画像の導入を可能にする。

Ｓｃｈｌａｕｄｒａｆｆ Ｆａｌｋへの表題「ＬＡＳＥＲ ＭＩＣＲＯＤＩＳＳＥＣＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＬＡＳＥＲ ＭＩＣＲＯＤＩＳＳＥＣＴＩＯＮ ＳＹＳＴＥＭ ＭＥＴＨＯＤ」の米国特許出願公開第２０１６０２０２１５０号は、生体試料を受けるための試料領域への顕微鏡の対物レンズを通してレーザーにより提供されるレーザー光を誘導しかつ試料領域でレーザー光の衝突点を移動させるレーザーディフレクターを有する偏光デバイスを含む顕微鏡を含む、レーザーマイクロダイセクションシステムを開示する。

標題「Ｇｕｉｄｅｓ ａｎｄ ｉｎｄｉｃａｔｏｒｓ ｆｏｒ ｅｙｅ ｍｏｖｅｍｅｎｔ ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍｓ」の米国特許第７３６５７３８号は、ユーザがビデオディスプレイを観察している時のユーザの目の配向をモニタリングする視線計測装置を開示する。

本発明は、手動および自動の両方の方法の上記欠点を克服することを可能にし、自動ホールスライド撮像で見出される画像解析のためのデジタルデータ収集およびコンピュータ化ツールによる迅速な手動ワークフロー（顕微鏡を介した直接的な光学観察に基づく）を維持する。

実施形態の概要
本明細書で開示される主題の別の態様によれば、電子光学ユニットを顕微鏡の光学アクセサリーベイまたは顕微鏡の画像光学経路内の他の適切なポートに挿入することにより光学顕微鏡を改造し、それにより光学画像面の観察と、光学画像面からのデジタル画像の獲得と、標本の光学画像へのオーバーレイとしてのポインターおよびデジタル情報の表示とを可能にするシステムが提供される。

模範的実施形態において、電子光学ユニットは、光学縦列のフーリエ面に、またはその付近に挿入される。電子光学ユニットは、画像取得および画像投影ユニットを含む。

模範的実施形態において、電子光学ユニットは、例えばフィルターのベイにおいて、標準的顕微鏡の光学縦列（ｏｐｔｉｃａｌ ｔｒａｉｎ）の中にそれが挿入されることを可能にする、フォームファクタを有する。

別の模範的実施形態において、顕微鏡の標準的なカメラポートが画像取得のために用いられ、画像投影ユニットは光学縦列に沿った別の場所に挿入される。

さらに別の模範的実施形態において、顕微鏡は、顕微鏡の一体化部品として画像取得および画像投影ユニットを備えて設計および製造される。

本明細書に開示される主題の別の態様によれば、顕微鏡の画像光学経路内のアイピースまたは他の適切なポートを改造し、それにより光学画像面の観察と、光学画像面からのデジタル画像の獲得と、標本の光学画像へのオーバーレイとしてのポインターおよびデジタル情報の表示とを可能にするシステムが提供される。オーバーレイされる情報としては、他のタイプのユーザ作成データに加えて、デジタル文字データ、寸法測定、画像処理、過去に獲得した画像または部分的画像などを挙げることができる。

システムは、オーバーレイデータを作成するためのマイクロディスプレイと、光学画像経路から画像を取得するためのデジタル撮像アレイと、マイクロディスプレイからの画像を光学画像経路内に組み合わせる手段と、コンピューティングモジュールおよびユーザインーフェースデバイスとを含む。

本明細書に開示される主題の別の態様によれば、データ処理ユニットに動作可能に接続される相互作用性アイピースが提供され、ここでデータ処理ユニットは（ａ）ユーザ作成データを受け取る、かつ（ｂ）顕微鏡のアイピースを通して見える画像にユーザ作成データをオーバーレイする、ように構成される。

幾つかの例において、アイピースは、ユーザ作成データのオーバーレイと共にデバイスにより獲得された画像の表示を可能にする。

本明細書に開示される主題のさらに別の態様によれば、相互作用性顕微鏡を操作する方法が提供され、この方法は（ａ）ユーザ作成データを受け取ること、および（ｂ）顕微鏡のアイピースを通して見える画像にユーザ作成データをオーバーレイすることを含む。

特に、本発明の一態様は、オーバーレイ画像の詳細な表示を目的として光学画像の一部を選択的に暗化するための方法であり、一方で他の光学画像エリアでは、光学オーバーレイ画像とデジタルオーバーレイ画像の両方の組み合わせが出現する。

本発明のさらに別の態様は、デジタル画像が取得され、標識されおよび保存される標本エリアの大量で自動的な選択の方法である。それらの画像はさらに、病理の自動検出、大規模なデータ解析、テレパソロジー、画像データベースの商品化、または他の目的でアルゴリズムを仕立てるために用いられてよい。

病理検出および分類のための自動アルゴリズムの開発に不可欠な要件の１つは、充分に大規模なトレーニングセットの存在である。そのようなデータセットの作成は、ユーザの臨床ワークフローの既存の時間制限されたワークフロー内では実用的でない。自動ホールスライド撮像法は莫大な量のデータを作成し、そのほとんどがタスクをトレーニングするアルゴリズムとは無関係である。本発明の幾つかの実施形態は、ユーザからの何らかの特別な労作なしにそのようなデータセットの自動作成を可能にする。画像が獲得されるたびに、それはデータベース内に保存される。幾何学的形態が描写および／または測定されると、そのエリアは潜在的病理としてタグ付けされる。撮像センサは、一定して画像を獲得し、それらを処理してスライドが移動しているか、または静止状態であるかを決定する。これは、非限定的に、平均的な画像のぼかしおよびコントラスト勾配強度を評価するなどの、種々のアルゴリズムにより実現できる。移動するスライドは低い勾配コントラストおよび高いぼかしを有し、静止しているスライドは、反対の特性を有するであろう。スライドが静止するたびに、画像が取得されデータベース中に保存され、病理の検出のための目的の潜在的領域としてタグ付けされる。

動的輪郭などの特色追跡画像処理技術を利用することにより、元のポイントに対するスライドの相対的位置が計測されユーザに表示され、取得および保存された画像上にマークされ、報告書に送達され得る。この特色により、ユーザは手動検索を利用せずに必要に応じて後に、スライド上の検出された特色に戻ることができる。

目的の潜在的病理領域の決定のための別の方法は、例えば瞳の位置に基づく、観測者の視線（ユーザの熟視）を追跡することに基づく。多くの場合、スライドスキャニング速度は充分に緩やかであり、そのため疑わしい領域の初期観察は、スキャニングの実質的停止なしに、視線（熟視）をスライド画像上の特定エリアに固定することにより実施される。この場合、所定の期間、典型的には約２５０ｍｓを超える特定点への「固定された」熟視は、潜在的病理としての画像取得およびデータベースへの保存も惹起する。

上記方法を利用して、画像を含むデータベースは、「病的」（幾何学的形状および／もしくは測定でマークされるか、またはユーザにより能動的に取得されたもの）、「高度に疑わしい」（観測者がスキャニング工程を停止および再開した時に自動的に獲得されるもの）、および「低レベルで疑わしい」（観測者がスライド上の特定エリアに熟視を固定した時に自動的に獲得されるもの）としてタグ付けされる。

本発明のさらに別の態様は、上述のシステムを統合する際に撮像区画の正しい焦点を維持する方法である。

本発明が倒立顕微鏡での使用にも採用され得ることが、留意されなければならない。

本明細書に開示される主題の別の態様によれば、画像取得および画像投影のための装置が提供され、この装置は、デジタル画像を取得するためのデジタルカメラと；投影された画像の光を生成するためのデジタル画像プロジェクタと；ａ）顕微鏡の対物レンズから到達する光の第一の部分を分割し、顕微鏡の対物レンズから到達する光の第一の部分をカメラに方向づける；ｂ）顕微鏡の対物レンズから到達する光の第二の部分を伝送し、顕微鏡の対物レンズから到達する光の第二の部分を顕微鏡の少なくとも１つの接眼レンズに方向づける；かつｃ）デジタル画像プロジェクタによって生成される投影画像の光の一部を、顕微鏡の対物レンズから到達する光の第二の部分と組み合わせ、対物レンズから到達する光の第二の部分とデジタル画像プロジェクタにより生成される投影画像の光の一部の組み合わせが顕微鏡の少なくとも１つの接眼レンズを通して観察されるようにする、ためのビームスプリッタとを含む。

幾つかの模範的実施形態において、画像取得および画像投影のための装置は、顕微鏡のフィルターベイ内に取り付けられるように構成される。

幾つかの模範的実施形態において、装置は、顕微鏡の対物レンズから到達する光の第一の部分をデジタルカメラのデジタル撮像アレイ上に集束するための少なくとも１つのレンズをさらに含む。

幾つかの模範的実施形態において、装置は、デジタル画像プロジェクタにより生成される投影画像の光を、顕微鏡の少なくとも１つの接眼レンズの中間アイピース画像面で集束するための少なくとも１つのレンズをさらに含み、それにより顕微鏡の少なくとも１つの接眼レンズを通して観察されるとデジタル画像プロジェクタにより投影される画像に焦点が合うようにする。

幾つかの模範的実施形態において、ビームスプリッタは、顕微鏡のフーリエ面に配置されるように構成される。

幾つかの模範的実施形態において、画像取得および画像投影のための装置は、顕微鏡の少なくとも１つの接眼レンズ内に統合される。

幾つかの模範的実施形態において、装置は、顕微鏡の対物レンズから到達する光の少なくとも一部を遮断するためのシャッタをさらに含み、それにより少なくとも１つの接眼レンズを介して観察されるとデジタル画像プロジェクタにより生成される投影画像の光の可視性を上昇させるように顕微鏡の対物レンズの前面にある物体の光学画像の一部が暗化される。

本明細書に開示される主題の別の態様によれば、画像取得および画像投影のためのシステムが提供され、このシステムは、少なくとも１つの対物レンズおよび少なくとも１つの接眼レンズを有する光学顕微鏡と；少なくとも１つの対物レンズと少なくとも１つの接眼レンズの間の光路の中に位置する画像取得および画像投影ユニットであって、デジタル画像を取得するためのデジタルカメラと、投影された画像の光を生成するためのデジタル画像プロジェクタと、ａ）顕微鏡の対物レンズから到達する光の第一の部分を分割し、顕微鏡の対物レンズから到達する光の第一の部分をカメラに方向づける；ｂ）顕微鏡の対物レンズから到達する光の第二の部分を伝送し、顕微鏡の対物レンズから到達する光の第二の部分を顕微鏡の少なくとも１つの接眼レンズに方向づける；かつｃ）デジタル画像プロジェクタによって生成される投影画像の光の一部を、顕微鏡の対物レンズから到達する光の第二の部分と組み合わせ、対物レンズから到達する光の第二の部分とデジタル画像プロジェクタにより生成される投影画像の光の一部の組み合わせが、顕微鏡の少なくとも１つの接眼レンズを通して観察されるようにするための、ビームスプリッタとを含む、画像取得および画像投影ユニットと；デジタルカメラにより取得されたデジタル画像を受け取り保存する、かつデジタル画像プロジェクタにより投影されるデジタル画像を作成するためのデータ処理ユニットとを含む。

幾つかの模範的実施形態において、システムは、データ処理ユニットに連結されてデータ処理ユニットからの画像取得および画像投影のためのシステムのユーザによるデータおよびコマンドの入力を可能にする、キーボードおよびマウスなどの少なくとも１つのヒトインターフェースデバイスをさらに含む。

幾つかの模範的実施形態において、システムは、データ処理ユニットに連結されてデータ処理ユニットからの画像およびデータの蓄積を可能にする、少なくとも１つの遠隔サーバをさらに含む。

幾つかの模範的実施形態において、システムは、データ処理ユニットに連結されて画像取得および画像投影ユニットにより取得される画像の遠隔観察を可能にする、少なくとも１つの遠隔観察ステーションをさらに含む。

幾つかの模範的実施形態において、少なくとも１つの遠隔サーバまたは少なくとも１つの遠隔観察ステーションは、インターネットを介してデータ処理ユニットに連結される。

幾つかの模範的実施形態において、システムは、現在少なくとも１つの対物レンズの前面にあるスライドを自動で同定するためのスライドカメラをさらに含む。

幾つかの模範的実施形態において、スライドカメラは、現在少なくとも１つの対物レンズの前面にあるスライドの画像を取得する。

幾つかの模範的実施形態において、システムは、それぞれが異なる倍率を有する複数の対物レンズであって、複数の対物レンズの選択された１つが使用中である、複数の対物レンズと；複数の対物レンズのどの１つが現在使用中であるかを自動で同定し、現在使用中である複数の対物レンズの選択された１つの倍率をデータ処理ユニットに報告するためのアタッチメントとをさらに含む。

幾つかの模範的実施形態において、デジタル画像プロジェクタは、現在使用中の選択された対物レンズの前面にある物体の光学画像と共に観察される較正スケールを投影し、ここで較正スケールは、複数の対物レンズのどの１つが現在使用中であるかを自動で同定するためのアタッチメントによりデータ処置ユニットに報告された、現在使用中の複数の対物レンズの選択された１つの倍率に基づく。

幾つかの模範的実施形態において、画像取得および画像投影のためのシステムのユーザは、少なくとも１つの接眼レンズを介して見られる画像上にマーカを投影するためにマウスを使用できる。

幾つかの模範的実施形態において、画像取得および画像投影のためのシステムのユーザは、少なくとも１つの接眼レンズを介して観察される光学画像の上の２つの場所の間で較正サイズ測定を実施でき、ここで較正測定は、複数の対物レンズのどの１つが現在使用中であるかを自動で同定するためのアタッチメントによりデータ処置ユニットに報告された、現在使用中の複数の対物レンズの選択された１つの倍率に基づく。

幾つかの模範的実施形態において、装置は、画像取得および画像投影のためのシステムに、ユーザが注意している視野の場所を追跡および決定させるために、接眼レンズの少なくとも１つに統合される熟視追跡子（ｇａｚｅ ｆｏｌｌｏｗｅｒ）をさらに含む。

幾つかの模範的実施形態において、画像取得および画像投影のためのシステムは、ユーザが注意している視野の場所が予め設定された閾値期間よりも長い期間静止したままであるならば、デジタルカメラにより取得された画像を自動で保存および標識する。

幾つかの模範的実施形態において、デジタル画像プロジェクタにより作成され顕微鏡の少なくとも１つの接眼レンズを通して観察される投影画像は、画像取得および画像投影のためのシステムにより取得される保存画像を含む。

幾つかの模範的実施形態において、デジタル画像プロジェクタにより作成され顕微鏡の少なくとも１つの接眼レンズを通して観察される投影画像は、英数字のマーキングを含む。

本明細書に開示される主題のさらに別の態様によれば、
光学顕微鏡を用いて物体の微視的に拡大された光学画像を少なくとも１つの接眼レンズを介して観察すること；および同じ少なくとも１つの接眼レンズを介して投影されるデジタル画像を同時に観察すること、
を含む、画像取得および画像投影のための方法が、提供される。

幾つかの模範的実施形態において、投影されるデジタル画像は、少なくとも部分的に誇張された、微視的に拡大される光学画像である。

幾つかの模範的実施形態において、方法は、デジタルカメラにより微視的に拡大された光学画像を取得すること；およびデジタルカメラにより取得された画像のデジタルコピーをデータリポジトリに保存することをさらに含む。

幾つかの模範的実施形態において、投影されるデジタル画像は、データリポジトリに保存された画像を含む。

幾つかの模範的実施形態において、方法は、デジタルカメラにより取得された画像を遠隔観察ステーションにデジタルで伝送することをさらに含む。

幾つかの模範的実施形態において、方法は、投影されたデジタル画像を遠隔観察ステーションにデジタルで伝送することをさらに含む。

幾つかの模範的実施形態において、遠隔観察ステーションを用いる観察者と、微視的に拡大された光学画像を少なくとも１つの接眼レンズを介して観察するユーザの両者は、投影されたデジタル画像を共有すること、操作すること、かつ画像と関わることができる。

他に定義されない限り、本明細書で用いられる全ての技術的および科学的用語は、本発明が属する技術分野の当業者に共通して理解されるものと同じ意味を有する。本明細書に記載されるものと類似または同等の方法および材料を、本発明の実践または試験で用いることができるが、適切な方法および材料を以下に記載する。矛盾する場合には、定義を含む本特許明細書が、支配することになる。加えて、材料、方法、および実施例は、例示に過ぎず、限定を意図するものではない。

バックグランドまたは技術として表記されない限り、本明細書に開示されるいずれの情報も、本発明または実施形態の一部と見なすことができる。

本発明の幾つかの実施形態を、添付の図面を参照しながら本明細書に記載するが、それは例に過ぎない。ここに、図面の細部を具体的に参照するが、示されるそれぞれが例であり、本発明の好ましい実施形態の例示的議論を目的とするに過ぎず、本発明の原理および概念的態様の最も有用で即座に理解される記載であると考えられるものを提供するという理由で提示されることを強調しておく。これに関連して、本発明の基本的理解に必要とされるよりも詳細に本発明の構造的細部を示すことを試みておらず、図面を取り入れた説明により、本発明の複数の形態がどのようにして実際に具体化され得るかが当業者に明白になる。

本発明の模範的実施形態による、データの表示および取得のためのシステムを例示するブロック図を略図で表す。 本発明の模範的実施形態による、顕微鏡内の画像取得および／または投影ユニットのための任意選択による場所を例示する、データの表示および取得に適合された顕微鏡の部分図を略図で表す。 本発明の模範的実施形態による、顕微鏡アイピースを通して観測者に可視となる光学およびデジタルのオーバーレイ画像を示す。 図４Ａ（ｉ）−図４Ａ（ｉｉ）。本発明の模範的実施形態による、画像取得および投影ユニットの幾つかの細部を略図で表す。本発明の別の模範的実施形態による、画像取得および投影ユニットの幾つかの細部を略図で表す。 チューブレンズの前の光場（ｏｐｔｉｃａｌ ｆｉｅｌｄ）を部分的にぼかす能力を実証する光線図を略図で表す。 部分的にぼかした光学視野の照射を示す。 部分的にぼかした光学視野の照射を示す。 アイピース対の一方のアイピースで実行されるスライド画像およびデジタルオーバーレイのための光路を略図で示す。 ＬＥＤもしくは他の光源を使用する赤外線照射のための光路、および第二のアイピース上の瞳撮像光学系を使用する撮像アレイ上の目の瞳エリアの検出画像を略図で示す。 無限遠補正顕微鏡の１つまたは複数の標準的アイピースの代替物として統合されるシステムの別の１つの実行を示す、改変された顕微鏡アイピースの断面図を略図で表す。 オーバーレイぼかしシャッタおよびそれを作動させるサーボモーターを示す、改変された顕微鏡アイピースの部分図を略図で表す。 当該技術分野で公知の典型的な従来型顕微鏡を略図で示す。 本発明の模範的実施形態による、アイピースの中間画像面の水平移動を可能にするための改変された光学系を有する改変された顕微鏡を略図で示す。 本発明の模範的実施形態による、画像取得および投影のためのシステムの幾つかの細部を示すブロック図を略図で表す。 本発明の模範的実施形態による、データオーバーレイのための操作の順序を示すフローチャートを略図で表す。 本発明の模範的実施形態による、データを共有するための操作の順序を示すフローチャートを略図で表す。 本発明の模範的実施形態による、画像オーバーレイのための操作の順序を示すフローチャートを略図で表す。 本発明の模範的実施形態による、症例報告書作成のための操作の順序を示すフローチャートを略図で表す。 本発明の模範的実施形態による、新しいハードウエアに接続しそれをセットアップするための操作の順序を示すフローチャートを略図で表す。 本発明の模範的実施形態による、画像測定の正しい寸法較正に必要とされる使用中の対物レンズ倍率の自動同定のためのアセンブリを略図で表す。

詳細な記載
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明が以下の記載に表される、または実施例により例証される詳細への適用に必ずしも限定されないことが、理解されなければならない。本発明は、他の実施形態、または様々な方法での実践もしくは実行が可能である。

明瞭さのために別の実施形態に関連して記載される本発明の特定の特色が、単一の実施形態の組み合わせでも提供され得ることは、認識されよう。反対に、簡潔さのために単一の実施形態に関して記載される本発明の様々な特色もまた、別個に、または任意の適切な部分的組み合わせで、または本発明の任意の別に記載された実施形態に適するように、提供され得る。様々な実施形態に関連して記載された特定の特色は、その実施形態がそれらの要素を用いなければ動作可能にならない場合を除き、それらの実施形態の本質的特色であるとみなすべきではない。

本明細書の以下に記載される様々な図の議論において、類似の番号は、類似の部分を指す。図面は、一定の比率で縮小しているとは限らない。明瞭にするために、非本質的要素が、図面の一部から省略されている場合がある。

図が様々な実施形態の機能的ブロックの図を示す限りにおいて、その機能的ブロックは、必ずしもハードウエア回路の間の仕切りの指標ではない。したがって例えば、機能的ブロック（例えば、プロセッサまたはメモリ）の１つまたは複数が、１個のハードウエア（例えば、一般的な目的の単一プロセッサもしくはランダムアクセスメモリ、または同様のもの）または数個のハードウエアで実行されてもよい。

同様にプログラムは、スタンドアロン型プログラムであってよく、オペレーティングシステムにサブルーチンとして組み込まれていてよく、インストール済みのソフトウエアパッケージにおける機能であってよい、などである。

例えば図４Ｂ、５Ａ、５Ｂ、６および７に認められる光学縦列は略図であり、ビームスプリッタ（光を２つの目またはカメラのポートに分割するための）、画像ローテータもしくは折り畳み式のミラーおよびプリズム、絞りまたは他の構成要素などの光学成分は、図の乱雑さを軽減するためにこれらの図に認められない場合があることが、留意されなければならない。

図１は、本発明の模範的実施形態による、データの表示および取得のためのシステム１００を例示するブロック図を略図で表す。

システム１００は、データ処理ユニット１９０と有線または無線通信１１１を介して接続される顕微鏡アイピース１０２／１０３の一方または両方の中に設置される画像表示および取得ユニット１１０を有する顕微鏡１０１を含む。

場合により表示および取得ユニット１１０は、表示および取得ユニット１１０が顕微鏡の標準的アイピースに取って替わることを可能にするフォームファクタを有する。

しかし、画像表示および取得ユニットの全体または一部は、他の場所で顕微鏡１０１に統合され得る、または添加され得ること、例えばフーリエ面画像取得および投影ユニット４００が顕微鏡１０１の光学アクセサリーベイに統合され得る、または挿入され得ることが、留意されなければならない。さらなる細部は、図２で認められよう。

任意選択によるアタッチメント１４０４を用いて、複数の対物レンズ６９５のどの１つが現在使用中であるかを自動で同定してもよい。対物レンズの型を知ることで、システムが見ている物体の寸法の真の較正を有するようにする。

任意選択によるアタッチメント１４１４、例えばスライドカメラを用いて、現在使用中のスライド６９０を自動で同定してもよい。場合により、アタッチメント１４１４はスライド６９０の画像をさらに記録し、任意選択でどの標本４５９が観察されているか、または標本のどの部分が視野にあるかを示す。

ヒトインターフェースデバイス１３０がどのように働き得るかの例として、ユーザは、画像を取得、選択または保存するなどのシステム１００のオプションを作動させるためにフットペダルを押してもよい。同様に、マイクロフォン（例えば、ヘッドセット中の）が、データ入力のために（音声記録として）、または音声から得られた文字として（音声認識ソフトウエアを介して）、または音声コマンドを入力するために、用いられてもよい。

幾つかの例では、観察される物体、および／またはデータ処理ユニット１９０により作成された材料、および／またはデータリポジトリ１２０により保存された材料、および／またはヒトインターフェースデバイス１３０を介して作成された材料は、アイピース１０２／１０３を通して見ながらユーザにより観察されてよい。

例えば非限定的に、システム１００は、現在観察されている標本と類似したデジタル画像を同時に比較できる。この画像は、データリポジトリ１２０に保存され、かつ／または上記工程の間に収集もしくは作成された他のデータと組み合わされ、例えば非限定的に、観察される物体のビデオ記録を上記または下記の手段の１つにより作成された材料、例えば非限定的にメトリクスまたはメモと組み合わされてよい。

幾つかの例において、ヒトインターフェースデバイス１３０を用いて、通信チャネル１４０を介してデータリポジトリ１２０に伝送され得る、非限定的に画像上の複数のポイント間の距離の測定結果、メモ、データ伝送サービス例えば電子メールを介する送信データ、非限定的に音声、スナップショットおよびビデオを含む記録などの、材料および／またはコマンドを作成してもよい。

本発明の別の態様は、結果の査読、相談、または報告を可能にするのに充分な量の組織学的画像を遠隔通信する能力を提供することである。上記のことを可能にするために、デジタルオーバーレイを用いるもしくは用いないアイピースを通して視覚的に、またはコンピュータ画面上で観察可能な画像センサにより取得もしくはストリーミングされたデジタル画像を通して、顕微鏡オペレータによって観測される顕微鏡視野を、上記画像もしくはビデオの受け取りおよび表示が可能な専用の観察者用ソフトウエアを利用してシステムに接続された別のオペレータまたは遠隔観察者１９５に転送できる。

通信チャネル１４０は、利用可能なバンド幅により許容されるフレーム速度でのフル解像度の画像と、典型的には１秒あたり５〜２０フレーム／秒の間の範囲で遠隔観察者が感じる動的応答を提供するのに充分なフレーム速度での部分解像度（ｐａｒｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）のビデオの両方の転送を可能にする。この例では、ビデオの解像度は、必要とされるビデオのフレーム速度および利用可能な通信バンド幅に由来する。静止画像の伝送の場合、フル解像度の画像が、利用可能なバンド幅とは無関係に転送される。

２Ｄ画像またはビデオに加えて、ピクセルから物理的寸法までのマーキング形状、矢印、文字、および倍率に依存する較正因子などの画像オーバーレイデータもまた、転送され得る。オーバーレイデータは、現場および遠隔の両方の観察者が画像をマークアップし、顕微鏡システムのオペレータおよび全ての遠隔観察者１９５に可視化される測定を実施できるよう、システムから遠隔観察者１９５の方向およびその逆方向の両方で転送されてよい。この任意の２方向通信は、リアルタイムで現場および遠隔観察者または複数の観察者の相互作用的な遠隔観察および共同作業を可能にする。

例えば遠隔観察者は、手術の間に病理医または技術者が見ている病理スライドを観察する外科医であってよい。これにより、外科医は、生検試料から病理医により同定された疾患組織を抽出するなどの決定を行うことができる。

遠隔観察者１９５として行動する専門家は、顕微鏡１０１のユーザと音声通信中であり特定エリアを観察するためにスライドを移動させるようにユーザを促してよい。遠隔観察者１９５として行動するそのような専門家者は、コンピュータ画面上および／または顕微鏡アイピース１０２／１０３内で見られる光学画像にオーバーレイされたポインタデータを伝送することにより、遠隔観察ステーションでポインティングデバイスを使用して、ユーザに目的のポイントを指摘してよい。同様に遠隔観察者は、画像にマークし、または顕微鏡１０１により取得されデータリポジトリ１２０に保存された画像にメモを加えてよい。

通信チャンネル１４０としてのインターネット１９８の使用は、複数の遠隔観察ステーションでの遠隔観察、および携帯スマートフォン、タブレット、ＰＣ、スマートＴＶおよび同様のものなどの種々の型の観察ステーションの利用を可能にする。

現在の実践および一部のＦＤＡ規準は、ヒト診断作業が光学画像から実施されるよう要求していることが、留意されなければならない。したがって顕微鏡１０１のユーザは、診断を行っている人であり、遠隔観察者１９５は、このユーザへの助言およびこのユーザとの相談を行うのみでよい。しかし、非ヒト研究では、またはヒトの処置を含まない研究（例えば、法医学の試験）では、または規準が変更になる場合には、遠隔観察者は、決定を行う専門家であってよく、顕微鏡１０１のユーザは、訓練された技術者または若手職員であってよい。このタイプの操作は、試料を専門家に郵送する必要、または研究を行う現場に専門家が移動しなければならない必要を減少することにより、時間および経費を節約し得る。

画像取得および投影ユニット１１０または４００により取得された情報は、幾つかの例では、データを保存するように（かつその検索および／または消去および／または更新を可能にするように）構成されたデータリポジトリ１２０（例えば、データベース、保存システム、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、または他のタイプのメモリなどのメモリ）に保存されてよい。

データ処理ユニット１９０は、ＬＡＮ、ＷＡＮまたはインターネットなどの通信チャンネル１４０を介して遠隔サーバ１９９に接続されてよい。

データ処理ユニット１９０は、ＰＣ、ラップトップもしくはタブレットコンピュータなどの一般的目的のコンピュータであってよく、または専用の所有権のあるデータプロセッサであってよい。場合によりデータ処理ユニット１９０は、マウス、キーボード、タッチスクリーンもしくはタッチパッド、マイクロフォンスピーカ、イヤフォン、ヘッドセット、フットペダル、および／またはスクリーンなどのヒトインターフェースデバイス１３０を入力または出力するように接続されたコンピュータを含む。ユーザの作業は主として、顕微鏡を介して光学画像を熟視しながら実施されてよいが、ユーザは、図３およびその後の図に認められる通り、マウスまたは他の入力デバイスを使用し、顕微鏡アイピース１０２／１０３から目を外さずに投影画像に及ぼす入力の影響を見てもよい。

図２は、本発明の模範的実施形態による、顕微鏡１０１内の画像取得および投影ユニット１１０および４００について任意選択による場所を例示する、データの表示および取得に適合された顕微鏡１０１の部分的観察を略図で表す。

顕微鏡１０１は、顕微鏡、少なくとも１つの画像表示および取得ユニット１１０、またはフーリエ面画像取得および投影ユニット４００への統合によりデータの表示および取得に適合される。

場合によりフーリエ面画像取得および投影ユニット４００は、顕微鏡の標準的な光学アクセサリーベイにフーリエ面画像取得および投影ユニット４００が収まるようにするフォームファクタを有する。

図３は、本発明の模範的実施形態による、顕微鏡アイピースを通して観測者に見える光学およびデジタルオーバーレイ画像を示す。

検査されるスライドの光学画像２２１の最上部に、非限定的にａ）デジタル画像を取り込み保存する、ｂ）デジタル画像を検索する、ｃ）幾何学的形態を描写しその寸法測定を実施する、ｄ）所定のテンプレートおよび獲得した画像に基づいて報告書を作成する、などの機能と共に、ツールバー２２２が投影される。

システムの任意選択による特色は、保存された１つまたは複数の画像２２０ａおよび任意選択による２２０ｂを表示して、現在の光学画像との比較を可能にする能力である。場合によりユーザは、保存画像の名称、アイコンまたは小さな表示のリスト２２５から所望の保存画像を選択する。保存画像は、ユーザ、または同一もしくは類似のデバイス上の別のユーザにより取得された画像であってよい。あるいは保存画像は、他の手段により取得された、または他の手段により作成された画像であってよい。

保存された画像ディスプレイの可視性を高めるために、光学視野の一部が、場合により、サーボモーターなどの作動デバイスにより移動可能な機械的シャッタ５７０（図４Ａ（ｉ）、４Ｃ、４Ｄ、および５Ｄに認められる）によりぼかされてよい。ぼかしエリアの複数の構成は、シャッタ５７０上の複数の領域を用いることにより実行される。場合によりシャッタ５７０は、フル光学画像が観察される場合に完全に開放される。

あるいは光学画像の暗化エリアは、光学縦列内に挿入されるＬＣＤディスプレイを利用して実施されてよい。

図４Ａ（ｉ）は、本発明の別の模範的実施形態による、画像取得および投影ユニット４００の幾つかの細部を略図で表す。

この配列では、フーリエ面画像取得および投影ユニット４００は、中間画像面よりむしろフーリエ面に設置される。

投影レンズサブユニット４１０および撮像レンズサブユニット４１２は、撮像検出器アレイ４１４とビームスプリッタ４１６の間、かつマイクロディスプレイ４１８とビームスプリッタ４１６の間に導入される。この配列は、撮像検出器アレイおよびマイクロディスプレイの両方が視野（ＦＯＶ）の必要とされる部分、好ましくはＦＯＶのほとんど、典型的にはアイピース中間画像面の中の２２または２６．５ｍｍを覆うような方法で、レンズ４１０および４１２の焦点長を選択することにより、マイクロディスプレイ４１８および撮像検出器アレイ４１４の両方の物理的寸法でより大きな自由度を可能にする。

対物レンズ４３０からの光は、ビームスプリッタ４１６で分割される。対物レンズ４３０からの光の第一の部分４３２は、撮像検出器アレイ４１４上の撮像光学系４１２に方向づけられ、それにより集束される。

マイクロディスプレイ４１８から投影される光４３４は、ビームスプリッタ４１６のフーリエ場（Ｆｏｕｒｉｅｒ ｆｉｅｌｄ）にある投影光学系４１０によってもたらされ、そこで対物レンズ４３０からの光と組み合わされ、アイピースに方向づけられる。

場合により、電子モジュール４４０は、マイクロディスプレイおよび撮像検出器アレイ４１４に役立つ。電子モジュール４４０は一般に、ホストコンピュータ１９０と連通している（図１参照）。あるいはホストは、電子モジュール４４０と一体化される。

好ましくは、フーリエ面画像取得および投影ユニット４００は、例えばフィルターのベイにおいて、フーリエ面画像取得および投影ユニット４００を標準的な顕微鏡の光学縦列に挿入させるフォームファクタを有する。

先に記載された位置にある画像センサの場所は、典型的には顕微鏡のアイピースの上に存在する標準的な「第三の接眼レンズ」の場所に比較して拡大された視野という利点を有する。第三の接眼レンズの撮像光学系までのより長い経路により、第三の接眼レンズでの光学視野は、アイピース内で見えるＦＯＶに比較して実質的にぼやけている。第三の接眼レンズのポートにあるカメラを用いて利用可能な限定的視野の画像を観測および解釈する遠隔観察者は、視野全体を観測する顕微鏡オペレータと同様の状況認識を欠く。これは、同等者が実質的に異なるデータを分析しているため、相互評価の品質を限定する認識バイアスを生じる場合がある。撮像センサを対物レンズの付近に設置することは、観察可能な視野を限定せず、有利である。

図４Ａ（ｉｉ）は、本発明の別の模範的実施形態による、画像取得および投影ユニット９０の幾つかの細部を略図で表す。

画像取得および投影ユニット９０は、図４Ａ（ｉ）で認められる画像取得および投影ユニット４００とその機能が類似しているが、顕微鏡の光学アクセサリーベイに挿入される形状およびサイズがより多く採用される。

この図をより良好に理解するために、図４Ａ（ｉ）内の同等の要素の番号を、丸カッコ内に与える。画像取得および投影ユニット９０（４００）は、顕微鏡の光学アクセサリーベイと適合性のあるフォームファクタを有する囲い９１の中に収容される。ハウジング９１の中には、対物レンズから届く光９３（４３０）を分割し光９３の一部をデジタルカメラ９５（４１４）上のレンズアセンブリ９４（４１２）により集束されるように方向づける、ビームスプリッタ９２（４１６）が存在する。

画像プロジェクタ９６（４１８）からの光は、レンズアセンブリ９７ａおよび９７ｂ（４１０の機能を果たす）によりフーリエ面に変換され、２枚の折り畳み式ミラー９８ａおよび９８ｂ［図４Ａ（ｉ）に見られる実施形態には存在しない］によりビームスプリッタ９２（４１６）に方向づけられる。

絞りおよびフィルターアセンブリ９９［図４Ａ（ｉ）に見られる実施形態には存在しない］は、光がレンズアセンブリ９７ｂおよびビームスプリッタ９２（４１６）に入る前に光の強度を制御する。

多くの例では、画像プロジェクタ９６（４１８）の光が画像センサにより検出されるのを防ぐことが望ましい。この例では、一対の垂直に配列した偏光子が据え付けられ、一方の偏光子は、プロジェクタ９６とビームスプリッタ９２の間に、第二の遮断偏光子は、ビームスプリッタ９２と画像センサ９５（４１４）の間に据え付けられている。

図４Ｂは、試料４５９から無限遠補正対物レンズ４６０、チューブレンズ４６２、中間アイピース画像面４６８を通りアイピース４６４までの光線図を略図で表す。画像は、フーリエ面の付近に設置されたぼかしシャッタ４６６が視野を全体として暗くするよりむしろ視野の一部を選択的にぼかすことを可能にする異なる試料ポイントから発生した光線の空間的分離を示す。

図４Ｃは、試料の光学画像上のデジタル画像のアイコンまたは光学画像のデータ上で、高度に可視性のオーバーレイ４９を可能にする、暗化エリア４９８を示す、ぼかした光学画像４９９の例を示す。

図４Ｄは、ぼかした光学視野４９９の光強度の模範的グラフ４９６を略図で示す。

図５Ａおよび５Ｂは、本発明の模範的実施形態による、観測者の視線の光学的計測のためのアイピース結合システムを略図で示す。

場合により、熟視追跡子が、ユーザが注意している視野の場所をシステム１００に追跡および決定させるために、アイピースの少なくとも一方（図５Ｂ）に組み込まれる。熟視追跡情報を、後に議論される通り用いて、画像を取得し、取得された画像を選択および／または保存してよい。

図５Ａは、アイピース対の一方のアイピースで実行されるスライド画像取得およびデジタルオーバーレイのための光路を略図で示す。

さらなる細部および概略での模範的機械設計が、図５Ｃおよび関連の文字で与えられる。

対物レンズから届く光は、チューブレンズを通過し、ビームスプリッタ５１２により分割される。

撮像アレイ５９２は、中間画像面５２１のビームスプリッタの接合場所に設置される。

マイクロプロジェクション技術のマイクロディスプレイ５２２が、中継光学系５２３を通るビームスプリッタの接合する中間画像面の他方の側に位置する。アイピースの光学系５２４は、中間画像面５２１とそのマイクロディスプレイの接合部が観測者の目５２５に投影されるように位置する。

図５Ｂは、ＬＥＤ５９９または他の光源を使用する赤外線（ＩＲ）照射のための光路、および第二のアイピース上の瞳撮像光学系５９７を使用する撮像アレイ５９８上の瞳のエリアの検出画像を略図で示す。第二のビームスプリッタ５１２は、ＩＲ照射を反射するように設計される。

図５Ｃおよび５Ｄは、本発明の模範的実施形態による改変された顕微鏡アイピース５５０の、それぞれ断面図および側面図を略図で表す。

図５Ｃは、無限遠補正顕微鏡の１つまたは複数の標準的アイピースの代替物として組み込まれるシステムの代替的一実行を示す、改変された顕微鏡アイピース５５０の断面図を略図で表す。

対物レンズ４３０から入る光は、ビームスプリッタ５１２により、例えば観測者とデジタル撮像デバイス５６２の間でそれぞれ典型的な比率９０％／１０％で分割される。

撮像デバイス５６２中の撮像アレイ５９２は、中間画像面５２１のビームスプリッタ接合場所に設置される。撮像デバイスの物理的寸法は、好ましくは視野の全てまたは少なくとも実質的部分を覆い、それは典型的には約２０ｍｍ〜２７ｍｍ径である。

ＬＣＤ、ＬＣＯＳ、ＡＭＯＬＥＤ、ＴＦＴ、ＤＬＰまたは他の適切なマイクロプロジェクション技術のマイクロディスプレイ５２２は、中継光学系５２３を通るビームスプリッタの接合する中間画像面の他方の側に位置する。アイピースの光学系５２４は、中間画像面５２１とそのマイクロディスプレイの接合部が観測者の目５２５に投影されるように位置する。

あるいは、撮像アレイ５９２およびマイクロディスプレイ５２２は、異なるアイピースに別個に組み込まれてよい。

場合により、改変された顕微鏡アイピース５５０は、標準の顕微鏡アイピース６１４と、撮像および投影ユニット５５４とを含み、異なるアイピース６１４が同じ撮像および投影ユニット５５４と共に用いられるようにする。場合により、標準の顕微鏡アイピース６１４のアイピースマウントチューブ５１５は、短縮される。

撮像および投影ユニット５５４は好ましくは、標準の径を有し、かつ好ましくはストッパ５５５が取り付けられた、マウントチューブ６１２を含み、マウントチューブ６１２は、以下の図６および７に認められる通り、標準の顕微鏡チューブに挿入されて、アイピースの機械的参照面６２４のレベルまで下降させることができる。

投影された画像をよりよく観察するために、改変された顕微鏡アイピース５５０は、対物レンズ４３０から入る光に挿入され得るオーバーレイぼかしシャッタ５７０を含み、それにより視野の一部を暗化してよい。オーバーレイぼかしシャッタ５７０は、例えば手動で、作動されるが、好ましくは電気モーターまたはソレノイド５６９などにより電子的に作動される。場合によりオーバーレイぼかしシャッタ５７０は、検索されたデジタル画像２２０、ツールバー２２２、および／または他の情報（図３参照）などの画像の幾つかのオーバーレイ情報を観察することをユーザが選択する場合に、自動で作動される。

保存された画像ディスプレイの可視性を高めるために、光学視野の一部が、サーボモーター５６９などの作動デバイスにより移動可能な機械的シャッタ５６５によりぼかされてよい（図４Ｃおよび４Ｄ参照）。ぼかしエリアの複数の構成は、シャッタ上の複数の領域を用いることにより実行される。場合によりモーター５６９およびシャッタ５７０は、粉塵および他の混入物が光学系に入るのを防ぐためにカバー内にある。

幾つかの実施形態において、マイクロディスプレイ５２２は、中間画像面５２１に位置する透明のマイクロディスプレイ５７３と置き換えられる。この例では、ビームスプリッタ５１２は、存在しなくてよい（画像取得に必要でない限り）。

描写された実施例において、ぼかしシャッタ５７０は、厳密には焦点面５２１に存在せず、つまり図４Ｃおよび４Ｄで認められる通り、暗化されたエリア４９８の境界は鮮明でないことに留意されたい。これは、画像の２つの部分から滑らかな移行を生じるため有利であり得る。

例えば、フーリエ面画像取得および投影ユニット４００（図１、２および４Ａ（ｉ）参照）は、画像取得のみに用いられてよく、透明なマイクロディスプレイを有する改変されたアイピースは、画像投影のみに用いられる。透明なマイクロディスプレイを有する改変されたアイピースは、それがビームスプリッタを有さないためより小さく作製され得、場合により標準のアイピースのフォームファクタで作製され得ることが、留意されなければならない。

図５Ｄは、オーバーレイぼかしシャッタ５７０およびそれを作動させるサーボモーター５６９を示す、改変された顕微鏡アイピース５５０の部分図を略図で表す。

場合により、対物レンズ４３０から光へのぼかしシャッタ５７０の透過、かつそれにより遮断および暗化されたＦＯＶの一部が、投影画像のサイズに応じてサーボモーター５６９により制御される。場合によりマーカ、アイコンおよび文字データは、オーバーレイぼかしシャッタ５７０を作動させることなく投影され、オーバーレイぼかしシャッタ５７０を作動しつつ保存された１つまたは複数の画像（２２０ａおよび／または２２０ｂなど）が投影される。

図６は、当該技術分野で公知の典型的な従来型顕微鏡６００を略図で示す。

アイピース中間画像面６１０は、アイピース６１４のマウントチューブ６１２の内部に設置され、画像獲得およびディスプレイデータ光学オーバーレイに必要とされる構成要素の統合のための非常に限定された物理的空間を提供する。典型的にはアイピース６１４は、アイピースマウントチューブ６１２を顕微鏡チューブ６２０の中に挿入することにより、顕微鏡６００に付着される。多くの場合、顕微鏡チューブ６２０は折り畳まれ、かつさらなる機械的および／または光学的要素を含み得ることが、留意されなければならない。一般に、アイピースは互換的であり、それらが顕微鏡チューブ６２０の端部６２４でアイピース機械的参照面６２２に載るように挿入される設計である。

図７は、本発明によるアイピースの中間画像面６５４の水平移動を可能にする改変された光学系を有する改変された顕微鏡６５０を略図で示す。

利用可能な物理的空間を増加させるために、改変された中間画像面６６０を、上方に移動させた。

標準的なアイピースの同焦点距離６１８は、１０ｍｍであり、フィールドサイズは、典型的には２０〜２７ｍｍである。こうして、およそ３０ｍｍ〜４０ｍｍの中間画像面６５４の上方移動６５８は、図６Ｂに示される通り、必要な要素を改変されたアイピース６６４に適切に組み込むための２０ｍｍ〜３０ｍｍの物理的空間を可能にする。画像オーバーレイの構成要素ユニット６６８は、顕微鏡チューブ６２０の実質的に上部および外部に設置できる。したがって場合により、かつ好ましくは、顕微鏡の本体に改変がなされない。

新しい場所６６０へのアイピース中間画像面６１０のそのような移動をもたらすための１つの簡単な方法は、対物レンズの機械的参照面６９４と対物レンズ６９５の間に焦点移動アダプター６９３を挿入することにより、試料スライド６９０から対物レンズ６９５までの距離を初期距離６９１からより短い値６９２へ短縮することである。

例としての光線軌道計算は、中間画像面を３０ｍｍ移動させるために１８０ｍｍチューブレンズを備えた４０倍対物レンズを１６ミクロンだけリフォーカスしつつ、無視できる程度の性能劣化を示す。

試料をリフォーカスする必要なしに異なる倍率の対物レンズ間で即座に変更する能力を提供するために、試料と対物レンズマウンティング面の間の距離（対物レンズ同焦点距離６９７）は、対物レンズの倍率に関わらず一定に設定される。

アイピース中間面６１９の特定の移動を実現するために必要とされる試料焦点移動は、対物レンズの倍率に依存し、このため対物レンズを異なる倍率に変更しながら試料面をリフォーカスすることが必要となろう。試料のリフォーカスの必要を排除するために、焦点移動アダプター６９３を導入し、２つの目的：アイピース中間画像面の焦点移動を提供すること、および対物レンズの倍率と無関係に一定の対物レンズ同焦点距離を維持すること、を果たす各対物レンズの倍率に合わせる。

以下の理由で、フーリエ面画像取得および投影ユニット４００の使用が、改変された顕微鏡アイピース５５０を使用するより好ましい場合があることが、留意されなければならない：ａ）それは顕微鏡のごくわずかな変更を必要とするか、または変更を必要としない。対照的に、顕微鏡アイピース５５０は、人間工学的設計の場所から移動されると、扱いにくい場合がある。ｂ）Ｏｌｙｍｐｕｓ顕微鏡などのいくつかの顕微鏡の製造供給元では、接眼レンズは非標準的であり、改変された顕微鏡アイピース５５０をそのために採用するのが困難である。

図８は、本発明による、画像取得および投影のためのシステムの幾つかの細部を示すブロック図を略図で表す。

図８を参照して、データ処理ユニット１９０は、ハードウエアモジュールを含み、かつ／または以下のソフトウエアモジュールを実行するように構成できる：画像取得モジュール２００、ユーザ作成のデータ生成モジュール８１０、画像解析モジュール８２０、供給源検出および管理モジュール３２０、データ共有モジュール２３０、データベース接続モジュール２４０、報告書作成モジュール２５０、較正モジュール３３０、タスク生成モジュール２６０、画像比較モジュール２７０、光学オーバーレイモジュール２８０、認証モジュール３４０、データフィードバックモジュール２９０、プラグアンドプレイモジュール３１０。

本明細書に開示される主題の幾つかの例によれば、画像取得モジュール２００は、ビデオおよび／もしくはスチル写真（例えば、スナップショット）、ワークフロー、活動、ならびに／または顕微鏡光学面から観察される材料の全てもしくは一部を含む画像検出器アレイ（カメラ）からのシグナルを連続で記録するように構成できる。画像取得モジュール２００は、非限定的にスライドの走査を停止すること、またはユーザの目を用いて特定の活動を実施すること、などの活動をユーザが実施するたびに画像を収集するように構成されてもよい。記録された画像および／またはスチル画像は、データリポジトリ１２０に保存でき、かつ／またはさらなる分析のためにデータ処理ユニット１９０により利用でき、かつ／またはデータ共有モジュール２３０を介して異なる場所に送付できる。

本明細書に開示される主題の幾つかの例によれば、スライドをスキャニングして病態または異常を検索しながら、特定エリアでオペレータの熟視固定（ｇａｚｅ ｌｏｃｋｉｎｇ）をモニタリングすることにより、目的の幾つかの潜在的エリアを決定できる。典型的には０．５〜５秒の範囲の、所定の期間より長い間オペレータの熟視が固定されるそのような事象において、カメラの画像取得が惹起される。移動するスライドの場合、妥当な品質の画像を得るために必要とされるセンサ画像獲得（取り込み）時間は、スライド移動により画像不鮮明を起こすのに十分長い可能性がある。この場合、標本を照明する光のフラッシュが、場合により惹起されてよい。例えばフラッシュ光は、本発明に記載されるシステムの顕微鏡照明光路に機械的および光学的に統合されるキセノンアークランプまたはＬＥＤ光源であり得る。

場合により、オペレータが所定の時間より長期間熟視したエリアを、より高い解像度または画像品質で保存する（例えば、より高いビット数、またはより低い画像圧縮を用いて、または圧縮なしで）。

本明細書に開示される主題の幾つかの例によれば、ユーザ作成のデータ生成モジュール８１０は、ヒトインターフェースデバイス１３０からの入力を受け、その後、光学オーバーレイモジュール２８０を用いてオーバーレイされるデータを作成するように構成できる。例として非限定的に、この工程は、ユーザが単一の接眼レンズおよび／または複数の接眼レンズデバイスを介して観察されている標本の異なるポイント間の距離を測定することを選択した場合に始まり得、ユーザが開始ポイントをスタイラスまたは他のヒトインターフェースデバイス１３０でクリックしヒトインターフェースデバイス１３０を最終ポイントまでドラッグし再度クリックする一方で、ユーザ作成のデータ生成モジュール８１０を利用するデータ処理ユニット１９０は既知の方法および技術を利用して距離を計算する（例えば、顕微鏡の倍率を考慮して）。

ユーザ作成のデータ生成モジュール８１０がどのようにしてユーザにより利用され得るかのさらなる例としては、ヒトインターフェースデバイス１３０を利用して記入メモ、音声メモを収集し、ユーザが例えば過去の時点の同一患者からの標本および／または類似の身体的条件および／または任意の他の関連する類似の特徴を有する異なる患者からの標本、患者および／または標本のデータ、例えば他のユーザへのタスクまたはコマンド、リマインダーなど、画像を比較するために、画像を観察しながら同時に見ることを希望し得る異なる画像のコマンドを受け取ることが挙げられる。ユーザ作成のデータ生成モジュール８１０を利用して生成されたデータは、データリポジトリ１２０に保存されてよく、かつ／またはさらなる解析のためにデータ処理ユニット１９０により利用されてよく、例として非限定的に、ユーザ作成のデータ生成モジュール８１０を介して生成されたデータは、画像取得モジュール２００を介して作成されたデータと組み合わされてよく、この組み合わされた画像は後に、かつ／または異なる場所の異なるユーザによって、観察されてよい。

本明細書に開示される主題の幾つかの例によれば、画像解析モジュール８２０は、観察される画像の一部または全体を解析するように構成できる。これらの分析技術に基づき、画像解析モジュール８２０は、ワークフローを指示し得る新しいデータを生成するように構成でき、かつ／または結論もしくは診断を形成するためにユーザにより用いられてよい。例として非限定的に、画像解析モジュール８２０は、どの倍率（例えば、顕微鏡の対物レンズ）が現在使用されているかを決定でき、これはユーザおよび他のモジュールに対し示唆を有し、例として非限定的に、標本の複数のポイント間のメトリクスを計算する。画像解析モジュール８２０により実施されるタスクのさらなる例としては、公知の技術を利用する標本の定量的分析を挙げることができる。画像解析モジュール８２０により実施されるタスクのさらなる例は、公知の技術を利用して特徴を決定するために、標本のパターンを自動で検出することである。画像解析モジュール８２０により実施されるタスクのさらなる例は、画像の色、輝度および追加的特色の調整を自動で行うことであってよい。画像解析モジュール８２０により実施されるタスクのさらなる例は、他の場所に居るユーザからの類似のデータセットとの比較に基づき、ユーザによって行われた診断がはずれ値であるかどうかを決定するためにビッグデータを活用することであってよい。例として、ユーザが、組織試料を癌性であると見出したが、類似の組織試料を含む例の圧倒的大多数では、他のユーザがその標本を癌性でないと見出した場合、警報が作動して、ユーザに、その診断が他のユーザと一致しないことを知らせてもよい。

本明細書に開示される主題の幾つかの例によれば、供給源の検出および管理モジュール３２０は、どれほどの電力が必要とされるか、どれほどのデータ保存が用いられ得るか、かつ装置の連続機能に関連する他の問題をモニタリングするように構成できる。供給源の検出および管理モジュール３２０は、関連するソフトウエアモジュールまたはハードウエアの任意の機能不全が存在するかどうかを決定できる。供給源の検出および管理モジュール３２０により作成されたデータは、ユーザにオーバーレイ画像で表示でき、またはユーザのパーソナルコンピュータデバイスに送付できる（例えば、電子メールの報知）。

本明細書に開示される主題の幾つかの例によれば、データ共有モジュール２３０は、ユーザにより観察されているものと関連するデータ、画像、または他の情報を送ることによりユーザが異なる場所に居る他のユーザと協力できるように構成できる。例として非限定的に、データ共有モジュール２３０は、ユーザのファイル共有プロトコル（即ち、電子メール）を命令して、ユーザの電子メールアカウントを介してデータ（例として非限定的に、画像オーバーレイを用いる、または用いない画像の観察）を送付できる。さらなる例としては、追加のユーザが、画像オーバーレイを用いる、または用いない画像増強デバイスからの最初のユーザの観察をリアルタイムで、または後に観察し得るように、別のユーザのアイピースまたは別のモニターに共有されるデータを挙げることができる。

本明細書に開示される主題の幾つかの例によれば、データベース接続モジュール２４０は、関連情報が複数のデータリポジトリの間で共有され得るように、データリポジトリ１２０を外部データリポジトリ、例えば非限定的に臨床検査情報システム（ＬＩＳ）などのサーバ１９９に接続するように構成できる。幾つかの例において、ユーザにより作成されたデータは、外部データリポジトリに転送され、他の例では、ユーザが標本を観察しながら、外部データリポジトリからのデータが、画像オーバーレイの一部として出現する。幾つかの例では、ユーザの既存のデータリポジトリが、データリポジトリ１２０として用いられ得、幾つかの例では、データリポジトリ１２０が、他のデータのためのデータリポジトリとしてユーザにより用いられ得る。

本明細書に開示される主題の幾つかの例によれば、報告書作成モジュール２５０は、ユーザが、ユーザの診断、結論、および／または決定を伝える標本を観察しながら、観察されている標本の症例報告書を作成できるように構成できる。例として、ユーザが、観察される標本の画像に基づいて、計算されるメトリクスに基づいて、かつ観察される類似の標本の画像に基づいて症例報告書を生成し得るように、ユーザは、画像を観察しながら表示されるアイコンをクリックしてよい。ユーザは、ヒトインターフェースデバイス１３０を利用してコンテンツを報告書に追記でき、画像を報告書に追記でき、データリポジトリ１２０に報告書を保存できる。作成される報告書は、標本の画像、患者の詳細、ユーザのメモ、追加の画像を観察するためのリンク、ユーザにより実施される作業の記録画像、または追加の患者データが利用可能であるウェブ上の場所へのリンクを含み得る。作成された報告書はまた、外部データリポジトリにも保存できる。

本明細書に開示される主題の幾つかの例によれば、較正モジュール３３０は、ユーザがさらなる単一アイピース９０、ならびに／または主なおよび／もしくは既存のアイピース１０２、ならびに／または画像表示および取得ユニット１１０、フーリエ面画像取得および投影ユニット４００を較正できるように構成されてよい。このモジュールは、正しい較正を決定する技術を使用する。

本明細書に開示される主題の幾つかの例によれば、タスク生成モジュール２６０は、ユーザが例えばアイコンまたは他のコマンド方法を介して、タスクをユーザ自身または他のユーザに割り付けできるように構成できる。タスク生成モジュール２６０は、場合により警告をユーザに与えることができる。タスク生成モジュールの非限定的な例は、ユーザが、標本を観察した後に異なるユーザにメモを送り、先に説明された通り、さらなる分析を実施するために第二のユーザを要求することである。

本明細書に開示される主題の幾つかの例によれば、画像比較モジュール２７０は、ユーザが、データリポジトリ１２０にアクセスしそこからの画像を観察でき、かつユーザが、リアルタイムで画像を標本と比較できるように構成できる。画像比較モジュール２７０は、ヒトインターフェースデバイス１３０のコマンドまたは画像オーバーレイ上のアイコンを介して制御され得る。例として、非限定的に、ユーザは、特定の身体的特徴および特異的な型の腫瘍を有する患者の標本を見てよく、かつこの画像を同じ型の腫瘍の他の標本および個人の特徴と比較することを希望してもよい。さらなる例は、ユーザが標本を観察し、同じ患者のより古い標本と比較してよいことである。さらなる非限定的な例は、異なって染色された同様の標本の２つの同一スライスが存在し、第一の染色を観察し画像を画像取得モジュールで取得した後、取得された画像を観察でき、その後取得された画像および第二のスライドの両方を同時に観察するためにスライドを交換できるよう、ユーザがカッパ／ラムダで染色された標本を観察する場合であり得る。

本明細書に開示される主題の幾つかの例によれば、認証モジュール３４０は、ソフトウエアがユーザの同定を決定し、かつこのユーザについて表示される情報を決定できるように構成できる。

本明細書に開示される主題の幾つかの例によれば、光学オーバーレイモジュール２８０は、上述の画像投影手段の１つを介してオーバーレイを生成するように構成できる。オーバーレイ画像は、画像、文字、マーカ、データ、およびアイコンの１つまたは複数を含んでよい。

本明細書に開示される主題の幾つかの例によれば、データフィードバックモジュール２９０は、ユーザおよび／または管理者が、実施される作業、異なるユーザからの作業の統計を観察し、かつこのデータに基づく報告書を見られるように構成できる。

本明細書に開示される主題の幾つかの例によれば、データ解析モジュール３００は、ユーザにより収集または生成されたデータ、例として非限定的に、ヒトインターフェースデバイス１３０を介してユーザにより作成されたデータ、および／またはユーザ作成のデータ生成モジュール８１０から受け取ったデータを解析するように構成できる。データ解析モジュール３００は、新しいデータを作成でき、かつ／または収集されたデータに基づいて警告を与えることができる。例として非限定的に、データ解析モジュール３００は、ヒトインターフェースデバイス１３０を介してユーザにより測定されたメトリクスの計算に基づき、観察されている標本が特定の方法で分類されるべきであると決定してよい。さらなる例は、観察されている画像の組み合わせに基づき、かつ同じ試料の過去の標本の画像に基づき、患者の状況に変化があることであり得る。さらなる例は、外部供給源（例えば、患者の腫瘍学者）からの情報に基づき、追加の判断材料がユーザにより考慮されるべきであることであり得、これらは当業者に知られる技術に基づく。

さらなる例は、ユーザがヒトインターフェースデバイス１３０を移動させることに基づき、光学オーバーレイモジュール２８０がユーザに関する新しい情報をオーバーレイしなければならないことであり得る。さらなる例は、ユーザがデータを共有するためにアイコンをクリックすることに基づき、コマンドが電子メールプログラムに送られて、このデータを選択された場所および／または新しいユーザと共有しなければならないことであり得る。

本明細書に開示される主題の幾つかの例によれば、プラグアンドプレイモジュール３１０は、ユーザがシステム１００の構成を変えられるように構成できる。例えば追加のアイピースセット９０および／もしくはアイピース１０２などの追加のデバイスをインストールするために、またはインストールされた画像取得もしくは画像投影、および／もしくは他の周辺デバイスのスイッチを入れるもしくは切るために。

図８を参照して、ブロックの幾つかは合併されたブロックに統合でき、または２、３のブロックに分解でき、かつ／または他のブロックが加えられてもよいことが、留意されなければならない。さらに幾つかの例において、ブロックは、本明細書に記載されるものと異なる順序で実施できる（例えば、ブロック３１０は、ブロック３００の前に実施できる、など）。ブロックの幾つかは任意選択であることが、さらに留意されなければならない。流れ図はそれを実現するシステム要素を参照して記載されるが、これは決して結合ではなく、ブロックは本明細書に記載されるもの以外の要素により実施できることも、留意されなければならない。

図９は、本発明の模範的実施形態による、データオーバーレイのための操作の順序を示すフローチャートを略図で表す。

本明細書に開示される主題の幾つかの例によれば、ユーザは、顕微鏡１０１を介して画像を観察しており、標本を観察しながら、データ処理ユニット１９０が、デバイスにより観察された画像の上にオーバーレイするためにユーザ作成のコンテンツを受け取り（例えば、ユーザ作成のデータ生成モジュール８１０を利用する）（ステップ９００）、その後、受け取られたユーザ作成のコンテンツを画像の上にオーバーレイする（例えば、光学オーバーレイモジュール２８０を利用する）（ステップ９１０）。

図９を参照して、ブロックの幾つかは合併されたブロックに統合でき、または２、３のブロックに分解でき、かつ／または他のブロックが加えられてもよいことが、留意されなければならない。さらに幾つかの例において、ブロックは、本明細書に記載されるものと異なる順序で実施できる（例えば、ブロック９１０は、ブロック９００の前に実施できる、など）。ブロックの幾つかは任意選択であることが、さらに留意されなければならない。流れ図はそれを実現するシステム要素を参照して記載されるが、これは決して結合ではなく、ブロックは本明細書に記載されるもの以外の要素により実施できることも、留意されなければならない。

図１０は、本発明の模範的実施形態による、データを共有するための操作の順序を示すフローチャートを略図で表す。

本明細書に開示される主題の幾つかの例によれば、データリポジトリ１２０内のデータおよび／またはユーザに観察されたデータは、他のユーザおよび／または場所と共有されてよい。

ユーザは場合により、ヒトインターフェースデバイス１３０（例えば、マウスまたはスタイラス）を用いてどのデータを共有するかを決定してよい。ユーザは顕微鏡で作業しながらデータを共有することに限定されず、むしろデータリポジトリ１２０へのアクセスを有する任意の場所からのデータを共有し得るということが、留意されよう。例として非限定的に、ユーザは画像をクリックし、および／またはどのデータが共有されるかを記載するアイコンをクリックする。データ処理ユニット１９０は、ユーザ作成のデータ生成モジュール８１０およびデータ共有モジュール２３０を利用してよく、かつ別のユーザおよび／または場所とデータを共有してよい。他のユーザおよび／または場所と共有されるデータは、顕微鏡、コンピュータ画面、または記録画像の観察が可能な任意の他のデバイスで一部および／または全体を観察されてよい。データリポジトリ１２０は、ユーザおよび／またはデータ処理ユニット１９０により作成された全てのデータを受け取るように構成されてよい。

データリポジトリ１２０は外部データベースからデータを受け取ってよく、データ処理ユニット１９０はユーザにこのデータをオーバーレイするモジュールを使用してよく、続いてユーザは、別のユーザおよび／または場所とこのデータを共有するように選択してよいことに、留意されたい。

図１０を参照して、ブロックの幾つかは合併されたブロックに統合でき、または２、３のブロックに分解でき、かつ／または他のブロックが加えられてもよいことが、留意されなければならない。さらに幾つかの例において、ブロックは、本明細書に記載されるものと異なる順序で実施できる（例えば、ブロック９３０は、ブロック４２０の前に実施できる、など）。ブロックの幾つかは任意選択であることが、さらに留意されなければならない。流れ図はそれを実現するシステム要素を参照して記載されるが、これは決して結合ではなく、ブロックは本明細書に記載されるもの以外の要素により実施できることも、留意されなければならない。

図１１は、本発明の模範的実施形態による、画像オーバーレイのための操作の順序を示すフローチャートを略図で表す。

本明細書に開示される主題の幾つかの例によれば、ユーザは顕微鏡で標本を観察してよく、ユーザはヒトインターフェースデバイス１３０（例えば、マイクロフォン、スタイラス、キーボード）を使用して、画像および／またはデータおよび／またはアイコンおよび／またはユーザがオーバーレイとしての観察を希望する他の情報をオーバーレイおよび／または選択および／または変更してよい。ユーザが画像をオーバーレイとして観察することを希望する例では、ユーザ作成のデータ生成モジュール８１０は、ヒトインターフェースデバイス１３０からデータを受け取ってよく、それは画像比較モジュール２７０により利用されて適当な画像をオーバーレイ９４０に選択してよく、かつそれは光学オーバーレイモジュール２８０により利用されてこの画像４５０をオーバーレイしてよい。画像をオーバーレイすることのさらなる例として、データ処理ユニット１９０は、画像取得モジュール２００、および／または画像解析モジュール８２０、および／またはデータ解析モジュール３００を利用して、どの画像をオーバーレイ４６０として表示するかを自動で決定してよい。データリポジトリ１２０は、ユーザおよび／またはデータ処理ユニット１９０により作成された全てのデータを受け取るように構成されてよい。

本明細書に開示される主題の幾つかの例によれば、ユーザは、ヒトインターフェースデバイス１３０を利用して、メモを記載し（例えば、キーボードに、かつ／またはスタイラスペンで）、かつ／または線、例として非限定的に、標本のポイントの距離もしくは周囲を測定する線を引いてよく、そのためこれらの線は、ポイントの間で計算された距離とのオーバーレイとして出現する。ユーザ作成のデータ生成モジュール８１０は、ヒトインターフェースデバイス１３０からデータを受け取ってよく、かつ光学オーバーレイモジュール２８０を利用してこのデータをユーザのためのオーバーレイとして出現させてよい。ユーザは、オーバーレイされたデータを維持するように決定してよく、またはオーバーレイされたデータもしくはその一部をもはや見ないことを決定してよく、したがって、ヒトインターフェースデバイス１３０を利用して、オーバーレイで観察されるものを変更してよい。処理ユニット１９０はモジュールの１つまたは複数からのデータを用いてよく、かつデータおよび／または測定および／またはコメントおよび／または他のデータを作成してよく、かつ光学オーバーレイモジュール２８０を用いてユーザのためにオーバーレイとして投影してよいことが、明言される。そのような例は非限定的に、別のユーザおよび／または上級者からのユーザへの警告またはタスクであってよい。ユーザは、ヒトインターフェースデバイス１３０と共に処理ユニット１９０により自動で作成されたオーバーレイを維持または除去するように決定してよい。データリポジトリ１２０は、ユーザおよび／またはデータ処理ユニット１９０により作成された全てのデータを受け取るように構成されてよい。

図１１を参照して、ブロックの幾つかは合併されたブロックに統合でき、または２、３のブロックに分解でき、かつ／または他のブロックが加えられてもよいことが、留意されなければならない。さらに幾つかの例において、ブロックは、本明細書に記載されるものと異なる順序で実施できる（例えば、ブロック４５０は、ブロック９４０の前に実施できる、など）。ブロックの幾つかは任意選択であることが、さらに留意されなければならない。流れ図はそれを実現するシステム要素を参照して記載されるが、これは決して結合ではなく、ブロックは本明細書に記載されるもの以外の要素により実施できることも、留意されなければならない。

図１２は、本発明の模範的実施形態による、症例報告書作成のための操作の順序を示すフローチャートを略図で表す。

本明細書に開示される主題の幾つかの例によれば、ユーザは、画像、標本データ、メモ、およびユーザにより選択され得る他の情報を含み得る症例報告書を作成および／または更新することを選択してよい。ユーザは、ヒトインターフェースデバイス１３０を利用してよく、例えば非限定的に、アイピース内にオーバーレイされたオーバーレイとしてデジタルで表示された報告書作成アイコンをクリックしてよい。

ユーザ作成のデータ生成モジュール８１０は、このコマンドを受け取ってよく、報告書作成モジュール２５０が、データベース共有モジュール２４０、４７０から受け取り得る関連の標本データ、および／またはヒトインターフェースデバイス１３０を介してユーザにより生成されたデータ、および／または画像取得モジュール２００から収集された画像を収集してよく、光学オーバーレイモジュール２８０を用いてユーザのためにこの報告書をオーバーレイしてよい。

ユーザは、ヒトインターフェースデバイス１３０を利用することにより報告書への変更を行ってよい。さらに、データは、ユーザが報告書に変更を行い続け得る別の場所（例えば、ユーザのパーソナルコンピュータ）と共有されてよい。データリポジトリ１２０は、ユーザおよび／またはデータ処理ユニット１９０により作成されたデータの全てを受け取るように構成されてよい。

図１２を参照して、ブロックの幾つかは合併されたブロックに統合でき、または２、３のブロックに分解でき、かつ／または他のブロックが加えられてもよいことが、留意されなければならない。さらに幾つかの例において、ブロックは、本明細書に記載されるものと異なる順序で実施できる（例えば、ブロック４８０は、ブロック４７０の前に実施できる、など）。ブロックの幾つかは任意選択であることが、さらに留意されなければならない。流れ図はそれを実現するシステム要素を参照して記載されるが、これは決して結合ではなく、ブロックは本明細書に記載されるもの以外の要素により実施できることも、留意されなければならない。

画像に関連するデータは、非限定的にテストのタイプ、組織の型、割り付ける医師、生検を実施した病院の識別、生検の時間その他などの標本の詳細、非限定的に距離の測定、標本の重症度、標本のマーキングまたは陰影その他などのデータ処理ユニット１９０により自動で作成される材料、例えば非限定的に患者の名前、住所、識別番号、支払いの詳細、保険その他などの患者の詳細、非限定的に臨床検査情報システムから発生したデータ、ユーザの音声記録などの他のデータベースからのデータ、非限定的にユーザへのリマインダー、顕微鏡を介して見たものに基づきユーザにより他のユーザに与えられたコマンドなどのユーザにより割り付けられたタスクを含んでよい。

幾つかの例において、データリポジトリ１２０はさらに、保存されたデータの検索、更新および消去を可能にするように構成できる。幾つかの例において、データリポジトリ１２０および／またはデータ処理ユニット１９０は、ユーザのコンピュータに、または任意の他の適切な場所に局在的に設置され得ることが、留意されなければならない。幾つかの例において、データリポジトリ１２０および／またはデータ処理ユニット１９０は、二箇所以上の場所の間に分配されてよい。幾つかの例において、追加でまたは代わりとして、データリポジトリ１２０および／またはデータ処理ユニット１９０は、複数のコンピュータの間で共有されてよい。

図１３は、本発明の模範的実施形態による、新しいハードウエアに接続してそれをセットアップするための操作の順序を示すフローチャートを略図で表す。

本明細書に開示される主題の幾つかの例によれば、記載される実施形態は、顕微鏡に接続されてよい（ステップ５００）。ステップ５００は、場合によりプラグアンドプレイに適合性である、先に開示された１つまたは複数の任意の他の画像取得および投影ユニット、例えばフーリエ面画像取得および投影ユニット４００をインストールする、または作動させる、または接続することにより、置き換えられてよい。

本明細書に開示される主題の幾つかの例によれば、プラグアンドプレイモジュール５３０を用いて、上述のソフトウエアモジュール全てを新たに加えられたハードウエアで動作させることができる。データ処理ユニット１９０は、較正モジュール５１０を用いて、全てのハードウエアが同調していることを決定できる。データ処理ユニット１９０は、認証モジュール５２０を利用して、ユーザの同一性を決定でき、およびオーバーレイで表示される適当なデータを決定できる。

図１３を参照して、ブロックの幾つかは合併されたブロックに統合でき、または２、３のブロックに分解でき、かつ／または他のブロックが加えられてもよいことが、留意されなければならない。さらに幾つかの例において、ブロックは、本明細書に記載されるものと異なる順序で実施できる（例えば、ブロック５３０は、ブロック５２０の前に実施できる、など）。ブロックの幾つかは任意選択であることが、さらに留意されなければならない。流れ図はそれを実現するシステム要素を参照して記載されるが、これは決して結合ではなく、ブロックは、本明細書に記載されるもの以外の要素により実施できることも、留意されなければならない。

図３および１１に記載される寸法測定は、選択された対物レンズに応じて、カメラのピクセルから物理的長さ単位への較正を必要とする。一実施形態において、使用中の対物レンズを交換する場合、倍率はユーザが対物レンズを交換するたびにヒトインターフェースデバイス１３０の１つを用いてユーザにより手動で変更される。この較正変更の方法は、ヒトによる誤差を受けやすく、以下に記載される自動倍率検出での別の実施形態が好ましい。

図１４は、各対物レンズの倍率のために予め設定された較正係数を選択することにより、自動でシステム１００に寸法測定を較正させるデバイスおよび方法を略図で表す。これは、対物レンズ６９５ａおよび６９５ｂなどの各対物レンズに設置される異なるマーカ１４０５を同定できるセンサ１４０４を用いて実施されてよい。センサ／マーカの組み合わせは、ＲＦＩＤリーダー／ＲＦＩＤタグ、対物レンズ上の２Ｄカラー画像アレイ／カラーリングコード１４０６、対物レンズ上のバーコードリーダー／バーコード、または類似のものであり得る。

あるいはさらに、対物レンズを交換するために回転するターレット１４０１に、センサの電子機械的スイッチを取り付けて、どの対物レンズが使用中かを示してもよい。

アイピースの変更は倍率（かつ時には観察される視野）を変更することが、留意されなければならない。しかし、画像取得および画像投影は最終的なアイピースの光学系の前に実施されるため、較正は残されたままである。

任意選択のアタッチメント１４１４、例えばスライドカメラを用いて、現在使用中のスライド６９０を自動で同定してもよい。スライド上のバーコードまたは他のマーキングはスライドを同定し、それを素性（例えば、患者の名前、臓器、場所、生検番号その他）に関するデータベース中のデータと関連づけてよい。スライドの画像、およびスライドＩＤは、こうして撮影された顕微鏡画像と関連づけられ、こうしてエラーを防止する。場合により、スライド上の英数字マーキングをデジタルスライドＩＤに変換するために、ＯＣＲ（光学文字認識）ソフトウエアが用いられる。任意選択のアタッチメント１４１４を、コンピュータ１９０によりモニタリングしてよく、スライドの交換が確認された事象であることを確実にする。スライドＩＤは通常、スライドの側面に印字、記載または付着され、標本を点検している間は依然として視界にある。

標本上の実際の場所は、対物レンズにより観察されている間は視界から隠れており、それはスライドに接近していて観察される視野よりかなり大きい。

場合によりアタッチメント１４１４はさらに、スライド６９０全体、またはその大きな部分、標本が焦点に合わされる前の標本４９５の画像を記録する。例えばスライドが、対物レンズの充分下にある時、または標本が対物レンズ下で中心に置かれる前にスライドが台に配置される場合。アタッチメント１４１４はその後、スライドの縁部またはスライド上のマーカを同定してよく、かつ標本のどの部分が現在拡大して観察されているかを推測してよい。場合により、側面の座標、または標本上の場所を、取得された顕微鏡画像と共に記録する（例えば、側面もしくは標本の画像上の数値座標または印として）。場合により、電動の台またはメモリ付きの台の運動制御により、スライド上の顕微鏡で獲得された画像の場所を同定でき、場合により２回目の観察のために同じスポットに戻ることができる。

場合によりシステム１００は、標本の光学観察と保存された画像の比較を、２つの画像を並べて、またはオーバーレイで実施できる。そのような提示は、同じ組織の薄い区分が異なって染色される場合に有用であり得、つまり組織の異なる特性が視覚的に増強される。抽出された組織切片の中の異なる深さで採取された同じ組織の異なるスライスを比較することが、有用である場合もある。

例えば遠隔サーバ１９９で異なる型の正常および異常組織の画像の大規模なデータベースを生成することにより、ユーザは、場合により異なる場所で、自身により、または他のユーザにより過去に取得された類似の組織型および類似の医療条件の典型的な例を観察し、かつそれらをユーザが観察している標本と比較してもよい。場合により、保存された画像がユーザにより用いられる倍率と異なる倍率で撮影された場合に、デジタルズーミングを用いてよい。場合により、デジタルズーミングをまた再度配置し、または移動させて光学画像と一致させる。

本明細書で用いられる用語「コンピュータ」または「モジュール」は、マイクロコントローラ、縮小命令セットコンピュータ（ＲＩＳＣ）、特定用途向け集積回路（ＡＳＩＣ）、論理回路、および本明細書に記載される機能を実行できる任意の他の回路またはプロセッサを用いるシステムを含む任意のプロセッサに基づくまたはマイクロプロセッサに基づくシステムを包含できる。上述の例は模範に過ぎず、したがって用語「コンピュータ」の定義および／または意味を限定する意図はない。

先の記載が例示を意図しており、限定ではないことが、理解されなければならない。例えば上記の実施形態（および／またはその態様）は、互いに組み合わせて用いられてもよい。加えて、本発明の範囲を逸脱することなく、本発明の様々な実施形態の教示に多くの改変を施して、特定の状況および材料を適合させてもよい。本明細書に記載された材料の寸法および型は、本発明の様々な実施形態のパラメータを定義するものであるが、実施形態は、限定ではなく、模範的実施形態である。多くの他の実施形態が、先の記載を論評することにより当業者に明白となろう。それゆえ本発明の様々な実施形態の範囲は、添付の特許請求の範囲に権利を与える均等物の全範囲と共に、そのような特許請求の範囲に関連して決定されなければならない。添付の特許請求の範囲において、用語「包含する」および「この場合」は、各用語「含む」および「ここで」の平易な英語の均等物として用いられる。その上、以下の特許請求の範囲において、用語「第一の」、「第二の」および「第三の」などは、単に標識として用いられ、それらの物体の数値要件を課すものではない。

さらに、以下の特許請求の範囲の限定は、意味＋機能の形式で記載されておらず、そのような特許請求の範囲の限定が、語句「に関して意味する」と、それに続いてさらなる構造を欠く機能の状況を明確に使用しない限り、３５Ｕ．Ｓ．Ｃ．§１１２、６段落目に基づいて解釈されないものとする。

この記載された説明は、最良の態様を含む本発明の様々な実施形態を開示するため、かつ任意のデバイスまたはシステムを作製および使用すること、ならびに任意の組み入れられた方法を実施することを含む本発明の様々な実施形態を任意の当業者に実践させるために、実施例を使用している。本発明の様々な実施形態の特許性のある範囲は、特許請求の範囲により定義され、当業者が発想する他の実施例を包含してもよい。そのような他の実施例が、特許請求の範囲の文字上の言語と異ならない構造的要素を有する場合、または実施例が、特許請求の範囲の文字上の言語と非実質的差を有する均等な構造的要素を含む場合、実施例は、特許請求の範囲に含まれるものとする。

本発明を具体的実施形態と併せて記載したが、多くの代替例、改変および変化が当業者に自明であることは、明白である。したがって、添付の特許請求の範囲の主旨および広い範囲に含まれるそのような代替例、改変および変化の全てを包含するものとする。本明細書で言及された全ての発行物、特許および特許出願は、その個々の発行物、特許または特許出願が具体的かつ個別に参照により本明細書に組み入られるのと同程度に、参照により全体として本明細書に組み入れられる。加えて、本出願における任意の参照の引用または識別は、そのような参照が本発明の先行技術として利用可能であるという承認と解釈してはならない。

Claims (29)

1. デジタル画像を取得するためのデジタルカメラと；
   投影された画像の光を生成するためのデジタル画像プロジェクタと；
   ａ）顕微鏡の対物レンズから到達する光の第一の部分を分割しかつ前記顕微鏡の前記対物レンズから到達する光の前記第一の部分を前記カメラに方向づける；
   ｂ）前記顕微鏡の前記対物レンズから到達する光の第二の部分を伝送し前記顕微鏡の前記対物レンズから到達する光の前記第二の部分を前記顕微鏡の少なくとも１つの接眼レンズに方向づける；かつ
   ｃ）前記デジタル画像プロジェクタによって生成される前記投影画像の光の一部を前記顕微鏡の前記対物レンズから到達する光の前記第二の部分と組み合わせ前記対物レンズから到達する光の前記第二の部分と前記デジタル画像プロジェクタにより生成される前記投影画像の光の前記一部の組み合わせが前記顕微鏡の前記少なくとも１つの接眼レンズを通して観察されるようにする、
   ためのビームスプリッタ、
   を含む画像取得および画像投影のための装置。
2. 前記顕微鏡のフィルターベイ内に適合するように構成される、請求項１に記載の画像取得および画像投影のための装置。
3. 前記顕微鏡の前記対物レンズから到達する光の前記第一の部分を前記デジタルカメラのデジタル撮像アレイ上に集束するための少なくとも１つのレンズをさらに含む、請求項１に記載の画像取得および画像投影のための装置。
4. 前記顕微鏡の前記少なくとも１つの接眼レンズを通して観察される場合前記デジタル画像プロジェクタにより投影される前記画像に焦点が合うように前記デジタル画像プロジェクタにより生成される前記投影画像の光を前記顕微鏡の前記少なくとも１つの接眼レンズの中間アイピース画像面で集束するための少なくとも１つのレンズをさらに含む、請求項１に記載の画像取得および画像投影のための装置。
5. 前記ビームスプリッタが、前記顕微鏡のフーリエ面に配置されるように構成される、請求項１に記載の画像取得および画像投影のための装置。
6. 前記顕微鏡の前記少なくとも１つの接眼レンズ内に統合される、請求項１に記載の画像取得および画像投影のための装置。
7. 前記少なくとも１つの接眼レンズを介して観察される場合前記デジタル画像プロジェクタにより生成される前記投影画像の光の可視性を上昇させるために前記顕微鏡の前記対物レンズの前面にある物体の光学画像の一部が暗化されるように前記顕微鏡の前記対物レンズから到達する光の少なくとも一部を遮断するためのシャッタをさらに含む、請求項１に記載の画像取得および画像投影のための装置。
8. 少なくとも１つの対物レンズおよび少なくとも１つの接眼レンズを有する光学顕微鏡と；
   前記少なくとも１つの対物レンズと前記少なくとも１つの接眼レンズの間の光路中に位置する画像取得および画像投影ユニットであって、
   デジタル画像を取得するためのデジタルカメラと、
   投影された画像の光を生成するためのデジタル画像プロジェクタと、
   ａ）顕微鏡の対物レンズから到達する光の第一の部分を分割して前記顕微鏡の前記対物レンズから到達する前記光の前記第一の部分を前記カメラに方向づける；
   ｂ）前記顕微鏡の前記対物レンズから到達する光の第二の部分を伝送し前記顕微鏡の対物レンズから到達する前記光の前記第二の部分を前記顕微鏡の少なくとも１つの接眼レンズに方向づける；かつ
   ｃ）前記デジタル画像プロジェクタによって生成される前記投影画像の光の一部を前記顕微鏡の前記対物レンズから到達する光の前記第二の部分と組み合わせ前記対物レンズから到達する光の前記第二の部分と前記デジタル画像プロジェクタにより生成される前記投影画像の光の前記一部の組み合わせが前記顕微鏡の前記少なくとも１つの接眼レンズを通して観察されるようにする、
   ためのビームスプリッタ、
   を含む画像取得および画像投影ユニットと；
   前記デジタルカメラにより取得されたデジタル画像を受け取りかつ保存し、かつ前記デジタル画像プロジェクタにより投影されるデジタル画像を作成するためのデータ処理ユニット、
   を含む画像取得および画像投影のためのシステム。
9. 前記データ処理ユニットに連結されて画像取得および画像投影のための前記システムのユーザによるデータおよびコマンドの入力を可能にする、キーボードおよびマウスなどの少なくとも１つのヒトインターフェースデバイスをさらに含む、請求項８に記載の画像取得および画像投影のためのシステム。
10. 前記データ処理ユニットに連結されて前記データ処理ユニットからの画像およびデータの蓄積を可能にする、少なくとも１つの遠隔サーバをさらに含む、請求項９に記載の画像取得および画像投影のためのシステム。
11. 前記データ処理ユニットに連結されて前記画像取得および画像投影ユニットにより取得された画像の遠隔観察を可能にする少なくとも１つの遠隔観察ステーションをさらに含む、請求項９に記載の画像取得および画像投影のためのシステム。
12. 前記少なくとも１つの遠隔サーバまたは前記少なくとも１つの遠隔観察ステーションが、インターネットを介して前記データ処理ユニットに連結される、請求項１０または１１に記載の画像取得および画像投影のためのシステム。
13. 前記少なくとも１つの対物レンズの前面に現在ある前記スライドを自動で同定するためのスライドカメラをさらに含む、請求項９に記載の画像取得および画像投影のためのシステム。
14. 前記スライドカメラが、前記少なくとも１つの対物レンズの前面に現在ある前記スライドの画像を取得する、請求項１１に記載の画像取得および画像投影のためのシステム。
15. それぞれが異なる倍率を有する、複数の対物レンズであって、前記複数の対物レンズの選択された１つが使用中である、複数の対物レンズと；
    前記複数の対物レンズのどの１つが現在使用中であるかを自動で同定し、かつ現在使用中である前記複数の対物レンズの前記選択された１つの倍率を前記データ処理ユニットに報告するためのアタッチメント、
    をさらに含む、請求項９に記載の画像取得および画像投影のためのシステム。
16. 前記デジタル画像プロジェクタが、現在使用中の前記選択された対物レンズの前面にある前記物体の光学画像と共に観察される較正スケールを投影し、前記較正スケールが、前記複数の対物レンズのどの１つが現在使用中であるかを自動で同定するための前記アタッチメントにより前記データ処置ユニットに報告された現在使用中の前記複数の対物レンズの前記選択された１つの倍率に基づく、請求項１５に記載の画像取得および画像投影のためのシステム。
17. 画像取得および画像投影のための前記システムのユーザが、前記マウスを使用して前記少なくとも１つの接眼レンズを介して見られる前記画像上にマーカを投影できる、請求項１５に記載の画像取得および画像投影のためのシステム。
18. 画像取得および画像投影のための前記システムのユーザが、前記少なくとも１つの接眼レンズを介して観察される前記光学画像の上の２つの場所の間で較正サイズ測定を実施でき、
    前記較正測定が、前記複数の対物レンズのどの１つが現在使用中であるかを自動で同定するための前記アタッチメントにより前記データ処置ユニットに報告された現在使用中である前記複数の対物レンズの前記選択された１つの倍率に基づく、請求項１７に記載の画像取得および画像投影のためのシステム。
19. 前記ユーザが注意している視野での場所を画像取得および画像投影のためのシステムが追跡および決定できるようにするために前記接眼レンズの少なくとも１つに統合される熟視追跡子（ｇａｚｅ ｆｏｌｌｏｗｅｒ）をさらに含む、請求項９に記載の画像取得および画像投影のためのシステム。
20. 前記ユーザが注意している視野での前記場所が予め設定された閾値期間よりも長い期間静止したままであるならば前記デジタルカメラにより取得された画像を自動で保存および標識する、請求項１９に記載の画像取得および画像投影のためのシステム。
21. 前記デジタル画像プロジェクタにより作成されかつ前記顕微鏡の前記少なくとも１つの接眼レンズを通して観察される前記投影画像が、画像取得および画像投影のためのシステムにより取得された保存画像を含む、請求項９に記載の画像取得および画像投影のためのシステム。
22. 前記デジタル画像プロジェクタにより作成されかつ前記顕微鏡の前記少なくとも１つの接眼レンズを通して観察される前記投影画像が、英数字のマーキングを含む、請求項９に記載の画像取得および画像投影のためのシステム。
23. 光学顕微鏡を用いて物体の微視的に拡大された光学画像を少なくとも１つの接眼レンズを介して観察すること；および
    同じ前記少なくとも１つの接眼レンズを介して投影されるデジタル画像を同時に観察すること、
    を含む画像取得および画像投影のための方法。
24. 前記投影されたデジタル画像が、少なくとも部分的に誇張された前記微視的に拡大された光学画像である、請求項２３に記載の画像取得および画像投影のための方法。
25. デジタルカメラにより前記微視的に拡大された光学画像を取得すること；および
    前記デジタルカメラにより取得された前記画像のデジタルコピーをデータリポジトリに保存すること、
    をさらに含む、請求項２３に記載の画像取得および画像投影のための方法。
26. 前記投影されるデジタル画像が、前記データリポジトリに保存された画像を含む、請求項２５に記載の画像取得および画像投影のための方法。
27. 前記デジタルカメラにより取得された画像を遠隔観察ステーションにデジタルで伝送することをさらに含む、請求項２５に記載の画像取得および画像投影のための方法。
28. 前記投影されるデジタル画像を前記遠隔観察ステーションにデジタルで伝送することをさらに含む、請求項２７に記載の画像取得および画像投影のための方法。
29. 前記遠隔観察ステーションを用いる観察者と微視的に拡大された光学画像を少なくとも１つの接眼レンズを介して観察する前記ユーザの両者が、前記投影されるデジタル画像を共有でき、操作できかつ前記画像と相互作用できる、請求項２８に記載の画像取得および画像投影のための方法。

Images