JP7304508B2 - Information processing system and information processing program - Google Patents
Information processing system and information processing program Download PDFInfo
- Publication number
- JP7304508B2 JP7304508B2 JP2019042036A JP2019042036A JP7304508B2 JP 7304508 B2 JP7304508 B2 JP 7304508B2 JP 2019042036 A JP2019042036 A JP 2019042036A JP 2019042036 A JP2019042036 A JP 2019042036A JP 7304508 B2 JP7304508 B2 JP 7304508B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- marker
- eye
- control unit
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、識別の困難な対象物を識別する情報処理システムおよび情報処理プログラムに関する。 The present invention relates to an information processing system and an information processing program for identifying objects that are difficult to identify.
白内障などの眼の疾患を治療するには、眼の手術を行うことが一般的である。眼の手術を行う際、医療従事者は、患者の顔をドレープで覆い、手術を行う眼をドレープの開口から露出させる（非特許文献１参照）。 Eye surgery is commonly performed to treat eye diseases such as cataracts. When performing eye surgery, medical personnel cover the patient's face with a drape and expose the eye to be operated on through the opening of the drape (see Non-Patent Document 1).
患者の顔がドレープで覆われている場合、ドレープから露出している眼が左眼か右眼か識別が難しいことがある。そのため、医療従事者は、手術を行わない方の眼が誤って露出しているときに、手術を行う方の眼が露出していると誤認してしまう可能性がある。このような誤認の問題は、医療の現場以外の現場においても、起こり得る問題である。従って、識別の困難な対象物を識別することの可能な情報処理システムおよび情報処理プログラムを提供することが望ましい。 When the patient's face is draped, it can be difficult to distinguish whether the eye exposed through the drape is the left or right eye. Therefore, when the non-operating eye is erroneously exposed, the medical staff may misunderstand that the operating eye is exposed. Such a problem of misidentification is a problem that can occur even in sites other than medical sites. Therefore, it is desirable to provide an information processing system and an information processing program capable of identifying objects that are difficult to identify.
本発明の一実施形態に係る第１の情報処理システムは、取得部と、表示部とを備えている。取得部は、識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する。表示部は、取得部で取得された位置情報に基づいて生成したマーカを撮像画像に重ね合わせた画像を表示する。 A first information processing system according to an embodiment of the present invention includes an acquisition section and a display section. The acquisition unit acquires the position information of the identification target or the region including the identification target in the captured image by performing object detection on the segmentation image obtained from the captured image including the identification target. The display unit displays an image in which the marker generated based on the position information acquired by the acquisition unit is superimposed on the captured image.
本発明の一実施形態に係る第２の情報処理システムは、取得部と、合成部とを備えている。取得部は、識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する。合成部は、取得部で取得された位置情報に基づいて生成したマーカを、光学系によって形成される、識別対象を含む術野の像に重ね合わせる。 A second information processing system according to one embodiment of the present invention includes an acquisition unit and a synthesis unit. The acquisition unit acquires the position information of the identification target or the region including the identification target in the captured image by performing object detection on the segmentation image obtained from the captured image including the identification target. The synthesizing unit superimposes the marker generated based on the position information acquired by the acquiring unit on the image of the surgical field including the identification target formed by the optical system.
本発明の一実施形態に係る第３の情報処理システムは、取得部と、送信部とを備えている。取得部は、識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する。送信部は、取得部で取得された位置情報を、表示部を備えた情報処理装置に送信する。 A third information processing system according to an embodiment of the present invention includes an acquisition section and a transmission section. The acquisition unit acquires the position information of the identification target or the region including the identification target in the captured image by performing object detection on the segmentation image obtained from the captured image including the identification target. The transmission unit transmits the position information acquired by the acquisition unit to the information processing device provided with the display unit.
本発明の一実施形態に係る第１の情報処理プログラムは、以下の２つのステップをコンピュータに実行させる。
（１）識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する取得ステップ
（２）取得ステップで取得された位置情報に基づいて生成したマーカを撮像画像に重ね合わせた画像を表示するための映像信号を生成する生成ステップA first information processing program according to an embodiment of the present invention causes a computer to execute the following two steps.
(1) Acquisition step of acquiring position information of an identification target or a region including an identification target in a captured image by performing object detection on a segmentation image obtained from a captured image including the identification target (2) Acquisition step A generation step of generating a video signal for displaying an image in which the marker generated based on the position information obtained in step is superimposed on the captured image
本発明の一実施形態に係る第２の情報処理プログラムは、以下の２つのステップをコンピュータに実行させる。
（１）識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する取得ステップ
（２）取得ステップで取得された位置情報に基づいて生成したマーカを、光学系によって形成される、識別対象を含む術野の像に重ね合わせるための投射光生成用の映像信号を生成する生成ステップA second information processing program according to an embodiment of the present invention causes a computer to execute the following two steps.
(1) Acquisition step of acquiring position information of an identification target or a region including an identification target in a captured image by performing object detection on a segmentation image obtained from a captured image including the identification target (2) Acquisition step A generation step of generating a video signal for generating projection light for superimposing the marker generated based on the position information acquired in step on the image of the operative field including the identification target formed by the optical system
本発明の一実施形態に係る第３の情報処理プログラムは、以下の２つのステップをコンピュータに実行させる。
（１）識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する取得ステップ
（２）取得ステップで取得された位置情報を、表示部を備えた情報処理装置に送信する送信ステップA third information processing program according to an embodiment of the present invention causes a computer to execute the following two steps.
(1) Acquisition step of acquiring position information of an identification target or a region including an identification target in a captured image by performing object detection on a segmentation image obtained from a captured image including the identification target (2) Acquisition step A transmission step of transmitting the position information acquired in to an information processing device equipped with a display unit
本発明の一実施形態に係る第１の情報処理システム、第２の情報処理システム、第３の情報処理システム、第１の情報処理プログラム、第２の情報処理プログラムおよび第３の情報処理プログラムでは、識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報が取得される。これにより、例えば、取得された位置情報に基づいて生成したマーカを、撮像画像に重ね合わせた画像を表示したり、光学系によって形成される、識別対象を含む術野の像に重ね合わせたりすることが可能となる。その結果、識別対象を識別するのに必要な要素を撮像画像に確実に含ませることができるので、識別の困難な対象物を識別することができる。 In the first information processing system, the second information processing system, the third information processing system, the first information processing program, the second information processing program, and the third information processing program according to one embodiment of the present invention, By performing object detection on the segmentation image obtained from the captured image including the identification target, the position information of the identification target or the region including the identification target in the captured image is obtained. As a result, for example, the marker generated based on the acquired position information is displayed as an image superimposed on the captured image, or superimposed on the image of the surgical field including the identification target formed by the optical system. becomes possible. As a result, it is possible to reliably include the elements necessary for identifying the identification target in the captured image, so that the difficult-to-identify target can be identified.
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本発明の一具体例であって、本発明は以下の態様に限定されるものではない。また、本発明は、各図に示す各構成要素の配置や寸法、寸法比などについても、それらに限定されるものではない。また、以下の説明において、上下、左右、前後等の方向は、特に言及しない限り医療従事者側から見た方向とする。なお、上下方向については、後述の対物レンズから術野に向かう方向を下方とし、これの反対方向を上方とする。一般に患者は仰向け状態で手術を受けるので、上下方向と垂直方向とは同じになる。なお、説明は、以下の順序で行う。
１．発明の背景
２．第１の実施の形態（図１～図１４）
Ｓｅｇｍｅｎｔａｔｉｏｎ画像の生成や左右眼識別をサーバ装置で行い、
明るさ判定、ピント判定、Ｄｅｔｅｃｔｉｏｎ画像の生成および位置判定を情報 処理装置で行う例
３．第１の実施の形態の変形例
変形例Ａ（図１５、図１６）
明るさ判定、ピント判定、Ｄｅｔｅｃｔｉｏｎ画像の生成および位置判定もサー バ装置で行う例（情報処理装置がインターフェースとして機能する例）
変形例Ｂ（図１７～図１９）
サーバ装置を省略した例
変形例Ｃ（図２０～図２２）
第１の実施の形態および変形例Ａにおいて、
情報処理装置とサーバ装置との通信とは異なる通信で、撮像画像を情報処理装置 に送信する例
変形例Ｄ（図２３、図２４）
変形例Ｃにおいてサーバ装置を省略した例
４．第２の実施の形態（図２５～図３３）
Ｓｅｇｍｅｎｔａｔｉｏｎ画像の生成や左右眼識別をサーバ装置で行い、
明るさ判定、ピント判定、Ｄｅｔｅｃｔｉｏｎ画像の生成および位置判定をカメ ラ付き情報処理装置で行う例
５．第２の実施の形態の変形例
変形例Ｅ（図３４、図３５）
明るさ判定、ピント判定、Ｄｅｔｅｃｔｉｏｎ画像の生成および位置判定もサー バ装置で行う例
（カメラ付き情報処理装置がインターフェースとして機能する例）
変形例Ｆ（図３６～図３８）
サーバ装置を省略した例BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings. The following description is a specific example of the present invention, and the present invention is not limited to the following aspects. In addition, the present invention is not limited to the arrangement, dimensions, dimensional ratios, etc. of each component shown in each drawing. Further, in the following description, directions such as up and down, left and right, and front and back are directions viewed from the side of medical staff unless otherwise specified. As for the vertical direction, the direction from the objective lens, which will be described later, toward the surgical field is defined as downward, and the opposite direction is defined as upward. Since the patient generally undergoes surgery in the supine position, the up-down direction is the same as the vertical direction. In addition, description is given in the following order.
1. Background of the Invention 2 . First embodiment (Figs. 1 to 14)
Generation of segmentation images and identification of left and right eyes are performed by the server device,
3. An example in which brightness determination, focus determination, detection image generation, and position determination are performed by an information processing apparatus. Modified example of the first embodiment Modified example A (Figs. 15 and 16)
Example in which brightness determination, focus determination, detection image generation, and position determination are also performed by the server device (example in which the information processing device functions as an interface)
Modification B (Figs. 17-19)
Example in which the server device is omitted Modification C (Figs. 20 to 22)
In the first embodiment and modification A,
An example of transmitting a captured image to an information processing device through communication different from the communication between the information processing device and the server device Modification D (FIGS. 23 and 24)
4. Example in which the server device is omitted from modification C; Second embodiment (Figs. 25 to 33)
Generation of segmentation images and identification of left and right eyes are performed by the server device,
5. An example in which an information processing apparatus with a camera performs brightness determination, focus determination, detection image generation, and position determination. Modification of Second Embodiment Modification E (FIGS. 34 and 35)
Example in which brightness judgment, focus judgment, detection image generation, and position judgment are also performed by the server device (an example in which an information processing device with a camera functions as an interface)
Modification F (Figs. 36-38)
Example in which the server unit is omitted
＜１．発明の背景＞
図１、図２は、撮像領域の位置調整用のマーカＭｃが重ね合わされた術野画像Ｉａ（撮像画像）の一例を表したものである。図１、図２に記載の術野画像Ｉａには、本発明の一実施の形態に係る左右眼識別システム（以下、単に「左右眼識別システム」と称する。）における識別対象である眼１０が含まれている。眼１０は、眼球１１と、涙丘１２とを含んで構成されている。涙丘１２は、眼１０のうち、鼻に近い端部（目頭）に存在している。図１、図２に記載の術野画像Ｉａは、例えば、医療従事者が患者の頭の傍に立ち、患者の頭上に設置された顕微鏡を覗いたときの術野の様子に対応している。従って、図１に示したように、術野画像Ｉａに対して物体検出（Ｄｅｔｅｃｔｉｏｎ）を行うことにより得られた画像（Ｄｅｔｅｃｔｉｏｎ画像Ｉｂ）の中に、涙丘１２や目頭が含まれている場合には、例えば、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂの枠をマーカとして術野画像Ｉａに重ね合わせて表示することによって、医療従事者は、眼１０全体が撮像領域内に入っているか否かを直感的に把握することができる。この場合、医療従事者が、マーカが術野画像Ｉａにおける所定の領域内に位置するように撮像領域を調整することで、眼１０全体が術野画像Ｉａにおける所定の領域内に入るので、術野画像Ｉａに写っている眼１０が左眼であるか、右眼であるかを左右眼識別システムにおいて正しく識別することが可能となる。<1. Background of the Invention>
1 and 2 show an example of an operating field image Ia (captured image) on which a marker Mc for position adjustment of the imaging region is superimposed. In the operative field image Ia shown in FIGS. 1 and 2, an
ところが、実際に、術野画像Ｉａに対して物体検出を行うと、例えば、図２に示したように、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂには、眼球１１が含まれるが、涙丘１２や目頭が含まれない。そのため、図２に示したように、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂの枠をマーカとして術野画像Ｉａに重ね合わせて表示した場合に、医療従事者が、眼１０全体が撮像領域内に入っているか否かを直感的に把握することが難しいことがある。この場合、医療従事者が、マーカが術野画像Ｉａにおける所定の領域内に位置するように撮像領域を調整したとしても、眼１０の一部が術野画像Ｉａにおける所定の領域から外れてしまい、術野画像Ｉａに写っている眼１０が左眼であるか、右眼であるかを左右眼識別システムにおいて正しく識別することができないおそれがある。そこで、本発明では、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）が確実に含まれるようにする手法を提案する。 However, when object detection is actually performed on the operative field image Ia, for example, as shown in FIG. . Therefore, as shown in FIG. 2, when the frame of the detection image Ib is used as a marker and displayed so as to be superimposed on the operative field image Ia, the medical staff can check whether the
＜２．第１の実施の形態＞
［構成］
図３は、本発明の第１の実施の形態に係る左右眼識別システム１００の概略構成の一例を表したものである。左右眼識別システム１００は、本発明の「情報処理システム」の一具体例に相当する。図４は、左右眼識別システム１００の機能ブロックの一例を表したものである。図３には、医療従事者が術野を拡大して視認するための眼科手術用顕微鏡システム２００が、左右眼識別システム１００とともに例示されている。本実施の形態において、術野は、患者４００の顔のうち、患者４００の顔に被せたドレープ６００の開口６１０内に露出している領域である。術野には、手術を行う眼が含まれている。患者４００は、手術台３００に仰向け状態で寝ており、患者４００の身体には、シーツ５００が被されており、患者４００の顔にはドレープ６００が被されている。<2. First Embodiment>
[composition]
FIG. 3 shows an example of a schematic configuration of the left/right
（眼科手術用顕微鏡システム２００）
眼科手術用顕微鏡システム２００は、例えば、支柱２１０と、第１アーム２２０と、第２アーム２３０と、駆動装置２４０と、医療従事者用顕微鏡２５０と、フットスイッチ２６０とを備えている。(
The ophthalmic
支柱２１０は、眼科手術用顕微鏡システム２００の全体を支持する。支柱２１０の上端には、第１アーム２２０の一端が接続されている。第１アーム２２０の他端には、第２アーム２３０の一端が接続されている。第２アーム２３０の他端には、駆動装置２４０が接続されている。医療従事者用顕微鏡２５０は、駆動装置２４０により懸架されている。左右眼識別システム１００に用いられるカメラ１２０が、医療従事者用顕微鏡２５０に付設されている。フットスイッチ２６０は、各種操作を医療従事者等の足で行うために用いられる。駆動装置２４０は、医療従事者等による操作に応じて、医療従事者用顕微鏡２５０とカメラ１２０とを上下方向および水平方向に３次元的に移動させる。
医療従事者用顕微鏡２５０は、各種光学系や駆動系などを収納する鏡筒部２５１と、左右一対の接眼部２５２とを有している。医療従事者は、接眼部２５２を覗き込んで、鏡筒部２５１を介して術野を両眼で観察する。鏡筒部２５１は、例えば、対物レンズと、照明光学系と、観察光学系と、撮影光学系とを含んで構成されている。観察光学系は、対物レンズに連結される光学系であり、撮影光学系は、カメラ１２０に連結される光学系である。 A
照明光学系は、対物レンズを介して術野を照明する。観察光学系は、照明光学系により照明されている術野を、対物レンズを介して医療従事者用顕微鏡２５０により観察するために用いられる。観察光学系は、左右一対設けられており、右側の観察光学系は、右側の接眼部２５２に連結され、左側の観察光学系は、左側の接眼部２５２に連結されている。右側の観察光学系には、例えば、ビームスプリッタが設けられており、術野から右側の観察光学系を導光する光の一部がビームスプリッタによって撮影光学系に導かれる。 The illumination optical system illuminates the surgical field through the objective lens. The observation optical system is used to observe the surgical field illuminated by the illumination optical system with the
（左右眼識別システム１００）
左右眼識別システム１００は、例えば、情報処理装置１１０と、カメラ１２０と、サーバ装置１３０とを備えている。情報処理装置１１０およびサーバ装置１３０は、ネットワーク１４０を介して接続されている。情報処理装置１１０は、ネットワーク１４０を介してサーバ装置１３０と通信することができるように構成されている。サーバ装置１３０は、ネットワーク１４０を介して情報処理装置１１０と通信することができるように構成されている。情報処理装置１１０およびカメラ１２０は、ネットワーク１４０を介して接続されている。情報処理装置１１０は、ネットワーク１４０を介してカメラ１２０と通信することができるように構成されている。カメラ１２０は、ネットワーク１４０を介して情報処理装置１１０と通信することができるように構成されている。(Left/right eye identification system 100)
The left/right
ネットワーク１４０は、例えば、インターネットで標準的に利用されている通信プロトコル（ＴＣＰ／ＩＰ）を用いて通信を行うネットワークである。ネットワーク１４０は、例えば、そのネットワーク独自の通信プロトコルを用いて通信を行うセキュアなネットワークであってもよい。ネットワーク１４０は、例えば、インターネット、イントラネット、または、ローカルエリアネットワークである。ネットワーク１４０と、情報処理装置１１０、サーバ装置１３０またはカメラ１２０との接続は、例えば、イーサネット等の有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、Ｗｉ－Ｆｉ等の無線ＬＡＮや、携帯電話回線などであってもよい。 The
情報処理装置１１０は、例えば、制御部１１１、メモリ１１２、表示部１１３、入力部１１４およびネットワークＩＦ（Ｉｎｔｅｒｆａｃｅ）１１５を含んで構成されている。本実施の形態において、制御部１１１は、本発明の「取得部」の一具体例に相当する。表示部１１３は、本発明の「表示部」の一具体例に相当する。制御部１１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含んで構成され、例えば、メモリ１１２に記憶されたウェブブラウザプログラムや、オペレーティングシステムなど（図示せず）を実行する。制御部１１１は、さらに、例えば、メモリ１１２に記憶されたプログラム１１２Ａを実行する。プログラム１１２Ａは、本発明の「情報処理プログラム」の一具体例に相当する。プログラム１１２Ａは、術野に含まれる眼の種類（左眼または右眼）を識別するための一連の手順を制御部１１１に実行させる。プログラム１１２Ａが制御部１１１に実行させる一連の手順については、後に詳述する。 The
メモリ１１２は、制御部１１１によって実行されるプログラム（例えば、ウェブブラウザプログラムや、オペレーティングシステム）などを記憶している。メモリ１１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、補助記憶装置（ハードディスク等）等によって構成される。メモリ１１２は、さらに、プログラム１１２Ａを記憶している。 The
表示部１１３は、例えば、液晶パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の表示装置からなる。表示部１１３は、制御部１１１からの映像信号に基づく画像を表示面１１０Ａに表示する。入力部１１４は、外部（例えば、ユーザ）からの指示を受け付け、受け付けた指示を制御部１１１に出力する。入力部１１４は、例えば、ボタンやダイヤルなどを含む機械的な入力インターフェースであってもよいし、マイクロフォンなどを含む音声入力インターフェースであってもよい。入力部１１４は、例えば、情報処理装置１１０の表示面１１０Ａに設けられたタッチパネルであってもよい。ネットワークＩＦ１１５は、ネットワーク１４０を介してサーバ装置１３０と通信するための通信インターフェースである。 The
カメラ１２０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサもしくはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを含んで構成されている。カメラ１２０は、例えば、情報処理装置１１０による制御に従って撮像を行い、それにより得られた画像（術野画像Ｉａ）を、ネットワーク１４０を介して情報処理装置１１０に出力する。 The
サーバ装置１３０は、例えば、制御部１３１、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２、左右眼識別学習モデル１３３、メモリ１３４およびネットワークＩＦ１３５などを含んで構成されている。左右眼識別学習モデル１３３は、本発明の「識別部」の一具体例に相当する。制御部１３１は、ＣＰＵおよびＧＰＵなどを含んで構成され、例えば、メモリ１３４に記憶されたウェブサーバプログラムや、オペレーティングシステムなどを実行する。制御部１３１は、さらに、例えば、左右眼識別学習モデル１３３で得られた識別結果などを、ネットワークＩＦ１３５を介して情報処理装置１１０に送信する。 The
ネットワークＩＦ１３５は、ネットワーク１４０を介して情報処理装置１１０と通信するための通信インターフェースである。メモリ１３４は、制御部１３１によって実行されるプログラム（例えば、ウェブサーバプログラムや、オペレーティングシステム）などを記憶する。メモリ１３４は、例えば、ＲＡＭ、ＲＯＭ、補助記憶装置（ハードディスク等）等によって構成される。メモリ１３４には、さらに、複数の画像データ１３４Ａ、複数の画像データ１３４Ｂおよび複数の手術データ１３４Ｃが記憶されている。
各画像データ１３４Ａは、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に対して入力される２種類の学習データのうちの１つであるとともに、左右眼識別学習モデル１３３に対して入力される２種類の学習データのうちの１つである。各画像データ１３４Ａは、例えば、図１、図２に示したような、カメラ１２０で得られた術野画像Ｉａである。各画像データ１３４Ｂは、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に対して入力される２種類の学習データのうちの１つであり、例えば、図５に示したような、各画像データ１３４Ａのピクセルが示す意味がラベル付けされたＳｅｇｍｅｎｔａｔｉｏｎ画像である。なお、図５に示した画像データ１３４Ｂは、眼領域Ｒａであるとラベル付けされたピクセルと、周辺領域Ｒｂであるとラベル付けされたピクセルとによって構成されている。各手術データ１３４Ｃは、患者の手術データであり、例えば、患者氏名、患者ＩＤ、病名、手術日時、術眼（左眼、右眼）、術式、担当医などを含んでいる。 Each
Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習プロセスでは、一組の画像データ１３４Ａ，１３４Ｂを学習データとして機械学習を行う。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、機械学習の結果、画像データ１３４Ａと画像データ１３４Ｂとの対応関係についての情報を学習結果として生成し、保有する。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換プロセスでは、カメラ１２０で得られた術野画像Ｉａが入力されると、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。 In the learning process, the
左右眼識別学習モデル１３３は、学習プロセスでは、画像データ１３４Ａと、画像データ１３４Ａに含まれる眼の種類（左眼または右眼）とを学習データとして機械学習を行う。左右眼識別学習モデル１３３は、機械学習の結果、画像データ１３４Ａと、眼の種類との対応関係についての情報を学習結果として生成し、保有する。左右眼識別学習モデル１３３は、識別プロセスでは、術野画像Ｉａを取得すると、学習結果を利用して、術野画像Ｉａに含まれる眼の種類（左眼または右眼）を識別する。 In the learning process, the left/right eye
［動作］
次に、本実施の形態に係る左右眼識別システム１００の動作の一例について説明する。[motion]
Next, an example of the operation of left/right
（機械学習）
ユーザは、入力部１１４を介して、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に対して学習開始を指示する。すると、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、メモリ１３４に記憶された複数組の画像データ１３４Ａおよび画像データ１３４Ｂを学習データとして、機械学習を行う。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、機械学習の結果、画像データ１３４Ａと画像データ１３４Ｂとの対応関係についての情報を学習結果として生成し、保有する。このようにして、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２による機械学習が終了する。(machine learning)
The user instructs the
次に、ユーザは、入力部１１４を介して、左右眼識別学習モデル１３３に対して学習開始を指示する。すると、左右眼識別学習モデル１３３は、学習プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、メモリ１３４に記憶された複数の画像データ１３４Ａのサムネイルおよび識別子とともに、各画像データ１３４Ａに対する眼の種類（左眼、右眼）の入力要請を情報処理装置１１０に送信する。なお、通信速度等の問題がない場合には、左右眼識別学習モデル１３３は、サムネイルではなくオリジナルの画像データ１３４Ａを情報処理装置１１０に送信してもよい。情報処理装置１１０は、左右眼識別学習モデル１３３から、複数の画像データ１３４Ａのサムネイルおよび識別子とともに、各画像データ１３４Ａに対する眼の種類（左眼、右眼）の入力要請を受信すると、受信した複数の画像データ１３４Ａのサムネイルを表示部１１３に表示するとともに、ユーザに対して眼の種類（左眼、右眼）の入力を促す表示を表示部１１３に表示する。ユーザは、表示部１１３の表示に従い、画像データ１３４Ａごとに、眼の種類（左眼、右眼）を入力部１１４に入力する。入力部１１４は、ユーザから入力された、画像データ１３４Ａごとの眼の種類（左眼、右眼）を、画像データ１３４Ａの識別子とともに左右眼識別学習モデル１３３に送信する。左右眼識別学習モデル１３３は、情報処理装置１１０から、画像データ１３４Ａごとの眼の種類（左眼、右眼）を、画像データ１３４Ａの識別子とともに受信すると、眼の種類（左眼、右眼）と、画像データ１３４Ａの識別子との対応関係を生成し、保有する。このようにして、左右眼識別学習モデル１３３による機械学習が終了する。 Next, the user instructs the left/right eye
（左右眼識別）
図７は、左右眼識別システム１００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ａの起動を指示する。すると、情報処理装置１１０（制御部１１１）は、メモリ１１２からプログラム１１２Ａを読み出して、制御部１１１にロードする。プログラム１１２Ａがロードされた制御部１１１は、左右眼の識別をするための一連の手順を実行する。具体的には、まず、制御部１１１は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを情報処理装置１１０に送信する。(Left and right eye identification)
FIG. 7 is a flowchart showing an example of left/right eye identification procedures in left/right
情報処理装置１１０（制御部１１１）は、受信した術野画像Ｉａに対して明るさ判定を行う。情報処理装置１１０（制御部１１１）は、例えば、術野画像ＩａをＨＳＶに変換し、変換により得られた各ピクセルのＶ値が所定の範囲外にある場合には、術野画像Ｉａが明るさ不足もしくは明る過ぎであることを表示部１１３に表示する。情報処理装置１１０（制御部１１１）は、例えば、得られた各ピクセルのＶ値が所定の範囲内にある場合には、ピント判定を実施する。情報処理装置１１０（制御部１１１）は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。情報処理装置１１０（制御部１１１）は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像Ｉａをサーバ装置１３０に送信する。 The information processing device 110 (control unit 111) performs brightness determination on the received surgical field image Ia. For example, the information processing device 110 (control unit 111) converts the operative field image Ia into HSV, and if the V value of each pixel obtained by the conversion is outside a predetermined range, the operative field image Ia is bright. The
サーバ装置１３０が情報処理装置１１０から術野画像Ｉａを受信すると、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２が変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃを情報処理装置１１０に送信する。情報処理装置１１０（制御部１１１）は、受信したＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して、物体検出を行う。情報処理装置１１０（制御部１１１）は、例えば、図８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。 When the
情報処理装置１１０（制御部１１１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。情報処理装置１１０（制御部１１１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報とする。つまり、情報処理装置１１０（制御部１１１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。 The information processing device 110 (control unit 111) uses the position information of the obtained detection image Id in the operating field image Ia as the position information of the region including the eye to be identified in the operating field image Ia. The information processing apparatus 110 (control unit 111), for example, takes the position information of the outer edge portion of the obtained detection image Id in the surgical field image Ia as the position information of the marker Mc. That is, the information processing apparatus 110 (control unit 111) acquires position information of a region including the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
なお、情報処理装置１１０（制御部１１１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。情報処理装置１１０（制御部１１１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、後述のマーカＭｃの位置情報としてもよい。この場合、情報処理装置１１０（制御部１１１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。 The information processing apparatus 110 (control unit 111) may use the position information of the obtained detection image Id in the operating field image Ia as the position information of the eye to be identified in the operating field image Ia. The information processing apparatus 110 (control unit 111) may use, for example, the position information of the outer edge portion of the eye area Ra of the obtained detection image Id in the operating field image Ia as the position information of the marker Mc, which will be described later. In this case, the information processing apparatus 110 (control unit 111) acquires position information of the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
情報処理装置１１０（制御部１１１）は、取得した位置情報に基づいてマーカＭｃを生成した後、生成したマーカＭｃを術野画像Ｉａに重ね合わせた画像（マーカ画像Ｉｅ）を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図９に示したように、制御部１１１からの映像信号に基づいて、術野画像ＩａにマーカＭｃを重ね合わせた画像（マーカ画像Ｉｅ）を表示面１１０Ａに表示する。 After generating the marker Mc based on the acquired position information, the information processing apparatus 110 (control unit 111) displays an image (marker image Ie) in which the generated marker Mc is superimposed on the surgical field image Ia. A signal is generated and output to the
左右眼識別システム１００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、表示面１１０Ａに表示された画像を参照しながら、カメラ１２０の撮像領域を微調整する。情報処理装置１１０（制御部１１１）は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、情報処理装置１１０（制御部１１１）は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報を含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報と、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１０に示したように、「顕微鏡位置がずれています。」といったようなステータスＳＴと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、情報処理装置１１０（制御部１１１）は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、情報処理装置１１０（制御部１１１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを示す画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１１に示したように、「顕微鏡位置ＯＫ」といったようなステータスＳＴと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、情報処理装置１１０（制御部１１１）は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operative field image Ia, the information processing device 110 (control unit 111) determines that the position of the marker Mc is within the predetermined area in the operative field image Ia. A video signal for displaying an image indicating that there is an image is generated and output to the
情報処理装置１１０（制御部１１１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、サーバ装置１３０内の左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果ＤＲを情報処理装置１１０に送信する。制御部１１１は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１２に示したように、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１２に示したように、識別結果ＤＲを術野画像Ｉａ上に重ね合わせて表示してもよいし、例えば、図１３に示したように、識別結果ＤＲを術野画像Ｉａとは別の領域に表示してもよい。 The information processing device 110 (control unit 111), when the position of the marker Mc is within a predetermined region in the operative field image Ia, sets the left and right eye
医療従事者は、表示面１１０Ａに表示された識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR displayed on the
情報処理装置１１０（制御部１１１）は、さらに、例えば、メモリ１３４に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較する。情報処理装置１１０（制御部１１１）は、その比較結果ＣＲと、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１４に示したように、制御部１１１からの映像信号に基づいて、比較結果ＣＲと、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、図１４には、比較結果ＣＲとして、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとが一致したときの表示が例示されている。 The information processing device 110 (control unit 111) further reads, for example,
［効果］
次に、本実施の形態に係る左右眼識別システム１００の効果について説明する。[effect]
Next, the effects of the left/right
白内障などの眼の疾患を治療するには、眼の手術を行うことが一般的である。眼の手術を行う際、医療従事者は、患者の顔をドレープで覆い、手術を行う眼をドレープの開口から露出させる。患者の顔がドレープで覆われている場合、ドレープから露出している眼が左眼か右眼か識別が難しいことがある。そのため、医療従事者は、手術を行わない方の眼が誤って露出しているときに、手術を行う方の眼が露出していると誤認してしまう可能性がある。 Eye surgery is commonly performed to treat eye diseases such as cataracts. When performing eye surgery, medical personnel cover the patient's face with a drape and expose the eye being operated on through an opening in the drape. When the patient's face is draped, it can be difficult to distinguish whether the eye exposed through the drape is the left or right eye. Therefore, when the non-operating eye is erroneously exposed, the medical staff may misunderstand that the operating eye is exposed.
一方、本実施の形態では、識別対象である眼を含む術野画像Ｉａから得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報が取得される。さらに、本実施の形態では、取得された位置情報に基づいて生成したマーカＭｃを術野画像Ｉａに重ね合わせた画像（マーカ画像Ｉｅ）が表示される。これにより、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが術野画像Ｉａにおける所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 On the other hand, in the present embodiment, by performing object detection on the Segmentation image Ic obtained from the operative field image Ia including the eye to be identified, the eye to be identified or the eye including the eye to be identified is detected. Positional information of the region in the surgical field image Ia is acquired. Furthermore, in the present embodiment, an image (marker image Ie) in which a marker Mc generated based on the acquired position information is superimposed on the surgical field image Ia is displayed. This allows the marker Mc to reliably include an element (for example, the
また、本実施の形態では、左右眼識別学習モデル１３３による識別結果ＤＲが表示部１１３の表示面１１０Ａに表示される。また、本実施の形態では、術野画像Ｉａとともに、左右眼識別学習モデル１３３による識別結果ＤＲが表示部１１３の表示面１１０Ａに表示される。これにより、見過ごしの無い確実な確認作業を行うことができる。 Further, in the present embodiment, the identification result DR obtained by the left/right eye
また、本実施の形態では、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、Ｓｅｇｍｅｎｔａｔｉｏｎ画像ＩｃからＤｅｔｅｃｔｉｏｎ画像Ｉｄが切り出された後、切り出されたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報となる。これにより、術野画像Ｉａに対して、単純に物体検出を行い、それにより得られたＤｅｔｅｃｔｉｏｎ画像に基づいて、識別対象である眼の、術野画像Ｉａにおける位置情報を導出した場合と比べて、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが術野画像Ｉａにおける所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 Further, in the present embodiment, by performing object detection on the segmentation image Ic, after the detection image Id is clipped from the segmentation image Ic, the position information of the clipped detection image Id in the surgical field image Ia is , position information of the eye to be identified, or a region including the eye to be identified, in the surgical field image Ia. As a result, compared to the case where object detection is simply performed on the surgical field image Ia, and the position information of the eye to be identified in the surgical field image Ia is derived based on the resulting detection image. , the marker Mc can certainly include an element (for example, the
また、本実施の形態では、マーカＭｃが術野画像Ｉａにおける所定の領域からはみ出している場合には、マーカＭｃが所定の領域からはみ出していることを意味する情報（例えば、ステータスＳＴ）を含む画像が表示部１１３の表示面１１０Ａに表示される。これにより、医療従事者に対して、カメラ１２０の撮像領域の微調整が必要なことを確実に知らせることができる。 In addition, in the present embodiment, when the marker Mc protrudes from the predetermined area in the surgical field image Ia, information indicating that the marker Mc protrudes from the predetermined area (for example, status ST) is included. An image is displayed on the
また、本実施の形態では、マーカＭｃが術野画像Ｉａにおける所定の領域内に収まっているときに得られた術野画像Ｉａをサーバ装置１３０に送信した後、左右眼の識別結果をサーバ装置１３０から受信するネットワークＩＦ１１５が情報処理装置１１０に設けられている。これにより、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２や左右眼識別学習モデル１３３などで行われる負荷の大きな処理を、情報処理装置１１０とは別の装置（サーバ装置１３０）に担わせることができる。その結果、例えば、手術室ごとに設置した各情報処理装置１１０が１つのサーバ装置１３０を共有することができるので、左右眼識別システム１００を手術室ごとに設置する場合と比べて、左右眼識別システム１００の設置コストを低減することができる。 Further, in the present embodiment, after the surgical field image Ia obtained when the marker Mc is within a predetermined region in the surgical field image Ia is transmitted to the
また、本実施の形態では、ネットワークＩＦ１１５において、カメラ１２０から送信された術野画像Ｉａが受信される。これにより、カメラ１２０との通信用に、ネットワークＩＦ１１５とは別個のネットワークＩＦを設ける必要がないので、情報処理装置１１０として廉価なものを用いることができる。その結果、左右眼識別システム１００のコストを低減することができる。 Further, in the present embodiment, the network IF 115 receives the surgical field image Ia transmitted from the
＜３．第１の実施の形態の変形例＞
次に、第１実施の形態に係る左右眼識別システム１００の変形例について説明する。<3. Modification of First Embodiment>
Next, a modification of the left/right
［［変形例Ａ］］
図１５は、上記実施の形態に係る左右眼識別システム１００の機能ブロックの一変形例を表したものである。本変形例に係る情報処理装置１１０は、メモリ１１２に、プログラム１１２Ａの代わりに、プログラム１１２Ｂを記憶している。本変形例に係るサーバ装置１３０は、メモリ１３４に、さらに、プログラム１３４Ｄを記憶している。プログラム１３４Ｄは、本発明の「識別プログラム」の一具体例に相当する。[[Modification A]]
FIG. 15 shows a modified example of functional blocks of the left/right
プログラム１１２Ｂは、情報処理装置１１０を左右眼識別システム１００におけるユーザーインターフェースとして機能させるための手順を制御部１１１に実行させる。プログラム１３４Ｄは、術野に含まれる眼の種類（左眼または右眼）を識別するための一連の手順を制御部１３１に実行させる。 The
（左右眼識別）
図１６は、本変形例に係る左右眼識別システム１００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ｂ，１３４Ｄの起動を指示する。すると、情報処理装置１１０（制御部１１１）は、メモリ１１２からプログラム１１２Ｂを読み出して、制御部１１１にロードする。プログラム１１２Ｂがロードされた制御部１１１は、情報処理装置１１０を左右眼識別システム１００におけるユーザーインターフェースとして機能させるための手順を実行する。サーバ装置１３０（制御部１３１）は、メモリ１３４からプログラム１３４Ｄを読み出して、制御部１３１にロードする。プログラム１３４Ｄがロードされた制御部１３１は、左右眼の識別をするための一連の手順を実行する。(Left and right eye identification)
FIG. 16 is a flow chart showing an example of the left/right eye identification procedure in the left/right
具体的には、まず、制御部１１１は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを情報処理装置１１０に送信する。 Specifically, first,
情報処理装置１１０（制御部１１１）は、受信した術野画像Ｉａをサーバ装置１３０に送信する。サーバ装置１３０（制御部１３１）は、受信した術野画像Ｉａに対して明るさ判定を行う。サーバ装置１３０（制御部１３１）は、例えば、術野画像ＩａをＨＳＶに変換し、変換により得られた各ピクセルのＶ値が所定の範囲外にある場合には、術野画像Ｉａが明るさ不足もしくは明る過ぎであることを表示部１１３に表示させる信号を情報処理装置１１０に送信する。情報処理装置１１０は、サーバ装置１３０からの信号に基づいて、術野画像Ｉａが明るさ不足もしくは明る過ぎであることを表示部１１３に表示する。 The information processing device 110 (control unit 111 ) transmits the received surgical field image Ia to the
サーバ装置１３０（制御部１３１）は、例えば、得られた各ピクセルのＶ値が所定の範囲内にある場合には、ピント判定を実施する。サーバ装置１３０（制御部１３１）は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示させる信号を情報処理装置１１０に送信する。情報処理装置１１０は、サーバ装置１３０からの信号に基づいて、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。サーバ装置１３０（制御部１３１）は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に入力する。 The server device 130 (control unit 131) performs focus determination, for example, when the obtained V value of each pixel is within a predetermined range. The server device 130 (control unit 131) performs, for example, Laplacian differentiation on the operative field image Ia, and if the resulting score is below a predetermined threshold, the operative field image Ia is out of focus. A signal is transmitted to the
Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、術野画像Ｉａが入力されると、変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃを制御部１３１に入力する。制御部１３１は、入力されたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して、物体検出を行う。制御部１３１は、例えば、図８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。 The
制御部１３１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。制御部１３１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報とする。つまり、制御部１３１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。 The
なお、制御部１３１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。制御部１３１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報としてもよい。この場合、制御部１３１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。 Note that the
制御部１３１は、取得した位置情報に基づいてマーカＭｃを生成した後、生成したマーカＭｃを術野画像Ｉａに重ね合わせた画像（マーカ画像Ｉｅ）を情報処理装置１１０に送信する。情報処理装置１１０（制御部１１１）は、受信したマーカ画像Ｉｅを含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図９に示したように、制御部１１１からの映像信号に基づいて、術野画像ＩａにマーカＭｃを重ね合わせた画像を表示面１１０Ａに表示する。 After generating the marker Mc based on the acquired position information, the
左右眼識別システム１００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、表示面１１０Ａに表示された画像を参照しながら、カメラ１２０の撮像領域を微調整する。サーバ装置１３０（制御部１３１）は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、サーバ装置１３０（制御部１３１）は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報を情報処理装置１１０に送信する。情報処理装置１１０（制御部１１１）は、受信した情報を含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報と、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１０に示したように、「顕微鏡位置がずれています。」といったようなステータスＳＴと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、情報処理装置１１０（制御部１１１）は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、サーバ装置１３０（制御部１３１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを示す情報を情報処理装置１１０に送信する。情報処理装置１１０（制御部１１１）は、受信した情報を含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、情報処理装置１１０（制御部１１１）は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operative field image Ia, the server apparatus 130 (control unit 131) determines that the position of the marker Mc is within the predetermined area in the operative field image Ia. Information indicating that is transmitted to the
サーバ装置１３０（制御部１３１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果を制御部１３１に送信する。制御部１３１は、識別結果ＤＲを情報処理装置１１０に送信する。制御部１１１は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１２に示したように、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１２に示したように、識別結果ＤＲを術野画像Ｉａ上に重ね合わせて表示してもよいし、例えば、図１３に示したように、識別結果ＤＲを術野画像Ｉａとは別の領域に表示してもよい。 The server device 130 (control unit 131) outputs a left/right eye identification instruction to the left/right eye
医療従事者は、表示面１１０Ａに表示された識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR displayed on the
情報処理装置１１０（制御部１１１）は、さらに、例えば、メモリ１３４に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較し、その比較結果ＣＲを含む画像を表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１４に示したように、制御部１１１からの映像信号に基づいて、比較結果ＣＲと、識別結果ＤＲと、ステータスＳＴと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、図１４には、比較結果ＣＲとして、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとが一致したときの表示が例示されている。 The information processing device 110 (control unit 111) further reads, for example,
本変形例では、サーバ装置１３０において、識別対象である眼を含む術野画像Ｉａから得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報が取得される。さらに、本変形例では、取得された位置情報に基づいて生成したマーカＭｃを術野画像Ｉａに重ね合わせた画像（マーカ画像Ｉｅ）が情報処理装置１１０に送信される。これにより、情報処理装置１１０において、マーカ画像Ｉｅを表示することができるので、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが術野画像Ｉａにおける所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 In this modification, in the
また、本変形例では、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、Ｓｅｇｍｅｎｔａｔｉｏｎ画像ＩｃからＤｅｔｅｃｔｉｏｎ画像Ｉｄが切り出された後、切り出されたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報となる。これにより、術野画像Ｉａに対して、単純に物体検出を行い、それにより得られたＤｅｔｅｃｔｉｏｎ画像に基づいて、識別対象である眼の、術野画像Ｉａにおける位置情報を導出した場合と比べて、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが術野画像Ｉａにおける所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 Further, in this modification, by performing object detection on the segmentation image Ic, after the detection image Id is clipped from the segmentation image Ic, the position information of the clipped detection image Id in the surgical field image Ia is: This is the positional information of the eye to be identified or the region containing the eye to be identified in the surgical field image Ia. As a result, compared to the case where object detection is simply performed on the surgical field image Ia, and the position information of the eye to be identified in the surgical field image Ia is derived based on the resulting detection image. , the marker Mc can certainly include an element (for example, the
［［変形例Ｂ］］
上記実施の形態において、例えば、図１７に示したように、サーバ装置１３０が省略されるとともに、情報処理装置１１０がサーバ装置１３０の機能を備えていてもよい。このとき、情報処理装置１１０は、例えば、図１８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２および左右眼識別学習モデル１３３を備えるとともに、複数の画像データ１３４Ａ、複数の画像データ１３４Ｂおよび複数の手術データ１３４Ｃをメモリ１１２に記憶している。[[Modification B]]
In the above embodiment, for example, as shown in FIG. 17, the
（左右眼識別）
図１９は、本変形例に係る左右眼識別システム１００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ａの起動を指示する。すると、情報処理装置１１０（制御部１１１）は、メモリ１１２からプログラム１１２Ａを読み出して、制御部１１１にロードする。プログラム１１２Ａがロードされた制御部１１１は、左右眼の識別をするための一連の手順を実行する。(Left and right eye identification)
FIG. 19 is a flow chart showing an example of the left/right eye identification procedure in the left/right
具体的には、まず、制御部１１１は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを情報処理装置１１０に送信する。 Specifically, first,
制御部１１１は、受信した術野画像Ｉａに対して明るさ判定を行う。制御部１１１は、例えば、術野画像ＩａをＨＳＶに変換し、変換により得られた各ピクセルのＶ値が所定の範囲外にある場合には、術野画像Ｉａが明るさ不足もしくは明る過ぎであることを表示部１１３に表示する。 The
制御部１１１は、例えば、得られた各ピクセルのＶ値が所定の範囲内にある場合には、ピント判定を実施する。制御部１１１は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。制御部１１１は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に入力する。 For example, when the obtained V value of each pixel is within a predetermined range, the
Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、術野画像Ｉａが入力されると、変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃを制御部１１１に入力する。制御部１１１は、入力されたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して、物体検出を行う。制御部１１１は、例えば、図８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。 The
制御部１１１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。制御部１１１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報をマーカＭｃの位置情報とする。つまり、制御部１１１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。 The
なお、制御部１１１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。制御部１１１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報としてもよい。この場合、制御部１１１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。 Note that the
制御部１１１は、取得した位置情報に基づいてマーカＭｃを生成した後、生成したマーカＭｃを術野画像Ｉａに重ね合わせた画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図９に示したように、制御部１１１からの映像信号に基づいて、術野画像ＩａにマーカＭｃを重ね合わせた画像を表示面１１０Ａに表示する。 After generating the marker Mc based on the acquired position information, the
左右眼識別システム１００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、表示面１１０Ａに表示された画像を参照しながら、カメラ１２０の撮像領域を微調整する。制御部１１１は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、制御部１１１は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報を含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報と、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１０に示したように、「顕微鏡位置がずれています。」といったようなステータスＳＴと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、制御部１１１は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、制御部１１１は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを示す画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１１に示したように、「顕微鏡位置ＯＫ」といったようなステータスＳＴと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、制御部１１１は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operating field image Ia, the
制御部１１１は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果ＤＲを制御部１１１に入力する。制御部１１１は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１２に示したように、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１２に示したように、識別結果ＤＲを術野画像Ｉａ上に重ね合わせて表示してもよいし、例えば、図１３に示したように、識別結果ＤＲを術野画像Ｉａとは別の領域に表示してもよい。 The
医療従事者は、表示面１１０Ａに表示された識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR displayed on the
制御部１１１は、さらに、例えば、メモリ１１２に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較し、その比較結果ＣＲを表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１４に示したように、制御部１１１からの映像信号に基づいて、比較結果ＣＲと、識別結果ＤＲと、ステータスＳＴと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、図１４には、比較結果ＣＲとして、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとが一致したときの表示が例示されている。 Further, the
本変形例では、情報処理装置１１０が上記実施の形態に係るサーバ装置１３０の機能を備えている。これにより、情報処理装置１１０とカメラ１２０を用意し、これらをネットワーク１４０に接続するだけで、左右眼識別を行うことができる。従って、サーバ装置１３０が不要な分だけ、左右眼識別システム１００を設置する手間を削減することができる。 In this modification, the
［［変形例Ｃ］］
上記実施の形態において、例えば、図２０、図２１に示したように、情報処理装置１１０とカメラ１２０との通信が、ネットワーク１４０とは別のネットワーク１５０を介して行われてもよい。また、上記変形例Ａにおいて、例えば、図２０、図２２に示したように、情報処理装置１１０とカメラ１２０との通信が、ネットワーク１４０とは別のネットワーク１５０を介して行われてもよい。このとき、ネットワーク１５０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信であってもよい。このような構成となっている場合であっても、上記実施の形態と同様の効果を有している。[[Modification C]]
In the above embodiment, for example, as shown in FIGS. 20 and 21, communication between the
［［変形例Ｄ］］
上記実施の形態において、例えば、図２３、図２４に示したように、情報処理装置１１０が、サーバ装置１３０の機能を備え、さらに、情報処理装置１１０とカメラ１２０との通信が、ネットワーク１５０を介して行われてもよい。このとき、情報処理装置１１０は、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２および左右眼識別学習モデル１３３を備えるとともに、複数の画像データ１３４Ａ、複数の画像データ１３４Ｂおよび複数の手術データ１３４Ｃをメモリ１１２に格納している。また、情報処理装置１１０は、ネットワーク１５０を介してカメラ１２０と通信を行うネットワークＩＦ１１６を有している。[[Modification D]]
In the above embodiments, for example, as shown in FIGS. 23 and 24, the
本変形例において、ネットワーク１５０がＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信である場合、上記実施の形態と比べて、情報処理装置１１０とカメラ１２０との通信の確立が容易となる。 In this modification, when
＜４．第２の実施の形態＞
［構成］
図２５は、本発明の第２の実施の形態に係る左右眼識別システム７００の概略構成の一例を表したものである。左右眼識別システム７００は、本発明の「情報処理システム」の一具体例に相当する。図２６は、左右眼識別システム７００の機能ブロックの一例を表したものである。図２５には、医療従事者が術野を拡大して視認するための眼科手術用顕微鏡システム２００が、左右眼識別システム７００とともに例示されている。<4. Second Embodiment>
[composition]
FIG. 25 shows an example of a schematic configuration of a left/right
（左右眼識別システム７００）
左右眼識別システム７００は、例えば、カメラ付き情報処理装置１６０と、サーバ装置１３０とを備えている。カメラ付き情報処理装置１６０およびサーバ装置１３０は、ネットワーク１４０を介して接続されている。カメラ付き情報処理装置１６０は、ネットワーク１４０を介してサーバ装置１３０と通信することができるように構成されている。サーバ装置１３０は、ネットワーク１４０を介してカメラ付き情報処理装置１６０と通信することができるように構成されている。(Left/right eye identification system 700)
The left/right
カメラ付き情報処理装置１６０は、例えば、制御部１１１、メモリ１１２、入力部１１４、ネットワークＩＦ１１５、投射部１１７およびカメラ１２０を含んで構成されている。投射部１１７は、接眼部２５２に連結されており、制御部１１１からの映像信号に基づいて生成した映像光を、接眼部２５２に入射させる。 The camera-equipped
投射部１１７によって生成される映像光は、例えば、図２７、図２８に示したように、マーカＭｃと、ステータスＳＴとを含む画像を生成する光束であってもよい。投射部１１７によって生成される映像光は、例えば、図２９、図３０に示したように、マーカＭｃと、ステータスＳＴと、識別結果ＤＲとを含む画像を生成する光束であってもよい。このとき、投射部１１７によって生成される映像光において、例えば、図２９に示したように、識別結果ＤＲがマーカＭｃに重ね合わされていてもよいし、例えば、図３０に示したように、識別結果ＤＲがマーカＭｃとは別の箇所に配置されていてもよい。投射部１１７によって生成される映像光は、例えば、図３１に示したように、マーカＭｃと、ステータスＳＴと、識別結果ＤＲと、比較結果ＣＲとを含む画像を生成する光束であってもよい。 The image light generated by the
接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。つまり、接眼部２５２は、ステータスＳＴ、識別結果ＤＲまたは比較結果ＣＲと、マーカＭｃとを、観察光学系によって形成される、術野の像とともに表示する。その結果、医療従事者は、例えば、図３２に示したような画像を視認する。なお、図３２には、マーカＭｃが術野の像に重ね合わせて表示されるとともに、ステータスＳＴ、識別結果ＤＲおよび比較結果ＣＲが術野の像とは別個に（つまり術野の像には重ね合わさないで）表示されている場合が例示されている。なお、ステータスＳＴ、識別結果ＤＲおよび比較結果ＣＲが術野の像に重ね合わせて表示されてもよい。 The image light incident on the
（左右眼識別）
図３３は、左右眼識別システム７００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ａの起動を指示する。すると、カメラ付き情報処理装置１６０（制御部１１１）は、メモリ１１２からプログラム１１２Ａを読み出して、制御部１１１にロードする。プログラム１１２Ａがロードされた制御部１１１は、左右眼の識別をするための一連の手順を実行する。具体的には、まず、制御部１１１は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを制御部１１１に出力する。(Left and right eye identification)
FIG. 33 is a flow chart showing an example of left/right eye identification procedure in left/right
制御部１１１は、カメラ１２０から入力された術野画像Ｉａに対して明るさ判定を行う。制御部１１１は、例えば、術野画像ＩａをＨＳＶに変換し、変換により得られた各ピクセルのＶ値が所定の範囲外にある場合には、術野画像Ｉａが明るさ不足もしくは明る過ぎであることを表示部１１３に表示する。制御部１１１は、例えば、得られた各ピクセルのＶ値が所定の範囲内にある場合には、ピント判定を実施する。制御部１１１は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。情報処理装置１１０（制御部１１１）は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像Ｉａをサーバ装置１３０に送信する。 The
サーバ装置１３０がカメラ付き情報処理装置１６０から術野画像Ｉａを受信すると、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２が変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃをカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０（制御部１１１）は、受信したＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して、物体検出を行う。カメラ付き情報処理装置１６０（制御部１１１）は、例えば、図８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。 When the
カメラ付き情報処理装置１６０（制御部１１１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。カメラ付き情報処理装置１６０（制御部１１１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報とする。つまり、カメラ付き情報処理装置１６０（制御部１１１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。 The camera-equipped information processing apparatus 160 (control unit 111) sets the position information of the obtained detection image Id in the operating field image Ia as the position information of the region including the eye to be identified in the operating field image Ia. The camera-equipped information processing apparatus 160 (control unit 111), for example, takes the position information of the outer edge portion of the obtained detection image Id in the operating field image Ia as the position information of the marker Mc. That is, the camera-equipped information processing apparatus 160 (control unit 111) acquires the position information of the region including the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
なお、カメラ付き情報処理装置１６０（制御部１１１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。カメラ付き情報処理装置１６０（制御部１１１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報としてもよい。この場合、カメラ付き情報処理装置１６０（制御部１１１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。 The camera-equipped information processing apparatus 160 (control unit 111) may use the position information of the obtained detection image Id in the operating field image Ia as the position information of the eye to be identified in the operating field image Ia. The camera-equipped information processing apparatus 160 (control unit 111) may use, for example, the position information of the outer edge portion of the eye area Ra of the obtained detection image Id in the surgical field image Ia as the position information of the marker Mc. In this case, the camera-equipped information processing apparatus 160 (control unit 111) acquires position information of the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
カメラ付き情報処理装置１６０（制御部１１１）は、取得した位置情報に基づいてマーカＭｃを生成した後、生成したマーカＭｃを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、マーカＭｃを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、術野の像にマーカＭｃが重ね合わされた画像を視認する。つまり、接眼部２５２は、マーカＭｃを、観察光学系によって形成される、術野の像に重ね合わせて表示する。 After generating the marker Mc based on the acquired position information, the camera-equipped information processing device 160 (control unit 111) generates a video signal for generating image light including the generated marker Mc, and outputs the signal to the
左右眼識別システム７００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、接眼部２５２を介して見える視野（術野）の像を参照しながら、カメラ１２０の撮像領域を微調整する。カメラ付き情報処理装置１６０（制御部１１１）は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、カメラ付き情報処理装置１６０（制御部１１１）は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報を含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報と、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図２７に示した像が重ね合わされた画像を視認する。なお、カメラ付き情報処理装置１６０（制御部１１１）は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、カメラ付き情報処理装置１６０（制御部１１１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを意味する情報を含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図２８に示した像が重ね合わされた画像を視認する。なお、カメラ付き情報処理装置１６０（制御部１１１）は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operative field image Ia, the
カメラ付き情報処理装置１６０（制御部１１１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、サーバ装置１３０内の左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果ＤＲをカメラ付き情報処理装置１６０に送信する。制御部１１１は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図２９または図３０に示した像が重ね合わされた画像を視認する。 When the position of the marker Mc is within a predetermined area in the operative field image Ia, the camera-equipped information processing device 160 (control unit 111) instructs the left and right eye
医療従事者は、接眼部２５２を介して見える視野（術野）の像内の識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR in the image of the visual field (operative field) seen through the
カメラ付き情報処理装置１６０（制御部１１１）は、さらに、例えば、メモリ１３４に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較する。カメラ付き情報処理装置１６０（制御部１１１）は、その比較結果ＣＲと、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、比較結果ＣＲと、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、図３２に示したように、比較結果ＣＲと、識別結果ＤＲと、ステータスＳＴと、マーカＭｃとを、接眼部２５２を介して見える視野（術野）の像内に視認する。 The camera-equipped information processing device 160 (the control unit 111) further reads, for example, the
［効果］
次に、本実施の形態に係る左右眼識別システム７００の効果について説明する。[effect]
Next, the effect of left/right
本実施の形態では、識別対象である眼を含む術野画像Ｉａから得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報が取得される。さらに、本実施の形態では、取得された位置情報に基づいて生成したマーカＭｃを、観察光学系によって形成される、術野の像に重ね合わせて表示する。これにより、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが観察光学系によって形成される、術野の像における所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 In the present embodiment, by performing object detection on the segmentation image Ic obtained from the operative field image Ia including the eye to be identified, the eye to be identified or the area including the eye to be identified is detected. , the position information in the operating field image Ia is acquired. Furthermore, in the present embodiment, the marker Mc generated based on the acquired position information is superimposed and displayed on the image of the surgical field formed by the observation optical system. This allows the marker Mc to reliably include an element (for example, the
また、本実施の形態では、医療従事者用顕微鏡２５０において、識別結果ＤＲが、観察光学系によって形成される、術野の像に重ね合わせて表示される。また、本実施の形態では、医療従事者用顕微鏡２５０において、マーカＭｃとともに、識別結果ＤＲが、観察光学系によって形成される、術野の像に重ね合わせて表示される。これにより、見過ごしの無い確実な確認作業を行うことができる。 Further, in the present embodiment, the identification result DR is superimposed and displayed on the image of the surgical field formed by the observation optical system in the microscope for
また、本実施の形態では、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、Ｓｅｇｍｅｎｔａｔｉｏｎ画像ＩｃからＤｅｔｅｃｔｉｏｎ画像Ｉｄが切り出された後、切り出されたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報となる。これにより、術野画像Ｉａに対して、単純に物体検出を行い、それにより得られたＤｅｔｅｃｔｉｏｎ画像に基づいて、識別対象である眼の、術野画像Ｉａにおける位置情報を導出した場合と比べて、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが観察光学系によって形成される、術野の像における所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 Further, in the present embodiment, by performing object detection on the segmentation image Ic, after the detection image Id is clipped from the segmentation image Ic, the position information of the clipped detection image Id in the surgical field image Ia is , position information of the eye to be identified, or a region including the eye to be identified, in the surgical field image Ia. As a result, compared to the case where object detection is simply performed on the surgical field image Ia, and the position information of the eye to be identified in the surgical field image Ia is derived based on the resulting detection image. , the marker Mc can certainly include an element (for example, the
また、本実施の形態では、マーカＭｃが観察光学系によって形成される、術野の像における所定の領域からはみ出している場合には、マーカＭｃと、マーカＭｃが所定の領域からはみ出していることを意味する情報（例えば、ステータスＳＴ）とを含む画像が、観察光学系によって形成される、術野の像に重ね合わされる。これにより、医療従事者に対して、カメラ１２０の撮像領域の微調整が必要なことを確実に知らせることができる。 Further, in the present embodiment, when the marker Mc protrudes from the predetermined region in the image of the surgical field formed by the observation optical system, the marker Mc and the marker Mc protrude from the predetermined region. (for example, status ST) is superimposed on the image of the operative field formed by the observation optical system. Accordingly, it is possible to reliably notify the medical staff that fine adjustment of the imaging area of the
また、本実施の形態では、マーカＭｃが術野画像Ｉａにおける所定の領域内に収まっているときに得られた術野画像Ｉａをサーバ装置１３０に送信した後、左右眼の識別結果をサーバ装置１３０から受信するネットワークＩＦ１１５がカメラ付き情報処理装置１６０に設けられている。これにより、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２や左右眼識別学習モデル１３３などで行われる負荷の大きな処理を、カメラ付き情報処理装置１６０とは別の装置（サーバ装置１３０）に担わせることができる。その結果、例えば、手術室ごとに設置した各カメラ付き情報処理装置１６０が１つのサーバ装置１３０を共有することができるので、左右眼識別システム７００を手術室ごとに設置する場合と比べて、左右眼識別システム７００の設置コストを低減することができる。 Further, in the present embodiment, after the surgical field image Ia obtained when the marker Mc is within a predetermined region in the surgical field image Ia is transmitted to the
＜５．第２の実施の形態の変形例＞
次に、第２の実施の形態に係る左右眼識別システム７００の変形例について説明する。<5. Modification of Second Embodiment>
Next, a modification of the left/right
［［変形例Ｅ］］
図３４は、第２の実施の形態に係る左右眼識別システム７００の機能ブロックの一変形例を表したものである。本変形例に係るカメラ付き情報処理装置１６０は、メモリ１１２に、プログラム１１２Ａの代わりに、プログラム１１２Ｂを記憶している。本変形例に係るサーバ装置１３０は、メモリ１３４に、さらに、プログラム１３４Ｄを記憶している。[[Modification E]]
FIG. 34 shows a modification of the functional blocks of the left/right
プログラム１１２Ｂは、カメラ付き情報処理装置１６０を左右眼識別システム１００におけるユーザーインターフェースとして機能させるための手順を制御部１１１に実行させる。プログラム１３４Ｄは、術野に含まれる眼の種類（左眼または右眼）を識別するための一連の手順を制御部１３１に実行させる。 The program 112B causes the
（左右眼識別）
図３５は、本変形例に係る左右眼識別システム７００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ｂ，１３４Ｄの起動を指示する。すると、カメラ付き情報処理装置１６０（制御部１１１）は、メモリ１１２からプログラム１１２Ｂを読み出して、制御部１１１にロードする。プログラム１１２Ｂがロードされた制御部１１１は、カメラ付き情報処理装置１６０を左右眼識別システム７００におけるユーザーインターフェースとして機能させるための手順を実行する。サーバ装置１３０（制御部１３１）は、メモリ１３４からプログラム１３４Ｄを読み出して、制御部１３１にロードする。プログラム１３４Ｄがロードされた制御部１３１は、左右眼の識別をするための一連の手順を実行する。(Left and right eye identification)
FIG. 35 is a flow chart showing an example of the left/right eye identification procedure in the left/right
具体的には、まず、カメラ付き情報処理装置１６０（制御部１１１）は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを制御部１１１に出力する。 Specifically, the camera-equipped information processing apparatus 160 (control unit 111 ) first outputs an imaging instruction to the
カメラ付き情報処理装置１６０（制御部１１１）は、カメラ１２０から入力された術野画像Ｉａをサーバ装置１３０に送信する。サーバ装置１３０（制御部１３１）は、受信した術野画像Ｉａに対して明るさ判定を行う。サーバ装置１３０（制御部１３１）は、例えば、術野画像Ｉａの各ピクセルの明るさの平均値を導出し、導出した平均値が所定の閾値を下回る場合には、術野画像Ｉａが明るさ不足であることを表示部１１３に表示させる信号をカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０は、サーバ装置１３０からの信号に基づいて、術野画像Ｉａが明るさ不足であることを表示部１１３に表示する。 The camera-equipped information processing device 160 (control unit 111 ) transmits the operative field image Ia input from the
サーバ装置１３０（制御部１３１）は、例えば、導出した平均値が所定の範囲内にある場合には、ピント判定を実施する。サーバ装置１３０（制御部１３１）は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示させる信号をカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０は、サーバ装置１３０からの信号に基づいて、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。サーバ装置１３０（制御部１３１）は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に入力する。 The server device 130 (control unit 131) performs focus determination, for example, when the derived average value is within a predetermined range. The server device 130 (control unit 131) performs, for example, Laplacian differentiation on the operative field image Ia, and if the resulting score is below a predetermined threshold, the operative field image Ia is out of focus. A signal for displaying the fact on the
Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、術野画像Ｉａが入力されると、変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃを制御部１３１に入力する。制御部１３１は、入力されたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行う。制御部１３１は、例えば、図１０に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。 The
サーバ装置１３０（制御部１３１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。サーバ装置１３０（制御部１３１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報とする。つまり、サーバ装置１３０（制御部１３１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。 The server device 130 (control unit 131) sets the position information of the obtained detection image Id in the operating field image Ia as the position information of the region including the eye to be identified in the operating field image Ia. The server device 130 (control unit 131) uses, for example, the position information of the outer edge portion of the obtained detection image Id in the surgical field image Ia as the position information of the marker Mc. In other words, the server device 130 (control unit 131) acquires the position information of the region including the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
なお、サーバ装置１３０（制御部１３１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。サーバ装置１３０（制御部１３１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報としてもよい。この場合、サーバ装置１３０（制御部１３１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。 The server device 130 (control unit 131) may use the position information of the obtained detection image Id in the operating field image Ia as the position information of the eye to be identified in the operating field image Ia. The server device 130 (control unit 131) may use, for example, the position information of the outer edge portion of the eye area Ra of the obtained detection image Id in the operating field image Ia as the position information of the marker Mc. In this case, the server device 130 (control unit 131) acquires the position information of the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
サーバ装置１３０（制御部１３１）は、取得した位置情報をカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０は、サーバ装置１３０からの位置情報をに基づいてマーカＭｃを生成した後、生成したマーカＭｃを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、マーカＭｃを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像にマーカＭｃが重ね合わされた画像を視認する。このとき、マーカＭｃの位置や大きさは、制御部１１１から投射部１１７に入射される映像信号によって規定される。つまり、接眼部２５２は、マーカＭｃを、観察光学系によって形成される、術野の像に重ね合わせて表示する。 The server device 130 (control unit 131) transmits the acquired position information to the
左右眼識別システム７００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、接眼部２５２を介して見える視野（術野）の像を参照しながら、カメラ１２０の撮像領域を微調整する。サーバ装置１３０（制御部１３１）は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、サーバ装置１３０（制御部１３１）は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報をカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０（制御部１１１）は、受信した情報を含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報と、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図２７に示した像を重ね合わせた画像を視認する。なお、カメラ付き情報処理装置１６０（制御部１１１）は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、サーバ装置１３０（制御部１３１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを示す情報をカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０（制御部１１１）は、受信した情報を含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図２８に示した像を重ね合わせた画像を視認する。なお、カメラ付き情報処理装置１６０（制御部１１１）は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operative field image Ia, the server apparatus 130 (control unit 131) determines that the position of the marker Mc is within the predetermined area in the operative field image Ia. Information indicating that is transmitted to the
サーバ装置１３０（制御部１３１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果ＤＲを制御部１３１に送信する。サーバ装置１３０（制御部１３１）は、識別結果ＤＲをカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０（制御部１１１）は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図２９または図３０に示した像を重ね合わせた画像を視認する。 The server device 130 (control unit 131) outputs a left/right eye identification instruction to the left/right eye
医療従事者は、接眼部２５２を介して見える視野（術野）の像内の識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR in the image of the visual field (operative field) seen through the
サーバ装置１３０（制御部１３１）は、さらに、例えば、メモリ１３４に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較し、その比較結果ＣＲをカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０（制御部１１１）は、ステータスＳＴと、比較結果ＣＲと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、ステータスＳＴと、比較結果ＣＲと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図３１に示した像を重ね合わせた画像を視認する。 Server device 130 (control unit 131) further reads, for example,
本変形例では、サーバ装置１３０において、識別対象である眼を含む術野画像Ｉａから得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報が取得される。さらに、本変形例では、取得された位置情報がカメラ付き情報処理装置１６０に送信される。これにより、カメラ付き情報処理装置１６０において、位置情報に基づいたマーカＭｃを術野の像に重ね合わせて表示することができるので、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが観察光学系によって形成される、術野の像における所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 In this modification, in the
また、本変形例では、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、Ｓｅｇｍｅｎｔａｔｉｏｎ画像ＩｃからＤｅｔｅｃｔｉｏｎ画像Ｉｄが切り出された後、切り出されたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報となる。これにより、術野画像Ｉａに対して、単純に物体検出を行い、それにより得られたＤｅｔｅｃｔｉｏｎ画像に基づいて、識別対象である眼の、術野画像Ｉａにおける位置情報を導出した場合と比べて、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが術野画像Ｉａにおける所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 Further, in this modification, by performing object detection on the segmentation image Ic, after the detection image Id is clipped from the segmentation image Ic, the position information of the clipped detection image Id in the surgical field image Ia is: This is the positional information of the eye to be identified or the region containing the eye to be identified in the surgical field image Ia. As a result, compared to the case where object detection is simply performed on the surgical field image Ia, and the position information of the eye to be identified in the surgical field image Ia is derived based on the resulting detection image. , the marker Mc can certainly include an element (for example, the
［［変形例Ｆ］］
第２の実施の形態において、例えば、図３６に示したように、サーバ装置１３０が省略されるとともに、カメラ付き情報処理装置１６０がサーバ装置１３０の機能を備えていてもよい。このとき、カメラ付き情報処理装置１６０は、例えば、図３７に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２、左右眼識別学習モデル１３３を備えるとともに、複数の画像データ１３４Ａ、複数の画像データ１３４Ｂおよび複数の手術データ１３４Ｃをメモリ１１２に記憶している。[[Modification F]]
In the second embodiment, for example, as shown in FIG. 36, the
（左右眼識別）
図３８は、本変形例に係る左右眼識別システム７００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ａの起動を指示する。すると、カメラ付き情報処理装置１６０（制御部１１１）は、メモリ１１２からプログラム１１２Ａを読み出して、制御部１１１にロードする。プログラム１１２Ａがロードされた制御部１１１は、左右眼の識別をするための一連の手順を実行する。(Left and right eye identification)
FIG. 38 is a flow chart showing an example of the left/right eye identification procedure in the left/right
具体的には、まず、制御部１１１は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを制御部１１１に送信する。 Specifically, first,
制御部１１１は、受信した術野画像Ｉａに対して明るさ判定を行う。制御部１１１は、例えば、術野画像Ｉａの各ピクセルの明るさの平均値を導出し、導出した平均値が所定の閾値を下回る場合には、術野画像Ｉａが明るさ不足であることを表示部１１３に表示する。 The
制御部１１１は、例えば、導出した平均値が所定の閾値以上の場合には、ピント判定を実施する。制御部１１１は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。制御部１１１は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に入力する。 For example, when the derived average value is equal to or greater than a predetermined threshold value, the
Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、術野画像Ｉａが入力されると、変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃを制御部１３１に入力する。制御部１１１は、入力されたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して、物体検出を行う。制御部１１１は、例えば、図８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。 The
制御部１１１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。制御部１１１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報をマーカＭｃの位置情報とする。つまり、制御部１１１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。 The
なお、制御部１１１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。制御部１１１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報としてもよい。この場合、制御部１１１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。 Note that the
制御部１１１は、取得した位置情報に基づいてマーカＭｃを生成した後、生成したマーカＭｃを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、マーカＭｃを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像にマーカＭｃが重ね合わされた画像を視認する。このとき、マーカＭｃの位置や大きさは、制御部１１１から投射部１１７に入射される映像信号によって規定される。つまり、接眼部２５２は、マーカＭｃを、観察光学系によって形成される、術野の像に重ね合わせて表示する。 After generating the marker Mc based on the acquired position information, the
左右眼識別システム１００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、接眼部２５２を介して見える視野（術野）の像を参照しながら、カメラ１２０の撮像領域を微調整する。制御部１１１は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、制御部１１１は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報を含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図２７に示した像を重ね合わせた画像を視認する。なお、制御部１１１は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、制御部１１１は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを示す情報を含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図２８に示した像を重ね合わせた画像を視認する。なお、カメラ付き情報処理装置１６０（制御部１１１）は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operative field image Ia, the
制御部１１１は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果ＤＲを制御部１１１に入力する。制御部１１１は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図２９または図３０に示した像を重ね合わせた画像を視認する。 The
医療従事者は、接眼部２５２を介して見える視野（術野）の像内の識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR in the image of the visual field (operative field) seen through the
制御部１１１は、さらに、例えば、メモリ１１２に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較する。制御部１１１は、ステータスＳＴと、比較結果ＣＲと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、ステータスＳＴと、比較結果ＣＲと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図３１に示した像を重ね合わせた画像を視認する。 Further, the
本変形例では、カメラ付き情報処理装置１６０が上記第２の実施の形態に係るサーバ装置１３０の機能を備えている。これにより、カメラ付き情報処理装置１６０を用意するだけで、左右眼識別を行うことができる。従って、サーバ装置１３０が不要な分だけ、左右眼識別システム７００を設置する手間を削減することができる。 In this modification, an
以上、実施の形態およびその変形例を挙げて本発明を説明したが、本発明は実施の形態等に限定されるものではなく、種々変形が可能である。実施の形態等では、本発明は眼の手術に適用されていたが、識別の困難な対象物を識別する必要のある分野に好適に適用可能である。なお、本明細書中に記載された効果は、あくまで例示である。本発明の効果は、本明細書中に記載された効果に限定されるものではない。本発明が、本明細書中に記載された効果以外の効果を持っていてもよい。 Although the present invention has been described above with reference to the embodiments and modifications thereof, the present invention is not limited to the embodiments and the like, and various modifications are possible. Although the present invention has been applied to eye surgery in the embodiments and the like, it can be suitably applied to fields where it is necessary to identify difficult-to-identify objects. It should be noted that the effects described in this specification are merely examples. The effects of the present invention are not limited to the effects described herein. The present invention may have advantages other than those described herein.
１０…眼、１１…眼球、１２…涙丘、１００…左右眼識別システム、１１０…情報処理装置、１１０Ａ…表示面、１１１…制御部、１１２…メモリ、１１２Ａ，１１２Ｂ…プログラム、１１３…表示部、１１４…入力部、１１５，１１６…ネットワークＩＦ、１１７…投射部、１２０…カメラ、１３０…サーバ装置、１３１…制御部、１３２…Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル、１３３…左右眼識別学習モデル、１３４…メモリ、１３４Ａ，１３４Ｂ…画像データ、１３４Ｃ…手術データ、１３４Ｄ…プログラム、１３５…ネットワークＩＦ、１４０，１５０…ネットワーク、１６０…カメラ付き情報処理装置、２００…眼科手術用顕微鏡システム、２１０…支柱、２２０…第１アーム、２３０…第２アーム、２４０…駆動装置、２５０…医療従事者用顕微鏡、２５１…鏡筒部、２５２…接眼部、２６０…フットスイッチ、３００…手術台、４００…患者、５００…シーツ、６００…ドレープ、６１０…開口、７００…左右眼識別システム、ＣＲ…比較結果、ＤＲ…識別結果、Ｉａ…術野画像、Ｉｂ…Ｄｅｔｅｃｔｉｏｎ画像、Ｉｃ…Ｓｅｇｍｅｎｔａｔｉｏｎ画像、Ｉｄ…Ｄｅｔｅｃｔｉｏｎ画像、Ｍｃ…マーカ、Ｒａ…眼領域、Ｒｂ…周辺領域、ＳＴ…ステータス。 DESCRIPTION OF
Claims (4)
前記取得部で取得された前記位置情報に基づいて生成したマーカを、前記眼領域を囲む ように前記撮像画像に重ね合わせた合成画像を表示する表示部と
を備え、
前記表示部は、前記マーカが前記撮像画像からはみ出している場合には、前記合成画像と して、さらに、前記マーカが前記撮像画像からはみ出していることを意味する情報を含む 画像を表示する
情報処理システム。By detecting the eye region in the segmentation image obtained from the captured image including the eye region including the eyeball and the lacrimal gland , the position information of the region including the eye region in the captured image is acquired and acquired. an acquisition unit that uses the obtained position information as position information of a marker ;
a display unit that displays a composite image in which a marker generated based on the position information acquired by the acquisition unit is superimposed on the captured image so as to surround the eye region ,
When the marker protrudes from the captured image, the display unit further displays an image including information indicating that the marker protrudes from the captured image as the synthesized image.
Information processing system.
前記取得部で取得された前記位置情報に基づいて生成したマーカを、光学系によって形成される、前記眼領域を含む視野の像に、前記眼領域を囲むように重ね合わせる合成部と
を備え、
前記合成部は、前記マーカが前記撮像画像からはみ出している場合には、前記マーカと、 前記マーカが前記撮像画像からはみ出していることを意味する情報と、前記視野の像とを 含む像を生成する
情報処理システム。By detecting the eye region in the segmentation image obtained from the captured image including the eye region including the eyeball and the lacrimal gland , the position information of the region including the eye region in the captured image is acquired and acquired. an acquisition unit that uses the obtained position information as position information of a marker ;
a synthesizing unit that superimposes a marker generated based on the position information acquired by the acquisition unit on an image of a field of view including the eye region formed by an optical system so as to surround the eye region ;
When the marker protrudes from the captured image, the synthesizing unit generates an image including the marker, information indicating that the marker protrudes from the captured image, and an image of the field of view. do
Information processing system.
請求項１または請求項２に記載の情報処理システム。a communication unit that transmits the captured image obtained when the marker is within the captured image to an external device, and receives from the external device an identification result of the eye region included in the captured image; The information processing system according to claim 1 or 2 , further comprising:
請求項１または請求項２に記載の情報処理システム。2. The apparatus according to claim 1 , further comprising an identification unit that identifies whether the eye in the eye region included in the captured image obtained when the marker is within the captured image is a right eye or a left eye. Item 3. The information processing system according to item 2 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019042036A JP7304508B2 (en) | 2019-02-19 | 2019-02-19 | Information processing system and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019042036A JP7304508B2 (en) | 2019-02-19 | 2019-02-19 | Information processing system and information processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020137103A JP2020137103A (en) | 2020-08-31 |
| JP7304508B2 true JP7304508B2 (en) | 2023-07-07 |
Family
ID=72263754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019042036A Active JP7304508B2 (en) | 2019-02-19 | 2019-02-19 | Information processing system and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7304508B2 (en) |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002238860A (en) | 2001-02-22 | 2002-08-27 | Canon Inc | Ophthalmological device and eye image display method |
| JP2003298887A (en) | 2002-03-29 | 2003-10-17 | Matsushita Electric Ind Co Ltd | Eye image pickup device |
| JP2006136714A (en) | 2004-10-26 | 2006-06-01 | Carl Zeiss Surgical Gmbh | Microscopic inspection system for surgical operation and method to perform surgical operation of eye |
| JP2006235921A (en) | 2005-02-24 | 2006-09-07 | Hitachi Ltd | Vehicle number recognition apparatus, and method for adjusting electric lens of vehicle number recognition apparatus |
| JP2007532148A (en) | 2004-02-19 | 2007-11-15 | ヴィズイクス・インコーポレーテッド | Method and system for distinguishing left and right eye images |
| JP2008178672A (en) | 2006-12-19 | 2008-08-07 | Fujifilm Corp | Method and apparatus for using probabilistic atlas for feature removal/positioning |
| JP2008219696A (en) | 2007-03-07 | 2008-09-18 | Casio Comput Co Ltd | Camera apparatus, camera apparatus control program and camera apparatus control method |
| JP2008244804A (en) | 2007-03-27 | 2008-10-09 | Fujifilm Corp | Image-taking device and method, and control program |
| JP2010122934A (en) | 2008-11-20 | 2010-06-03 | Sony Corp | Image processing apparatus, image processing method, and program |
| JP2012152469A (en) | 2011-01-27 | 2012-08-16 | Nidek Co Ltd | Ophthalmic surgical microscope |
| JP2013213872A (en) | 2012-03-30 | 2013-10-17 | Sony Corp | Information processing apparatus, information processing method and program |
| JP2013254437A (en) | 2012-06-08 | 2013-12-19 | Pfu Ltd | Image processing apparatus, image reading device, image processing method, and image processing program |
| JP2014110883A (en) | 2012-10-30 | 2014-06-19 | Canon Inc | Image processor and image processing method |
| JP2015195923A (en) | 2014-03-31 | 2015-11-09 | 株式会社ニデック | Ophthalmic laser surgery device |
| JP2016013233A (en) | 2014-07-01 | 2016-01-28 | 富士通株式会社 | Output control method, image processing system, output control program, and information processing apparatus |
| JP2016126242A (en) | 2015-01-07 | 2016-07-11 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP2014233469A5 (en) | 2013-06-03 | 2016-07-14 | ||
| WO2016125366A1 (en) | 2015-02-05 | 2016-08-11 | 株式会社リコー | Image processing device, image processing system, and image processing method |
| JP2016202351A (en) | 2015-04-17 | 2016-12-08 | 健司 三木 | Medical support system, medical support method, image processing apparatus, control method and control program thereof |
| JP2016214781A (en) | 2015-05-26 | 2016-12-22 | ソニー株式会社 | Surgery system, image processing device, and method |
| JP2017099757A (en) | 2015-12-03 | 2017-06-08 | キヤノン株式会社 | Image processing device and image processing method |
| JP2017139628A (en) | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | Communication device, communication system, communication method and computer program |
| JP6434666B1 (en) | 2018-02-26 | 2018-12-05 | 京セラ株式会社 | Electronic device, control method and program |
| JP2019022580A (en) | 2017-07-24 | 2019-02-14 | ソニー株式会社 | Surgery system, information processing method and information processor |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11285471A (en) * | 1999-02-22 | 1999-10-19 | Nikon Corp | Ophthalmologic device |
| JP6236882B2 (en) | 2013-06-03 | 2017-11-29 | 株式会社ニデック | Laser therapy device |
-
2019
- 2019-02-19 JP JP2019042036A patent/JP7304508B2/en active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002238860A (en) | 2001-02-22 | 2002-08-27 | Canon Inc | Ophthalmological device and eye image display method |
| JP2003298887A (en) | 2002-03-29 | 2003-10-17 | Matsushita Electric Ind Co Ltd | Eye image pickup device |
| JP2007532148A (en) | 2004-02-19 | 2007-11-15 | ヴィズイクス・インコーポレーテッド | Method and system for distinguishing left and right eye images |
| JP2006136714A (en) | 2004-10-26 | 2006-06-01 | Carl Zeiss Surgical Gmbh | Microscopic inspection system for surgical operation and method to perform surgical operation of eye |
| JP2006235921A (en) | 2005-02-24 | 2006-09-07 | Hitachi Ltd | Vehicle number recognition apparatus, and method for adjusting electric lens of vehicle number recognition apparatus |
| JP2008178672A (en) | 2006-12-19 | 2008-08-07 | Fujifilm Corp | Method and apparatus for using probabilistic atlas for feature removal/positioning |
| JP2008219696A (en) | 2007-03-07 | 2008-09-18 | Casio Comput Co Ltd | Camera apparatus, camera apparatus control program and camera apparatus control method |
| JP2008244804A (en) | 2007-03-27 | 2008-10-09 | Fujifilm Corp | Image-taking device and method, and control program |
| JP2010122934A (en) | 2008-11-20 | 2010-06-03 | Sony Corp | Image processing apparatus, image processing method, and program |
| JP2012152469A (en) | 2011-01-27 | 2012-08-16 | Nidek Co Ltd | Ophthalmic surgical microscope |
| JP2013213872A (en) | 2012-03-30 | 2013-10-17 | Sony Corp | Information processing apparatus, information processing method and program |
| JP2013254437A (en) | 2012-06-08 | 2013-12-19 | Pfu Ltd | Image processing apparatus, image reading device, image processing method, and image processing program |
| JP2014110883A (en) | 2012-10-30 | 2014-06-19 | Canon Inc | Image processor and image processing method |
| JP2014233469A5 (en) | 2013-06-03 | 2016-07-14 | ||
| JP2015195923A (en) | 2014-03-31 | 2015-11-09 | 株式会社ニデック | Ophthalmic laser surgery device |
| JP2016013233A (en) | 2014-07-01 | 2016-01-28 | 富士通株式会社 | Output control method, image processing system, output control program, and information processing apparatus |
| JP2016126242A (en) | 2015-01-07 | 2016-07-11 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| WO2016125366A1 (en) | 2015-02-05 | 2016-08-11 | 株式会社リコー | Image processing device, image processing system, and image processing method |
| JP2016202351A (en) | 2015-04-17 | 2016-12-08 | 健司 三木 | Medical support system, medical support method, image processing apparatus, control method and control program thereof |
| JP2016214781A (en) | 2015-05-26 | 2016-12-22 | ソニー株式会社 | Surgery system, image processing device, and method |
| JP2017099757A (en) | 2015-12-03 | 2017-06-08 | キヤノン株式会社 | Image processing device and image processing method |
| JP2017139628A (en) | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | Communication device, communication system, communication method and computer program |
| JP2019022580A (en) | 2017-07-24 | 2019-02-14 | ソニー株式会社 | Surgery system, information processing method and information processor |
| JP6434666B1 (en) | 2018-02-26 | 2018-12-05 | 京セラ株式会社 | Electronic device, control method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020137103A (en) | 2020-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4861540B2 (en) | Medical equipment | |
| JP6693507B2 (en) | Information processing apparatus, information processing method, and information processing system | |
| JP6574939B2 (en) | Display control device, display control method, display control system, and head-mounted display | |
| US20180263710A1 (en) | Medical imaging apparatus and surgical navigation system | |
| EP3449859B1 (en) | Control device, control method and surgical system | |
| JP6950707B2 (en) | Information processing equipment and methods, and programs | |
| US11653826B2 (en) | Medical observation system, control method, and program in which illumination light is controlled in accordance with a usage state of an image sensor | |
| JP7363767B2 (en) | Image processing device, image processing method, and program | |
| JPWO2018168261A1 (en) | CONTROL DEVICE, CONTROL METHOD, AND PROGRAM | |
| JPWO2018221068A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| JP6723843B2 (en) | Ophthalmic equipment | |
| JP7304508B2 (en) | Information processing system and information processing program | |
| US20190281233A1 (en) | Image processing device, setting method, and program | |
| JP6892540B2 (en) | Ophthalmic equipment | |
| US20210152747A1 (en) | Control device, external device, medical observation system, control method, display method, and program | |
| CN104679226B (en) | Contactless medical control system, method and Medical Devices | |
| JPWO2018142993A1 (en) | Light emission control device, light emission control method, program, light emission device, and imaging device | |
| JP6895277B2 (en) | Ophthalmic observation device and its operation method | |
| JP7042029B2 (en) | Ophthalmic observation device and its operation method | |
| US20220190524A1 (en) | Cable and notification method | |
| JP7160042B2 (en) | Image processing device, image processing method and image processing program | |
| WO2020009127A1 (en) | Medical observation system, medical observation device, and medical observation device driving method | |
| JP6895278B2 (en) | Ophthalmic observation device and its operation method | |
| WO2020084999A1 (en) | Image processing device, image processing method, and program | |
| JP6617766B2 (en) | Medical observation system, display control system, and display control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200910 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210907 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220426 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220725 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220907 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
| R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221230 |
|
| A917 | Reason for reinstatement of right to file examination request |
Free format text: JAPANESE INTERMEDIATE CODE: A917 Effective date: 20230508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230529 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7304508 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |