JP7304508B2 - Information processing system and information processing program - Google Patents
Information processing system and information processing program Download PDFInfo
- Publication number
- JP7304508B2 JP7304508B2 JP2019042036A JP2019042036A JP7304508B2 JP 7304508 B2 JP7304508 B2 JP 7304508B2 JP 2019042036 A JP2019042036 A JP 2019042036A JP 2019042036 A JP2019042036 A JP 2019042036A JP 7304508 B2 JP7304508 B2 JP 7304508B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- marker
- eye
- control unit
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、識別の困難な対象物を識別する情報処理システムおよび情報処理プログラムに関する。 The present invention relates to an information processing system and an information processing program for identifying objects that are difficult to identify.
白内障などの眼の疾患を治療するには、眼の手術を行うことが一般的である。眼の手術を行う際、医療従事者は、患者の顔をドレープで覆い、手術を行う眼をドレープの開口から露出させる(非特許文献1参照)。 Eye surgery is commonly performed to treat eye diseases such as cataracts. When performing eye surgery, medical personnel cover the patient's face with a drape and expose the eye to be operated on through the opening of the drape (see Non-Patent Document 1).
患者の顔がドレープで覆われている場合、ドレープから露出している眼が左眼か右眼か識別が難しいことがある。そのため、医療従事者は、手術を行わない方の眼が誤って露出しているときに、手術を行う方の眼が露出していると誤認してしまう可能性がある。このような誤認の問題は、医療の現場以外の現場においても、起こり得る問題である。従って、識別の困難な対象物を識別することの可能な情報処理システムおよび情報処理プログラムを提供することが望ましい。 When the patient's face is draped, it can be difficult to distinguish whether the eye exposed through the drape is the left or right eye. Therefore, when the non-operating eye is erroneously exposed, the medical staff may misunderstand that the operating eye is exposed. Such a problem of misidentification is a problem that can occur even in sites other than medical sites. Therefore, it is desirable to provide an information processing system and an information processing program capable of identifying objects that are difficult to identify.
本発明の一実施形態に係る第1の情報処理システムは、取得部と、表示部とを備えている。取得部は、識別対象を含む撮像画像から得られたSegmentation画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する。表示部は、取得部で取得された位置情報に基づいて生成したマーカを撮像画像に重ね合わせた画像を表示する。 A first information processing system according to an embodiment of the present invention includes an acquisition section and a display section. The acquisition unit acquires the position information of the identification target or the region including the identification target in the captured image by performing object detection on the segmentation image obtained from the captured image including the identification target. The display unit displays an image in which the marker generated based on the position information acquired by the acquisition unit is superimposed on the captured image.
本発明の一実施形態に係る第2の情報処理システムは、取得部と、合成部とを備えている。取得部は、識別対象を含む撮像画像から得られたSegmentation画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する。合成部は、取得部で取得された位置情報に基づいて生成したマーカを、光学系によって形成される、識別対象を含む術野の像に重ね合わせる。 A second information processing system according to one embodiment of the present invention includes an acquisition unit and a synthesis unit. The acquisition unit acquires the position information of the identification target or the region including the identification target in the captured image by performing object detection on the segmentation image obtained from the captured image including the identification target. The synthesizing unit superimposes the marker generated based on the position information acquired by the acquiring unit on the image of the surgical field including the identification target formed by the optical system.
本発明の一実施形態に係る第3の情報処理システムは、取得部と、送信部とを備えている。取得部は、識別対象を含む撮像画像から得られたSegmentation画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する。送信部は、取得部で取得された位置情報を、表示部を備えた情報処理装置に送信する。 A third information processing system according to an embodiment of the present invention includes an acquisition section and a transmission section. The acquisition unit acquires the position information of the identification target or the region including the identification target in the captured image by performing object detection on the segmentation image obtained from the captured image including the identification target. The transmission unit transmits the position information acquired by the acquisition unit to the information processing device provided with the display unit.
本発明の一実施形態に係る第1の情報処理プログラムは、以下の2つのステップをコンピュータに実行させる。
(1)識別対象を含む撮像画像から得られたSegmentation画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する取得ステップ
(2)取得ステップで取得された位置情報に基づいて生成したマーカを撮像画像に重ね合わせた画像を表示するための映像信号を生成する生成ステップA first information processing program according to an embodiment of the present invention causes a computer to execute the following two steps.
(1) Acquisition step of acquiring position information of an identification target or a region including an identification target in a captured image by performing object detection on a segmentation image obtained from a captured image including the identification target (2) Acquisition step A generation step of generating a video signal for displaying an image in which the marker generated based on the position information obtained in step is superimposed on the captured image
本発明の一実施形態に係る第2の情報処理プログラムは、以下の2つのステップをコンピュータに実行させる。
(1)識別対象を含む撮像画像から得られたSegmentation画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する取得ステップ
(2)取得ステップで取得された位置情報に基づいて生成したマーカを、光学系によって形成される、識別対象を含む術野の像に重ね合わせるための投射光生成用の映像信号を生成する生成ステップA second information processing program according to an embodiment of the present invention causes a computer to execute the following two steps.
(1) Acquisition step of acquiring position information of an identification target or a region including an identification target in a captured image by performing object detection on a segmentation image obtained from a captured image including the identification target (2) Acquisition step A generation step of generating a video signal for generating projection light for superimposing the marker generated based on the position information acquired in step on the image of the operative field including the identification target formed by the optical system
本発明の一実施形態に係る第3の情報処理プログラムは、以下の2つのステップをコンピュータに実行させる。
(1)識別対象を含む撮像画像から得られたSegmentation画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する取得ステップ
(2)取得ステップで取得された位置情報を、表示部を備えた情報処理装置に送信する送信ステップA third information processing program according to an embodiment of the present invention causes a computer to execute the following two steps.
(1) Acquisition step of acquiring position information of an identification target or a region including an identification target in a captured image by performing object detection on a segmentation image obtained from a captured image including the identification target (2) Acquisition step A transmission step of transmitting the position information acquired in to an information processing device equipped with a display unit
本発明の一実施形態に係る第1の情報処理システム、第2の情報処理システム、第3の情報処理システム、第1の情報処理プログラム、第2の情報処理プログラムおよび第3の情報処理プログラムでは、識別対象を含む撮像画像から得られたSegmentation画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報が取得される。これにより、例えば、取得された位置情報に基づいて生成したマーカを、撮像画像に重ね合わせた画像を表示したり、光学系によって形成される、識別対象を含む術野の像に重ね合わせたりすることが可能となる。その結果、識別対象を識別するのに必要な要素を撮像画像に確実に含ませることができるので、識別の困難な対象物を識別することができる。 In the first information processing system, the second information processing system, the third information processing system, the first information processing program, the second information processing program, and the third information processing program according to one embodiment of the present invention, By performing object detection on the segmentation image obtained from the captured image including the identification target, the position information of the identification target or the region including the identification target in the captured image is obtained. As a result, for example, the marker generated based on the acquired position information is displayed as an image superimposed on the captured image, or superimposed on the image of the surgical field including the identification target formed by the optical system. becomes possible. As a result, it is possible to reliably include the elements necessary for identifying the identification target in the captured image, so that the difficult-to-identify target can be identified.
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本発明の一具体例であって、本発明は以下の態様に限定されるものではない。また、本発明は、各図に示す各構成要素の配置や寸法、寸法比などについても、それらに限定されるものではない。また、以下の説明において、上下、左右、前後等の方向は、特に言及しない限り医療従事者側から見た方向とする。なお、上下方向については、後述の対物レンズから術野に向かう方向を下方とし、これの反対方向を上方とする。一般に患者は仰向け状態で手術を受けるので、上下方向と垂直方向とは同じになる。なお、説明は、以下の順序で行う。
1.発明の背景
2.第1の実施の形態(図1~図14)
Segmentation画像の生成や左右眼識別をサーバ装置で行い、
明るさ判定、ピント判定、Detection画像の生成および位置判定を情報 処理装置で行う例
3.第1の実施の形態の変形例
変形例A(図15、図16)
明るさ判定、ピント判定、Detection画像の生成および位置判定もサー バ装置で行う例(情報処理装置がインターフェースとして機能する例)
変形例B(図17~図19)
サーバ装置を省略した例
変形例C(図20~図22)
第1の実施の形態および変形例Aにおいて、
情報処理装置とサーバ装置との通信とは異なる通信で、撮像画像を情報処理装置 に送信する例
変形例D(図23、図24)
変形例Cにおいてサーバ装置を省略した例
4.第2の実施の形態(図25~図33)
Segmentation画像の生成や左右眼識別をサーバ装置で行い、
明るさ判定、ピント判定、Detection画像の生成および位置判定をカメ ラ付き情報処理装置で行う例
5.第2の実施の形態の変形例
変形例E(図34、図35)
明るさ判定、ピント判定、Detection画像の生成および位置判定もサー バ装置で行う例
(カメラ付き情報処理装置がインターフェースとして機能する例)
変形例F(図36~図38)
サーバ装置を省略した例BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings. The following description is a specific example of the present invention, and the present invention is not limited to the following aspects. In addition, the present invention is not limited to the arrangement, dimensions, dimensional ratios, etc. of each component shown in each drawing. Further, in the following description, directions such as up and down, left and right, and front and back are directions viewed from the side of medical staff unless otherwise specified. As for the vertical direction, the direction from the objective lens, which will be described later, toward the surgical field is defined as downward, and the opposite direction is defined as upward. Since the patient generally undergoes surgery in the supine position, the up-down direction is the same as the vertical direction. In addition, description is given in the following order.
1. Background of the Invention 2 . First embodiment (Figs. 1 to 14)
Generation of segmentation images and identification of left and right eyes are performed by the server device,
3. An example in which brightness determination, focus determination, detection image generation, and position determination are performed by an information processing apparatus. Modified example of the first embodiment Modified example A (Figs. 15 and 16)
Example in which brightness determination, focus determination, detection image generation, and position determination are also performed by the server device (example in which the information processing device functions as an interface)
Modification B (Figs. 17-19)
Example in which the server device is omitted Modification C (Figs. 20 to 22)
In the first embodiment and modification A,
An example of transmitting a captured image to an information processing device through communication different from the communication between the information processing device and the server device Modification D (FIGS. 23 and 24)
4. Example in which the server device is omitted from modification C; Second embodiment (Figs. 25 to 33)
Generation of segmentation images and identification of left and right eyes are performed by the server device,
5. An example in which an information processing apparatus with a camera performs brightness determination, focus determination, detection image generation, and position determination. Modification of Second Embodiment Modification E (FIGS. 34 and 35)
Example in which brightness judgment, focus judgment, detection image generation, and position judgment are also performed by the server device (an example in which an information processing device with a camera functions as an interface)
Modification F (Figs. 36-38)
Example in which the server unit is omitted
<1.発明の背景>
図1、図2は、撮像領域の位置調整用のマーカMcが重ね合わされた術野画像Ia(撮像画像)の一例を表したものである。図1、図2に記載の術野画像Iaには、本発明の一実施の形態に係る左右眼識別システム(以下、単に「左右眼識別システム」と称する。)における識別対象である眼10が含まれている。眼10は、眼球11と、涙丘12とを含んで構成されている。涙丘12は、眼10のうち、鼻に近い端部(目頭)に存在している。図1、図2に記載の術野画像Iaは、例えば、医療従事者が患者の頭の傍に立ち、患者の頭上に設置された顕微鏡を覗いたときの術野の様子に対応している。従って、図1に示したように、術野画像Iaに対して物体検出(Detection)を行うことにより得られた画像(Detection画像Ib)の中に、涙丘12や目頭が含まれている場合には、例えば、Detection画像Ibの枠をマーカとして術野画像Iaに重ね合わせて表示することによって、医療従事者は、眼10全体が撮像領域内に入っているか否かを直感的に把握することができる。この場合、医療従事者が、マーカが術野画像Iaにおける所定の領域内に位置するように撮像領域を調整することで、眼10全体が術野画像Iaにおける所定の領域内に入るので、術野画像Iaに写っている眼10が左眼であるか、右眼であるかを左右眼識別システムにおいて正しく識別することが可能となる。<1. Background of the Invention>
1 and 2 show an example of an operating field image Ia (captured image) on which a marker Mc for position adjustment of the imaging region is superimposed. In the operative field image Ia shown in FIGS. 1 and 2, an
ところが、実際に、術野画像Iaに対して物体検出を行うと、例えば、図2に示したように、Detection画像Ibには、眼球11が含まれるが、涙丘12や目頭が含まれない。そのため、図2に示したように、Detection画像Ibの枠をマーカとして術野画像Iaに重ね合わせて表示した場合に、医療従事者が、眼10全体が撮像領域内に入っているか否かを直感的に把握することが難しいことがある。この場合、医療従事者が、マーカが術野画像Iaにおける所定の領域内に位置するように撮像領域を調整したとしても、眼10の一部が術野画像Iaにおける所定の領域から外れてしまい、術野画像Iaに写っている眼10が左眼であるか、右眼であるかを左右眼識別システムにおいて正しく識別することができないおそれがある。そこで、本発明では、Detection画像Ibの中に、左右眼の識別を容易にする要素(例えば涙丘12や目頭)が確実に含まれるようにする手法を提案する。 However, when object detection is actually performed on the operative field image Ia, for example, as shown in FIG. . Therefore, as shown in FIG. 2, when the frame of the detection image Ib is used as a marker and displayed so as to be superimposed on the operative field image Ia, the medical staff can check whether the
<2.第1の実施の形態>
[構成]
図3は、本発明の第1の実施の形態に係る左右眼識別システム100の概略構成の一例を表したものである。左右眼識別システム100は、本発明の「情報処理システム」の一具体例に相当する。図4は、左右眼識別システム100の機能ブロックの一例を表したものである。図3には、医療従事者が術野を拡大して視認するための眼科手術用顕微鏡システム200が、左右眼識別システム100とともに例示されている。本実施の形態において、術野は、患者400の顔のうち、患者400の顔に被せたドレープ600の開口610内に露出している領域である。術野には、手術を行う眼が含まれている。患者400は、手術台300に仰向け状態で寝ており、患者400の身体には、シーツ500が被されており、患者400の顔にはドレープ600が被されている。<2. First Embodiment>
[composition]
FIG. 3 shows an example of a schematic configuration of the left/right
(眼科手術用顕微鏡システム200)
眼科手術用顕微鏡システム200は、例えば、支柱210と、第1アーム220と、第2アーム230と、駆動装置240と、医療従事者用顕微鏡250と、フットスイッチ260とを備えている。(
The ophthalmic
支柱210は、眼科手術用顕微鏡システム200の全体を支持する。支柱210の上端には、第1アーム220の一端が接続されている。第1アーム220の他端には、第2アーム230の一端が接続されている。第2アーム230の他端には、駆動装置240が接続されている。医療従事者用顕微鏡250は、駆動装置240により懸架されている。左右眼識別システム100に用いられるカメラ120が、医療従事者用顕微鏡250に付設されている。フットスイッチ260は、各種操作を医療従事者等の足で行うために用いられる。駆動装置240は、医療従事者等による操作に応じて、医療従事者用顕微鏡250とカメラ120とを上下方向および水平方向に3次元的に移動させる。
医療従事者用顕微鏡250は、各種光学系や駆動系などを収納する鏡筒部251と、左右一対の接眼部252とを有している。医療従事者は、接眼部252を覗き込んで、鏡筒部251を介して術野を両眼で観察する。鏡筒部251は、例えば、対物レンズと、照明光学系と、観察光学系と、撮影光学系とを含んで構成されている。観察光学系は、対物レンズに連結される光学系であり、撮影光学系は、カメラ120に連結される光学系である。 A
照明光学系は、対物レンズを介して術野を照明する。観察光学系は、照明光学系により照明されている術野を、対物レンズを介して医療従事者用顕微鏡250により観察するために用いられる。観察光学系は、左右一対設けられており、右側の観察光学系は、右側の接眼部252に連結され、左側の観察光学系は、左側の接眼部252に連結されている。右側の観察光学系には、例えば、ビームスプリッタが設けられており、術野から右側の観察光学系を導光する光の一部がビームスプリッタによって撮影光学系に導かれる。 The illumination optical system illuminates the surgical field through the objective lens. The observation optical system is used to observe the surgical field illuminated by the illumination optical system with the
(左右眼識別システム100)
左右眼識別システム100は、例えば、情報処理装置110と、カメラ120と、サーバ装置130とを備えている。情報処理装置110およびサーバ装置130は、ネットワーク140を介して接続されている。情報処理装置110は、ネットワーク140を介してサーバ装置130と通信することができるように構成されている。サーバ装置130は、ネットワーク140を介して情報処理装置110と通信することができるように構成されている。情報処理装置110およびカメラ120は、ネットワーク140を介して接続されている。情報処理装置110は、ネットワーク140を介してカメラ120と通信することができるように構成されている。カメラ120は、ネットワーク140を介して情報処理装置110と通信することができるように構成されている。(Left/right eye identification system 100)
The left/right
ネットワーク140は、例えば、インターネットで標準的に利用されている通信プロトコル(TCP/IP)を用いて通信を行うネットワークである。ネットワーク140は、例えば、そのネットワーク独自の通信プロトコルを用いて通信を行うセキュアなネットワークであってもよい。ネットワーク140は、例えば、インターネット、イントラネット、または、ローカルエリアネットワークである。ネットワーク140と、情報処理装置110、サーバ装置130またはカメラ120との接続は、例えば、イーサネット等の有線LAN(Local Area Network)であってもよいし、Wi-Fi等の無線LANや、携帯電話回線などであってもよい。 The
情報処理装置110は、例えば、制御部111、メモリ112、表示部113、入力部114およびネットワークIF(Interface)115を含んで構成されている。本実施の形態において、制御部111は、本発明の「取得部」の一具体例に相当する。表示部113は、本発明の「表示部」の一具体例に相当する。制御部111は、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit)などを含んで構成され、例えば、メモリ112に記憶されたウェブブラウザプログラムや、オペレーティングシステムなど(図示せず)を実行する。制御部111は、さらに、例えば、メモリ112に記憶されたプログラム112Aを実行する。プログラム112Aは、本発明の「情報処理プログラム」の一具体例に相当する。プログラム112Aは、術野に含まれる眼の種類(左眼または右眼)を識別するための一連の手順を制御部111に実行させる。プログラム112Aが制御部111に実行させる一連の手順については、後に詳述する。 The
メモリ112は、制御部111によって実行されるプログラム(例えば、ウェブブラウザプログラムや、オペレーティングシステム)などを記憶している。メモリ112は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)等によって構成される。メモリ112は、さらに、プログラム112Aを記憶している。 The
表示部113は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等の表示装置からなる。表示部113は、制御部111からの映像信号に基づく画像を表示面110Aに表示する。入力部114は、外部(例えば、ユーザ)からの指示を受け付け、受け付けた指示を制御部111に出力する。入力部114は、例えば、ボタンやダイヤルなどを含む機械的な入力インターフェースであってもよいし、マイクロフォンなどを含む音声入力インターフェースであってもよい。入力部114は、例えば、情報処理装置110の表示面110Aに設けられたタッチパネルであってもよい。ネットワークIF115は、ネットワーク140を介してサーバ装置130と通信するための通信インターフェースである。 The
カメラ120は、例えば、CCD(Charge Coupled Device)イメージセンサもしくはCMOS(Complementary metal-oxide-semiconductor)イメージセンサを含んで構成されている。カメラ120は、例えば、情報処理装置110による制御に従って撮像を行い、それにより得られた画像(術野画像Ia)を、ネットワーク140を介して情報処理装置110に出力する。 The
サーバ装置130は、例えば、制御部131、Segmentation学習モデル132、左右眼識別学習モデル133、メモリ134およびネットワークIF135などを含んで構成されている。左右眼識別学習モデル133は、本発明の「識別部」の一具体例に相当する。制御部131は、CPUおよびGPUなどを含んで構成され、例えば、メモリ134に記憶されたウェブサーバプログラムや、オペレーティングシステムなどを実行する。制御部131は、さらに、例えば、左右眼識別学習モデル133で得られた識別結果などを、ネットワークIF135を介して情報処理装置110に送信する。 The
ネットワークIF135は、ネットワーク140を介して情報処理装置110と通信するための通信インターフェースである。メモリ134は、制御部131によって実行されるプログラム(例えば、ウェブサーバプログラムや、オペレーティングシステム)などを記憶する。メモリ134は、例えば、RAM、ROM、補助記憶装置(ハードディスク等)等によって構成される。メモリ134には、さらに、複数の画像データ134A、複数の画像データ134Bおよび複数の手術データ134Cが記憶されている。
各画像データ134Aは、Segmentation学習モデル132に対して入力される2種類の学習データのうちの1つであるとともに、左右眼識別学習モデル133に対して入力される2種類の学習データのうちの1つである。各画像データ134Aは、例えば、図1、図2に示したような、カメラ120で得られた術野画像Iaである。各画像データ134Bは、Segmentation学習モデル132に対して入力される2種類の学習データのうちの1つであり、例えば、図5に示したような、各画像データ134Aのピクセルが示す意味がラベル付けされたSegmentation画像である。なお、図5に示した画像データ134Bは、眼領域Raであるとラベル付けされたピクセルと、周辺領域Rbであるとラベル付けされたピクセルとによって構成されている。各手術データ134Cは、患者の手術データであり、例えば、患者氏名、患者ID、病名、手術日時、術眼(左眼、右眼)、術式、担当医などを含んでいる。 Each
Segmentation学習モデル132は、学習プロセスでは、一組の画像データ134A,134Bを学習データとして機械学習を行う。Segmentation学習モデル132は、機械学習の結果、画像データ134Aと画像データ134Bとの対応関係についての情報を学習結果として生成し、保有する。Segmentation学習モデル132は、変換プロセスでは、カメラ120で得られた術野画像Iaが入力されると、学習結果を利用して、術野画像IaをSegmentation画像Icに変換する(図6参照)。 In the learning process, the
左右眼識別学習モデル133は、学習プロセスでは、画像データ134Aと、画像データ134Aに含まれる眼の種類(左眼または右眼)とを学習データとして機械学習を行う。左右眼識別学習モデル133は、機械学習の結果、画像データ134Aと、眼の種類との対応関係についての情報を学習結果として生成し、保有する。左右眼識別学習モデル133は、識別プロセスでは、術野画像Iaを取得すると、学習結果を利用して、術野画像Iaに含まれる眼の種類(左眼または右眼)を識別する。 In the learning process, the left/right eye
[動作]
次に、本実施の形態に係る左右眼識別システム100の動作の一例について説明する。[motion]
Next, an example of the operation of left/right
(機械学習)
ユーザは、入力部114を介して、Segmentation学習モデル132に対して学習開始を指示する。すると、Segmentation学習モデル132は、学習プロセスを実行する。具体的には、Segmentation学習モデル132は、メモリ134に記憶された複数組の画像データ134Aおよび画像データ134Bを学習データとして、機械学習を行う。Segmentation学習モデル132は、機械学習の結果、画像データ134Aと画像データ134Bとの対応関係についての情報を学習結果として生成し、保有する。このようにして、Segmentation学習モデル132による機械学習が終了する。(machine learning)
The user instructs the
次に、ユーザは、入力部114を介して、左右眼識別学習モデル133に対して学習開始を指示する。すると、左右眼識別学習モデル133は、学習プロセスを実行する。具体的には、左右眼識別学習モデル133は、メモリ134に記憶された複数の画像データ134Aのサムネイルおよび識別子とともに、各画像データ134Aに対する眼の種類(左眼、右眼)の入力要請を情報処理装置110に送信する。なお、通信速度等の問題がない場合には、左右眼識別学習モデル133は、サムネイルではなくオリジナルの画像データ134Aを情報処理装置110に送信してもよい。情報処理装置110は、左右眼識別学習モデル133から、複数の画像データ134Aのサムネイルおよび識別子とともに、各画像データ134Aに対する眼の種類(左眼、右眼)の入力要請を受信すると、受信した複数の画像データ134Aのサムネイルを表示部113に表示するとともに、ユーザに対して眼の種類(左眼、右眼)の入力を促す表示を表示部113に表示する。ユーザは、表示部113の表示に従い、画像データ134Aごとに、眼の種類(左眼、右眼)を入力部114に入力する。入力部114は、ユーザから入力された、画像データ134Aごとの眼の種類(左眼、右眼)を、画像データ134Aの識別子とともに左右眼識別学習モデル133に送信する。左右眼識別学習モデル133は、情報処理装置110から、画像データ134Aごとの眼の種類(左眼、右眼)を、画像データ134Aの識別子とともに受信すると、眼の種類(左眼、右眼)と、画像データ134Aの識別子との対応関係を生成し、保有する。このようにして、左右眼識別学習モデル133による機械学習が終了する。 Next, the user instructs the left/right eye
(左右眼識別)
図7は、左右眼識別システム100における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部114を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部114を介して、プログラム112Aの起動を指示する。すると、情報処理装置110(制御部111)は、メモリ112からプログラム112Aを読み出して、制御部111にロードする。プログラム112Aがロードされた制御部111は、左右眼の識別をするための一連の手順を実行する。具体的には、まず、制御部111は、撮像指示をカメラ120に出力する。カメラ120は、撮像指示に従ってドレープ600の開口内を撮像し、それにより得られた術野画像Iaを情報処理装置110に送信する。(Left and right eye identification)
FIG. 7 is a flowchart showing an example of left/right eye identification procedures in left/right
情報処理装置110(制御部111)は、受信した術野画像Iaに対して明るさ判定を行う。情報処理装置110(制御部111)は、例えば、術野画像IaをHSVに変換し、変換により得られた各ピクセルのV値が所定の範囲外にある場合には、術野画像Iaが明るさ不足もしくは明る過ぎであることを表示部113に表示する。情報処理装置110(制御部111)は、例えば、得られた各ピクセルのV値が所定の範囲内にある場合には、ピント判定を実施する。情報処理装置110(制御部111)は、例えば、術野画像Iaに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Iaのピントがずれていることを表示部113に表示する。情報処理装置110(制御部111)は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像Iaをサーバ装置130に送信する。 The information processing device 110 (control unit 111) performs brightness determination on the received surgical field image Ia. For example, the information processing device 110 (control unit 111) converts the operative field image Ia into HSV, and if the V value of each pixel obtained by the conversion is outside a predetermined range, the operative field image Ia is bright. The
サーバ装置130が情報処理装置110から術野画像Iaを受信すると、Segmentation学習モデル132が変換プロセスを実行する。具体的には、Segmentation学習モデル132は、学習結果を利用して、術野画像IaをSegmentation画像Icに変換する(図6参照)。Segmentation学習モデル132は、変換により得られたSegmentation画像Icを情報処理装置110に送信する。情報処理装置110(制御部111)は、受信したSegmentation画像Icに対して、物体検出を行う。情報処理装置110(制御部111)は、例えば、図8に示したように、Segmentation画像Icから、眼領域Raを含む矩形状の領域(例えば、眼領域Raに接する矩形状の領域)を切り出す。このようにして得られた画像を、Detection画像Idとする。 When the
情報処理装置110(制御部111)は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼を含む領域の、術野画像Iaにおける位置情報とする。情報処理装置110(制御部111)は、例えば、得られたDetection画像Idの外縁部分の、術野画像Iaにおける位置情報を、マーカMcの位置情報とする。つまり、情報処理装置110(制御部111)は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Iaにおける位置情報を取得する。 The information processing device 110 (control unit 111) uses the position information of the obtained detection image Id in the operating field image Ia as the position information of the region including the eye to be identified in the operating field image Ia. The information processing apparatus 110 (control unit 111), for example, takes the position information of the outer edge portion of the obtained detection image Id in the surgical field image Ia as the position information of the marker Mc. That is, the information processing apparatus 110 (control unit 111) acquires position information of a region including the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
なお、情報処理装置110(制御部111)は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼の、術野画像Iaにおける位置情報としてもよい。情報処理装置110(制御部111)は、例えば、得られたDetection画像Idの眼領域Raの外縁部分の、術野画像Iaにおける位置情報を、後述のマーカMcの位置情報としてもよい。この場合、情報処理装置110(制御部111)は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼の、術野画像Iaにおける位置情報を取得する。 The information processing apparatus 110 (control unit 111) may use the position information of the obtained detection image Id in the operating field image Ia as the position information of the eye to be identified in the operating field image Ia. The information processing apparatus 110 (control unit 111) may use, for example, the position information of the outer edge portion of the eye area Ra of the obtained detection image Id in the operating field image Ia as the position information of the marker Mc, which will be described later. In this case, the information processing apparatus 110 (control unit 111) acquires position information of the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
情報処理装置110(制御部111)は、取得した位置情報に基づいてマーカMcを生成した後、生成したマーカMcを術野画像Iaに重ね合わせた画像(マーカ画像Ie)を表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、図9に示したように、制御部111からの映像信号に基づいて、術野画像IaにマーカMcを重ね合わせた画像(マーカ画像Ie)を表示面110Aに表示する。 After generating the marker Mc based on the acquired position information, the information processing apparatus 110 (control unit 111) displays an image (marker image Ie) in which the generated marker Mc is superimposed on the surgical field image Ia. A signal is generated and output to the
左右眼識別システム100は、上述した撮像指示からマーカMc表示までの一連の手順を定期的に行う。このとき、医療従事者は、表示面110Aに表示された画像を参照しながら、カメラ120の撮像領域を微調整する。情報処理装置110(制御部111)は、例えば、上述した撮像指示からマーカMc表示までの一連の手順を実行するたびに、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出している場合には、情報処理装置110(制御部111)は、例えば、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出していることを意味する情報を含む画像を表示するための映像信号を生成し、表示部113に出力する。表示部113は、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出していることを意味する情報と、術野画像Iaとを含む画像を表示面110Aに表示する。表示部113は、例えば、図10に示したように、「顕微鏡位置がずれています。」といったようなステータスSTと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。なお、情報処理装置110(制御部111)は、表示面110Aへの画像表示以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、情報処理装置110(制御部111)は、術野画像IaにおいてマーカMcの位置が所定の領域内にあることを示す画像を表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、制御部111からの映像信号に基づいて、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっていることを意味する情報と、術野画像Iaとを含む画像を表示面110Aに表示する。表示部113は、例えば、図11に示したように、「顕微鏡位置OK」といったようなステータスSTと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。なお、情報処理装置110(制御部111)は、表示面110Aへの画像表示以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域内にあることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operative field image Ia, the information processing device 110 (control unit 111) determines that the position of the marker Mc is within the predetermined area in the operative field image Ia. A video signal for displaying an image indicating that there is an image is generated and output to the
情報処理装置110(制御部111)は、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、サーバ装置130内の左右眼識別学習モデル133に対して、左右眼識別指示を出力する。左右眼識別学習モデル133が左右眼識別指示を受信すると、左右眼識別学習モデル133が識別プロセスを実行する。具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の種類(左眼、右眼)を識別する。左右眼識別学習モデル133は、識別結果DRを情報処理装置110に送信する。制御部111は、ステータスSTと、識別結果DRと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、図12に示したように、制御部111からの映像信号に基づいて、ステータスSTと、識別結果DRと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。表示部113は、例えば、図12に示したように、識別結果DRを術野画像Ia上に重ね合わせて表示してもよいし、例えば、図13に示したように、識別結果DRを術野画像Iaとは別の領域に表示してもよい。 The information processing device 110 (control unit 111), when the position of the marker Mc is within a predetermined region in the operative field image Ia, sets the left and right eye
医療従事者は、表示面110Aに表示された識別結果DRを見ることで、ドレープ600の開口610内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR displayed on the
情報処理装置110(制御部111)は、さらに、例えば、メモリ134に記憶された複数の手術データ134Cの中から、患者400に該当する手術データ134Cを読み出し、読み出したおよび手術データ134Cに含まれる術眼と、識別結果DRとを比較する。情報処理装置110(制御部111)は、その比較結果CRと、ステータスSTと、識別結果DRと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、図14に示したように、制御部111からの映像信号に基づいて、比較結果CRと、ステータスSTと、識別結果DRと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。なお、図14には、比較結果CRとして、読み出したおよび手術データ134Cに含まれる術眼と、識別結果DRとが一致したときの表示が例示されている。 The information processing device 110 (control unit 111) further reads, for example,
[効果]
次に、本実施の形態に係る左右眼識別システム100の効果について説明する。[effect]
Next, the effects of the left/right
白内障などの眼の疾患を治療するには、眼の手術を行うことが一般的である。眼の手術を行う際、医療従事者は、患者の顔をドレープで覆い、手術を行う眼をドレープの開口から露出させる。患者の顔がドレープで覆われている場合、ドレープから露出している眼が左眼か右眼か識別が難しいことがある。そのため、医療従事者は、手術を行わない方の眼が誤って露出しているときに、手術を行う方の眼が露出していると誤認してしまう可能性がある。 Eye surgery is commonly performed to treat eye diseases such as cataracts. When performing eye surgery, medical personnel cover the patient's face with a drape and expose the eye being operated on through an opening in the drape. When the patient's face is draped, it can be difficult to distinguish whether the eye exposed through the drape is the left or right eye. Therefore, when the non-operating eye is erroneously exposed, the medical staff may misunderstand that the operating eye is exposed.
一方、本実施の形態では、識別対象である眼を含む術野画像Iaから得られたSegmentation画像Icに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Iaにおける位置情報が取得される。さらに、本実施の形態では、取得された位置情報に基づいて生成したマーカMcを術野画像Iaに重ね合わせた画像(マーカ画像Ie)が表示される。これにより、マーカMcの中に、左右眼の識別を容易にする要素(例えば涙丘12や目頭)を確実に含ませることができる。その結果、医療従事者が、マーカMcが術野画像Iaにおける所定の領域内に位置するようにカメラ120の撮像領域を調整することにより、術野画像Iaに写っている眼が左眼であるか、右眼であるかを左右眼識別システム100において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 On the other hand, in the present embodiment, by performing object detection on the Segmentation image Ic obtained from the operative field image Ia including the eye to be identified, the eye to be identified or the eye including the eye to be identified is detected. Positional information of the region in the surgical field image Ia is acquired. Furthermore, in the present embodiment, an image (marker image Ie) in which a marker Mc generated based on the acquired position information is superimposed on the surgical field image Ia is displayed. This allows the marker Mc to reliably include an element (for example, the
また、本実施の形態では、左右眼識別学習モデル133による識別結果DRが表示部113の表示面110Aに表示される。また、本実施の形態では、術野画像Iaとともに、左右眼識別学習モデル133による識別結果DRが表示部113の表示面110Aに表示される。これにより、見過ごしの無い確実な確認作業を行うことができる。 Further, in the present embodiment, the identification result DR obtained by the left/right eye
また、本実施の形態では、Segmentation画像Icに対して物体検出を行うことにより、Segmentation画像IcからDetection画像Idが切り出された後、切り出されたDetection画像Idの、術野画像Iaにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Iaにおける位置情報となる。これにより、術野画像Iaに対して、単純に物体検出を行い、それにより得られたDetection画像に基づいて、識別対象である眼の、術野画像Iaにおける位置情報を導出した場合と比べて、マーカMcの中に、左右眼の識別を容易にする要素(例えば涙丘12や目頭)を確実に含ませることができる。その結果、医療従事者が、マーカMcが術野画像Iaにおける所定の領域内に位置するようにカメラ120の撮像領域を調整することにより、術野画像Iaに写っている眼が左眼であるか、右眼であるかを左右眼識別システム100において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 Further, in the present embodiment, by performing object detection on the segmentation image Ic, after the detection image Id is clipped from the segmentation image Ic, the position information of the clipped detection image Id in the surgical field image Ia is , position information of the eye to be identified, or a region including the eye to be identified, in the surgical field image Ia. As a result, compared to the case where object detection is simply performed on the surgical field image Ia, and the position information of the eye to be identified in the surgical field image Ia is derived based on the resulting detection image. , the marker Mc can certainly include an element (for example, the
また、本実施の形態では、マーカMcが術野画像Iaにおける所定の領域からはみ出している場合には、マーカMcが所定の領域からはみ出していることを意味する情報(例えば、ステータスST)を含む画像が表示部113の表示面110Aに表示される。これにより、医療従事者に対して、カメラ120の撮像領域の微調整が必要なことを確実に知らせることができる。 In addition, in the present embodiment, when the marker Mc protrudes from the predetermined area in the surgical field image Ia, information indicating that the marker Mc protrudes from the predetermined area (for example, status ST) is included. An image is displayed on the
また、本実施の形態では、マーカMcが術野画像Iaにおける所定の領域内に収まっているときに得られた術野画像Iaをサーバ装置130に送信した後、左右眼の識別結果をサーバ装置130から受信するネットワークIF115が情報処理装置110に設けられている。これにより、Segmentation学習モデル132や左右眼識別学習モデル133などで行われる負荷の大きな処理を、情報処理装置110とは別の装置(サーバ装置130)に担わせることができる。その結果、例えば、手術室ごとに設置した各情報処理装置110が1つのサーバ装置130を共有することができるので、左右眼識別システム100を手術室ごとに設置する場合と比べて、左右眼識別システム100の設置コストを低減することができる。 Further, in the present embodiment, after the surgical field image Ia obtained when the marker Mc is within a predetermined region in the surgical field image Ia is transmitted to the
また、本実施の形態では、ネットワークIF115において、カメラ120から送信された術野画像Iaが受信される。これにより、カメラ120との通信用に、ネットワークIF115とは別個のネットワークIFを設ける必要がないので、情報処理装置110として廉価なものを用いることができる。その結果、左右眼識別システム100のコストを低減することができる。 Further, in the present embodiment, the network IF 115 receives the surgical field image Ia transmitted from the
<3.第1の実施の形態の変形例>
次に、第1実施の形態に係る左右眼識別システム100の変形例について説明する。<3. Modification of First Embodiment>
Next, a modification of the left/right
[[変形例A]]
図15は、上記実施の形態に係る左右眼識別システム100の機能ブロックの一変形例を表したものである。本変形例に係る情報処理装置110は、メモリ112に、プログラム112Aの代わりに、プログラム112Bを記憶している。本変形例に係るサーバ装置130は、メモリ134に、さらに、プログラム134Dを記憶している。プログラム134Dは、本発明の「識別プログラム」の一具体例に相当する。[[Modification A]]
FIG. 15 shows a modified example of functional blocks of the left/right
プログラム112Bは、情報処理装置110を左右眼識別システム100におけるユーザーインターフェースとして機能させるための手順を制御部111に実行させる。プログラム134Dは、術野に含まれる眼の種類(左眼または右眼)を識別するための一連の手順を制御部131に実行させる。 The
(左右眼識別)
図16は、本変形例に係る左右眼識別システム100における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部114を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部114を介して、プログラム112B,134Dの起動を指示する。すると、情報処理装置110(制御部111)は、メモリ112からプログラム112Bを読み出して、制御部111にロードする。プログラム112Bがロードされた制御部111は、情報処理装置110を左右眼識別システム100におけるユーザーインターフェースとして機能させるための手順を実行する。サーバ装置130(制御部131)は、メモリ134からプログラム134Dを読み出して、制御部131にロードする。プログラム134Dがロードされた制御部131は、左右眼の識別をするための一連の手順を実行する。(Left and right eye identification)
FIG. 16 is a flow chart showing an example of the left/right eye identification procedure in the left/right
具体的には、まず、制御部111は、撮像指示をカメラ120に出力する。カメラ120は、撮像指示に従ってドレープ600の開口内を撮像し、それにより得られた術野画像Iaを情報処理装置110に送信する。 Specifically, first,
情報処理装置110(制御部111)は、受信した術野画像Iaをサーバ装置130に送信する。サーバ装置130(制御部131)は、受信した術野画像Iaに対して明るさ判定を行う。サーバ装置130(制御部131)は、例えば、術野画像IaをHSVに変換し、変換により得られた各ピクセルのV値が所定の範囲外にある場合には、術野画像Iaが明るさ不足もしくは明る過ぎであることを表示部113に表示させる信号を情報処理装置110に送信する。情報処理装置110は、サーバ装置130からの信号に基づいて、術野画像Iaが明るさ不足もしくは明る過ぎであることを表示部113に表示する。 The information processing device 110 (control unit 111 ) transmits the received surgical field image Ia to the
サーバ装置130(制御部131)は、例えば、得られた各ピクセルのV値が所定の範囲内にある場合には、ピント判定を実施する。サーバ装置130(制御部131)は、例えば、術野画像Iaに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Iaのピントがずれていることを表示部113に表示させる信号を情報処理装置110に送信する。情報処理装置110は、サーバ装置130からの信号に基づいて、術野画像Iaのピントがずれていることを表示部113に表示する。サーバ装置130(制御部131)は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像IaをSegmentation学習モデル132に入力する。 The server device 130 (control unit 131) performs focus determination, for example, when the obtained V value of each pixel is within a predetermined range. The server device 130 (control unit 131) performs, for example, Laplacian differentiation on the operative field image Ia, and if the resulting score is below a predetermined threshold, the operative field image Ia is out of focus. A signal is transmitted to the
Segmentation学習モデル132は、術野画像Iaが入力されると、変換プロセスを実行する。具体的には、Segmentation学習モデル132は、学習結果を利用して、術野画像IaをSegmentation画像Icに変換する(図6参照)。Segmentation学習モデル132は、変換により得られたSegmentation画像Icを制御部131に入力する。制御部131は、入力されたSegmentation画像Icに対して、物体検出を行う。制御部131は、例えば、図8に示したように、Segmentation画像Icから、眼領域Raを含む矩形状の領域(例えば、眼領域Raに接する矩形状の領域)を切り出す。このようにして得られた画像を、Detection画像Idとする。 The
制御部131は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼を含む領域の、術野画像Iaにおける位置情報とする。制御部131は、例えば、得られたDetection画像Idの外縁部分の、術野画像Iaにおける位置情報を、マーカMcの位置情報とする。つまり、制御部131は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Iaにおける位置情報を取得する。 The
なお、制御部131は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼の、術野画像Iaにおける位置情報としてもよい。制御部131は、例えば、得られたDetection画像Idの眼領域Raの外縁部分の、術野画像Iaにおける位置情報を、マーカMcの位置情報としてもよい。この場合、制御部131は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼の、術野画像Iaにおける位置情報を取得する。 Note that the
制御部131は、取得した位置情報に基づいてマーカMcを生成した後、生成したマーカMcを術野画像Iaに重ね合わせた画像(マーカ画像Ie)を情報処理装置110に送信する。情報処理装置110(制御部111)は、受信したマーカ画像Ieを含む画像を表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、図9に示したように、制御部111からの映像信号に基づいて、術野画像IaにマーカMcを重ね合わせた画像を表示面110Aに表示する。 After generating the marker Mc based on the acquired position information, the
左右眼識別システム100は、上述した撮像指示からマーカMc表示までの一連の手順を定期的に行う。このとき、医療従事者は、表示面110Aに表示された画像を参照しながら、カメラ120の撮像領域を微調整する。サーバ装置130(制御部131)は、例えば、上述した撮像指示からマーカMc表示までの一連の手順を実行するたびに、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出している場合には、サーバ装置130(制御部131)は、例えば、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出していることを意味する情報を情報処理装置110に送信する。情報処理装置110(制御部111)は、受信した情報を含む画像を表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、制御部111からの映像信号に基づいて、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出していることを意味する情報と、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。表示部113は、例えば、図10に示したように、「顕微鏡位置がずれています。」といったようなステータスSTと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。なお、情報処理装置110(制御部111)は、表示面110Aへの画像表示以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、サーバ装置130(制御部131)は、術野画像IaにおいてマーカMcの位置が所定の領域内にあることを示す情報を情報処理装置110に送信する。情報処理装置110(制御部111)は、受信した情報を含む画像を表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、制御部111からの映像信号に基づいて、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっていることを意味する情報と、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。なお、情報処理装置110(制御部111)は、表示面110Aへの画像表示以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域内にあることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operative field image Ia, the server apparatus 130 (control unit 131) determines that the position of the marker Mc is within the predetermined area in the operative field image Ia. Information indicating that is transmitted to the
サーバ装置130(制御部131)は、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル133に対して、左右眼識別指示を出力する。左右眼識別学習モデル133が左右眼識別指示を受信すると、左右眼識別学習モデル133が識別プロセスを実行する。具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の種類(左眼、右眼)を識別する。左右眼識別学習モデル133は、識別結果を制御部131に送信する。制御部131は、識別結果DRを情報処理装置110に送信する。制御部111は、ステータスSTと、識別結果DRと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、図12に示したように、制御部111からの映像信号に基づいて、ステータスSTと、識別結果DRと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。表示部113は、例えば、図12に示したように、識別結果DRを術野画像Ia上に重ね合わせて表示してもよいし、例えば、図13に示したように、識別結果DRを術野画像Iaとは別の領域に表示してもよい。 The server device 130 (control unit 131) outputs a left/right eye identification instruction to the left/right eye
医療従事者は、表示面110Aに表示された識別結果DRを見ることで、ドレープ600の開口610内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR displayed on the
情報処理装置110(制御部111)は、さらに、例えば、メモリ134に記憶された複数の手術データ134Cの中から、患者400に該当する手術データ134Cを読み出し、読み出したおよび手術データ134Cに含まれる術眼と、識別結果DRとを比較し、その比較結果CRを含む画像を表示面110Aに表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、図14に示したように、制御部111からの映像信号に基づいて、比較結果CRと、識別結果DRと、ステータスSTと、術野画像Iaとを含む画像を表示面110Aに表示する。なお、図14には、比較結果CRとして、読み出したおよび手術データ134Cに含まれる術眼と、識別結果DRとが一致したときの表示が例示されている。 The information processing device 110 (control unit 111) further reads, for example,
本変形例では、サーバ装置130において、識別対象である眼を含む術野画像Iaから得られたSegmentation画像Icに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Iaにおける位置情報が取得される。さらに、本変形例では、取得された位置情報に基づいて生成したマーカMcを術野画像Iaに重ね合わせた画像(マーカ画像Ie)が情報処理装置110に送信される。これにより、情報処理装置110において、マーカ画像Ieを表示することができるので、マーカMcの中に、左右眼の識別を容易にする要素(例えば涙丘12や目頭)を確実に含ませることができる。その結果、医療従事者が、マーカMcが術野画像Iaにおける所定の領域内に位置するようにカメラ120の撮像領域を調整することにより、術野画像Iaに写っている眼が左眼であるか、右眼であるかを左右眼識別システム100において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 In this modification, in the
また、本変形例では、Segmentation画像Icに対して物体検出を行うことにより、Segmentation画像IcからDetection画像Idが切り出された後、切り出されたDetection画像Idの、術野画像Iaにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Iaにおける位置情報となる。これにより、術野画像Iaに対して、単純に物体検出を行い、それにより得られたDetection画像に基づいて、識別対象である眼の、術野画像Iaにおける位置情報を導出した場合と比べて、マーカMcの中に、左右眼の識別を容易にする要素(例えば涙丘12や目頭)を確実に含ませることができる。その結果、医療従事者が、マーカMcが術野画像Iaにおける所定の領域内に位置するようにカメラ120の撮像領域を調整することにより、術野画像Iaに写っている眼が左眼であるか、右眼であるかを左右眼識別システム100において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 Further, in this modification, by performing object detection on the segmentation image Ic, after the detection image Id is clipped from the segmentation image Ic, the position information of the clipped detection image Id in the surgical field image Ia is: This is the positional information of the eye to be identified or the region containing the eye to be identified in the surgical field image Ia. As a result, compared to the case where object detection is simply performed on the surgical field image Ia, and the position information of the eye to be identified in the surgical field image Ia is derived based on the resulting detection image. , the marker Mc can certainly include an element (for example, the
[[変形例B]]
上記実施の形態において、例えば、図17に示したように、サーバ装置130が省略されるとともに、情報処理装置110がサーバ装置130の機能を備えていてもよい。このとき、情報処理装置110は、例えば、図18に示したように、Segmentation学習モデル132および左右眼識別学習モデル133を備えるとともに、複数の画像データ134A、複数の画像データ134Bおよび複数の手術データ134Cをメモリ112に記憶している。[[Modification B]]
In the above embodiment, for example, as shown in FIG. 17, the
(左右眼識別)
図19は、本変形例に係る左右眼識別システム100における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部114を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部114を介して、プログラム112Aの起動を指示する。すると、情報処理装置110(制御部111)は、メモリ112からプログラム112Aを読み出して、制御部111にロードする。プログラム112Aがロードされた制御部111は、左右眼の識別をするための一連の手順を実行する。(Left and right eye identification)
FIG. 19 is a flow chart showing an example of the left/right eye identification procedure in the left/right
具体的には、まず、制御部111は、撮像指示をカメラ120に出力する。カメラ120は、撮像指示に従ってドレープ600の開口内を撮像し、それにより得られた術野画像Iaを情報処理装置110に送信する。 Specifically, first,
制御部111は、受信した術野画像Iaに対して明るさ判定を行う。制御部111は、例えば、術野画像IaをHSVに変換し、変換により得られた各ピクセルのV値が所定の範囲外にある場合には、術野画像Iaが明るさ不足もしくは明る過ぎであることを表示部113に表示する。 The
制御部111は、例えば、得られた各ピクセルのV値が所定の範囲内にある場合には、ピント判定を実施する。制御部111は、例えば、術野画像Iaに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Iaのピントがずれていることを表示部113に表示する。制御部111は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像IaをSegmentation学習モデル132に入力する。 For example, when the obtained V value of each pixel is within a predetermined range, the
Segmentation学習モデル132は、術野画像Iaが入力されると、変換プロセスを実行する。具体的には、Segmentation学習モデル132は、学習結果を利用して、術野画像IaをSegmentation画像Icに変換する(図6参照)。Segmentation学習モデル132は、変換により得られたSegmentation画像Icを制御部111に入力する。制御部111は、入力されたSegmentation画像Icに対して、物体検出を行う。制御部111は、例えば、図8に示したように、Segmentation画像Icから、眼領域Raを含む矩形状の領域(例えば、眼領域Raに接する矩形状の領域)を切り出す。このようにして得られた画像を、Detection画像Idとする。 The
制御部111は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼を含む領域の、術野画像Iaにおける位置情報とする。制御部111は、例えば、得られたDetection画像Idの外縁部分の、術野画像Iaにおける位置情報をマーカMcの位置情報とする。つまり、制御部111は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Iaにおける位置情報を取得する。 The
なお、制御部111は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼の、術野画像Iaにおける位置情報としてもよい。制御部111は、例えば、得られたDetection画像Idの眼領域Raの外縁部分の、術野画像Iaにおける位置情報を、マーカMcの位置情報としてもよい。この場合、制御部111は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼の、術野画像Iaにおける位置情報を取得する。 Note that the
制御部111は、取得した位置情報に基づいてマーカMcを生成した後、生成したマーカMcを術野画像Iaに重ね合わせた画像を表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、図9に示したように、制御部111からの映像信号に基づいて、術野画像IaにマーカMcを重ね合わせた画像を表示面110Aに表示する。 After generating the marker Mc based on the acquired position information, the
左右眼識別システム100は、上述した撮像指示からマーカMc表示までの一連の手順を定期的に行う。このとき、医療従事者は、表示面110Aに表示された画像を参照しながら、カメラ120の撮像領域を微調整する。制御部111は、例えば、上述した撮像指示からマーカMc表示までの一連の手順を実行するたびに、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出している場合には、制御部111は、例えば、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出していることを意味する情報を含む画像を表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、制御部111からの映像信号に基づいて、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出していることを意味する情報と、術野画像Iaとを含む画像を表示面110Aに表示する。表示部113は、例えば、図10に示したように、「顕微鏡位置がずれています。」といったようなステータスSTと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。なお、制御部111は、表示面110Aへの画像表示以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、制御部111は、術野画像IaにおいてマーカMcの位置が所定の領域内にあることを示す画像を表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、制御部111からの映像信号に基づいて、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっていることを意味する情報と、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。表示部113は、例えば、図11に示したように、「顕微鏡位置OK」といったようなステータスSTと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。なお、制御部111は、表示面110Aへの画像表示以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域内にあることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operating field image Ia, the
制御部111は、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル133に対して、左右眼識別指示を出力する。左右眼識別学習モデル133が左右眼識別指示を受信すると、左右眼識別学習モデル133が識別プロセスを実行する。具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の種類(左眼、右眼)を識別する。左右眼識別学習モデル133は、識別結果DRを制御部111に入力する。制御部111は、ステータスSTと、識別結果DRと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、図12に示したように、制御部111からの映像信号に基づいて、ステータスSTと、識別結果DRと、マーカMcと、術野画像Iaとを含む画像を表示面110Aに表示する。表示部113は、例えば、図12に示したように、識別結果DRを術野画像Ia上に重ね合わせて表示してもよいし、例えば、図13に示したように、識別結果DRを術野画像Iaとは別の領域に表示してもよい。 The
医療従事者は、表示面110Aに表示された識別結果DRを見ることで、ドレープ600の開口610内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR displayed on the
制御部111は、さらに、例えば、メモリ112に記憶された複数の手術データ134Cの中から、患者400に該当する手術データ134Cを読み出し、読み出したおよび手術データ134Cに含まれる術眼と、識別結果DRとを比較し、その比較結果CRを表示面110Aに表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、図14に示したように、制御部111からの映像信号に基づいて、比較結果CRと、識別結果DRと、ステータスSTと、術野画像Iaとを含む画像を表示面110Aに表示する。なお、図14には、比較結果CRとして、読み出したおよび手術データ134Cに含まれる術眼と、識別結果DRとが一致したときの表示が例示されている。 Further, the
本変形例では、情報処理装置110が上記実施の形態に係るサーバ装置130の機能を備えている。これにより、情報処理装置110とカメラ120を用意し、これらをネットワーク140に接続するだけで、左右眼識別を行うことができる。従って、サーバ装置130が不要な分だけ、左右眼識別システム100を設置する手間を削減することができる。 In this modification, the
[[変形例C]]
上記実施の形態において、例えば、図20、図21に示したように、情報処理装置110とカメラ120との通信が、ネットワーク140とは別のネットワーク150を介して行われてもよい。また、上記変形例Aにおいて、例えば、図20、図22に示したように、情報処理装置110とカメラ120との通信が、ネットワーク140とは別のネットワーク150を介して行われてもよい。このとき、ネットワーク150は、例えば、Bluetooth(登録商標)などの近距離無線通信であってもよい。このような構成となっている場合であっても、上記実施の形態と同様の効果を有している。[[Modification C]]
In the above embodiment, for example, as shown in FIGS. 20 and 21, communication between the
[[変形例D]]
上記実施の形態において、例えば、図23、図24に示したように、情報処理装置110が、サーバ装置130の機能を備え、さらに、情報処理装置110とカメラ120との通信が、ネットワーク150を介して行われてもよい。このとき、情報処理装置110は、Segmentation学習モデル132および左右眼識別学習モデル133を備えるとともに、複数の画像データ134A、複数の画像データ134Bおよび複数の手術データ134Cをメモリ112に格納している。また、情報処理装置110は、ネットワーク150を介してカメラ120と通信を行うネットワークIF116を有している。[[Modification D]]
In the above embodiments, for example, as shown in FIGS. 23 and 24, the
本変形例において、ネットワーク150がBluetooth(登録商標)などの近距離無線通信である場合、上記実施の形態と比べて、情報処理装置110とカメラ120との通信の確立が容易となる。 In this modification, when
<4.第2の実施の形態>
[構成]
図25は、本発明の第2の実施の形態に係る左右眼識別システム700の概略構成の一例を表したものである。左右眼識別システム700は、本発明の「情報処理システム」の一具体例に相当する。図26は、左右眼識別システム700の機能ブロックの一例を表したものである。図25には、医療従事者が術野を拡大して視認するための眼科手術用顕微鏡システム200が、左右眼識別システム700とともに例示されている。<4. Second Embodiment>
[composition]
FIG. 25 shows an example of a schematic configuration of a left/right
(左右眼識別システム700)
左右眼識別システム700は、例えば、カメラ付き情報処理装置160と、サーバ装置130とを備えている。カメラ付き情報処理装置160およびサーバ装置130は、ネットワーク140を介して接続されている。カメラ付き情報処理装置160は、ネットワーク140を介してサーバ装置130と通信することができるように構成されている。サーバ装置130は、ネットワーク140を介してカメラ付き情報処理装置160と通信することができるように構成されている。(Left/right eye identification system 700)
The left/right
カメラ付き情報処理装置160は、例えば、制御部111、メモリ112、入力部114、ネットワークIF115、投射部117およびカメラ120を含んで構成されている。投射部117は、接眼部252に連結されており、制御部111からの映像信号に基づいて生成した映像光を、接眼部252に入射させる。 The camera-equipped
投射部117によって生成される映像光は、例えば、図27、図28に示したように、マーカMcと、ステータスSTとを含む画像を生成する光束であってもよい。投射部117によって生成される映像光は、例えば、図29、図30に示したように、マーカMcと、ステータスSTと、識別結果DRとを含む画像を生成する光束であってもよい。このとき、投射部117によって生成される映像光において、例えば、図29に示したように、識別結果DRがマーカMcに重ね合わされていてもよいし、例えば、図30に示したように、識別結果DRがマーカMcとは別の箇所に配置されていてもよい。投射部117によって生成される映像光は、例えば、図31に示したように、マーカMcと、ステータスSTと、識別結果DRと、比較結果CRとを含む画像を生成する光束であってもよい。 The image light generated by the
接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。つまり、接眼部252は、ステータスST、識別結果DRまたは比較結果CRと、マーカMcとを、観察光学系によって形成される、術野の像とともに表示する。その結果、医療従事者は、例えば、図32に示したような画像を視認する。なお、図32には、マーカMcが術野の像に重ね合わせて表示されるとともに、ステータスST、識別結果DRおよび比較結果CRが術野の像とは別個に(つまり術野の像には重ね合わさないで)表示されている場合が例示されている。なお、ステータスST、識別結果DRおよび比較結果CRが術野の像に重ね合わせて表示されてもよい。 The image light incident on the
(左右眼識別)
図33は、左右眼識別システム700における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部114を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部114を介して、プログラム112Aの起動を指示する。すると、カメラ付き情報処理装置160(制御部111)は、メモリ112からプログラム112Aを読み出して、制御部111にロードする。プログラム112Aがロードされた制御部111は、左右眼の識別をするための一連の手順を実行する。具体的には、まず、制御部111は、撮像指示をカメラ120に出力する。カメラ120は、撮像指示に従ってドレープ600の開口内を撮像し、それにより得られた術野画像Iaを制御部111に出力する。(Left and right eye identification)
FIG. 33 is a flow chart showing an example of left/right eye identification procedure in left/right
制御部111は、カメラ120から入力された術野画像Iaに対して明るさ判定を行う。制御部111は、例えば、術野画像IaをHSVに変換し、変換により得られた各ピクセルのV値が所定の範囲外にある場合には、術野画像Iaが明るさ不足もしくは明る過ぎであることを表示部113に表示する。制御部111は、例えば、得られた各ピクセルのV値が所定の範囲内にある場合には、ピント判定を実施する。制御部111は、例えば、術野画像Iaに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Iaのピントがずれていることを表示部113に表示する。情報処理装置110(制御部111)は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像Iaをサーバ装置130に送信する。 The
サーバ装置130がカメラ付き情報処理装置160から術野画像Iaを受信すると、Segmentation学習モデル132が変換プロセスを実行する。具体的には、Segmentation学習モデル132は、学習結果を利用して、術野画像IaをSegmentation画像Icに変換する(図6参照)。Segmentation学習モデル132は、変換により得られたSegmentation画像Icをカメラ付き情報処理装置160に送信する。カメラ付き情報処理装置160(制御部111)は、受信したSegmentation画像Icに対して、物体検出を行う。カメラ付き情報処理装置160(制御部111)は、例えば、図8に示したように、Segmentation画像Icから、眼領域Raを含む矩形状の領域(例えば、眼領域Raに接する矩形状の領域)を切り出す。このようにして得られた画像を、Detection画像Idとする。 When the
カメラ付き情報処理装置160(制御部111)は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼を含む領域の、術野画像Iaにおける位置情報とする。カメラ付き情報処理装置160(制御部111)は、例えば、得られたDetection画像Idの外縁部分の、術野画像Iaにおける位置情報を、マーカMcの位置情報とする。つまり、カメラ付き情報処理装置160(制御部111)は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Iaにおける位置情報を取得する。 The camera-equipped information processing apparatus 160 (control unit 111) sets the position information of the obtained detection image Id in the operating field image Ia as the position information of the region including the eye to be identified in the operating field image Ia. The camera-equipped information processing apparatus 160 (control unit 111), for example, takes the position information of the outer edge portion of the obtained detection image Id in the operating field image Ia as the position information of the marker Mc. That is, the camera-equipped information processing apparatus 160 (control unit 111) acquires the position information of the region including the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
なお、カメラ付き情報処理装置160(制御部111)は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼の、術野画像Iaにおける位置情報としてもよい。カメラ付き情報処理装置160(制御部111)は、例えば、得られたDetection画像Idの眼領域Raの外縁部分の、術野画像Iaにおける位置情報を、マーカMcの位置情報としてもよい。この場合、カメラ付き情報処理装置160(制御部111)は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼の、術野画像Iaにおける位置情報を取得する。 The camera-equipped information processing apparatus 160 (control unit 111) may use the position information of the obtained detection image Id in the operating field image Ia as the position information of the eye to be identified in the operating field image Ia. The camera-equipped information processing apparatus 160 (control unit 111) may use, for example, the position information of the outer edge portion of the eye area Ra of the obtained detection image Id in the surgical field image Ia as the position information of the marker Mc. In this case, the camera-equipped information processing apparatus 160 (control unit 111) acquires position information of the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
カメラ付き情報処理装置160(制御部111)は、取得した位置情報に基づいてマーカMcを生成した後、生成したマーカMcを含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、マーカMcを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、術野の像にマーカMcが重ね合わされた画像を視認する。つまり、接眼部252は、マーカMcを、観察光学系によって形成される、術野の像に重ね合わせて表示する。 After generating the marker Mc based on the acquired position information, the camera-equipped information processing device 160 (control unit 111) generates a video signal for generating image light including the generated marker Mc, and outputs the signal to the
左右眼識別システム700は、上述した撮像指示からマーカMc表示までの一連の手順を定期的に行う。このとき、医療従事者は、接眼部252を介して見える視野(術野)の像を参照しながら、カメラ120の撮像領域を微調整する。カメラ付き情報処理装置160(制御部111)は、例えば、上述した撮像指示からマーカMc表示までの一連の手順を実行するたびに、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出している場合には、カメラ付き情報処理装置160(制御部111)は、例えば、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出していることを意味する情報を含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出していることを意味する情報と、マーカMcとを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図27に示した像が重ね合わされた画像を視認する。なお、カメラ付き情報処理装置160(制御部111)は、接眼部252を介して見える視野(術野)にマーカMcを表示する以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、カメラ付き情報処理装置160(制御部111)は、術野画像IaにおいてマーカMcの位置が所定の領域内にあることを意味する情報を含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっていることを意味する情報と、マーカMcとを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図28に示した像が重ね合わされた画像を視認する。なお、カメラ付き情報処理装置160(制御部111)は、接眼部252を介して見える視野(術野)にマーカMcを表示する以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっていることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operative field image Ia, the
カメラ付き情報処理装置160(制御部111)は、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、サーバ装置130内の左右眼識別学習モデル133に対して、左右眼識別指示を出力する。左右眼識別学習モデル133が左右眼識別指示を受信すると、左右眼識別学習モデル133が識別プロセスを実行する。具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の種類(左眼、右眼)を識別する。左右眼識別学習モデル133は、識別結果DRをカメラ付き情報処理装置160に送信する。制御部111は、ステータスSTと、識別結果DRと、マーカMcとを含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、ステータスSTと、識別結果DRと、マーカMcとを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図29または図30に示した像が重ね合わされた画像を視認する。 When the position of the marker Mc is within a predetermined area in the operative field image Ia, the camera-equipped information processing device 160 (control unit 111) instructs the left and right eye
医療従事者は、接眼部252を介して見える視野(術野)の像内の識別結果DRを見ることで、ドレープ600の開口610内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR in the image of the visual field (operative field) seen through the
カメラ付き情報処理装置160(制御部111)は、さらに、例えば、メモリ134に記憶された複数の手術データ134Cの中から、患者400に該当する手術データ134Cを読み出し、読み出したおよび手術データ134Cに含まれる術眼と、識別結果DRとを比較する。カメラ付き情報処理装置160(制御部111)は、その比較結果CRと、ステータスSTと、識別結果DRと、マーカMcとを含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、比較結果CRと、ステータスSTと、識別結果DRと、マーカMcとを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、図32に示したように、比較結果CRと、識別結果DRと、ステータスSTと、マーカMcとを、接眼部252を介して見える視野(術野)の像内に視認する。 The camera-equipped information processing device 160 (the control unit 111) further reads, for example, the
[効果]
次に、本実施の形態に係る左右眼識別システム700の効果について説明する。[effect]
Next, the effect of left/right
本実施の形態では、識別対象である眼を含む術野画像Iaから得られたSegmentation画像Icに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Iaにおける位置情報が取得される。さらに、本実施の形態では、取得された位置情報に基づいて生成したマーカMcを、観察光学系によって形成される、術野の像に重ね合わせて表示する。これにより、マーカMcの中に、左右眼の識別を容易にする要素(例えば涙丘12や目頭)を確実に含ませることができる。その結果、医療従事者が、マーカMcが観察光学系によって形成される、術野の像における所定の領域内に位置するようにカメラ120の撮像領域を調整することにより、術野画像Iaに写っている眼が左眼であるか、右眼であるかを左右眼識別システム100において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 In the present embodiment, by performing object detection on the segmentation image Ic obtained from the operative field image Ia including the eye to be identified, the eye to be identified or the area including the eye to be identified is detected. , the position information in the operating field image Ia is acquired. Furthermore, in the present embodiment, the marker Mc generated based on the acquired position information is superimposed and displayed on the image of the surgical field formed by the observation optical system. This allows the marker Mc to reliably include an element (for example, the
また、本実施の形態では、医療従事者用顕微鏡250において、識別結果DRが、観察光学系によって形成される、術野の像に重ね合わせて表示される。また、本実施の形態では、医療従事者用顕微鏡250において、マーカMcとともに、識別結果DRが、観察光学系によって形成される、術野の像に重ね合わせて表示される。これにより、見過ごしの無い確実な確認作業を行うことができる。 Further, in the present embodiment, the identification result DR is superimposed and displayed on the image of the surgical field formed by the observation optical system in the microscope for
また、本実施の形態では、Segmentation画像Icに対して物体検出を行うことにより、Segmentation画像IcからDetection画像Idが切り出された後、切り出されたDetection画像Idの、術野画像Iaにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Iaにおける位置情報となる。これにより、術野画像Iaに対して、単純に物体検出を行い、それにより得られたDetection画像に基づいて、識別対象である眼の、術野画像Iaにおける位置情報を導出した場合と比べて、マーカMcの中に、左右眼の識別を容易にする要素(例えば涙丘12や目頭)を確実に含ませることができる。その結果、医療従事者が、マーカMcが観察光学系によって形成される、術野の像における所定の領域内に位置するようにカメラ120の撮像領域を調整することにより、術野画像Iaに写っている眼が左眼であるか、右眼であるかを左右眼識別システム100において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 Further, in the present embodiment, by performing object detection on the segmentation image Ic, after the detection image Id is clipped from the segmentation image Ic, the position information of the clipped detection image Id in the surgical field image Ia is , position information of the eye to be identified, or a region including the eye to be identified, in the surgical field image Ia. As a result, compared to the case where object detection is simply performed on the surgical field image Ia, and the position information of the eye to be identified in the surgical field image Ia is derived based on the resulting detection image. , the marker Mc can certainly include an element (for example, the
また、本実施の形態では、マーカMcが観察光学系によって形成される、術野の像における所定の領域からはみ出している場合には、マーカMcと、マーカMcが所定の領域からはみ出していることを意味する情報(例えば、ステータスST)とを含む画像が、観察光学系によって形成される、術野の像に重ね合わされる。これにより、医療従事者に対して、カメラ120の撮像領域の微調整が必要なことを確実に知らせることができる。 Further, in the present embodiment, when the marker Mc protrudes from the predetermined region in the image of the surgical field formed by the observation optical system, the marker Mc and the marker Mc protrude from the predetermined region. (for example, status ST) is superimposed on the image of the operative field formed by the observation optical system. Accordingly, it is possible to reliably notify the medical staff that fine adjustment of the imaging area of the
また、本実施の形態では、マーカMcが術野画像Iaにおける所定の領域内に収まっているときに得られた術野画像Iaをサーバ装置130に送信した後、左右眼の識別結果をサーバ装置130から受信するネットワークIF115がカメラ付き情報処理装置160に設けられている。これにより、Segmentation学習モデル132や左右眼識別学習モデル133などで行われる負荷の大きな処理を、カメラ付き情報処理装置160とは別の装置(サーバ装置130)に担わせることができる。その結果、例えば、手術室ごとに設置した各カメラ付き情報処理装置160が1つのサーバ装置130を共有することができるので、左右眼識別システム700を手術室ごとに設置する場合と比べて、左右眼識別システム700の設置コストを低減することができる。 Further, in the present embodiment, after the surgical field image Ia obtained when the marker Mc is within a predetermined region in the surgical field image Ia is transmitted to the
<5.第2の実施の形態の変形例>
次に、第2の実施の形態に係る左右眼識別システム700の変形例について説明する。<5. Modification of Second Embodiment>
Next, a modification of the left/right
[[変形例E]]
図34は、第2の実施の形態に係る左右眼識別システム700の機能ブロックの一変形例を表したものである。本変形例に係るカメラ付き情報処理装置160は、メモリ112に、プログラム112Aの代わりに、プログラム112Bを記憶している。本変形例に係るサーバ装置130は、メモリ134に、さらに、プログラム134Dを記憶している。[[Modification E]]
FIG. 34 shows a modification of the functional blocks of the left/right
プログラム112Bは、カメラ付き情報処理装置160を左右眼識別システム100におけるユーザーインターフェースとして機能させるための手順を制御部111に実行させる。プログラム134Dは、術野に含まれる眼の種類(左眼または右眼)を識別するための一連の手順を制御部131に実行させる。 The program 112B causes the
(左右眼識別)
図35は、本変形例に係る左右眼識別システム700における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部114を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部114を介して、プログラム112B,134Dの起動を指示する。すると、カメラ付き情報処理装置160(制御部111)は、メモリ112からプログラム112Bを読み出して、制御部111にロードする。プログラム112Bがロードされた制御部111は、カメラ付き情報処理装置160を左右眼識別システム700におけるユーザーインターフェースとして機能させるための手順を実行する。サーバ装置130(制御部131)は、メモリ134からプログラム134Dを読み出して、制御部131にロードする。プログラム134Dがロードされた制御部131は、左右眼の識別をするための一連の手順を実行する。(Left and right eye identification)
FIG. 35 is a flow chart showing an example of the left/right eye identification procedure in the left/right
具体的には、まず、カメラ付き情報処理装置160(制御部111)は、撮像指示をカメラ120に出力する。カメラ120は、撮像指示に従ってドレープ600の開口内を撮像し、それにより得られた術野画像Iaを制御部111に出力する。 Specifically, the camera-equipped information processing apparatus 160 (control unit 111 ) first outputs an imaging instruction to the
カメラ付き情報処理装置160(制御部111)は、カメラ120から入力された術野画像Iaをサーバ装置130に送信する。サーバ装置130(制御部131)は、受信した術野画像Iaに対して明るさ判定を行う。サーバ装置130(制御部131)は、例えば、術野画像Iaの各ピクセルの明るさの平均値を導出し、導出した平均値が所定の閾値を下回る場合には、術野画像Iaが明るさ不足であることを表示部113に表示させる信号をカメラ付き情報処理装置160に送信する。カメラ付き情報処理装置160は、サーバ装置130からの信号に基づいて、術野画像Iaが明るさ不足であることを表示部113に表示する。 The camera-equipped information processing device 160 (control unit 111 ) transmits the operative field image Ia input from the
サーバ装置130(制御部131)は、例えば、導出した平均値が所定の範囲内にある場合には、ピント判定を実施する。サーバ装置130(制御部131)は、例えば、術野画像Iaに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Iaのピントがずれていることを表示部113に表示させる信号をカメラ付き情報処理装置160に送信する。カメラ付き情報処理装置160は、サーバ装置130からの信号に基づいて、術野画像Iaのピントがずれていることを表示部113に表示する。サーバ装置130(制御部131)は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像IaをSegmentation学習モデル132に入力する。 The server device 130 (control unit 131) performs focus determination, for example, when the derived average value is within a predetermined range. The server device 130 (control unit 131) performs, for example, Laplacian differentiation on the operative field image Ia, and if the resulting score is below a predetermined threshold, the operative field image Ia is out of focus. A signal for displaying the fact on the
Segmentation学習モデル132は、術野画像Iaが入力されると、変換プロセスを実行する。具体的には、Segmentation学習モデル132は、学習結果を利用して、術野画像IaをSegmentation画像Icに変換する(図6参照)。Segmentation学習モデル132は、変換により得られたSegmentation画像Icを制御部131に入力する。制御部131は、入力されたSegmentation画像Icに対して物体検出を行う。制御部131は、例えば、図10に示したように、Segmentation画像Icから、眼領域Raを含む矩形状の領域(例えば、眼領域Raに接する矩形状の領域)を切り出す。このようにして得られた画像を、Detection画像Idとする。 The
サーバ装置130(制御部131)は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼を含む領域の、術野画像Iaにおける位置情報とする。サーバ装置130(制御部131)は、例えば、得られたDetection画像Idの外縁部分の、術野画像Iaにおける位置情報を、マーカMcの位置情報とする。つまり、サーバ装置130(制御部131)は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Iaにおける位置情報を取得する。 The server device 130 (control unit 131) sets the position information of the obtained detection image Id in the operating field image Ia as the position information of the region including the eye to be identified in the operating field image Ia. The server device 130 (control unit 131) uses, for example, the position information of the outer edge portion of the obtained detection image Id in the surgical field image Ia as the position information of the marker Mc. In other words, the server device 130 (control unit 131) acquires the position information of the region including the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
なお、サーバ装置130(制御部131)は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼の、術野画像Iaにおける位置情報としてもよい。サーバ装置130(制御部131)は、例えば、得られたDetection画像Idの眼領域Raの外縁部分の、術野画像Iaにおける位置情報を、マーカMcの位置情報としてもよい。この場合、サーバ装置130(制御部131)は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼の、術野画像Iaにおける位置情報を取得する。 The server device 130 (control unit 131) may use the position information of the obtained detection image Id in the operating field image Ia as the position information of the eye to be identified in the operating field image Ia. The server device 130 (control unit 131) may use, for example, the position information of the outer edge portion of the eye area Ra of the obtained detection image Id in the operating field image Ia as the position information of the marker Mc. In this case, the server device 130 (control unit 131) acquires the position information of the eye to be identified in the surgical field image Ia by performing object detection on the segmentation image Ic.
サーバ装置130(制御部131)は、取得した位置情報をカメラ付き情報処理装置160に送信する。カメラ付き情報処理装置160は、サーバ装置130からの位置情報をに基づいてマーカMcを生成した後、生成したマーカMcを含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、マーカMcを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像にマーカMcが重ね合わされた画像を視認する。このとき、マーカMcの位置や大きさは、制御部111から投射部117に入射される映像信号によって規定される。つまり、接眼部252は、マーカMcを、観察光学系によって形成される、術野の像に重ね合わせて表示する。 The server device 130 (control unit 131) transmits the acquired position information to the
左右眼識別システム700は、上述した撮像指示からマーカMc表示までの一連の手順を定期的に行う。このとき、医療従事者は、接眼部252を介して見える視野(術野)の像を参照しながら、カメラ120の撮像領域を微調整する。サーバ装置130(制御部131)は、例えば、上述した撮像指示からマーカMc表示までの一連の手順を実行するたびに、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出している場合には、サーバ装置130(制御部131)は、例えば、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出していることを意味する情報をカメラ付き情報処理装置160に送信する。カメラ付き情報処理装置160(制御部111)は、受信した情報を含む画像を表示するための映像信号を生成し、表示部113に出力する。表示部113は、例えば、制御部111からの映像信号に基づいて、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出していることを意味する情報と、マーカMcとを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図27に示した像を重ね合わせた画像を視認する。なお、カメラ付き情報処理装置160(制御部111)は、接眼部252を介して見える視野(術野)にマーカMcを表示する以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、サーバ装置130(制御部131)は、術野画像IaにおいてマーカMcの位置が所定の領域内にあることを示す情報をカメラ付き情報処理装置160に送信する。カメラ付き情報処理装置160(制御部111)は、受信した情報を含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっていることを意味する情報と、マーカMcとを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図28に示した像を重ね合わせた画像を視認する。なお、カメラ付き情報処理装置160(制御部111)は、接眼部252を介して見える視野(術野)にマーカMcを表示する以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっていることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operative field image Ia, the server apparatus 130 (control unit 131) determines that the position of the marker Mc is within the predetermined area in the operative field image Ia. Information indicating that is transmitted to the
サーバ装置130(制御部131)は、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル133に対して、左右眼識別指示を出力する。左右眼識別学習モデル133が左右眼識別指示を受信すると、左右眼識別学習モデル133が識別プロセスを実行する。具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の種類(左眼、右眼)を識別する。左右眼識別学習モデル133は、識別結果DRを制御部131に送信する。サーバ装置130(制御部131)は、識別結果DRをカメラ付き情報処理装置160に送信する。カメラ付き情報処理装置160(制御部111)は、ステータスSTと、識別結果DRと、マーカMcとを含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、ステータスSTと、識別結果DRと、マーカMcとを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図29または図30に示した像を重ね合わせた画像を視認する。 The server device 130 (control unit 131) outputs a left/right eye identification instruction to the left/right eye
医療従事者は、接眼部252を介して見える視野(術野)の像内の識別結果DRを見ることで、ドレープ600の開口610内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR in the image of the visual field (operative field) seen through the
サーバ装置130(制御部131)は、さらに、例えば、メモリ134に記憶された複数の手術データ134Cの中から、患者400に該当する手術データ134Cを読み出し、読み出したおよび手術データ134Cに含まれる術眼と、識別結果DRとを比較し、その比較結果CRをカメラ付き情報処理装置160に送信する。カメラ付き情報処理装置160(制御部111)は、ステータスSTと、比較結果CRと、識別結果DRと、マーカMcとを含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、ステータスSTと、比較結果CRと、識別結果DRと、マーカMcとを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図31に示した像を重ね合わせた画像を視認する。 Server device 130 (control unit 131) further reads, for example,
本変形例では、サーバ装置130において、識別対象である眼を含む術野画像Iaから得られたSegmentation画像Icに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Iaにおける位置情報が取得される。さらに、本変形例では、取得された位置情報がカメラ付き情報処理装置160に送信される。これにより、カメラ付き情報処理装置160において、位置情報に基づいたマーカMcを術野の像に重ね合わせて表示することができるので、マーカMcの中に、左右眼の識別を容易にする要素(例えば涙丘12や目頭)を確実に含ませることができる。その結果、医療従事者が、マーカMcが観察光学系によって形成される、術野の像における所定の領域内に位置するようにカメラ120の撮像領域を調整することにより、術野画像Iaに写っている眼が左眼であるか、右眼であるかを左右眼識別システム100において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 In this modification, in the
また、本変形例では、Segmentation画像Icに対して物体検出を行うことにより、Segmentation画像IcからDetection画像Idが切り出された後、切り出されたDetection画像Idの、術野画像Iaにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Iaにおける位置情報となる。これにより、術野画像Iaに対して、単純に物体検出を行い、それにより得られたDetection画像に基づいて、識別対象である眼の、術野画像Iaにおける位置情報を導出した場合と比べて、マーカMcの中に、左右眼の識別を容易にする要素(例えば涙丘12や目頭)を確実に含ませることができる。その結果、医療従事者が、マーカMcが術野画像Iaにおける所定の領域内に位置するようにカメラ120の撮像領域を調整することにより、術野画像Iaに写っている眼が左眼であるか、右眼であるかを左右眼識別システム100において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。 Further, in this modification, by performing object detection on the segmentation image Ic, after the detection image Id is clipped from the segmentation image Ic, the position information of the clipped detection image Id in the surgical field image Ia is: This is the positional information of the eye to be identified or the region containing the eye to be identified in the surgical field image Ia. As a result, compared to the case where object detection is simply performed on the surgical field image Ia, and the position information of the eye to be identified in the surgical field image Ia is derived based on the resulting detection image. , the marker Mc can certainly include an element (for example, the
[[変形例F]]
第2の実施の形態において、例えば、図36に示したように、サーバ装置130が省略されるとともに、カメラ付き情報処理装置160がサーバ装置130の機能を備えていてもよい。このとき、カメラ付き情報処理装置160は、例えば、図37に示したように、Segmentation学習モデル132、左右眼識別学習モデル133を備えるとともに、複数の画像データ134A、複数の画像データ134Bおよび複数の手術データ134Cをメモリ112に記憶している。[[Modification F]]
In the second embodiment, for example, as shown in FIG. 36, the
(左右眼識別)
図38は、本変形例に係る左右眼識別システム700における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部114を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部114を介して、プログラム112Aの起動を指示する。すると、カメラ付き情報処理装置160(制御部111)は、メモリ112からプログラム112Aを読み出して、制御部111にロードする。プログラム112Aがロードされた制御部111は、左右眼の識別をするための一連の手順を実行する。(Left and right eye identification)
FIG. 38 is a flow chart showing an example of the left/right eye identification procedure in the left/right
具体的には、まず、制御部111は、撮像指示をカメラ120に出力する。カメラ120は、撮像指示に従ってドレープ600の開口内を撮像し、それにより得られた術野画像Iaを制御部111に送信する。 Specifically, first,
制御部111は、受信した術野画像Iaに対して明るさ判定を行う。制御部111は、例えば、術野画像Iaの各ピクセルの明るさの平均値を導出し、導出した平均値が所定の閾値を下回る場合には、術野画像Iaが明るさ不足であることを表示部113に表示する。 The
制御部111は、例えば、導出した平均値が所定の閾値以上の場合には、ピント判定を実施する。制御部111は、例えば、術野画像Iaに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Iaのピントがずれていることを表示部113に表示する。制御部111は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像IaをSegmentation学習モデル132に入力する。 For example, when the derived average value is equal to or greater than a predetermined threshold value, the
Segmentation学習モデル132は、術野画像Iaが入力されると、変換プロセスを実行する。具体的には、Segmentation学習モデル132は、学習結果を利用して、術野画像IaをSegmentation画像Icに変換する(図6参照)。Segmentation学習モデル132は、変換により得られたSegmentation画像Icを制御部131に入力する。制御部111は、入力されたSegmentation画像Icに対して、物体検出を行う。制御部111は、例えば、図8に示したように、Segmentation画像Icから、眼領域Raを含む矩形状の領域(例えば、眼領域Raに接する矩形状の領域)を切り出す。このようにして得られた画像を、Detection画像Idとする。 The
制御部111は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼を含む領域の、術野画像Iaにおける位置情報とする。制御部111は、例えば、得られたDetection画像Idの外縁部分の、術野画像Iaにおける位置情報をマーカMcの位置情報とする。つまり、制御部111は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Iaにおける位置情報を取得する。 The
なお、制御部111は、得られたDetection画像Idの、術野画像Iaにおける位置情報を、識別対象である眼の、術野画像Iaにおける位置情報としてもよい。制御部111は、例えば、得られたDetection画像Idの眼領域Raの外縁部分の、術野画像Iaにおける位置情報を、マーカMcの位置情報としてもよい。この場合、制御部111は、Segmentation画像Icに対して物体検出を行うことにより、識別対象である眼の、術野画像Iaにおける位置情報を取得する。 Note that the
制御部111は、取得した位置情報に基づいてマーカMcを生成した後、生成したマーカMcを含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、マーカMcを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像にマーカMcが重ね合わされた画像を視認する。このとき、マーカMcの位置や大きさは、制御部111から投射部117に入射される映像信号によって規定される。つまり、接眼部252は、マーカMcを、観察光学系によって形成される、術野の像に重ね合わせて表示する。 After generating the marker Mc based on the acquired position information, the
左右眼識別システム100は、上述した撮像指示からマーカMc表示までの一連の手順を定期的に行う。このとき、医療従事者は、接眼部252を介して見える視野(術野)の像を参照しながら、カメラ120の撮像領域を微調整する。制御部111は、例えば、上述した撮像指示からマーカMc表示までの一連の手順を実行するたびに、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出している場合には、制御部111は、例えば、術野画像IaにおいてマーカMcの位置が所定の領域からはみ出していることを意味する情報を含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図27に示した像を重ね合わせた画像を視認する。なお、制御部111は、接眼部252を介して見える視野(術野)にマーカMcを表示する以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域から外れていることを医療従事者に知らせてもよい。 The left/right
一方、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、制御部111は、術野画像IaにおいてマーカMcの位置が所定の領域内にあることを示す情報を含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっていることを意味する情報と、マーカMcとを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図28に示した像を重ね合わせた画像を視認する。なお、カメラ付き情報処理装置160(制御部111)は、接眼部252を介して見える視野(術野)にマーカMcを表示する以外の方法(例えば、音や、パトランプ点灯など)で、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっていることを医療従事者に知らせてもよい。 On the other hand, when the position of the marker Mc is within the predetermined area in the operative field image Ia, the
制御部111は、術野画像IaにおいてマーカMcの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル133に対して、左右眼識別指示を出力する。左右眼識別学習モデル133が左右眼識別指示を受信すると、左右眼識別学習モデル133が識別プロセスを実行する。具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル133は、学習結果を利用して、Detection画像Ibに含まれる眼の種類(左眼、右眼)を識別する。左右眼識別学習モデル133は、識別結果DRを制御部111に入力する。制御部111は、ステータスSTと、識別結果DRと、マーカMcと含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、ステータスSTと、識別結果DRと、マーカMcとを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図29または図30に示した像を重ね合わせた画像を視認する。 The
医療従事者は、接眼部252を介して見える視野(術野)の像内の識別結果DRを見ることで、ドレープ600の開口610内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。 By looking at the identification result DR in the image of the visual field (operative field) seen through the
制御部111は、さらに、例えば、メモリ112に記憶された複数の手術データ134Cの中から、患者400に該当する手術データ134Cを読み出し、読み出したおよび手術データ134Cに含まれる術眼と、識別結果DRとを比較する。制御部111は、ステータスSTと、比較結果CRと、識別結果DRと、マーカMcとを含む映像光を生成するための映像信号を生成し、投射部117に出力する。投射部117は、制御部111からの映像信号に基づいて、ステータスSTと、比較結果CRと、識別結果DRと、マーカMcとを含む映像光を生成し、接眼部252に出射する。その結果、接眼部252に入射された映像光と、術野から観察光学系を導光する光とが、接眼部252において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図31に示した像を重ね合わせた画像を視認する。 Further, the
本変形例では、カメラ付き情報処理装置160が上記第2の実施の形態に係るサーバ装置130の機能を備えている。これにより、カメラ付き情報処理装置160を用意するだけで、左右眼識別を行うことができる。従って、サーバ装置130が不要な分だけ、左右眼識別システム700を設置する手間を削減することができる。 In this modification, an
以上、実施の形態およびその変形例を挙げて本発明を説明したが、本発明は実施の形態等に限定されるものではなく、種々変形が可能である。実施の形態等では、本発明は眼の手術に適用されていたが、識別の困難な対象物を識別する必要のある分野に好適に適用可能である。なお、本明細書中に記載された効果は、あくまで例示である。本発明の効果は、本明細書中に記載された効果に限定されるものではない。本発明が、本明細書中に記載された効果以外の効果を持っていてもよい。 Although the present invention has been described above with reference to the embodiments and modifications thereof, the present invention is not limited to the embodiments and the like, and various modifications are possible. Although the present invention has been applied to eye surgery in the embodiments and the like, it can be suitably applied to fields where it is necessary to identify difficult-to-identify objects. It should be noted that the effects described in this specification are merely examples. The effects of the present invention are not limited to the effects described herein. The present invention may have advantages other than those described herein.
10…眼、11…眼球、12…涙丘、100…左右眼識別システム、110…情報処理装置、110A…表示面、111…制御部、112…メモリ、112A,112B…プログラム、113…表示部、114…入力部、115,116…ネットワークIF、117…投射部、120…カメラ、130…サーバ装置、131…制御部、132…Segmentation学習モデル、133…左右眼識別学習モデル、134…メモリ、134A,134B…画像データ、134C…手術データ、134D…プログラム、135…ネットワークIF、140,150…ネットワーク、160…カメラ付き情報処理装置、200…眼科手術用顕微鏡システム、210…支柱、220…第1アーム、230…第2アーム、240…駆動装置、250…医療従事者用顕微鏡、251…鏡筒部、252…接眼部、260…フットスイッチ、300…手術台、400…患者、500…シーツ、600…ドレープ、610…開口、700…左右眼識別システム、CR…比較結果、DR…識別結果、Ia…術野画像、Ib…Detection画像、Ic…Segmentation画像、Id…Detection画像、Mc…マーカ、Ra…眼領域、Rb…周辺領域、ST…ステータス。 DESCRIPTION OF
Claims (4)
前記取得部で取得された前記位置情報に基づいて生成したマーカを、前記眼領域を囲む ように前記撮像画像に重ね合わせた合成画像を表示する表示部と
を備え、
前記表示部は、前記マーカが前記撮像画像からはみ出している場合には、前記合成画像と して、さらに、前記マーカが前記撮像画像からはみ出していることを意味する情報を含む 画像を表示する
情報処理システム。By detecting the eye region in the segmentation image obtained from the captured image including the eye region including the eyeball and the lacrimal gland , the position information of the region including the eye region in the captured image is acquired and acquired. an acquisition unit that uses the obtained position information as position information of a marker ;
a display unit that displays a composite image in which a marker generated based on the position information acquired by the acquisition unit is superimposed on the captured image so as to surround the eye region ,
When the marker protrudes from the captured image, the display unit further displays an image including information indicating that the marker protrudes from the captured image as the synthesized image.
Information processing system.
前記取得部で取得された前記位置情報に基づいて生成したマーカを、光学系によって形成される、前記眼領域を含む視野の像に、前記眼領域を囲むように重ね合わせる合成部と
を備え、
前記合成部は、前記マーカが前記撮像画像からはみ出している場合には、前記マーカと、 前記マーカが前記撮像画像からはみ出していることを意味する情報と、前記視野の像とを 含む像を生成する
情報処理システム。By detecting the eye region in the segmentation image obtained from the captured image including the eye region including the eyeball and the lacrimal gland , the position information of the region including the eye region in the captured image is acquired and acquired. an acquisition unit that uses the obtained position information as position information of a marker ;
a synthesizing unit that superimposes a marker generated based on the position information acquired by the acquisition unit on an image of a field of view including the eye region formed by an optical system so as to surround the eye region ;
When the marker protrudes from the captured image, the synthesizing unit generates an image including the marker, information indicating that the marker protrudes from the captured image, and an image of the field of view. do
Information processing system.
請求項1または請求項2に記載の情報処理システム。a communication unit that transmits the captured image obtained when the marker is within the captured image to an external device, and receives from the external device an identification result of the eye region included in the captured image; The information processing system according to claim 1 or 2 , further comprising:
請求項1または請求項2に記載の情報処理システム。2. The apparatus according to claim 1 , further comprising an identification unit that identifies whether the eye in the eye region included in the captured image obtained when the marker is within the captured image is a right eye or a left eye. Item 3. The information processing system according to item 2 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019042036A JP7304508B2 (en) | 2019-02-19 | 2019-02-19 | Information processing system and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019042036A JP7304508B2 (en) | 2019-02-19 | 2019-02-19 | Information processing system and information processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020137103A JP2020137103A (en) | 2020-08-31 |
JP7304508B2 true JP7304508B2 (en) | 2023-07-07 |
Family
ID=72263754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019042036A Active JP7304508B2 (en) | 2019-02-19 | 2019-02-19 | Information processing system and information processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7304508B2 (en) |
Citations (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002238860A (en) | 2001-02-22 | 2002-08-27 | Canon Inc | Ophthalmological device and eye image display method |
JP2003298887A (en) | 2002-03-29 | 2003-10-17 | Matsushita Electric Ind Co Ltd | Eye image pickup device |
JP2006136714A (en) | 2004-10-26 | 2006-06-01 | Carl Zeiss Surgical Gmbh | Microscopic inspection system for surgical operation and method to perform surgical operation of eye |
JP2006235921A (en) | 2005-02-24 | 2006-09-07 | Hitachi Ltd | Vehicle number recognition apparatus, and method for adjusting electric lens of vehicle number recognition apparatus |
JP2007532148A (en) | 2004-02-19 | 2007-11-15 | ヴィズイクス・インコーポレーテッド | Method and system for distinguishing left and right eye images |
JP2008178672A (en) | 2006-12-19 | 2008-08-07 | Fujifilm Corp | Method and apparatus for using probabilistic atlas for feature removal/positioning |
JP2008219696A (en) | 2007-03-07 | 2008-09-18 | Casio Comput Co Ltd | Camera apparatus, camera apparatus control program and camera apparatus control method |
JP2008244804A (en) | 2007-03-27 | 2008-10-09 | Fujifilm Corp | Image-taking device and method, and control program |
JP2010122934A (en) | 2008-11-20 | 2010-06-03 | Sony Corp | Image processing apparatus, image processing method, and program |
JP2012152469A (en) | 2011-01-27 | 2012-08-16 | Nidek Co Ltd | Ophthalmic surgical microscope |
JP2013213872A (en) | 2012-03-30 | 2013-10-17 | Sony Corp | Information processing apparatus, information processing method and program |
JP2013254437A (en) | 2012-06-08 | 2013-12-19 | Pfu Ltd | Image processing apparatus, image reading device, image processing method, and image processing program |
JP2014110883A (en) | 2012-10-30 | 2014-06-19 | Canon Inc | Image processor and image processing method |
JP2015195923A (en) | 2014-03-31 | 2015-11-09 | 株式会社ニデック | Ophthalmic laser surgery device |
JP2016013233A (en) | 2014-07-01 | 2016-01-28 | 富士通株式会社 | Output control method, image processing system, output control program, and information processing apparatus |
JP2016126242A (en) | 2015-01-07 | 2016-07-11 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP2014233469A5 (en) | 2013-06-03 | 2016-07-14 | ||
WO2016125366A1 (en) | 2015-02-05 | 2016-08-11 | 株式会社リコー | Image processing device, image processing system, and image processing method |
JP2016202351A (en) | 2015-04-17 | 2016-12-08 | 健司 三木 | Medical support system, medical support method, image processing apparatus, control method and control program thereof |
JP2016214781A (en) | 2015-05-26 | 2016-12-22 | ソニー株式会社 | Surgery system, image processing device, and method |
JP2017099757A (en) | 2015-12-03 | 2017-06-08 | キヤノン株式会社 | Image processing device and image processing method |
JP2017139628A (en) | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | Communication device, communication system, communication method and computer program |
JP6434666B1 (en) | 2018-02-26 | 2018-12-05 | 京セラ株式会社 | Electronic device, control method and program |
JP2019022580A (en) | 2017-07-24 | 2019-02-14 | ソニー株式会社 | Surgery system, information processing method and information processor |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11285471A (en) * | 1999-02-22 | 1999-10-19 | Nikon Corp | Ophthalmologic device |
JP6236882B2 (en) | 2013-06-03 | 2017-11-29 | 株式会社ニデック | Laser therapy device |
-
2019
- 2019-02-19 JP JP2019042036A patent/JP7304508B2/en active Active
Patent Citations (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002238860A (en) | 2001-02-22 | 2002-08-27 | Canon Inc | Ophthalmological device and eye image display method |
JP2003298887A (en) | 2002-03-29 | 2003-10-17 | Matsushita Electric Ind Co Ltd | Eye image pickup device |
JP2007532148A (en) | 2004-02-19 | 2007-11-15 | ヴィズイクス・インコーポレーテッド | Method and system for distinguishing left and right eye images |
JP2006136714A (en) | 2004-10-26 | 2006-06-01 | Carl Zeiss Surgical Gmbh | Microscopic inspection system for surgical operation and method to perform surgical operation of eye |
JP2006235921A (en) | 2005-02-24 | 2006-09-07 | Hitachi Ltd | Vehicle number recognition apparatus, and method for adjusting electric lens of vehicle number recognition apparatus |
JP2008178672A (en) | 2006-12-19 | 2008-08-07 | Fujifilm Corp | Method and apparatus for using probabilistic atlas for feature removal/positioning |
JP2008219696A (en) | 2007-03-07 | 2008-09-18 | Casio Comput Co Ltd | Camera apparatus, camera apparatus control program and camera apparatus control method |
JP2008244804A (en) | 2007-03-27 | 2008-10-09 | Fujifilm Corp | Image-taking device and method, and control program |
JP2010122934A (en) | 2008-11-20 | 2010-06-03 | Sony Corp | Image processing apparatus, image processing method, and program |
JP2012152469A (en) | 2011-01-27 | 2012-08-16 | Nidek Co Ltd | Ophthalmic surgical microscope |
JP2013213872A (en) | 2012-03-30 | 2013-10-17 | Sony Corp | Information processing apparatus, information processing method and program |
JP2013254437A (en) | 2012-06-08 | 2013-12-19 | Pfu Ltd | Image processing apparatus, image reading device, image processing method, and image processing program |
JP2014110883A (en) | 2012-10-30 | 2014-06-19 | Canon Inc | Image processor and image processing method |
JP2014233469A5 (en) | 2013-06-03 | 2016-07-14 | ||
JP2015195923A (en) | 2014-03-31 | 2015-11-09 | 株式会社ニデック | Ophthalmic laser surgery device |
JP2016013233A (en) | 2014-07-01 | 2016-01-28 | 富士通株式会社 | Output control method, image processing system, output control program, and information processing apparatus |
JP2016126242A (en) | 2015-01-07 | 2016-07-11 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
WO2016125366A1 (en) | 2015-02-05 | 2016-08-11 | 株式会社リコー | Image processing device, image processing system, and image processing method |
JP2016202351A (en) | 2015-04-17 | 2016-12-08 | 健司 三木 | Medical support system, medical support method, image processing apparatus, control method and control program thereof |
JP2016214781A (en) | 2015-05-26 | 2016-12-22 | ソニー株式会社 | Surgery system, image processing device, and method |
JP2017099757A (en) | 2015-12-03 | 2017-06-08 | キヤノン株式会社 | Image processing device and image processing method |
JP2017139628A (en) | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | Communication device, communication system, communication method and computer program |
JP2019022580A (en) | 2017-07-24 | 2019-02-14 | ソニー株式会社 | Surgery system, information processing method and information processor |
JP6434666B1 (en) | 2018-02-26 | 2018-12-05 | 京セラ株式会社 | Electronic device, control method and program |
Also Published As
Publication number | Publication date |
---|---|
JP2020137103A (en) | 2020-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4861540B2 (en) | Medical equipment | |
JP6693507B2 (en) | Information processing apparatus, information processing method, and information processing system | |
JP6574939B2 (en) | Display control device, display control method, display control system, and head-mounted display | |
US20180263710A1 (en) | Medical imaging apparatus and surgical navigation system | |
EP3449859B1 (en) | Control device, control method and surgical system | |
JP6950707B2 (en) | Information processing equipment and methods, and programs | |
US11653826B2 (en) | Medical observation system, control method, and program in which illumination light is controlled in accordance with a usage state of an image sensor | |
JP7363767B2 (en) | Image processing device, image processing method, and program | |
JPWO2018168261A1 (en) | CONTROL DEVICE, CONTROL METHOD, AND PROGRAM | |
JPWO2018221068A1 (en) | Information processing apparatus, information processing method, and information processing program | |
JP6723843B2 (en) | Ophthalmic equipment | |
JP7304508B2 (en) | Information processing system and information processing program | |
US20190281233A1 (en) | Image processing device, setting method, and program | |
JP6892540B2 (en) | Ophthalmic equipment | |
US20210152747A1 (en) | Control device, external device, medical observation system, control method, display method, and program | |
CN104679226B (en) | Contactless medical control system, method and Medical Devices | |
JPWO2018142993A1 (en) | Light emission control device, light emission control method, program, light emission device, and imaging device | |
JP6895277B2 (en) | Ophthalmic observation device and its operation method | |
JP7042029B2 (en) | Ophthalmic observation device and its operation method | |
US20220190524A1 (en) | Cable and notification method | |
JP7160042B2 (en) | Image processing device, image processing method and image processing program | |
WO2020009127A1 (en) | Medical observation system, medical observation device, and medical observation device driving method | |
JP6895278B2 (en) | Ophthalmic observation device and its operation method | |
WO2020084999A1 (en) | Image processing device, image processing method, and program | |
JP6617766B2 (en) | Medical observation system, display control system, and display control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220426 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220725 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220907 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221230 |
|
A917 | Reason for reinstatement of right to file examination request |
Free format text: JAPANESE INTERMEDIATE CODE: A917 Effective date: 20230508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7304508 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |