JPWO2022049069A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2022049069A5 JPWO2022049069A5 JP2023514840A JP2023514840A JPWO2022049069A5 JP WO2022049069 A5 JPWO2022049069 A5 JP WO2022049069A5 JP 2023514840 A JP2023514840 A JP 2023514840A JP 2023514840 A JP2023514840 A JP 2023514840A JP WO2022049069 A5 JPWO2022049069 A5 JP WO2022049069A5
- Authority
- JP
- Japan
- Prior art keywords
- reference plane
- plane
- microscope
- point
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000386 microscopy Methods 0.000 claims description 88
- 230000003287 optical effect Effects 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 46
- 230000008859 change Effects 0.000 claims description 33
- 239000003550 marker Substances 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 28
- 210000003484 anatomy Anatomy 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000001356 surgical procedure Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 5
- 238000012876 topography Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Description
本発明は、顕微鏡法システムの動作方法及び顕微鏡法システムに関する。 The present invention relates to a method of operating a microscopy system and a microscopy system.
顕微鏡は多くの場合、検査対象の拡大図を提供するために使用される。医療用途では、いわゆる外科用顕微鏡が、特に外科処置を支援するために使用される。顕微鏡は、処置中、よりよい視覚配向(visual orientation)を外科医に与えるために、特に体の領域の拡大図を提供するように機能する。これらの外科用顕微鏡は一般に、特にスタンド上に移動可能に搭載される。特に、これにより、ユーザは顕微鏡の姿勢、即ち位置及び/又は向きを変更して、検査領域への視角を変更することができ、又は他の検査領域を見ることができる。 Microscopes are often used to provide a magnified view of the object being examined. In medical applications, so-called surgical microscopes are used in particular to support surgical procedures. The microscope functions specifically to provide a magnified view of an area of the body to give the surgeon better visual orientation during the procedure. These surgical microscopes are generally movably mounted, especially on a stand. In particular, this allows the user to change the pose, ie the position and/or orientation of the microscope, to change the viewing angle to the examination area or to view other examination areas.
そのような顕微鏡法システムを使用する場合、定期的なリポジショニングが必要とされることがある。この場合、解剖学的部位の所望のビューを得るためには、自由度7までの調整、具体的には並進自由度3、回転自由度3、及び可変作業距離の調整が必要である。 Periodic repositioning may be required when using such microscopy systems. In this case, adjustment of up to 7 degrees of freedom, specifically 3 translational degrees of freedom, 3 rotational degrees of freedom, and a variable working distance is required to obtain the desired view of the anatomical region .
従来技術では、異なる視点から特定の作業点を観察する用途に幾つかの解決策がある。例えば、欧州特許出願第1537830A1号明細書には、顕微鏡を使用して異なる視線方向から物体を観察する方法及び装置が記載されている。ここでは、物体の標的領域の第1の画像が作成、保存され、顕微鏡は定義された角度だけ枢動し、第2の画像が作成、保存され、次いで物体の同一部分が両画像においてマーキングされる。さらに、物体のその部分の座標が三角測量により計算され、顕微鏡の制御は、この点の回りの枢動が実行可能であるように構成される。 In the prior art, there are several solutions for the application of observing a particular work point from different viewpoints. For example, European Patent Application No. 1537830A1 describes a method and a device for observing objects from different viewing directions using a microscope. Here, a first image of the target area of the object is created and stored, the microscope is pivoted by a defined angle, a second image is created and stored, and then the same part of the object is marked in both images. Ru. Furthermore, the coordinates of that part of the object are calculated by triangulation and the control of the microscope is arranged in such a way that pivoting around this point is possible.
米国特許出願第2006/0274444A1号明細書も知られており、これには、少なくとも1枚のレンズ及びこのレンズの光軸を有する顕微鏡光学系を備えた顕微鏡法システムが開示されており、光軸は焦点領域において対物面と交わり、制御デバイスが、顕微鏡法システムの動作中、交点の位置を一定に保とうとする。この文献には、顕微鏡法システムの動作中、焦点領域外の点を一定に保つこともできることが更に開示されている。この文献の教示によれば、対物面は焦点領域に配置されるため、対物面の姿勢は焦点位置に依存する。 Also known is US Patent Application No. 2006/0274444A1, which discloses a microscopy system comprising a microscope optics having at least one lens and an optical axis of this lens, the optical axis being intersects the object plane in the focal region, and a control device attempts to keep the position of the point of intersection constant during operation of the microscopy system. This document further discloses that points outside the focal region can also be kept constant during operation of the microscopy system. According to the teaching of this document, the objective plane is placed in the focal region, so that the attitude of the objective plane depends on the focal position.
いわゆるポイントロック機能も既知である。ここでは、顕微鏡法システムは焦点の回りを移動する。これに関連して、様々な変形がある。第1の変形では、顕微鏡法システム又は顕微鏡法システムの顕微鏡は、例えばジョイスティックを使用することにより球面に沿って位置制御されて移動し、顕微鏡の向きも同時に、光軸が随時、焦点と交わるように調整される。第2の変形では、ユーザは、光軸が焦点と交わるように向き及び焦点が自動的に更新される状態で、顕微鏡を動かす。 So-called point lock functions are also known. Here, the microscopy system moves around the focal point. There are various variants in this connection. In a first variant, the microscopy system or the microscope of the microscopy system is moved in a position-controlled manner along a spherical surface, for example by using a joystick, and the orientation of the microscope is simultaneously such that the optical axis intersects the focal point at any time. is adjusted to In a second variant, the user moves the microscope with the orientation and focus automatically updated such that the optical axis intersects the focal point.
ポイントロック機能がアクティブ化されると、ユーザは焦点を手動で変更することができるが、枢動点を変えることはできず、アクティブ化中、枢動的は特に、焦点位置によって定義される場所に静止したままである。 Once the point lock feature is activated, the user can manually change the focus, but not the pivot point, and during activation, the pivot point is specifically defined by the focus position. remains stationary.
特定の用途では、焦点により定義される点の回りの顕微鏡法システム又は顕微鏡の回転移動を実行せず、即ち、そのような点の回りを枢動せず、代わりに、焦点位置外の点の回りの回転移動を実行することが望ましい。例として、いわゆる鍵穴手術状況では、洞穴の基底面上の点の回りを枢動しないことが望ましいことがあり、その理由は、この場合、比較的小さな回転移動はただでさえ、顕微鏡を通したビューを、鍵穴に隣接する構造によって遮ることに繋がる恐れがあるためである。 In certain applications, one does not perform rotational movement of the microscopy system or microscope around the point defined by the focus, i.e., do not pivot around such a point, but instead move the microscopy system or microscope around the point defined by the focus. It is desirable to perform a rotational movement around. As an example, in so-called keyhole surgery situations, it may be desirable not to pivot around a point on the basal surface of the sinus, since in this case a relatively small rotational movement is simply This is because the view may be blocked by the structure adjacent to the keyhole.
焦点面外の枢動点を設定するための現行の操作状況は時間がかかり、特に、多数のステップが必要とされる。例として、まず、鍵穴レベルの縁部における領域に焦点を合わせ、続けて所望の摺動点に焦点を合わせることにより、焦点面外にそのような枢動点を定義することが知られている。顕微鏡は続けて、所望の姿勢、即ち、所望の位置及び所望の向きに、特に光軸が鍵穴によって囲まれるエリアを通るように位置決めされ、次いで上述したポイントロックモードがアクティブ化される。しかしながら、解剖学的部位を見るためには、顕微鏡の焦点はなお調整可能でなければならない。 Current operating conditions for setting pivot points outside the focal plane are time consuming and, in particular, require a large number of steps. As an example, it is known to define such a pivot point out of the focal plane by first focusing on an area at the edge of the keyhole level and subsequently on the desired sliding point. . The microscope is then positioned in the desired attitude, ie in the desired position and in the desired orientation, in particular so that the optical axis passes through the area enclosed by the keyhole, and then the point lock mode described above is activated. However, in order to view anatomical sites , the focus of the microscope must still be adjustable.
この方法の欠点には、複数のステップを協働して連続して実行する必要があり、全く直観的ではない動作を必要とすることがある。さらに、設定された枢動点を失わないように、ポイントロックモードをアクティブなままにする必要がある。ポイントロックモードで再位置決めが割り込む都度、枢動点が変わらない場合であっても、枢動点を再調整する必要がある。枢動点を調整するために、ポイントロックモードがアクティブ化される前に、まず、焦点を鍵穴の縁部に設定する必要が更にあり、次いで顕微鏡を所望の姿勢に位置決めする必要がある。これには追加の時間が必要とされるのみならず、再位置決め中、危機的状況で特に重要な解剖学的部位のビューも中断する。そのような方法では、ハンズフリー操作と呼ぶこともでき、例えばフットスイッチの作動によって実施される非接触制御は、可能ではないか、又は困難を伴ってのみ可能である。 A disadvantage of this method is that it requires multiple steps to be performed in concert and sequentially, which may require operations that are not quite intuitive. Furthermore, the point lock mode must remain active in order not to lose the set pivot point. Each time a reposition is interrupted in point lock mode, the pivot point must be readjusted, even if the pivot point does not change. To adjust the pivot point, it is further necessary to first set the focus to the edge of the keyhole and then position the microscope in the desired attitude before the point lock mode is activated. This not only requires additional time, but also interrupts the view of anatomical regions that are particularly important in critical situations during repositioning. In such a method, contactless control, which can also be referred to as hands-free operation, for example carried out by actuation of a footswitch, is not possible or only possible with difficulty.
従来技術は、特開2003-310638A号公報にも開示されており、これには、手術観察機器、特に手術中に使用される手術観測手段の支持アーム機構の制御が開示されている。 The prior art is also disclosed in Japanese Unexamined Patent Publication No. 2003-310638A, which discloses control of a support arm mechanism of a surgical observation device, particularly a surgical observation means used during surgery.
欧州特許出願公開第1333306A2号明細書には、少なくとも1人のユーザによリ観察するために、物体の少なくとも一対の表現を生成する立体顕微鏡法及び立体顕微鏡法システムが開示されている。 EP 1 333 306 A2 discloses stereo microscopy and a stereo microscopy system for generating at least a pair of representations of an object for viewing by at least one user.
国際公開第2018/088203A1号パンフレットには、医療支持装置が開示されている。 International Publication No. 2018/088203A1 pamphlet discloses a medical support device.
米国特許出願公開第2004/236352A1号明細書には、最小侵襲性心臓インターベンションを実行するシステム及び方法が開示されている。 US Patent Application Publication No. 2004/236352 A1 discloses systems and methods for performing minimally invasive cardiac interventions.
独国特許出願公表第112017005655T5号明細書には、医療用支持アーム及び医療システムが開示されている。 DE 112017005655 T5 discloses a medical support arm and a medical system.
したがって、顕微鏡法システムの動作を簡易化する顕微鏡法システムの動作方法及び顕微鏡法システムを開発する技術的問題が生じる。 Therefore, a technical problem arises to develop a method of operating a microscopy system and a microscopy system that simplifies the operation of the microscopy system.
技術的問題への解決策は、独立請求項の特徴を有する主題によって提供される。本発明の更なる有利な構成は、従属請求項から明らかである。 The solution to the technical problem is provided by the subject matter having the features of the independent claims. Further advantageous developments of the invention are apparent from the dependent claims.
顕微鏡法システムの動作方法が提案される。 A method of operating a microscopy system is proposed.
顕微鏡法システムは、顕微鏡を備える。本発明の範囲内で、顕微鏡とは、検査対象の視覚表現を拡大するデバイスを示す。顕微鏡は、光学効果を利用することにより、特にビーム誘導及び/又はビーム整形及び/又はビーム偏向を行う手段、例えばレンズによって拡大画像表現を生成する従来の光学顕微鏡であることができる。しかしながら、顕微鏡は、画像捕捉デバイスにより、顕微鏡により視覚化すべき画像を生成することができ、適切な表示デバイス、例えば表示ユニットに表示することができるデジタル顕微鏡であってもよい。 The microscopy system includes a microscope. Within the scope of the invention, a microscope refers to a device that magnifies the visual representation of an object to be examined. The microscope can be a conventional optical microscope which produces a magnified image representation by means of optical effects, in particular beam steering and/or beam shaping and/or beam deflection means, such as lenses. However, the microscope may also be a digital microscope, by which images to be visualized by the microscope can be generated by means of an image capture device and can be displayed on a suitable display device, for example a display unit.
顕微鏡は特に、少なくとも1つの接眼レンズを備えることができる。接眼レンズとは、顕微鏡により生成された画像表現を見るために、ユーザがのぞき込むか、又はのぞく顕微鏡の部品を指す。 The microscope can in particular be equipped with at least one eyepiece. Eyepiece refers to the part of a microscope through which a user looks or looks into in order to view the image representation produced by the microscope.
さらに、顕微鏡は少なくとも1つの対物レンズを備えることができる。この対物レンズは、検査対象の光学実像表現を生成することができる。ここでは、対物レンズは、ビーム誘導及び/又はビーム整形及び/又はビーム偏向を行う光学要素を含み得る。 Furthermore, the microscope can be equipped with at least one objective lens. This objective lens is capable of producing an optical real image representation of the object under examination. Here, the objective lens may include optical elements for beam guiding and/or beam shaping and/or beam deflection.
顕微鏡は光軸を有し得る。これは、対物レンズの光軸であることができる。顕微鏡が立体カメラ系を含む場合、立体カメラ系の2つの画像捕捉デバイスの光軸は、焦点で交わる。この場合、顕微鏡の光軸は、これもまた焦点を通って延びる、2つの画像捕捉デバイスの光軸間の二等分線に対応することができる。 A microscope may have an optical axis. This can be the optical axis of the objective lens. If the microscope includes a stereoscopic camera system, the optical axes of the two image capture devices of the stereoscopic camera system intersect at the focal point. In this case, the optical axis of the microscope may correspond to the bisector between the optical axes of the two image capture devices, which also extends through the focal point.
さらに、顕微鏡は顕微鏡本体を備えることができる。顕微鏡本体はこの場合、ビーム誘導及び/又はビーム整形及び/又はビーム偏向を行う更なる光学要素を備え得る。対物レンズが着脱可能に、即ち交換可能に、顕微鏡本体に締着されることが可能である。しかしながら、対物レンズが顕微鏡本体上又は顕微鏡本体内にしっかりと一体化されることも可能である。対物レンズはこの場合、顕微鏡本体に対して一定の位置に配置することができる。 Additionally, the microscope can include a microscope body. The microscope body can in this case be equipped with further optical elements for beam guidance and/or beam shaping and/or beam deflection. It is possible for the objective lens to be removably, ie replaceably, fastened to the microscope body. However, it is also possible for the objective lens to be tightly integrated on or within the microscope body. The objective lens can in this case be arranged in a fixed position relative to the microscope body.
さらに、顕微鏡法システムは、顕微鏡を保持するためのスタンドを備え得る。したがって、顕微鏡、特に顕微鏡本体は、スタンドに機械的に締着することができる。顕微鏡がスタンドの自由端部に特に移動可能なように、例えば枢動可能なように締着されることが可能である。この場合、スタンドは、空間での顕微鏡の、特に少なくとも自由度1、好ましくは自由度6での移動を可能にするように実施される。当然ながら、空間での顕微鏡の限られた数の自由度、即ち特に6未満の自由度での移動を可能にするようにスタンドを実施することも可能である。 Additionally, the microscopy system may include a stand for holding the microscope. The microscope, in particular the microscope body, can thus be mechanically fastened to the stand. It is possible for the microscope to be fastened in particular movably, for example pivotably, to the free end of the stand. In this case, the stand is implemented in such a way as to allow movement of the microscope in space, in particular in at least one degree of freedom, preferably six degrees of freedom. Of course, it is also possible to implement the stand in such a way as to allow movement of the microscope in space in a limited number of degrees of freedom, ie in particular less than 6 degrees of freedom.
この場合、自由度は、並進自由度又は回転自由度であることができる。特に、3つの異なる並進自由度及び3つの異なる回転自由度を有する移動をスタンドにより可能にすることができる。 In this case, the degrees of freedom can be translational or rotational degrees of freedom. In particular, the stand may allow movements with three different translational degrees of freedom and three different rotational degrees of freedom.
この場合、自由度は大域基準座標系に関連し得る。この基準座標系の垂直軸(z軸)は、重力及び重力の逆に平行して向けることができる。基準座標系の長手方向軸(x軸)及び基準座標系の横断軸(y軸)はこの場合、垂直軸に直交して向けられる平面に広がり得る。さらに、長手方向軸及び横断軸は互いにも直交して向けることができる。したがって、基準座標系はデカルト座標系であり得る。 In this case, the degrees of freedom may be related to a global reference frame. The vertical axis (z-axis) of this reference frame can be oriented parallel to gravity and the inverse of gravity. The longitudinal axis (x-axis) of the reference coordinate system and the transverse axis (y-axis) of the reference coordinate system may in this case extend in a plane oriented orthogonally to the vertical axis. Furthermore, the longitudinal axis and the transverse axis can also be oriented orthogonally to each other. Therefore, the reference coordinate system may be a Cartesian coordinate system.
さらに、スタンドは、顕微鏡を移動させる少なくとも1つの駆動デバイスを備え得る。スタンドは好ましくは複数の駆動デバイスを備える。駆動デバイスは、この場合、駆動力又は駆動モーメントを生み出すデバイスを指す。そのような駆動デバイスは、例えばサーバモータであることができる。当然ながら、スタンドは、力/モーメントを伝達する手段、例えば歯車ユニットを備えることもできる。特に、顕微鏡が所望の移動、ひいては所望の姿勢変更を空間において実行し、又は空間において所望の姿勢をとるように、少なくとも1つの駆動デバイスを制御することが可能である。この場合、姿勢とは位置及び/又は向きを指す。この場合、移動速度が所定の最大速度に制限されることが可能である。 Furthermore, the stand may include at least one drive device for moving the microscope. The stand preferably comprises a plurality of drive devices. A drive device in this case refers to a device that produces a driving force or moment. Such a drive device can be, for example, a server motor. Naturally, the stand can also be equipped with force/moment transmitting means, for example a gear unit. In particular, it is possible to control at least one drive device such that the microscope performs a desired movement and thus a desired change of position in space or assumes a desired position in space. In this case, posture refers to position and/or orientation. In this case, the movement speed can be limited to a predetermined maximum speed.
例えば、少なくとも1つの駆動デバイスは、対物レンズの光軸が所望の向きをとるように制御することができる。さらに、少なくとも1つの駆動デバイスは、顕微鏡の基準点、例えば焦点が空間中の所望の位置に位置決めされるように制御することができる。 For example, the at least one drive device can control the optical axis of the objective lens to assume a desired orientation. Furthermore, the at least one drive device can be controlled such that a reference point of the microscope, for example a focal point, is positioned at a desired position in space.
この場合、標的姿勢は、ユーザ又は別の上位システムにより指定することができる。ここでは、標的姿勢及びスタンドの運動学的構造に基づいて少なくとも1つの駆動デバイスを制御する方法は、当業者に既知である。ユーザはこの場合、顕微鏡を操作する人、特に物体の拡大ビューを得るために接眼レンズをのぞく/のぞき込む人を指すことができる。顕微鏡は、外科用顕微鏡として知られているものであることが可能である。この場合、ユーザは特に外科医であることができる。 In this case, the target pose can be specified by the user or another higher-level system. Here, methods for controlling at least one drive device based on the target pose and the kinematics of the stand are known to those skilled in the art. User in this case may refer to the person operating the microscope, in particular the person looking into/looking into the eyepiece to obtain a magnified view of the object. The microscope can be what is known as a surgical microscope. In this case, the user may in particular be a surgeon.
さらに、枢動点が定義され、顕微鏡法システム、特に顕微鏡法システムの少なくとも1つの駆動デバイス及び/又は少なくとも1つの制動デバイスは、上述した顕微鏡法システムの顕微鏡が、必須ではないが特に一定の距離にある定義された枢動点の回りを移動するように動作する。この枢動点は、ピボットと呼ぶこともできる。特に、顕微鏡法システムは、顕微鏡が、例えば手動作動によって生じた移動中、定義された枢動点の回りを移動するように動作することができる。これは例えば、例えば動作によって実施されるか、又は動作によって生じる力制御の移動制御の形態の適切な移動制御によって達成することができる。しかしながら、顕微鏡法システムは、上述した駆動デバイスが、生じる顕微鏡の移動が例えば位置制御によってそれに従って実施されるような開ループ又は閉ループ制御を受けるように動作することもできる。 Furthermore, a pivot point is defined and the microscopy system, in particular the at least one drive device and/or the at least one braking device of the microscopy system, allows the microscope of the microscopy system mentioned above to move at a certain distance, especially if not necessarily. moves around a defined pivot point located at This pivot point can also be called a pivot. In particular, the microscopy system can be operated such that the microscope moves around a defined pivot point during movements caused, for example, by manual actuation. This can be achieved, for example, by a suitable movement control, for example in the form of a force-controlled movement control, which is implemented by a movement or caused by a movement. However, the microscopy system can also be operated such that the drive device described above is subject to open-loop or closed-loop control, such that the resulting movement of the microscope is implemented accordingly, for example by position control.
この場合、制動デバイスは、少なくとも1つの軸の回り/に沿った顕微鏡の移動が制動されるように実施且つ/又は配置することができる。制動デバイスにより、複数の軸ではあるが、全ての軸ではない軸の回り/に沿った移動を制動することもできる。更なる代替では、全ての軸の回り/に沿った移動を制動デバイスにより制動することができる。 In this case, the braking device can be implemented and/or arranged such that movement of the microscope around/along at least one axis is damped. The braking device may also brake movement about/along multiple, but not all, axes. In a further alternative, movement around/along all axes can be braked by a braking device.
枢動点は、顕微鏡の光軸と基準面との交点として決定される。このために、より詳細に後述するように、光軸の姿勢を決定することができる。 The pivot point is determined as the intersection of the optical axis of the microscope and the reference plane. For this purpose, the attitude of the optical axis can be determined, as will be described in more detail below.
本発明によれば、基準面の姿勢は、基準座標系において焦点位置から独立して定義される。換言すれば、基準面の姿勢は、焦点位置独立の基準座標系において定義される。このために、姿勢はそれに従って、特に事前に定義することができる。さらに、枢動点は、光軸と、基準座標系におけるそうして定義された基準面との交点として決定される。姿勢が焦点位置から独立して定義されるということは、焦点が例えば大域基準座標系において変わった場合、基準面の姿勢が変わらないことを意味する。これの代替として、しかし好ましくはこれに加えて、基準面の姿勢は、基準座標系において対物面から独立して定義することができる。換言すれば、基準面の姿勢は、対物面から独立した基準座標系において定義することができる。姿勢が対物面から独立して定義されるということは、対物面、特にその姿勢が、例えば大域基準座標系において変わった場合、基準面の姿勢が変わらないことを意味する。基準面は、特に平面、即ち非曲面であることができる。しかしながら、基準面が平面ではなく、例えば曲面であることも考えられる。 According to the invention, the attitude of the reference plane is defined independently from the focal point position in the reference coordinate system. In other words, the attitude of the reference plane is defined in a reference coordinate system independent of the focus position. For this purpose, the pose can be defined accordingly, especially in advance. Furthermore, the pivot point is determined as the intersection of the optical axis and the reference plane so defined in the reference coordinate system. That the pose is defined independently of the focus position means that if the focus changes, for example in the global reference frame, the pose of the reference plane does not change. Alternatively, but preferably in addition, the pose of the reference plane can be defined independently of the object plane in the reference coordinate system. In other words, the attitude of the reference plane can be defined in a reference coordinate system independent of the object plane. That the pose is defined independently of the object plane means that if the objective plane, and in particular its pose, changes, for example in the global reference frame, the pose of the reference plane does not change. The reference surface can in particular be a plane, ie a non-curved surface. However, it is also conceivable that the reference surface is not a flat surface, but a curved surface, for example.
したがって、基準面の姿勢は、焦点位置から独立し且つ対物面から独立した基準座標系において定義することができる。焦点位置独立の基準座標系における定義は同様に、対物面から独立した基準座標系における定義であることが可能である。 Therefore, the attitude of the reference plane can be defined in a reference coordinate system that is independent of the focal position and independent of the object plane. A definition in a reference coordinate system that is independent of the focus position can likewise be a definition in a reference coordinate system that is independent of the object plane.
基準面の姿勢は、特に焦点位置から独立し且つ/又は対物面から独立した基準座標系への代替又は追加として、鮮鋭面(sharpness plane)独立の基準座標系において定義することも可能である。姿勢が鮮鋭面から独立して定義されるということは、鮮鋭面、特にその姿勢が、例えば大域基準座標系において変わる場合、基準面の姿勢が変わらないことを意味する。鮮鋭面は、物体空間における平面を示し得、上記平面における物体は所望の鮮鋭度で撮像される。上記平面は、被写界深度範囲の中心において鮮鋭面と交わる顕微鏡の光軸に直交して向けられ得る。被写界深度範囲は、現在設定されている焦点距離、現在設定されている距離、及び現在設定されているアパーチャに既知のように依存し得る。顕微鏡の作業距離とは、鮮鋭面と、顕微鏡の対物レンズ又は対物レンズ系により定義することができる顕微鏡の光軸に沿った顕微鏡の対物レンズ系の最後の要素との間の距離を示し得る。作業距離は、最大合焦における対物レンズ、特に最後の要素と物体との間の距離であることもできる。 The pose of the reference plane can also be defined in a sharpness plane independent reference coordinate system, in particular as an alternative to or in addition to a reference coordinate system independent of the focus position and/or independent of the object plane. That the pose is defined independently of the sharp surface means that if the sharp surface, and in particular its pose, changes, for example in the global reference coordinate system, the pose of the reference plane does not change. A sharp plane may refer to a plane in object space in which objects are imaged with a desired degree of sharpness. The plane may be oriented perpendicular to the optical axis of the microscope, which intersects the sharp plane at the center of the depth of field range. The depth of field range may depend on the currently set focal length, currently set distance, and currently set aperture in a known manner. The working distance of a microscope may refer to the distance between the sharp surface and the last element of the microscope objective along the optical axis of the microscope, which can be defined by the microscope objective or objective system. The working distance can also be the distance between the objective lens, in particular the last element, and the object at maximum focus.
鮮鋭面の姿勢を定義するために、作業距離は、例えばユーザにより又はオートフォーカス機能を実行することにより調整することができる。作業距離が変わる場合、鮮鋭面の姿勢も変わる。したがって、焦点、特にその姿勢の変化は、鮮鋭面の姿勢も変化させ得る。対物面は鮮鋭面に対応し得る。 To define the pose of the sharp surface, the working distance can be adjusted, for example, by the user or by performing an autofocus function. When the working distance changes, the posture of the sharp surface also changes. Therefore, a change in focus, and in particular its pose, can also change the pose of the sharp surface. The object plane may correspond to a sharp plane.
上記基準座標系における基準面の姿勢は、この場合、予め決定し得、姿勢についての情報及び任意選択的に更なる基準面固有の性質、例えばその形状は、メモリデバイスに検索可能に記憶することが可能である。したがって、この場合、枢動点の決定前、特に枢動点の最初の決定前に一度、基準座標系における基準面の姿勢及び任意選択的には更なる性質を決定する必要があり、次いでこの情報は、枢動点が(再)決定される場合、それに従って検索され評価される。この決定の種々の実施形態についてより詳細に後述する。 The pose of the reference surface in said reference coordinate system may in this case be predetermined, and information about the pose and optionally further reference surface-specific properties, such as its shape, may be stored retrievably in a memory device. is possible. Therefore, in this case, it is necessary to determine the pose and optionally further properties of the reference surface in the reference coordinate system once before the determination of the pivot point, in particular before the first determination of the pivot point, and then to determine this Information is retrieved and evaluated accordingly if the pivot point is (re)determined. Various embodiments of this determination are discussed in more detail below.
基準座標系は、患者固定座標系又は身体部位固定座標系、例えば骨若しくは頭蓋固定座標系であることができる。座標系は、上述した大域基準座標系であることもできる。更なる代替として、基準座標系は、顕微鏡法システム又は顕微鏡固定座標系であることができる。例として、基準座標系は、顕微鏡法システムのスタンドの基部に対して静止して配置された座標系であることができる。スタンドの可動部品は、この基部に締着することができる。意図されるように使用される場合、基部は床面上に静止して配置することができる。これは、顕微鏡法システムを運ぶために、床面に沿って、例えばローラ上で移動可能なことから基部を排除するものではない。 The reference coordinate system can be a patient fixed coordinate system or a body part fixed coordinate system, for example a bone or cranial fixed coordinate system. The coordinate system can also be the global reference coordinate system mentioned above. As a further alternative, the reference coordinate system can be a microscopy system or a microscope fixed coordinate system. By way of example, the reference coordinate system can be a coordinate system that is stationary relative to the base of the stand of the microscopy system. The movable parts of the stand can be fastened to this base. When used as intended, the base can be placed stationary on a floor surface. This does not preclude the base from being movable along the floor, for example on rollers, to carry the microscopy system.
したがって、枢動点は、顕微鏡の焦点位置が変わった場合、特に摺動点の定義後、摺動点が変わらないように決定される。換言すれば、定義された枢動点の姿勢は、摺動点が定義された後に顕微鏡の焦点位置が変わった場合、変わらない。摺動点が定義された後に顕微鏡の対物面及び/又は鮮鋭面の姿勢が変わった場合、定義された摺動点の姿勢が変わらないことも可能である。 The pivot point is therefore determined in such a way that the sliding point does not change, especially after the definition of the sliding point, if the focus position of the microscope changes. In other words, the attitude of the defined pivot point does not change if the focus position of the microscope changes after the sliding point is defined. If the orientation of the objective plane and/or sharp surface of the microscope changes after the sliding point has been defined, it is also possible that the orientation of the defined sliding point does not change.
特に、基準面は、焦点面に対応しないように、又は完全には顕微鏡の焦点面に配置されないように決定することができる。しかしながら、基準面の一部が焦点面に配置され、又は焦点面と交わることが考えられる。さらに、基準面は、対物面及び/又は鮮鋭面に対応しないように、又は完全にはこの平面/これらの平面に配置されないように決定することができる。しかしながら、基準面の一部がこの平面/これらの平面に配置され、又は交わることが考えられる。 In particular, the reference plane can be determined such that it does not correspond to the focal plane or is not located completely in the focal plane of the microscope. However, it is conceivable that part of the reference plane is located at or intersects the focal plane. Furthermore, the reference plane can be determined such that it does not correspond to the object plane and/or the sharp plane or is not entirely located in this/these planes. However, it is conceivable that a part of the reference plane is located in or intersects this/these planes.
この場合、焦点面とは、焦点が配置され、且つ光軸に直交して延びる平面を示す。したがって、提案される方法を使用して、焦点ではなく、代わりに焦点面外の枢動点を枢動点として定義することが可能である。 In this case, the focal plane refers to the plane in which the focal point is located and which extends orthogonally to the optical axis. Therefore, using the proposed method, it is possible to define not the focal point, but instead a pivot point outside the focal plane as the pivot point.
焦点から独立して枢動点を定義することも可能である。これは、焦点が変わるとき、枢動点が変わらないように定義されることを意味することができる。 It is also possible to define the pivot point independently of the focus. This can mean that when the focus changes, the pivot point is defined so as not to change.
この場合、基準面はデータに基づいて決定することができる。これは、基準面が、術前又は術中に生成されるデータに基づいて決定されることを意味することができる。術中に生成されたデータは、特に解剖学的部位のトポグラフィ情報を符号化するデータであることができる。術中に生成されるデータは、姿勢検出デバイスにより生成され、姿勢マーキング器具又はマーカの空間姿勢を符号化するデータであることもできる。これについてより詳細に後述する。データは、顕微鏡の操作パラメータを符号化することもできる。 In this case, the reference plane can be determined based on the data. This may mean that the reference plane is determined based on data generated preoperatively or intraoperatively. The data generated intraoperatively can be data encoding topographical information of an anatomical site , in particular. The intraoperatively generated data can also be data generated by a pose sensing device and encoding the spatial pose of a pose marking instrument or marker. This will be described in more detail later. The data may also encode operational parameters of the microscope.
基準面は、ユーザ入力からのデータに基づいて決定することもできる。枢動点を光軸と基準面との交点として定義することは、有利なことに、枢動点の単純で正確且つ信頼性の高い定義に繋がる。さらに、有利なことに、焦点面外の枢動点の単純で正確且つ信頼性の高い定義を保証することを達成することができる。そしてこれは、有利なことに、特に上述した鍵穴手術状況において、顕微鏡法システムの動作を改善し、枢動点は、例えばより詳細に後述するように、解剖学的部位の開口部によって囲まれるエリアにおける点として定義可能である。従来の方法と比較して、これは、特にそのような手術状況で、顕微鏡法システムの単純、ひいては時間が掛からない動作をもたらす。 The reference plane can also be determined based on data from user input. Defining the pivot point as the intersection of the optical axis and the reference plane advantageously leads to a simple, accurate and reliable definition of the pivot point. Furthermore, it can advantageously be achieved to ensure a simple, accurate and reliable definition of pivot points outside the focal plane. This, in turn, advantageously improves the operation of the microscopy system, especially in the above-mentioned keyhole surgery situation, where the pivot point is surrounded by an opening in the anatomical site , for example as will be described in more detail below. Can be defined as a point in an area. Compared to conventional methods, this results in a simple and therefore less time-consuming operation of the microscopy system, especially in such surgical situations.
有利なことに、枢動点を決定する基準面は、1度だけ定義するだけでよく、次いで検索可能な形態で記憶することができる。本発明によれば、基準面について記憶された情報は次いで、後に検索され、新しい枢動点は、現在の姿勢での光軸と記憶された基準面との交点として決定される。次いで、顕微鏡法システムの少なくとも1つの駆動デバイス及び/又は少なくとも1つの制動デバイスは、顕微鏡法システムの上記顕微鏡が、新たに定義された枢動点の回りを移動するように動作することができる。これにより、基準面の新たな決定及び定義を可能にせずに、枢動と呼ぶこともできる、顕微鏡による基準面上の枢動点の回りの繰り返し移動を可能にする。これにより、ユーザは枢動モードを繰り返しアクティブ化することができ、そのないぞう場合、回転移動は常に、記憶された基準面における枢動点の回りで実行される。 Advantageously, the reference plane for determining the pivot point only needs to be defined once and can then be stored in retrievable form. According to the invention, the information stored about the reference plane is then later retrieved and the new pivot point is determined as the intersection of the optical axis in the current attitude and the stored reference plane. At least one drive device and/or at least one braking device of the microscopy system can then be operated such that said microscope of the microscopy system moves around the newly defined pivot point. This allows repeated movements of the microscope around a pivot point on the reference plane, which can also be called pivoting, without allowing a new determination and definition of the reference plane. This allows the user to activate the pivot mode repeatedly, in which case the rotational movement is always performed around the pivot point in the stored reference plane.
更なる実施形態では、基準面の姿勢は対物面から独立した基準座標系で定義される。これについて及び対応する利点については既に上述した。 In a further embodiment, the pose of the reference plane is defined in a reference coordinate system independent of the object plane. This and the corresponding advantages have already been mentioned above.
更なる実施形態では、基準面の姿勢及び/又は形状は、解剖学的部位の開口部によって囲まれるエリアが、基準面をなし、又は基準面によって包含されるように定義される。 In a further embodiment, the pose and/or shape of the reference surface is defined such that the area enclosed by the opening of the anatomical site constitutes or is encompassed by the reference surface.
解剖学的部位の開口部は解剖学的構造によって定義することができる。特に、解剖学的部位の開口部は、頭蓋開口部であることができ、この開口部は、開口部を囲む頭蓋骨によって画定される。解剖学的部位の開口部が医療器具、例えばトロカールにより又は医療クランプにより画定されることも考えられる。 Anatomical site openings can be defined by anatomical structures. In particular, the opening in the anatomical site can be a cranial opening, which opening is defined by a skull surrounding the opening. It is also conceivable that the opening in the anatomical site is defined by a medical instrument, for example a trocar or by a medical clamp.
この場合、解剖学的部位の開口部によって囲まれるエリアは、断面において解剖学的部位の開口部の縁部によって区切られるエリアを示すことができ、この断面は、解剖学的部位の開口部の中心線に直交して向けられる。換言すれば、上記断面におけるエリアは、解剖学的部位の開口部の縁部によって区切られる。 In this case, the area bounded by the opening of the anatomical site may refer to the area delimited by the edges of the opening of the anatomical site in a cross section, and this cross section Oriented perpendicular to the centerline. In other words, the area in the cross section is delimited by the edge of the opening of the anatomical site .
囲まれるエリアの形状及び/又はサイズは、中心線に沿った異なる断面で変わり得る。この場合、包含エリアは、例えば、異なる断面で生じる1組のエリアからの最小サイズを有するエリアとして決定することができる。 The shape and/or size of the enclosed area may vary at different cross-sections along the centerline. In this case, the inclusion area can be determined, for example, as the area with the smallest size from a set of areas occurring in different cross-sections.
有利なことに、その結果として生じるのは、顕微鏡法システムの枢動点が、この定義される枢動点を用いた顕微鏡法システムの動作中、即ちこの枢動点によってアクティブ化されるポイントロックモードで、ユーザが、フォーカスが変わったとき、ビューが遮られずに解剖学的部位の開口部を通して高信頼性でのぞき込むことができるように、焦点面から独立して、特に焦点面外で容易、迅速、正確、且つ高信頼性で定義することができることである。枢動点の単純化された定義も可能になる。これは特に、既に説明した鍵穴手術状況で有利である。 Advantageously, the result is that the pivot point of the microscopy system is locked during operation of the microscopy system with this defined pivot point, i.e. activated by this pivot point. mode allows the user to reliably peer through the opening of an anatomical site without obstructing the view when the focus changes, independently of the focal plane, especially out of the focal plane. , can be defined quickly, accurately, and reliably. A simplified definition of pivot points is also possible. This is particularly advantageous in the keyhole surgery situation already described.
更なる実施形態では、解剖学的部位の開口部、特にその形状及び/又は姿勢は自動的に定義される。このために、特に検出デバイス、特にセンサからの出力信号を評価することができる。これに関する例示的な方法についてより詳細に後述する。術前又は術中に生成されるデータ、特に画像データを評価することにより、解剖学的部位の開口部を定義することも可能である。 In a further embodiment, the opening of the anatomical region , in particular its shape and/or orientation, is defined automatically. For this purpose, in particular output signals from detection devices, in particular sensors, can be evaluated. Exemplary methods for this are discussed in more detail below. It is also possible to define the opening of an anatomical site by evaluating data, in particular image data, generated preoperatively or intraoperatively.
代替的には、解剖学的部位の開口部は手動で、特にユーザ入力により定義される。 Alternatively, the opening of the anatomical site is defined manually, in particular by user input.
当然ながら、解剖学的部位の開口部を半自動的に、自動定義アルゴリズムがユーザ入力により支援される状態で定義することも可能である。 Of course, it is also possible to define the opening of the anatomical site semi-automatically, with an automatic definition algorithm assisted by user input.
この場合、基準面を決定するためのデータは、例えば検出デバイスにより又はユーザ入力により生成される。 In this case, the data for determining the reference plane are generated, for example, by a detection device or by user input.
これは有利なことに、解剖学的部位の開口部、ひいては基準面の簡単で信頼性の高い定義に繋がる。 This advantageously leads to a simple and reliable definition of the opening of the anatomical site and thus of the reference plane.
更なる実施形態では、基準面は有界面である。基準面が、全辺で区切られた表面であることが可能である。この場合、基準面は、例えば円形面又は楕円形面であることができる。当然ながら、基準面が異なる形状、特に自由形式形状を有することも考えられる。 In a further embodiment, the reference surface is a bounded surface. It is possible that the reference surface is a surface delimited on all sides. In this case, the reference surface can be, for example, a circular surface or an elliptical surface. It is of course also conceivable for the reference surface to have a different shape, in particular a free-form shape.
代替的には、基準面が、全ての辺では区切られていない表面であることが可能である。例として、基準面は、一辺のみで区切られた表面であることができる。この場合、基準面の縁部の少なくとも1つのセクションが部分的に円形又は部分的に楕円形であることが可能であり得る。当然ながら、縁部の部分が異なる形状、特に自由形式形状を有してもよいことも考えられる。 Alternatively, the reference surface can be a surface that is unbounded on all sides. As an example, the reference surface can be a surface bounded by only one side. In this case, it may be possible for at least one section of the edge of the reference surface to be partially circular or partially oval. It is of course also conceivable that the edge portions may have a different shape, in particular a free-form shape.
有界表面としての基準面の使用は有利なことに、枢動点を所望の領域に高い信頼性で定義することができることに繋がり、その結果として、例えば、顕微鏡法システムがこのようにして定義される枢動点を用いて動作する場合、特に基準面が解剖学的部位の開口部によって囲まれるエリアに対応するとき、ユーザが解剖学的部位の開口部を高信頼性でのぞき込むことができることを保証することが可能である。 The use of a reference surface as a bounded surface advantageously leads to the fact that pivot points can be reliably defined in the desired area, with the result that, for example, microscopy systems are the ability of a user to reliably peer into an anatomical opening when operating with a pivot point defined by the anatomical opening , particularly when the reference plane corresponds to an area enclosed by the opening of the anatomical site; It is possible to guarantee that
当然ながら、基準面が非有界表面、即ち平面であることも考えられる。この場合、枢動点の特に単純な定義が有利に得られる。 Naturally, it is also conceivable that the reference surface is an unbounded surface, ie a plane. In this case, a particularly simple definition of the pivot point is advantageously obtained.
更なる実施形態では、基準面は曲面である。これにより有利なことに、枢動点の定義の信頼性が更に改善され、そしてそれにより、既に上述したように、この定義された枢動点を用いて動作しているとき、ユーザが視界を失うリスクが低下する。 In a further embodiment, the reference surface is a curved surface. This advantageously further improves the reliability of the definition of the pivot point and thereby, as already mentioned above, allows the user to control the visibility when operating with this defined pivot point. Reduced risk of loss.
更なる実施形態では、基準面の姿勢及び/又は形状は、術前に生成されたデータに基づいて決定される。そのような術前生成データは、例えば、CTベースのデータ又はMRIベースのデータであることができる。当然ながら、他の方法を使用して、術前に、基準面の姿勢及び/又は形状を符号化したデータを生成することも可能であり、又はそれに基づいて基準面の姿勢及び/又は形状を定義することができる。 In a further embodiment, the pose and/or shape of the reference surface is determined based on pre-operatively generated data. Such preoperatively generated data can be, for example, CT-based data or MRI-based data. Of course, other methods can also be used to generate data encoding the pose and/or shape of the reference plane preoperatively, or to determine the pose and/or shape of the reference plane based thereon. can be defined.
例として、手術計画時、解剖学的部位の開口部の姿勢及び/又は形状は、術前生成データ、特に手術を受ける患者の解剖学的構造を表すデータに基づいて定義することができる。 By way of example, during surgical planning, the pose and/or shape of the opening of the anatomical site can be defined based on pre-operatively generated data, particularly data representative of the anatomy of the patient undergoing the surgery.
この場合、術前データを、説明された基準座標系と幾何学的関係にすることが必要であり得る。これは、例えば当業者に既知のレジストレーションプロセスによって実施することができる。特に、これにより、術前生成データに基づいて決定された姿勢及び/又は形状を術前データの座標系から基準座標系に変換するための変換ルールを決定することができる。これは、術前生成データに基づいて基準面の姿勢及び/又は形状を決定するのに使用することができる。 In this case, it may be necessary to bring the preoperative data into a geometric relationship with the described reference coordinate system. This can be performed, for example, by a registration process known to those skilled in the art. In particular, this makes it possible to determine a conversion rule for converting the posture and/or shape determined based on the preoperative data from the coordinate system of the preoperative data to the reference coordinate system. This can be used to determine the pose and/or shape of the reference plane based on pre-operatively generated data.
これは有利なことに、基準面の姿勢及び/又は形状の簡単な決定に繋がる。 This advantageously leads to a simple determination of the pose and/or shape of the reference surface.
更なる実施形態では、解剖学的部位のトポグラフィ情報が決定され、基準面の姿勢及び/又は形状はこの情報に基づいて決定される。基準面の決定に使用されるデータは、この場合、トポグラフィ情報又はその一部を符号化することができる。 In a further embodiment, topographic information of the anatomical region is determined and the pose and/or shape of the reference surface is determined based on this information. The data used to determine the reference plane can in this case encode topographical information or parts thereof.
トポグラフィ情報は、トポグラフィ情報を生成するデータにより生成することができる。そのようなデバイスは、特に画像捕捉デバイスを含むことができる。したがってこの場合、基準面の姿勢及び/又は形状は画像に基づいて決定することができる。このために、少なくとも1つの画像捕捉デバイスにより生成された画像表現を評価することができる。これに関して、画像捕捉デバイスとは、解剖学的部位のトポグラフィ情報を決定するデバイスを示すことができる。画像捕捉デバイスは、二次元又は三次元画像表現を生成することができ、例えばCCDカメラ又はCMOSカメラであることができる。しかしながら、画像捕捉デバイスは飛行時間カメラであることもできる。評価は評価デバイスにより実施することができ、評価デバイスは、マイクロコントローラ若しくは集積回路として設計することができ、又はマイクロコントローラ若しくは集積回路を含むことができる。 Topography information can be generated by data that generates topography information. Such devices may include, inter alia, image capture devices. Therefore, in this case, the attitude and/or shape of the reference plane can be determined based on the image. To this end, the image representation generated by the at least one image capture device can be evaluated. In this regard, an image capture device may refer to a device that determines topographical information of an anatomical site . The image capture device can produce a two-dimensional or three-dimensional image representation and can be, for example, a CCD camera or a CMOS camera. However, the image capture device can also be a time-of-flight camera. The evaluation can be carried out by means of an evaluation device, which can be designed as a microcontroller or an integrated circuit or can include a microcontroller or an integrated circuit.
このために、特に、顕微鏡法システムにより生成される少なくとも1つの画像、好ましくは複数の画像を評価することができる。この場合、顕微鏡法システムは少なくとも1つの画像捕捉デバイスを含み得、その画像表現は、特に顕微鏡法システムの評価デバイスにより評価されて、基準面の姿勢及び/又は形状を決定する。 For this purpose, in particular at least one image, preferably a plurality of images, generated by the microscopy system can be evaluated. In this case, the microscopy system may include at least one image capture device, the image representation of which is evaluated, in particular by an evaluation device of the microscopy system, to determine the pose and/or shape of the reference surface.
顕微鏡法システムの画像捕捉デバイスは、特に、顕微鏡により生成された画像表現をデジタル化するように機能する画像捕捉デバイスであることができ、次いで上記画像表現は、例えば顕微鏡法システムの適切な表示デバイスに提示される。 The image capture device of the microscopy system may in particular be an image capture device that serves to digitize an image representation generated by the microscope, said image representation then being displayed on a suitable display device of the microscopy system, for example. will be presented.
代替的には、顕微鏡法システムの一部ではなく、且つ/又は説明されたデジタルを行うように機能しない画像捕捉デバイスからの画像表現を評価することも可能である。例として、画像捕捉デバイスは、姿勢検出デバイスの画像捕捉デバイスであることができる。姿勢検出デバイスは、顕微鏡法システムの姿勢検出デバイスであることができる。この場合、例えば、画像捕捉デバイスは顕微鏡法システムに配置/取り付けることができるが、顕微鏡により生成された画像表現のデジタル化に使用されない。 Alternatively, it is also possible to evaluate image representations from image capture devices that are not part of the microscopy system and/or do not function to perform the described digital. By way of example, the image capture device can be an image capture device of a pose sensing device. The pose sensing device can be a pose sensing device of a microscopy system. In this case, for example, the image capture device can be placed/attached to the microscopy system, but is not used for digitizing the image representation produced by the microscope.
当業者に既知の画像処理の方法、例えばセグメント化法は、姿勢及び/又は形状の画像ベースの決定に使用することができる。術前データを使用する場合のように、レジストレオ-ションによる画像捕捉デバイスの座標系と上記基準参照系との間の機械学的関係を決定する必要があり得、次いでこの幾何学的関係に基づいて、形状及び/又は姿勢を例えば座標変換の形態で決定することができる。 Methods of image processing known to those skilled in the art, such as segmentation methods, can be used for image-based determination of pose and/or shape. As when using preoperative data, it may be necessary to determine the mechanical relationship between the coordinate system of the image capture device by registration and the reference reference system, and then apply this geometric relationship. Based on this, the shape and/or orientation can be determined, for example in the form of a coordinate transformation.
例えば適したセグメント化法を利用することにより、例えば、解剖学的部位の開口部を1つ又は複数の画像表現において検出することが可能である。次いで解剖学的部位の開口部の縁部で囲まれたエリアを基準面として定義することができる。 For example, by using a suitable segmentation method, it is possible, for example, to detect an opening in an anatomical region in one or more image representations. The area bounded by the edges of the opening in the anatomical site can then be defined as a reference plane.
トポグラフィ情報に基づいて、そして更に顕微鏡の視線方向及び/又はユーザの視線方向に基づいて、基準面の姿勢及び/又は形状を決定することも可能である。 It is also possible to determine the pose and/or shape of the reference surface based on the topography information and further based on the viewing direction of the microscope and/or the viewing direction of the user.
このために、顕微鏡の視線方向を決定することができる。例として、これは顕微鏡のアライメントに基づいて決定することができる。例として、視線方向は、特に基準座標系における光軸の方向/向きとして決定することができる。 For this purpose, the viewing direction of the microscope can be determined. As an example, this can be determined based on microscope alignment. By way of example, the line of sight direction can be determined in particular as the direction/orientation of the optical axis in the reference coordinate system.
ユーザの視線方向は、顕微鏡の視線方向に対応することができる。代替的には、ユーザの視線方向は、視線方向検出デバイス、例えば当業者に既知の注視追跡システムにより決定することができる。 The user's viewing direction may correspond to the viewing direction of the microscope. Alternatively, the user's gaze direction may be determined by a gaze direction detection device, such as an gaze tracking system known to those skilled in the art.
例として、視線方向と、トポグラフィ情報に基づいて決定可能な解剖学的部位の表面との交点を決定することが可能である。次いで、この交点が基準面上に配置されるように基準面を定義することができる。さらに、解剖学的部位の開口部のサーチエリアを次いで、この交点の姿勢に基づいて決定することができ、次いで、トポグラフィ情報を評価する適した方法を使用するために、例えば画像処理のために、解剖学的部位の開口部がサーチされる。複数の解剖学的部位の開口部が検出される場合、交点に最も近い解剖学的部位の開口部の縁部によって囲まれるエリアを基準面として定義することができる。ユーザが顕微鏡の視線方向又はユーザの視線方向を基準面の縁部と整列させ、上記視線方向が縁部に沿って移動するように所定の時間間隔にわたって上記視線方向を変え、そうして基準面の境界を画定することも可能である。 As an example, it is possible to determine the intersection of the viewing direction and the surface of an anatomical region that can be determined based on topographical information. A reference plane can then be defined such that this intersection is located on the reference plane. Furthermore, a search area for the opening of the anatomical site can then be determined based on the pose of this intersection, and then a suitable method of evaluating the topographic information can be used, e.g. for image processing. , an opening in the anatomical region is searched. If multiple anatomical apertures are detected, the area bounded by the edges of the anatomical apertures closest to the intersection can be defined as the reference plane. A user aligns the viewing direction of the microscope or the user's viewing direction with an edge of a reference surface, changes said viewing direction over a predetermined time interval such that said viewing direction moves along the edge, and then aligns said viewing direction with the edge of a reference surface. It is also possible to define the boundaries of
トポグラフィ情報に基づくとともに、姿勢マーキング器具及び/又はマーカの姿勢に更に基づいて、基準面の姿勢及び/又は形状を決定することも可能である。姿勢マーキング器具及びマーカについてより詳細に後述する。 It is also possible to determine the pose and/or shape of the reference surface based on the topography information and further based on the pose of the pose marking instrument and/or marker. The posture marking device and marker will be described in more detail below.
この場合、姿勢及び/又は形状は、トポグラフィ情報を評価することにより、即ち特に画像ベースで検出することができる。 In this case, the pose and/or the shape can be detected by evaluating the topographic information, ie in particular on an image basis.
さらに、基準面の姿勢及び/又は形状をマーカの姿勢に基づいて決定することができるように、少なくとも1つのマーカを配置することができる。例として、マーカの位置が共通面に配置されるように3つ以上のマーカを配置することができ、基準面もこの平面に配置される。マーカ間の線を結ぶことにより、基準面の境界線を符号化することができる。マーカの向きは、基準面の向きを符号化することもできる。したがって、基準面の姿勢を個々のマーカの姿勢により定義することも可能である。 Furthermore, at least one marker can be arranged such that the orientation and/or shape of the reference surface can be determined based on the orientation of the marker. As an example, three or more markers can be arranged such that the positions of the markers are arranged in a common plane, and the reference plane is also arranged in this plane. By connecting lines between markers, the boundaries of the reference plane can be encoded. The orientation of the marker can also encode the orientation of the reference plane. Therefore, it is also possible to define the attitude of the reference plane by the attitude of each marker.
さらに、解剖学的部位の開口部のサーチエリアを器具/マーカに基づいて決定することができ、次いでトポグラフィ情報を評価するのに適した方法を使用するため、例えば画像処理のために、解剖学的部位の開口部をサーチする。複数の解剖学的部位の開口部が検出される場合、器具/マーカの姿勢に最も近い解剖学的部位の開口部の縁部により囲まれるエリアを基準面として定義することができる。 Furthermore, the search area for the opening of the anatomical site can be determined based on the instruments/markers and then a suitable method for evaluating the topographical information is used, e.g. for image processing. Search for an opening in the target area . If multiple anatomical apertures are detected, the area bounded by the edges of the anatomical apertures closest to the instrument/marker pose can be defined as the reference plane.
これは同様に、有利なことに、基準面の形状及び/又は姿勢の簡単で信頼性の高い決定に繋がる。 This also advantageously leads to a simple and reliable determination of the shape and/or orientation of the reference surface.
好ましい実施形態では、基準面は、少なくとも1つの基準面点を定義することによって決定され、基準面は、顕微鏡の光軸に直交して向けられ、基準面点が配置される平面として定義され、又はそのような平面に配置される。この場合、決定に使用されるデータは、基準面点の姿勢及び光軸の向きについての情報を包含又は符号化することができる。 In a preferred embodiment, the reference plane is determined by defining at least one reference plane point, the reference plane being defined as a plane oriented orthogonally to the optical axis of the microscope and in which the reference plane point is located; or placed on such a plane. In this case, the data used for the determination may include or encode information about the pose of the reference surface point and the orientation of the optical axis.
このために、特に上記基準座標系における顕微鏡の光軸の向きを決定することが必要であり得る。さらに、好ましくは同様に上記基準座標系において基準面点の姿勢を定義することが必要であり得る。基準面点の姿勢を定義する例示的な方法について後述する。 For this purpose, it may be necessary in particular to determine the orientation of the optical axis of the microscope in the reference coordinate system. Furthermore, it may be necessary to preferably define the pose of the reference surface point in the reference coordinate system as well. Exemplary methods for defining poses of reference plane points are described below.
この場合、基準面点は上記枢動点に対応せず、又は必ずしも対応するわけではない。 In this case, the reference plane point does not or does not necessarily correspond to the pivot point.
これは有利なことに、基準面の簡単で迅速な定義に繋がる。 This advantageously leads to a simple and quick definition of the reference plane.
基準面がこのように決定される場合、基準面点は一度だけ定義するだけでよく、例えば検索可能な形態で記憶することができる。基準面点についての記憶された情報は次いで、検索することができ、後の時点で、基準面に基づいて基準面を決定することができ、新しい枢動点は、現在の姿勢での光軸と、そうして決定された基準面との交点として決定される。次いで、顕微鏡法システムの少なくとも1つの駆動デバイス及び/又は少なくとも1つの制動デバイスは、顕微鏡法システムの上記顕微鏡が、新たに定義された枢動点の回りを移動するように動作することができる。これにより、基準面点の新たな定義を可能にせずに、顕微鏡は基準面上の枢動点の回りを繰り返し移動することができ、これはピボットと呼ぶこともできる。 If the reference plane is determined in this way, the reference plane points need only be defined once and can be stored, for example, in a searchable form. The stored information about the reference plane points can then be retrieved and at a later point a reference plane can be determined based on the reference plane and the new pivot point is the optical axis at the current pose. and the reference plane thus determined. At least one drive device and/or at least one braking device of the microscopy system can then be operated such that said microscope of the microscopy system moves around the newly defined pivot point. This allows the microscope to move repeatedly around a pivot point on the reference surface, which can also be called a pivot, without allowing a new definition of the reference surface point.
特にこの実施形態では、しかしこの実施形態に限定されずに、基準面は所定の幾何学的形状、例えば円形又は楕円形を有することができ、幾何学的形状の性質は予め決定することが可能である。 In particular, but not limited to this embodiment, the reference surface can have a predetermined geometric shape, for example a circle or an ellipse, the nature of the geometric shape can be predetermined. It is.
更なる実施形態では、少なくとも1つの基準面点は、ユーザにより設定される焦点として決定される。したがってこの場合、基準面を決定するデータは、顕微鏡の動作パラメータデータを更に含むことができる。 In a further embodiment, the at least one reference plane point is determined as a focus set by the user. Therefore, in this case, the data for determining the reference plane may further include operating parameter data of the microscope.
この場合、基準面点が決定/定義された後、顕微鏡法システムの焦点位置を再び変更することができるが、基準面は、変更前に設定された基準面点に基づいて決定される。基準面又は基準面点の姿勢が、手術中又は手術フェーズ中に変わらない場合、基準面点は1度定義するだけでよい。基準面又は基準面点の姿勢の変更は、例えば、患者の姿勢変化から出現することができる。 In this case, after the reference plane point has been determined/defined, the focal position of the microscopy system can be changed again, but the reference plane is determined based on the reference plane point set before the change. If the pose of the reference plane or reference plane point does not change during the surgery or surgical phase, the reference plane point only needs to be defined once. A change in the posture of the reference plane or reference plane point can emerge, for example, from a change in the posture of the patient.
基準面又は基準面点の姿勢の変化が、例えば適した姿勢追跡システムにより手術中又は手術フェーズ中に決定可能な場合、基準面又は基準面点の姿勢は、決定された姿勢変化に従って更新することもできる。 If a change in the pose of the reference plane or reference plane point can be determined during surgery or during a surgical phase, e.g. by a suitable pose tracking system, the pose of the reference plane or reference plane point should be updated according to the determined pose change. You can also do it.
代替的には、少なくとも1つの基準面点は、姿勢マーキング器具のポジショニングにより定義される。姿勢マーキング器具は特に、特に手術中、ユーザが手動で位置決め可能な器具であることができる。例えば、基準面点の所望の姿勢に対応する姿勢にユーザが姿勢マーキング器具を位置決めすることにより、基準面点を定義することが可能であり、次いで、例えばユーザにより、姿勢決定信号が生成される。この信号は、特にユーザ入力、例えば触覚、音響、又は任意の他のタイプのユーザ入力により生成することができる。基準面点の姿勢は、姿勢マーキング器具のそうして決定された姿勢として定義することができる。姿勢マーキング器具の姿勢は、例えば、姿勢マーキング器具の所定のポイント、例えば先端部の姿勢に対応することができる。 Alternatively, the at least one reference plane point is defined by the positioning of the pose marking instrument. The posture marking instrument may in particular be an instrument that can be manually positioned by the user, especially during surgery. A reference surface point can be defined, e.g., by a user positioning a pose marking instrument in a pose corresponding to a desired pose of the reference surface point, and a pose determination signal is then generated, e.g. by the user. . This signal can in particular be generated by a user input, for example tactile, acoustic or any other type of user input. The pose of the reference plane point can be defined as the so-determined pose of the pose marking instrument. The attitude of the attitude marking instrument may, for example, correspond to the attitude of a predetermined point, such as a tip, of the attitude marking instrument.
代替的には、基準面点は少なくとも1つのマーカの姿勢に基づいて決定することができる。特に手術中、マーカは器具に静止して配置することができ、より具体的には解剖学的部位に配置することができる。 Alternatively, the reference surface point may be determined based on the pose of the at least one marker. Particularly during surgery, the marker can be placed stationary on the instrument, and more specifically at an anatomical site .
このために、姿勢マーキング器具又はマーカの姿勢は、特に上記基準座標系において決定することができる。姿勢は、例えば姿勢検出デバイス、例えば光学姿勢検出デバイス、特に立体姿勢検出デバイスにより決定することができる。当然ながら、他の姿勢検出デバイスを使用することもできる。 For this purpose, the pose of the pose marking device or marker can be determined in particular in the reference coordinate system mentioned above. The pose can be determined, for example, by a pose detection device, for example an optical pose detection device, in particular a stereo pose detection device. Of course, other attitude detection devices can also be used.
姿勢マーキング器具又はマーカの姿勢は、例えば、光学姿勢検出デバイスから又は顕微鏡法システムの画像捕捉デバイスの画像表現からの画像表現に基づいて画像ベースで決定することもできる。 The pose of the pose marking instrument or marker can also be determined on an image basis, for example based on an image representation from an optical pose detection device or from an image representation of an image capture device of a microscopy system.
姿勢マーキング器具又はマーカは、少なくとも1つの標的を更に含むことができ、例えば、少なくとも1つの標的は少なくとも1つのマーカ要素を含み、又は有する。この場合、マーカ要素は、特に、光学的に捕捉可能であることができ、したがって、画像表現において検出可能であることもでき、特に、光学的に検出可能なパターンを有することができる。 The pose marking device or marker may further include at least one target, eg, the at least one target includes or has at least one marker element. In this case, the marker element can in particular be optically captureable and therefore also detectable in the image representation, and in particular can have an optically detectable pattern.
この場合、標的は、例えば姿勢マーキング器具又はマーカに締着することができる。 In this case, the target can be fastened to a posture marking device or marker, for example.
姿勢マーキング器具は、例えば、シリンジ、ツイーザ、スプーン、シザーズ、外科用メス、鉗子、吸引器、若しくは焼灼器、又は手術中、ユーザにより動的に位置決めされ、又は動的に位置決め可能な他の器具として設計することができる。 Postural marking instruments can be, for example, syringes, tweezers, spoons, scissors, scalpels, forceps, aspirators, or cauterizers, or other instruments that are or can be dynamically positioned by the user during surgery. It can be designed as
マーカは、例えば、クランプ、特に皮膚クランプ、ホルダ、トロカール、外科用開創器、皮膚ステープラのみならず、リトラクタ、例えば脳リトラクタ又は手術中に静止して配置される別の器具としても設計することができる。 The marker can be designed, for example, not only as a clamp, in particular a skin clamp, a holder, a trocar, a surgical retractor, a skin stapler, but also as a retractor, for example a brain retractor or another instrument that is placed stationary during surgery. can.
姿勢マーキング器具又はマーカはしたがって、上述した器具の1つにより形成することができる。 The posture marking device or marker can therefore be formed by one of the devices mentioned above.
したがってこの場合、基準面を定義するデータは、姿勢検出デバイスにより生成されるデータであることができる。 In this case, therefore, the data defining the reference plane may be data generated by the attitude detection device.
この結果として、基準面点の簡単な定義も同様に出現する。 As a result of this, a simple definition of the reference plane points also emerges.
代替的には、少なくとも1つの基準面点は、視線方向検出に基づいて定義することができる。視線方向検出については既に上述してある。 Alternatively, the at least one reference surface point may be defined based on line-of-sight direction detection. Gaze direction detection has already been described above.
さらに、基準面点は、視線方向に沿った点として、例えば視線方向軸と所定又はユーザ定義のトポグラフィ特徴との交点として定義することができる。この定義は、ユーザ入力により、特に音声コマンドの形態の音響ユーザ入力により実施することができる。 Further, a reference plane point can be defined as a point along the viewing direction, for example as an intersection of a viewing direction axis and a predetermined or user-defined topographical feature. This definition can be implemented by user input, in particular by acoustic user input in the form of voice commands.
例として、オートフォーカス機能を実施することができ、その場合、基準面点は、オートフォーカス機能が実施された後に決定される焦点として定義される。この場合、基準面点が決定/定義された後、顕微鏡法システムの焦点位置を再び変更することができる。 As an example, an autofocus function may be implemented, in which case the reference surface point is defined as the focal point determined after the autofocus function is performed. In this case, after the reference plane point has been determined/defined, the focal position of the microscopy system can be changed again.
この結果、基準面点の簡単な定義も同様に有利に出現する。 As a result of this, a simple definition of the reference plane points also appears advantageous.
更なる実施形態では、基準面点の姿勢は、既に定義された基準面点の姿勢を変更することによって定義される。例として、姿勢は距離を決定することによって変更することができ、基準面点の姿勢は、特に所定の方向に沿って、例えば既に定義された基準面への法線方向に沿って又は特に顕微鏡に向かう光軸に沿ってこのように決定された距離により変更されている、既に定義された基準面点の姿勢によって決定される。 In a further embodiment, the pose of the reference surface point is defined by changing the pose of an already defined reference surface point. As an example, the pose can be changed by determining the distance, and the pose of the reference plane point can be changed in particular along a predetermined direction, for example along the normal direction to an already defined reference plane or in particular in the microscope determined by the pose of the already defined reference plane point, which is modified by the distance thus determined along the optical axis towards .
距離は、例えばユーザ入力により、例えば触覚、音響、又は任意の他のタイプのユーザ入力により定義することができる。これは有利なことに、基準面点、ひいては基準面の簡単な変更に繋がる。 The distance may be defined, for example, by user input, such as tactile, acoustic, or any other type of user input. This advantageously leads to a simple change of the reference surface point and thus of the reference surface.
更なる実施形態では、少なくとも3つの基準面点が決定され、基準面の姿勢及び/又は形状は、少なくとも3つの基準面点が基準面上に配置されるように又は基準面又は基準面を含む平面からの基準面点の距離が最小であるように決定される。例えば、基準面の姿勢及び/又は形状が、少なくとも3つの基準面点が基準面の縁部点を形成するように決定されることが考えられる。しかしながら、これは必須ではない。したがって、少なくとも3つの基準面点が基準面のいかなる縁部点も形成しないことも考えられる。基準面点の定義に関して、上記例示的な方法が参照される。この結果、基準面の簡単な定義が同様に、有利に出現する。 In a further embodiment, at least three reference surface points are determined, and the pose and/or shape of the reference surface is such that the at least three reference surface points are arranged on or include the reference surface or the reference surface. The distance of the reference plane point from the plane is determined to be the minimum. For example, it is conceivable that the pose and/or shape of the reference surface is determined such that at least three reference surface points form edge points of the reference surface. However, this is not required. It is therefore conceivable that the at least three reference surface points do not form any edge points of the reference surface. Regarding the definition of the reference plane points, reference is made to the above exemplary method. As a result of this, a simple definition of the reference plane also advantageously emerges.
更なる実施形態では、光軸が有界基準面と交わらない場合、焦点は枢動点として定義される。これは有利なことに、ユーザが顕微鏡法システムを上記ポイントロックモード及び提案される方法に従って定義された点の回りの移動を実施するモードの両方に容易にすることができることを意味する。 In a further embodiment, the focal point is defined as a pivot point if the optical axis does not intersect the bounded reference plane. This advantageously means that the user can easily put the microscopy system into both the point-locking mode described above and the mode of performing movements around the points defined according to the proposed method.
顕微鏡法システムが、顕微鏡法システムの顕微鏡が枢動点の回りを一定距離移動するように動作することが可能である。一定距離でのそのような移動は、顕微鏡の移動が手動操作可能な制御デバイス、例えばジョイスティックにより制御される場合、特に興味深く、その場合、制御デバイスを操作することによる距離の変更は望ましくないか、又は可能ではない。一定距離により顕微鏡の移動を可能にし、倍率、画像セクション、明度、及び任意選択的には更なる性質等の光学性質は、移動中、同じままであるか、又は変更する必要はない。当然ながら、手動作動によって行われる移動中に一定距離が保証される場合も、これを保証することができる。 The microscopy system can be operated such that the microscope of the microscopy system moves a fixed distance around a pivot point. Such a movement over a fixed distance is of particular interest if the movement of the microscope is controlled by a manually operable control device, e.g. a joystick, in which case changing the distance by manipulating the control device is undesirable or Or not possible. The fixed distance allows movement of the microscope, and optical properties such as magnification, image section, brightness, and optionally further properties remain the same or do not need to be changed during the movement. Naturally, this can also be guaranteed if a certain distance is guaranteed during the movement carried out by manual actuation.
更なる実施形態では、焦点位置は枢動点からの顕微鏡の距離変化に基づいて、即ち顕微鏡が枢動点の回りを移動する場合、距離が変化するとき、変わる。これは自動的に実施することができる。距離は、顕微鏡の光軸に沿った距離であることができる。例として、焦点位置の変更は、距離変更に等しい値であることができる。換言すれば、距離が変わった場合であっても合焦点/領域にピントが合ったままであるように再合焦を実行することができる。この場合、枢動点の回りを移動する場合であっても、焦点位置は基準座標系において一定のままであることができる。 In a further embodiment, the focus position changes based on a change in distance of the microscope from the pivot point, ie when the distance changes as the microscope moves around the pivot point. This can be done automatically. The distance can be a distance along the optical axis of the microscope. As an example, the change in focus position can be equal to the distance change. In other words, refocusing can be performed so that the focus point/area remains in focus even if the distance changes. In this case, the focal point position can remain constant in the reference coordinate system even when moving around the pivot point.
しかしながら、そのような再合焦の実施は必須ではない。したがって、焦点位置が、枢動点からの顕微鏡の距離変化に基づいて変わらない(自動的に)ことが望ましいことがある。この場合、焦点位置は、枢動点の回りを移動する場合、基準座標系において変わることができる。 However, performing such refocusing is not mandatory. Therefore, it may be desirable for the focal point position to not change (automatically) based on changes in the distance of the microscope from the pivot point. In this case, the focal point position can change in the reference coordinate system when moving around the pivot point.
顕微鏡法システムも提案され、本顕微鏡法システムは、
-顕微鏡と、
-顕微鏡を保持するスタンドであって、スタンドは、顕微鏡を移動される少なくとも1つの駆動デバイスを備える、スタンドと、
-少なくとも1つの制御・評価デバイスであって、顕微鏡法システムは、顕微鏡が枢動点の回りを移動するように、制御・評価デバイスにより動作可能、特に制御可能であり、基準面が決定され、顕微鏡の光軸と基準面との交点が、枢動点として使用される、少なくとも1つの制御・評価デバイスと、
を備える。
A microscopy system has also been proposed, and this microscopy system is
-Microscope and
- a stand for holding a microscope, the stand comprising at least one drive device by which the microscope is moved;
- at least one control and evaluation device, wherein the microscopy system is operable, in particular controllable, by the control and evaluation device such that the microscope moves around a pivot point, a reference plane is determined; at least one control and evaluation device, in which the intersection of the optical axis of the microscope and the reference plane is used as a pivot point;
Equipped with
本発明によれば、基準面の姿勢は、焦点位置独立の基準座標系において定義され、枢動点は、基準座標系における光軸と、そうして定義された基準面との交点として決定可能である。 According to the present invention, the attitude of the reference plane is defined in a reference coordinate system independent of the focal point position, and the pivot point can be determined as the intersection of the optical axis in the reference coordinate system and the reference plane thus defined. It is.
特に、顕微鏡法システムは、メモリデバイス、例えばRAM又はROMベースの眼折りデバイスを備えることができ、そこに、基準座標系における基準面の姿勢についての情報及び任意選択的に、例えば基準面の形状等の更なる基準面固有の情報が検索可能に記憶される。この情報は、制御・評価デバイスにより検索することができ、次いで枢動点もこの制御・評価デバイスにより決定することが可能である。 In particular, the microscopy system may comprise a memory device, e.g. Further reference surface specific information such as . . . is stored in a searchable manner. This information can be retrieved by the control and evaluation device, and the pivot point can then also be determined by this control and evaluation device.
したがって、顕微鏡法システムは、本開示に開示される実施形態の1つによる方法が顕微鏡法システムを使用して実行可能なように特に構成される。これは有利なことに、そのような方法を実行することができる顕微鏡法システムに繋がる。 Accordingly, the microscopy system is specifically configured such that a method according to one of the embodiments disclosed in this disclosure can be performed using the microscopy system. This advantageously leads to a microscopy system capable of carrying out such methods.
この場合、制御・評価デバイスは、マイクロコントローラ又は集積回路として実施し得、又はそれ(ら)を備え得る。制御・評価デバイスは特に、トポグラフィ情報を評価する上記評価デバイスを形成することができる。さらに、制御・評価デバイスは、基準面を決定/定義する上記方法を実行することができる。 In this case, the control and evaluation device may be implemented as or comprise a microcontroller or an integrated circuit. The control and evaluation device can in particular form the above-mentioned evaluation device for evaluating topographical information. Furthermore, the control and evaluation device can carry out the above method of determining/defining the reference plane.
更なる実施形態では、基準面の姿勢は対物面から独立した基準座標系において定義される。この利点及び対応する利点について既に説明した。 In a further embodiment, the pose of the reference plane is defined in a reference coordinate system independent of the object plane. This advantage and corresponding advantages have already been explained.
更なる実施形態では、顕微鏡法システムは、トポグラフィ情報を生成するデバイスを備え、上記デバイスは特に、画像捕捉デバイスとして設計可能であり、又は少なくとも1つの画像捕捉デバイスを備えることが可能なものとして設計可能である。この利点及び対応する利点については既に説明した。更に代替又は追加として、顕微鏡法システムは、姿勢マーキング器具及び/又はマーカの姿勢を検出する少なくとも1つの姿勢検出デバイスを備える。 In a further embodiment, the microscopy system comprises a device for generating topographical information, said device being designed in particular as an image capture device or capable of comprising at least one image capture device. It is possible. This advantage and corresponding advantages have already been explained. Further alternatively or additionally, the microscopy system comprises at least one pose sensing device for detecting the pose of the pose marking instrument and/or the marker.
さらに、顕微鏡法システムは、ユーザの視線方向を検出するデバイスを備え得る。さらに、顕微鏡法システムは、顕微鏡の姿勢、特に顕微鏡の視線方向又は光軸の向きを決定するデバイスを備え得る。 Additionally, the microscopy system may include a device that detects the direction of the user's gaze. Furthermore, the microscopy system may comprise a device for determining the pose of the microscope, in particular the direction of sight or the orientation of the optical axis of the microscope.
同様に、顕微鏡法システムはユーザ入力デバイスを備え得る。さらに、顕微鏡法システムは、術前データを読み取るインターフェースを備え得る。 Similarly, the microscopy system may include user input devices. Additionally, the microscopy system may include an interface for reading preoperative data.
本発明について例示的な実施形態に基づいてより詳細に説明する。 The present invention will be described in more detail based on exemplary embodiments.
以下、同一の参照符号は、同一又は同様の技術特徴を有する要素を示す。 In the following, the same reference symbols indicate elements having the same or similar technical characteristics.
図1は、顕微鏡法システム1(例えば図4参照)を動作させる本発明による方法の概略フローチャートを示す。 FIG. 1 shows a schematic flowchart of a method according to the invention for operating a microscopy system 1 (see, for example, FIG. 4).
ここでは、第1のステップS1において、基準面19が決定される(例えば図3参照)。これは特に、基準座標系における基準面19の支持点の姿勢、即ち例えば位置及び基準面19の向きの決定を含む。 Here, in the first step S1, the reference plane 19 is determined (see, for example, FIG. 3). This includes in particular the determination of the pose, ie for example the position and orientation of the reference surface 19, of the support point of the reference surface 19 in the reference coordinate system.
この場合、基準面19はデータに基づいて決定される。例として、決定のために術前データを読み取ることができ、基準面19は術前データを評価することにより決定される。このために、術前データの座標系を上記基準座標系に変換することが必要であり得る。これは、適切なレジストレーション手順を使用して実施することができる。 In this case, the reference plane 19 is determined based on the data. By way of example, pre-operative data can be read for the determination, and the reference plane 19 is determined by evaluating the pre-operative data. For this purpose, it may be necessary to transform the coordinate system of the preoperative data into the reference coordinate system described above. This can be done using appropriate registration procedures.
例として、画像処理方法を使用して、術前データにおける解剖学的部位の開口部20を検出することが可能であり、この解剖学的部位の開口部20は例えば、手術計画者、例えばユーザ入力により定義される、計画された解剖学的部位の開口部20である。 By way of example, image processing methods can be used to detect anatomical openings 20 in the preoperative data, which can be detected by a surgical planner, e.g. The planned anatomical site opening 20 is defined by the input.
次いで、検出された解剖学的部位の開口部20により囲まれるエリアが基準面19を形成し、又は基準面19により囲まれるように、基準面19を定義することができる。 The reference plane 19 can then be defined such that the area enclosed by the opening 20 of the detected anatomical site forms or is surrounded by the reference plane 19 .
特に術前、解剖学的部位のトポグラフィ情報を決定することも可能であり、次いでトポグラフィ情報を符号化するデータを評価して、基準面19を定義することができる。既に詳細に上述したように、トポグラフィ情報は例えば、例えば解剖学的部位の二次元又は三次元顔図表現の形態の画像情報であることができ、画像情報は1つ又は複数の画像捕捉デバイスにより生成することが可能である。例として、画像処理方法を使用して、この術中生成画像データにおける解剖学的部位の開口部20を検出することが可能である。その場合も、基準面19は、検出された解剖学的部位の開口部20により囲まれるエリアが基準面19を形成し、又は基準面19により囲まれるように定義することができる。 It is also possible, in particular preoperatively, to determine the topographical information of the anatomical region , and then the data encoding the topographical information can be evaluated to define the reference plane 19. As already mentioned in detail above, the topographic information can be, for example, image information in the form of a two-dimensional or three-dimensional facial representation of an anatomical region , the image information being captured by one or more image capture devices. It is possible to generate By way of example, image processing methods can be used to detect anatomical openings 20 in this intraoperatively generated image data. In that case as well, the reference plane 19 can be defined such that the area surrounded by the opening 20 of the detected anatomical site forms or is surrounded by the reference plane 19 .
さらに、基準面19の決定は、基準面19の形状を決定することを含むこともできる。形状のこの決定は特に、上記データを評価することにより、例えば適した画像処理方法を使用することにより実施することもできる。しかしながら当然、基準面19の形状が所定の形状であることも考えられる。この場合、形状の全ての性質が予め決定されることが可能であり得る。形状の特定の性質のみが予め決定され、一方、形状の更なる性質はデータに基づいて決定されることも可能であり得る。例として、基準面19の形状は円形であるように定義し得、半径はデータに基づいて決定される。 Furthermore, determining the reference surface 19 can also include determining the shape of the reference surface 19. This determination of the shape can also be carried out in particular by evaluating the above data, for example by using suitable image processing methods. However, it is of course possible that the shape of the reference surface 19 is a predetermined shape. In this case it may be possible for all properties of the shape to be predetermined. It may also be possible that only certain properties of the shape are predetermined, while further properties of the shape are determined based on the data. By way of example, the shape of the reference surface 19 may be defined to be circular, with the radius determined based on the data.
さらに、このようにして決定された基準面19の姿勢は、焦点位置独立の基準座標系に、特に図4に示される基準座標系に検索可能に記憶される。この場合、基準面の姿勢は、対物面から独立し且つ/又は鮮鋭面から独立した基準座標系において定義され、検索可能に記憶されてもよい。 Furthermore, the attitude of the reference plane 19 determined in this manner is stored in a searchable manner in a reference coordinate system independent of the focal point position, particularly in the reference coordinate system shown in FIG. 4. In this case, the pose of the reference plane may be defined in a reference coordinate system independent of the object plane and/or independent of the sharp plane and stored in a searchable manner.
したがって、基準面19は、特に患者13(図4参照)の解剖学的部位の姿勢が変わらない場合、1度決定されるだけでよい。次いで、特に光軸17の姿勢の変化後、各事例で記憶された基準面19と、その現在の姿勢、即ちその現在の位置及び現在の向きでのこの光軸17との交点として、新しい枢動点を決定することができる。 Therefore, the reference plane 19 only needs to be determined once, especially if the posture of the anatomical region of the patient 13 (see FIG. 4) does not change. Then, in particular after a change in the orientation of the optical axis 17, the new axis is determined as the intersection of the reference plane 19 stored in each case with this optical axis 17 in its current orientation, i.e. its current position and current orientation. The moving point can be determined.
したがって、基準面19の姿勢が既に決定されていた場合、第1のステップS1において説明された決定への代替として、基準面19の姿勢についての記憶された情報をメモリデバイスから検索することもできる。 Therefore, if the pose of the reference surface 19 has already been determined, as an alternative to the determination described in the first step S1, stored information about the pose of the reference surface 19 may also be retrieved from the memory device. .
さらに、第2のステップS2において、顕微鏡2の光軸17の姿勢が決定される。これは特に、光軸17の向きの決定及び基準座標系における光軸17の支持点、即ち光軸17と顕微鏡2のレンズとの交点の位置の決定を含む。基準座標系について図4を参照してより詳細に後述する。光軸17の向きは特に、顕微鏡法システム1、特に顕微鏡法システム1のスタンド3の姿勢/角度センサからの出力信号に基づいて決定することができる。 Furthermore, in a second step S2, the attitude of the optical axis 17 of the microscope 2 is determined. This includes in particular the determination of the orientation of the optical axis 17 and the position of the point of support of the optical axis 17 in the reference coordinate system, ie the point of intersection of the optical axis 17 with the lens of the microscope 2. The reference coordinate system will be described in more detail later with reference to FIG. The orientation of the optical axis 17 can in particular be determined on the basis of an output signal from a posture/angle sensor of the microscopy system 1 , in particular of the stand 3 of the microscopy system 1 .
さらに、顕微鏡2の枢動点21は、光軸17と基準面19との交点として第3のステップS3において決定される。特に、これは、基準座標系におけるこの枢動点21の座標を決定することを含む。 Furthermore, the pivot point 21 of the microscope 2 is determined in a third step S3 as the intersection of the optical axis 17 and the reference plane 19. In particular, this involves determining the coordinates of this pivot point 21 in the reference coordinate system.
第4のステップS4において、顕微鏡法システム1のスタンド3(例えば図4参照)の駆動デバイス及び/又は制動デバイスは、顕微鏡法システム1の顕微鏡2が枢動点21の回りを距離A(例えば図3参照)移動するように動作する。この場合、距離Aは一定距離であることができる。しかしながら、これは必須ではない。例として、回転軸4、5、6の回りのスタンド3の可動部品の移動は、これらの移動の結果として距離Aが変わる場合、このためにブロックすることができる。さらに、顕微鏡2が枢動点21の回りを一定距離A移動するそのような移動のみが、駆動デバイスによって可能になり、又は生成されることが可能である。 In a fourth step S4, the drive and/or braking device of the stand 3 of the microscopy system 1 (see e.g. FIG. (Refer to 3) Operates to move. In this case, distance A can be a constant distance. However, this is not required. By way of example, the movements of the movable parts of the stand 3 about the rotation axes 4, 5, 6 can be blocked for this purpose if the distance A changes as a result of these movements. Furthermore, only such a movement in which the microscope 2 moves a certain distance A around the pivot point 21 can be enabled or generated by the drive device.
この動作は、制御デバイス7による開ループ/閉ループ制御を受けることができる。制御デバイス7は、光軸17の姿勢の決定、基準面19の決定、及び交点の決定を実施することもできる。 This operation can be subject to open-loop/closed-loop control by the control device 7. The control device 7 can also carry out the determination of the attitude of the optical axis 17, the determination of the reference plane 19, and the determination of the intersection point.
図2は、基準面19を決定するための概略フローチャートを示す。ここで、基準面点22(例えば図3b参照)が、第1の部分ステップS1aにおいて定義される。基準面点22は、決定すべき枢動点21と異なることができる。基準面点22を定義する種々の選択肢については既に説明した。例として、基準面点22は、ユーザにより設定される顕微鏡2の焦点として決定することができ、焦点はその後、再び変更することが可能である。基準面点22が少なくとも1つのマーカの姿勢に基づいて決定されることも同様に可能であり、この姿勢は、例えば画像ベースで決定することが可能である。さらに、基準面点22が視線方向検出に基づいて定義されることが可能である。基準点についての情報は、検索可能な形態で記憶することができ、基準面19及び枢動点21の簡単な再決定を可能にする。 FIG. 2 shows a schematic flowchart for determining the reference plane 19. Here, a reference plane point 22 (see for example FIG. 3b) is defined in a first partial step S1a. The reference plane point 22 can be different from the pivot point 21 to be determined. The various options for defining the reference surface point 22 have already been described. By way of example, the reference plane point 22 can be determined as the focus of the microscope 2 set by the user, and the focus can then be changed again. It is likewise possible for the reference surface point 22 to be determined on the basis of the pose of at least one marker, which can be determined on an image basis, for example. Furthermore, it is possible for the reference plane point 22 to be defined on the basis of line-of-sight direction detection. Information about the reference points can be stored in a retrievable form, allowing easy re-determination of the reference plane 19 and the pivot point 21.
更なる部分ステップ1bにおいて、基準面19は、平面として定義され、又は顕微鏡2の光軸17に直交して向けられ、基準面点22が配置される平面におけるエリアとして決定される。 In a further substep 1b, the reference plane 19 is defined as a plane or oriented perpendicular to the optical axis 17 of the microscope 2 and determined as the area in the plane in which the reference plane points 22 are located.
複数の基準面点22、特に少なくとも3つの基準面点が第1の部分ステップ1aにおいて決定されることが可能であり、次いで基準面19の姿勢及び/又は形状が、複数の基準面点22が基準面19に配置され、又は基準面19若しくは基準面19を含む平面から所定の尺度を超えずに離間されるように決定される。 A plurality of reference surface points 22, in particular at least three reference surface points, can be determined in a first partial step 1a, and then the pose and/or shape of the reference surface 19 is determined such that the plurality of reference surface points 22 are It is determined to be arranged on the reference plane 19 or to be spaced apart from the reference plane 19 or a plane including the reference plane 19 by a predetermined scale.
図3aは、解剖学的部位における解剖学的部位の開口部20の模式図を示す。顕微鏡2及び顕微鏡2の光軸17も示されている。ここで、顕微鏡2は異なる向きで示されている。枢動点21が基準面19に配置されることが更に明らかであ、基準面19の姿勢及び形状は、解剖学的部位の開口部20により囲まれるエリアが基準面19を形成するように定義される。 Figure 3a shows a schematic illustration of an anatomical opening 20 in an anatomical site . The microscope 2 and the optical axis 17 of the microscope 2 are also shown. Here, the microscope 2 is shown in different orientations. It is further evident that the pivot point 21 is located at the reference plane 19, the orientation and shape of which is defined such that the area enclosed by the opening 20 of the anatomical region forms the reference plane 19. be done.
解剖学的部位の開口部20は例えば、下の構造へのアクセスを得るために、神経外科手術中、患者の頭蓋骨に導入される頭蓋開口部であることができる。洞穴23が脳に規則正しく作成され、その直径は頭蓋開口部の直径よりも大きい。上記基準面19の点として枢動点21を定義することは有利なことに、例えば頭蓋開口部を含む頭蓋構造によりビューが妨げられずに、ユーザ、例えば神経外科医が顕微鏡2を通して異なる視線方向から洞穴の基底面を見ることができることを意味し、この実現は更に、少数のみの自由度での構成要素を移動により可能になる。枢動点21から独立して、顕微鏡2の焦点24を設定することも可能である。したがって特に、枢動点21の位置を変えずに焦点24の位置を変更することが可能である。 The anatomical opening 20 can be, for example, a cranial opening introduced into a patient's skull during a neurosurgical procedure to gain access to underlying structures. Sinuses 23 are regularly created in the brain, the diameter of which is larger than the diameter of the cranial opening. Defining the pivot point 21 as a point of said reference plane 19 advantageously allows a user, e.g. a neurosurgeon, to look through the microscope 2 from different viewing directions without the view being obstructed by cranial structures, e.g. including cranial openings. This means that the base of the cave can be seen, and this realization is further made possible by moving the components with only a small number of degrees of freedom. It is also possible to set the focus 24 of the microscope 2 independently of the pivot point 21. In particular, it is therefore possible to change the position of the focal point 24 without changing the position of the pivot point 21.
図3bは、解剖学的部位における解剖学的部位の開口部20の更なる模式図を示す。同様に、顕微鏡2及び顕微鏡2の光軸17も示される。枢動点21が基準面19に配置されることが更に明らかであり、基準面19の姿勢及び形状は、解剖学的部位の開口部20により囲まれるエリアが基準面19を形成するように定義される。 Figure 3b shows a further schematic representation of the anatomical site opening 20 at the anatomical site . Similarly, the microscope 2 and the optical axis 17 of the microscope 2 are also shown. It is further evident that the pivot point 21 is located at the reference plane 19, the orientation and shape of which is defined such that the area enclosed by the opening 20 of the anatomical region forms the reference plane 19. be done.
例えばユーザにより位置決めすることができる姿勢マーキング器具24も示されている。例えば姿勢検出デバイス(図示せず)により検出可能な姿勢マーキング器具24の姿勢は、姿勢マーキング器具24の先端部により定義される。光学的に検出可能なマーカ要素25が模式的に示され、マーカ要素は姿勢検出デバイスにより検出することができ、先端部により定義される姿勢は次いで、これらの撮像されたマーカ要素25に基づいて決定可能である。マーカ要素25は、標的9(図4参照)の一部であることができる。基準面点22が姿勢マーキング器具24により定義されることも示されている。上記基準面点は基準面19を定義し、基準面19は同時に、顕微鏡2の光軸17に直交して向けられる。 Also shown is a posture marking device 24 that can be positioned, for example, by a user. For example, the posture of posture marking instrument 24 that can be detected by a posture detection device (not shown) is defined by the tip of posture marking instrument 24 . Optically detectable marker elements 25 are schematically shown, the marker elements can be detected by a pose sensing device, and the pose defined by the tip is then determined based on these imaged marker elements 25. Determinable. The marker element 25 can be part of the target 9 (see FIG. 4). It is also shown that a reference plane point 22 is defined by an attitude marking instrument 24. The reference plane points define a reference plane 19, which is at the same time oriented perpendicular to the optical axis 17 of the microscope 2.
図4は、本発明による顕微鏡法システム1の模式図を示す。顕微鏡法システム1は顕微鏡2を備え、顕微鏡2は、顕微鏡2を保持するスタンド3上に、特にスタンド3の自由端部に配置される。スタンド3は、顕微鏡2の姿勢、即ち位置及び/又は向きを変えるために、顕微鏡2を移動できるようにする。基準座標系は、垂直軸z及び長手方向軸xを用いて示されている。垂直軸zはここでは、重力の方向と平行し、重力の逆に向けられる。長手方向軸xは垂直軸zに直交して向けられる。基準座標系の横断軸(図示せず)は、ここでは、長手方向軸x及び垂直軸zに直交して向けられ、軸x、zはデカルト座標系を形成する。 FIG. 4 shows a schematic diagram of a microscopy system 1 according to the invention. The microscopy system 1 comprises a microscope 2, which is arranged on a stand 3 holding the microscope 2, in particular at the free end of the stand 3. The stand 3 allows the microscope 2 to be moved in order to change its attitude, ie its position and/or orientation. The reference coordinate system is shown with a vertical axis z and a longitudinal axis x. The vertical axis z is here parallel to the direction of gravity and oriented against it. The longitudinal axis x is oriented orthogonally to the vertical axis z. The transverse axis (not shown) of the reference coordinate system is here oriented orthogonally to the longitudinal axis x and the vertical axis z, the axes x, z forming a Cartesian coordinate system.
示されるスタンド3は、顕微鏡2を保持し、移動させる運動学的構造の一例である。当業者は当然ながら、他の運動学的構造を使用してもよいことがわかる。 The stand 3 shown is an example of a kinematic structure for holding and moving the microscope 2. Those skilled in the art will understand that other kinematic configurations may be used.
スタンド3は、顕微鏡2を移動させる駆動デバイス(図示せず)を備える。ここでは、駆動デバイスは例えば、回転軸4、5、6及び垂直軸zと平行する回転軸の回りのスタンド3の可動部品の回転移動を可能にすることができる。制御デバイス7も示されており、制御デバイス7は、駆動デバイス(図示せず)の制御に使用され、例えばマイクロコントローラを含み得る。この場合、制御デバイス7は制御・評価デバイスを形成することができる。 The stand 3 includes a drive device (not shown) for moving the microscope 2. Here, the drive device may for example enable a rotational movement of the movable parts of the stand 3 about a rotation axis parallel to the rotation axes 4, 5, 6 and the vertical axis z. Also shown is a control device 7, which is used to control a drive device (not shown) and may for example include a microcontroller. In this case, the control device 7 can form a control and evaluation device.
さらに、制御デバイス7は、スタンド3の制動デバイス(図示せず)を制御することもでき、これは、可動部品の回転移動を制動又は阻止することができる。 Furthermore, the control device 7 can also control a braking device (not shown) of the stand 3, which can brake or prevent rotational movement of the movable parts.
制御デバイス7により、駆動デバイスは特に、顕微鏡2が特に基準座標系において所望の移動を実施するように制御することができる。例として、顕微鏡2を所望の向きで所望の空間位置に位置決めすることが可能である。さらに、制御デバイス7は、顕微鏡2の動作パラメータ及び/又は移動パラメータを調整して、例えば、顕微鏡2の合焦値を調整するように機能することもできる。このために、制御デバイス7は、顕微鏡2及び/又は駆動デバイスに信号接続且つ/又はデータ接続することができる。 By means of the control device 7, the drive device can in particular be controlled in such a way that the microscope 2 carries out the desired movement, especially in the reference coordinate system. By way of example, it is possible to position the microscope 2 in a desired orientation and at a desired spatial position. Furthermore, the control device 7 can also serve to adjust operating parameters and/or movement parameters of the microscope 2, for example to adjust the focus value of the microscope 2. For this purpose, the control device 7 can have a signal connection and/or a data connection to the microscope 2 and/or the drive device.
顕微鏡法システム1は、ユーザ8により保持され移動することができる器具19の姿勢を検出する姿勢検出デバイスを更に備える。器具19は特に姿勢マーキング器具24であることができ、姿勢マーキング器具24は例えば図3bに示されている。ユーザ8は、例えば外科医であることができる。姿勢検出デバイスは、少なくとも1つのマーカ要素25(例えば図4参照)を有する少なくとも1つの標的9と、標的を捕捉する少なくとも1つの画像捕捉デバイス10と備える。姿勢検出デバイスにより、画像捕捉デバイスに対する標的9の姿勢は、特に姿勢検出デバイスの座標系において決定することができる。この場合、標的9は、少なくとも1つの受動マーカ要素25、好ましくは3つの受動マーカ要素25を含む。 The microscopy system 1 further comprises a posture detection device for detecting the posture of the instrument 19 that can be held and moved by the user 8 . The instrument 19 can in particular be a posture marking instrument 24, which is shown for example in FIG. 3b. User 8 may be a surgeon, for example. The pose detection device comprises at least one target 9 with at least one marker element 25 (see for example FIG. 4) and at least one image capture device 10 for capturing the target. With the pose detection device, the pose of the target 9 with respect to the image capture device can be determined, in particular in the coordinate system of the pose detection device. In this case, the target 9 comprises at least one passive marker element 25, preferably three passive marker elements 25.
図4は、標的9が器具19に締着されることを示す。器具19は、例えば吸引器として構成することができる。器具19はこの場合、標的9が画像捕捉デバイス10の捕捉領域に配置されるようにユーザ8により保持される。 FIG. 4 shows that the target 9 is fastened to the instrument 19. The device 19 can be configured as a suction device, for example. The instrument 19 is in this case held by the user 8 such that the target 9 is placed in the capture area of the image capture device 10.
器具19の姿勢は、画像ベースで、決定中の標的9の姿勢により、姿勢検出デバイスにより検出することができ、器具19の姿勢は次いで、器具19上の標的9の固定された配置を考慮して決定することもできる。標的9と器具19との間の相対姿勢は、この場合、事前に既知であり得、例えばレジストレーションにより決定し得る。 The pose of the instrument 19 can be detected by a pose detection device on an image basis, with the pose of the target 9 being determined, the pose of the instrument 19 then taking into account the fixed placement of the target 9 on the instrument 19. It can also be determined. The relative position between target 9 and instrument 19 may in this case be known in advance and may be determined, for example, by registration.
顕微鏡法システム1の画像捕捉デバイス10、例えばCCDカメラも示されている。画像捕捉デバイス10は、顕微鏡2の顕微鏡本体16に配置される。特に、画像捕捉デバイスは顕微鏡本体16の筐体に配置される。さらに、画像捕捉デバイス10は特に、顕微鏡2の一部に機械的に固設され、したがって、上記部分に対して固定位置に配置される。 Also shown is an image capture device 10 of the microscopy system 1, for example a CCD camera. The image capture device 10 is arranged in the microscope body 16 of the microscope 2. In particular, the image capture device is placed in the housing of the microscope body 16. Furthermore, the image capture device 10 is in particular mechanically fixed to a part of the microscope 2 and thus arranged in a fixed position relative to said part.
画像捕捉デバイス10と制御デバイス7との間に信号接続及び/又はデータ接続12も示されている。例えば姿勢検出デバイスの一部であり得る制御デバイス7又は評価デバイス(図示せず)により、姿勢検出デバイスの三次元座標系において標的9と捕捉デバイス10との間の相対姿勢を決定することが可能である。例として、画像捕捉デバイス10の二次元画像座標系における標的9の姿勢を決定し、次いでこの姿勢に基づいて、姿勢検出デバイスの座標系における姿勢を決定することが可能である。この場合、位置及び向きは両方とも、姿勢検出デバイスの三次元座標系において決定することができる。したがって、標的9を器具19に締着することにより、姿勢検出デバイスの座標系、ひいては基準座標系における器具19の姿勢を決定することも可能である。特に、標的9の姿勢の変化、ひいては器具19の姿勢の変化は、姿勢検出デバイスにより検出することができる。 A signal and/or data connection 12 between the image capture device 10 and the control device 7 is also shown. By means of a control device 7 or an evaluation device (not shown), which may for example be part of the attitude detection device, it is possible to determine the relative attitude between the target 9 and the acquisition device 10 in the three-dimensional coordinate system of the attitude detection device. It is. By way of example, it is possible to determine the pose of the target 9 in the two-dimensional image coordinate system of the image capture device 10 and then, based on this pose, determine the pose in the coordinate system of the pose detection device. In this case, both position and orientation can be determined in the three-dimensional coordinate system of the pose sensing device. By fastening the target 9 to the instrument 19, it is therefore also possible to determine the attitude of the instrument 19 in the coordinate system of the attitude detection device and thus in the reference coordinate system. In particular, changes in the posture of the target 9 and thus of the instrument 19 can be detected by a posture detection device.
顕微鏡法システム1が動作する前、姿勢検出デバイスの座標系は、示される基準座標系とレジストレーションすることができる。換言すれば、姿勢検出デバイスの座標系における姿勢を基準座標系に変換するための変換ルールを決定することができる。 Before the microscopy system 1 is operated, the coordinate system of the pose sensing device can be registered with the reference coordinate system shown. In other words, a conversion rule for converting the posture in the coordinate system of the posture detection device to the reference coordinate system can be determined.
図4は、画像捕捉デバイス10が顕微鏡本体16内に配置されることを示す。当然ながら、これらを顕微鏡本体16の外側で顕微鏡本体16に締着することも可能である。画像捕捉デバイスを顕微鏡法システム1に締着せず、むしろ、顕微鏡法システム1のスタンド3と異なる姿勢検出デバイスのスタンドに締着することも可能である。 FIG. 4 shows that the image capture device 10 is placed within the microscope body 16. Of course, it is also possible to fasten these to the microscope body 16 on the outside of the microscope body 16. It is also possible not to fasten the image capture device to the microscopy system 1, but rather to a stand of the attitude detection device that is different from the stand 3 of the microscopy system 1.
標的9の姿勢は、画像捕捉デバイス10の厳密に1つの二次元画像表現により検出することができる。 The pose of the target 9 can be detected by exactly one two-dimensional image representation of the image capture device 10.
手術台14に横になっている患者13も示されている。顕微鏡2が接眼レンズ15を備えることも示され、ユーザ8は接眼レンズ15を見て、顕微鏡2を通して患者13の部分領域を特に拡大して見る。 Also shown is a patient 13 lying on an operating table 14. The microscope 2 is also shown to be equipped with an eyepiece 15 , through which the user 8 looks and sees a partial area of the patient 13 through the microscope 2 under particular magnification.
顕微鏡2の光軸17も示されている。顕微鏡2から患者13へのこの光軸に沿ったビーム方向において、画像捕捉デバイス10は、顕微鏡2のガラスプレート18の前方に配置され、ガラスプレート18は、外部環境から顕微鏡本体16の筐体内部を閉鎖する。したがって、ガラスプレート18は、画像捕捉デバイス10と観測すべき患者13との間に配置される。 The optical axis 17 of the microscope 2 is also shown. In the direction of the beam from the microscope 2 to the patient 13 along this optical axis, the image capture device 10 is placed in front of the glass plate 18 of the microscope 2, which protects the interior of the housing of the microscope body 16 from the external environment. will be closed. Glass plate 18 is therefore placed between image capture device 10 and patient 13 to be observed.
この場合、姿勢を検出する画像捕捉デバイス10の捕捉領域は、患者又は患者13の身体領域を拡大して示す顕微鏡の捕捉領域と少なくとも部分的に重なる。 In this case, the capture area of the image capture device 10 for detecting posture at least partially overlaps with the capture area of the microscope, which shows a magnified body area of the patient or the patient 13.
例えば手を使って器具19を動かすことにより、ユーザ8が標的9を動かし、したがって、標的9の姿勢を変えることが可能である。姿勢の変化はこの場合、姿勢検出デバイスにより検出することができ、このように設定された姿勢は次いで、基準表面点22(図3b参照)の姿勢として決定することが可能である。 By moving the instrument 19, for example using the hand, it is possible for the user 8 to move the target 9 and thus change its pose. The change in pose can in this case be detected by a pose detection device, and the pose set in this way can then be determined as the pose of the reference surface point 22 (see FIG. 3b).
スタンド3の可動部品間の相対姿勢を検出する角度センサは示されず、制御デバイス7は、角度センサからの出力信号に基づいて、顕微鏡2の空間姿勢、特に光軸17の空間姿勢も決定することが可能である。 An angle sensor for detecting the relative orientation between the movable parts of the stand 3 is not shown, and the control device 7 also determines the spatial orientation of the microscope 2, in particular the spatial orientation of the optical axis 17, based on the output signal from the angle sensor. is possible.
顕微鏡法システムは、顕微鏡2が枢動点21の回りを一定距離A(図3a参照)移動するように、制御デバイス7により動作可能であり、枢動点21は、顕微鏡2の光軸17と基準面19との交点である。さらに、基準面19は、データに基づいて、特に制御デバイス7により決定することができる。これについては既に上述した。 The microscopy system is operable by a control device 7 such that the microscope 2 is moved a fixed distance A (see FIG. 3a) around a pivot point 21, which pivot point 21 is aligned with the optical axis 17 of the microscope 2. This is the intersection with the reference plane 19. Furthermore, the reference plane 19 can be determined on the basis of data, in particular by the control device 7 . This has already been mentioned above.
1 顕微鏡法システム
2 顕微鏡
3 スタンド
4 回転軸
5 回転軸
6 回転軸
7 制御デバイス
8 ユーザ
9 標的
10 画像捕捉デバイス
12 信号接続及び/又はデータ接続
13 患者
14 手術台
15 接眼レンズ
16 顕微鏡本体
17 光軸
18 ガラスプレート
19 器具
20 解剖学的部位の開口部
21 枢動点
22 基準面点
23 洞穴
24 姿勢マーキング器具
25 マーカ要素
26 焦点
A 距離
S1 第1のステップ
S2 第2のステップ
S2a 第1の部分ステップ
S2b 第2の部分ステップ
S3 第3のステップ
S4 第4のステップ
1 Microscopy system 2 Microscope 3 Stand 4 Axis of rotation 5 Axis of rotation 6 Axis of rotation 7 Control device 8 User 9 Target 10 Image capture device 12 Signal and/or data connection 13 Patient 14 Operating table 15 Eyepiece 16 Microscope body 17 Optical axis 18 Glass plate 19 Instrument 20 Anatomical site opening
21 Pivot point 22 Reference plane point 23 Cave 24 Attitude marking instrument 25 Marker element 26 Focus A Distance S1 First step S2 Second step S2a First partial step S2b Second partial step S3 Third step S4 th Step 4
Claims (19)
前記基準面(19)の姿勢についての情報は、検索可能な形態で記憶され、前記基準面(19)についての前記記憶された情報は、前記光軸(17)の前記姿勢が変化した後、前記枢動点(21)を決定するために検索され、前記枢動点(21)は、変化した後の姿勢での前記光軸(17)と前記記憶された基準面(19)との交点として決定されることを特徴とする、方法。 A method of operation of a microscopy system (1), wherein a pivot point (21) is defined, the microscope (2) of the microscopy system (1) The intersection of the optical axis (17) of the microscope (2) and the reference plane (19) is determined as the pivot point (21), and the intersection of the optical axis (17) of the microscope (2) and the reference plane (19) ) is defined in a reference coordinate system independent from the focal point position, and the pivot point (21) is defined in the reference coordinate system independent of the focal point position and/or orientation of the optical axis (17) in the reference coordinate system. ) and a reference plane so defined, said reference plane (19) is determined, the method comprising:
Information about the attitude of the reference plane (19) is stored in a searchable form, and the stored information about the reference plane (19) is stored after the attitude of the optical axis (17) has changed. The pivot point (21) is searched to determine the pivot point (21), which is the intersection of the optical axis (17) and the stored reference plane (19) in the changed attitude. A method, characterized in that:
・顕微鏡(2)と、
・前記顕微鏡(2)を保持するスタンド(3)と、
・前記顕微鏡法システム(1)を制御する少なくとも1つの制御・評価デバイス(7)であって、前記顕微鏡法システム(1)は、前記顕微鏡(2)が枢動点(21)の回りを移動するように動作可能であり、基準面(19)が決定可能であり、前記顕微鏡(2)の光軸(17)と基準面(19)との交点が、前記枢動点(21)として決定可能であり、前記基準面(19)の位置及び/又は向きを表す前記基準面(19)の姿勢は、焦点位置から独立した基準座標系において定義され、前記枢動点(21)は、前記基準座標系における前記光軸(17)とそうして定義される基準面との交点として定義され、前記基準面(19)が決定される、少なくとも1つの制御・評価デバイス(7)と、
を備える顕微鏡法システムであって、
前記基準面(19)の姿勢についての情報は、検索可能な形態で記憶され、前記基準面(19)についての前記記憶された情報は、前記光軸(17)の前記姿勢が変化した後、前記枢動点(21)を決定するために検索され、前記枢動点(21)は、変化した後の姿勢での前記光軸(17)と前記記憶された基準面(19)との交点として決定されることを特徴とする顕微鏡法システム。 A microscopy system comprising:
・Microscope (2) and
- a stand (3) for holding the microscope (2);
- at least one control and evaluation device (7) for controlling said microscopy system (1), wherein said microscopy system (1) is arranged such that said microscope (2) moves around a pivot point (21); and a reference plane (19) can be determined, and the intersection of the optical axis (17) of the microscope (2) and the reference plane (19) is determined as the pivot point (21). The pose of the reference surface (19) representing the position and/or orientation of the reference surface (19) is defined in a reference coordinate system independent of the focal point position, and the pivot point (21) is at least one control and evaluation device (7) defined as the intersection of said optical axis (17) in a reference coordinate system with a reference plane so defined, said reference plane (19) being determined;
A microscopy system comprising:
Information about the attitude of the reference plane (19) is stored in a searchable form, and the stored information about the reference plane (19) is stored after the attitude of the optical axis (17) has changed. The pivot point (21) is searched to determine the pivot point (21), which is the intersection of the optical axis (17) and the stored reference plane (19) in the changed attitude. A microscopy system characterized in that it is determined as:
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020211133.2 | 2020-09-03 | ||
DE102020211133.2A DE102020211133A1 (en) | 2020-09-03 | 2020-09-03 | Method for operating a microscopy system and microscopy system |
PCT/EP2021/074011 WO2022049069A1 (en) | 2020-09-03 | 2021-08-31 | Method for operating a microscopy system, and microscopy system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2023538972A JP2023538972A (en) | 2023-09-12 |
JPWO2022049069A5 true JPWO2022049069A5 (en) | 2023-12-27 |
JP7450115B2 JP7450115B2 (en) | 2024-03-14 |
Family
ID=77801712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023514840A Active JP7450115B2 (en) | 2020-09-03 | 2021-08-31 | Method of operation of the microscopy system and microscopy system |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230204933A1 (en) |
EP (1) | EP4208750A1 (en) |
JP (1) | JP7450115B2 (en) |
CN (1) | CN116324570B (en) |
DE (1) | DE102020211133A1 (en) |
WO (1) | WO2022049069A1 (en) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH066136B2 (en) * | 1991-12-25 | 1994-01-26 | 佐原 今朝徳 | Stand equipment for medical optical equipment |
DE4416178B4 (en) * | 1993-05-07 | 2007-11-08 | Olympus Optical Co., Ltd. | Surgical microscope |
JP3318041B2 (en) * | 1993-05-17 | 2002-08-26 | オリンパス光学工業株式会社 | Surgical microscope |
JP3636229B2 (en) * | 1994-09-12 | 2005-04-06 | オリンパス株式会社 | Surgical microscope equipment |
US20040236352A1 (en) * | 1997-09-22 | 2004-11-25 | Yulun Wang | Method and apparatus for performing minimally invasive cardiac procedures |
DE10204430A1 (en) * | 2002-02-04 | 2003-08-07 | Zeiss Carl | Stereo microscopy method and stereo microscopy system |
JP4024584B2 (en) * | 2002-04-24 | 2007-12-19 | オリンパス株式会社 | Surgical observation device |
DE10353961B4 (en) | 2003-11-19 | 2005-09-22 | Carl Zeiss | Microscopy system and method for controlling a microscopy system |
DE50304977D1 (en) | 2003-12-05 | 2006-10-19 | Moeller Wedel Gmbh | Method and device for observing objects with a microscope |
DE102014210046B4 (en) | 2014-05-27 | 2021-03-18 | Carl Zeiss Meditec Ag | Surgical microscope system |
JP6401979B2 (en) | 2014-09-04 | 2018-10-10 | オリンパス株式会社 | Microscope system |
JP2018075121A (en) | 2016-11-08 | 2018-05-17 | ソニー株式会社 | Medical support arm apparatus |
JP2018075218A (en) * | 2016-11-10 | 2018-05-17 | ソニー株式会社 | Medical support arm and medical system |
-
2020
- 2020-09-03 DE DE102020211133.2A patent/DE102020211133A1/en active Pending
-
2021
- 2021-08-31 WO PCT/EP2021/074011 patent/WO2022049069A1/en active Search and Examination
- 2021-08-31 CN CN202180054289.3A patent/CN116324570B/en active Active
- 2021-08-31 JP JP2023514840A patent/JP7450115B2/en active Active
- 2021-08-31 EP EP21772754.4A patent/EP4208750A1/en active Pending
-
2023
- 2023-03-03 US US18/117,377 patent/US20230204933A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2575586B2 (en) | Surgical device positioning system | |
US11207139B2 (en) | 3D navigation system and methods | |
CN110398830B (en) | Microscope system and method for operating a microscope system | |
US11890067B2 (en) | Positioning arm for a surgical navigation system | |
JP4472085B2 (en) | Surgical navigation system | |
CN108433809B (en) | Device for setting and retrieving a reference point during a surgical procedure | |
JP2018027288A (en) | Surgical robot for stereotactic surgery and control method of surgical robot for stereotactic surgery | |
KR20170035831A (en) | Intelligent positioning system and methods therefore | |
CN112805999B (en) | Enhanced optical imaging system for medical procedures | |
WO2023067415A1 (en) | Robotically coordinated virtual or augmented reality | |
WO2021199979A1 (en) | Information processing device, information processing system, and information processing method | |
JP7450115B2 (en) | Method of operation of the microscopy system and microscopy system | |
WO2009027088A9 (en) | Augmented visualization in two-dimensional images | |
Palma et al. | Comparative evaluation of monocular augmented-reality display for surgical microscopes | |
JPWO2022049069A5 (en) | ||
JP2024505269A (en) | Surgical auxiliary system including surgical microscope and camera and display method | |
US11627868B2 (en) | Systems and methods for controlling autofocus operations | |
US20230026585A1 (en) | Method and system for determining a pose of at least one object in an operating theatre | |
EP3936080A1 (en) | Navigated medical imaging | |
US20230329804A1 (en) | Trackable retractor systems, apparatuses, devices, and methods | |
JP2004016357A (en) | Observation system for medical operation | |
KR20200039389A (en) | Surgical robot system for stereotactic surgery and method for controlling a stereotactic surgery robot |