JP2018047240A - Surgery support terminal and program - Google Patents

Surgery support terminal and program Download PDF

Info

Publication number
JP2018047240A
JP2018047240A JP2017178979A JP2017178979A JP2018047240A JP 2018047240 A JP2018047240 A JP 2018047240A JP 2017178979 A JP2017178979 A JP 2017178979A JP 2017178979 A JP2017178979 A JP 2017178979A JP 2018047240 A JP2018047240 A JP 2018047240A
Authority
JP
Japan
Prior art keywords
bone
captured image
image
unit
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017178979A
Other languages
Japanese (ja)
Other versions
JP7012302B2 (en
Inventor
麻帆 稲垣
Maho Inagaki
麻帆 稲垣
健仁 道家
Takehito Doke
健仁 道家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligence Factory LLC
Medica Scientia
Medica Scientia Co Ltd
Original Assignee
Intelligence Factory LLC
Medica Scientia
Medica Scientia Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligence Factory LLC, Medica Scientia, Medica Scientia Co Ltd filed Critical Intelligence Factory LLC
Publication of JP2018047240A publication Critical patent/JP2018047240A/en
Application granted granted Critical
Publication of JP7012302B2 publication Critical patent/JP7012302B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Prostheses (AREA)

Abstract

PROBLEM TO BE SOLVED: To perform during-surgery support of surgery with high accuracy and at low cost.SOLUTION: A first surgery support terminal 2 is configured so that, a CPU of a central control part 201 functions as: first acquisition means for acquiring a reference image related to a three-dimensional shape of a bone to which an implant of a patient is going to be attached and jig information containing at least one of an orientation and a position of a jig for guiding and supporting attachment of the implant to the bone on the three-dimensional model based on the reference image; picked up image acquisition means for acquiring successively, a picked up image in which a surface of the bone of the patient is imaged; estimation means for collating the successively acquired picked up images with the acquired reference image, for estimating a posture in the bone in the picked up images; and first display control means for, based on the posture of the bone in the estimated picked up images, and the acquired jig information, superposing a first expanded real image for indicating virtually, at least one of the orientation and position of the jig to the successively acquired picked up images and displaying the same on a display part 206.SELECTED DRAWING: Figure 4

Description

本発明は、外科手術、特に、患者の体内に整形外科用のインプラントを取付ける整形外科手術を支援する手術支援端末及びプログラムに関する。   The present invention relates to a surgical operation terminal and a program for supporting a surgical operation, in particular, an orthopedic surgical operation for mounting an orthopedic implant in a patient's body.

従来、膝関節や股関節などを金属やセラミックス製の人工関節に置き換える置換手術が知られている。また、脊椎の固定、矯正及び安定化等のために脊椎ケージや人工椎体などを取付け固定する外科手術も知られている。
これらのインプラントを体内の所定位置に取付ける場合、患者に最適の形状及び寸法のものを最適の角度及び位置で設置することが重要である。 Conventionally, replacement surgery is known in which knee joints, hip joints, and the like are replaced with metal or ceramic artificial joints. In addition, a surgical operation for attaching and fixing a spine cage or an artificial vertebral body for fixing, correcting, and stabilizing the spine is also known.
When mounting these implants in place in the body, it is important to place them in the optimal angle and position with the optimal shape and dimensions for the patient.

そこで、近年では、患者のインプラントの取付部位の医療用断層画像を用いて、取付け予定のインプラントの形状や寸法や取付角度、必要に応じて骨切り量や骨切り位置等をシミュレーションする術前計画が行われるようになっている（例えば、特許文献１参照）。
また、術中に、患者の骨などに固定されたマーカの位置を光学的に追跡し、当該マーカの絶対座標を利用して骨切り量や骨切り位置等を指示するナビゲーションシステムも開発されている。 Therefore, in recent years, preoperative planning that uses the medical tomographic image of the patient's implant attachment site to simulate the shape, dimensions, and attachment angle of the implant to be attached, and the amount of osteotomy and position as necessary. (For example, refer to Patent Document 1).
In addition, a navigation system has been developed that optically tracks the position of a marker fixed to a patient's bone or the like during the operation and uses the absolute coordinates of the marker to indicate the amount of osteotomy and the osteotomy position. .

特開２００９−８２４４４号公報JP 2009-82444 A

しかしながら、ナビゲーションシステムでは、マーカの着脱作業が必要となるために手術時間がより長時間化してしまい、さらに、患者の骨の手術する部位とは異なる部位にマーカのピンを刺入するために侵襲部位が増大してしまうといった問題がある。   However, in the navigation system, since the marker needs to be attached and detached, the operation time becomes longer, and moreover, it is invasive because the marker pin is inserted into a part of the patient's bone different from the part to be operated. There exists a problem that a site | part will increase.

さらに、ナビゲーションシステムは、高額で装置自体も大きく、普及率が高くないといった問題もある。なお、例えば、三次元空間の一つの軸方向（例えば、Ｚ軸方向等）の精度を犠牲することで比較的安いコストで導入可能な簡易型のナビゲーションシステムも開発されているが、このシステムでは、術中に高精度での手術支援を実現することは困難である。例えば、膝関節を人工膝関節に置換する手術の場合、脛骨の回旋方向を適正に特定することができないために、骨切りやインプラントの取付けを案内する治具の取付け精度が低下し、結果として、インプラントの取付け精度が低下してしまう。   Furthermore, the navigation system has a problem that it is expensive, the device itself is large, and the diffusion rate is not high. For example, a simple navigation system that can be introduced at a relatively low cost by sacrificing accuracy in one axial direction (for example, the Z-axis direction) of a three-dimensional space has been developed. It is difficult to achieve high-precision surgical support during surgery. For example, in the case of surgery to replace the knee joint with an artificial knee joint, the rotation direction of the tibia cannot be properly specified, so the mounting accuracy of the jig that guides the osteotomy and implant mounting is reduced, and as a result As a result, the mounting accuracy of the implant is lowered.

加えて、上記のシステムでは、術前に撮像された患者のインプラントの取付部位の医療用断層画像を用いて計画されたデータを基に、術中に手術支援を行うようになっているため、例えば、骨切りが行われる手術では、術中に骨切り後の骨の状態を反映させて手術支援を行うことができないといった問題もある。   In addition, in the above-described system, surgical support is performed during surgery based on data planned using a medical tomographic image of a patient's implant attachment site imaged before surgery. In the operation in which osteotomy is performed, there is also a problem that the operation support cannot be performed by reflecting the state of the bone after the osteotomy during the operation.

本発明は、このような問題に鑑みてなされたものであり、外科手術の術中支援を高精度で、且つ、低コストで行うことを課題とする。   This invention is made | formed in view of such a problem, and makes it a subject to perform the intraoperative assistance of a surgical operation with high precision and low cost.

上記課題を解決するため、本発明の一態様の手術支援端末は、
患者のインプラントが取付けられる予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対するインプラントの取付けを案内支援するための治具の向き及び位置のうちの少なくとも一方を含む治具情報とを取得する第１取得手段と、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段と、
前記撮像画像取得手段により逐次取得された撮像画像と前記第１取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段と、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第１取得手段により取得された前記治具情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記治具の向き及び位置のうちの少なくとも一方を仮想的に表す第１拡張現実画像を重畳させて表示部に表示させる第１表示制御手段と、
を備えることを特徴としている。 In order to solve the above problems, the surgery support terminal according to one aspect of the present invention is provided.
A reference image relating to a three-dimensional shape of a bone to which a patient's implant is to be attached, and a direction and a position of a jig for guiding and supporting the attachment of the implant to the bone on a three-dimensional model based on the reference image First acquisition means for acquiring jig information including at least one of:
Captured image acquisition means for sequentially acquiring captured images obtained by imaging the surface of the bone of the patient;
An estimation unit that compares the captured image sequentially acquired by the captured image acquisition unit with the reference image acquired by the first acquisition unit and estimates the posture of the bone in the captured image;
Based on the posture of the bone in the captured image estimated by the estimation unit and the jig information acquired by the first acquisition unit, the captured image sequentially acquired by the captured image acquisition unit First display control means for superimposing a first augmented reality image that virtually represents at least one of the orientation and position of the jig to be displayed on the display unit;
It is characterized by having.

また、本発明の一態様の手術支援端末は、
患者の骨加工される予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対する一の骨加工の向き及び位置のうちの少なくとも一方を含む骨加工情報とを取得する第２取得手段と、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段と、
前記撮像画像取得手段により逐次取得された撮像画像と前記第２取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段と、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記一の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す第２拡張現実画像を重畳させて表示部に表示させる第２表示制御手段と、
を備えることを特徴としている。 In addition, the surgery support terminal of one embodiment of the present invention includes:
Bone processing including at least one of a reference image related to a three-dimensional shape of a bone to be processed by a patient and a bone processing direction and position with respect to the bone on a three-dimensional model based on the reference image Second acquisition means for acquiring information;
Captured image acquisition means for sequentially acquiring captured images obtained by imaging the surface of the bone of the patient;
An estimation unit that compares the captured image sequentially acquired by the captured image acquisition unit with the reference image acquired by the second acquisition unit to estimate the posture of the bone in the captured image;
Based on the posture of the bone in the captured image estimated by the estimation unit and the bone processing information acquired by the second acquisition unit, the captured image sequentially acquired by the captured image acquisition unit A second display control unit that superimposes a second augmented reality image that virtually represents at least one of the direction and position of the one bone processing and displays the second augmented reality image on the display unit;
It is characterized by having.

本発明の一態様のプログラムは、
手術支援端末のコンピュータを、
患者のインプラントが取付けられる予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対するインプラントの取付けを案内支援するための治具の向き及び位置のうちの少なくとも一方を含む治具情報とを取得する第１取得手段、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段、
前記撮像画像取得手段により逐次取得された撮像画像と前記第１取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第１取得手段により取得された前記治具情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記治具の向き及び位置のうちの少なくとも一方を仮想的に表す第１拡張現実画像を重畳させて表示部に表示させる第１表示制御手段、
として機能させることを特徴としている。 The program of one embodiment of the present invention is:
The computer of the surgery support terminal
A reference image relating to a three-dimensional shape of a bone to which a patient's implant is to be attached, and a direction and a position of a jig for guiding and supporting the attachment of the implant to the bone on a three-dimensional model based on the reference image First acquisition means for acquiring jig information including at least one of
Captured image acquisition means for sequentially acquiring captured images obtained by imaging the surface of the bone of the patient;
An estimation unit that collates the captured image sequentially acquired by the captured image acquisition unit with the reference image acquired by the first acquisition unit, and estimates the posture of the bone in the captured image;
Based on the posture of the bone in the captured image estimated by the estimation unit and the jig information acquired by the first acquisition unit, the captured image sequentially acquired by the captured image acquisition unit First display control means for superimposing a first augmented reality image that virtually represents at least one of the orientation and position of the jig and displaying the first augmented reality image on the display unit;
It is characterized by making it function as.

本発明の一態様のプログラムは、
手術支援端末のコンピュータを、
患者の骨加工される予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対する一の骨加工の向き及び位置のうちの少なくとも一方を含む骨加工情報とを取得する第２取得手段、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段、
前記撮像画像取得手段により逐次取得された撮像画像と前記第２取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記一の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す第２拡張現実画像を重畳させて表示部に表示させる第２表示制御手段、
として機能させることを特徴としている。 The program of one embodiment of the present invention is:
The computer of the surgery support terminal
Bone processing including at least one of a reference image related to a three-dimensional shape of a bone to be processed by a patient and a bone processing direction and position with respect to the bone on a three-dimensional model based on the reference image Second acquisition means for acquiring information;
Captured image acquisition means for sequentially acquiring captured images obtained by imaging the surface of the bone of the patient;
An estimation unit that estimates the posture of the bone in the captured image by comparing the captured image sequentially acquired by the captured image acquisition unit with the reference image acquired by the second acquisition unit;
Based on the posture of the bone in the captured image estimated by the estimation unit and the bone processing information acquired by the second acquisition unit, the captured image sequentially acquired by the captured image acquisition unit A second display control means for superimposing a second augmented reality image that virtually represents at least one of the orientation and position of the one bone processing and displaying it on the display unit;
It is characterized by making it function as.

本発明によれば、外科手術の術中支援を高精度で、且つ、低コストで行うことができる。   According to the present invention, intraoperative support for a surgical operation can be performed with high accuracy and at low cost.

本発明を適用した実施形態１の手術支援システムの概略構成を模式的に示す図である。It is a figure which shows typically schematic structure of the surgery assistance system of Embodiment 1 to which this invention is applied. 図１の手術支援システムが用いられる人工膝関節置換術を説明するための斜視図である。It is a perspective view for demonstrating the artificial knee joint replacement technique in which the surgery assistance system of FIG. 1 is used. 図１の手術支援システムを構成する病院端末の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the hospital terminal which comprises the surgery assistance system of FIG. 図１の手術支援システムを構成する第１手術支援端末の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the 1st surgery assistance terminal which comprises the surgery assistance system of FIG. 図４の第１手術支援端末による第１術中支援処理に係る動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation | movement which concerns on the 1st intraoperative assistance process by the 1st surgery assistance terminal of FIG. 図５の第１術中支援処理における第１手術支援端末の表示画面の一例を模式的に示す図である。It is a figure which shows typically an example of the display screen of the 1st surgery assistance terminal in the 1st intraoperative assistance process of FIG. 本発明を適用した実施形態２の手術支援システムが用いられる人工股関節置換術を説明するための斜視図である。It is a perspective view for demonstrating the hip replacement by which the surgery assistance system of Embodiment 2 to which this invention is applied is used. 図７の手術支援システムを構成する第２手術支援端末の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the 2nd surgery assistance terminal which comprises the surgery assistance system of FIG. 図８の第２手術支援端末による第２術中支援処理に係る動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation | movement which concerns on the 2nd intraoperative assistance process by the 2nd surgery assistance terminal of FIG. 図９の第２術中支援処理における第２手術支援端末の表示画面の一例を模式的に示す図である。It is a figure which shows typically an example of the display screen of the 2nd surgery assistance terminal in the 2nd surgery support process of FIG.

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。   Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.

［実施形態１］
以下に、本発明を適用した実施形態１の手術支援システム１００について、図１〜図６を参照して説明する。
図１は、実施形態１の手術支援システム１００の概略構成を模式的に示す図である。また、図２は、手術支援システム１００が用いられる人工膝関節置換術を説明するための斜視図である。
なお、図２及び後述する図７には、手術台Ｔ上での患者Ｐが固定されていない状態を表しているが、医者が外科手術を施術し易くなるように固定されていても良い。 [Embodiment 1]
Below, the surgery assistance system 100 of Embodiment 1 to which this invention is applied is demonstrated with reference to FIGS.
FIG. 1 is a diagram schematically illustrating a schematic configuration of the surgery support system 100 according to the first embodiment. FIG. 2 is a perspective view for explaining an artificial knee joint replacement method in which the surgery support system 100 is used.
2 and FIG. 7 to be described later show a state in which the patient P on the operating table T is not fixed, but it may be fixed so that a doctor can easily perform a surgical operation.

実施形態１の手術支援システム１００は、人工膝関節置換術（図２参照）に用いられるシステムであり、具体的には、図１に示すように、病院内に設置された病院端末１と、外科手術の術中支援を行う第１手術支援端末２とを備えている。また、病院端末１と第１手術支援端末２とは、無線通信回線（例えば、無線ＬＡＮ（Local Area Network）等）を介して情報通信可能に接続されている。   The surgical operation support system 100 of Embodiment 1 is a system used for artificial knee joint replacement (see FIG. 2). Specifically, as shown in FIG. 1, a hospital terminal 1 installed in a hospital, And a first operation support terminal 2 that performs intraoperative support for the surgical operation. Further, the hospital terminal 1 and the first surgery support terminal 2 are connected so as to be capable of information communication via a wireless communication line (for example, a wireless local area network (LAN)).

＜病院端末＞
先ず、病院端末１について、図３を参照して詳細に説明する。図３は、病院端末１の機能的構成を示すブロック図である。
病院端末１は、例えば、ＰＣ（Personal Computer）等から構成され、人工膝関節置換術の術前計画を行うためのものである。具体的には、図３に示すように、病院端末１は、中央制御部１０１と、メモリ１０２と、記憶部１０３と、表示部１０４と、操作部１０５と、通信制御部１０６とを備えている。また、病院端末１の各部は、バス１０７を介して接続されている。 <Hospital terminal>
First, the hospital terminal 1 will be described in detail with reference to FIG. FIG. 3 is a block diagram showing a functional configuration of the hospital terminal 1.
The hospital terminal 1 is composed of, for example, a PC (Personal Computer) or the like, and is used for preoperative planning of artificial knee joint replacement. Specifically, as illustrated in FIG. 3, the hospital terminal 1 includes a central control unit 101, a memory 102, a storage unit 103, a display unit 104, an operation unit 105, and a communication control unit 106. Yes. Each unit of the hospital terminal 1 is connected via a bus 107.

中央制御部１０１は、当該病院端末１の各部を制御するものである。すなわち、中央制御部１０１は、図示は省略するが、ＣＰＵ（Central Processing Unit）を備え、ＣＰＵは、記憶部１０３に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出し、メモリ１０２のワークエリアに展開し、当該プログラムに従って各種処理を実行する。その際に、中央制御部１０１のＣＰＵは、メモリ１０２内に各種処理結果を格納させ、必要に応じてその処理結果を表示部１０４に表示させる。   The central control unit 101 controls each unit of the hospital terminal 1. That is, although not shown, the central control unit 101 includes a CPU (Central Processing Unit), and the CPU reads a designated program from among the system programs and application programs stored in the storage unit 103, and stores the memory. The data is expanded in the work area 102, and various processes are executed according to the program. At that time, the CPU of the central control unit 101 stores various processing results in the memory 102 and causes the display unit 104 to display the processing results as necessary.

メモリ１０２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１０１のＣＰＵにより読み出された各種のプログラムやデータを一時的に格納するワークエリアを有している。   The memory 102 is composed of, for example, a DRAM (Dynamic Random Access Memory) or the like, and has a work area for temporarily storing various programs and data read by the CPU of the central control unit 101.

記憶部１０３は、例えば、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＨＤＤ（Hard Disk Drive）等により構成され、データ及びプログラムを書き込み及び読み出し可能な記憶部である。
具体的には、記憶部１０３は、断層画像データＩ、術前計画用プログラム１０３ａ等を記憶している。 The storage unit 103 is configured by, for example, a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), an HDD (Hard Disk Drive), or the like, and is a storage unit that can write and read data and programs.
Specifically, the storage unit 103 stores tomographic image data I, a preoperative planning program 103a, and the like.

断層画像データＩは、例えば、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging system）装置などの医療用断層画像診断装置（図示略）により患者Ｐの人工関節により置換される患部が撮像された画像データである。すなわち、断層画像データＩは、例えば、人工膝関節置換術前に、医療用断層画像診断装置により患者Ｐの膝関節を構成する脛骨Ｂ１ａ及び大腿骨Ｂ１ｂが撮像された画像データである。
なお、断層画像データＩは、医療用断層画像診断装置から院内ＬＡＮ等のネットワークを介して病院端末１に送信されたものであっても良いし、メモリカード等の記憶媒体を介して病院端末１により取得されたものであっても良い。 The tomographic image data I is obtained, for example, by imaging an affected part to be replaced by an artificial joint of a patient P by a medical tomographic image diagnostic apparatus (not shown) such as an X-ray CT (Computed Tomography) apparatus or an MRI (Magnetic Resonance Imaging system) apparatus. Image data. That is, the tomographic image data I is, for example, image data obtained by imaging the tibia B1a and the femur B1b constituting the knee joint of the patient P by a medical tomographic image diagnostic apparatus before artificial knee joint replacement.
The tomographic image data I may be transmitted from the medical tomographic image diagnostic apparatus to the hospital terminal 1 via a network such as an in-hospital LAN, or the hospital terminal 1 via a storage medium such as a memory card. It may be acquired by.

術前計画用プログラム１０３ａは、人工関節置換術の術前計画処理に係る機能を実現させるプログラムである。
すなわち、中央制御部１０１のＣＰＵは、記憶部１０３から術前計画用プログラム１０３ａを読み出して、この術前計画用プログラム１０３ａに従って、取付け予定の人工膝関節（脛骨側部材や大腿骨側部材等の人工関節構成部材）の形状や寸法、脛骨Ｂ１ａに刺入される脛骨髄内ロッドの向き及び刺入点の位置、脛骨Ｂ１ａの骨切り位置、大腿骨Ｂ１ｂに刺入される大腿骨髄内ロッドの向き及び刺入点の位置、大腿骨Ｂ１ｂの骨切り位置等をシミュレーションにより特定する。 The preoperative planning program 103a is a program that realizes functions related to preoperative planning processing of artificial joint replacement.
That is, the CPU of the central control unit 101 reads the preoperative planning program 103a from the storage unit 103, and in accordance with the preoperative planning program 103a, the artificial knee joint to be attached (such as a tibial member or a femoral member) The shape and size of the artificial joint component), the orientation and position of the tibia intramedullary rod inserted into the tibia B1a, the osteotomy position of the tibia B1a, and the femoral intramedullary rod inserted into the femur B1b The orientation, the position of the insertion point, the osteotomy position of the femur B1b, and the like are specified by simulation.

なお、術前計画処理は、公知の技術であり、ここでは詳細な説明は省略するが、例えば、中央制御部１０１のＣＰＵは、上記した断層画像データＩから患者Ｐの脛骨Ｂ１ａや大腿骨Ｂ１ｂの三次元形状を表す画像データを生成する。そして、中央制御部１０１のＣＰＵは、表示部１０４に表示された脛骨Ｂ１ａや大腿骨Ｂ１ｂの三次元モデル上で座標系を構築し、人工膝関節を構成する脛骨側部材や大腿骨側部材（人工関節構成部材）の設置予定位置等をシミュレーションして特定する。   Note that the preoperative planning process is a known technique, and detailed description thereof is omitted here. For example, the CPU of the central control unit 101 uses the above-described tomographic image data I to determine the tibia B1a and femur B1b of the patient P. The image data representing the three-dimensional shape is generated. Then, the CPU of the central control unit 101 constructs a coordinate system on the three-dimensional model of the tibia B1a and the femur B1b displayed on the display unit 104, and constructs a tibial side member and a femoral side member ( The position where the artificial joint component is to be installed is identified by simulation.

また、中央制御部１０１のＣＰＵは、断層画像データＩに基づいて表示部１０４に表示された脛骨Ｂ１ａ及び大腿骨Ｂ１ｂの三次元モデル上での、脛骨Ｂ１ａや大腿骨Ｂ１ｂに対する脛骨側部材や大腿骨側部材の取付けを案内支援するための治具の適切な向き及び位置のうちの少なくとも一方を含む治具情報をシミュレーションして生成する。この治具情報は、シミュレーションにより自動的に生成されても良いし、医者による操作部１０５の所定操作に基づいて治具の向きや位置の微調整が行われても良い。   Further, the CPU of the central control unit 101 performs a tibial side member and a thigh on the tibia B1a and the femur B1b on the three-dimensional model of the tibia B1a and the femur B1b displayed on the display unit 104 based on the tomographic image data I. Jig information including at least one of an appropriate direction and position of a jig for guiding and supporting the attachment of the bone side member is generated by simulation. The jig information may be automatically generated by simulation, or the jig orientation and position may be finely adjusted based on a predetermined operation of the operation unit 105 by a doctor.

具体的には、治具情報には、例えば、脛骨Ｂ１ａに対する脛骨側部材の取付けを案内支援するために脛骨Ｂ１ａに刺入される脛骨髄内ロッドの向き及び刺入点の位置、脛骨髄内ロッドを基準として脛骨Ｂ１ａの骨切りを案内する脛骨骨切り案内部材の向き及び設置位置、大腿骨Ｂ１ｂに対する大腿骨側部材の取付けを案内支援するために大腿骨Ｂ１ｂに刺入される大腿骨髄内ロッドの向き及び刺入点の位置、大腿骨髄内ロッドを基準として大腿骨Ｂ１ｂの骨切りを案内する大腿骨骨切り案内部材の向き及び設置位置等が含まれる。   Specifically, the jig information includes, for example, the orientation of the intra-tibial bone marrow rod inserted into the tibia B1a and the position of the insertion point, and the intra-tibia bone marrow to guide and support the attachment of the tibial side member to the tibia B1a. In the femur bone marrow inserted into the femur B1b to guide and support the orientation and installation position of the tibial osteotomy guide member for guiding the osteotomy of the tibia B1a with respect to the rod, and the attachment of the femoral side member to the femur B1b This includes the orientation of the rod and the position of the insertion point, the orientation and installation position of the femoral osteotomy guide member that guides the osteotomy of the femur B1b with respect to the intramedullary intramedullary rod.

また、中央制御部１０１のＣＰＵは、下肢の機能軸、大腿骨Ｂ１ｂの骨頭中心の位置、大腿骨Ｂ１ｂの機能軸、大腿骨Ｂ１ｂの前方皮質近似平面、脛骨Ｂ１ａの機能軸、内／外反角、屈曲・伸展角、回旋角等の各種の術中支援パラメータを生成しても良い。   The CPU of the central control unit 101 also has a lower limb function axis, a femoral B1b head center position, a femur B1b function axis, an anterior cortical approximation plane of the femur B1b, a tibial B1a function axis, and a varus / valgus. Various intraoperative support parameters such as angles, flexion / extension angles, and rotation angles may be generated.

表示部１０４は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等から構成されている。また、表示部１０４には、中央制御部１０１のＣＰＵから出力されて入力される表示信号の指示に従って、各種画面を表示する。   The display unit 104 includes, for example, an LCD (Liquid Crystal Display), an organic EL (Electro-Luminescence) display, or the like. In addition, various screens are displayed on the display unit 104 in accordance with an instruction of a display signal output from the CPU of the central control unit 101 and input.

操作部１０５は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備えている。そして、操作部１０５は、これらキーボードやマウスの操作に応じて所定の操作信号を中央制御部１０１に出力する。   The operation unit 105 includes, for example, a keyboard and a mouse configured by data input keys for inputting numerical values, characters, etc., up / down / left / right movement keys for performing data selection, feeding operations, and the like, various function keys, and the like. I have. Then, the operation unit 105 outputs a predetermined operation signal to the central control unit 101 in accordance with the operation of the keyboard and mouse.

通信制御部１０６は、第１手術支援端末２との間で情報通信を行う。
すなわち、通信制御部１０６は、例えば、無線ＬＡＮモジュール等を有し、外部のアクセスポイント（固定基地局）を経由せずに直接第１手術支援端末２の通信制御部２０８との間で無線通信回線を構築するPeer to Peer（アドホックモード）で動作する。例えば、通信制御部１０６は、無線通信回線の通信方式、暗号化情報、チャンネル、ＩＰアドレス等の各種情報を無線通信可能範囲内に存する第１手術支援端末２の通信制御部２０８に送信して、この第１手術支援端末２の通信制御部２０８との間で無線ＬＡＮ等の無線通信回線を構築して信号の送受信を行う。
具体的には、通信制御部１０６は、患者Ｐの断層画像データＩや、術前計画処理により生成された術前計画データＤ（図４参照）を第１手術支援端末２の通信制御部２０８に送信する。 The communication control unit 106 performs information communication with the first surgery support terminal 2.
That is, the communication control unit 106 includes, for example, a wireless LAN module, and directly communicates with the communication control unit 208 of the first surgery support terminal 2 without going through an external access point (fixed base station). Operates in Peer to Peer (ad hoc mode) to build a line. For example, the communication control unit 106 transmits various types of information such as the communication method, encryption information, channel, and IP address of the wireless communication line to the communication control unit 208 of the first surgery support terminal 2 existing within the wireless communicable range. A wireless communication line such as a wireless LAN is constructed with the communication control unit 208 of the first surgery support terminal 2 to transmit and receive signals.
Specifically, the communication control unit 106 transmits the tomographic image data I of the patient P and the preoperative plan data D (see FIG. 4) generated by the preoperative planning process to the communication control unit 208 of the first surgery support terminal 2. Send to.

なお、通信制御部１０６は、例えば、無線通信可能範囲内に存するアクセスポイントとの間で無線通信回線を構築して、当該無線通信回線を介して第１手術支援端末２の通信制御部２０８との間で信号の送受信を行うインフラストラクチャモードで動作しても良い。   Note that the communication control unit 106, for example, constructs a wireless communication line with an access point existing within a wireless communicable range, and communicates with the communication control unit 208 of the first surgery support terminal 2 via the wireless communication line. May operate in an infrastructure mode for transmitting and receiving signals between them.

＜第１手術支援端末＞
次に、第１手術支援端末２について、図４を参照して詳細に説明する。図４は、第１手術支援端末２の機能的構成を示すブロック図である。
第１手術支援端末２は、例えば、スマートフォン、タブレット等から構成され、人工膝関節置換術の術中支援を行うためのものである。具体的には、図４に示すように、第１手術支援端末２は、中央制御部２０１と、メモリ２０２と、記憶部２０３と、撮像部２０４と、信号処理部２０５と、表示部２０６と、操作部２０７と、通信制御部２０８とを備えている。また、第１手術支援端末２の各部は、バス２０９を介して接続されている。 <First surgery support terminal>
Next, the first surgery support terminal 2 will be described in detail with reference to FIG. FIG. 4 is a block diagram showing a functional configuration of the first surgery support terminal 2.
The 1st surgery assistance terminal 2 is comprised from a smart phone, a tablet, etc., and is for performing the intraoperative assistance of artificial knee joint replacement surgery, for example. Specifically, as shown in FIG. 4, the first surgery support terminal 2 includes a central control unit 201, a memory 202, a storage unit 203, an imaging unit 204, a signal processing unit 205, and a display unit 206. , An operation unit 207 and a communication control unit 208 are provided. Each part of the first surgery support terminal 2 is connected via a bus 209.

中央制御部２０１は、当該第１手術支援端末２の各部を制御するものである。すなわち、中央制御部２０１は、図示は省略するが、ＣＰＵを備え、ＣＰＵは、記憶部２０３に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出し、メモリ２０２のワークエリアに展開し、当該プログラムに従って各種処理を実行する。その際に、中央制御部２０１のＣＰＵは、メモリ２０２内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２０６に表示させる。   The central control unit 201 controls each unit of the first surgery support terminal 2. That is, the central control unit 201 includes a CPU (not shown), and the CPU reads a designated program out of the system programs and application programs stored in the storage unit 203 and stores it in the work area of the memory 202. Expand and execute various processes according to the program. At that time, the CPU of the central control unit 201 stores various processing results in the memory 202 and displays the processing results on the display unit 206 as necessary.

メモリ２０２は、例えば、ＤＲＡＭ等により構成され、中央制御部２０１のＣＰＵにより読み出された各種のプログラムやデータを一時的に格納するワークエリアを有している。   The memory 202 is configured by, for example, a DRAM and has a work area for temporarily storing various programs and data read by the CPU of the central control unit 201.

記憶部２０３は、例えば、フラッシュメモリ、ＥＥＰＲＯＭ等により構成され、データ及びプログラムを書き込み及び読み出し可能な記憶部である。
具体的には、記憶部２０３は、第１取得プログラム２０３ａ、撮像画像取得プログラム２０３ｂ、推定プログラム２０３ｃ、第１特定プログラム２０３ｄ、第１表示制御プログラム２０３ｅ、断層画像データＩ、術前計画データＤ等を記憶している。 The storage unit 203 is configured by, for example, a flash memory, an EEPROM, or the like, and is a storage unit that can write and read data and programs.
Specifically, the storage unit 203 includes a first acquisition program 203a, a captured image acquisition program 203b, an estimation program 203c, a first identification program 203d, a first display control program 203e, tomographic image data I, preoperative plan data D, and the like. Is remembered.

第１取得プログラム２０３ａは、基準画像及び治具情報を取得する第１取得処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第１取得プログラム２０３ａを読み出して、この第１取得プログラム２０３ａに従って、第１取得処理を行う。ここで、中央制御部２０１のＣＰＵは、第１取得プログラム２０３ａとの協働により、第１取得手段として機能する。 The first acquisition program 203a is a program that realizes a function related to a first acquisition process for acquiring a reference image and jig information.
That is, the CPU of the central control unit 201 reads the first acquisition program 203a from the storage unit 203, and performs a first acquisition process according to the first acquisition program 203a. Here, the CPU of the central control unit 201 functions as a first acquisition unit in cooperation with the first acquisition program 203a.

具体的には、中央制御部２０１のＣＰＵは、病院端末１から送信されて通信制御部２０８により受信され、記憶部２０３に記憶されている断層画像データＩ、すなわち、人工膝関節置換術前に医療用断層画像診断装置により撮像された断層画像データＩを記憶部２０３から読み出して取得する。そして、中央制御部２０１のＣＰＵは、患者Ｐの人工膝関節が取り付けられる予定の脛骨Ｂ１ａ及び大腿骨Ｂ１ｂの三次元形状を表す基準画像の画像データを生成して取得する。   Specifically, the CPU of the central control unit 201 transmits tomographic image data I transmitted from the hospital terminal 1, received by the communication control unit 208, and stored in the storage unit 203, that is, before artificial knee joint replacement. The tomographic image data I imaged by the medical tomographic image diagnostic apparatus is read from the storage unit 203 and acquired. Then, the CPU of the central control unit 201 generates and acquires image data of a reference image representing the three-dimensional shape of the tibia B1a and the femur B1b to which the patient's P artificial knee joint is to be attached.

また、中央制御部２０１のＣＰＵは、病院端末１から送信されて通信制御部２０８により受信され、記憶部２０３に記憶されている術前計画データＤを記憶部２０３から読み出して取得する。すなわち、中央制御部２０１のＣＰＵは、断層画像データＩに基づく脛骨Ｂ１ａや大腿骨Ｂ１ｂの三次元モデル上での、脛骨Ｂ１ａや大腿骨Ｂ１ｂに対する脛骨側部材や大腿骨側部材の取付けを案内支援するための治具の向き及び位置のうちの少なくとも一方を含む治具情報を含む術前計画データＤを取得する。   The CPU of the central control unit 201 reads out and acquires preoperative plan data D transmitted from the hospital terminal 1 and received by the communication control unit 208 and stored in the storage unit 203 from the storage unit 203. That is, the CPU of the central control unit 201 provides guidance support for attaching the tibial side member and the femoral side member to the tibia B1a and the femur B1b on the three-dimensional model of the tibia B1a and the femur B1b based on the tomographic image data I. Preoperative planning data D including jig information including at least one of the direction and position of the jig for performing is acquired.

撮像画像取得プログラム２０３ｂは、撮像画像Ｆ（図６（ａ）等参照）を逐次取得する撮像画像取得処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から撮像画像取得プログラム２０３ｂを読み出して、この撮像画像取得プログラム２０３ｂに従って、撮像画像取得処理を行う。ここで、中央制御部２０１のＣＰＵは、撮像画像取得プログラム２０３ｂとの協働により、撮像画像取得手段として機能する。 The captured image acquisition program 203b is a program that realizes a function related to a captured image acquisition process that sequentially acquires captured images F (see FIG. 6A and the like).
That is, the CPU of the central control unit 201 reads the captured image acquisition program 203b from the storage unit 203, and performs a captured image acquisition process according to the captured image acquisition program 203b. Here, the CPU of the central control unit 201 functions as a captured image acquisition unit in cooperation with the captured image acquisition program 203b.

具体的には、中央制御部２０１のＣＰＵは、手術台Ｔ上の患者Ｐの骨Ｂの表面が撮像された撮像画像Ｆを取得する。例えば、人工膝関節置換術中に、手術台Ｔ上の患者Ｐの脛骨Ｂ１ａや大腿骨Ｂ１ｂが内側部側から膝関節の関節面が写るように撮像部２０４により撮像されると、撮像部２０４の撮像制御部は、電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して信号処理部２０５に出力させる。このとき、脛骨Ｂ１ａや大腿骨Ｂ１ｂが画角内の所定位置（例えば、略中央等）に存し、且つ、所定の大きさで写るように撮像部２０４により撮像されるのが好ましい。そして、信号処理部２０５は、フレーム画像のアナログ値の信号に対して各種の画像信号処理を施して、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成してメモリ２０２に出力する。中央制御部２０１のＣＰＵは、メモリ２０２からフレーム画像（撮像画像Ｆ）のデジタル値の画像データ（ＹＵＶデータ）を逐次取得する。   Specifically, the CPU of the central control unit 201 acquires a captured image F in which the surface of the bone B of the patient P on the operating table T is captured. For example, during artificial knee joint replacement, if the imaging unit 204 captures an image of the joint surface of the knee joint from the inner side of the tibia B1a or femur B1b of the patient P on the operating table T, The imaging control unit reads frame images for each screen from the imaging area of the electronic imaging unit and causes the signal processing unit 205 to output the frame images. At this time, the tibia B1a and the femur B1b are preferably imaged by the imaging unit 204 so as to exist at a predetermined position (for example, approximately the center) within the angle of view and to be captured at a predetermined size. Then, the signal processing unit 205 performs various image signal processing on the analog value signal of the frame image to generate a digital value luminance signal Y and color difference signals Cb, Cr (YUV data) in the memory 202. Output. The CPU of the central control unit 201 sequentially acquires digital image data (YUV data) of the frame image (captured image F) from the memory 202.

なお、撮像画像Ｆは、後述するように、脛骨Ｂ１ａや大腿骨Ｂ１ｂ等の骨Ｂの少なくとも基準画像との照合に用いられる特徴点に対応する一部分（例えば、脛骨近位前方内側部や大腿骨遠位前方内側部等）が撮像されていれば良い。   As will be described later, the captured image F is a portion corresponding to a feature point used for collation with at least a reference image of the bone B such as the tibia B1a or the femur B1b (for example, a proximal tibia proximal inner part or a femur It suffices if the distal front inner part or the like is imaged.

推定プログラム２０３ｃは、撮像画像Ｆ内での患者Ｐの骨Ｂの姿勢を推定する推定処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から推定プログラム２０３ｃを読み出して、この推定プログラム２０３ｃに従って、推定処理を行う。ここで、中央制御部２０１のＣＰＵは、推定プログラム２０３ｃとの協働により、推定手段として機能する。 The estimation program 203c is a program that realizes a function related to an estimation process for estimating the posture of the bone B of the patient P in the captured image F.
That is, the CPU of the central control unit 201 reads the estimation program 203c from the storage unit 203 and performs estimation processing according to the estimation program 203c. Here, the CPU of the central control unit 201 functions as an estimation unit in cooperation with the estimation program 203c.

具体的には、中央制御部２０１のＣＰＵは、撮像画像取得処理により逐次取得された撮像画像Ｆ（例えば、脛骨Ｂ１ａや大腿骨Ｂ１ｂの表面形状を表す撮像画像Ｆ等）を第１取得処理により取得された基準画像（例えば、脛骨Ｂ１ａや大腿骨Ｂ１ｂを表す基準画像等）と照合して、その照合結果に基づいて撮像画像Ｆ内での患者Ｐの骨Ｂの姿勢を推定する。   Specifically, the CPU of the central control unit 201 acquires the captured images F (for example, captured images F representing the surface shapes of the tibia B1a and the femur B1b) sequentially acquired by the captured image acquisition processing by the first acquisition processing. The acquired reference image (for example, a reference image representing the tibia B1a or the femur B1b) is collated, and the posture of the bone B of the patient P in the captured image F is estimated based on the collation result.

ここで、撮像画像Ｆと基準画像とを照合する手法は、公知の技術であるので、詳細な説明を省略するが、例えば、中央制御部２０１のＣＰＵは、骨Ｂの三次元形状を表す基準画像を任意の二次元平面に投影した画像（３Ｄ／２Ｄ変換画像）を複数生成し、撮像画像Ｆ内から抽出した特徴点の特徴量（例えば、ＳＩＦＴ（Scale-Invariant Features Transform）特徴量やＳＵＲＦ（Speeded Up Robust Features）特徴量等）の類似度が最も高くなる画像を探索する。このとき、必要に応じて３Ｄ／２Ｄ変換画像や撮像画像Ｆの拡大縮小を行っても良い。   Here, since the technique for collating the captured image F with the reference image is a known technique, a detailed description thereof is omitted. For example, the CPU of the central control unit 201 uses a reference representing the three-dimensional shape of the bone B. A plurality of images (3D / 2D conversion images) obtained by projecting an image on an arbitrary two-dimensional plane are generated, and feature amounts of feature points extracted from the captured image F (for example, SIFT (Scale-Invariant Features Transform) feature amounts or SURF) (Speeded Up Robust Features) Searches for an image having the highest similarity. At this time, the 3D / 2D converted image or the captured image F may be enlarged or reduced as necessary.

また、中央制御部２０１のＣＰＵは、類似度が最も高くなった画像に対応する骨Ｂの三次元モデル上での当該骨Ｂを構成する各点の座標位置、撮像画像Ｆ内での患者Ｐの骨Ｂを構成する各点の座標位置等に基づいて、所定の座標変換式を解いて、当該第１手術支援端末２に対する患者Ｐの骨Ｂの姿勢及び位置関係を表す行列を推定する。このとき、画像からの幾何学的なモデルのパラメータの推定精度を向上させるためのバンドル調整を行っても良い。   The CPU of the central control unit 201 also sets the coordinate position of each point constituting the bone B on the three-dimensional model of the bone B corresponding to the image having the highest similarity, and the patient P in the captured image F. Based on the coordinate position of each point constituting the bone B, a predetermined coordinate conversion equation is solved, and a matrix representing the posture and positional relationship of the bone B of the patient P with respect to the first surgery support terminal 2 is estimated. At this time, bundle adjustment for improving the estimation accuracy of the parameters of the geometric model from the image may be performed.

なお、撮像画像Ｆとして、患者Ｐの骨Ｂが画角内の所定位置（例えば、略中央等）に存し、且つ、所定の大きさで写るように撮像部２０４により撮像された撮像画像Ｆを用いる場合、必ずしも撮像画像Ｆ内での骨Ｂの位置を推定する必要はないと考えられるが、当該推定結果を利用する各種処理（第１特定処理や第１表示制御処理等；後述）をより適正に行う上では、撮像画像Ｆ内での骨Ｂの姿勢及び位置の推定を行うのが好ましい。   As the captured image F, the captured image F captured by the imaging unit 204 so that the bone B of the patient P exists at a predetermined position (for example, approximately the center) within the angle of view and is captured at a predetermined size. However, it is not always necessary to estimate the position of the bone B in the captured image F. However, various processes using the estimation result (first specifying process, first display control process, etc .; described later) In order to perform more appropriately, it is preferable to estimate the posture and position of the bone B in the captured image F.

また、撮像画像Ｆと基準画像との照合において、例えば、撮像対象となる骨Ｂの形状や状態、撮像する際の第１手術支援端末２の向きや位置、撮像環境の明るさや光の方向等によっては、特徴点や特徴量の抽出を適正に行うことができない虞がある。そこで、予め骨Ｂの特徴的な形状部分（例えば、脛骨近位前方内側部や大腿骨遠位前方内側部等）を基準画像内で指定して登録（レジストレーション）しておき、撮像部２０４による骨Ｂの撮像の際に、当該特徴的な形状部分を所定の指示棒（図示略）などを用いて指示することで、特徴点や特徴量の抽出をより適正に行うことができるようにしても良い。   Further, in the comparison between the captured image F and the reference image, for example, the shape and state of the bone B to be imaged, the orientation and position of the first surgery support terminal 2 at the time of imaging, the brightness of the imaging environment, the direction of light, etc. Depending on the situation, there is a possibility that feature points and feature amounts cannot be properly extracted. Therefore, the characteristic shape portion of the bone B (for example, the proximal front inner portion of the tibia and the distal front inner portion of the femur) is designated and registered (registration) in the reference image, and the imaging unit 204 is registered. When the bone B is picked up by a point, the characteristic shape portion is indicated using a predetermined pointer (not shown) or the like, so that the feature point and the feature amount can be extracted more appropriately. May be.

また、特徴点の特徴量を用いた撮像画像Ｆと基準画像との照合に換えて、或いは、併用して、例えば、レーザーメスなどを用いて予め骨Ｂの所定位置（例えば、骨切りにより切除される位置等）に位置合わせ用のマーカを付けておき、当該マーカを撮像してその姿勢を推定し、推定結果から患者Ｐの骨Ｂの姿勢を推定するようにしても良い。   Further, in place of or in combination with the captured image F using the feature amount of the feature point and the reference image, for example, a predetermined position of the bone B (for example, excision by osteotomy) using a laser knife or the like. Or the like), an alignment marker may be attached to the image, the posture of the marker P is estimated by imaging the marker, and the posture of the bone B of the patient P may be estimated from the estimation result.

第１特定プログラム２０３ｄは、治具（図示略）の向きや位置を特定する第１特定処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第１特定プログラム２０３ｄを読み出して、この第１特定プログラム２０３ｄに従って、第１特定処理を行う。ここで、中央制御部２０１のＣＰＵは、第１特定プログラム２０３ｄとの協働により、第１特定手段として機能する。 The first specifying program 203d is a program that realizes a function related to a first specifying process for specifying the orientation and position of a jig (not shown).
That is, the CPU of the central control unit 201 reads the first specific program 203d from the storage unit 203, and performs the first specific process according to the first specific program 203d. Here, the CPU of the central control unit 201 functions as a first specifying unit in cooperation with the first specifying program 203d.

具体的には、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での患者Ｐの骨Ｂ（例えば、脛骨Ｂ１ａや大腿骨Ｂ１ｂ等）の姿勢（好ましくは、姿勢及び位置）と、第１取得処理により取得された治具情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の患者Ｐの骨Ｂに対する治具の向き及び位置のうちの少なくとも一方を特定する。   Specifically, the CPU of the central control unit 201 determines the posture (preferably the posture and position) of the bone B (for example, the tibia B1a and the femur B1b) of the patient P in the captured image F estimated by the estimation process. ) And preoperative plan data D including the jig information acquired by the first acquisition process, specify at least one of the orientation and position of the jig with respect to the bone B of the patient P in the captured image F To do.

例えば、脛骨Ｂ１ａの場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での脛骨Ｂ１ａの姿勢と、治具情報に含まれる脛骨Ｂ１ａの三次元モデル上での脛骨Ｂ１ａに刺入される脛骨髄内ロッドの向き及び刺入点の位置とに基づいて、撮像画像Ｆ内の脛骨Ｂ１ａの座標系と当該脛骨Ｂ１ａの三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の脛骨Ｂ１ａの座標系での当該脛骨Ｂ１ａに対する脛骨髄内ロッドの向き及び刺入点の位置を特定する。また、例えば、脛骨Ｂ１ａに対して脛骨髄内ロッドが刺入された場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での脛骨Ｂ１ａの姿勢と、治具情報に含まれる脛骨Ｂ１ａの三次元モデル上での脛骨骨切り案内部材の向き及び設置位置とに基づいて、撮像画像Ｆ内の脛骨Ｂ１ａの座標系と当該脛骨Ｂ１ａの三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の脛骨Ｂ１ａに対する脛骨骨切り案内部材の向き及び設置位置を特定する。   For example, in the case of the tibia B1a, the CPU of the central control unit 201 poses the tibia B1a in the captured image F and the tibia inserted into the tibia B1a on the three-dimensional model of the tibia B1a included in the jig information. Based on the orientation of the intramedullary rod and the position of the insertion point, the coordinate system of the tibia B1a in the captured image F and the coordinate system of the three-dimensional model of the tibia B1a are aligned, and the tibia in the captured image F The orientation of the tibia intramedullary rod relative to the tibia B1a in the coordinate system of B1a and the position of the insertion point are specified. For example, when the intra-tibia bone marrow rod is inserted into the tibia B1a, the CPU of the central control unit 201 determines the posture of the tibia B1a in the captured image F and the tertiary of the tibia B1a included in the jig information. Based on the orientation and the installation position of the tibial osteotomy guide member on the original model, the coordinate system of the tibia B1a in the captured image F is aligned with the coordinate system of the three-dimensional model of the tibia B1a, and the captured image The orientation and installation position of the tibial osteotomy guide member relative to the tibia B1a in F are specified.

また、大腿骨Ｂ１ｂの場合も処理内容は略同様であり、ここでは詳細な説明は省略するが、大腿骨髄内ロッドの向き及び刺入点の位置、大腿骨骨切り案内部材の向き及び設置位置の特定に、例えば、撮像画像Ｆ内の大腿骨Ｂ１ｂの座標系での当該大腿骨Ｂ１ｂの骨頭中心の位置が必要となる場合がある。
この場合、例えば、第１手術支援端末２を患者Ｐの大腿骨Ｂ１ｂの遠位端側の所定位置に所定の固定機構を介して固定（例えば、骨切りにより切除される位置に螺合したり、切除されない位置をクランプしたりして固定；図示略）し、この状態で、当該大腿骨Ｂ１ｂの遠位端側を回動させた際の角速度や角加速度等を第１手術支援端末２の角速度センサ（図示略）を用いて測定することで、当該大腿骨Ｂ１ｂの骨頭中心の位置の絶対座標を算出する。そして、算出された大腿骨Ｂ１ｂの骨頭中心の位置の絶対座標から撮像画像Ｆ内の大腿骨Ｂ１ｂの座標系での当該大腿骨Ｂ１の骨頭中心の位置を特定するようにしても良い。 In the case of the femur B1b, the processing content is substantially the same, and detailed description is omitted here, but the orientation of the femoral intramedullary rod and the position of the insertion point, the orientation of the femoral osteotomy guide member and the installation position. For example, the position of the center of the femoral head of the femur B1b in the coordinate system of the femur B1b in the captured image F may be required.
In this case, for example, the first operation support terminal 2 is fixed to a predetermined position on the distal end side of the femur B1b of the patient P via a predetermined fixing mechanism (for example, screwed to a position to be excised by osteotomy) In this state, the angular velocity, the angular acceleration, etc. when the distal end side of the femur B1b is rotated are set in the first operation support terminal 2. By measuring using an angular velocity sensor (not shown), the absolute coordinates of the position of the femoral head center of the femur B1b are calculated. Then, the position of the center of the femur B1 in the coordinate system of the femur B1b in the captured image F may be specified from the absolute coordinates of the calculated position of the center of the femur B1b.

なお、この手法による撮像画像Ｆ内の大腿骨Ｂ１ｂの座標系での当該大腿骨Ｂ１ｂの骨頭中心の位置の特定は、上記した推定処理における撮像画像Ｆと基準画像との照合の際に行っても良く、これにより、撮像画像Ｆ内での大腿骨Ｂ１ｂの姿勢の推定をより適正に行うことができる。   The position of the femoral head center of the femur B1b in the coordinate system of the femur B1b in the captured image F by this method is specified when the captured image F is compared with the reference image in the estimation process described above. As a result, the posture of the femur B1b in the captured image F can be estimated more appropriately.

第１表示制御プログラム２０３ｅは、拡張現実（augmented reality:ＡＲ）技術を用いて、表示部２０６の表示パネル２０６ａに拡張現実画像を表示させる第１表示制御処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第１表示制御プログラム２０３ｅを読み出して、この第１表示制御プログラム２０３ｅに従って、第１表示制御処理を行う。ここで、中央制御部２０１のＣＰＵは、第１表示制御プログラム２０３ｅとの協働により、第１表示制御手段として機能する。
具体的には、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での骨Ｂ（例えば、脛骨Ｂ１ａや大腿骨Ｂ１ｂ等）の姿勢（好ましくは、姿勢及び位置）と、第１取得処理により取得された治具情報とに基づいて、撮像画像取得処理により逐次取得された撮像画像Ｆに、治具の向き及び位置のうちの少なくとも一方を拡張現実技術を用いて仮想的に表す第１拡張現実画像ＡＲ１を重畳させて表示パネル２０６ａに表示させる（図６（ａ）及び図６（ｂ）参照）。より具体的には、中央制御部２０１のＣＰＵは、第１特定処理により特定された撮像画像Ｆ内の患者Ｐの骨Ｂに対する治具の向き及び位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。 The first display control program 203e is a program that realizes a function related to a first display control process for displaying an augmented reality image on the display panel 206a of the display unit 206 using augmented reality (AR) technology.
That is, the CPU of the central control unit 201 reads the first display control program 203e from the storage unit 203, and performs a first display control process according to the first display control program 203e. Here, the CPU of the central control unit 201 functions as a first display control unit in cooperation with the first display control program 203e.
Specifically, the CPU of the central control unit 201 determines the posture (preferably the posture and position) of the bone B (for example, the tibia B1a and the femur B1b) in the captured image F estimated by the estimation process, Based on the jig information acquired by the first acquisition process, at least one of the orientation and position of the jig is virtually added to the captured image F sequentially acquired by the captured image acquisition process using augmented reality technology. Is displayed on the display panel 206a in a superimposed manner (see FIGS. 6A and 6B). More specifically, the CPU of the central control unit 201 first augmented reality image AR1 that virtually represents the orientation and position of the jig with respect to the bone B of the patient P in the captured image F identified by the first identification process. Is superimposed on the captured image F and displayed on the display panel 206a.

例えば、脛骨Ｂ１ａの場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の脛骨Ｂ１ａに対する脛骨髄内ロッドの向き及び当該脛骨髄内ロッドの刺入点の位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる（図６（ａ）参照）。また、例えば、脛骨Ｂ１ａに対して脛骨髄内ロッドが刺入されると、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の脛骨Ｂ１ａに対する脛骨骨切り案内部材の向き及び位置を仮想的に表す第１拡張現実画像（図示略）を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。   For example, in the case of the tibia B1a, the CPU of the central control unit 201 first augmented reality that virtually represents the orientation of the tibia bone marrow rod with respect to the tibia B1a in the captured image F and the position of the insertion point of the tibia bone marrow rod. The image AR1 is superimposed on the captured image F and displayed on the display panel 206a (see FIG. 6A). For example, when the intra-tibia bone marrow rod is inserted into the tibia B1a, the CPU of the central control unit 201 virtually represents the orientation and position of the tibial osteotomy guide member with respect to the tibia B1a in the captured image F. A first augmented reality image (not shown) is superimposed on the captured image F and displayed on the display panel 206a.

また、大腿骨Ｂ１ｂの場合も処理内容は略同様であり、ここでは詳細な説明は省略するが、例えば、図６（ｂ）に示すように、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の大腿骨Ｂ１ｂに対する大腿骨髄内ロッドの向き及び当該大腿骨髄内ロッドの刺入点の位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。   In the case of the femur B1b, the processing contents are substantially the same, and detailed description thereof is omitted here. For example, as shown in FIG. The first augmented reality image AR1 that virtually represents the orientation of the femoral intramedullary rod relative to the femur B1b and the position of the insertion point of the femoral intramedullary rod is superimposed on the captured image F and displayed on the display panel 206a.

第１拡張現実画像ＡＲ１としては、図６（ａ）及び図６（ｂ）に示すように、長尺な円柱形状のものを例示したが、一例であってこれに限られるものではなく、形状や寸法は適宜任意に変更可能である。また、第１拡張現実画像ＡＲ１は、撮像画像Ｆに重畳表示されるものであるため、図６（ａ）や図６（ｂ）に示すような半透過の状態か、或いは、外形のみが識別可能に表示された透過状態として、ユーザ（例えば、医者等）による当該撮像画像Ｆ内での骨Ｂの視認を妨げないようにするのが好ましい。   As the first augmented reality image AR1, as shown in FIGS. 6 (a) and 6 (b), a long cylindrical shape is exemplified, but the example is not limited to this, and the shape is not limited thereto. The dimensions can be arbitrarily changed as appropriate. Further, since the first augmented reality image AR1 is superimposed on the captured image F, the first augmented reality image AR1 is in a semi-transparent state as shown in FIGS. 6A and 6B, or only the outer shape is identified. It is preferable to prevent the user from viewing the bone B in the captured image F as a transmissive state that is displayed as possible.

なお、図６（ａ）にあっては、患者Ｐの脛骨Ｂ１ａ以外の部分の図示は省略し、同様に、図６（ｂ）にあっては、患者Ｐの大腿骨Ｂ１ｂ以外の部分の図示は省略しているが、実際には、脛骨Ｂ１ａや大腿骨Ｂ１ｂの周囲の組織（例えば、軟骨、腱、靱帯、皮膚等）も撮像部２０４により撮像されて表示パネル２０６ａに表示された状態となる。   In FIG. 6A, the illustration of the portion other than the tibia B1a of the patient P is omitted. Similarly, in FIG. 6B, the illustration of the portion other than the femur B1b of the patient P. Is omitted, but in reality, tissues around the tibia B1a and the femur B1b (for example, cartilage, tendon, ligament, skin, etc.) are also captured by the imaging unit 204 and displayed on the display panel 206a. Become.

撮像部２０４は、手術台Ｔ上の患者Ｐの骨Ｂの表面を撮像する。具体的には、撮像部２０４は、例えば、図示は省略するが、レンズ部と、電子撮像部と、撮像制御部とを備えている。   The imaging unit 204 images the surface of the bone B of the patient P on the operating table T. Specifically, the imaging unit 204 includes, for example, a lens unit, an electronic imaging unit, and an imaging control unit (not shown).

レンズ部は、例えば、ズームレンズやフォーカスレンズ等の複数のレンズ（図示略）から構成されている。
電子撮像部は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（図示略）から構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する。
撮像制御部は、タイミング発生器やドライバ（図示略）等により電子撮像部を走査駆動して、所定周期毎にレンズ部により結像された光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して信号処理部２０５に出力させる。 The lens unit includes a plurality of lenses (not shown) such as a zoom lens and a focus lens.
The electronic imaging unit includes, for example, an image sensor (not shown) such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-oxide Semiconductor), and an optical image passing through various lenses of the lens unit is converted into a two-dimensional image signal. Convert to
The imaging control unit scans and drives the electronic imaging unit with a timing generator, a driver (not shown), etc., and converts an optical image formed by the lens unit at a predetermined period into a two-dimensional image signal by the electronic imaging unit. The frame image is read out from the imaging area of the electronic imaging unit for each screen and is output to the signal processing unit 205.

信号処理部２０５は、電子撮像部から転送されたフレーム画像のアナログ値の信号に対して各種の画像信号処理を施す。
具体的には、信号処理部２０５は、例えば、フレーム画像のアナログ値の信号に対してＲＧＢの色成分毎に適宜ゲイン調整し、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行って、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
また、信号処理部２０５は、生成された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをバッファメモリとして使用されるメモリ２０２に出力する。 The signal processing unit 205 performs various types of image signal processing on the analog value signal of the frame image transferred from the electronic imaging unit.
Specifically, for example, the signal processing unit 205 appropriately adjusts the gain for each RGB color component with respect to the analog value signal of the frame image, and performs sample-holding with a sample-hold circuit (not shown) to perform A / D conversion. The digital data is converted by a device (not shown), and color processing including pixel interpolation processing and γ correction processing is performed by a color process circuit (not shown) to obtain a luminance signal Y and color difference signals Cb, Cr (YUV) of digital values. Data).
The signal processing unit 205 outputs the generated luminance signal Y and color difference signals Cb and Cr to the memory 202 used as a buffer memory.

表示部２０６は、例えば、中央制御部２０１のＣＰＵの制御下にて各種情報を表示領域内に表示する。具体的には、表示部２０６は、例えば、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダ等を備え、中央制御部２０１のＣＰＵによる各種のアプリケーションプログラムの実行に基づいて、アプリケーション画面を生成し、生成されたアプリケーション画面のデータを表示パネル２０６ａに出力する。
なお、表示パネル２０６ａは、例えば、液晶表示パネルや有機ＥＬ表示パネル等から構成されている。 The display unit 206 displays various types of information in the display area under the control of the CPU of the central control unit 201, for example. Specifically, the display unit 206 includes, for example, a video random access memory (VRAM), a VRAM controller, a digital video encoder, and the like, and displays application screens based on execution of various application programs by the CPU of the central control unit 201. The generated application screen data is output to the display panel 206a.
The display panel 206a is composed of, for example, a liquid crystal display panel or an organic EL display panel.

操作部２０７は、当該第１手術支援端末２の所定操作を行うためのものである。具体的には、操作部２０７は、電源のＯＮ／ＯＦＦ操作に係る電源ボタン、撮像指示に係るシャッタボタン、各種のモードや機能等の選択指示に係るボタン等（何れも図示略）を備えている。そして、ユーザにより各種ボタンが操作されると、操作部２０７は、操作されたボタンに応じた操作指示を中央制御部２０１に出力する。中央制御部２０１は、操作部２０７から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮像等）を各部に実行させる。
なお、操作部２０７は、表示部２０６の表示パネル２０６ａと一体となって設けられたタッチパネル（図示略）を有していても良い。 The operation unit 207 is for performing a predetermined operation of the first surgery support terminal 2. Specifically, the operation unit 207 includes a power button related to power ON / OFF operation, a shutter button related to an imaging instruction, buttons related to selection instructions for various modes and functions, and the like (all not shown). Yes. When various buttons are operated by the user, the operation unit 207 outputs an operation instruction corresponding to the operated button to the central control unit 201. The central control unit 201 causes each unit to execute a predetermined operation (for example, imaging of a subject) in accordance with an operation instruction output from the operation unit 207 and input.
Note that the operation unit 207 may include a touch panel (not shown) provided integrally with the display panel 206a of the display unit 206.

通信制御部２０８は、病院端末１との間で情報通信を行う。
すなわち、通信制御部２０８は、例えば、病院端末１の通信制御部１０６と略同様に、無線ＬＡＮモジュール等を有し、Peer to Peer（アドホックモード）やインフラストラクチャモードで動作する。
具体的には、通信制御部２０８は、病院端末１の通信制御部１０６から送信された患者Ｐの断層画像データＩや術前計画データＤを受信する。なお、通信制御部２０８により受信された断層画像データＩや術前計画データＤは、記憶部２０３に出力されて当該記憶部２０３に記憶される。 The communication control unit 208 performs information communication with the hospital terminal 1.
That is, the communication control unit 208 includes, for example, a wireless LAN module or the like substantially the same as the communication control unit 106 of the hospital terminal 1 and operates in peer to peer (ad hoc mode) or infrastructure mode.
Specifically, the communication control unit 208 receives the tomographic image data I and preoperative plan data D of the patient P transmitted from the communication control unit 106 of the hospital terminal 1. The tomographic image data I and the preoperative plan data D received by the communication control unit 208 are output to the storage unit 203 and stored in the storage unit 203.

＜第１術中支援処理＞
以下に、人工膝関節置換術における第１術中支援処理について、図５及び図６を参照して説明する。
図５は、第１手術支援端末２を用いた第１術中支援処理に係る動作の一例を示すフローチャートである。また、図６（ａ）及び図６（ｂ）は、第１術中支援処理にて第１手術支援端末２の表示パネル２０６ａに表示される表示画面の一例を模式的に示す図である。 <First intraoperative support process>
Below, the 1st intraoperative assistance process in artificial knee joint replacement is demonstrated with reference to FIG.5 and FIG.6.
FIG. 5 is a flowchart illustrating an example of an operation related to the first intraoperative support process using the first operation support terminal 2. FIGS. 6A and 6B are diagrams schematically showing an example of a display screen displayed on the display panel 206a of the first surgery support terminal 2 in the first intraoperative support process.

なお、以下の説明では、予め病院端末１にて人工膝関節置換術の術前計画処理が行われて、当該病院端末１から断層画像データＩ及び術前計画データＤが第１手術支援端末２に送信されて、記憶部２０３に記憶されているものとする。   In the following description, preoperative planning processing for artificial knee joint replacement is performed in advance at the hospital terminal 1, and the tomographic image data I and preoperative planning data D are transferred from the hospital terminal 1 to the first surgical support terminal 2. , And stored in the storage unit 203.

図５に示すように、先ず、中央制御部２０１のＣＰＵは、患者Ｐの人工膝関節が取り付けられる予定の脛骨Ｂ１ａ及び大腿骨Ｂ１ｂの三次元形状を表す基準画像、並びに、治具情報を含む術前計画データＤを取得する（ステップＳ１；第１取得処理）。
具体的には、中央制御部２０１のＣＰＵは、第１取得プログラム２０３ａに従って、記憶部２０３から断層画像データＩを読み出して取得し、患者Ｐの脛骨Ｂ１ａ及び大腿骨Ｂ１ｂの三次元形状を表す基準画像の画像データを生成して取得する。また、中央制御部２０１のＣＰＵは、脛骨Ｂ１ａや大腿骨Ｂ１ｂに対する人工関節構成部材の取付けを案内支援するための脛骨髄内ロッド、脛骨骨切り案内部材、大腿骨髄内ロッド、大腿骨骨切り案内部材等の治具に係る治具情報を含む術前計画データＤを取得する。 As shown in FIG. 5, first, the CPU of the central control unit 201 includes a reference image representing the three-dimensional shape of the tibia B1a and the femur B1b to which the artificial knee joint of the patient P is to be attached, and jig information. Preoperative plan data D is acquired (step S1; first acquisition process).
Specifically, the CPU of the central control unit 201 reads out and acquires the tomographic image data I from the storage unit 203 according to the first acquisition program 203a, and represents the three-dimensional shape of the tibia B1a and the femur B1b of the patient P. Generate and acquire image data for the image. The CPU of the central control unit 201 also provides a tibial intramedullary rod, a tibial osteotomy guide member, a femoral intramedullary rod, and a femoral osteotomy guide for guiding and assisting the attachment of the artificial joint constituent members to the tibia B1a and the femur B1b. Preoperative plan data D including jig information related to jigs such as members is acquired.

次に、中央制御部２０１のＣＰＵは、脛骨Ｂ１ａ及び大腿骨Ｂ１ｂのうち、ユーザによる操作部２０７の所定操作に基づいて指定された一方の骨Ｂ（例えば、脛骨Ｂ１ａ等）を第１術中支援処理の対象となる対象骨として指定する（ステップＳ２）。   Next, the CPU of the central control unit 201 provides first intraoperative support for one of the tibia B1a and the femur B1b designated based on a predetermined operation of the operation unit 207 by the user (for example, the tibia B1a). Designated as a target bone to be processed (step S2).

続けて、中央制御部２０１のＣＰＵは、患者Ｐの対象骨の表面が撮像された撮像画像Ｆを逐次取得する（ステップＳ３；撮像画像取得処理）。
具体的には、手術台Ｔ上の患者Ｐの対象骨（例えば、脛骨Ｂ１ａ等）の撮像部２０４による撮像が開始されると、信号処理部２０５は、対象骨の表面が撮像されたフレーム画像（撮像画像Ｆ）のデジタル値の画像データ（ＹＵＶデータ）を逐次生成してメモリ２０２に出力する。中央制御部２０１のＣＰＵは、撮像画像取得プログラム２０３ｂに従って、信号処理部２０５により逐次生成された撮像画像Ｆの画像データをメモリ２０２から逐次取得する。 Subsequently, the CPU of the central control unit 201 sequentially acquires captured images F obtained by capturing the surface of the target bone of the patient P (step S3; captured image acquisition processing).
Specifically, when imaging by the imaging unit 204 of the target bone (for example, the tibia B1a) of the patient P on the operating table T is started, the signal processing unit 205 is a frame image obtained by imaging the surface of the target bone. Digital image data (YUV data) of (captured image F) is sequentially generated and output to the memory 202. The CPU of the central control unit 201 sequentially acquires image data of the captured images F sequentially generated by the signal processing unit 205 from the memory 202 in accordance with the captured image acquisition program 203b.

その後、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での患者Ｐの対象骨の姿勢を推定する（ステップＳ４；推定処理）。
具体的には、中央制御部２０１のＣＰＵは、推定プログラム２０３ｃに従って、撮像画像取得処理により逐次取得された撮像画像Ｆ（例えば、脛骨Ｂ１ａの表面形状を表す撮像画像Ｆ等）を第１取得処理により取得された基準画像（例えば、脛骨Ｂ１ａを表す基準画像等）と照合して、第１手術支援端末２に対する患者Ｐの対象骨（例えば、脛骨Ｂ１ａ等）の姿勢及び位置関係を表す行列を推定する。 Thereafter, the CPU of the central control unit 201 estimates the posture of the target bone of the patient P in the captured image F (step S4; estimation process).
Specifically, the CPU of the central control unit 201 performs first acquisition processing of the captured images F (for example, the captured image F representing the surface shape of the tibia B1a) sequentially acquired by the captured image acquisition processing according to the estimation program 203c. A matrix representing the posture and positional relationship of the target bone (for example, tibia B1a) of the patient P with respect to the first surgery support terminal 2 in comparison with the reference image (for example, a reference image representing the tibia B1a) acquired by the above. presume.

次に、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の患者Ｐの対象骨に対する治具の向き及び位置を特定する（ステップＳ５；第１特定処理）。
具体的には、中央制御部２０１のＣＰＵは、第１特定プログラム２０３ｄに従って、推定処理により推定された撮像画像Ｆ内での対象骨（例えば、脛骨Ｂ１ａ等）の姿勢と、第１取得処理により取得された治具情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の対象骨の座標系と当該対象骨の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の対象骨の座標系での当該対象骨に対する治具の向き及び位置（例えば、脛骨髄内ロッドの向き及び刺入点の位置等）を特定する。 Next, the CPU of the central control unit 201 specifies the orientation and position of the jig with respect to the target bone of the patient P in the captured image F (step S5; first specifying process).
Specifically, the CPU of the central control unit 201 performs the posture of the target bone (for example, the tibia B1a) in the captured image F estimated by the estimation process according to the first identification program 203d and the first acquisition process. Based on the preoperative plan data D including the acquired jig information, the coordinate system of the target bone in the captured image F and the coordinate system of the three-dimensional model of the target bone are aligned, and the captured image F The orientation and position of the jig with respect to the target bone in the coordinate system of the target bone (for example, the orientation of the tibia bone marrow rod and the position of the insertion point) are specified.

続けて、中央制御部２０１のＣＰＵは、撮像画像Ｆに対象骨に対する治具の向き及び位置を拡張現実技術を用いて仮想的に表す第１拡張現実画像ＡＲ１を重畳させて表示パネル２０６ａに表示させる（ステップＳ６；第１表示制御処理）。
具体的には、中央制御部２０１のＣＰＵは、第１表示制御プログラム２０３ｅに従って、第１特定処理により特定された撮像画像Ｆ内の患者Ｐの対象骨（例えば、脛骨Ｂ１ａ等）に対する治具の向き及び位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。 Subsequently, the CPU of the central control unit 201 superimposes the first augmented reality image AR1 that virtually represents the orientation and position of the jig with respect to the target bone on the captured image F using augmented reality technology and displays the superimposed image on the display panel 206a. (Step S6; first display control process).
Specifically, the CPU of the central control unit 201 uses a jig for the target bone (for example, the tibia B1a) of the patient P in the captured image F specified by the first specifying process according to the first display control program 203e. The first augmented reality image AR1 that virtually represents the orientation and position is superimposed on the captured image F and displayed on the display panel 206a.

例えば、対象骨が脛骨Ｂ１ａの場合、中央制御部２０１のＣＰＵは、脛骨髄内ロッドの刺入前には、撮像画像Ｆ内の脛骨Ｂ１ａに対する脛骨髄内ロッドの向き及び当該脛骨髄内ロッドの刺入点の位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させ（図６（ａ）参照）、また、脛骨髄内ロッドの刺入後には、撮像画像Ｆ内の脛骨Ｂ１ａに対する脛骨骨切り案内部材の向き及び位置を仮想的に表す第１拡張現実画像（図示略）を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。
これにより、医者は第１拡張現実画像ＡＲ１を視認して、脛骨Ｂ１ａに対する脛骨髄内ロッドの向きや刺入点の位置、脛骨骨切り案内部材の向き及び位置を把握することができる。 For example, when the target bone is the tibia B1a, the CPU of the central control unit 201 determines the orientation of the tibia bone marrow rod with respect to the tibia B1a in the captured image F and the tibia bone marrow rod before inserting the tibia bone marrow rod. The first augmented reality image AR1 that virtually represents the position of the insertion point is superimposed on the captured image F and displayed on the display panel 206a (see FIG. 6 (a)). Then, a first augmented reality image (not shown) that virtually represents the orientation and position of the tibial osteotomy guide member with respect to the tibia B1a in the captured image F is superimposed on the captured image F and displayed on the display panel 206a.
As a result, the doctor can visually recognize the first augmented reality image AR1 and grasp the orientation of the tibia intramedullary rod relative to the tibia B1a, the position of the insertion point, and the orientation and position of the tibial osteotomy guide member.

その後、中央制御部２０１のＣＰＵは、脛骨Ｂ１ａ及び大腿骨Ｂ１ｂのうち、対象骨となる骨Ｂが他にあるか否かを判定する（ステップＳ７）。
ここで、対象骨となる骨Ｂが他にあると判定されると（ステップＳ７；ＹＥＳ）、中央制御部２０１のＣＰＵは、脛骨Ｂ１ａ及び大腿骨Ｂ１ｂのうち、前回対象骨として指定されていない他方の骨Ｂ（例えば、大腿骨Ｂ１ｂ等）を新たな対象骨として指定した後（ステップＳ８）、処理をステップＳ３に戻す。 Thereafter, the CPU of the central control unit 201 determines whether there is another bone B to be the target bone among the tibia B1a and the femur B1b (step S7).
Here, if it is determined that there is another bone B as the target bone (step S7; YES), the CPU of the central control unit 201 is not designated as the previous target bone among the tibia B1a and the femur B1b. After designating the other bone B (for example, femur B1b etc.) as a new target bone (step S8), the process returns to step S3.

そして、中央制御部２０１のＣＰＵは、ステップＳ３〜Ｓ６の各処理を上記と略同様にして行い、ステップＳ６の第１表示制御処理にて、撮像画像Ｆ内の患者Ｐの対象骨（例えば、大腿骨Ｂ１ｂ等）に対する治具の向き及び位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。   Then, the CPU of the central control unit 201 performs the processes of steps S3 to S6 in substantially the same manner as described above, and the target bone (for example, the patient P) in the captured image F in the first display control process of step S6. A first augmented reality image AR1 that virtually represents the orientation and position of the jig with respect to the femur B1b or the like is superimposed on the captured image F and displayed on the display panel 206a.

例えば、対象骨が大腿骨Ｂ１ｂの場合、中央制御部２０１のＣＰＵは、大腿骨髄内ロッドの刺入前には、撮像画像Ｆ内の大腿骨Ｂ１ｂに対する大腿骨髄内ロッドの向き及び当該大腿骨髄内ロッドの刺入点の位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させ（図６（ｂ）参照）、また、大腿骨髄内ロッドの刺入後では、撮像画像Ｆ内の大腿骨Ｂ１ｂに対する大腿骨骨切り案内部材の向き及び位置を仮想的に表す第１拡張現実画像（図示略）を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。
これにより、医者は第１拡張現実画像ＡＲ１を視認して、大腿骨Ｂ１ｂに対する大腿骨髄内ロッドの向きや刺入点の位置、大腿骨骨切り案内部材の向き及び位置を把握することができる。 For example, when the target bone is the femur B1b, the CPU of the central control unit 201 determines the orientation of the femoral intramedullary rod relative to the femur B1b in the captured image F and the femoral intramedullary bone before the femoral intramedullary rod is inserted. The first augmented reality image AR1 that virtually represents the position of the insertion point of the rod is superimposed on the captured image F and displayed on the display panel 206a (see FIG. 6 (b)). Thereafter, a first augmented reality image (not shown) that virtually represents the orientation and position of the femoral osteotomy guide member with respect to the femur B1b in the captured image F is superimposed on the captured image F and displayed on the display panel 206a. .
Accordingly, the doctor can visually recognize the first augmented reality image AR1 and grasp the orientation of the femoral intramedullary rod relative to the femur B1b, the position of the insertion point, and the orientation and position of the femoral osteotomy guide member.

一方、ステップＳ７にて、対象骨となる骨Ｂが他にないと判定されると（ステップＳ７；ＮＯ）、中央制御部２０１のＣＰＵは、当該第１術中支援処理を終了する。   On the other hand, when it is determined in step S7 that there is no other bone B to be the target bone (step S7; NO), the CPU of the central control unit 201 ends the first intraoperative support process.

以上のように、実施形態１の手術支援システム１００によれば、第１手術支援端末２は、人工膝関節置換術の術中に、患者Ｐのインプラント（例えば、人工膝関節等）が取り付けられる予定の骨Ｂの表面が撮像された撮像画像Ｆを逐次取得して、この撮像画像Ｆ内での骨Ｂの姿勢を推定し、推定された撮像画像Ｆ内での骨Ｂの姿勢と、骨Ｂの基準画像に基づく三次元モデル上での当該骨Ｂに対するインプラントの取付けを案内支援するための治具（例えば、髄内ロッドや骨切り案内部材等）の向きや位置を含む治具情報とに基づいて、逐次取得された撮像画像Ｆに治具の向きや位置を仮想的に表す第１拡張現実画像ＡＲ１を重畳させて表示部２０６に表示させるので、従来のように、高額なナビゲーションシステムを用いなくとも、医者が表示部２０６に表示されている第１拡張現実画像ＡＲ１を視認するだけで骨Ｂに対する治具の向きや位置を適正に把握することができ、外科手術の術中支援を高精度で、且つ、低コストで行うことができる。つまり、手術台Ｔ上での患者Ｐの***の状態に応じて変化する骨Ｂの向きや位置（特に、回旋等）を考慮して当該骨Ｂに対する治具の向きや位置を医者が逐次把握することができ、結果として、より正確に人工膝関節の取付けを行うことができるようになる。
特に、第１手術支援端末２としては、例えば、スマートフォンやタブレット等の一般的な端末を適用することができ、当該手術支援システム１００の導入コストをより低下させることができる。
さらに、ナビゲーションシステムでは必要なマーカが不要となり、手術時間をより短時間化することができるだけでなく、人工膝関節置換術をより低侵襲で行うことができる。 As described above, according to the surgery support system 100 of the first embodiment, the first surgery support terminal 2 is scheduled to be attached with the implant (for example, an artificial knee joint) of the patient P during the artificial knee joint replacement. The captured image F obtained by imaging the surface of the bone B is sequentially acquired, the posture of the bone B in the captured image F is estimated, the posture of the bone B in the estimated captured image F, and the bone B And jig information including the direction and position of a jig (for example, an intramedullary rod or osteotomy guide member) for guiding and assisting the attachment of the implant to the bone B on the three-dimensional model based on the reference image. Based on this, since the first augmented reality image AR1 that virtually represents the orientation and position of the jig is superimposed on the sequentially acquired captured images F and displayed on the display unit 206, an expensive navigation system can be provided as in the past. Even if you don't use it, By simply viewing the first augmented reality image AR1 displayed on the unit 206, the orientation and position of the jig with respect to the bone B can be properly grasped, and the intraoperative support for the surgical operation is highly accurate and low cost. Can be done. In other words, the doctor sequentially grasps the orientation and position of the jig with respect to the bone B in consideration of the orientation and position (especially rotation) of the bone B that changes according to the posture of the patient P on the operating table T. As a result, the knee joint can be attached more accurately.
In particular, as the first surgery support terminal 2, for example, a general terminal such as a smartphone or a tablet can be applied, and the introduction cost of the surgery support system 100 can be further reduced.
Furthermore, the navigation system eliminates the need for the marker, shortens the operation time, and makes it possible to perform artificial knee joint replacement with less invasiveness.

［実施形態２］
以下に、本発明を適用した実施形態２の手術支援システム１００について、図７〜図１０を参照して説明する。
なお、以下に説明する以外の点は、上記実施形態１と略同様であり、詳細な説明は省略する。 [Embodiment 2]
Below, the surgery assistance system 100 of Embodiment 2 to which this invention is applied is demonstrated with reference to FIGS.
The points other than those described below are substantially the same as those in the first embodiment, and detailed description thereof is omitted.

図７は、実施形態２の手術支援システム１００が用いられる人工膝関節置換術を説明するための斜視図である。
実施形態２の手術支援システム１００は、図７に示すように、人工股関節置換術に用いられるシステムであり、実施形態１と同様に、無線通信回線を介して情報通信可能に接続された病院端末１と、第２手術支援端末２Ａ（図８参照）とを備えている。
なお、図７には、手術台Ｔ上にて側臥位状態の患者Ｐを例示したが、一例であってこれに限られるものではなく、例えば、患者Ｐは仰臥位状態であっても良い。 FIG. 7 is a perspective view for explaining an artificial knee joint replacement in which the surgery support system 100 according to the second embodiment is used.
As shown in FIG. 7, the surgery support system 100 of the second embodiment is a system used for hip replacement, and a hospital terminal connected to be able to communicate information via a wireless communication line as in the first embodiment. 1 and a second surgery support terminal 2A (see FIG. 8).
FIG. 7 illustrates the patient P in the lateral position on the operating table T. However, the patient P is not limited to this example. For example, the patient P may be in the supine position.

＜病院端末＞
病院端末１は、人工股関節置換術の術前計画を行うためのものである以外の点は、上記実施形態１と略同様である。
すなわち、病院端末１の記憶部１０３は、例えば、人工股関節置換術前に、医療用断層画像診断装置により患者Ｐの股関節を構成する骨盤（図示略）及び大腿骨Ｂ２が撮像された断層画像データＩと、人工股関節置換術の術前計画処理用の術前計画用プログラム１０３ａとを記憶している。 <Hospital terminal>
The hospital terminal 1 is substantially the same as the first embodiment except that it is for preoperative planning of hip replacement.
That is, the storage unit 103 of the hospital terminal 1 stores, for example, tomographic image data obtained by imaging the pelvis (not shown) and the femur B2 constituting the hip joint of the patient P by the medical tomographic image diagnostic apparatus before the hip replacement. I and a preoperative planning program 103a for preoperative planning processing for hip replacement are stored.

術前計画用プログラム１０３ａは、人工股関節置換術の術前計画処理に係る機能を実現させるプログラムである。
すなわち、中央制御部１０１のＣＰＵは、記憶部１０３から術前計画用プログラム１０３ａを読み出して、この術前計画用プログラム１０３ａに従って、取付け予定の人工股関節（骨盤側部材（臼蓋カップ）や大腿骨側部材（大腿骨ステム）等の人工関節構成部材）の形状や寸法、臼蓋のリーミング位置やリーミング量、大腿骨Ｂ２の骨切り位置等をシミュレーションにより特定する。 The preoperative planning program 103a is a program that realizes functions related to preoperative planning processing of hip replacement.
That is, the CPU of the central control unit 101 reads the preoperative planning program 103a from the storage unit 103, and in accordance with the preoperative planning program 103a, the artificial hip joint (pelvic side member (acetabular cup) and femur) to be attached The shape and dimensions of a side member (femoral stem component such as a femoral stem), the reaming position and amount of the acetabulum, the osteotomy position of the femur B2, and the like are specified by simulation.

具体的には、上記実施形態１と略同様に、中央制御部１０１のＣＰＵは、上記した断層画像データＩから患者Ｐの骨盤や大腿骨Ｂ２の三次元形状を表す画像データを生成する。そして、中央制御部１０１のＣＰＵは、表示部１０４に表示された骨盤や大腿骨Ｂ２の三次元モデル上で座標系を構築し、人工股関節を構成する骨盤側部材や大腿骨側部材（人工関節構成部材）の設置予定位置等をシミュレーションして特定する。   Specifically, the CPU of the central control unit 101 generates image data representing the three-dimensional shape of the pelvis and the femur B2 of the patient P from the above-described tomographic image data I in substantially the same manner as in the first embodiment. Then, the CPU of the central control unit 101 constructs a coordinate system on the three-dimensional model of the pelvis and the femur B2 displayed on the display unit 104, and the pelvis side member and the femoral side member (prosthetic joint) constituting the artificial hip joint. The planned installation position of the component) is specified by simulation.

また、中央制御部１０１のＣＰＵは、断層画像データＩに基づいて表示部１０４に表示された骨盤や大腿骨Ｂ２の三次元モデル上での、骨盤や大腿骨Ｂ２に対する一の骨加工（骨切りや切削）の適切な向き及び位置のうちの少なくとも一方を含む骨加工情報をシミュレーションして生成する。さらに、骨加工情報には、表示部１０４に表示され、仮想的に一の骨加工が施された状態の大腿骨Ｂ２の三次元モデル上での、一の骨加工後の大腿骨Ｂ２に対する大腿骨側部材の取付けのための他の骨加工の向き及び位置のうちの少なくとも一方が含まれる。この骨加工情報は、シミュレーションにより自動的に生成されても良いし、医者による操作部１０５の所定操作に基づいて一の骨加工や他の骨加工の向きや位置の微調整が行われても良い。   The CPU of the central control unit 101 performs one bone processing (osteotomy) on the pelvis and the femur B2 on the three-dimensional model of the pelvis and the femur B2 displayed on the display unit 104 based on the tomographic image data I. Bone processing information including at least one of the appropriate orientation and position of the cutting and the cutting). Further, the bone processing information is displayed on the display unit 104, and the thigh for the femur B2 after one bone processing on the three-dimensional model of the femur B2 in a state where one bone processing is virtually performed. At least one of other bone processing orientations and positions for attachment of the bone side member is included. This bone processing information may be automatically generated by simulation, or one bone processing or other bone processing direction and position may be finely adjusted based on a predetermined operation of the operation unit 105 by a doctor. good.

具体的には、一の骨加工としては、例えば、骨盤の臼蓋のリーミング、大腿骨Ｂ２の骨頭の骨切り等が挙げられ、他の骨加工としては、例えば、大腿骨Ｂ２のリーミングが挙げられる。
また、中央制御部１０１のＣＰＵは、骨盤の前骨盤平面の傾き、臼蓋の寸法や向き、大腿骨Ｂ２の骨頭中心の位置、大腿骨Ｂ２の解剖軸等の各種の術中支援パラメータを生成しても良い。 Specifically, examples of the bone processing include reaming of the acetabulum of the pelvis and osteotomy of the femoral head of the femur B2, and other bone processing includes reaming of the femur B2, for example. It is done.
In addition, the CPU of the central control unit 101 generates various intraoperative support parameters such as the inclination of the anterior pelvic plane of the pelvis, the size and orientation of the acetabulum, the position of the femoral head center of the femur B2, and the anatomical axis of the femur B2. May be.

＜第２手術支援端末＞
次に、第２手術支援端末２Ａについて、図８を参照して詳細に説明する。図８は、第２手術支援端末２Ａの機能的構成を示すブロック図である。
第２手術支援端末２Ａは、人工股関節置換術の術中支援を行うためのものである以外の点は、上記実施形態１と略同様である。具体的には、図８に示すように、第２手術支援端末２Ａの記憶部２０３は、第２取得プログラム２０３ｆ、撮像画像取得プログラム２０３ｂ、推定プログラム２０３ｃ、第２特定プログラム２０３ｇ、第２表示制御プログラム２０３ｈ、断層画像データＩ、術前計画データＤ等を記憶している。 <Second surgery support terminal>
Next, the second surgery support terminal 2A will be described in detail with reference to FIG. FIG. 8 is a block diagram showing a functional configuration of the second surgery support terminal 2A.
The second surgery support terminal 2A is substantially the same as that of the first embodiment, except that the second surgery support terminal 2A is used for performing intraoperative support for hip replacement. Specifically, as illustrated in FIG. 8, the storage unit 203 of the second surgery support terminal 2A includes a second acquisition program 203f, a captured image acquisition program 203b, an estimation program 203c, a second identification program 203g, and a second display control. A program 203h, tomographic image data I, preoperative plan data D, and the like are stored.

第２取得プログラム２０３ｆは、基準画像及び骨加工情報を取得する第２取得処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第２取得プログラム２０３ｆを読み出して、この第２取得プログラム２０３ｆに従って、第２取得処理を行う。ここで、中央制御部２０１のＣＰＵは、第２取得プログラム２０３ｆとの協働により、第２取得手段として機能する。 The second acquisition program 203f is a program that realizes a function related to a second acquisition process for acquiring a reference image and bone processing information.
That is, the CPU of the central control unit 201 reads the second acquisition program 203f from the storage unit 203, and performs a second acquisition process according to the second acquisition program 203f. Here, the CPU of the central control unit 201 functions as a second acquisition unit in cooperation with the second acquisition program 203f.

具体的には、中央制御部２０１のＣＰＵは、上記実施形態１の第１取得処理と略同様に、病院端末１から送信されて通信制御部２０８により受信され、記憶部２０３に記憶されている断層画像データＩ、すなわち、人工股関節置換術前に医療用断層画像診断装置により撮像された断層画像データＩを記憶部２０３から読み出して取得する。そして、中央制御部２０１のＣＰＵは、患者Ｐの人工股関節が取り付けられる予定の骨盤及び大腿骨Ｂ２の三次元形状を表す基準画像の画像データを生成して取得する。この基準画像は、後述する骨加工情報に基づいて骨Ｂ（例えば、大腿骨Ｂ２）に対して仮想的に一の骨加工が施された状態の三次元形状に係る基準画像を含んでいる。   Specifically, the CPU of the central control unit 201 is transmitted from the hospital terminal 1, received by the communication control unit 208, and stored in the storage unit 203, in substantially the same manner as the first acquisition process of the first embodiment. The tomographic image data I, that is, the tomographic image data I imaged by the medical tomographic image diagnostic apparatus before the hip replacement is read out from the storage unit 203 and acquired. Then, the CPU of the central control unit 201 generates and acquires image data of a reference image representing the three-dimensional shape of the pelvis and the femur B2 to which the artificial hip joint of the patient P is to be attached. This reference image includes a reference image related to a three-dimensional shape in a state where one bone processing is virtually performed on the bone B (for example, the femur B2) based on bone processing information described later.

また、中央制御部２０１のＣＰＵは、病院端末１から送信されて通信制御部２０８により受信され、記憶部２０３に記憶されている術前計画データＤを記憶部２０３から読み出して取得する。すなわち、中央制御部２０１のＣＰＵは、断層画像データＩに基づく骨盤や大腿骨Ｂ２の三次元モデル上での、骨盤や大腿骨Ｂ２に対する一の骨加工の向き及び位置のうちの少なくとも一方、並びに、仮想的に一の骨加工が施された状態の大腿骨Ｂ２の三次元モデル上での、大腿骨Ｂ２に対する他の骨加工の向き及び位置のうちの少なくとも一方を含む骨加工情報を含む術前計画データＤを取得する。   The CPU of the central control unit 201 reads out and acquires preoperative plan data D transmitted from the hospital terminal 1 and received by the communication control unit 208 and stored in the storage unit 203 from the storage unit 203. That is, the CPU of the central control unit 201 performs at least one of one bone processing direction and position with respect to the pelvis and the femur B2 on the three-dimensional model of the pelvis and the femur B2 based on the tomographic image data I, and A technique including bone processing information including at least one of the direction and position of another bone processing with respect to the femur B2 on the three-dimensional model of the femur B2 in a state where one bone processing is virtually performed. The previous plan data D is acquired.

撮像画像取得プログラム２０３ｂは、上記実施形態１と略同様に、撮像画像Ｆ（図１０（ａ）等参照）を逐次取得する撮像画像取得処理に係る機能を実現させるプログラムである。
すなわち、例えば、人工股関節置換術中に、手術台Ｔ上の患者Ｐの骨盤や大腿骨Ｂ２が撮像部２０４により撮像されると、撮像部２０４の撮像制御部は、電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して信号処理部２０５に出力させる。信号処理部２０５は、フレーム画像のアナログ値の信号に対して各種の画像信号処理を施して、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成してメモリ２０２に出力する。中央制御部２０１のＣＰＵは、メモリ２０２からフレーム画像（撮像画像Ｆ）のデジタル値の画像データ（ＹＵＶデータ）を逐次取得する。 The captured image acquisition program 203b is a program that realizes a function related to a captured image acquisition process that sequentially acquires captured images F (see FIG. 10A, etc.), as in the first embodiment.
That is, for example, when the pelvis or femur B2 of the patient P on the operating table T is imaged by the imaging unit 204 during the hip replacement, the imaging control unit of the imaging unit 204 starts from the imaging area of the electronic imaging unit. The frame image is read for each screen and is output to the signal processing unit 205. The signal processing unit 205 performs various kinds of image signal processing on the analog value signal of the frame image to generate a digital luminance signal Y and color difference signals Cb and Cr (YUV data) and output them to the memory 202. . The CPU of the central control unit 201 sequentially acquires digital image data (YUV data) of the frame image (captured image F) from the memory 202.

また、患者Ｐの骨Ｂに対して一の骨加工が行われた後は、中央制御部２０１のＣＰＵは、撮像画像取得処理にて、一の骨加工後の骨Ｂが撮像された撮像画像Ｆの画像データを逐次取得する。   In addition, after one bone processing is performed on the bone B of the patient P, the CPU of the central control unit 201 captures an image of the bone B after the one bone processing in the captured image acquisition process. F image data is sequentially acquired.

推定プログラム２０３ｃは、上記実施形態１と略同様に、撮像画像Ｆ内での患者Ｐの骨Ｂの姿勢を推定する推定処理に係る機能を実現させるプログラムである。
すなわち、具体的には、中央制御部２０１のＣＰＵは、撮像画像取得処理により逐次取得された撮像画像Ｆ（例えば、骨盤や大腿骨Ｂ２の表面形状を表す撮像画像Ｆ等）を第２取得処理により取得された基準画像（例えば、骨盤や大腿骨Ｂ２を表す基準画像等）と照合して、その照合結果に基づいて撮像画像Ｆ内での患者Ｐの骨Ｂの姿勢を推定する。 The estimation program 203c is a program that realizes a function related to an estimation process for estimating the posture of the bone B of the patient P in the captured image F in substantially the same manner as in the first embodiment.
Specifically, the CPU of the central control unit 201 performs the second acquisition process on the captured image F (for example, the captured image F representing the surface shape of the pelvis or the femur B2) sequentially acquired by the captured image acquisition process. Is collated with the reference image (for example, a reference image representing the pelvis or the femur B2) obtained by the above, and the posture of the bone B of the patient P in the captured image F is estimated based on the collation result.

また、患者Ｐの骨Ｂに対して一の骨加工が行われた後は、中央制御部２０１のＣＰＵは、撮像画像取得処理により逐次取得された撮像画像Ｆと第２取得処理により取得された基準画像とを照合して、撮像画像Ｆ内での一の骨加工後の骨Ｂの姿勢を推定する。ここで、一の骨加工後の骨Ｂの姿勢を推定する処理は、上記した一の骨加工前の骨Ｂの姿勢を推定する処理と略同様であり、ここでは詳細な説明は省略するが、例えば、中央制御部２０１のＣＰＵは、骨加工情報に基づいて骨Ｂ（例えば、大腿骨Ｂ２）に対して仮想的に一の骨加工が施された状態の三次元形状を表す基準画像を任意の二次元平面に投影した画像を複数生成して、撮像画像Ｆとの照合を行うようになっている。   In addition, after one bone processing is performed on the bone B of the patient P, the CPU of the central control unit 201 is acquired by the captured image F and the second acquisition process sequentially acquired by the captured image acquisition process. The posture of the bone B after one bone processing in the captured image F is estimated by collating with the reference image. Here, the process for estimating the posture of the bone B after one bone processing is substantially the same as the process for estimating the posture of the bone B before one bone processing, and detailed description thereof is omitted here. For example, the CPU of the central control unit 201 generates a reference image representing a three-dimensional shape in a state where one bone processing is virtually performed on the bone B (for example, the femur B2) based on the bone processing information. A plurality of images projected on an arbitrary two-dimensional plane are generated and collated with the captured image F.

第２特定プログラム２０３ｇは、骨加工の向きや位置を特定する第２特定処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第２特定プログラム２０３ｇを読み出して、この第２特定プログラム２０３ｇに従って、第２特定処理を行う。ここで、中央制御部２０１のＣＰＵは、第２特定プログラム２０３ｇとの協働により、第２特定手段として機能する。 The second specifying program 203g is a program for realizing a function related to a second specifying process for specifying the direction and position of bone processing.
That is, the CPU of the central control unit 201 reads the second specifying program 203g from the storage unit 203, and performs the second specifying process according to the second specifying program 203g. Here, the CPU of the central control unit 201 functions as a second specifying unit in cooperation with the second specifying program 203g.

具体的には、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での患者Ｐの骨Ｂ（例えば、骨盤や大腿骨Ｂ２等）の姿勢（好ましくは、姿勢及び位置）と、第２取得処理により取得された骨加工情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の患者Ｐの骨Ｂに対する一の骨加工の向き及び位置のうちの少なくとも一方を特定する。例えば、大腿骨Ｂ２の場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での大腿骨Ｂ２の姿勢と、骨加工情報に含まれる大腿骨Ｂ２の三次元モデル上での当該大腿骨Ｂ２に対する骨切り（一の骨加工）の向き及び位置とに基づいて、撮像画像Ｆ内の大腿骨Ｂ２の座標系と当該大腿骨Ｂ２の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の大腿骨Ｂ２の座標系での当該大腿骨Ｂ２の骨頭の骨切りの向き及び位置を特定する。   Specifically, the CPU of the central control unit 201 has a posture (preferably, posture and position) of the bone B (for example, pelvis or femur B2) of the patient P in the captured image F estimated by the estimation process. And at least one of one bone processing direction and position with respect to the bone B of the patient P in the captured image F based on the preoperative plan data D including the bone processing information acquired by the second acquisition process. Identify. For example, in the case of the femur B2, the CPU of the central control unit 201 performs the posture of the femur B2 in the captured image F and the femur B2 on the three-dimensional model of the femur B2 included in the bone processing information. Based on the direction and position of osteotomy (one bone processing), the coordinate system of the femur B2 in the captured image F and the coordinate system of the three-dimensional model of the femur B2 are aligned, and the captured image F The direction and position of the osteotomy of the head of the femur B2 in the coordinate system of the inner femur B2 are specified.

また、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での一の骨加工後の骨Ｂ（例えば、大腿骨Ｂ２等）の姿勢と、第２取得処理により取得された骨加工情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の一の骨加工後の骨Ｂに対する他の骨加工の向き及び位置のうちの少なくとも一方を特定する。例えば、大腿骨Ｂ２の骨頭の骨切りが一の骨加工として行われた場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での骨切り後の大腿骨Ｂ２の姿勢と、骨加工情報に含まれる仮想的に一の骨加工が施された状態の大腿骨Ｂ２の三次元モデル上での一の骨加工後の大腿骨Ｂ２に対する大腿骨側部材の取付けのためのリーミング（他の骨加工）の向き及び位置とに基づいて、撮像画像Ｆ内の骨切り後の大腿骨Ｂ２の座標系と当該大腿骨Ｂ２の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の骨切り後の大腿骨Ｂ２の座標系での当該大腿骨Ｂ２のリーミングの向き及び位置を特定する。   Further, the CPU of the central control unit 201 acquires the posture of the bone B after bone processing (for example, the femur B2 and the like) in the captured image F estimated by the estimation process and the second acquisition process. Based on the preoperative plan data D including the bone processing information, at least one of the direction and position of another bone processing with respect to the bone B after one bone processing in the captured image F is specified. For example, when the osteotomy of the femoral head of the femur B2 is performed as one bone processing, the CPU of the central control unit 201 uses the posture of the femur B2 after the osteotomy in the captured image F and the bone processing information. Reaming for attaching a femoral side member to the femur B2 after one bone processing on the three-dimensional model of the femur B2 in a state where the virtually one bone processing is performed (other bone processing) ) And the position of the coordinate system of the femur B2 after osteotomy in the captured image F and the coordinate system of the three-dimensional model of the femur B2 in the captured image F. The reaming direction and position of the femur B2 in the coordinate system of the femur B2 after cutting are specified.

また、骨盤の場合も処理内容は略同様であり、ここでは詳細な説明は省略するが、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での骨盤の姿勢と、骨加工情報に含まれる骨盤の三次元モデル上での当該骨盤の臼蓋のリーミング（一の骨加工）の向き及び位置とに基づいて、撮像画像Ｆ内の骨盤の座標系と当該骨盤の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の骨盤の座標系での当該骨盤の臼蓋のリーミングの向き及び位置を特定する。   In the case of the pelvis, the processing contents are substantially the same, and detailed description thereof is omitted here. However, the CPU of the central control unit 201 performs the pelvis posture in the captured image F and the pelvis included in the bone processing information. The position of the coordinate system of the pelvis and the coordinate system of the three-dimensional model of the pelvis in the captured image F based on the orientation and position of the acetabular reaming (one bone processing) on the three-dimensional model of the pelvis Matching is performed, and the reaming direction and position of the acetabulum of the pelvis in the coordinate system of the pelvis in the captured image F are specified.

第２表示制御プログラム２０３ｈは、拡張現実技術を用いて、表示部２０６の表示パネル２０６ａに拡張現実画像を表示させる第２表示制御処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第２表示制御プログラム２０３ｈを読み出して、この第２表示制御プログラム２０３ｈに従って、第２表示制御処理を行う。ここで、中央制御部２０１のＣＰＵは、第２表示制御プログラム２０３ｈとの協働により、第２表示制御手段として機能する。 The second display control program 203h is a program that realizes a function related to a second display control process for displaying an augmented reality image on the display panel 206a of the display unit 206 using augmented reality technology.
That is, the CPU of the central control unit 201 reads the second display control program 203h from the storage unit 203, and performs a second display control process according to the second display control program 203h. Here, the CPU of the central control unit 201 functions as second display control means in cooperation with the second display control program 203h.

具体的には、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での骨Ｂ（例えば、骨盤や大腿骨Ｂ２等）の姿勢（好ましくは、姿勢及び位置）と、第２取得処理により取得された骨加工情報とに基づいて、撮像画像取得処理により逐次取得された撮像画像Ｆに、一の骨加工の向き及び位置のうちの少なくとも一方を拡張現実技術を用いて仮想的に表す第２拡張現実画像ＡＲ２を重畳させて表示パネル２０６ａに表示させる。より具体的には、中央制御部２０１のＣＰＵは、第２特定処理により特定された撮像画像Ｆ内の骨Ｂに対する一の骨加工の向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。例えば、大腿骨Ｂ２の場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の大腿骨Ｂ２の骨頭の骨切りの向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる（図１０（ａ）参照）。   Specifically, the CPU of the central control unit 201 determines the posture (preferably the posture and position) of the bone B (for example, the pelvis and the femur B2) in the captured image F estimated by the estimation process, 2 Based on the bone processing information acquired by the acquisition processing, at least one of the orientation and position of one bone processing is virtualized using augmented reality technology on the captured image F sequentially acquired by the captured image acquisition processing. The second augmented reality image AR2 that is shown schematically is superimposed and displayed on the display panel 206a. More specifically, the CPU of the central control unit 201 generates the second augmented reality image AR2 that virtually represents the direction and position of one bone processing with respect to the bone B in the captured image F specified by the second specifying process. The image is superimposed on the captured image F and displayed on the display panel 206a. For example, in the case of the femur B2, the CPU of the central control unit 201 superimposes on the captured image F the second augmented reality image AR2 that virtually represents the direction and position of the osteotomy of the femur B2 in the captured image F. And displayed on the display panel 206a (see FIG. 10A).

また、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での一の骨加工後の骨Ｂ（例えば、大腿骨Ｂ２等）の姿勢（好ましくは、姿勢及び位置）と、第２取得処理により取得された骨加工情報とに基づいて、撮像画像取得処理により逐次取得された撮像画像Ｆに、他の骨加工の向き及び位置のうちの少なくとも一方を拡張現実技術を用いて仮想的に表す第３拡張現実画像ＡＲ３を重畳させて表示パネル２０６ａに表示させる。より具体的には、中央制御部２０１のＣＰＵは、第２特定処理により特定された撮像画像Ｆ内の一の骨加工後の骨Ｂに対する他の骨加工の向き及び位置を仮想的に表す第３拡張現実画像ＡＲ３を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。例えば、大腿骨Ｂ２の骨頭の骨切りが一の骨加工として行われた場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の骨切り後の大腿骨Ｂ２に対する大腿骨側部材の取付けのための当該大腿骨Ｂ２のリーミングの向き及び位置を仮想的に表す第３拡張現実画像ＡＲ３を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる（図１０（ｂ）参照）。   In addition, the CPU of the central control unit 201 has a posture (preferably a posture and a position) of one bone B (for example, a femur B2) after bone processing in the captured image F estimated by the estimation process, Based on the bone processing information acquired by the second acquisition process, at least one of the orientation and position of the other bone processing is applied to the captured image F sequentially acquired by the captured image acquisition process using augmented reality technology. A virtually augmented third augmented reality image AR3 is displayed on the display panel 206a. More specifically, the CPU of the central control unit 201 virtually represents the direction and position of another bone processing with respect to the bone B after one bone processing in the captured image F specified by the second specifying process. The 3 augmented reality image AR3 is superimposed on the captured image F and displayed on the display panel 206a. For example, when the osteotomy of the femoral head of the femur B2 is performed as one bone processing, the CPU of the central control unit 201 is for attaching the femoral side member to the femur B2 after the osteotomy in the captured image F. The third augmented reality image AR3 that virtually represents the reaming direction and position of the femur B2 is superimposed on the captured image F and displayed on the display panel 206a (see FIG. 10B).

また、骨盤の場合も処理内容は略同様であり、ここでは詳細な説明は省略するが、例えば、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の骨盤の臼蓋のリーミングの向き及び位置を仮想的に表す第２拡張現実画像（図示略）を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。   In the case of the pelvis, the processing contents are substantially the same, and detailed description thereof is omitted here. For example, the CPU of the central control unit 201 determines the reaming direction and position of the pelvic acetabulum in the captured image F. A virtually augmented second augmented reality image (not shown) is superimposed on the captured image F and displayed on the display panel 206a.

第２拡張現実画像ＡＲ２として、骨切り面を表す平面状のものを例示し（図１０（ａ）参照）、第３拡張現実画像ＡＲ３として、長尺な円柱形状のものを例示したが（図１０（ｂ）参照）、一例であってこれらに限られるものではなく、形状や寸法は適宜任意に変更可能である。また、第２拡張現実画像ＡＲ２及び第３拡張現実画像ＡＲ２は、第１拡張現実画像ＡＲ１と同様に、半透過の状態か、或いは、外形のみが識別可能に表示された透過状態とするのが好ましい。   As the second augmented reality image AR2, a planar one representing an osteotomy surface is illustrated (see FIG. 10A), and as the third augmented reality image AR3, a long cylindrical shape is illustrated (see FIG. 10). 10 (b)), which is an example and is not limited thereto, and the shape and dimensions can be arbitrarily changed as appropriate. Further, the second augmented reality image AR2 and the third augmented reality image AR2 may be in a semi-transparent state or in a transmissive state in which only the outer shape is displayed so as to be identifiable, like the first augmented reality image AR1. preferable.

なお、図１０（ａ）及び図１０（ｂ）にあっては、患者Ｐの大腿骨Ｂ２以外の部分の図示は省略しているが、実際には、大腿骨Ｂ２の周囲の組織も撮像部２０４により撮像されて表示パネル２０６ａに表示された状態となる。   10 (a) and 10 (b), illustration of portions other than the femur B2 of the patient P is omitted, but actually, the tissue around the femur B2 is also imaged. The image is captured by 204 and displayed on the display panel 206a.

＜第２術中支援処理＞
以下に、人工股関節置換術における第２術中支援処理について、図９及び図１０を参照して説明する。
図９は、第２手術支援端末２Ａを用いた第２術中支援処理に係る動作の一例を示すフローチャートである。また、図１０（ａ）及び図１０（ｂ）は、第２術中支援処理にて第２手術支援端末２Ａの表示パネル２０６ａに表示される表示画面の一例を模式的に示す図である。 <Second intraoperative support process>
Hereinafter, the second intraoperative support process in the hip replacement will be described with reference to FIGS. 9 and 10.
FIG. 9 is a flowchart illustrating an example of an operation related to the second intraoperative support process using the second operation support terminal 2A. FIGS. 10A and 10B are diagrams schematically illustrating an example of a display screen displayed on the display panel 206a of the second surgery support terminal 2A in the second intraoperative support process.

図９に示すように、先ず、中央制御部２０１のＣＰＵは、患者Ｐの人工股関節が取り付けられる予定の骨盤及び大腿骨Ｂ２の三次元形状を表す基準画像、並びに、骨加工情報を含む術前計画データＤを取得する（ステップＳ１１；第２取得処理）。
具体的には、中央制御部２０１のＣＰＵは、第２取得プログラム２０３ｆに従って、記憶部２０３から断層画像データＩを読み出して取得し、患者Ｐの骨盤及び大腿骨Ｂ２の三次元形状を表す基準画像の画像データを生成して取得する。また、中央制御部２０１のＣＰＵは、骨盤や大腿骨Ｂ２一の骨加工の向き及び位置、並びに、一の骨加工後の大腿骨Ｂ２に対する大腿骨側部材の取付けのための他の骨加工の向き及び位置に係る骨加工情報を含む術前計画データＤを取得する。 As shown in FIG. 9, first, the CPU of the central control unit 201 preoperatively includes a reference image representing the three-dimensional shape of the pelvis and femur B2 to which the artificial hip joint of the patient P is to be attached, and bone processing information. Plan data D is acquired (step S11; second acquisition process).
Specifically, the CPU of the central control unit 201 reads out and acquires the tomographic image data I from the storage unit 203 according to the second acquisition program 203f, and obtains a reference image representing the three-dimensional shapes of the pelvis and the femur B2 of the patient P. The image data is generated and acquired. Further, the CPU of the central control unit 201 performs other bone processing directions and positions for the bone processing of the pelvis and the femur B2 and other bone processing for attaching the femoral side member to the femur B2 after the one bone processing. Preoperative plan data D including bone processing information related to the orientation and position is acquired.

次に、中央制御部２０１のＣＰＵは、骨盤及び大腿骨Ｂ２のうち、ユーザによる操作部２０７の所定操作に基づいて指定された一方の骨Ｂ（例えば、大腿骨Ｂ２等）を第２術中支援処理の対象となる対象骨として指定する（ステップＳ１２）。   Next, the CPU of the central control unit 201 supports one of the pelvis and the femur B2 that is designated based on a predetermined operation of the operation unit 207 by the user (for example, the femur B2) during the second operation. Designated as a target bone to be processed (step S12).

続けて、中央制御部２０１のＣＰＵは、実施形態１の第１術中支援処理のステップＳ３と略同様に、患者Ｐの対象骨の表面が撮像された撮像画像Ｆを逐次取得し（ステップＳ１３；撮像画像取得処理）、実施形態１の第１術中支援処理のステップＳ４と略同様に、撮像画像Ｆ内での患者Ｐの対象骨の姿勢を推定する（ステップＳ１４；推定処理）。   Subsequently, the CPU of the central control unit 201 sequentially acquires captured images F obtained by capturing the surface of the target bone of the patient P (step S13; substantially similar to step S3 of the first intraoperative support process of the first embodiment). (Captured image acquisition process), the posture of the target bone of the patient P in the captured image F is estimated in substantially the same manner as Step S4 of the first intraoperative support process of Embodiment 1 (Step S14; estimation process).

次に、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の患者Ｐの対象骨に対する一の骨加工の向き及び位置を特定する（ステップＳ１５；第２特定処理）。
具体的には、中央制御部２０１のＣＰＵは、第２特定プログラム２０３ｇに従って、推定処理により推定された撮像画像Ｆ内での対象骨（例えば、大腿骨Ｂ２等）の姿勢と、第２取得処理により取得された骨加工情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の対象骨の座標系と当該対象骨の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の対象骨の座標系での当該対象骨に対する一の骨加工（例えば、大腿骨Ｂ２の骨切り等）の向き及び位置を特定する。 Next, the CPU of the central control unit 201 specifies one bone processing direction and position with respect to the target bone of the patient P in the captured image F (step S15; second specifying process).
Specifically, the CPU of the central control unit 201 performs the second acquisition process with the posture of the target bone (for example, the femur B2 and the like) in the captured image F estimated by the estimation process according to the second specifying program 203g. Based on the preoperative plan data D including the bone processing information acquired by the above, the coordinate system of the target bone in the captured image F and the coordinate system of the three-dimensional model of the target bone are aligned, and the captured image F The direction and position of one bone processing (for example, osteotomy of the femur B2) with respect to the target bone in the coordinate system of the target bone is specified.

続けて、中央制御部２０１のＣＰＵは、撮像画像Ｆに対象骨に対する一の骨加工の向き及び位置を拡張現実技術を用いて仮想的に表す第２拡張現実画像ＡＲ２を重畳させて表示パネル２０６ａに表示させる（ステップＳ１６；第２表示制御処理）。
具体的には、中央制御部２０１のＣＰＵは、第２表示制御プログラム２０３ｈに従って、第２特定処理により特定された撮像画像Ｆ内の患者Ｐの対象骨（例えば、大腿骨Ｂ２等）に対する一の骨加工の向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。例えば、対象骨が大腿骨Ｂ２の場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の大腿骨Ｂ２の骨頭の骨切りの向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる（図１０（ａ）参照）。
これにより、医者は第２拡張現実画像ＡＲ２を視認して、大腿骨Ｂ２の骨頭の骨切りの向き及び位置を把握することができる。 Subsequently, the CPU of the central control unit 201 superimposes the second augmented reality image AR2 that virtually represents the orientation and position of one bone processing with respect to the target bone on the captured image F using the augmented reality technology, and displays the display panel 206a. (Step S16; second display control process).
Specifically, the CPU of the central control unit 201 performs one operation on the target bone (for example, the femur B2) of the patient P in the captured image F specified by the second specifying process according to the second display control program 203h. The second augmented reality image AR2 that virtually represents the bone processing direction and position is superimposed on the captured image F and displayed on the display panel 206a. For example, when the target bone is the femur B2, the CPU of the central control unit 201 captures the second augmented reality image AR2 that virtually represents the direction and position of the osteotomy of the femur B2 in the captured image F. The image is superimposed on F and displayed on the display panel 206a (see FIG. 10A).
Thus, the doctor can visually recognize the second augmented reality image AR2 and grasp the direction and position of the osteotomy of the femoral head of the femur B2.

その後、中央制御部２０１のＣＰＵは、例えば、術前計画データＤに基づいて、患者Ｐの対象骨に対するインプラントの取付けのための他の骨加工が必要であるか否かを判定する（ステップＳ１７）。
ここで、他の骨加工が必要であると判定されると（ステップＳ１７；ＹＥＳ）、中央制御部２０１のＣＰＵは、ステップＳ１３と略同様に、一の骨加工後の対象骨の表面が撮像された撮像画像Ｆを逐次取得する（ステップＳ１８；撮像画像取得処理）。続けて、中央制御部２０１のＣＰＵは、ステップＳ１４と略同様に、撮像画像Ｆ内での一の骨加工後の対象骨の姿勢を推定する（ステップＳ１９；推定処理）。 Thereafter, the CPU of the central control unit 201 determines, for example, based on the preoperative plan data D whether or not another bone processing is necessary for attachment of the implant to the target bone of the patient P (step S17). ).
Here, if it is determined that other bone processing is necessary (step S17; YES), the CPU of the central control unit 201 images the surface of the target bone after one bone processing in substantially the same manner as in step S13. The acquired captured image F is sequentially acquired (step S18; captured image acquisition process). Subsequently, the CPU of the central control unit 201 estimates the posture of the target bone after bone processing in the captured image F in substantially the same manner as in step S14 (step S19; estimation process).

その後、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の一の骨加工後の対象骨に対する他の骨加工の向き及び位置を特定する（ステップＳ２０；第２特定処理）。
具体的には、中央制御部２０１のＣＰＵは、第２特定プログラム２０３ｇに従って、推定処理により推定された撮像画像Ｆ内での一の骨加工後の対象骨（例えば、大腿骨Ｂ２等）の姿勢と、第２取得処理により取得された骨加工情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の一の骨加工後の対象骨の座標系と当該対象骨の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の一の骨加工後の対象骨の座標系での当該対象骨に対する他の骨加工（例えば、大腿骨Ｂ２のリーミング等）の向き及び位置を特定する。 Thereafter, the CPU of the central control unit 201 specifies the direction and position of other bone processing with respect to the target bone after one bone processing in the captured image F (step S20; second specifying process).
Specifically, the CPU of the central control unit 201 determines the posture of the target bone (for example, the femur B2) after processing one bone in the captured image F estimated by the estimation process according to the second specifying program 203g. And the preoperative plan data D including the bone processing information acquired by the second acquisition process, the coordinate system of one target bone after bone processing in the captured image F and the three-dimensional model of the target bone The coordinate system is aligned, and the direction and position of another bone processing (for example, reaming of the femur B2) with respect to the target bone in the coordinate system of the target bone after one bone processing in the captured image F is performed. Identify.

続けて、中央制御部２０１のＣＰＵは、撮像画像Ｆに一の骨加工後の対象骨に対する他の骨加工の向き及び位置を拡張現実技術を用いて仮想的に表す第３拡張現実画像ＡＲ３を重畳させて表示パネル２０６ａに表示させる（ステップＳ２１；第２表示制御処理）。
具体的には、中央制御部２０１のＣＰＵは、第２表示制御プログラム２０３ｈに従って、第２特定処理により特定された撮像画像Ｆ内の一の骨加工後の対象骨（例えば、大腿骨Ｂ２等）に対する他の骨加工の向き及び位置を仮想的に表す第３拡張現実画像ＡＲ３を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。例えば、対象骨が大腿骨Ｂ２の場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の骨切り後の大腿骨Ｂ２のリーミングの向き及び位置を仮想的に表す第３拡張現実画像ＡＲ３を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる（図１０（ｂ）参照）。
これにより、医者は第３拡張現実画像ＡＲ３を視認して、大腿骨Ｂ２のリーミングの向き及び位置を把握することができる。 Subsequently, the CPU of the central control unit 201 displays, in the captured image F, a third augmented reality image AR3 that virtually represents another bone processing direction and position with respect to the target bone after one bone processing using the augmented reality technology. The images are superimposed and displayed on the display panel 206a (step S21; second display control process).
Specifically, the CPU of the central control unit 201 performs one bone-processed target bone (for example, the femur B2) in the captured image F specified by the second specifying process in accordance with the second display control program 203h. A third augmented reality image AR3 that virtually represents the direction and position of other bone processing with respect to is superimposed on the captured image F and displayed on the display panel 206a. For example, when the target bone is the femur B2, the CPU of the central control unit 201 captures the third augmented reality image AR3 that virtually represents the reaming direction and position of the femur B2 after osteotomy in the captured image F. The image is superimposed on the image F and displayed on the display panel 206a (see FIG. 10B).
Thus, the doctor can visually recognize the third augmented reality image AR3 and grasp the reaming direction and position of the femur B2.

その後、中央制御部２０１のＣＰＵは、骨盤及び大腿骨Ｂ２のうち、対象骨となる骨Ｂが他にあるか否かを判定する（ステップＳ２２）。また、ステップＳ１７にて、他の骨加工が必要でないと判定された場合（ステップＳ１７；ＮＯ）にも、中央制御部２０１のＣＰＵは、処理をステップＳ２２に移行し、対象骨となる骨Ｂが他にあるか否かを判定する。   Thereafter, the CPU of the central control unit 201 determines whether or not there is another bone B as a target bone among the pelvis and the femur B2 (step S22). Also, when it is determined in step S17 that no other bone processing is necessary (step S17; NO), the CPU of the central control unit 201 moves the process to step S22, and the bone B to be the target bone It is determined whether or not there is another.

ステップＳ２２にて、対象骨となる骨Ｂが他にあると判定されると（ステップＳ２２；ＹＥＳ）、中央制御部２０１のＣＰＵは、骨盤及び大腿骨Ｂ２のうち、前回対象骨として指定されていない他方の骨Ｂ（例えば、骨盤等）を新たな対象骨として指定した後（ステップＳ２３）、処理をステップＳ１３に戻す。   If it is determined in step S22 that there is another bone B as the target bone (step S22; YES), the CPU of the central control unit 201 is designated as the previous target bone of the pelvis and the femur B2. After designating the other bone B that is not present (for example, the pelvis) as a new target bone (step S23), the process returns to step S13.

そして、中央制御部２０１のＣＰＵは、ステップＳ１３〜Ｓ１６の各処理を上記と略同様にして行い、ステップＳ１６の第２表示制御処理にて、撮像画像Ｆ内の患者Ｐの対象骨（例えば、骨盤等）に対する一の骨加工の向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。例えば、対象骨が骨盤の場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の骨盤の臼蓋のリーミングの向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。
これにより、医者は第２拡張現実画像ＡＲ２を視認して、骨盤の臼蓋のリーミングの向き及び位置を把握することができる。 Then, the CPU of the central control unit 201 performs the processes of steps S13 to S16 in substantially the same manner as described above. In the second display control process of step S16, the target bone of the patient P in the captured image F (for example, A second augmented reality image AR2 that virtually represents the direction and position of one bone processing with respect to the pelvis or the like is superimposed on the captured image F and displayed on the display panel 206a. For example, when the target bone is the pelvis, the CPU of the central control unit 201 superimposes on the captured image F the second augmented reality image AR2 that virtually represents the reaming direction and position of the acetabulum of the pelvis in the captured image F. Display on the display panel 206a.
Accordingly, the doctor can visually recognize the second augmented reality image AR2 and grasp the reaming direction and position of the pelvic acetabulum.

その後、ステップＳ１７にて、中央制御部２０１のＣＰＵは、患者Ｐの対象骨に対するインプラントの取付けのための他の骨加工が必要であるか否かを判定する。例えば、対象骨が骨盤の場合、臼蓋のリーミング以外の他の骨加工が不要であることから、中央制御部２０１のＣＰＵは、他の骨加工が必要でないと判定して（ステップＳ１７；ＮＯ）、処理をステップＳ２２に移行する。   Thereafter, in step S <b> 17, the CPU of the central control unit 201 determines whether or not another bone processing is necessary for attachment of the implant to the target bone of the patient P. For example, when the target bone is the pelvis, since other bone processing other than the acetabular reaming is unnecessary, the CPU of the central control unit 201 determines that no other bone processing is necessary (step S17; NO). ), The process proceeds to step S22.

一方、ステップＳ２２にて、対象骨となる骨Ｂが他にないと判定されると（ステップＳ２２；ＮＯ）、中央制御部２０１のＣＰＵは、当該第２術中支援処理を終了する。   On the other hand, when it is determined in step S22 that there is no other bone B as the target bone (step S22; NO), the CPU of the central control unit 201 ends the second intraoperative support process.

以上のように、実施形態２の手術支援システム１００によれば、第２手術支援端末２Ａは、人工股関節置換術の術中に、患者Ｐの骨加工される予定の骨Ｂの表面が撮像された撮像画像Ｆを逐次取得して、この撮像画像Ｆ内での骨Ｂの姿勢を推定し、推定された撮像画像Ｆ内での骨Ｂの姿勢と、骨Ｂの基準画像に基づく三次元モデル上での当該骨Ｂに対する一の骨加工の向きや位置を含む骨加工情報とに基づいて、逐次取得された撮像画像Ｆに一の骨加工の向きや位置を仮想的に表す第２拡張現実画像ＡＲ２を重畳させて表示部２０６に表示させるので、従来のように、高額なナビゲーションシステムを用いなくとも、医者が表示部２０６に表示されている第２拡張現実画像ＡＲ２を視認するだけで骨Ｂに対する一の骨加工の向きや位置を適正に把握することができ、外科手術の術中支援を高精度で、且つ、低コストで行うことができる。つまり、手術台Ｔ上での患者Ｐの***の状態に応じて変化する骨Ｂの向きや位置（特に、回旋等）を考慮して当該骨Ｂに対する一の骨加工の向きや位置を医者が逐次把握することができ、結果として、より正確に一の骨加工を行うことができるようになる。   As described above, according to the surgery support system 100 of the second embodiment, the second surgery support terminal 2A images the surface of the bone B scheduled to be boned by the patient P during the hip replacement surgery. The captured image F is sequentially acquired, and the posture of the bone B in the captured image F is estimated. On the three-dimensional model based on the estimated posture of the bone B in the captured image F and the reference image of the bone B The second augmented reality image that virtually represents the orientation and position of one bone processing in the sequentially obtained captured image F based on the bone processing information including the orientation and position of the one bone processing for the bone B in FIG. Since AR2 is superimposed and displayed on the display unit 206, the doctor can simply view the second augmented reality image AR2 displayed on the display unit 206 without using an expensive navigation system as in the past. Proper bone processing direction and position with respect to It can be grasped, the intraoperative assistance surgery with high accuracy, and can be done at low cost. In other words, the doctor determines the direction and position of one bone processing with respect to the bone B in consideration of the direction and position (especially rotation) of the bone B that changes depending on the posture of the patient P on the operating table T. As a result, one bone processing can be performed more accurately.

さらに、一の骨加工後には、当該一の骨加工後の骨Ｂが撮像された撮像画像Ｆを逐次取得し、逐次取得された撮像画像Ｆと骨Ｂに対して仮想的に一の骨加工が施された状態の三次元形状に係る基準画像とを照合して、この撮像画像Ｆ内での一の骨加工後の骨Ｂの姿勢を推定し、推定された撮像画像Ｆ内での一の骨加工後の骨Ｂの姿勢と、骨Ｂの基準画像に基づく三次元モデル上での当該一の骨加工後の骨Ｂに対するインプラントの取付けのための他の骨加工の向きや位置を含む骨加工情報とに基づいて、逐次取得された撮像画像Ｆに他の骨加工の向きや位置を仮想的に表す第３拡張現実画像ＡＲ３を重畳させて表示部２０６に表示させるので、骨Ｂに対して一の骨加工が施された状態でも、医者が表示部２０６に表示されている第３拡張現実画像ＡＲ３を視認するだけで一の骨加工後の骨Ｂに対する他の骨加工の向きや位置を適正に把握することができる。   Furthermore, after one bone processing, the captured image F obtained by imaging the bone B after the one bone processing is sequentially acquired, and one bone processing is virtually performed on the sequentially acquired captured image F and the bone B. Is compared with a reference image relating to a three-dimensional shape in a state of being subjected to the estimation, the posture of one bone-processed bone B in the captured image F is estimated, and one in the estimated captured image F is estimated. The posture of the bone B after bone processing of the bone B and the direction and position of other bone processing for attaching the implant to the bone B after the bone processing on the three-dimensional model based on the reference image of the bone B Based on the bone processing information, the third augmented reality image AR3 that virtually represents the direction and position of another bone processing is superimposed on the sequentially acquired captured image F and displayed on the display unit 206. The third augmented reality displayed on the display unit 206 by the doctor even in the state where one bone processing is performed. Simply by viewing the image AR3 can properly grasp the orientation and the position of the other bone processing for one of the bones B after bone processing.

なお、本発明は、上記実施形態１、２に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、インプラントとして、人工膝関節や人工股関節を例示したが、一例であってこれに限られるものではなく、例えば、脊椎ケージや人工椎体など適宜任意に変更可能である。また、例えば、人工膝関節置換術においては、実施形態１のように、髄内ロッドや骨切り案内部材（治具）を用いずに、実施形態２のように、脛骨Ｂ１ａや大腿骨Ｂ１ｂに対する骨加工の向きや位置を拡張現実技術を用いて仮想的に表すようにしても良い。このとき、骨Ｂに対する骨加工が複数回行われる場合には、実施形態２のように、一の骨加工後の骨Ｂの姿勢を推定し、他の骨加工の向きや位置を拡張現実技術を用いて仮想的に表すようにしても良い。 The present invention is not limited to the first and second embodiments, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, although an artificial knee joint and an artificial hip joint are illustrated as an implant, it is only an example and is not limited thereto. For example, a spinal cage or an artificial vertebral body can be arbitrarily changed. Further, for example, in artificial knee joint replacement, the intramedullary rod and the osteotomy guide member (jig) are not used as in the first embodiment, but the tibia B1a and the femur B1b are used as in the second embodiment. The direction and position of bone processing may be represented virtually using augmented reality technology. At this time, when the bone processing on the bone B is performed a plurality of times, as in the second embodiment, the posture of the bone B after one bone processing is estimated, and the direction and position of the other bone processing are set as augmented reality technology. You may make it represent virtually using.

また、上記実施形態１にあっては、第１拡張現実画像ＡＲ１として、脛骨髄内ロッドや大腿骨髄内ロッド等の治具の向き及び位置の両方を仮想的に表すものを例示したが、一例であってこれに限られるものではなく、例えば、当該治具の向き及び位置のうち、何れか一方を仮想的に表すものであっても良い。さらに、第１拡張現実画像ＡＲ１は、治具の向きや位置を直接的に表すものに変えて、或いは、加えて、治具の向きや位置を間接的に表し、当該治具の向きや位置の調整の基準となる位置（例えば、脛骨Ｂ１ａの場合、後十字靭帯付着部、脛骨結節内縁等）を表すものであっても良い。   In the first embodiment, the first augmented reality image AR1 is illustrated as a virtual representation of both the orientation and position of a jig such as a tibia intramedullary rod or a femoral intramedullary rod. However, the present invention is not limited to this. For example, any one of the orientation and position of the jig may be virtually represented. Further, the first augmented reality image AR1 is changed to or directly represents the orientation and position of the jig, or in addition, the orientation and position of the jig is indirectly represented. It may represent a position (for example, in the case of the tibia B1a, the posterior cruciate ligament attachment portion, the tibial nodule inner edge, etc.).

また、上記実施形態２にあっては、第２拡張現実画像ＡＲ２として、一の骨加工の向き及び位置の両方を仮想的に表すものを例示したが、一例であってこれに限られるものではなく、例えば、当該一の骨加工の向き及び位置のうち、何れか一方を仮想的に表すものであっても良い。同様に、第３拡張現実画像ＡＲ３として、インプラントの取付けのための他の骨加工の向き及び位置の両方を仮想的に表すものを例示したが、一例であってこれに限られるものではなく、例えば、当該他の骨加工の向き及び位置のうち、何れか一方を仮想的に表すものであっても良い。さらに、第２拡張現実画像ＡＲ２や第３拡張現実画像ＡＲ３は、一の骨加工や他の骨加工の向きや位置を直接的に表すものに変えて、或いは、加えて、一の骨加工や他の骨加工の向きや位置を間接的に表し、当該一の骨加工や他の骨加工の向きや位置の調整の基準となる位置（例えば、大腿骨Ｂ２の場合、骨軸等）を表すものであっても良い。
また、第１〜第３拡張現実画像ＡＲ１〜ＡＲ３を表示する際に、撮像画像Ｆと基準画像との照合状態を表すために骨Ｂの三次元モデルも併せて表示パネル２０６ａに表示するようにしても良い。 In the second embodiment, the second augmented reality image AR2 is illustrated as a virtual representation of both the bone processing direction and position, but is not limited to this example. For example, any one of the direction and position of the one bone processing may be virtually represented. Similarly, as the third augmented reality image AR3, the virtual representation of both the direction and position of other bone processing for the attachment of the implant is illustrated, but this is an example and the present invention is not limited to this. For example, any one of the other bone processing directions and positions may be virtually represented. Further, the second augmented reality image AR2 and the third augmented reality image AR3 may be changed to one that directly represents the direction and position of one bone processing or another bone processing, or in addition, It indirectly represents the direction and position of other bone processing, and represents a position (for example, a bone axis in the case of the femur B2) as a reference for adjusting the direction and position of the one bone processing or the other bone processing. It may be a thing.
In addition, when displaying the first to third augmented reality images AR1 to AR3, the three-dimensional model of the bone B is also displayed on the display panel 206a in order to indicate the collation state between the captured image F and the reference image. May be.

さらに、上記実施形態１、２にあっては、例えば、予め人種、年齢及び性別などの人の身体的特徴の各々に対応する標準的な骨Ｂの三次元形状を表す画像データを複数用意しておき、患者Ｐの骨Ｂの断層画像データＩがない場合には、当該患者Ｐの身体的特徴に合致する画像データを基準画像として利用しても良い。   Further, in the first and second embodiments, for example, a plurality of image data representing a standard three-dimensional shape of the bone B corresponding to each of the physical characteristics of the person such as race, age, and sex are prepared in advance. In addition, when there is no tomographic image data I of the bone B of the patient P, image data that matches the physical characteristics of the patient P may be used as the reference image.

また、上記実施形態１、２にあっては、手術支援システム１００として、病院端末１と第１手術支援端末２や第２手術支援端末２Ａとが無線通信回線を介して接続された構成を例示したが、一例であってこれに限られるものではなく、例えば、有線ケーブル（図示略）を用いて情報通信可能に接続されていても良い。また、無線通信回線として、無線ＬＡＮを例示したが、一例であってこれに限られるものではなく、例えば、Bluetooth（登録商標）を用いても良い。   In the first and second embodiments, the operation support system 100 is exemplified by a configuration in which the hospital terminal 1 and the first operation support terminal 2 or the second operation support terminal 2A are connected via a wireless communication line. However, this is only an example, and the present invention is not limited to this. For example, a wired cable (not shown) may be used for information communication. Further, the wireless LAN is exemplified as the wireless communication line. However, the wireless LAN is an example, and the present invention is not limited to this. For example, Bluetooth (registered trademark) may be used.

さらに、第１手術支援端末２及び第２手術支援端末２Ａの構成は、一例であってこれらに限られるものではない。例えば、術前計画処理を病院端末１にて行うようにしたが、一例であってこれに限られるものではなく、例えば、第１手術支援端末２及び第２手術支援端末２Ａが行っても良く、この場合には、断層画像データＩ及び術前計画データＤのうち、少なくとも断層画像データＩを取得すれば良い。また、第１手術支援端末２及び第２手術支援端末２Ａは、断層画像データＩや術前計画データＤをメモリカード等の記憶媒体を介して病院端末１から取得しても良い。さらに、第１手術支援端末２及び第２手術支援端末２Ａとしては、例えば、ウェアラブルコンピューターデバイス、特に、頭部装着型コンピューターデバイス（ヘッドマウンティドディスプレイ）を用いても良い。   Furthermore, the structure of the 1st surgery assistance terminal 2 and the 2nd surgery assistance terminal 2A is an example, and is not restricted to these. For example, the preoperative planning process is performed at the hospital terminal 1, but this is an example, and the present invention is not limited thereto. For example, the first surgery support terminal 2 and the second surgery support terminal 2 </ b> A may perform the procedure. In this case, at least the tomographic image data I may be acquired from the tomographic image data I and the preoperative plan data D. Further, the first surgery support terminal 2 and the second surgery support terminal 2A may acquire the tomographic image data I and the preoperative plan data D from the hospital terminal 1 via a storage medium such as a memory card. Furthermore, as the first surgery support terminal 2 and the second surgery support terminal 2A, for example, a wearable computer device, particularly a head-mounted computer device (head mounted display) may be used.

また、上記実施形態１の第１手術支援端末２にあっては、第１取得手段、撮像画像取得手段、推定手段及び第１表示制御手段等としての機能が、中央制御部２０１のＣＰＵにより所定のプログラム等が実行されることにより実現されるようにしたが、所定のロジック回路により実現されても良い。
同様に、上記実施形態２の第２手術支援端末２Ａにあっては、第２取得手段、撮像画像取得手段、推定手段及び第２表示制御手段等としての機能が、中央制御部２０１のＣＰＵにより所定のプログラム等が実行されることにより実現されるようにしたが、所定のロジック回路により実現されても良い。 In the first surgery support terminal 2 of the first embodiment, the functions of the first acquisition unit, the captured image acquisition unit, the estimation unit, the first display control unit, and the like are predetermined by the CPU of the central control unit 201. However, it may be realized by a predetermined logic circuit.
Similarly, in the second surgery support terminal 2A of the second embodiment, the functions of the second acquisition unit, the captured image acquisition unit, the estimation unit, the second display control unit, and the like are performed by the CPU of the central control unit 201. Although it is realized by executing a predetermined program or the like, it may be realized by a predetermined logic circuit.

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記憶媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。   Furthermore, as a computer-readable medium storing a program for executing each of the above processes, a non-volatile memory such as a flash memory, a portable storage medium such as a CD-ROM, in addition to a ROM or a hard disk, is applied. Is also possible. A carrier wave is also used as a medium for providing program data via a predetermined communication line.

加えて、今回開示された実施形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。   In addition, it should be thought that embodiment disclosed this time is an illustration and restrictive at no points. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

１００ 手術支援システム
１ 病院端末
２ 第１手術支援端末
２Ａ 第２手術支援端末
２０１ 中央制御部（第１取得手段、撮像画像取得手段、推定手段、第１表示制御手段、第１特定手段、第２取得手段、第２表示制御手段、第２特定手段）
２０３ 記憶部
２０４ 撮像部
２０６ 表示部
２０６ａ 表示パネル
ＡＲ１〜ＡＲ３ 第１〜第３拡張現実画像
Ｂ 骨
Ｂ１ａ 脛骨
Ｂ１ｂ、Ｂ２ 大腿骨
Ｆ 撮像画像 DESCRIPTION OF SYMBOLS 100 Operation support system 1 Hospital terminal 2 1st operation support terminal 2A 2nd operation support terminal 201 Central control part (1st acquisition means, captured image acquisition means, estimation means, 1st display control means, 1st specification means, 2nd Acquisition means, second display control means, second specifying means)
DESCRIPTION OF SYMBOLS 203 Memory | storage part 204 Imaging part 206 Display part 206a Display panel AR1-AR3 1st-3rd augmented reality image B bone B1a Tibial B1b, B2 Femur F Captured image

Claims (10)

患者のインプラントが取付けられる予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対するインプラントの取付けを案内支援するための治具の向き及び位置のうちの少なくとも一方を含む治具情報とを取得する第１取得手段と、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段と、
前記撮像画像取得手段により逐次取得された撮像画像と前記第１取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段と、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第１取得手段により取得された前記治具情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記治具の向き及び位置のうちの少なくとも一方を仮想的に表す第１拡張現実画像を重畳させて表示部に表示させる第１表示制御手段と、
を備えることを特徴とする手術支援端末。 A reference image relating to a three-dimensional shape of a bone to which a patient's implant is to be attached, and a direction and a position of a jig for guiding and supporting the attachment of the implant to the bone on a three-dimensional model based on the reference image First acquisition means for acquiring jig information including at least one of:
Captured image acquisition means for sequentially acquiring captured images obtained by imaging the surface of the bone of the patient;
An estimation unit that compares the captured image sequentially acquired by the captured image acquisition unit with the reference image acquired by the first acquisition unit and estimates the posture of the bone in the captured image;
Based on the posture of the bone in the captured image estimated by the estimation unit and the jig information acquired by the first acquisition unit, the captured image sequentially acquired by the captured image acquisition unit First display control means for superimposing a first augmented reality image that virtually represents at least one of the orientation and position of the jig to be displayed on the display unit;
A surgical operation support terminal comprising: 前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第１取得手段により取得された前記治具情報とに基づいて、前記撮像画像内の前記骨に対する前記治具の向き及び位置のうちの少なくとも一方を特定する第１特定手段を更に備え、
前記第１表示制御手段は、前記第１特定手段により特定された前記治具の向き及び位置のうちの少なくとも一方を仮想的に表す前記第１拡張現実画像を前記撮像画像に重畳させて前記表示部に表示させることを特徴とする請求項１に記載の手術支援端末。 Based on the posture of the bone in the captured image estimated by the estimation unit and the jig information acquired by the first acquisition unit, the orientation of the jig relative to the bone in the captured image And a first specifying means for specifying at least one of the positions,
The first display control unit superimposes the first augmented reality image that virtually represents at least one of the orientation and the position of the jig specified by the first specifying unit on the captured image. The operation support terminal according to claim 1, wherein the operation support terminal is displayed on a part. 前記インプラントは、関節を構成する二つの骨のうち、一の骨に対応する人工関節構成部材を含み、
前記治具は、前記一の骨にその関節面側から刺入される髄内ロッドを含み、
前記第１表示制御手段は、前記第１特定手段により特定された前記髄内ロッドの向き及び当該髄内ロッドの刺入点の位置のうちの少なくとも一方を仮想的に表す前記第１拡張現実画像を前記撮像画像に重畳させて前記表示部に表示させることを特徴とする請求項２に記載の手術支援端末。 The implant includes an artificial joint component corresponding to one of two bones constituting the joint,
The jig includes an intramedullary rod inserted into the bone from the joint surface side,
The first display control means is the first augmented reality image that virtually represents at least one of the orientation of the intramedullary rod specified by the first specifying means and the position of the insertion point of the intramedullary rod. The operation support terminal according to claim 2, wherein the image is superimposed on the captured image and displayed on the display unit. 前記インプラントは、関節を構成する二つの骨のうち、一の骨に対応し、当該一の骨の骨切り後に取り付けられる人工関節構成部材を含み、
前記治具は、前記一の骨に取り付けられ、当該一の骨の骨切りを案内する骨切り案内部材を含み、
前記第１表示制御手段は、前記第１特定手段により特定された前記骨切り案内部材の向き及び位置のうちの少なくとも一方を仮想的に表す前記第１拡張現実画像を前記撮像画像に重畳させて前記表示部に表示させることを特徴とする請求項２に記載の手術支援端末。 The implant includes an artificial joint component corresponding to one of two bones constituting the joint and attached after osteotomy of the one bone,
The jig includes an osteotomy guide member that is attached to the bone and guides osteotomy of the bone.
The first display control unit superimposes the first augmented reality image that virtually represents at least one of the direction and position of the osteotomy guide member specified by the first specifying unit on the captured image. The operation support terminal according to claim 2, wherein the operation support terminal is displayed on the display unit. 患者の骨加工される予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対する一の骨加工の向き及び位置のうちの少なくとも一方を含む骨加工情報とを取得する第２取得手段と、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段と、
前記撮像画像取得手段により逐次取得された撮像画像と前記第２取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段と、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記一の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す第２拡張現実画像を重畳させて表示部に表示させる第２表示制御手段と、
を備えることを特徴とする手術支援端末。 Bone processing including at least one of a reference image related to a three-dimensional shape of a bone to be processed by a patient and a bone processing direction and position with respect to the bone on a three-dimensional model based on the reference image Second acquisition means for acquiring information;
Captured image acquisition means for sequentially acquiring captured images obtained by imaging the surface of the bone of the patient;
An estimation unit that compares the captured image sequentially acquired by the captured image acquisition unit with the reference image acquired by the second acquisition unit to estimate the posture of the bone in the captured image;
Based on the posture of the bone in the captured image estimated by the estimation unit and the bone processing information acquired by the second acquisition unit, the captured image sequentially acquired by the captured image acquisition unit A second display control unit that superimposes a second augmented reality image that virtually represents at least one of the direction and position of the one bone processing and displays the second augmented reality image on the display unit;
A surgical operation support terminal comprising: 前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像内の前記骨に対する前記一の骨加工の向き及び位置のうちの少なくとも一方を特定する第２特定手段を更に備え、
前記第２表示制御手段は、前記第２特定手段により特定された前記一の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す前記第２拡張現実画像を前記撮像画像に重畳させて前記表示部に表示させることを特徴とする請求項５に記載の手術支援端末。 Based on the posture of the bone in the captured image estimated by the estimation unit and the bone processing information acquired by the second acquisition unit, the one bone processing for the bone in the captured image Further comprising second specifying means for specifying at least one of the orientation and position of
The second display control unit superimposes the second augmented reality image virtually representing at least one of the direction and position of the one bone processing specified by the second specifying unit on the captured image. The operation support terminal according to claim 5, wherein the operation support terminal is displayed on the display unit. 前記基準画像は、前記第２取得手段により取得された前記骨加工情報に基づいて前記骨に対して仮想的に前記一の骨加工が施された状態の三次元形状に係る基準画像を含み、
前記撮像画像取得手段は、前記一の骨加工後の骨が撮像された撮像画像を逐次取得し、
前記推定手段は、前記撮像画像取得手段により逐次取得された撮像画像と前記第２取得手段により取得された基準画像とを照合して、前記撮像画像内での前記一の骨加工後の骨の姿勢を推定することを特徴とする請求項５又は６に記載の手術支援端末。 The reference image includes a reference image related to a three-dimensional shape in a state in which the one bone processing is virtually performed on the bone based on the bone processing information acquired by the second acquisition unit,
The captured image acquisition means sequentially acquires captured images obtained by imaging the bone after the one bone processing,
The estimation unit collates the captured image sequentially acquired by the captured image acquisition unit with the reference image acquired by the second acquisition unit, and calculates the bone after the one bone processing in the captured image. The surgery support terminal according to claim 5 or 6, wherein the posture is estimated. 前記骨加工情報は、前記基準画像に基づく三次元モデル上での前記一の骨加工後の骨に対するインプラントの取付けのための他の骨加工の向き及び位置のうちの少なくとも一方を含み、
前記第２表示制御手段は、更に、前記推定手段により推定された前記撮像画像内での前記一の骨加工後の骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記他の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す第３拡張現実画像を重畳させて前記表示部に表示させることを特徴とする請求項７に記載の手術支援端末。 The bone processing information includes at least one of another bone processing direction and position for attachment of an implant to the bone after the one bone processing on a three-dimensional model based on the reference image;
The second display control unit further includes a bone posture after the one bone processing in the captured image estimated by the estimation unit and the bone processing information acquired by the second acquisition unit. Based on this, the third augmented reality image that virtually represents at least one of the orientation and position of the other bone processing is superimposed on the captured image sequentially acquired by the captured image acquisition means and displayed on the display unit. The operation support terminal according to claim 7, wherein: 手術支援端末のコンピュータを、
患者のインプラントが取付けられる予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対するインプラントの取付けを案内支援するための治具の向き及び位置のうちの少なくとも一方を含む治具情報とを取得する第１取得手段、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段、
前記撮像画像取得手段により逐次取得された撮像画像と前記第１取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第１取得手段により取得された前記治具情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記治具の向き及び位置のうちの少なくとも一方を仮想的に表す第１拡張現実画像を重畳させて表示部に表示させる第１表示制御手段、
として機能させることを特徴とするプログラム。 The computer of the surgery support terminal
A reference image relating to a three-dimensional shape of a bone to which a patient's implant is to be attached, and a direction and a position of a jig for guiding and supporting the attachment of the implant to the bone on a three-dimensional model based on the reference image First acquisition means for acquiring jig information including at least one of
Captured image acquisition means for sequentially acquiring captured images obtained by imaging the surface of the bone of the patient;
An estimation unit that collates the captured image sequentially acquired by the captured image acquisition unit with the reference image acquired by the first acquisition unit, and estimates the posture of the bone in the captured image;
Based on the posture of the bone in the captured image estimated by the estimation unit and the jig information acquired by the first acquisition unit, the captured image sequentially acquired by the captured image acquisition unit First display control means for superimposing a first augmented reality image that virtually represents at least one of the orientation and position of the jig and displaying the first augmented reality image on the display unit;
A program characterized by functioning as 手術支援端末のコンピュータを、
患者の骨加工される予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対する一の骨加工の向き及び位置のうちの少なくとも一方を含む骨加工情報とを取得する第２取得手段、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段、
前記撮像画像取得手段により逐次取得された撮像画像と前記第２取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記一の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す第２拡張現実画像を重畳させて表示部に表示させる第２表示制御手段、
として機能させることを特徴とするプログラム。 The computer of the surgery support terminal
Bone processing including at least one of a reference image related to a three-dimensional shape of a bone to be processed by a patient and a bone processing direction and position with respect to the bone on a three-dimensional model based on the reference image Second acquisition means for acquiring information;
Captured image acquisition means for sequentially acquiring captured images obtained by imaging the surface of the bone of the patient;
An estimation unit that estimates the posture of the bone in the captured image by comparing the captured image sequentially acquired by the captured image acquisition unit with the reference image acquired by the second acquisition unit;
Based on the posture of the bone in the captured image estimated by the estimation unit and the bone processing information acquired by the second acquisition unit, the captured image sequentially acquired by the captured image acquisition unit A second display control means for superimposing a second augmented reality image that virtually represents at least one of the orientation and position of the one bone processing and displaying it on the display unit;
A program characterized by functioning as
JP2017178979A 2016-09-16 2017-09-19 Surgery support terminals and programs Active JP7012302B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016197589 2016-09-16
JP2016197589 2016-09-16

Publications (2)

Publication Number Publication Date
JP2018047240A true JP2018047240A (en) 2018-03-29
JP7012302B2 JP7012302B2 (en) 2022-01-28

Family

ID=61767079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017178979A Active JP7012302B2 (en) 2016-09-16 2017-09-19 Surgery support terminals and programs

Country Status (1)

Country Link
JP (1) JP7012302B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019208737A (en) * 2018-06-01 2019-12-12 インテリジェンスファクトリー合同会社 Surgery support marker and surgery support system
WO2020217591A1 (en) * 2019-04-25 2020-10-29 株式会社Ｎｔｔドコモ Image processing system showing jig arrangement
JP2021019967A (en) * 2019-07-30 2021-02-18 春仁 上園 Augmented reality information display method, surgical operation support device, and program
JP2022517132A (en) * 2019-01-23 2022-03-04 プロプリオ インコーポレイテッド Alignment of preoperative scan images to real-time surgical images to the mediated reality view of the surgical site
US11998401B2 (en) 2022-05-13 2024-06-04 Proprio, Inc. Aligning pre-operative scan images to real-time operative images for a mediated-reality view of a surgical site

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036700A (en) * 2012-08-10 2014-02-27 Arthro Design Kk Navigation device for joint replacement operation, and operation assistance apparatus
WO2014200017A1 (en) * 2013-06-11 2014-12-18 Tanji Atsushi Bone cutting assistance system, information processing device, image processing method, and image processing program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036700A (en) * 2012-08-10 2014-02-27 Arthro Design Kk Navigation device for joint replacement operation, and operation assistance apparatus
WO2014200017A1 (en) * 2013-06-11 2014-12-18 Tanji Atsushi Bone cutting assistance system, information processing device, image processing method, and image processing program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019208737A (en) * 2018-06-01 2019-12-12 インテリジェンスファクトリー合同会社 Surgery support marker and surgery support system
JP2022517132A (en) * 2019-01-23 2022-03-04 プロプリオ インコーポレイテッド Alignment of preoperative scan images to real-time surgical images to the mediated reality view of the surgical site
US11376096B2 (en) 2019-01-23 2022-07-05 Proprio, Inc. Aligning pre-operative scan images to real-time operative images for a mediated-reality view of a surgical site
WO2020217591A1 (en) * 2019-04-25 2020-10-29 株式会社Ｎｔｔドコモ Image processing system showing jig arrangement
CN112424838A (en) * 2019-04-25 2021-02-26 株式会社Ntt都科摩 Image processing system showing arrangement of jig
JPWO2020217591A1 (en) * 2019-04-25 2021-06-03 株式会社Ｎｔｔドコモ Video processing system showing the arrangement of jigs
JP7066013B2 (en) 2019-04-25 2022-05-12 株式会社Ｎｔｔドコモ Video processing system showing the arrangement of jigs
CN112424838B (en) * 2019-04-25 2023-11-21 株式会社Ntt都科摩 Image processing system showing configuration of jig
JP2021019967A (en) * 2019-07-30 2021-02-18 春仁 上園 Augmented reality information display method, surgical operation support device, and program
US11998401B2 (en) 2022-05-13 2024-06-04 Proprio, Inc. Aligning pre-operative scan images to real-time operative images for a mediated-reality view of a surgical site

Also Published As

Publication number Publication date
JP7012302B2 (en) 2022-01-28

Similar Documents

Publication Publication Date Title
JP7071479B2 (en) Ultra-wideband positioning for wireless ultrasound tracking and communication
CN111031954B (en) Sensory enhancement system and method for use in medical procedures
JP2022133440A (en) Systems and methods for augmented reality display in navigated surgeries
US8706197B2 (en) Planning method and planning device for knee implants
US11219486B2 (en) Method for implanting a hip prosthesis and related system
JP2020075109A (en) System and method for in-surgery image analysis
US20160287337A1 (en) Orthopaedic surgical system and method for patient-specific surgical procedure
JP7012302B2 (en) Surgery support terminals and programs
US10376318B2 (en) Surgical assistance apparatus, program, storage medium, and surgical assistance method
WO2016154557A1 (en) Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
JP2015516228A (en) Portable tracking system, method using portable tracking system
JP6823665B2 (en) Surgical support system
US20230013210A1 (en) Robotic revision knee arthroplasty virtual reconstruction system
US20230068971A1 (en) Fluoroscopic robotic prosthetic implant system and methods
US20230109015A1 (en) Surgical impactor navigation systems and methods
Pflugi et al. A cost-effective navigation system for peri-acetabular osteotomy surgery
JP2021019967A (en) Augmented reality information display method, surgical operation support device, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200826

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200826

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210625

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220107

R150 Certificate of patent or registration of utility model

Ref document number: 7012302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150