KR20170056115A - Tracker and marker location guide apparatus and method for orthopedic surgical robot system - Google Patents

Tracker and marker location guide apparatus and method for orthopedic surgical robot system Download PDF

Info

Publication number
KR20170056115A
KR20170056115A KR1020150159277A KR20150159277A KR20170056115A KR 20170056115 A KR20170056115 A KR 20170056115A KR 1020150159277 A KR1020150159277 A KR 1020150159277A KR 20150159277 A KR20150159277 A KR 20150159277A KR 20170056115 A KR20170056115 A KR 20170056115A
Authority
KR
South Korea
Prior art keywords
marker
stereo camera
area
infrared stereo
tracker
Prior art date
Application number
KR1020150159277A
Other languages
Korean (ko)
Other versions
KR102418370B1 (en
Inventor
이상훈
우동기
Original Assignee
현대중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대중공업 주식회사 filed Critical 현대중공업 주식회사
Priority to KR1020150159277A priority Critical patent/KR102418370B1/en
Publication of KR20170056115A publication Critical patent/KR20170056115A/en
Application granted granted Critical
Publication of KR102418370B1 publication Critical patent/KR102418370B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • A61B2090/3979—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active infrared
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Manipulator (AREA)

Abstract

The present invention relates to a tracker and marker location guide apparatus which can check if markers are located inside a valid area for tracking the locations of the marker, and can move the locations of a tracker or the markers to optimum locations when the markers get out of a valid tracking area or if there is a possibility of the marker getting out of the valid tracking area. The tracker and marker location guide apparatus for an orthopedic surgical robot system according to the present invention includes a marker location determining part which photographs an optical marker attached to affected areas or a surgical robot, and determines if the locations of a far infrared stereo camera detecting the location of the marker in a three-dimensional space and the marker detected by the far infrared stereo camera are within the valid tracking area.

Description

정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치 및 그 방법{Tracker and marker location guide apparatus and method for orthopedic surgical robot system}[0001] The present invention relates to a tracker and marker position guiding apparatus and method for orthopedic surgical robot system,

본 발명은 정형외과 수술로봇 시스템에 있어서, 트래커 및 마커의 위치를 가이드하는 기술에 관한 것으로, 더 상세하게는 마커의 위치를 트래킹할 수 있는 유효 영역 내에 마커들이 위치하는지 확인하고, 마커가트래킹 유효 영역을 벗어나거나 트래킹 유효 영역을 벗어날 위험이 있는 경우, 트래커 또는 마커의 위치를 최적의 위치로 이동시킬 수 있는 트래커 및 마커 위치 가이드 장치에 관한 것이다. The present invention relates to a technique for guiding the position of a tracker and a marker in an orthopedic surgical robot system, and more particularly, to check whether markers are positioned in an effective area capable of tracking the position of the marker, To a tracker and marker position guide device capable of moving a position of a tracker or a marker to an optimal position when there is a danger of moving out of the area or out of a tracking effective area.

최근 의학 기술의 발달로 로봇과 컴퓨터 시스템을 이용한 네비게이션 수술이 활발히 도입되고 있으며, 인공 관절 수술 분야에서도 이러한 수술이 적용되고 있다. With the recent advances in medical technology, navigation systems using robots and computer systems are actively being introduced, and such operations are also being applied in artificial joint surgery.

무릎 관절의 경우, 외상이나 여러 가지 감염, 질환에 의한 통증 및 행동 장애가 오면 정형외과적 수술을 통해 관절 전체나 부분에 치환술을 사용하여 치료를 하며, 이중 약 10~30%의 환자들은 무릎 내측 조인트의 마모가 오게 되어 무릎관절 부분치환수술을 시행한다. 이러한 정형외과 관절 수술에 쓰이는 로봇의 일예로, 로보닥(ROBODOC)의 일종이며, 자율 구동되는 캐드/캠(CAD/CAM) 로봇을 들 수 있다. In the case of knee joints, trauma, various infections, pain and behavioral problems caused by the disease, orthopedic surgery is used to treat all or part of the joints, and about 10 to 30% of patients are treated with knee joint And wear of the knee joint is performed. An example of a robot used for such orthopedic joint surgery is a CAD / CAM robot, which is a type of ROBODOC and is driven autonomously.

이러한 정형외과 수술로봇은 미리 계획된 경로를 따라 뼈를 절삭해냄에 따라 절삭 중에 뼈가 움직이지 않도록 하는 것이 바람직하다. 종래 정형외과 수술로봇을 이용한 무릎 관절 수술을 진행 시, 대한민국 등록특허 공보 제10-1154100호(2012. 05. 31)에 기재된 바와 같이, 광학식 마커를 장착하고, 네비게이터의 광학센서로 광학식 마커의 위치와 자세를 트래킹하여, 수술 상황을 모니터링하고, 정확한 수술 부위에 수술로봇을 투입하게 된다.Such an orthopedic surgical robot preferably cuts the bone along a predetermined path so that the bone does not move during cutting. When performing a knee joint operation using a conventional orthopedic surgery robot, an optical marker is mounted as described in Korean Patent Registration No. 10-1154100 (May 31, 2012), and the optical marker of the navigator is moved to the position And the posture are monitored, the surgical situation is monitored, and the surgical robot is put into the precise surgical site.

종래 정형외과 수술로봇 시스템에 있어서, 수술 준비 시, 광학식 마커를 감지하는 적외선 스테레오 카메라의 중앙에 장착된 레이저 포인터를 구동한 후,시술자가 레이저 포인터를 기준으로 광학식 마커의 거리를 하여, 광학식 마커의 위치를 임의로 조정함에 따라 실제 수술 과정에서 광학식 마커가 이동 시, 적외선 스테레오 카메라의 촬영 범위에서 벗어나거나 트래킹 영역에서 벗어날 수 있으며, 이러한 경우, 수술 중단이 불가피한 문제점이 발생한다.In the conventional orthopedic surgery robot system, after preparation of a surgical operation, a laser pointer mounted at the center of an infrared stereo camera for sensing an optical marker is driven, and the operator then sets the distance of the optical marker based on the laser pointer, When the optical marker is moved during the actual operation, it may be out of the imaging range of the infrared stereo camera or may be out of the tracking area by arbitrarily adjusting the position. In such a case, the operation is interrupted inevitably.

대한민국 등록특허 공보 10-1154100B, 2012. 05. 31, 10쪽 내지 11쪽.Korean Patent Registration No. 10-1154100B, 2012. 05. 31, pp. 10-11.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치 및 그 방법의 목적은 정형외과 수술을 준비 시, 마커의 위치를 감지하여, 감지되지 않은 마커가 존재하거나 감지된 마커의 위치가 트래킹 유효 영역을 벗어나는 경우, 마커 또는 적외선 스테레오 카메라의 위치를 조정할 수 있는 장치를 제공하는데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a tracker and marker position guiding apparatus and method for an orthopedic surgical robot system according to the present invention, And the position of the marker or the infrared stereo camera can be adjusted when the position of the detected marker is out of the tracking effective area.

본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치는 환부 주변 및 수술로봇에 부착된 마커를 촬영하여, 3차원 공간 상의 마커의 위치를 감지하는 적외선 스테레오 카메라 및 상기 적외선 스테레오 카메라에서 감지된 마커의 위치가 트래킹 유효 영역에 포함되어 있는지 여부를 판단하는 마커위치판단부를 포함하는 것을 특징으로 한다.The tracker and marker position guiding device of the orthopedic surgical robot system according to the present invention is a device for detecting the position of a marker on a three-dimensional space by photographing a marker attached to a periphery of the affected part and a surgical robot, And a marker position determination unit for determining whether the position of the marker is included in the tracking effective area.

또한, 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 방법은 (a) 유효영역 설정부를 이용하여, 적외선 스테레오 카메라의 마커트래킹 유효 영역을 설정하는 단계, (b) 적외선 스테레오 카메라를 이용하여, 환부 주변 및 수술로봇에 부착된 마커를 촬영하여, 3차원 공간 상의 마커의 위치를 감지하는 단계 및 (c) 마커위치판단부를 이용하여, 상기 (b) 단계에서 감지된 마커의 위치가 트래킹 유효 영역에 포함되어 있는지 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.The tracker and marker position guiding method of the orthopedic surgical robot system according to the present invention includes the steps of (a) setting a marker tracking effective area of an infrared stereo camera using an effective area setting unit, (b) using an infrared stereo camera (C) detecting a position of the marker detected in the step (b) by using a marker position determination unit; and detecting a position of the marker detected in the step And judging whether or not it is included in the valid area.

본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치 및 그 방법은 정형외과 수술을 준비 시, 마커의 위치를 감지하여, 감지되지 않은 마커가 존재하거나 감지된 마커의 위치가 트래킹 유효 영역을 벗어나는 경우, 마커 또는 적외선 스테레오 카메라의 위치 조정 값을 제공하여, 정형외과 수술 중에도 마커의 위치를 안정적으로 트래킹할 수 있는 효과가 있다.The tracker and marker position guiding apparatus and method of the orthopedic surgical robot system according to the present invention detect the position of the marker when preparing the orthopedic surgery and determine whether the position of the detected marker exists in the tracking effective area It is possible to stably track the position of the marker even during the orthopedic surgery by providing the position adjustment value of the marker or the infrared stereo camera.

도 1은 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치의 전체 구성을 나타내는 구성도.
도 2는 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치에 있어서, 마커 촬영 및 촬영된 마커의 표시 상태를 나타내는 개념도.
도 3은 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치에 있어서, 트래킹 유효 영역을 벗어난 마커의 상태를 나타내는 도면.
도 4는 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치에 있어서, 트래킹 유효 영역을 나타내는 개념도.
도 5는 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치에 있어서, 트래킹 유효 영역을 벗어난 마커가 존재하는 경우의 일실시예 도면.
도 6은 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치에 있어서, 마커의 움직임 영역이 트래킹 유효 영역을 벗어난 경우의 일실시예 도면.
도 7은 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 방법의 전체 흐름을 나타내는 흐름도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing the overall configuration of a tracker and marker position guiding device of an orthopedic surgical robot system according to the present invention; FIG.
FIG. 2 is a conceptual diagram showing a marker photographing and a display state of a photographed marker in a tracker and marker position guiding device of an orthopedic surgery robot system according to the present invention. FIG.
3 is a view showing a state of a marker out of a tracking effective region in a tracker and marker position guiding apparatus of an orthopedic surgery robot system according to the present invention.
4 is a conceptual view showing a tracking effective area in a tracker and marker position guiding device of an orthopedic surgery robot system according to the present invention.
FIG. 5 is an embodiment of a tracker and marker position guiding apparatus of an orthopedic surgical robot system according to the present invention in the case where a marker is out of the tracking effective area. FIG.
FIG. 6 is a view of an embodiment of a tracker and marker position guiding device of an orthopedic surgery robot system according to the present invention, in which the movement area of the marker is out of the tracking effective area. FIG.
Figure 7 is a flow diagram illustrating the overall flow of a tracker and marker position guiding method of an orthopedic surgical robot system in accordance with the present invention.

이하, 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치 및 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.Hereinafter, a detailed description will be made of a device and method for locating a tracker and a marker of an orthopedic surgical robot system according to the present invention.

도 1은 본 발명에 따른 정형외과 수술로봇 시스템의 따른트래커 및 마커 위치 가이드 장치구성도를 나타내는 도면으로, 적외선 스테레오 카메라(10), 마커상태표시부(20), 유효영역 설정부(30), 마커위치판단부(40), 위치 조정부(50) 및 디스플레이부(60)을 포함한다.FIG. 1 is a block diagram of a tracker and marker position guide apparatus according to an orthopedic surgery robot system according to the present invention. The infrared stereo camera 10 includes a marker state display unit 20, an effective area setting unit 30, A position determination unit 40, a position adjustment unit 50, and a display unit 60.

상기 적외선 스테레오 카메라(10)는 환부 주변 및 수술로봇에 부착된 광학식 마커(M)를 촬영하여, 3차원 공간 상의 마커(M)의 위치를 감지하며, 감지 영역 내에 모든 마커를 촬영한 후, 삼각 측량 기법을 적용하여, 카메라 좌표계(ΣOTS) 기준의 3차원 마커 위치를 실시간으로 감시할 수 있다.The infrared stereo camera 10 photographs an optical marker M attached to the periphery of the affected area and the surgical robot to detect the position of the marker M in the three dimensional space and shoots all the markers in the detection area, By applying the surveying technique, the position of the 3D marker based on the camera coordinate system (Σ OTS ) can be monitored in real time.

상기 마커상태표시부(20)는 상기 적외선 스테레오 카메라(10)와 연결되어,도 2에 도시된 바와 같이, 적외선 스테레오 카메라(10) 기준의 마커(M)의 감지 영역과 상기 마커(M)의감지 상태를 표시하며, 상기 마커(M)가 복수 개로 형성될 경우, 각 마커의 감지 여부를 표시하는 장치로 구현되어, 외부에서 감지되지 않는 개별 마커를 식별하도록 하는 것이 바람직하다.2, the marker state display unit 20 is connected to the infrared stereo camera 10 and detects the marker region M of the infrared stereo camera 10 and the sensing region of the marker M And when the marker M is formed in a plurality of markers, it is preferable that the markers are detected by the device for identifying the individual markers that are not detected from the outside.

상기 유효영역 설정부(30)는, 상기 적외선 스테레오 카메라(10)의 트래킹 유효 영역을 설정하며, 본 발명에 있어서, 상기 트래킹 유효 영역(7)은 상기 적외선 스테레오 카메라(10)의 감지 영역(5) 내에서 마커들을 안정적을 트래킹할 수 있는 공간 영역으로 정의되며, 수술 부위, 수술 종류 및 수술장 환경에 따라 상기 트래킹 유효 영역(7)은 가변 설정이 가능하도록 하는 것이 바람직하다.The effective area setting unit 30 sets the tracking effective area of the infrared stereo camera 10 and the tracking effective area 7 is set in the sensing area 5 of the infrared stereo camera 10 The tracking effective area 7 may be variable depending on a surgical site, an operation type, and a surgical field environment.

상기 마커위치판단부(40)는 상기 적외선 스테레오 카메라(10)에서 감지된 마커의 위치가 트래킹 유효 영역(7)에 포함되어 있는지 여부를 판단하며, 본 발명에 따른 상기 마커위치판단부(40)는 도 3에 도시된 바와 같이, 상기 마커(M)가상기 적외선 스테레오 카메라(10)의 감지 영역(5)에 위치하더라도 상기 트래킹 유효 영역(7)에서 벗어난 경우, 마커 또는 적외선 스테레오 카메라의 위치 조정을 위한 가이드 정보를 제공한다. The marker position determination unit 40 determines whether or not the position of the marker detected by the infrared stereo camera 10 is included in the tracking effective region 7 and the marker position determination unit 40 according to the present invention, As shown in FIG. 3, when the marker M is out of the tracking effective area 7 even though it is located in the sensing area 5 of the infrared stereo camera 10, the position of the marker or the infrared stereo camera Provide guide information for.

또한, 본 발명에 따른 상기 마커위치판단부(40)는 각 마커별로 수술 중 예상되는 움직임 영역(9)을 산출하여, 움직임 영역(9)이 상기 감지영역(5)을 벗어날 경우, 해당 마커는 상기 트래킹 유효 영역(7)에 위치하지 않는 것으로 판단한다.In addition, the marker position determination unit 40 according to the present invention calculates a predicted motion region 9 during each operation of the marker, and when the motion region 9 leaves the sensing region 5, Is not located in the tracking effective area (7).

더불어, 특수한 경우이지만 마커의움직임 영역이 0일 경우도 있는데 이 경우, 본 발명에 따른 상기 마커위치판단부(40)는 상기 트래킹유효 영역(7)에 위치한 마커를 한정적으로 판단한다.In this case, the marker position determination unit 40 according to the present invention determines the markers located in the tracking effective region 7 in a limited manner.

도 4는 본 발명에 있어서, 복수 개의 마커 위치를 판단하는 제1실시예로, 본 발명의 실시예에서 상기마커(M)는 중심점을 기준으로 서로 다른 방향의 가지 형태의 바(bar) 3개 또는 4개가 형성되고, 상기 바의 단부에는 각각 고반사의볼마커가 형성되도록 하였으며, 환자(10)의 수술 부위와 인접한 곳에 장착된 제1마커(M1) 및 제2마커(M2)와 정형외과 수술로봇(3)의 일측에 장착된 제3마커(M3)를 포함한다.FIG. 4 shows a first embodiment for determining a plurality of marker positions according to an embodiment of the present invention. In the embodiment of the present invention, the marker M has three branch bars in different directions The first marker M1 and the second marker M2 mounted adjacent to the surgical site of the patient 10 and the second marker M2 and the second marker M2 are mounted on the end of the bar, And a third marker M3 mounted on one side of the robot 3. [

이러한 본 발명에 따른 제1실시예에서는 상기 제1마커(M1) 내지 상기 제3마커(M3) 모두 상기 감지 영역(5) 내에 위치하며 상기 제1마커(M1) 내지 상기 제3마커(M3) 모두 상기 트래킹 유효 영역(7)에 포함되어 있는 것으로 판단할 수 있다.In the first embodiment of the present invention, both the first marker M1 to the third marker M3 are positioned within the sensing area 5 and the first marker M1 to the third marker M3 It can be judged that all of them are included in the tracking effective area 7.

도 5는 본 발명에 있어서, 복수 개의 마커 위치를 판단하는 제2실시예로 상기 제1마커(M1) 및 제2마커(M)는 상기 트래킹 유효 영역(7)에 포함되어 있으나, 상기 제3마커(M3)의 경우, 상기 감지 영역(5) 내에 위치하지만 상기 트래킹 유효 영역(7)에는 포함되어 있지 않으므로, 제3마커(M3) 또는 상기적외선 스테레오 카메라(10)의 위치 조정을 위한 가이드 정보가 필요한 상태이다.FIG. 5 is a diagram illustrating a second embodiment for determining a plurality of marker positions in the present invention. The first marker M1 and the second marker M are included in the tracking effective area 7, In the case of the marker M3, since it is located in the sensing area 5 but is not included in the tracking effective area 7, guide information for adjusting the position of the third marker M3 or the infrared stereo camera 10 Is required.

도 6은 본 발명에 있어서, 복수 개의 마커 위치를 판단하는 제3실시예로, 상기 제1마커(M1) 내지 상기 제3마커(M3) 모두 상기 감지 영역(5) 내에 위치하며 상기 제1마커(M1) 내지 상기 제3마커(M3) 모두 상기 트래킹 유효 영역(7)에 포함되어 있지만 제3마커(M3)의 움직임 영역(9) 일부가 상기 감지 영역(5)을 벗어남에 따라, 본 발명에 따른 상기 마커위치판단부(40)는 제3마커(M3)가 상기 트래킹 유효 영역(7)에 위치하지 않는 것으로 판단할 수 있는 것이다. 6 is a diagram illustrating a third embodiment in which a plurality of marker positions are determined in the present invention. The first marker M1 to the third marker M3 are all located within the sensing area 5, The first marker M1 and the third marker M3 are included in the tracking effective area 7 but a part of the movement area 9 of the third marker M3 is out of the sensing area 5, The marker position determination unit 40 may determine that the third marker M3 is not located in the tracking effective area 7. [

상기 위치 조정부(50)는 상기 마커위치 판단부의 판단 결과에 따라 마커 또는 적외선 스테레오 카메라의 위치 조정 신호를 생성하며, 상기 트래킹 유효 영역(7)을 벗어난 마커의좌표점을 기준으로 해당 마커 또는 상기 적외선 스테레오 카메라의 이동 거리 및 방향 정보를 포함한 최종 위치 조정 값을 산출한다.The position adjustment unit 50 generates a position adjustment signal of a marker or an infrared stereo camera according to the determination result of the marker position determination unit 50 and generates a position adjustment signal of the marker or the infrared ray camera based on the coordinate point of the marker, The final position adjustment value including the moving distance and the direction information of the stereo camera is calculated.

상기 디스플레이부(60)는 상기 위치 조정부(50)와 연결되어, 감지된 마커의 위치와 마커 또는 적외선 스테레오 카메라의 최종 위치 조정 값을 표시한다.The display unit 60 is connected to the position adjusting unit 50 to display the position of the detected marker and the final position adjustment value of the marker or the infrared stereo camera.

이러한 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치의 트래커 및 마커 위치 가이드 방법을 설명하면 다음과 같다.The tracker and marker position guiding method of the tracker and marker position guiding device of the orthopedic surgical robot system according to the present invention will now be described.

도 7은 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 방법의 전체 흐름을 나타내는 도면으로, 먼저 유효영역 설정부(30)를 이용하여, 적외선 스테레오 카메라의 마커트래킹 유효 영역을 설정하는 단계(S10)를 수행하며, 본 발명에 따른 상기 S10 단계는 상기 적외선 스테레오 카메라(10)의 감지 영역(5) 내에서 마커들을 안정적을 트래킹할 수 있는 트래킹 유효 영역(7)을 설정하는 단계이며, 수술 부위, 수술 종류 및 수술장 환경에 따라 트래킹 유효 영역(7)은 조정이 가능하다.FIG. 7 is a flowchart showing an entire flow of a method for locating a tracker and a marker of an orthopedic surgical robot system according to the present invention. First, using the effective region setting unit 30, a marker tracking effective region of an infrared stereo camera is set The step S10 of the present invention is a step of setting a tracking effective area 7 capable of stably tracking markers within the sensing area 5 of the infrared stereo camera 10 (7) can be adjusted depending on the operation site, operation type, and surgical field environment.

다음으로, 상기 적외선 스테레오 카메라(10)를 이용하여, 환부 주변 및 수술로봇에 부착된 광학식 마커(M1~M3)를 촬영하여, 3차원 공간 상의 마커의 위치를 감지하는 단계(S20)를 수행하고, 감지되지 않은 마커가 존재하는지 여부를 판단하는 단계(S30)를 수행하고, 상기 S30 단계에서 감지되지 않은 마커가 존재하는 경우, 해당 마커 정보를 상기 마커위치판단부(40)에 전달하거나 감지되지 않은 마커의 위치 정보를 임의로 설정하는 단계(S40)를 수행한다.Next, the infrared stereoscopic camera 10 is used to photograph the optical markers M1 to M3 attached to the periphery of the affected area and the surgical robot to detect the position of the marker on the three-dimensional space (S20) (S30). If there is a marker not detected in the step S30, the marker position determiner 40 transmits the marker information to the marker position determiner 40, (S40) of arbitrarily setting the position information of the non-markers.

다음으로, 마커위치판단부(40)를 이용하여, 상기 S20 단계에서 감지된 마커들(M1~M3)의 위치가 트래킹 유효 영역에 포함되어 있는지 여부를 판단하는 단계(S50)를 수행하고, 상기 S50 단계에서 감지된 마커들(M1~M3)의 위치가 트래킹 유효 영역에 포함되지 않은 경우, 상기 위치 조정부(50)를 이용하여, 적외선 스테레오 카메라의 위치 조정 신호를 생성하는 단계(S70)를 수행한다.Next, using the marker position determination unit 40, it is determined whether or not the positions of the markers M1 to M3 sensed in step S20 are included in the tracking effective area (S50) If the position of the markers M1 to M3 detected in step S50 is not included in the tracking effective area, a step S70 of generating a position adjustment signal of the infrared stereo camera using the position adjustment unit 50 is performed do.

본 발명에 있어서, 상기 S70 단계는 트래킹 유효 영역을 벗어난 마커의좌표점을 기준으로 해당 마커 또는 적외선 스테레오 카메라의 이동 거리 및 방향 정보를 포함한 최종 위치 조정 값을 산출하는 단계를 말한다.In the present invention, step S70 is a step of calculating a final position adjustment value including the movement distance and the direction information of the marker or the infrared stereo camera based on the coordinate point of the marker out of the tracking effective area.

또한, 상기 S50 단계에서 감지된 마커들(M1~M3)의 위치가 트래킹 유효 영역에 포함된 것으로 판단될 경우, 각 마커들(M1~M3)의 움직임 영역을 생성하여 상기 움직임 영역이 감지 영역에 포함되는지 여부를 판단하고, 상기 S60 단계에서 적어도 하나 이상의 마커 움직임 영역이 감지 영역에 포함되지 않는 것으로 판단될 경우, 해당 마커의좌표점을 기준으로 해당 마커 또는 적외선 스테레오 카메라의 이동 거리 및 방향 정보를 포함한 최종 위치 조정 값을 산출하는 단계(S70)를 수행 후, 위치 조정 정보를 상기 디스플레이부(60)에 표시하는 단계를 수행한다.If it is determined that the positions of the markers M1 to M3 detected in step S50 are included in the tracking valid area, a motion area of each of the markers M1 to M3 is generated, In step S60, when it is determined that at least one marker movement area is not included in the detection area, the movement distance and the direction information of the marker or the infrared stereo camera are determined based on the coordinate point of the marker. (S70), and then displays the position adjustment information on the display unit (60).

또한, 상기 S60 단계에서 모든 마커들(M1~M3)의 움직임 영역이 감지 영역에 포함된 것으로 판단되는 경우, 마커들의 감지 상태를 상기 디스플레이부(60)에 표시하는 단계(S70)를 수행한다.If it is determined in step S60 that the motion area of all of the markers M1 to M3 is included in the detection area, step S70 of displaying the detection status of the markers on the display unit 60 is performed.

이상에서 설명한 바와 같이, 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치 및 그 방법을 적용하면 정형외과 수술을 준비 시, 마커의 위치를 감지하여, 감지되지 않은 마커가 존재하거나 감지된 마커의 위치가 트래킹 유효 영역을 벗어나는 경우, 마커 또는 적외선 스테레오 카메라의 위치 조정 값을 제공하여, 정형외과 수술 중에도 마커의 위치를 안정적으로 트래킹하도록 하는 효과를 누릴 수 있다.As described above, when the tracker and marker position guiding device and method of the orthopedic surgical robot system according to the present invention is applied, when the orthopedic surgery is prepared, the position of the marker is detected, It is possible to provide the position adjustment value of the marker or the infrared stereo camera when the position of the marker is out of the tracking effective area so that the position of the marker can be stably tracked during the orthopedic surgery.

이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 본 발명에 따른 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치 및 방법으로 구현할 수 있다. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the inventions. Apparatus and method.

M :마커
M1 : 제1마커
M2 : 제2마커
M3 : 제3마커
1 : 환자
3 : 정형외과 수술로봇
5 : 감지 영역
7 :트래킹 유효 영역
9 : 움직임 영역
10 :적외선 스테레오 카메라
20 :마커상태표시부
30 : 유효영역 설정부
40 :마커위치판단부
50 : 위치 조정부
60 :디스플레이부M: Marker
M1: 1st marker
M2: Second marker
M3: Third marker
1: patient
3: Orthopedic surgery robot
5: detection area
7: tracking effective area
9: Motion area
10: Infrared stereo camera
20: Marker status indicator
30: Effective area setting unit
40: Marker position determination unit
50:
60:

Claims (10)

환부 주변 및 수술로봇에 부착된 광학식 마커를 촬영하여, 3차원 공간 상의 마커의 위치를 감지하는 적외선 스테레오 카메라 및
상기 적외선 스테레오 카메라에서 감지된 마커의 위치가 트래킹 유효 영역에 포함되어 있는지 여부를 판단하는 마커위치판단부를 포함하는 것을 특징으로 하는 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치.
An infrared stereo camera for photographing an optical marker attached to the periphery of the affected part and the surgical robot to detect the position of the marker in the three-dimensional space,
And a marker position determination unit for determining whether a position of a marker detected by the infrared stereo camera is included in a tracking effective area.
제1항에 있어서,
상기 마커위치 판단부의 판단 결과에 따라 마커 또는 적외선 스테레오 카메라의 위치 조정 신호를 생성하는 위치 조정부를 더 포함하는 것을 특징으로 하는 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치.
The method according to claim 1,
Further comprising a position adjuster for generating a position adjusting signal of a marker or an infrared stereo camera according to a result of the determination by the marker position determiner.
제2항에 있어서,
상기 위치 조정부는
상기 트래킹 유효 영역을 벗어난 마커의좌표점을 기준으로 해당 마커 또는 상기 적외선 스테레오 카메라의 이동 거리 및 방향 정보를 포함한 최종 위치 조정 값을 산출하는 것을 특징으로 하는 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치.
3. The method of claim 2,
The position-
And a final position adjustment value including a movement distance and direction information of the marker or the infrared stereo camera is calculated based on a coordinate point of a marker out of the tracking effective region. Device.
제1항에 있어서,
상기 마커위치판단부와 연결되어, 상기 트래킹 유효 영역을 설정하는 유효영역 설정부를 더 포함하는 것을 특징으로 하는 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치.
The method according to claim 1,
Further comprising a valid area setting unit connected to the marker position determining unit to set the tracking valid area. ≪ Desc / Clms Page number 19 >
제1항에 있어서,
상기 적외선 스테레오 카메라와 연결되어, 마커별 감지 상태를 표시하는 마커상태표시부를 더 포함하는 것을 특징으로 하는 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치.
The method according to claim 1,
Further comprising a marker status display unit connected to the infrared stereo camera and configured to display a sensing status of each marker.
제3항에 있어서,
상기 위치 조정부와 연결되어, 감지된 마커의 위치와 적외선 스테레오 카메라의 최종 위치 조정 값을 표시하는 디스플레이부를 더 포함하는 것을 특징으로 하는 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치.
The method of claim 3,
And a display unit connected to the position adjusting unit to display a position of the detected marker and a final position adjustment value of the infrared stereo camera.
(a) 유효영역 설정부를 이용하여, 적외선 스테레오 카메라의 마커트래킹 유효 영역을 설정하는 단계;
(b) 적외선 스테레오 카메라를 이용하여, 환부 주변 및 수술로봇에 부착된 광학식 마커를 촬영하여, 3차원 공간 상의 마커의 위치를 감지하는 단계 및
(c) 마커위치판단부를 이용하여, 상기 (b) 단계에서 감지된 마커의 위치 또는 마커의 움직임 영역이 감지 영역에 포함되어 있는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 방법.
(a) setting a marker tracking effective area of an infrared stereo camera using an effective area setting unit;
(b) photographing an optical marker attached to the periphery of the affected area and the surgical robot using an infrared stereo camera to detect the position of the marker on the three-dimensional space, and
(c) using the marker position determination unit, determining whether the marker position detected in step (b) or the motion area of the marker is included in the sensing area Of the tracker and marker position guide.
제7항에 있어서,
상기 (c) 단계 이전에,
(d) 마커위치판단부를 이용하여, 감지되지 않은 마커가 있는지 여부를 확인하는 단계를 더 포함하는 것을 특징으로 하는 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 방법.
8. The method of claim 7,
Prior to step (c)
(d) using the marker position determination unit to determine whether or not there is an unrecognized marker. < Desc / Clms Page number 13 >
제7항에 있어서,
상기 (c) 단계에서 적어도 하나 이상의 마커의 위치 또는 마커의 움직임 영역이 감지 영역에서 벗어난 것으로 판단되는 경우,
(e) 위치 조정부를 이용하여, 해당 마커 또는 적외선 스테레오 카메라의 위치 조정 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 방법.
8. The method of claim 7,
If it is determined in step (c) that the position of at least one marker or the movement area of the marker is deviated from the sensing area,
(e) generating a position adjustment signal of the marker or the infrared stereo camera using the position adjustment unit.
제8항에 있어서,
상기 (d) 단계는,
감지 영역을 벗어난 마커의 좌표점을 기준으로 해당 마커 또는 적외선 스테레오 카메라의 이동 거리 및 방향 정보를 포함한 최종 위치 조정 값을 산출하는 단계인 것을 특징으로 하는 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 방법.9. The method of claim 8,
The step (d)
And calculating a final position adjustment value including the movement distance and the direction information of the marker or the infrared stereo camera based on the coordinate point of the marker outside the detection area. .
KR1020150159277A 2015-11-13 2015-11-13 Tracker and marker location guide apparatus and method for orthopedic surgical robot system KR102418370B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150159277A KR102418370B1 (en) 2015-11-13 2015-11-13 Tracker and marker location guide apparatus and method for orthopedic surgical robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150159277A KR102418370B1 (en) 2015-11-13 2015-11-13 Tracker and marker location guide apparatus and method for orthopedic surgical robot system

Publications (2)

Publication Number Publication Date
KR20170056115A true KR20170056115A (en) 2017-05-23
KR102418370B1 KR102418370B1 (en) 2022-07-08

Family

ID=59050474

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150159277A KR102418370B1 (en) 2015-11-13 2015-11-13 Tracker and marker location guide apparatus and method for orthopedic surgical robot system

Country Status (1)

Country Link
KR (1) KR102418370B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220022994A1 (en) * 2018-04-23 2022-01-27 Mako Surgical Corp. System, Method And Software Program For Aiding In Positioning Of Objects In A Surgical Environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101154100B1 (en) 2009-02-10 2012-06-11 국립암센터 Bone marker apparatus for navigation surgery and navigation method using the same
KR20150072455A (en) * 2012-11-08 2015-06-29 내비게이트 써지컬 테크놀로지, 인크. System and method for determining the three-dimensional location and orientation of identification markers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101154100B1 (en) 2009-02-10 2012-06-11 국립암센터 Bone marker apparatus for navigation surgery and navigation method using the same
KR20150072455A (en) * 2012-11-08 2015-06-29 내비게이트 써지컬 테크놀로지, 인크. System and method for determining the three-dimensional location and orientation of identification markers

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220022994A1 (en) * 2018-04-23 2022-01-27 Mako Surgical Corp. System, Method And Software Program For Aiding In Positioning Of Objects In A Surgical Environment
US11864957B2 (en) * 2018-04-23 2024-01-09 Mako Surgical Corp. System, method and software program for aiding in positioning of objects in a surgical environment

Also Published As

Publication number Publication date
KR102418370B1 (en) 2022-07-08

Similar Documents

Publication Publication Date Title
JP7204663B2 (en) Systems, apparatus, and methods for improving surgical accuracy using inertial measurement devices
CN104758066B (en) Equipment for surgical navigation and surgical robot
WO2017206920A1 (en) Drilling control apparatus and drilling control method
CN108601578B (en) In-device fusion of optical and inertial position tracking of ultrasound probes
KR102114089B1 (en) Laser projection apparatus and control method thereof, laser guidance system including the apparatus
EP2594197A1 (en) Tracking system and method
US20090143670A1 (en) Optical tracking cas system
US20220175464A1 (en) Tracker-Based Surgical Navigation
JP2015534480A5 (en)
CA2840189A1 (en) Ultrasound ct registration for positioning
KR20220031576A (en) Obstacle avoidance technology for surgical navigation
KR20170062048A (en) Marker positioning system and method for orthopedic surgery
KR101371387B1 (en) Tracking system and method for tracking using the same
US9285666B2 (en) Object guide system
JP6731704B2 (en) A system for precisely guiding a surgical procedure for a patient
WO2018235255A1 (en) Medical system and operation method thereof
EP2984987B1 (en) Method and system for marking of fluoroscope field-of-view
KR20170056115A (en) Tracker and marker location guide apparatus and method for orthopedic surgical robot system
CN115844546B (en) Bone cutting device, storage medium, and processor
CN112515766A (en) Method and system for registering an X-ray image data set with a navigation system
US20220031414A1 (en) Medical system, method and computer program
US20230218348A1 (en) X-wing enhanced guidance system for distal targeting
US20220198665A1 (en) Systems and methods for monitoring one or more anatomical elements
US20140294160A1 (en) Method and device for establishing object data
KR20210016433A (en) Alignment system for liver surgery

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant