KR102433473B1

KR102433473B1 - Method, apparatus and computer program for providing augmented reality based medical information of patient

Info

Publication number: KR102433473B1
Application number: KR1020200137730A
Authority: KR
Inventors: 권혁; 나승원; 은원기; 이준우; 이정진; 박태용; 정희렬; 강승우; 구교영
Original assignee: 주식회사 스키아
Priority date: 2019-10-30
Filing date: 2020-10-22
Publication date: 2022-08-19
Also published as: KR20210052270A

Abstract

증강 현실 기반의 의료 정보를 제공하는 방법은 환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득하는 단계, 상기 환자의 상태, 상기 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 상기 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링하는 단계, 상기 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득하는 단계, 상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계, 상기 환자의 피부에 대한 정보에 기초하여, 상기 실시간 공간 영상에서 상기 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성하는 단계 및 상기 증강 현실 기반의 의료 영상을 출력하는 단계를 포함한다.A method of providing medical information based on augmented reality includes: acquiring 3D modeling data including information on a patient's skin generated based on a patient's medical image; Sampling information on at least a portion of the reference skin from the 3D modeling data based on at least one type of treatment, acquiring a real-time spatial image including information on a space in which the patient is located, for the reference skin Matching the 3D modeling data and the real-time spatial image based on information; based on the information on the patient's skin, augmented reality based augmented reality for outputting medical information on the patient's body from the real-time spatial image and generating a medical image and outputting the augmented reality-based medical image.

Description

환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR PROVIDING AUGMENTED REALITY BASED MEDICAL INFORMATION OF PATIENT}METHOD, APPARATUS AND COMPUTER PROGRAM FOR PROVIDING AUGMENTED REALITY BASED MEDICAL INFORMATION OF PATIENT

본 발명은 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.The present invention relates to a method, apparatus and computer program for providing augmented reality-based medical information based on a patient's body.

증강 현실(Augmented Reality, AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다. 이러한 증강 현실 기술은 다양한 스마트 기기를 통해 게임, 헬스, 지도 서비스 등의 다양한 분야에 적용되고 있다.Augmented reality (AR) is a technology that displays a 3D virtual image as a single image by superimposing a real image or background on it. These augmented reality technologies are being applied to various fields such as games, health, and map services through various smart devices.

한편, 최근 의료 분야에 증강 현실 기술을 접목시키고자 하는 시도가 있다. Meanwhile, recent attempts have been made to graft augmented reality technology into the medical field.

구체적으로, 종래 기술로서, 수술 전 촬영된 영상(CT/MRI)을 이용하여 강체 정합(Rigid Registration) 결과를 AR 기술을 통해 단순히 가시화하는 증강 현실 기반 네비게이션 기술과 뇌, 간 등을 대상으로 국소 변형을 수행하는 증강 현실 기반 네비게이션 수술을 진행한 기술들이 있다.Specifically, as a prior art, augmented reality-based navigation technology that simply visualizes the rigid registration result through AR technology using pre-operative images (CT/MRI) and local deformation for the brain, liver, etc. There are technologies that have performed augmented reality-based navigation surgery that performs

이러한 증강 현실 네비게이션 기술은 환자의 신체와 3D 오브젝트들 간의 좌표계의 정합이 필수적이고, 이에 따라 종래의 증강 현실 네비게이션 기술은 현실 세계의 정보로서 마커(marker)를 활용하여 좌표계의 정합을 수행한다. 즉, 환자의 신체의 특정 위치에 인위적인 마커를 위치시킨 후, 이 마커를 추적해 환자의 신체의 위치와 방향을 특정하게 된다.Such augmented reality navigation technology is essential to matching the coordinate system between the patient's body and 3D objects. Accordingly, the conventional augmented reality navigation technology uses a marker as information of the real world to match the coordinate system. That is, after locating an artificial marker at a specific location on the patient's body, the marker is tracked to specify the location and direction of the patient's body.

그러나, 마커를 활용하여 좌표계의 정합을 수행할 경우, 사전에 교정(calibration) 작업 또한 필요하여 사전 준비 과정이 번거럽고 시간이 오래 걸리는 문제점이 있었다.However, when the coordinate system is matched by using a marker, a calibration operation is also required in advance, so that the pre-preparation process is cumbersome and takes a long time.

또한, 마커는 환자의 자세에 따른 변형이 최소화될 수 있는 위치에 제한적으로 위치하여야 하며, 경우에 따라서는 침습적(invasive)으로 마커를 고정하기도 했었다.In addition, the marker should be limitedly positioned at a position where deformation according to the patient's posture can be minimized, and in some cases, the marker was fixed invasively.

즉, 종래의 증강 현실 네비게이션 기술은 변형 발생이 비교적 적은 근골격계에 대하여 적용이 가능하나, 뇌, 간과 같은 연체 조직에 대한 AR 수술에 적용할 경우, 환자의 자세 등에 의해 신체의 변형이 발생하여 좌표계의 정합이 정확히 이루어지기 어렵다.That is, the conventional augmented reality navigation technology can be applied to the musculoskeletal system with relatively little deformation, but when applied to AR surgery on soft tissues such as the brain and liver, the deformation of the body occurs due to the patient's posture, etc. It is difficult to accurately match.

특히, 유방은 인체 중 변형에 대한 자유도가 가장 큰 영역 중 하나로, 실제 수술은 누워서 이루어지는 반면, 진단을 위해 촬영되는 영상은 병변에 따라 누워서 촬영되거나 엎드려서 촬영된다. In particular, the breast is one of the regions with the greatest degree of freedom for deformation in the human body, and the actual surgery is performed while lying down, whereas the images taken for diagnosis are taken lying down or lying down depending on the lesion.

따라서, 유방은 신체 내부 깊숙이 있는 장기들과 달리 피부 바로 밑에 위치하기 때문에 자세의 차이는 유방의 변형을 더욱 가중시키며, 형태 차이에 따른 수술자의 병변 위치 파악의 어려움을 야기한다.Therefore, since the breast is located just under the skin unlike organs deep inside the body, the difference in posture further aggravates the deformation of the breast, and causes difficulty in locating the lesion by the operator according to the shape difference.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위한 것으로서, 비마커 기반의 좌표계 정합을 통해 좌표계 정합의 정확도를 높일 수 있는 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램을 제공하고자 한다.The present invention is to solve the problems of the prior art, and to provide a method, apparatus and computer program for providing augmented reality-based medical information capable of increasing the accuracy of coordinate system matching through non-marker-based coordinate system matching. .

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problems to be achieved by the present embodiment are not limited to the technical problems described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득하는 단계, 상기 환자의 상태, 상기 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 상기 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링하는 단계, 상기 환자가 위치하는 공간(병실, 시술실 등 환자의 외부적 위치)의 정보를 포함하는 실시간 공간 영상을 획득하는 단계, 상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계, 상기 환자의 피부에 대한 정보에 기초하여, 상기 실시간 공간 영상에서 상기 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성하는 단계 및 상기 증강 현실 기반의 의료 영상을 출력하는 단계를 포함하는 증강 현실 기반의 의료 정보를 제공하는 방법을 제공할 수 있다.As a technical means for achieving the above-described technical problem, an embodiment of the present invention includes the steps of acquiring 3D modeling data including information on the patient's skin generated based on the patient's medical image, the patient's condition, Sampling information on at least a part of the reference skin from the 3D modeling data based on at least one of the patient's real-time posture, the affected area, and the type of operation, the space in which the patient is located (external to the patient, such as a hospital room, an operating room, etc.) location) acquiring a real-time spatial image including information on the reference skin, matching the real-time spatial image with the 3D modeling data based on the information on the reference skin, based on the information on the patient's skin, the Providing augmented reality-based medical information, comprising generating an augmented reality-based medical image to output medical information on the patient's body from a real-time spatial image, and outputting the augmented reality-based medical image method can be provided.

또한, 본 발명의 다른 실시예는 환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득하는 3D 모델링 데이터 획득부, 상기 환자의 상태, 상기 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 상기 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링하는 샘플링부, 상기 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득하는 공간 영상 획득부, 상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 정합부, 상기 환자의 피부에 대한 정보에 기초하여, 상기 실시간 공간 영상에서 상기 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성하는 의료 영상 생성부 및 상기 증강 현실 기반의 의료 영상을 출력하는 출력부를 포함하는 장치를 제공할 수 있다.In addition, another embodiment of the present invention is a 3D modeling data acquisition unit for acquiring 3D modeling data including information on the patient's skin generated based on the patient's medical image, the patient's state, the patient's real-time posture, A sampling unit that samples information on at least a portion of the reference skin from the 3D modeling data based on at least one of the affected area and the type of treatment, and a spatial image acquisition unit that obtains a real-time spatial image including information on a space in which the patient is located , a matching unit that matches the 3D modeling data and the real-time spatial image based on the information on the reference skin, and medical information on the patient's body in the real-time spatial image based on the information on the patient's skin It is possible to provide an apparatus including a medical image generator for generating an augmented reality-based medical image to be output, and an output unit for outputting the augmented reality-based medical image.

또한, 본 발명의 또 다른 실시예는 상술한 증강 현실 기반의 의료 정보를 제공하는 방법을 컴퓨팅 장치가 수행하도록 하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체를 제공할 수 있다.In addition, another embodiment of the present invention may provide a computer-readable recording medium in which a program for causing a computing device to perform the above-described augmented reality-based medical information providing method is recorded.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 연체 조직에 대한 치료 및 수술에도 적용 가능한 증강 현실 네비게이션을 제공하는 방법, 장치 및 컴퓨터 프로그램을 제공할 수 있다.According to any one of the above-described problem solving means of the present invention, it is possible to provide a method, an apparatus, and a computer program for providing augmented reality navigation applicable to soft tissue treatment and surgery.

또한, 비마커 기반의 좌표계 정합을 통해 좌표계 정합의 정확도를 높일 수 있는 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램을 제공할 수 있다.In addition, it is possible to provide a method, an apparatus, and a computer program for providing augmented reality-based medical information capable of increasing the accuracy of coordinate system matching through non-marker-based coordinate system matching.

도 1은 본 발명의 일 실시예에 따른 의료 정보 제공 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 3D 모델링 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 기준 피부에 대한 정보를 샘플링하는 방법을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 의료 정보 제공 장치에서 출력되는 화면을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법의 흐름도이다.1 is a block diagram of an apparatus for providing medical information according to an embodiment of the present invention.
2 is a diagram for explaining a method of acquiring 3D modeling data according to an embodiment of the present invention.
3 is a diagram for explaining a method of sampling information on reference skin according to an embodiment of the present invention.
4A and 4B are diagrams illustrating screens output from an apparatus for providing medical information according to an embodiment of the present invention.
5 is a flowchart of a method of providing augmented reality-based medical information based on a patient's body according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated, and one or more other features However, it is to be understood that the existence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded in advance.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. In addition, one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.Some of the operations or functions described as being performed by the terminal or device in this specification may be instead performed by a server connected to the terminal or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal or device connected to the corresponding server.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 의료 정보 제공 장치의 블록도이다. 도 1을 참조하면, 의료 정보 제공 장치(100)는 3D 모델링 데이터 획득부(110), 샘플링부(120), 공간 영상 획득부(130), 정합부(140), 의료 영상 생성부(150) 및 출력부(160)을 포함할 수 있다. 여기서, 출력부(160)는 공간 추적부(162)를 포함할 수 있다. 다만, 이러한 도 1의 의료 정보 제공 장치(100)는 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.1 is a block diagram of an apparatus for providing medical information according to an embodiment of the present invention. Referring to FIG. 1 , the medical information providing apparatus 100 includes a 3D modeling data acquisition unit 110 , a sampling unit 120 , a spatial image acquisition unit 130 , a matching unit 140 , and a medical image generation unit 150 . and an output unit 160 . Here, the output unit 160 may include a space tracking unit 162 . However, since the medical information providing apparatus 100 of FIG. 1 is only an embodiment of the present invention, the present invention is not limitedly interpreted through FIG. 1 .

의료 정보 제공 장치(100)는 환자의 신체, 예를 들어, 인체 중 변형에 대한 자유도가 가장 큰 유방의 치료 및 수술 시, 내비게이션을 위한 의료 정보를 제공하는 장치일 수 있다.The medical information providing apparatus 100 may be a device that provides medical information for navigation during treatment and surgery of a patient's body, for example, a breast having the greatest degree of freedom for deformation in the human body.

의료 정보 제공 장치(100)는 예를 들어, 스마트폰(smartphone), 태블릿 PC, HMD(Head mounted Display), 데스크탑, 노트북, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 다만, 의료 정보 제공 장치(100)는 도 1에 도시된 형태 또는 앞서 예시된 것들로 한정 해석되는 것은 아니다.The medical information providing apparatus 100 is, for example, a smartphone, a tablet PC, a head mounted display (HMD), a desktop, a notebook computer, a wearable device, as well as a Bluetooth (BLE, Bluetooth Low Energy), NFC, RFID, It may include various devices equipped with communication modules such as Ultrasonic, Infrared, Wi-Fi, and LiFi. However, the medical information providing apparatus 100 is not limited to the form shown in FIG. 1 or those exemplified above.

3D 모델링 데이터 획득부(110)는 환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득할 수 있다.The 3D modeling data acquisition unit 110 may acquire 3D modeling data including information on the patient's skin generated based on the patient's medical image.

여기서, 환자의 의료 영상은 치료 또는 수술 전에 촬영된 영상으로서, 컴퓨터단층촬영(CT: Computed Tomography), 자기공명영상(MRI: Magnetic Resonance Imaging) 및 양전자 단층촬영(PET: Positron Emission Tomography) 을 포함할 수 있다.Here, the patient's medical image is an image taken before treatment or surgery, and may include Computed Tomography (CT), Magnetic Resonance Imaging (MRI), and Positron Emission Tomography (PET). can

잠시 도 2를 참조하면, 3D 모델링 데이터 획득부(110)는 의료 영상(201)의 노이즈를 제거할 수 있다. 예를 들어, 3D 모델링 데이터 획득부(110)는 비등방성 확산 필터(ADF: Anisotropic Diffusion Filter)를 이용하여 의료 영상(201)의 노이즈를 제거할 수 있다. 비등방성 확산 필터는 일반적으로 사용되는 잡음 제거 필터들과 달리 영상의 정보를 분석하여 경계선(Edge) 정보는 유지하면서 노이즈를 효과적으로 제거한다. 2 , the 3D modeling data acquisition unit 110 may remove noise from the medical image 201 . For example, the 3D modeling data acquisition unit 110 may remove noise from the medical image 201 using an anisotropic diffusion filter (ADF). Unlike general noise removal filters, the anisotropic diffusion filter analyzes image information to effectively remove noise while maintaining edge information.

의료 영상(201)의 노이즈를 제거함으로써 피부(Skin) 분할 결과 시, 노이즈에 따른 피부 정보의 오차를 최소화할 수 있다.By removing the noise of the medical image 201 , it is possible to minimize an error in skin information due to noise when a skin segmentation result is obtained.

이어서 3D 모델링 데이터 획득부(110)는 오츠 메소드(Otsu's Method)를 이용하여 의료 영상(201)에서 배경과 환자 영역을 구분할 수 있다. 오츠 메소드는 입력 영상의 밝기 분포의 분석을 통한 영역 구분을 위해 입력 영상에 대한 적응적 임계 값을 자동으로 찾아 주는 기법이다.Subsequently, the 3D modeling data acquisition unit 110 may distinguish the background and the patient area from the medical image 201 using the Otsu's Method. The Otsu method is a technique that automatically finds an adaptive threshold value for an input image for region classification through analysis of the brightness distribution of the input image.

그런데, 이러한 오츠 메소드를 이용한 쓰레드홀딩(Thresholding) 기법은 영상의 밝기값만을 이용한 기법으로, 영상의 토폴로지(Topology)는 고려하지 않는다. However, the thresholding technique using the Otsu method is a technique using only the brightness value of the image, and does not consider the topology of the image.

따라서, 3D 모델링 데이터 획득부(110)는 영상의 토폴로지 정보를 고려하고 오분할된 영역을 제거하기 위해 SRG(Seeded Region Growing) 연산과 모폴로지(Morphology) 연산을 순차적으로 수행할 수 있다.Accordingly, the 3D modeling data acquisition unit 110 may sequentially perform a Seeded Region Growing (SRG) operation and a Morphology operation in order to consider the topology information of the image and to remove the mis-segmented region.

SRG는 씨앗(Seed)를 기준으로 조건을 만족하는 인접 화소들을 추적하여 확장하며 찾아나가는 과정을 이용한 기법이다. 모폴로지 연산은 침식(erode)과 팽창(dilate)을 반복적으로 수행함으로써 분할 결과에 대하여 오분할된 노이즈 제거와 빈공간(Empty space) 제거 등을 수행한다. SRG is a technique using the process of tracing, expanding, and finding adjacent pixels that satisfy the condition based on the seed. In the morphology operation, erode and dilate are repeatedly performed to remove mis-segmented noise and empty space on the segmentation result.

3D 모델링 데이터 획득부(110)는 의료 영상(201)의 각 Slice 단위(203)로 환자 영역 분할을 수행한다. 분할된 전체 영상은 스킨 메쉬(Skin Mesh, 205) 생성을 위한 볼륨 데이터(Volume Data)로써 활용된다. The 3D modeling data acquisition unit 110 divides the patient region into each slice unit 203 of the medical image 201 . The divided whole image is used as volume data for creating a skin mesh (Skin Mesh, 205).

3D 모델링 데이터는 스킨 메쉬(mesh, 205)일 수 있다.예를 들어, 3D 모델링 데이터는 3차원 버텍스(vertex) 정보, 이들의 연결 정보 및 이로 인해 생성된 면 정보를 포함하는 3D 메쉬 정보일 수 있다.The 3D modeling data may be a skin mesh 205. For example, the 3D modeling data may be 3D mesh information including 3D vertex information, their connection information, and surface information generated thereby. have.

3D 모델링 데이터 획득부(110)는 예를 들어, 마칭 큐브(Marching Cube) 기법을 활용하여 스킨 메쉬(205)를 생성할 수 있다.The 3D modeling data acquisition unit 110 may generate the skin mesh 205 using, for example, a marching cube technique.

3D 모델링 데이터 획득부(110)는 스킨 메쉬(205)를 생성할 때, 가우시안 필터(Gaussian Filter)를 3차원 상에 적용하여 볼륨 데이터를 평활화(Smoothing)할 수 있다. 이로 인해, 마칭 큐브를 통해 생성될 메쉬에 평활화를 적용한 것과 같은 효과를 줄 수 있다.When generating the skin mesh 205 , the 3D modeling data acquisition unit 110 may apply a Gaussian filter to the 3D image to smooth the volume data. Due to this, it is possible to give the same effect as applying smoothing to the mesh to be created through the marching cube.

3D 모델링 데이터 획득부(110)는 예를 들어, Fast-Quadric Mesh Simplification 알고리즘을 이용하여 메쉬 단순화를 수행할 수 있다. 메쉬 단순화를 수행함으로써 연산량, 메모리를 줄이는 것이 가능하다.The 3D modeling data acquisition unit 110 may perform mesh simplification using, for example, a Fast-Quadric Mesh Simplification algorithm. By performing mesh simplification, it is possible to reduce the amount of computation and memory.

다시 도 1을 참조하면, 3D 모델링 데이터 획득부(110)는 3D 모델링 데이터로부터 환자의 피부에 대한 정보로서 환자의 피부를 구성하는 복수의 제 1 특징점의 정보를 추출할 수 있다. 여기서, 제 1 특징점의 정보는 3차원 공간 상의 3차원 위치 정보를 포함할 수 있고, 복수의 제 1 특징점의 3차원 위치 정보는 마커(Marker)로서 기능할 수 있다.Referring back to FIG. 1 , the 3D modeling data acquisition unit 110 may extract information on a plurality of first feature points constituting the patient's skin as information on the patient's skin from the 3D modeling data. Here, the information of the first feature point may include three-dimensional position information in a three-dimensional space, and the three-dimensional position information of the plurality of first feature points may function as a marker.

3D 모델링 데이터 획득부(110)는 복수의 제 1 특징점의 3차원 위치 정보를 포함하는 해쉬 테이블을 생성할 수 있다. 이와 달리, 후술하는 제 1 정합 알고리즘이 이용되지 않을 경우, 3D 모델링 데이터 획득부(110)는 해쉬 테이블을 생성하지 않을 수도 있다.The 3D modeling data acquisition unit 110 may generate a hash table including 3D position information of the plurality of first feature points. On the other hand, when the first matching algorithm, which will be described later, is not used, the 3D modeling data acquisition unit 110 may not generate the hash table.

예를 들어, 3D 모델링 데이터 획득부(110)는 복수의 제 1 특징점을 다운사이즈 샘플링(downsize sampling)한 후, 두 점(Point Pair)을 선택하여 이 두 점의 차로서 위치와 방향(즉, 위치와 normal vector)을 양자화해 색인될 수 있도록 구성하고 이를 해쉬 테이블에 저장할 수 있다.For example, the 3D modeling data acquisition unit 110 downsize sampling the plurality of first feature points, selects two points (Point Pair), and selects two points as a difference between the two points in a position and a direction (that is, Position and normal vector) can be quantized to be indexed and stored in a hash table.

샘플링부(120)는 환자의 상태, 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링할 수 있다.The sampling unit 120 may sample at least a portion of the reference skin information from the 3D modeling data based on at least one of the patient's condition, the patient's real-time posture, the affected area, and the type of operation.

본 발명은 인위적인 마커를 이용하지 않는 비마커 기반으로 좌표계의 정합을 수행한다. 구체적으로, 본 발명은 피부를 마커로서 기능하도록 하여 좌표계의 정합을 수행한다.The present invention performs the matching of the coordinate system based on a non-marker that does not use an artificial marker. Specifically, the present invention performs the registration of the coordinate system by allowing the skin to function as a marker.

피부에 대한 정보를 이용하여 좌표계의 정합을 수행할 경우, 환자의 상태, 환자의 실시간 자세 등에 따라 피부가 실시간으로 변형되어 정합의 정확도가 낮아진다는 문제점이 있다.When the coordinate system is matched using skin information, there is a problem in that the skin is deformed in real time according to the condition of the patient, the patient's real-time posture, etc., so that the accuracy of the registration is lowered.

본 발명에서는 정합의 정확도를 높이기 위해 환자의 상태, 환자의 실시간 자세 등에 따라 비교적 변형이 잘 이루어지지 않는 기준 피부를 샘플링한 후, 기준 피부에 대한 정보에 기초하여 좌표계의 정합을 수행한다.In the present invention, in order to increase the accuracy of registration, after sampling the reference skin, which is not easily deformed according to the patient's condition, the patient's real-time posture, etc., the coordinate system is matched based on the information on the reference skin.

잠시 도 3을 참조하면, 예를 들어, 유방의 치료 및 수술 시, 샘플링부(120)는 환자의 자세에 따라 변형이 잘 이루어지지 않는 부위(예컨대, 관절이 없고 얇은 피부로 덮여있는 뼈 부분)인 가슴뼈 부분(301) 및 갈비뼈 부분(302, 303)을 기준 피부로 샘플링할 수 있다.Referring briefly to FIG. 3 , for example, during breast treatment and surgery, the sampling unit 120 is a region that is not easily deformed according to the patient's posture (eg, a bone part that has no joints and is covered with thin skin). The sternum portion 301 and the rib portions 302 and 303 may be sampled as reference skin.

다른 예를 들어, 환자의 공복 상태(예컨대, 촬영시에는 일반 상태이고, 수술시에는 공복 상태)에 따라 복부의 모양도 상당히 차이가 있으며, 이 차이에 의해 정확도가 달라질 수 있다. For another example, the shape of the abdomen is also significantly different depending on the patient's fasting state (eg, a normal state when photographing, and a fasting state during surgery), and accuracy may vary by this difference.

따라서, 샘플링부(120)는 환자의 공복 상태에 따라 변형이 잘 이루어지는 부위는 기준 피부에서 제외할 수 있다. Accordingly, the sampling unit 120 may exclude from the reference skin a portion that is easily deformed according to the patient's fasting state.

다시 도 1을 참조하면, 공간 영상 획득부(130)는 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득할 수 있다.Referring back to FIG. 1 , the spatial image acquisition unit 130 may acquire a real-time spatial image including information on a space in which a patient is located.

공간 영상 획득부(130)는 깊이 카메라를 통해 실시간 공간 영상을 획득할 수 있다. 공간 영상 획득부(130)는 실시간 공간 영상으로부터 공간을 구성하는 복수의 특징점을 추출하고, 깊이 카메라의 위치 및 방향을 지속적으로 계산할 수 있다.The spatial image acquisition unit 130 may acquire a real-time spatial image through a depth camera. The spatial image acquisition unit 130 may extract a plurality of feature points constituting a space from a real-time spatial image and continuously calculate the position and direction of the depth camera.

공간 영상 획득부(130)가 계산하는 깊이 카메라의 위치 및 방향은 후술하는 바와 같이 증강 현실 기반의 의료 영상을 추적하는데 사용된다.The position and direction of the depth camera calculated by the spatial image acquisition unit 130 are used to track an augmented reality-based medical image as will be described later.

정합부(140)는 기준 피부에 대한 정보에 기초하여 3D 모델링 데이터와 실시간 공간 영상을 정합할 수 있다. 예를 들어, 정합부(140)는 실시간 공간 영상에 포함된 적어도 하나의 프레임과 이에 대응하는 3D 모델링 데이터를 정합할 수 있다.The matching unit 140 may match the 3D modeling data and the real-time spatial image based on the information on the reference skin. For example, the matching unit 140 may match at least one frame included in the real-time spatial image with 3D modeling data corresponding thereto.

여기서, 환자의 피부에 대한 정보는 환자의 피부를 구성하는 복수의 제 1 특징점의 위치 정보를 포함하고, 기준 피부를 구성하는 복수의 제 1 특징점의 위치 정보는 마커(Marker)로서 기능할 수 있다.Here, the information on the patient's skin may include position information of a plurality of first feature points constituting the skin of the patient, and the position information of the plurality of first feature points constituting the reference skin may function as a marker. .

정합부(140)는 기준 피부에 대한 정보에 기초하여 3D 모델링 데이터의 기준 피부에 대응하는 부분과 실시간 공간 영상의 기준 피부에 대응하는 부분을 1차 정합할 수 있다.The matching unit 140 may first match a portion corresponding to the reference skin of the 3D modeling data and a portion corresponding to the reference skin of the real-time spatial image based on the information on the reference skin.

정합부(140)는 정합의 정확도를 더욱 높이기 위해 2차 정합을 추가로 수행할 수 있다.The matching unit 140 may additionally perform secondary matching to further increase the accuracy of matching.

이때, 정합부(140)는 기준 피부에 대한 정보 또는 기준 피부 이외의 피부에 대한 정보만을 이용하거나 기준 피부에 대한 정보 및 기준 피부 이외의 피부에 대한 정보 모두를 이용하여 3D 모델링 데이터의 기준 피부 이외의 피부에 대응하는 부분과 실시간 공간 영상의 기준 피부 이외의 피부에 대응하는 부분을 2차 정합할 수 있다.In this case, the matching unit 140 uses only information about the reference skin or information about skin other than the reference skin, or uses both information about the reference skin and information about skin other than the reference skin, except for the reference skin of the 3D modeling data. A portion corresponding to the skin of , and a portion corresponding to the skin other than the reference skin of the real-time spatial image may be secondarily matched.

즉, 정합부(140)가 비교적 변형이 잘 이루어지지 않는 기준 피부에 대한 정보에 기초하여 1차 정합을 먼저 수행함으로써, 정합의 정확도를 높일 수 있다.That is, the matching unit 140 first performs the primary matching based on the information on the reference skin, which is not easily deformed, so that the accuracy of matching can be improved.

일 실시예로서, 정합부(140)는 제 1 정합 알고리즘 및 제 2 정합 알고리즘을 이용하여 정합을 수행할 수 있다.As an embodiment, the matching unit 140 may perform matching using a first matching algorithm and a second matching algorithm.

예를 들어, 정합부(140)는 제 1 정합 알고리즘에 기초하여 기준 피부에 대응하는 복수의 제 1 특징점과 기준 피부에 대응하는 복수의 제 2 특징점의 근사 위치를 계산할 수 있다. 여기서, 근사 위치는 위치와 방향을 의미할 수 있다.For example, the matching unit 140 may calculate approximate positions of a plurality of first feature points corresponding to the reference skin and a plurality of second feature points corresponding to the reference skin based on the first matching algorithm. Here, the approximate location may mean a location and a direction.

정합부(140)는 제 1 정합 알고리즘으로서 예를 들어, PPF(Point Pair Feature) 알고리즘을 이용하여 기준 피부에 대응하는 복수의 제 1 특징점과 기준 피부에 대응하는 복수의 제 2 특징점의 근사 위치를 계산할 수 있다.The matching unit 140 determines the approximate positions of the plurality of first feature points corresponding to the reference skin and the plurality of second feature points corresponding to the reference skin by using, for example, a Point Pair Feature (PPF) algorithm as the first matching algorithm. can be calculated

구체적으로, 정합부(140)는 실시간 공간 영상으로부터 복수의 제 2 특징점을 추출하고, 추출된 복수의 제 2 특징점을 다운사이즈 샘플링(downsize sampling)한 후, 두 점(Point Pair)을 선택할 수 있다.Specifically, the matching unit 140 may extract a plurality of second feature points from a real-time spatial image, downsize sampling the plurality of extracted second feature points, and then select two points (Point Pair). .

이후, 정합부(140)는 선택된 두 점을 양자화(연속적이지 않고, 일정 구간의 정보가 하나의 정보로 병합)하여 해쉬 테이블에서 동일 또는 유사한 두 점을 선택할 수 있다. 예를 들어, 정합부(140)는 양자화된 두 점과의 유사도가 가장 높은 점수를 얻은 후보군을 뽑고, 이에 기초하여 복수의 제 1 특징점과 복수의 제 2 특징점의 근사 위치를 계산할 수 있다.Thereafter, the matching unit 140 may select the same or similar two points from the hash table by quantizing the selected two points (information of a certain section is not continuous and merged into one piece of information). For example, the matching unit 140 may select a candidate group having the highest score of similarity between the two quantized points, and calculate approximate positions of the plurality of first feature points and the plurality of second feature points based on this.

이때, 이 때 PPF 알고리즘은 양자화(연속적이지 않고, 일정 구간의 정보가 하나의 정보로 병합)되어 이용되므로 높은 정확도를 기대할 수 없다. 이에, 본 발명에서는 PPF 알고리즘과 함께 후술하는 제 2 알고리즘을 추가적으로 이용하여 정합의 정확도를 높인다.At this time, since the PPF algorithm is quantized (not continuous, information of a certain section is merged into one piece of information) and used, high accuracy cannot be expected. Accordingly, in the present invention, a second algorithm to be described later is additionally used together with the PPF algorithm to increase the matching accuracy.

정합부(140)는 복수의 제 1 특징점과 기준 피부에 대응하는 복수의 제 2 특징점의 근사 위치를 계산한 후, 제 2 정합 알고리즘에 기초하여 기준 피부에 대응하는 복수의 제 1 특징점과 기준 피부에 대응하는 복수의 제 2 특징점의 정밀 위치를 계산할 수 있다. The matching unit 140 calculates approximate positions of the plurality of first feature points and the plurality of second feature points corresponding to the reference skin, and then based on the second matching algorithm, the plurality of first feature points corresponding to the reference skin and the reference skin It is possible to calculate the precise positions of the plurality of second feature points corresponding to .

정합부(140)는 상술한 근사 위치를 시작점으로 제 2 정합 알고리즘으로서 예를 들어, ICP(Iterative Closest Point) 알고리즘을 이용하여 복수의 제 1 특징점과 복수의 제 2 특징점의 정밀 위치를 계산할 수 있다. 여기서, 정밀 위치는 이동 및 회전을 의미할 수 있다.The matching unit 140 may calculate the precise positions of the plurality of first feature points and the plurality of second feature points by using, for example, an Iterative Closest Point (ICP) algorithm as a second matching algorithm using the above-described approximate position as a starting point. . Here, the precise position may mean movement and rotation.

즉, 정합부(140)는 PPF 알고리즘을 통해 근사 위치로서 위치와 방향을 검출하고, ICP 알고리즘을 통해 정밀 위치로서 이동 및 회전을 검출하여 점들간의 거리가 더욱 가까워지도록 한다.That is, the matching unit 140 detects the position and direction as an approximate position through the PPF algorithm, and detects movement and rotation as a precise position through the ICP algorithm so that the distance between the points becomes closer.

이와 같이, 본 발명은 PPF 알고리즘을 이용하여 근사한 위치를 찾고 이를 시작점으로 ICP 알고리즘을 통한 정합을 수행함으로써 정합의 정확도를 높일 수 있다.As described above, the present invention can increase the accuracy of matching by finding an approximate location using the PPF algorithm and performing matching through the ICP algorithm as a starting point.

다른 실시예로서, 정합부(140)는 제 2 정합 알고리즘만을 이용하여 정합을 수행할 수 있다.As another embodiment, the matching unit 140 may perform matching using only the second matching algorithm.

예를 들어, 정합부(140)는 기설정된 복수의 지점에서 사전 정합을 실시하여 초기값을 설정할 수 있다. 여기서, 사전 정합은 ICP 알고리즘을 통해 수행될 수 있다.For example, the matching unit 140 may set the initial value by performing pre-matching at a plurality of preset points. Here, the pre-matching may be performed through an ICP algorithm.

정합부(140)는 예를 들어, 실시간 공간 영상에 대응하는 경계 박스(Scene bounding box)의 상면 중앙 및 제 2 경계 박스의 중앙에서 사전 정합을 실시할 수 있다.The matching unit 140 may pre-register, for example, at the center of an upper surface of a scene bounding box corresponding to a real-time spatial image and a center of a second bounding box.

이후, 정합부(140)는 사전 정합의 결과 중 잔여 오류(residual error)가 최소인 지점의 위치 및 방향을 초기값으로 설정할 수 있다.Thereafter, the matching unit 140 may set the position and direction of a point having a minimum residual error among the results of the pre-matching as an initial value.

이어서, 정합부(140)는 초기값에서부터 ICP 알고리즘을 적용하여 복수의 제 1 특징점과 복수의 제 2 특징점의 정밀 위치를 계산함으로써 정합을 수행할 수 있다.Next, the matching unit 140 may perform matching by calculating precise positions of the plurality of first feature points and the plurality of second feature points by applying the ICP algorithm from the initial value.

의료 영상 생성부(150)는 환자의 피부에 대한 정보에 기초하여, 실시간 공간 영상에서 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성할 수 있다.The medical image generator 150 may generate an augmented reality-based medical image to output medical information on the patient's body in a real-time spatial image, based on the patient's skin information.

잠시, 도 4를 참조하면, 의료 영상 생성부(150)는 실시간 공간 영상에서의 환자의 신체 모델링의 투명도 및 콘트라스트(Contrast) (409)를 조절함으로써 의사가 정합의 정확도를 확인할 수 있도록 할 수 있다. 또한, 실시간 공간 영상에서 병변 및 관심조직을 좀 더 용이하게 식별하기 위해 밝기(brightness)를 조절할 수 있다.For a moment, referring to FIG. 4 , the medical image generating unit 150 may allow the doctor to check the accuracy of registration by adjusting the transparency and contrast 409 of the patient's body modeling in the real-time spatial image. . Also, in order to more easily identify a lesion and a tissue of interest in a real-time spatial image, brightness may be adjusted.

의료 영상 생성부(150)는 실시간 공간 영상에서의 환자의 신체 상에 의료 정보로서 예를 들어, CT plane, 병변(403), 병변(403)과 가장 가까운 피부의 위치 정보, 병변(403)과 해부학적인 축(anatomical axis) 방향 피부의 위치 정보(405), 병변(403)과 피부 사이의 거리 측정을 위한 눈금 중 적어도 하나를 출력할 수 있다.The medical image generating unit 150 provides medical information on the patient's body in a real-time spatial image, for example, a CT plane, a lesion 403 , location information of the skin closest to the lesion 403 , and a lesion 403 and At least one of the location information 405 of the skin in the anatomical axis direction and the scale for measuring the distance between the lesion 403 and the skin may be output.

예를 들어, 의료 영상 생성부(150)는 의사가 특정 CT 슬라이스(401)를 선택하면, 실시간 공간 영상에서의 환자의 신체 상에 해당 CT 슬라이스(401)의 위치에 대응하는 위치(환자의 몸통 내부)에 해당 특정 CT 슬라이스(401)를 배치할 수 있다.For example, when the doctor selects a specific CT slice 401 , the medical image generator 150 may generate a position corresponding to the position of the CT slice 401 on the patient's body in the real-time spatial image (the patient's torso). Inside), the specific CT slice 401 may be placed.

다른 예를 들어, 의료 영상 생성부(150)는 CT 슬라이스(401)들을 적층해 3차원으로 데이터를 구성하고 이 데이터에서 원하는 방향으로의 단면(anatomical plane) 이미지를 생성하여 이를 표현할 수 있다. For another example, the medical image generator 150 may stack CT slices 401 to configure data in three dimensions, and generate an anatomical plane image from the data in a desired direction to express this.

또한, 의료 영상 생성부(150)는 단면 이미지 내에서 병변 부위의 제 1 색(붉은 색)(407)을 변경하여 표현할 수 있다.Also, the medical image generating unit 150 may change and express the first color (red color) 407 of the lesion in the cross-sectional image.

또 다른 예를 들어, 의료 영상 생성부(150)는 의사의 입력에 따라 실시간 공간 영상에서의 환자의 신체 상에 선, 도형, 텍스트 등을 표현할 수 있다. As another example, the medical image generator 150 may express a line, a figure, a text, etc. on the patient's body in a real-time spatial image according to a doctor's input.

이때, 의료 영상 생성부(150)는 의사가 실시간 공간 영상에서의 환자의 신체 상에 선, 도형, 텍스트 등을 입력할 때, 화면에 표시된 적어도 하나의 요소(병변, 크기 및 위치 확인용 원반)의 투명도를 실시간으로 조절할 수 있다. 이로 인해 의사가 실시간 공간 영상에서의 환자의 신체 상에 선, 도형, 텍스트 등을 쉽게 확인할 수 있다.In this case, the medical image generating unit 150 may include at least one element (disc for checking lesion, size, and location) displayed on the screen when the doctor inputs a line, figure, text, etc. on the patient's body in the real-time spatial image. Transparency can be adjusted in real time. Due to this, the doctor can easily check the lines, figures, texts, etc. on the patient's body in the real-time spatial image.

출력부(160)는 증강 현실 기반의 의료 영상을 출력할 수 있다. The output unit 160 may output an augmented reality-based medical image.

공간 추적부(162)는 깊이 카메라의 위치 및 방향에 기초하여 공간의 정보를 추적하여 증강 현실 기반의 의료 영상을 지속적으로 출력할 수 있다.The space tracking unit 162 may continuously output an augmented reality-based medical image by tracking space information based on the position and direction of the depth camera.

즉, 본 발명은 3D 모델링 데이터와 실시간 공간 영상을 최소 1회만을 정합한 후, 제 3 알고리즘을 이용하여 매 프레임의 공간 정보를 추적함으로써, 3D 모델링 데이터와 실시간 공간 영상의 정합을 지속적으로 유지한다. 여기서, 제 3 알고리즘은 SLAM (Simultaneous localization and mapping) 알고리즘일 수 있다. 이와 달리, 실시간 추적(후술하는 깊이 카메라의 위치 및 방향의 변화를 감지)을 위해서 실시간 공간 영상을 매 프레임마다 정합할 수도 있다.That is, according to the present invention, the 3D modeling data and the real-time spatial image are matched at least once, and then the spatial information of each frame is tracked using the third algorithm, thereby continuously maintaining the registration of the 3D modeling data and the real-time spatial image. . Here, the third algorithm may be a Simultaneous localization and mapping (SLAM) algorithm. Alternatively, real-time spatial images may be matched every frame for real-time tracking (to detect a change in the position and direction of a depth camera, which will be described later).

이에 따라, 매 프레임마다 3D 모델링 데이터와 실시간 공간 영상을 정합함에 따른 계산량이 증가하는 문제점을 해결할 수 있다.Accordingly, it is possible to solve the problem that the amount of calculation increases due to matching the 3D modeling data and the real-time spatial image for every frame.

구체적으로, 공간 추적부(162)는 공간의 영상 정보(RGB 정보 또는 깊이 정보)에 기초하여 공간을 3차원 데이터로 구성하고, 3차원 데이터로부터 깊이 카메라의 위치 및 방향을 결정할 수 있다.Specifically, the space tracking unit 162 may configure a space as 3D data based on image information (RGB information or depth information) of the space, and determine the position and direction of the depth camera from the 3D data.

예를 들어, 공간 추적부(162)는 깊이 이미지로부터 3차원 공간의 점 정보를 획득하거나 RGB의 특징점을 추출한 후, 이로부터 프레임간의 이동을 분석하여 깊이 카메라의 위치 및 방향을 결정할 수 있다.For example, the space tracking unit 162 may determine the position and direction of the depth camera by obtaining point information in 3D space from the depth image or extracting characteristic points of RGB, and then analyzing the movement between frames therefrom.

도 5는 본 발명의 일 실시예에 따른 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법의 흐름도이다.5 is a flowchart of a method of providing augmented reality-based medical information based on a patient's body according to an embodiment of the present invention.

도 5에 도시된 일 실시예에 따른 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법은 도 1에 도시된 의료 정보 제공 장치에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 5에 도시된 일 실시예에 따라 수행되는 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법에도 적용된다.The method for providing augmented reality-based medical information based on a patient's body according to an embodiment shown in FIG. 5 includes the steps of time-series processing by the medical information providing apparatus shown in FIG. 1 . Therefore, even if omitted below, the method of providing augmented reality based medical information based on the patient's body performed according to the embodiment shown in FIG. 5 is also applied.

도 5를 참조하면, 단계 S510에서 의료 정보 제공 장치는 환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득할 수 있다.Referring to FIG. 5 , in operation S510 , the apparatus for providing medical information may acquire 3D modeling data including information on the patient's skin generated based on the patient's medical image.

단계 S520에서 의료 정보 제공 장치는 환자의 상태, 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링할 수 있다.In operation S520 , the medical information providing apparatus may sample information on at least a portion of the reference skin from the 3D modeling data based on at least one of the patient's condition, the patient's real-time posture, the affected area, and the type of operation.

단계 S530에서 의료 정보 제공 장치는 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득할 수 있다.In operation S530, the medical information providing apparatus may acquire a real-time spatial image including information on the space in which the patient is located.

단계 S540에서 의료 정보 제공 장치는 기준 피부에 대한 정보에 기초하여 3D 모델링 데이터와 실시간 공간 영상을 정합할 수 있다.In operation S540, the medical information providing apparatus may match the 3D modeling data and the real-time spatial image based on the information on the reference skin.

단계 S550에서 의료 정보 제공 장치는 환자의 피부에 대한 정보에 기초하여, 실시간 공간 영상에서 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성할 수 있다.In operation S550, the medical information providing apparatus may generate an augmented reality-based medical image to output medical information on the patient's body in a real-time spatial image, based on the patient's skin information.

단계 S560에서 의료 정보 제공 장치는 증강 현실 기반의 의료 영상을 출력할 수 있다.In operation S560, the medical information providing apparatus may output an augmented reality-based medical image.

도 5를 통해 설명된 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법은 매체에 저장된 컴퓨터 프로그램의 형태로 구현되거나, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.The method for providing augmented reality-based medical information based on the patient's body described through FIG. 5 is implemented in the form of a computer program stored in a medium or includes instructions executable by a computer such as a program module executed by a computer It can also be implemented in the form of a recording medium. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The above description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be interpreted as being included in the scope of the present invention. do.

100: 의료 정보 제공 장치100: medical information providing device

Claims

의료 정보 제공 장치에서 수행되는 환자의 신체에 기초한 증강 현실(AR: Augmented Reality) 기반의 의료 정보를 제공하는 방법에 있어서,
환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득하는 단계;
상기 환자의 상태, 상기 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 상기 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링하는 단계;
상기 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득하는 단계;
상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계;
상기 환자의 피부에 대한 정보에 기초하여, 상기 실시간 공간 영상에서 상기 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성하는 단계; 및
상기 증강 현실 기반의 의료 영상을 출력하는 단계
를 포함하고,
상기 적어도 일부의 기준 피부에 대한 정보를 샘플링하는 단계는,
상기 환자의 자세에 따라 변형이 이루어지지 않는 부위를 상기 기준 피부로 샘플링하거나 상기 환자의 공복 상태에 따라 변형이 이루어지는 부위를 상기 기준 피부에서 제외하는 단계를 포함하고,
상기 환자의 피부에 대한 정보는 상기 기준 피부를 구성하는 복수의 제 1 특징점의 위치 정보를 포함하고,
상기 기준 피부를 구성하는 복수의 제 1 특징점의 위치 정보는 마커(Marker)로서 기능하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
A method of providing medical information based on augmented reality (AR) based on a patient's body performed in a medical information providing device, the method comprising:
acquiring 3D modeling data including information on the patient's skin generated based on the patient's medical image;
sampling information on at least a portion of the reference skin from the 3D modeling data based on at least one of the patient's condition, the patient's real-time posture, the affected area, and the type of operation;
acquiring a real-time spatial image including information on a space in which the patient is located;
matching the 3D modeling data and the real-time spatial image based on the information on the reference skin;
generating an augmented reality-based medical image to output medical information on the patient's body from the real-time spatial image, based on the patient's skin information; and
Outputting the augmented reality-based medical image
including,
The step of sampling the information on the at least part of the reference skin,
Sampling a portion that is not deformed according to the patient's posture as the reference skin or excluding a portion that is deformed according to the patient's fasting state from the reference skin,
The information on the patient's skin includes location information of a plurality of first feature points constituting the reference skin,
The method of providing augmented reality-based medical information, wherein the location information of a plurality of first feature points constituting the reference skin functions as a marker.

삭제delete

제 1 항에 있어서,
상기 실시간 공간 영상을 획득하는 단계는
깊이 카메라로부터 상기 실시간 공간 영상을 획득하는 단계;
상기 실시간 공간 영상으로부터 상기 공간을 구성하는 복수의 제 2 특징점을 추출하는 단계; 및
상기 깊이 카메라의 위치 및 방향을 지속적으로 계산하는 단계
를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
The method of claim 1,
The step of acquiring the real-time spatial image is
acquiring the real-time spatial image from a depth camera;
extracting a plurality of second feature points constituting the space from the real-time spatial image; and
continuously calculating the position and orientation of the depth camera;
A method of providing medical information based on augmented reality, comprising a.

제 4 항에 있어서,
상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계는
제 1 정합 알고리즘에 기초하여 상기 기준 피부에 대응하는 복수의 제 1 특징점과 상기 기준 피부에 대응하는 복수의 제 2 특징점의 근사 위치를 계산하는 단계; 및
제 2 정합 알고리즘에 기초하여 상기 기준 피부에 대응하는 복수의 제 1 특징점과 상기 기준 피부에 대응하는 복수의 제 2 특징점의 정밀 위치를 계산하는 단계
를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
5. The method of claim 4,
The step of matching the 3D modeling data and the real-time spatial image based on the information on the reference skin comprises:
calculating approximate positions of a plurality of first feature points corresponding to the reference skin and a plurality of second feature points corresponding to the reference skin based on a first matching algorithm; and
calculating precise positions of a plurality of first feature points corresponding to the reference skin and a plurality of second feature points corresponding to the reference skin based on a second matching algorithm;
A method of providing medical information based on augmented reality, comprising a.

제 5 항에 있어서,
상기 증강 현실 기반의 의료 영상을 출력하는 단계는
상기 깊이 카메라의 위치 및 방향에 기초하여 상기 공간의 정보를 추적하여 상기 증강 현실 기반의 의료 영상을 지속적으로 출력하는 단계
를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
6. The method of claim 5,
The step of outputting the augmented reality-based medical image is
Continuously outputting the augmented reality-based medical image by tracking information of the space based on the position and direction of the depth camera
A method of providing medical information based on augmented reality, comprising a.

제 1 항에 있어서,
상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계는
상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터의 상기 기준 피부에 대응하는 부분과 상기 실시간 공간 영상의 상기 기준 피부에 대응하는 부분을 1차 정합하는 단계; 및
상기 1차 정합을 수행한 후, 상기 3D 모델링 데이터의 상기 기준 피부 이외의 피부에 대응하는 부분과 상기 실시간 공간 영상의 상기 기준 피부 이외의 피부에 대응하는 부분을 2차 정합하는 단계
를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
The method of claim 1,
The step of matching the 3D modeling data and the real-time spatial image is
first matching a portion corresponding to the reference skin of the 3D modeling data and a portion corresponding to the reference skin of the real-time spatial image based on the information on the reference skin; and
Secondary matching of a portion corresponding to the skin other than the reference skin of the 3D modeling data and a portion corresponding to the skin other than the reference skin of the real-time spatial image after performing the first registration
A method of providing medical information based on augmented reality, comprising a.

제 1 항에 있어서,
상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계는
기설정된 복수의 지점에서 사전 정합을 실시하여 초기값을 설정하는 단계; 및
상기 초기값에서 제 2 정합 알고리즘을 적용하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계
를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
The method of claim 1,
The step of matching the 3D modeling data and the real-time spatial image is
performing preset matching at a plurality of preset points to set an initial value; and
matching the 3D modeling data and the real-time spatial image by applying a second matching algorithm to the initial value;
A method of providing medical information based on augmented reality, comprising a.

환자의 신체에 기초한 증강 현실(AR: Augmented Reality) 기반의 의료 정보를 제공하는 장치에 있어서,
환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득하는 3D 모델링 데이터 획득부;
상기 환자의 상태, 상기 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 상기 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링하는 샘플링부;
상기 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득하는 공간 영상 획득부;
상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 정합부;
상기 환자의 피부에 대한 정보에 기초하여, 상기 실시간 공간 영상에서 상기 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성하는 의료 영상 생성부; 및
상기 증강 현실 기반의 의료 영상을 출력하는 출력부
를 포함하고,
상기 샘플링부는 상기 환자의 자세에 따라 변형이 이루어지지 않는 부위를 상기 기준 피부로 샘플링하거나 상기 환자의 공복 상태에 따라 변형이 이루어지는 부위를 상기 기준 피부에서 제외하고,
상기 환자의 피부에 대한 정보는 상기 환자의 피부를 구성하는 복수의 제 1 특징점의 위치 정보를 포함하고,
상기 기준 피부를 구성하는 복수의 제 1 특징점의 위치 정보는 마커(Marker)로서 기능하는 것인, 장치.
In an apparatus for providing medical information based on augmented reality (AR: Augmented Reality) based on a patient's body,
a 3D modeling data acquisition unit configured to acquire 3D modeling data including information on the patient's skin generated based on the patient's medical image;
a sampling unit for sampling information on at least a portion of the reference skin from the 3D modeling data based on at least one of the patient's condition, the patient's real-time posture, the affected area, and the type of operation;
a spatial image acquisition unit for acquiring a real-time spatial image including information on a space in which the patient is located;
a matching unit configured to match the 3D modeling data and the real-time spatial image based on the information on the reference skin;
a medical image generator for generating an augmented reality-based medical image to output medical information on the patient's body from the real-time spatial image, based on the information on the patient's skin; and
An output unit for outputting the augmented reality-based medical image
including,
The sampling unit samples a portion that is not deformed according to the patient's posture as the reference skin or excludes a portion that is deformed according to the patient's fasting state from the reference skin,
The information on the patient's skin includes location information of a plurality of first feature points constituting the patient's skin,
The apparatus, wherein the position information of the plurality of first feature points constituting the reference skin functions as a marker.

삭제delete

제 9 항에 있어서,
상기 공간 영상 획득부는 깊이 카메라를 통해 상기 실시간 공간 영상을 획득하고, 상기 실시간 공간 영상으로부터 상기 공간을 구성하는 복수의 제 2 특징점을 추출하고, 상기 깊이 카메라의 위치 및 방향을 지속적으로 계산하는 것인, 장치.
10. The method of claim 9,
The spatial image acquisition unit acquires the real-time spatial image through a depth camera, extracts a plurality of second feature points constituting the space from the real-time spatial image, and continuously calculates the position and direction of the depth camera , Device.

제 12 항에 있어서,
상기 정합부는 제 1 정합 알고리즘에 기초하여 상기 기준 피부에 대응하는 복수의 제 1 특징점과 상기 기준 피부에 대응하는 복수의 제 2 특징점의 근사 위치를 계산하고, 제 2 정합 알고리즘에 기초하여 상기 기준 피부에 대응하는 복수의 제 1 특징점과 상기 기준 피부에 대응하는 복수의 제 2 특징점의 정밀 위치를 계산하는 것인, 장치.
13. The method of claim 12,
The matching unit calculates approximate positions of a plurality of first feature points corresponding to the reference skin and a plurality of second feature points corresponding to the reference skin based on a first matching algorithm, and based on a second matching algorithm, the reference skin An apparatus for calculating precise positions of a plurality of first feature points corresponding to and a plurality of second feature points corresponding to the reference skin.

제 13 항에 있어서,
상기 출력부는 상기 깊이 카메라의 위치 및 방향에 기초하여 상기 공간의 정보를 추적하여 상기 증강 현실 기반의 의료 영상을 지속적으로 출력하는 공간 추적부
를 포함하는 것인, 장치.
14. The method of claim 13,
The output unit tracks the information of the space based on the position and direction of the depth camera to continuously output the augmented reality-based medical image.
A device comprising a.

제 9 항에 있어서,
상기 정합부는 상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터의 상기 기준 피부에 대응하는 부분과 상기 실시간 공간 영상의 상기 기준 피부에 대응하는 부분을 1차 정합하고, 상기 1차 정합을 수행한 후, 상기 3D 모델링 데이터의 상기 기준 피부 이외의 피부에 대응하는 부분과 상기 실시간 공간 영상의 상기 기준 피부 이외의 피부에 대응하는 부분을 2차 정합하는 것인, 장치.
10. The method of claim 9,
The matching unit first matches the part corresponding to the reference skin of the 3D modeling data and the part corresponding to the reference skin of the real-time spatial image based on the information on the reference skin, and performs the first registration Then, the apparatus of the 3D modeling data to the secondary registration of a portion corresponding to the skin other than the reference skin and the portion corresponding to the skin other than the reference skin of the real-time spatial image.

제 9 항에 있어서,
상기 3D 모델링 데이터 획득부는 상기 복수의 제 1 특징점의 위치 정보를 포함하는 해쉬 테이블을 생성하는 것인, 장치.
10. The method of claim 9,
The apparatus of claim 1, wherein the 3D modeling data acquisition unit generates a hash table including location information of the plurality of first feature points.

제 9 항에 있어서,
상기 정합부는 기설정된 복수의 지점에서 사전 정합을 실시하여 초기값을 설정하고, 상기 초기값에서 제 2 정합 알고리즘을 적용하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 것인, 장치.
10. The method of claim 9,
The matching unit performs pre-matching at a plurality of preset points to set an initial value, and applies a second matching algorithm to the initial value to match the 3D modeling data and the real-time spatial image.

제 1 항, 제 4 항 내지 제 8 항 중 어느 한 항에 기록된 방법을 컴퓨팅 장치가 수행하도록 하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium recording a program for causing a computing device to perform the method recorded in any one of claims 1 to 8.