KR101816172B1 - The simulation system for training and the method thereof - Google Patents
The simulation system for training and the method thereof Download PDFInfo
- Publication number
- KR101816172B1 KR101816172B1 KR1020100124457A KR20100124457A KR101816172B1 KR 101816172 B1 KR101816172 B1 KR 101816172B1 KR 1020100124457 A KR1020100124457 A KR 1020100124457A KR 20100124457 A KR20100124457 A KR 20100124457A KR 101816172 B1 KR101816172 B1 KR 101816172B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual object
- image data
- haptic
- data
- authoring
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004088 simulation Methods 0.000 title abstract description 45
- 239000000284 extract Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000001356 surgical procedure Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 210000001835 viscera Anatomy 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 7
- 238000002357 laparoscopic surgery Methods 0.000 description 4
- 230000015541 sensory perception of touch Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Child & Adolescent Psychology (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Abstract
의료 훈련 시뮬레이션 시스템 및 방법이 개시된다. 본 시뮬레이션 시스템은, 실제 환경에서 획득된 영상 데이터에 포함된 객체에 대응되는 가상 객체를 그래픽 모델링 및 햅틱 모델링하는 모델링부 및 가상 객체를 영상 데이터에 등록하고, 가상 객체가 등록된 영상 데이터가 재생되도록 저작하는 저작부를 포함한다. 그리하여 전문가의 경험을 바탕으로 실제의 느낌과 유사하게 촉각적 특성을 입힘으로써, 훈련하는 훈련자가 대상을 만질 때 촉각적 효과를 극대화할 수 있다A medical training simulation system and method are disclosed. The simulation system includes a modeling unit for graphically modeling and haptic modeling a virtual object corresponding to an object included in image data acquired in a real environment, and a virtual object for registering the virtual object in the image data, It includes the authoring unit to author. Thus, based on the experience of the experts, it is possible to maximize the tactile effect when the trainer is touching the subject,
Description
의료 훈련 시뮬레이션 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 저작 및 편집이 가능한 의료 훈련 시뮬레이션 시스템 및 그 방법에 관한 것이다. The present invention relates to a medical training simulation system and a method thereof, and more particularly, to a medical training simulation system and method capable of authoring and editing.
일반적으로, 전문가의 기술을 습득하기 위해 훈련자들은 전문가가 직접 실행하는 것을 반복적으로 관찰하고 전문가의 지도하에 훈련을 해본 후 전문가로부터 여러 가지 사항을 지적받고 다시 시도하는 것을 반복한다. 그러나 이러한 경우에 전문가의 실행을 주로 시각적으로만 관찰하기 때문에 기술을 습득하기 위해 훈련자들은 실제 현장에서 별도의 시행착오를 겪어야 하는 문제점이 있다. Generally, in order to acquire the skills of the experts, the trainers repeatedly observe that the experts perform the exercises repeatedly, train them under the guidance of the experts, and point out various items from the experts and try again. In this case, however, the trainees have to go through trial and error at the actual site in order to acquire the technology because they observe the execution of the experts mainly visually.
현존하는 훈련 시뮬레이션 시스템들은 컴퓨터그래픽스를 기반으로 한 3차원 가상환경시스템으로 주로 구축되어 있다. 그러나 오디오나 실감나는 고질의 촉각정보가 제공되지 않기 때문에 훈련의 범위가 제한적이거나 훈련의 질이 실제 상황에서 요구하는 것을 제대로 반영하지 못한다. 따라서, 질 좋은 훈련에 대한 요구가 점점 증가되는 추세이며 기존의 훈련 시뮬레이션 시스템에서도 실제 같은 모델의 물성치를 얻는 것이 어렵고 실시간으로 접탄성적(visco-elastic)이고 비선형적인 내부 장기모델의 정확한 물리기반 시뮬레이션을 해야 하는 어려움이 있다. Existing training simulation systems are mainly constructed as 3D virtual environment systems based on computer graphics. However, because audio or realistic tactile information is not provided, the scope of the training is limited or the quality of the training does not properly reflect what the real situation demands. Therefore, the demand for quality training is increasing, and it is difficult to obtain the physical property of the actual model in the existing training simulation system, and accurate physics-based simulation of visco-elastic and nonlinear internal organ model in real time There is a difficulty to do.
특히, 의료훈련에서 촉각은 시청각정보에 못지않은 중요한 요소이며 동물을 이용한 실제 수술 훈련을 통해 실력을 향상 시킬 수 있지만 동물의 생명존중 등 윤리적 그리고 비용에 대한 경제적 문제가 발생된다. 또한 유명한 전문의에게 수술훈련교육을 받기에는 학생의 수가 제한적이기 때문에 수술시 전문의의 모션 및 힘 등 전문의의 기술 전달(skill transfer)을 하기 위해서는 촉각적 정보가 추가적으로 있어야 하는 문제가 있다. Especially, in the medical training, the tactile sense is an important factor that is similar to the audiovisual information, and it is possible to improve the skill through the actual operation training using the animal, but there arises an economic problem for the ethical and the cost. In addition, since there are a limited number of students to receive surgical training training for famous specialists, there is a problem that tactile information must be additionally provided in order to transfer skills of a specialist such as a motion and power of a specialist during surgery.
본 발명은 상기한 문제점을 해결하기 위해, 실제 발생하는 전문가의 업무 진행 과정을 통해 영상 데이터, 오디오 데이터, 전문가의 모션 정보 및 힘 정보 등을 획득하고 훈련받고자 하는 대상 모델을 영상 및 촉각적으로 모델링하며 저작 및 편집을 통해 전문가가 고질의 콘텐츠를 쉽고 효율적으로 저작할 수 있는 환경을 제시하고 이렇게 생성된 콘텐츠를 훈련자가 훈련할 수 있는 시뮬레이션 시스템 및 방법을 제공하는 것이 목적이다. In order to solve the above-described problems, the present invention provides a method and apparatus for acquiring image data, audio data, motion information and force information of an expert, It is an object of the present invention to provide a simulation system and method that enables an expert to easily and efficiently author high quality contents through authoring and editing, and train the trained contents.
상기 목적을 달성하기 위한 본 발명에 따른, 시뮬레이션 시스템은, 실제 환경에서 획득된 영상 데이터에 포함된 객체에 대응되는 가상 객체를 그래픽 모델링 및 햅틱 모델링하는 모델링부; 및 상기 가상 객체를 상기 영상 데이터에 등록하고, 상기 가상 객체가 등록된 영상 데이터가 재생되도록저작하는 저작부;를 포함한다.According to an aspect of the present invention, there is provided a simulation system including: a modeling unit for graphically modeling and haptic modeling a virtual object corresponding to an object included in image data acquired in a real environment; And a authoring unit for registering the virtual object in the image data and for authoring the virtual object to reproduce the registered image data.
그리고, 상기 저작부는, 상기 실제 환경에서 상기 객체에 제공되는 모션, 힘 및 토크 정보 중 적어도 하나에 대응하여 상기 객체에서 발생되는 햅틱 데이터를 상기 가상 객체가 등록된 영상 데이터와 동기화시키는 것이 바람직하다.The authoring unit may synchronize the haptic data generated in the object with at least one of the motion, force, and torque information provided to the object in the real environment, with the image data in which the virtual object is registered.
또한, 상기 저작부는, 프레임 단위로 상기 영상 데이터에서 상기 객체의 위치를 추출하고, 상기 객체의 위치에 상기 가상 객체를 등록하는 것이 바람직하다.Preferably, the authoring unit extracts the position of the object from the image data in units of frames, and registers the virtual object at the position of the object.
그리고, 상기 저작부는, 상기 객체가 처음으로 포함된 프레임에서 상기 객체의 위치를 추출하고, 상기 객체의 위치에 상기 가상 객체를 등록하는 것이 바람직하다.The authoring unit may extract the position of the object in the frame including the object for the first time and register the virtual object at the position of the object.
또한, 상기 저작부는, 상기 영상 데이터 중 상기 객체의 위치에 상기 가상 객체를 등록하고, 이후 프레임에서 상기 객체의 변경된 크기 및 위치 중 적어도 하나에 대응시켜 상기 가상 객체의 크기 및 위치를 변경시키는 것이 바람직하다.The authoring unit may register the virtual object at the position of the object in the image data and change the size and position of the virtual object in correspondence with at least one of the changed size and position of the object in the frame Do.
그리고, 상기 저작부는, 상기 실제 환경에서 획득된 다른 객체의 위치를 기준으로 상기 객체에 대한 영상 데이터에 가상 객체를 등록하는 것이 바람직하다.
The authoring unit may register the virtual object in the image data of the object based on the position of another object obtained in the actual environment.
한편, 상기 목적을 달성하기 위한 본 발명에 따른, 시뮬레이션 방법은, 실제 환경에서 획득된 영상 데이터에 포함된 객체에 대응되는 가상 객체를 그래픽 모델링 및 햅틱 모델링하는 단계; 및 상기 가상 객체를 상기 영상 데이터에 등록하고, 상기 가상 객체가 등록된 영상 데이터가 재생되도록 저작하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a method for simulating a virtual object corresponding to an object included in image data obtained in an actual environment, the method comprising the steps of; graphic modeling and haptic modeling; And registering the virtual object in the image data and authoring the virtual object to reproduce the registered image data.
그리고, 상기 저작하는 단계는, 상기 실제 환경에서 상기 객체에 제공되는 모션, 힘 및 토크 정보 중 적어도 하나에 대응하여 상기 객체에서 발생되는 햅틱 데이터를 상기 가상 객체가 등록된 영상 데이터와 동기화시키는 것이 바람직하다.The authoring step preferably synchronizes the haptic data generated in the object with at least one of the motion, force, and torque information provided to the object in the real environment with the image data registered with the virtual object Do.
또한, 상기 저작하는 단계는, 프레임 단위로 상기 영상 데이터에서 상기 객체의 위치를 추출하고, 상기 객체의 위치에 상기 가상 객체를 등록하는 것이 바람직하다.The authoring step may include extracting a position of the object from the image data on a frame-by-frame basis, and registering the virtual object at a position of the object.
그리고, 상기 저작하는 단계는, 상기 객체가 처음으로 포함된 프레임에서 상기 객체의 위치를 추출하고, 상기 객체의 위치에 상기 가상 객체를 등록하는 것이 바람직하다.The authoring step may include extracting a position of the object in a frame including the first object, and registering the virtual object at a position of the object.
또한, 상기 저작하는 단계는, 상기 영상 데이터의 상기 객체의 위치에 가상 객체를 등록하고, 이후 프레임에서 상기 객체의 변경된 크기 및 위치 중 적어도 하나에 대응시켜 상기 가상 객체의 크기 및 위치를 변경시키는 것이 바람직하다.The authoring step may include registering a virtual object at a position of the object of the image data and then changing the size and position of the virtual object in correspondence with at least one of the changed size and position of the object in the frame desirable.
그리고, 상기 저작하는 단계는, 상기 실제 환경에서 획득된 다른 객체의 위치를 기준으로 상기 객체에 대한 영상 데이터 및 가상 객체를 등록하는 것이 바람직하다.
The authoring step may register the image data and the virtual object for the object based on the position of another object obtained in the actual environment.
본 발명의 다른 실시예에 따르면, 본 발명은, 실제 환경에서 획득된 영상 데이터와, 상기 영상 데이터에 포함된 객체에 대응되어 그래픽 모델링 및 햅틱 모델링된 가상 객체를 재생하는 단계; 및 상기 가상 객체와 햅틱 상호작용을 수행하는 단계를 포함하는 의료 훈련 시뮬레이션 방법을 제공한다. According to another embodiment of the present invention, there is provided a method of reproducing a virtual object, comprising the steps of: reproducing image data obtained in a real environment; graphic modeling and haptic modeling corresponding to an object included in the image data; And performing a haptic interaction with the virtual object.
바람직하게는 상기 가상 객체는 비가시적으로 재생되는 것을 특징으로 한다. Preferably, the virtual object is reproduced invisibly.
또한, 상기 햅틱 상호작용은 기저장된 전문의의 수술과정을 수동적으로 제시한다. In addition, the haptic interaction passively suggests the surgical procedure of the pre-stored specialist.
또한, 상기 햅틱 상호작용은 훈련자가 제공하는 모션, 힘 또는 토크에 대한 상호작용일 수 있다.In addition, the haptic interaction may be an interaction with a motion, force, or torque provided by the trainer.
본 발명에 의하면, 전문가의 경험을 바탕으로 실제의 느낌과 유사하게 촉각적 특성을 입힘으로써, 훈련하는 훈련자가 대상을 만질 때 촉각적 효과를 극대화할 수 있다.According to the present invention, based on the expert's experience, the tactile characteristic similar to the actual feeling can be applied, thereby maximizing the tactile effect when the trainee touches the subject.
도 1은 본 발명의 일 실시예에 따른 훈련 시뮬레이션용 저작 시스템에 대한 개략적인 블록도,
도 2는 본 발명의 일 실시예에 따른 시뮬레이션 콘텐츠를 생성하는 과정을 설명하기 위한 흐름도,
도 3은 본 발명의 일 실시예에 따른 가상 객체를 모델링한 결과를 도시한 도면,
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 모델링된 가상 객체를 촬영된 영상 데이터에 등록하는 과정을 도시한 도면,
도 5는 본 발명의 일 실시예에 따른 특정 등록 지점에서만 가상 객체를 영상에 등록하는 과정을 설명하기 위한 도면,
도 6은 본 발명의 일 실시예에 따른 저작된 영상 데이터가 표시장치에 표시된 결과를 도시한 도면,
도 7은 본 발명의 일 실시예에 따른 시뮬레이션 콘텐츠를 수정하는 화면을 도시한 도면,
도 8은 본 발명의 일 실시예에 따른 의료 훈련 시뮬레이션 방법에 있어서 영상 데이터를 획득함에 있어서 실제 수술 환경에서의 좌표계를 설명한 도면, 그리고
도 9는 본 발명의 일 실시예에 따른 훈련 시뮬레이션 재생 시스템에 대한 개략적인 블록도이다.1 is a schematic block diagram of a authoring system for training simulation according to an embodiment of the present invention;
FIG. 2 is a flowchart illustrating a process of generating a simulation content according to an exemplary embodiment of the present invention. FIG.
3 is a diagram illustrating a result of modeling a virtual object according to an embodiment of the present invention.
4A to 4D illustrate a process of registering a modeled virtual object according to an embodiment of the present invention in photographed image data.
5 is a diagram illustrating a process of registering a virtual object in an image only at a specific registration point according to an embodiment of the present invention;
FIG. 6 is a diagram illustrating a result of displaying authored image data on a display device according to an exemplary embodiment of the present invention. FIG.
FIG. 7 is a diagram illustrating a screen for modifying a simulation content according to an embodiment of the present invention; FIG.
8 is a view for explaining a coordinate system in an actual surgical environment in acquiring image data in a medical training simulation method according to an embodiment of the present invention, and
9 is a schematic block diagram of a training simulation reproduction system according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.
본 발명에서는 설명의 편의를 도모하기 위해 수술 과정을 시뮬레이션하는 시스템 및 방법에 대해 설명한다. 그러나, 수술 과정에만 한정하는 것이 아니고 신체로 할 수 있는 행동은 모두 적용될 수 있음도 물론이다. In the present invention, a system and a method for simulating a surgical procedure are described in order to facilitate explanation. However, it is needless to say that not only the surgical procedure but also the actions that can be performed by the body can be applied.
도 1은 본 발명의 일 실시예에 따른 훈련 시뮬레이션용 저작 시스템에 대한 개략적인 블록도이다.1 is a schematic block diagram of a authoring system for training simulation according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 훈련 시뮬레이션용 저작 시스템은 데이터 획득 장치 및 저작 장치를 포함한다.As shown in Fig. 1, the authoring system for training simulation includes a data acquisition apparatus and a authoring apparatus.
구체적으로, 데이터 획득 장치(110)는 시뮬레이션하고자 하는 실제 환경에서 영상 데이터를 획득하는 영상 획득 장치(112), 오디오 데이터를 획득하는 오디오 획득 장치(114) 및 햅틱 데이터를 획득하는 햅틱 획득 장치(116)를 한다. Specifically, the
본 훈련 시뮬레이션은 전문의의 수술 기술을 훈련자가 획득하고자 하는 것이라면, 영상 데이터는 전문의가 수술을 하면서 보고 있는 대상인 것이 바람직하다. 예를 들어, 전문의가 복강경 수술을 하는 경우, 상기한 영상 데이터는 복강경 수술의 대상인 위 또는 간과 같은 인체의 내부 장기일 수 있다. 한편, 상기 영상 데이터 외에 복강경 수술을 받고 있는 환자의 맥박 데이터, 혈압 데이터 등을 상기 영상 데이터에 추가될 수 있다. 상기한 영상 데이터는 수술 환경을 촬영하는 영상 획득 장치(112)에 의해 획득되고, 영상 획득 장치(112)는 적어도 하나 이상이 필요하다. If the training simulation is intended to be obtained by the trainee of the surgeon's technique, it is preferable that the image data is the subject to be viewed by the surgeon during surgery. For example, if a specialist performs laparoscopic surgery, the above-described image data may be the internal organs of the human body, such as the stomach or the liver that is the subject of laparoscopic surgery. Pulse data, blood pressure data, etc. of a patient undergoing laparoscopic surgery may be added to the image data in addition to the image data. The image data is acquired by an
그리고, 오디오 데이터는 전문의가 수술을 하면서 청취하는 모든 데이터인 것이 바람직하다. 상기한 오디오 데이터를 획득하는 오디오 획득 장치(114)는 수술 장소에 설치되는 마이크일 수 있다. It is preferable that the audio data is all data that the specialist hears while performing the operation. The
한편, 영상 데이터 및 오디오 데이터는 동시에 획득될 수 있음도 물론이다. 그리하여, 영상 획득 장치(112)와 오디오 획득 장치(114)는 하나의 장치로 통합될 수 있음도 물론이다. On the other hand, it is needless to say that the video data and the audio data can be obtained simultaneously. Thus, it is understood that the
또한, 햅틱 데이터는 수술 대상인 객체(예를 들어, 복강경 수술시 객체는 위이다.)의 촉감 정보, 모션 정보뿐만 아니라, 전문의가 수술을 하면서 발생시키는 전문의의 모션, 힘 및 토크 정보에 대응되는 객체의 반력이다. In addition, the haptic data may include not only tactile information and motion information of an object to be operated (for example, an object is a laparoscopic surgery), but also objects corresponding to motion, force, and torque information of a specialist, .
실제 수술 대상 자체가 갖고 있는 탄성, 댐핑(damping )속성 및/또는 표면 거칠기 등의 햅틱 속성(haptic property)에 관한 햅틱 데이터를 제1 햅틱 데이터라고 하고, 전문의의 모션, 힘 및 토크 정보 등에 반응하여 실제 수술 대상에서 발생된 촉감 정보, 모션 정보 등의 햅틱 데이터를 제2 햅틱 데이터라고 칭할 수 있다. The haptic data related to the haptic property such as elasticity, damping property and / or surface roughness of the actual operation object itself is referred to as first haptic data, and in response to the motion, force, and torque information of the specialist, Haptic data such as tactile information and motion information generated in an actual operation target can be referred to as second haptic data.
제1 햅틱 데이터는 실제 수술 과정에서 획득될 수도 있으나, 수술 과정 이외의 환경에서 획득될 수 있음도 물론이다. The first haptic data may be acquired in an actual operation procedure, but it may be acquired in an environment other than the operation procedure.
전문의의 모션 정보는 수술을 하면서 전문의가 수술 대상에 가하는 행동에 대한 정보로서, 본 시뮬레이션을 구현하는데 있어서, 전문의의 모션 정보는 전문의가 수술 대상을 수술하면서 사용하는 수술 도구의 움직임 정보인 것이 바람직하다. 상기한 움직임 정보를 획득하기 위해 수술 도구에 모션 센서를 장착하는 것이 바람직하다. The motion information of the specialist is information on the behavior of the surgeon applying to the operation subject while performing the surgery. In the simulation, the motion information of the specialist is preferably motion information of the surgical tool used by the surgeon during surgery . In order to acquire the motion information, it is preferable to mount a motion sensor on the surgical tool.
한편 힘 정보 및 토크 정보는 전문의가 수술 도구를 이용하여 수술 대상에 가하는 힘 정보 및 토크 정보이다. 상기한 힘 정보 및 토크 정보를 획득하기 위해 힘 센서 및 토크 센서 또한 수술 도구에 장착되어 있는 것이 바람직하다. 일 실시예에 있어서 상기한 힘 센서 및 토크 센서는 수술 도구 중 수술 대상과 직접 접촉하는 부분에 장착되어, 전문의가 수술 도구를 이용하여 수술 대상에 힘을 가하거나 토크를 가하였을 때 상기한 힘 또는 토크에 대응되는 수술 대상이 출력하는 반력을 측정함으로써, 역으로 전문의의 힘 또는 토크 정보가 산출되도록 구성될 수 있다. On the other hand, the force information and the torque information are force information and torque information that a specialist applies to an operation target using a surgical tool. In order to obtain the force information and the torque information, the force sensor and the torque sensor are preferably mounted on the surgical tool. In one embodiment, the force sensor and the torque sensor described above are mounted on a portion of the surgical instrument that is in direct contact with an operation subject, and when the operator uses a surgical tool to apply a force or torque to the operation object, The strength or torque information of the specialist can be calculated by measuring the reaction force output from the operation subject corresponding to the torque.
전문의가 수술 대상에 가하는 모션, 힘 및 토크 정보는 햅틱 데이터를 얻기 위해 사용되는 모션 센서, 힘 센서 및 토크 센서로부터 역으로 획득될 수 있기 때문에 설명의 편의를 도모하기 위해 전문의의 모션, 힘 및 토크 정보를 제3 햅틱 데이터라고 한다. The motion, force, and torque information that the specialist applies to the surgical object can be obtained from the motion sensor, force sensor, and torque sensor used to obtain the haptic data, so that the motion, force, and torque Information is referred to as third haptic data.
햅틱 획득 장치(116)는 상기한 제1 햅틱 데이터 내지 제3 햅틱 데이터 중 적어도 하나를 획득하는 것으로, 여러 가지 센서로 구현될 수 있다. The
이와 같이 데이터 획득 장치(116)의 통해 획득된 데이터는 제1 인터페이스(132)를 통해 제1 데이터 베이스(136)로 저장된다. Thus, the data acquired through the
저작 장치(130)는 제1 인터페이스(132), 제1 데이터베이스(134), 모델링부(136) 및 저작부(138)를 포함하며, 데이터 획득 장치(110)가 획득한 영상 데이터, 오디오 데이터 및 햅틱 데이터를 인가받아 상기한 데이터들을 상호 연관되게 저작하여 시뮬레이션 콘텐츠를 생성한다.The
구체적으로, 제1 인터페이스(132)는 수술 환경에서 획득된 영상 데이터, 오디오 데이터 및 햅틱 데이터를 인가받아 제1 데이터베이스(134)에 저장한다.Specifically, the
제1 데이터베이스(134)는 제1 인터페이스(132)에서 인가받은 영상 데이터, 오디오 데이터 및 햅틱 데이터를 저장한다. 제1 데이터베이스(132)에 저장되는 데이터는 XML 기반의 파일 형식으로 저장되는 것이 바람직하다. 영상 데이터, 오디오 데이터 및 햅틱 데이터가 XML 기반의 파일 형식으로 저장되면 시간적, 이벤트 발생에 따른 효과 등도 용이하게 정의할 수 있으며 확장도 용이하다. 그리하여 추후 후각적 정보 등도 포함시킬 수 있다. The
모델링부(136)는 제1 데이터베이스(134)에 저장된 영상 데이터 및 햅틱 데이터를 상호 연관시켜 수술 대상에 대응되는 가상 객체를 모델링한다. The
저작부(138)는 가상 객체를 영상 데이터에 등록하고, 영상 데이터, 오디오 데이터 및 햅틱 데이터를 동기화하여 시뮬레이션시 동시에 출력되도록 상기한 데이터들을 저작한다. 본 발명의 설명에 있어서 상기 저작된 데이터를 시뮬레이션 콘텐츠라고 칭한다.The
도 2는 본 발명의 일 실시예에 따른 시뮬레이션 콘텐츠를 저작하는 과정을 설명하기 위한 흐름도이다. 2 is a flowchart illustrating a process of authoring a simulation content according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 앞서 설명된 바와 같이 실제 환경에서 데이터 획득 장치(110)가 획득한 영상 데이터, 오디오 데이터 및 햅틱 데이터는 제1 인터페이스(132)를 통해 수신되어 제1 데이터베이스(132)에 XML 기반의 파일 형식으로 저장된다(S210). 2, the image data, audio data, and haptic data acquired by the
모델링부(136)는 제1 햅틱 데이터와 영상 데이터를 이용하여 수술 대상인 객체에 대응되는 가상 객체를 생성하는 모델링을 수행한다(S220).The
모델링부(136)는 크게 그래픽 모델링과 햅틱 모델링을 수행하여 가상 객체를 생성하는데, 그래픽 모델링은 수술 대상인 객체에 대응되는 가상 객체를 시각적으로, 바람직하게는 3차원 형상으로 모델링하는 것이다. 그리고, 햅틱 모델링은 수술 대상의 촉각 정보를 모델링하는 것이다. The
구체적으로, 모델링부(136)가 그래픽 모델링을 함에 있어서, CT나 MRI 등 수술한 환자의 데이터를 통해 직접 수술 대상에 대한 모델을 생성 할 수 있으며, 수술 대상에 대한 모델의 정보를 직접 획득하기 어려운 경우 VKH(Visible Korean Human) 데이터를 사용하여 환자의 특성에 맞게 수술 대상에 대한 그래픽 모델을 생성할 수 있다. 여기서 그래픽 모델이라 함은 수술 대상의 형상, 사이즈, 색 및 변형 정도를 포함하는 것으로 이해될 수 있다. In detail, when the
또한, 모델링부(136)는 가상 객체를 그래픽 모델링하기 위해 기저장되어 있는 표준화된 그래픽 모델을 사용할 수 있다. 예를 들어, 수술 대상이 위인 경우, 모델링부(136)는 수술 과정에서 획득된 데이터를 이용하여 위이라는 가상 객체를 그래픽 모델링할 수 있지만, 이미 표준적으로 모델링된 위의 가상 객체를 수정하여 환자의 위에 대응되는 가상 객체를 모델링할 수 있음도 물론이다. In addition, the
한편 모델링부(136)가 햅틱 모델링을 함에 있어서, 수술 대상의 표면 촉감 특성(예를 들어, 거칠기, 딱딱함, 마찰력 등) 및 전문의의 수술시 획득된 모션 정보, 힘 정보, 토크 정보를 이용하여 촉각적인 모델링을 수행한다. 상기한 햅틱 모델링은 훈련자가 촉각을 통해서 확인할 수 있다.On the other hand, when the
도 3은 본 발명의 일 실시예에 따른 가상 객체를 모델링한 결과를 도시한 도면이다. 도 3에 도시된 바와 같이, 모델링된 가상 객체(310)는 일반적인 영상 데이터와 구분된다. 예를 들어, 사용자가 햅틱 장치를 이용하여 모델링된 가상 객체를 만지면 햅틱 장치의 엔드포인트와 상기 가상객체와의 충돌 여부를 검출하여 반력이 상기 햅틱 장치로 제공됨으로써 사용자는 가상 객체에 대한 촉감을 느낄 수 있다. 3 is a diagram illustrating a result of modeling a virtual object according to an embodiment of the present invention. As shown in FIG. 3, the modeled
저작부(138)는 가상 객체를 영상 데이터에 등록하는데, 수술 환경에서 획득된 영상 데이터 중 수술 대상의 영상 데이터에 모델링된 가상 객체를 등록한다(S230).The
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 모델링된 가상 객체를 촬영된 영상 데이터에 등록하는 과정을 도시한 도면이다.4A to 4D illustrate a process of registering a modeled virtual object according to an embodiment of the present invention in photographed image data.
도 4a에 도시된 바와 같이, 촬영된 영상(420)과 모델링된 가상 객체(310)가 표시장치에 별도로 표시된다. 저작자는, 도 4b에 도시된 바와 같이, 조작부를 통해 가상 객체(310)를 촬영된 영상(420)의 수술 대상의 영역으로 이동시키고, 도 4c에 도시된 바와 같이 가상 객체(420)를 회전시켜 수술 대상에 대응되도록 한다. 그리고, 가상 객체를 수술 대상의 위치에 도 4d에 도시된 바와 같이 입력시킨다. 저작자가 조작부를 통해 가상 객체를 영상 데이터에 등록할 수도 있지만, 프로그램화되어 자동으로 등록될 수 있음도 물론이다. 4A, the photographed
이와 같이 가상 객체를 영상 데이터에 등록시키면, 사용자가 햅틱 장치를 이용하여 수술 대상을 만질 때 촉감을 느낄 수 있다. 한편, 가상 객체를 영상 데이터에 등록시키는 경우, 상기 가상객체는 투명 또는 반투명하게 처리되어 상기 영상데이터에 시각적으로 제시될 수 있다. When the virtual object is registered in the image data as described above, the user can feel the touch when touching the surgical target using the haptic device. On the other hand, when the virtual object is registered in the image data, the virtual object can be processed transparently or semi-transparently and visually presented to the image data.
이하에서는 수술 대상과 관련된 영상 데이터에 모델링된 가상 객체를 등록하는 방법에 대해 구체적으로 설명한다. 촬영된 영상에 모델링된 가상 객체를 등록시키게 되면 훈련자는 햅틱 장치를 이용하여 시뮬레이션 할 때 촉감을 느낄 수 있다. Hereinafter, a method of registering a modeled virtual object in image data related to an operation subject will be described in detail. By registering the modeled virtual object in the photographed image, the trainer can feel the tactile feeling when simulating using the haptic device.
가상 객체를 영상에 등록하는 방법은 여러 가지가 있으며, 하기는 그중 예시적인 방법이다. There are various methods of registering a virtual object in an image, and the following is an exemplary method.
제1 방법으로, 수술 대상과 관련된 영상 데이터를 프레임 단위로 로드하여 각 프레임에 있는 수술 대상의 위치(position), 방위각, 크기 등에 대한 수술 대상의 포즈 및 크기를 추출함으로써, 수술 대상에 대한 정보를 추출한다. 수술 대상에 대한 정보가 추출된 후 수술 대상에 대응되는 포즈 및 크기에 모델링한 가상 객체를 등록시킴으로써 촬영된 영상을 시각적으로 보여주고 등록된 가상 객체를 촉각적으로 제시할 수 있다. 일 실시예에 있어서 영상의 각 프레임마다 가상 객체를 수술 대상과 관련된 영상 데이터에 등록한다. 여기서 수술 대상이 위인 경우, 수술 대상과 관련된 영상 데이터는 영상 데이터 중 위 영상이다. As a first method, image data related to an operation subject is loaded on a frame-by-frame basis, and the pose and size of the operation subject with respect to the position, azimuth, and size of the operation subject in each frame are extracted, . After the information on the surgical object is extracted, the modeled virtual object is registered in the pose and size corresponding to the surgical object, thereby visually displaying the photographed image and tactfully presenting the registered virtual object. In one embodiment, the virtual object is registered in the image data associated with the operation target for each frame of the image. Here, when the operation subject is the stomach, the image data related to the operation subject is the stomach image in the image data.
제2 방법으로, 특정 등록 시점을 선택하고, 선택된 등록 시점에서만 가상 객체를 영상에 등록(registration)한다. 상기한 등록 시점은 수술 대상에 대한 영상이 클로즈업되는 시점, 수술 대상이 없는 장면에서 다시 수술 대상에 대한 영상이 나타나는 장면의 시점 등을 선택할 수 있으며, 상기한 시점에만 가상 객체를 수술 대상에 대한 영상에 등록하고, 다음 등록할까지 동일한 가상 객체를 이용하는 것이다.As a second method, a specific registration time is selected and the virtual object is registered in the image only at the selected registration time. The registration time can be selected from a time point at which the image of the operation target is close-up, a time point at which the image of the operation target is displayed again in the scene without the operation target, and the like. And uses the same virtual object until the next registration.
도 5는 본 발명의 일 실시예에 따른 특정 등록 지점에서만 가상 객체를 영상에 등록하는 과정을 설명하기 위한 도면이다.5 is a diagram illustrating a process of registering a virtual object in an image only at a specific registration point according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 수술 대상에 대한 영상 데이터의 크기가 현저히 변경될 때 또는 수술 대상에 대한 영상 데이터 자체가 변경될 때, 가상 객체를 영상 데이터에 등록한다. 수술 대상에 대한 영상 데이터의 크기가 현저히 변경될 때 저작부는 가상 객체를 수술 대상에 대한 영상 데이터의 크기에 대응되도록 가상 객체의 크기를 변경시킨 후 가상 객체를 영상 데이터 등록한다. 그리고, 수술 대상에 대한 영상 데이터가 변경될 때에는 저작부는 새 가상 객체를 모델링부에서 인가받아 등록한다. As shown in FIG. 5, when the size of the image data for the operation subject is significantly changed, or when the image data for the operation subject itself is changed, the virtual object is registered in the image data. When the size of the image data for the operation subject is significantly changed, the authoring unit changes the size of the virtual object so that the virtual object corresponds to the size of the image data for the operation subject, and registers the image data of the virtual object. When the image data for the operation subject is changed, the authoring unit registers and receives a new virtual object from the modeling unit.
제3 방법으로, 첫 프레임의 영상에 가상 객체를 등록(registration)하고, 영상에 있는 수술 대상의 크기, 위치 및 방위 중 적어도 하나를 측정하고 두 번째 프레임부터 영상의 수술 대상의 크기, 위치 및 방위 중 적어도 하나에 대응하여 가상 객체의 크기, 위치 및 방위 중 적어도 하나를 자동으로 변경시킨다. 이때 영상에서 수술 대상의 분석 방법은 에지 디텍션(edge detection)이나 다른 여러 비전 알고리즘(vision algorithm)을 사용할 수 있다. In a third method, a virtual object is registered in an image of the first frame, at least one of the size, position, and orientation of the surgical object in the image is measured, and the size, position, And automatically changes at least one of the size, the position, and the orientation of the virtual object corresponding to at least one of the virtual objects. At this time, edge analysis or various vision algorithms can be used for analysis of the surgical object.
제4 방법으로, 첫 프레임은 영상 촬영시 획득된 수술 도구의 위치를 기준으로 수술 대상의 영상과 가상 객체를 등록(registration)한다. 그리고 수술 대상의 3차원 위치가 변동되면, 변동된 위치에 대응하여 가상 객체를 자동으로 확대(Zoom- in), 축소(Zoom-out), 위치 이동 및 회전 등을 수행한다. As a fourth method, the first frame registers an image of a surgical object and a virtual object based on the position of the surgical tool obtained at the time of imaging. When the three-dimensional position of the object to be operated is changed, the virtual object is automatically zoomed (zoomed in), reduced (Zoom-out), moved, and rotated according to the changed position.
위에서 제시한 방법들을 통해 가상 객체와 영상 데이터를 등록하고, 이렇게 등록된 가상 객체에 대해 촉각 렌더링을 함으로써 촉각을 느낄 수 있다. 이는 모델링 과정에서 했던 기능과 유사하고 좀더 시/청각적 데이터와의 조화를 맞추어가며 효과적인 콘텐츠를 만들기 위함이다. By registering the virtual object and the image data through the methods described above and rendering the tactile image to the registered virtual object, the tactile sense can be felt. This is similar to the function that we had in the modeling process, and it is to make more effective contents in harmony with the visual / auditory data.
그리고, 저작부는 가상 객체가 등록된 영상 데이터, 오디오 데이터, 제2 및 제3 햅틱 데이터를 동기화하여 동시에 출력되도록 데이터들을 저작한다(S240). 구체적으로, 저작부는 상기한 수술 대상과 관련된 영상 데이터의 시간 축을 기본으로 하여 수술 과정에서 획득된 영상 데이터 및 오디오 데이터 등을 로드한다. 여기서, 영상 데이터에는 수술 대상과 관련된 영상 데이터 이외에 수술시 환자 상태에 대한 모니터링 데이터, 수술시 전문의와 전문의를 보조하는 보조자와의 영상 데이터 등도 포함되는 것이 바람직하다.In step S240, the authoring unit synchronizes the image data, the audio data, and the second and third haptic data in which the virtual object is registered, and writes the data so that the second and third haptic data are simultaneously output. Specifically, the authoring unit loads image data, audio data, and the like obtained in the surgical procedure based on the time axis of the image data related to the operation subject. Here, the image data may include, in addition to the image data related to the operation subject, monitoring data on the patient condition at the time of operation, image data of an assistant assisting a specialist and a specialist at the time of surgery, and the like.
도 6은 본 발명의 일 실시예에 따른 저작된 영상 데이터가 표시장치에 표시된 결과를 도시한 도면이다. 도 6에 도시된 바와 같이, 햅틱 장치에 의해 조작되는 조작 결과가 표시부의 일 화면(610)에 표시되고, 수술시 전문의들의 영상 데이터도 표시부의 일 화면(620)에 표시되며, 환자의 상태에 대한 정보인 맥박 데이터가 표시부의 일 화면(630)에 표시된다. 그리하여, 훈련자는 표시 장치를 보면서 자신의 시뮬레이션 상황을 확인할 수 있다. 6 is a diagram illustrating a result of displaying authored image data on a display device according to an exemplary embodiment of the present invention. 6, the operation result operated by the haptic device is displayed on the
한편, 전문의는 입력 수단(예를 들어, 마우스, 키보드, 또는 햅틱 장치일 수 있음.)을 통해 전문의는 훈련시키고자 하는 시뮬레이션 콘텐츠를 직접 수정, 편집할 수도 있으며 중요한 부분을 더욱 강조하기 위해 영상 데이터에 주석(annotation)을 추가할 수도 있다. On the other hand, the specialist can directly modify and edit the simulation content to be trained through the input means (for example, a mouse, a keyboard, or a haptic device) You can also add an annotation to it.
도 7은 본 발명의 일 실시예에 따른 시뮬레이션 콘텐츠를 수정하는 화면을 도시한 도면이다. 전문의는 훈련 시뮬레이션용 저작 시스템을 이용하여 수술 과정을 시뮬레이션하였으나, 실제 수술 과정에서 느낀 토크 정보보다 시뮬레이션시의 토크 정보가 작을 경우, 훈련 시뮬레이션용 저작 시스템의 모드를 모델링 모드로 변경한다. 그러면, 도 7에 도시된 바와 같이, 표시장치에는 변경가능한 정보에 대한 목록을 표시되고, 전문의가 표시된 목록 중에서 토크 정보를 선택하여 토크 정보를 변경할 수 있다. FIG. 7 is a diagram illustrating a screen for modifying a simulation content according to an embodiment of the present invention. The specialist simulates the surgical procedure using the authoring system for training simulation, but changes the mode of the authoring system for the training simulation to the modeling mode when the torque information at the time of the simulation is smaller than the torque information sensed during the actual operation. Then, as shown in FIG. 7, a list of changeable information is displayed on the display device, and the talk information can be changed by selecting the talk information from the list displayed by the specialist.
위에서 제시한 방법들을 통해 가상 객체와 영상 데이터를 등록할 뿐만 아니라, 이후 촉각 정보를 편집할 수도 있다. 이는 모델링 과정에서 했던 기능과 유사하고 좀더 시/청각적 데이터와의 조화를 맞추어가며 효과적인 콘텐츠를 만들기 위함이다.
In addition to registering virtual objects and image data through the methods described above, the tactile information can then be edited. This is similar to the function that we had in the modeling process, and it is to make more effective contents in harmony with the visual / auditory data.
다음으로, 도 2에 도시된 순서도에서, 가상 객체를 영상 데이터에 등록하는 S230 단계를 수행하는 구체적인 방법에 대한 일 실시예를 설명한다. Next, an embodiment of a concrete method of performing step S230 of registering a virtual object in the image data in the flowchart shown in FIG. 2 will be described.
도 8은 본 발명의 일 실시예에 따른 의료 훈련 시뮬레이션 방법에 있어서 영상 데이터를 획득함에 있어서 실제 수술 환경에서의 좌표계를 설명한 도면이다. 8 is a view illustrating a coordinate system in an actual surgical environment in acquiring image data in a medical training simulation method according to an embodiment of the present invention.
수술실에 대하여 세계 좌표계(world coordinate)를 정의하고, 그 세계 좌표계에 대한 복강경 도구(800)에 대한 제 1 로컬 좌표계(Mc)와 수술 도구(802)에 대한 제 2 로컬 좌표계(Mt), 및 내부 장기(804)에 대한 제 3 로컬 좌표계(Mo)를 설정한다. A world coordinate system is defined for the operating room and a first local coordinate system M c for the
복강경 도구(800)의 세계 좌표계에 대한 상대적 위치를 Tc라 하고 상대적 자세를 Rc라 하면, 제 1 로컬 좌표계(Mc)는 수학식 1과 같이 표현될 수 있다. The relative position on the world coordinate system of the laparoscopic tool (800) T c and d when the relative position c R d, a first local coordinate system (M c) may be expressed as Equation (1).
수술 도구(802)의 세계 좌표계에 대한 상대적 위치를 Tt라 하고 상대적 자세를 Rt라 하면, 제 2 로컬 좌표계(Mt)는 수학식 2와 같이 표현될 수 있다. If the relative position of the
여기서, 복강경 도구(800)와 수술 도구(802) 각각의 세계 좌표계에 대한 상대적 위치 및 상대적 자세는, 세계 좌표계의 기준점을 수술실에 설정하고 모션 캡쳐 장비 등을 이용하여 복강경 도구(800)와 수술 도구(802)의 위치 및 자세에 대한 정보를 획득하면 얻을 수 있다. The relative position and relative posture of the
한편, 내부 장기(804)의 세계 좌표계에 대한 상대적 위치를 To라 하고 상대적 자세를 Ro라 하면, 제 3 로컬 좌표계(Mo)는 수학식 3과 같이 표현될 수 있다. If the relative position of the
여기서 수학식 3에 따른 제 3 로컬 좌표계는 수술을 시행하기 전 내부 장기(804)의 초기 위치를 나타낸다. 그런데, 내부 장기(804)는 수술을 받는 환자의 신체 내부에 존재하므로 실제 수술시 세계 좌표계에 대한 정확한 상대적 위치 및 자세에 대한 정보를 얻기는 쉽지 않다. 그러나, 복강경 장비(800)의 위치 및 자세를 알고 있고, 복강경 장비(800)의 촛점과 시야각에 대한 정보를 알고 있다면 복강경 장비(800)로부터 획득한 영상을 바탕으로 내부 장기(804)의 세계 좌표계에 대한 상대적 위치 및 상대적 자세를 계산할 수 있다. 실제 수술중인 내부 장기(804)에 대한 좌표계(Mco)는 수학식 4와 같이 표현될 수 있다. The third local coordinate system according to Equation (3) represents the initial position of the
이상과 같이 실제 수술에 있어서의 영상을 획득함에 있어서 세계 좌표계에 대한 내부 장기의 좌표계를 정의하여 내부 장기에 대한 위치 및 방향 정보를 획득하면 모델링된 가상 객체를 내부 장기에 대한 위치 및 방향 정보에 기반하여 촬영된 영상에 등록시킬 수 있다. 가상 객체를 촬영된 영상에 등록시킬 때, 가상 객체와 촬영된 영상 간의 영상 매칭을 수행하여, 매칭비(matching ratio)가 최대인 값이 되도록 가상 객체의 위치 및 방향 정보를 수정해 나갈 수 있다. As described above, in acquiring the image in the actual operation, the coordinate system of the internal organs for the world coordinate system is defined to acquire the position and orientation information for the internal organs, and the modeled virtual object is based on the position and orientation information about the internal organs So that it can be registered in the photographed image. When the virtual object is registered in the photographed image, image matching between the virtual object and the photographed image is performed, and the position and direction information of the virtual object can be corrected so that the matching ratio becomes a maximum value.
실제 시뮬레이션을 수행함에 있어서, 상기 가상 객체는 바람직하게는 비가시적(invisible)으로 표현되어 시뮬레이션을 하는 훈련자는 실제 수술실에서와 같은 영상과 음향을 실감하면서, 상기 가상 객체와 햅틱 상호작용을 수행할 수 있게 된다.
In carrying out the actual simulation, the virtual object is preferably expressed in invisible so that the trainee performing the simulation can perform the haptic interaction with the virtual object while realizing the image and sound as in the actual operating room .
도 9는 본 발명의 일 실시예에 따른 훈련 시뮬레이션 재생 시스템에 대한 개략적인 블록도이다. 도 8에 도시된 바와 같이, 훈련 시뮬레이션 재생 시스템은 햅틱 장치(810), 재생 장치(830), 제2 표시 장치(850) 및 오디오 출력 장치(870)를 포함한다. 9 is a schematic block diagram of a training simulation reproduction system according to an embodiment of the present invention. 8, the training simulation reproduction system includes a
햅틱 장치(810)는 재생 장치(830)로부터 인가된 햅틱 데이터를 수신하여 출력하거나, 사용자가 상기한 햅틱 장치(810)를 동작시킬 때 그 결과를 재생 장치로 인가하는 기능을 수행한다. 일반적으로 햅틱 장치(810)에 있어서 사용자가 상호작용하는 부분은 수술 도구와 동일한 형상을 포함하는 것이 바람직하다. 그리하여 훈련자는 수술 도구와 동일한 형태의 햅틱 장치(810)를 이용함으로써 훈련을 보다 실감나게 할 수 있다. The
재생 장치(830)는 도 1에 도시된 저작 장치(130)에 의해서 저작된 시뮬레이션 콘텐츠를 재생하는 기능을 수행하며, 제2 인터페이스(832), 제어부(834) 및 제2 데이터 베이스(836)를 포함한다. 제2 데이터 베이스(836)에는 도 1에 도시된 저작 장치(130)에 의해 저작된 시뮬레이션 콘텐츠가 저장되어 있다. 그리고, 제어부(834)는 재생 모드에 따라 시뮬레이션 콘텐츠를 변경시켜 재생시킬 수 있다.The
제2 표시 장치는 수술 장면에 대한 영상 데이터를 표시하고, 오디오 출력장치는 오디오 데이터가 출력한다. 한편, 가상 객체는 바람직하게는 비가시적으로 처리되어 제2 표시 장치에서는 나타나지 않는다. 이는 가상 객체는 햅틱 상호작용을 위해 포함되고, 훈련 시뮬레이션은 실제 수술 장면을 바탕으로 이루어지도록 하기 위함이다. The second display device displays the image data for the surgical scene, and the audio output device outputs the audio data. On the other hand, the virtual object is preferably not rendered invisibly and does not appear in the second display device. This is because the virtual object is included for haptic interaction, and the training simulation is based on the actual surgical scene.
본 훈련 시뮬레이션 재생 시스템의 재생 모드는 기저장된 전문의의 수술과정을 수동적으로 경험할 수 있는 플레이백(Playback) 모드 및 수술과정을 능동적으로 참여할 수 있는 액티브(Active) 모드가 있을 수 있다. The playback mode of the training simulation playback system may include a playback mode for passively experiencing a surgical procedure of a pre-stored specialist, and an active mode for actively participating in a surgical procedure.
플레이브백 모드는 제2 데이터 베이스(836)에 저장된 데이터를 단순히 재생하는 모드이다. 그리하여 훈련자는 햅틱 장치(810)를 잡고 있으면, 재생 장치내의 제3 햅틱 데이터에 의해 햅틱 장치(810)가 움직이게 되고, 제1 및 제2 햅틱 데이터에 의해 비가시적으로 등록된 가상 객체에 대한 촉감을 느낄 수 있다. 즉 플레이백 모드에서는 실제 수술 환경에서 획득된 영상 데이터가 제2 표시장치에 표시되고, 수술 과정에서 전문의가 수술 대상에 가한 모션, 힘 또는 토크 정보 등의 햅틱 데이터 및 전문의의 모션, 힘 또는 토크에 반응하여 수술 대상에서 발생된 반력인 햅틱 데이터가 햅틱 장치에서 재생된다. The playblock mode is a mode in which data stored in the
한편, 액티브 모드는 실제 수술 환경에서 획득된 영상 데이터가 제2 표시장치에 표시되지만, 영상 데이터에 등록되어 있는 가상 객체는 훈련자가 제공하는 모션, 힘 또는 토크에 대한 상호작용으로 동작하는 모드이다. On the other hand, in the active mode, the image data obtained in the actual operation environment is displayed on the second display device, but the virtual object registered in the image data is a mode in which the virtual object operates by interaction with motion, force or torque provided by the trainee.
예를 들어, 시뮬레이션 재생 시스템이 액티브 모드로 동작하는 경우, 훈련자가 햅틱 장치를 통해 모션, 힘 또는 토크를 가상 객체에 가하면, 제어부는 햅틱 장치와 가상 객체의 충돌로 인해 발생하는 가상 객체의 반력을 계산한다. 그리고, 계산된 반력을 햅틱 장치에 제공함으로써 훈련자는 자신의 행동에 대응되는 시뮬레이션 콘텐츠를 제공받을 수 있다. For example, when the simulator playback system operates in the active mode, when the trainer applies a motion, a force, or a torque to the virtual object through the haptic device, the control unit calculates the reaction force of the virtual object caused by the collision between the haptic device and the virtual object . By providing the calculated reaction force to the haptic device, the trainee can receive the simulation content corresponding to his / her behavior.
따라서, 시뮬레이션 재생 시스템이 플레이백 모드인 경우 기저작된 시뮬레이션 콘텐츠를 단순히 재생하는 하는 반면, 액티브 모드인 경우 가상 객체가 등록된 영상 데이터와 새롭게 발생되는 햅틱 데이터를 저작한 후 재생한다고 할 수 있다. Therefore, when the simulation playback system is in the playback mode, the simulated content is simply played back. On the other hand, in the active mode, the virtual object can reproduce the registered video data and the newly generated haptic data after authoring.
이와 같이, 실제 현장에서 발생된 영상 예를 들어, 수술 대상에 대한 영상 및 수술실의 영상, 환자의 데이터(CT등), 및 음성 등이 저장되고, 전문가의 모션 및 힘 등을 측정하여 저장함으로써 저장된 데이터를 바탕으로 훈련 시뮬레이션을 구성함으로써 가상환경 시스템보다 현장감 있는 훈련 시뮬레이션 시스템을 제공하는 효과가 있다.As described above, the image generated in the actual field is stored, for example, by storing the image of the operation subject, the image of the operation room, the patient data (CT, etc.), voice and the like and measuring and storing the motion and force of the expert By constructing the training simulation based on the data, it is possible to provide a more realistic training simulation system than the virtual environment system.
또한, 전문가의 모션 및 힘 값 등을 측정하고 훈련하는 자에게 촉각적 가이드를 제공할 수 있다. 또한 복강내시경으로 측정된 수술 영상에 등록(registration)되는 촉각적인 3차원 객체의 촉각적 특성을 모델링, 저작과정을 통해 전문가의 경험을 바탕으로 실제의 느낌과 유사하게 촉각적 특성을 입힘으로써, 훈련하는 훈련자가 대상을 만질 때의 느낌을 알 수 있으므로 촉각적 효과를 극대화할 수 있다. In addition, tactile guidance can be provided to those who measure and train an expert's motion and force values. In addition, by modeling the tactile characteristics of the tactile three-dimensional object registered in the surgical image measured by the abdominal endoscope, and applying the tactile characteristic similar to the actual feeling based on the expert's experience through the authoring process, The trainer can know the feeling when he touches the subject, so that the tactile effect can be maximized.
본 실시예에서는 훈련 시뮬레이션용 저작 시스템과 시뮬레이션 재생 시스템이 별도의 장치로 구현되어 있는 것으로 기술하였으나, 이는 설명의 편의를 도모하기 위한 것이고, 하나의 시스템으로 구현되어도 무방하다. 즉, 저작 장치와 재생 장치가 하나의 장치로 구현될 수 있음은 물론이다. In this embodiment, it is described that the authoring system for training simulation and the simulation reproducing system are implemented as separate apparatuses. However, this is for convenience of description and may be implemented as one system. That is, it is needless to say that the authoring device and the playback device may be implemented as a single device.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.
110: 햅틱 장치 130: 제어 장치
132: 인터페이스 134: 모델링부
136: 데이터베이스 138: 저작부
139: 제어부 150: 표시 장치110: haptic device 130: control device
132: interface 134: modeling unit
136: Database 138:
139: control unit 150: display device
Claims (18)
상기 가상 객체를 상기 영상 데이터에 등록하고, 상기 가상 객체가 등록된 영상 데이터가 재생되도록 저작하는 저작부;를 포함하고,
상기 저작부는, 상기 실제 환경에서 상기 객체에 제공되는 모션, 힘 및 토크 정보 중 적어도 하나에 대응하여 상기 객체에서 발생되는 햅틱 데이터를 상기 가상 객체가 등록된 영상 데이터와 동기화시키고, 프레임 단위로 상기 영상 데이터에서 상기 객체의 위치를 추출하고, 상기 객체의 위치에 상기 가상 객체를 등록하며,
상기 그래픽 모델링 및 햅틱 모델링된 상기 가상 객체는 비가시적인 것을 특징으로 하는 의료 훈련 시뮬레이션 시스템.A modeling unit for graphic modeling and haptic modeling of a virtual object corresponding to an object included in image data acquired in an actual environment; And
And a authoring unit for registering the virtual object in the image data and for authoring the virtual object to reproduce the registered image data,
Wherein the authoring unit synchronizes haptic data generated in the object corresponding to at least one of motion, force, and torque information provided to the object in the real environment with image data registered with the virtual object, Extracting the position of the object from the data, registering the virtual object at the position of the object,
Wherein the graphical modeling and the haptic modeled virtual object are invisible.
상기 저작부는,
상기 객체가 처음으로 포함된 프레임에서 상기 객체의 위치를 추출하고, 상기 객체의 위치에 상기 가상 객체를 등록하는 것을 특징으로 하는 의료 훈련 시뮬레이션 시스템.The method according to claim 1,
Wherein,
Extracts a position of the object in a frame including the first object, and registers the virtual object at a position of the object.
상기 저작부는,
상기 영상 데이터 중 상기 객체의 위치에 상기 가상 객체를 등록하고, 이후 프레임에서 상기 객체의 변경된 크기 및 위치 중 적어도 하나에 대응시켜 상기 가상 객체의 크기 및 위치를 변경시키는 것을 특징으로 하는 의료 훈련 시뮬레이션 시스템. The method according to claim 1,
Wherein,
And registers the virtual object at the position of the object in the image data and changes the size and position of the virtual object in correspondence with at least one of the changed size and position of the object in the frame. .
상기 저작부는,
상기 실제 환경에서 획득된 다른 객체의 위치를 기준으로 상기 객체에 대한 영상 데이터에 가상 객체를 등록하는 것을 특징으로 하는 의료 훈련 시뮬레이션 시스템. The method according to claim 1,
Wherein,
Wherein the virtual object is registered in the image data for the object based on the position of another object obtained in the actual environment.
상기 가상 객체를 상기 영상 데이터에 등록하고, 상기 가상 객체가 등록된 영상 데이터가 재생되도록 저작하는 단계;를 포함하고,
상기 저작하는 단계는, 상기 실제 환경에서 상기 객체에 제공되는 모션, 힘 및 토크 정보 중 적어도 하나에 대응하여 상기 객체에서 발생되는 햅틱 데이터를 상기 가상 객체가 등록된 영상 데이터와 동기화시키고, 프레임 단위로 상기 영상 데이터에서 상기 객체의 위치를 추출하고, 상기 객체의 위치에 상기 가상 객체를 등록하며,
상기 그래픽 모델링 및 햅틱 모델링된 상기 가상 객체는 비가시적인 것을 특징으로 하는 의료 훈련 시뮬레이션 방법.Graphic modeling and haptic modeling of a virtual object corresponding to an object included in image data acquired in an actual environment; And
Registering the virtual object in the image data and authoring the virtual object to reproduce the registered image data,
Wherein the authoring step synchronizes the haptic data generated in the object with at least one of the motion, force, and torque information provided to the object in the real environment with the image data registered with the virtual object, Extracting a position of the object from the image data, registering the virtual object at a position of the object,
Wherein the graphical modeling and the haptic modeled virtual object are invisible.
상기 저작하는 단계는,
상기 객체가 처음으로 포함된 프레임에서 상기 객체의 위치를 추출하고, 상기 객체의 위치에 상기 가상 객체를 등록하는 것을 특징으로 하는 의료 훈련 시뮬레이션 방법.9. The method of claim 8,
Wherein the authoring step comprises:
Extracting a position of the object in a frame containing the object for the first time, and registering the virtual object at a position of the object.
상기 저작하는 단계는,
상기 영상 데이터의 상기 객체의 위치에 가상 객체를 등록하고, 이후 프레임에서 상기 객체의 변경된 크기 및 위치 중 적어도 하나에 대응시켜 상기 가상 객체의 크기 및 위치를 변경시키는 것을 특징으로 하는 의료 훈련 시뮬레이션 방법.9. The method of claim 8,
Wherein the authoring step comprises:
Registering a virtual object at a position of the object of the image data, and changing a size and a position of the virtual object in correspondence with at least one of a changed size and a position of the object in the frame.
상기 저작하는 단계는,
상기 실제 환경에서 획득된 다른 객체의 위치를 기준으로 상기 객체에 대한 영상 데이터 및 가상 객체를 등록하는 것을 특징으로 하는 의료 훈련 시뮬레이션 방법. 9. The method of claim 8,
Wherein the authoring step comprises:
And registering the image data and the virtual object for the object based on the position of another object obtained in the actual environment.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20090120321 | 2009-12-07 | ||
| KR1020090120321 | 2009-12-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110065388A KR20110065388A (en) | 2011-06-15 |
| KR101816172B1 true KR101816172B1 (en) | 2018-01-08 |
Family
ID=44398615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100124457A KR101816172B1 (en) | 2009-12-07 | 2010-12-07 | The simulation system for training and the method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101816172B1 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10325522B2 (en) | 2012-01-27 | 2019-06-18 | University of Pittsburgh—of the Commonwealth System of Higher Education | Medical training system and method of employing |
| KR101403968B1 (en) * | 2012-03-13 | 2014-06-10 | 박효영 | Medical Surgery Simulation Apparatus and Method therefor |
| US20140051049A1 (en) | 2012-08-17 | 2014-02-20 | Intuitive Surgical Operations, Inc. | Anatomical model and method for surgical training |
| KR101470411B1 (en) * | 2012-10-12 | 2014-12-08 | 주식회사 인피니트헬스케어 | Medical image display method using virtual patient model and apparatus thereof |
| CN106030683B (en) | 2013-12-20 | 2020-10-30 | 直观外科手术操作公司 | Simulator system for medical procedure training |
| KR101892622B1 (en) | 2016-02-24 | 2018-10-04 | 주식회사 네비웍스 | Realistic education media providing apparatus and realistic education media providing method |
| KR102171319B1 (en) * | 2016-06-13 | 2020-10-28 | 한국전자통신연구원 | Appratus for writing motion-script, appratus for self-learning montion and method for using the same |
| US10748444B2 (en) | 2016-06-13 | 2020-08-18 | Electronics And Telecommunications Research Institute | Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same |
| KR101965732B1 (en) | 2017-10-26 | 2019-04-04 | (주)이노시뮬레이션 | the method for controling motion platform using the authoring tool |
| KR102167147B1 (en) * | 2018-03-29 | 2020-10-16 | 한국전자기술연구원 | Simulator and method to share training experience |
| CN115148058A (en) * | 2022-07-25 | 2022-10-04 | 深圳市康进医疗科技有限公司 | Immersive medical pelvic floor rehabilitation training system based on VR and application method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100551201B1 (en) * | 2004-06-19 | 2006-02-10 | 한국과학기술연구원 | Virtual dental training and evaluation system using haptic interface based volumetric model |
| KR100787952B1 (en) * | 2006-08-11 | 2007-12-24 | 광주과학기술원 | Apparatus and method for haptic rendering using local occupancy map instance, and haptic system using them |
-
2010
- 2010-12-07 KR KR1020100124457A patent/KR101816172B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100551201B1 (en) * | 2004-06-19 | 2006-02-10 | 한국과학기술연구원 | Virtual dental training and evaluation system using haptic interface based volumetric model |
| KR100787952B1 (en) * | 2006-08-11 | 2007-12-24 | 광주과학기술원 | Apparatus and method for haptic rendering using local occupancy map instance, and haptic system using them |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110065388A (en) | 2011-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101816172B1 (en) | The simulation system for training and the method thereof | |
| US20200279498A1 (en) | Augmented and virtual reality simulator for professional and educational training | |
| US9396669B2 (en) | Surgical procedure capture, modelling, and editing interactive playback | |
| Sutherland et al. | An augmented reality haptic training simulator for spinal needle procedures | |
| Coles et al. | Integrating haptics with augmented reality in a femoral palpation and needle insertion training simulation | |
| CN104271066B (en) | Mixed image with the control without hand/scene reproduction device | |
| US11749137B2 (en) | System and method for multisensory psychomotor skill training | |
| US9142145B2 (en) | Medical training systems and methods | |
| JP4436966B2 (en) | Endoscope tutorial system | |
| Basdogan et al. | VR-based simulators for training in minimally invasive surgery | |
| US20100167248A1 (en) | Tracking and training system for medical procedures | |
| CN107527542B (en) | Percussion training system based on motion capture | |
| EP2556497A1 (en) | Ultrasound simulation training system | |
| JP2005525598A (en) | Surgical training simulator | |
| Müller et al. | The virtual reality arthroscopy training simulator | |
| JP2006501501A (en) | Device and method for generating a virtual anatomical environment | |
| KR100551201B1 (en) | Virtual dental training and evaluation system using haptic interface based volumetric model | |
| Kolesnikov et al. | PerioSim: Haptic virtual reality simulator for sensorimotor skill acquisition in dentistry | |
| Coles | Investigating augmented reality visio-haptic techniques for medical training | |
| Cai et al. | Development and application of vr support system for medical students | |
| WO2001088881A2 (en) | Tools for endoscopic tutorial system | |
| Sutherland et al. | Towards an augmented ultrasound guided spinal needle insertion system | |
| Witzke et al. | Immersive virtual reality used as a platform for perioperative training for surgical residents | |
| Hilbert et al. | Virtual reality in endonasal surgery | |
| Abolmaesumi et al. | A haptic-based system for medical image examination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |