KR101709911B1 - Surgical robot system and laparoscope handling method thereof - Google Patents

Abstract

수술 로봇 시스템 및 그 복강경 조작 방법이 개시된다. 접촉된 수술자 얼굴의 움직임 방향 및 크기에 상응하는 방향 및 크기로 유동되는 접면부와, 접면부가 유동되는 방향 및 크기에 상응하는 센싱 정보를 출력하는 움직임 감지부와, 센싱 정보를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 조작 명령 생성부를 포함하는 수술용 로봇에 의하여, 수술자가 원하는 수술 부위를 보고자 하는 행위만으로 복강경의 위치 및 영상 입력 각도가 제어되도록 할 수 있는 효과가 있다.A surgical robot system and its laparoscopic manipulation method are disclosed. A movement detecting section for outputting sensing information corresponding to a direction and a size of the contact portion flowing in a direction and a size corresponding to the movement direction and size of the contacted operator's face, And an operation command generator for generating and outputting an operation command for at least one of the image input angle and the image input angle so that the position and the image input angle of the laparoscope can be controlled There is an effect.

Description

수술 로봇 시스템 및 그 복강경 조작 방법{Surgical robot system and laparoscope handling method thereof}Technical Field [0001] The present invention relates to a surgical robot system and a laparoscopic manipulation method thereof,

본 발명은 수술에 관한 것으로서, 더욱 상세하게는 수술 로봇 시스템 및 그 복강경 조작 방법에 관한 것이다.The present invention relates to surgery, and more particularly, to a surgical robot system and a laparoscopic manipulation method thereof.

수술 로봇은 의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.A surgical robot is a robot having a function to substitute a surgical operation performed by a doctor. Such a surgical robot has an advantage that it can perform accurate and precise operation compared to a human and can perform a remote operation.

현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.Surgical robots currently being developed around the world include bone surgery robots, laparoscopic surgery robots, and stereotactic robots. Here, a laparoscopic surgical robot is a robot that performs minimally invasive surgery using laparoscopic and small surgical instruments.

복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보기 위한 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다.Laparoscopic surgery is an advanced surgical technique that inserts a laparoscope, which is an endoscope for inserting a 1 cm hole in the umbilicus and looks into the abdomen.

최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전되었다.A recent laparoscope is equipped with a computer chip that provides a sharper, larger image than what the naked eye can see, and the laparoscopic surgical instruments specially designed for viewing through the monitor have been developed to allow any surgery.

더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. 이로 인해 미국과 유럽 등지에서는 대장암 치료 등에 있어서는 복강경 수술이 점차 표준 수술로 인식되어 가는 추세이다.In addition, laparoscopic surgery is similar to laparotomy, but it has fewer complications than laparotomy, can start treatment within a short time after surgery, and has the advantage of maintaining the patient's physical strength and immune function have. Therefore, in the United States and Europe, laparoscopic surgery is becoming increasingly recognized as a standard surgery for colorectal cancer treatment and the like.

수술 로봇 시스템은 일반적으로 마스터 로봇과 슬레이브 로봇으로 구성된다. 수술자가 마스터 로봇에 구비된 조종기(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 수술도구가 조작되어 수술이 수행된다.Surgical robot systems generally consist of a master robot and a slave robot. When the operator manipulates a manipulator (e.g., a handle) provided in the master robot, the surgical tool held by the robot arm is operated by being coupled to the robot arm of the slave robot.

그러나 종래의 수술 로봇 시스템은 수술자가 수술 부위에 대한 영상을 얻기 위해서는 복강경을 원하는 위치로 이동하거나 영상 입력 각도를 조절하기 위한 별도의 사용자 조작을 요구한다. 즉, 수술자는 수술 과정 중에 손 또는 발을 이용하여 별도로 복강경의 제어를 위한 조작을 입력하여야 한다.However, in the conventional surgical robot system, in order to obtain the image of the surgical site, the operator needs to move the laparoscope to a desired position or manipulate the image input angle separately. That is, the operator must input manipulation for controlling the laparoscope separately using the hand or foot during the operation.

그러나 이는 고도한 수준의 집중력을 유지하여야 하는 수술 진행 과정에서 수술자의 집중력을 약화시키는 원인이 될 수 있으며, 집중력의 약화에 따른 불완전한 수술은 수술 환자에게 심각한 후유증을 야기할 수 있는 문제점도 있다.However, this may cause the concentration of the operator to be weakened in the course of the surgery, which requires maintenance of a high level of concentration, and incomplete surgery due to the weakening of the concentration may cause serious aftereffects in the operation patients.

본 발명은 수술자가 원하는 수술 부위를 보고자 하는 행위만으로 복강경의 위치 및 영상 입력 각도가 제어되도록 할 수 있는 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.The present invention provides a surgical robot system and a laparoscopic manipulation method that can control a position and an image input angle of a laparoscope only by an act of seeing a desired surgical site by an operator.

또한 본 발명은 복강경의 조작을 위한 수술자의 별도의 조작이 불필요하여 수술자는 수술 행위에만 집중할 수 있도록 하는 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.Further, the present invention provides a surgical robot system and a laparoscopic manipulation method thereof, in which a surgeon can concentrate only on a surgical operation, since no additional manipulation of a surgeon is required for operation of the laparoscope.

또한, 본 발명은 안면 인식을 이용한 기기 조작 방법에 관한 학습이 필요하지 않고 직관적으로 조작 방법이 이해될 수 있도록 하는 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.In addition, the present invention provides a surgical robot system and its laparoscopic manipulation method that enable an intuitive operation method to be understood without requiring learning about a device manipulation method using facial recognition.

또한, 본 발명은 팔을 사용하지 않고 3차원 공간상에서의 얼굴 움직임만으로 다양한 방식으로 내시경 장치의 제어가 가능한 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.The present invention also provides a surgical robot system and its laparoscopic manipulation method that can control an endoscope apparatus in various ways only by moving a face in a three-dimensional space without using an arm.

본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
The technical problems other than the present invention can be easily understood from the following description.

본 발명의 일 측면에 따르면, 조작신호를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하는 수술용 로봇으로서, 접촉된 수술자 얼굴의 움직임 방향 및 크기에 상응하는 방향 및 크기로 유동(遊動)되는 접면부와, 접면부가 유동되는 방향 및 크기에 상응하는 센싱 정보를 출력하는 움직임 감지부와, 센싱 정보를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.According to an aspect of the present invention, there is provided a surgical robot for controlling at least one of a position of a vision unit and an image input angle using an operation signal, the robot including: And a control unit for generating and outputting an operation command for at least one of a position and an image input angle of the vision unit using the sensing information, There is provided a surgical robot including an operation command generating section.

조작명령이 비젼부의 직선 조작 및 회전 조작 중 하나 이상에 관한 것인 경우, 수술용 로봇의 조작 핸들 방향이 그에 상응하도록 변경 조작될 수 있다.When the manipulation command is related to at least one of the linear operation and the rotation manipulation of the vision, the manipulation handle direction of the surgical robot can be changed and manipulated correspondingly.

접면부는 수술용 로봇의 콘솔(console) 패널의 일부로서 형성될 수 있다.The contact portion may be formed as a part of a console panel of the surgical robot.

수술자 얼굴의 위치를 고정하기 위해 지지부가 접면부의 하나 이상의 개소에 돌출되어 형성될 수 있다.The support portion may be formed protruding from one or more portions of the contact portion to fix the position of the operator's face.

비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 접안부가 접면부에 천공될 수 있다.The eyepiece portion may be perforated on the contact portion so that the image obtained by the vision portion is viewed as sight information.

비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 접면부는 빛이 투과되는 재질의 재료로 형성될 수 있다.The contact portion may be formed of a material through which light is transmitted so that the image obtained by the vision portion is viewed as vision information.

수술용 로봇은, 접면부 또는 지지부에 수술자 얼굴이 접촉되었는지 여부를 감지하는 접촉 감지부와, 접촉 감지부의 감지에 의해 접촉 해제가 인식되면, 접면부가 디폴트(default)로 지정된 위치 및 상태인 기준 상태로 복귀되도록 처리하는 원상태 복원부를 더 포함할 수 있다.The surgical robot includes a contact sensing part for sensing whether the operator's face is in contact with the contact part or the support part; and a control part for sensing a contact state of the contact part, So as to return to the original state restoring unit.

원상태 복원부는 센싱 정보에 따른 접면부 유동 방향 및 크기의 역 조작으로서 접면부가 기준 상태로 복귀되도록 처리할 수 있다.The original state restoring unit can perform processing to return the contact portion to the reference state as a reverse operation of the flow direction and magnitude of the contact portion according to the sensing information.

수술용 로봇은, 순차적으로 생성된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커부를 더 포함할 수 있다. 또한, 수술용 로봇의 내측에서 접면부를 향해 촬상하여 이미지 데이터를 생성하는 카메라부와, 생성된 이미지 데이터를 저장하는 저장부가 더 포함될 수도 있다.The surgical robot may further include an eye tracker unit for generating analysis information in which at least one of a position change of the pupil, a change of the eye shape, and a viewing direction is compared by sequentially comparing the generated image data in chronological order. In addition, the robot may further include a camera unit for imaging the inside of the surgical robot toward the contact surface to generate image data, and a storage unit for storing the generated image data.

조작 명령 생성부는 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 상응하는 조작명령을 출력할 수 있다.The operation command generation unit may determine whether the analysis information satisfies a preset change as an arbitrary operation command, and output the corresponding operation command if satisfied.

비젼부는 현미경, 내시경 중 어느 하나일 수 있고, 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.The vision may be either a microscope or an endoscope, and the endoscope may be at least one of a laparoscope, a thoracoscopic, an arthroscope, a nystagmus, a bladder, a rectum, a duodenal, a mediastinum, or a heart.

접면부는 탄성체에 의해 지지되도록 콘솔 패널의 전면에 형성되고, 탄성체는 접면부의 움직임을 위한 외력이 제거되면 접면부가 원위치로 복귀되도록 복원력을 제공할 수 있다.
The contact portion is formed on the front surface of the console panel so as to be supported by the elastic body, and the elastic body can provide the restoring force such that the contact portion is returned to the original position when the external force for moving the contact portion is removed.

본 발명의 다른 측면에 따르면, 조작신호를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하는 수술용 로봇으로서, 비젼부에 의해 획득된 영상을 시각(視覺) 정보로 제공하기 위한 접안부와, 접안부를 통해 보여지는 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커부와, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 비젼부를 조작하기 위한 조작명령을 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.According to another aspect of the present invention, there is provided a surgical robot for controlling at least one of a position and an image input angle of a vision unit using an operation signal, the robot comprising: an eyepiece unit for providing an image acquired by a vision unit as vision information; Eye tracker unit for generating analysis information by analyzing at least one of a position change of a pupil viewed through an eyepiece, a change of an eye shape, and a viewing direction; and an eye tracking unit for determining whether the analysis information satisfies a preset change as an arbitrary manipulation command And outputting an operation command for operating the vision unit when the operation command is satisfied.

아이트래커부는, 수술용 로봇의 내측에서 접안부를 향해 촬상하여 이미지 데이터를 생성하는 카메라 유닛과, 생성된 이미지 데이터를 저장하는 저장 유닛과, 순차적으로 생성된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커 유닛을 포함할 수 있다.The eye tracker unit includes a camera unit for imaging the inside of the surgical robot toward the eyepiece unit to generate image data, a storage unit for storing the generated image data, and a controller for comparing the image data sequentially generated in chronological order, An eye tracker unit that generates analysis information that interprets at least one of a change, an eye shape change, and a viewing direction.

접안부는 수술용 로봇의 콘솔(console) 패널의 일부로서 형성된 접면부에 천공될 수 있다.
The eyepiece can be drilled in a contact surface formed as part of the console panel of the surgical robot.

본 발명의 또 다른 측면에 다르면, 조작신호를 이용하여 비젼부를 제어하는 수술용 로봇으로서, 피사체를 촬상하여 이미지 데이터를 생성하는 촬상부와, 이미지 데이터에 포함된 얼굴에서 양안(兩眼)의 중심점을 연장한 직선과 화면 중심선이 이루는 내각의 크기 및 회전 방향을 해석하고, 이전에 촬영된 이미지 데이터에 대해 해석된 내각의 크기 및 회전 방향을 비교하여 얼굴의 회전 방향 및 회전 각도에 관한 변위량 정보를 생성하는 각도 및 거리 산출부와, 변위량 정보에 상응하여 비젼부가 조작되도록 하기 위한 조작 명령을 생성하여 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.According to another aspect of the present invention, there is provided a surgical robot for controlling a vision unit using an operation signal, comprising: an imaging unit for imaging an object to generate image data; The size and rotation direction of the internal angle formed by the straight line extending from the center line and the center line of the screen are analyzed and the displacement amount information about the rotation direction and the rotation angle of the face is compared with the size and rotation direction of the analyzed internal angle with respect to the previously captured image data And an operation command generation unit for generating and outputting an operation command for causing the vision unit to operate in accordance with the displacement amount information.

각도 및 거리 산출부는 이전에 촬영된 이미지 데이터에서 해석된 상기 얼굴 내의 기준점과 이미지 데이터에서 해석된 얼굴 내의 기준점간의 거리 정보를 더 산출하되, 산출된 거리 정보는 비젼부의 평행 이동 조작을 위해 변위량 정보에 포함될 수 있다.The angle and distance calculating unit further calculates distance information between a reference point in the face and a reference point in the face analyzed in the image data, which is analyzed in the previously captured image data, and the calculated distance information is used as displacement amount information for the parallel movement operation of the vision unit .

각도 및 거리 산출부는 이전에 촬영된 이미지 데이터에서 해석된 얼굴 내 양안의 간격과 이미지 데이터에서 해석된 얼굴 내 양안의 간격 간의 변화량을 더 산출하되, 양안의 간격간의 변화량은 비젼부의 영상 배율 조절을 위해 변위량 정보에 포함될 수 있다.The angle and distance calculator further calculates the amount of change between the binocular interval in the face interpreted in the previously captured image data and the binocular interval in the face interpreted in the image data while the amount of change between binocular intervals is used to adjust the image magnification of the vision unit May be included in the displacement amount information.

비젼부는 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.Vision can be at least one of laparoscopic, thoracoscopic, arthroscopic, non-excisional, cystoscopic, rectal, duodenal, mediastinal, and cardiac.

비젼부는 3차원 영상 획득을 위한 장치일 수 있으며, 얼굴, 눈의 위치에 따라 3차원 영상 처리를 위한 좌/우 영상이 겹치는 정도가 조절될 수 있다.The vision unit may be a device for acquiring three-dimensional images, and the degree of overlapping of the left / right images for three-dimensional image processing may be adjusted according to the positions of the face and the eyes.

수술용 로봇은 인증된 사용자의 사진 이미지를 저장하는 저장부와, 이미지 데이터에 포함된 얼굴의 특징 요소와 사진 이미지에 포함된 얼굴의 특징 요소간의 유사도를 산출하고, 산출된 유사도가 미리 지정된 값 이상인 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다. 여기서, 얼굴의 특징 요소는 구성 부위의 위치 및 모양, 눈동자 색상, 얼굴의 모양, 피부 색상, 피부 주름의 형태, 홍채 중 하나 이상일 수 있고, 구성 부위는 눈, 눈썹, 코 및 입 중 하나 이상일 수 있다.The robot includes a storage unit for storing a photographic image of an authenticated user, a similarity calculation unit for calculating a similarity between the feature elements of the face included in the image data and the feature elements of the face included in the photographic image, And a control unit for controlling the operation command generating unit to generate and output an operation command only when the operation command is generated. Here, the feature element of the face may be at least one of the position and shape of the constituent part, the shape of the pupil, the shape of the face, the color of the skin, the shape of the wrinkles of the skin and the iris, and the constituent part may be at least one of eye, eyebrow, have.

수술용 로봇은, 얼굴 모습이 위치되어야 하는 영역 정보 및 이미지 데이터에 포함되는 얼굴 크기의 기준값 중 하나 이상인 유효 사용자 정보를 저장하는 저장부와, 이미지 데이터에 포함된 얼굴이 유효 사용자 정보를 만족하는지 여부를 판단하여 만족하는 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.The surgical robot includes a storage unit for storing valid user information that is at least one of a region information of a face shape and a reference value of a face size included in the image data; and a determination unit determining whether or not the face included in the image data satisfies effective user information And controlling the operation command generation unit to generate and output an operation command only when the operation command is satisfied.

수술용 로봇은 이미지 데이터에 포함된 얼굴 움직임 상태가 일정 시간 이상 유지되는지 여부를 판단하여, 일정 시간 이상 얼굴 움직임 상태가 유지되는 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.The surgical robot determines whether or not the face movement state included in the image data is maintained for a predetermined time or longer and controls the operation command generation unit to generate and output an operation command only when the face movement state is maintained for a predetermined time or longer .

수술용 로봇은 이미지 데이터에 포함된 얼굴 움직임 정도가 미리 설정된 범위를 초과하는지 여부를 판단하여, 미리 설정된 범위를 초과하는 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.The surgical robot further includes a determination unit for determining whether or not the degree of facial motion included in the image data exceeds a predetermined range and controlling the operation command generation unit to generate and output an operation command only when the degree exceeds a preset range .

수술용 로봇은, 머리의 움직임 및 얼굴 표정 중 하나 이상의 변화에 대해 생성될 조작 명령 정보를 저장하는 저장부와, 복수의 이미지 데이터를 해석하여 얼굴 표정 및 머리 움직임 중 하나 이상의 변화 정보를 생성하고 상응하는 조작 명령 정보에 따른 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.
The surgical robot includes a storage unit for storing operation command information to be generated for at least one of a movement of a head and a facial expression, a generation unit for generating at least one of change information of a facial expression and a head movement by analyzing a plurality of image data, And a control unit for controlling the operation command generation unit to generate and output an operation command according to the operation command information.

본 발명의 다른 측면에 따르면, 수술용 로봇이 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하기 위한 조작 방법으로서, 접면부가 유동(遊動)되는 방향 및 크기에 상응하는 센싱 정보를 출력하는 단계와, 센싱 정보를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 단계를 포함하되, 접면부는 수술용 로봇의 콘솔 패널의 일부로서 형성되고, 접촉된 수술자 얼굴의 움직임 방향 및 크기에 상응하는 방향 및 크기로 유동되도록 형성되는 것을 특징으로 하는 비젼부 조작 방법이 제공된다.According to another aspect of the present invention, there is provided a method of operating a surgical robot for controlling at least one of a position and an image input angle of a vision unit, comprising the steps of: outputting sensing information corresponding to a direction and a size at which a contact surface moves; And generating and outputting an operation command for at least one of a position of the vision unit and an image input angle using the sensing information, wherein the contact unit is formed as a part of a console panel of the surgical robot, And is formed to flow in a direction and a size corresponding to the movement direction and the magnitude of the movement.

비젼부 조작 방법은, 접면부에 수술자 얼굴이 접촉된 상태인지 여부를 판단하는 단계와, 접촉된 상태인 경우, 센싱 정보의 출력이 개시되도록 제어하는 단계를 더 포함할 수 있다.The vision unit manipulation method may further include a step of determining whether or not the face of the operator is in contact with the contact surface, and a step of controlling the output of the sensing information to be started when the contact surface is in the contacted state.

비젼부 조작 방법은, 접촉이 해제된 상태인 경우, 접면부가 디폴트(default)로 지정된 위치 및 상태인 기준 상태로 존재하는지 여부를 판단하는 단계와, 기준 상태로 존재하지 않는 경우, 기준 상태로 복귀되도록 처리하는 단계를 더 포함할 수 있다.The method according to claim 1, further comprising the steps of: determining whether the contact portion is in a reference state that is a position and a state designated by default when the contact is released; returning to a reference state when the contact portion is not present in a reference state; So as to perform the processing.

기준 상태로의 복귀는, 센싱 정보에 따른 접면부 유동 방향 및 크기의 역 조작에 의해 수행될 수 있다.The return to the reference state can be performed by inverse operation of the contact surface flow direction and size according to the sensing information.

비젼부 조작 방법은, 수술용 로봇의 내측에서 접면부를 향해 촬상한 이미지 데이터를 생성하여 저장하는 단계와, 저장된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계를 더 포함할 수 있다.The vision unit manipulation method comprises the steps of generating and storing image data photographed from the inside of the surgical robot toward the contact surface portion and comparing the stored image data with each other in chronological order to change the position of the pupil, And generating analysis information in which one or more interpretations are interpreted.

비젼부 조작 방법은, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하는 단계와, 만족하는 경우 상응하도록 미리 설정된 조작명령을 출력하는 단계를 더 포함할 수 있다.The vision part manipulation method may further include a step of judging whether or not the analysis information satisfies a preset change as an arbitrary manipulation command, and outputting a manipulation command preset corresponding to the manipulation command.

접면부는 탄성체에 의해 지지되도록 콘솔 패널의 전면에 형성되고, 탄성체는 접면부의 움직임을 위한 외력이 제거되면 접면부가 원위치로 복귀되도록 복원력을 제공할 수 있다.
The contact portion is formed on the front surface of the console panel so as to be supported by the elastic body, and the elastic body can provide the restoring force such that the contact portion is returned to the original position when the external force for moving the contact portion is removed.

본 발명의 또 다른 측면에 따르면, 조작신호를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하는 수술용 로봇으로서, 비젼부에 의해 획득된 영상을 시각(視覺) 정보로 제공하기 위한 접면부와, 접면부를 통해 보여지는 얼굴의 움직임을 해석한 해석 정보를 생성하는 분석 처리부와, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 비젼부를 조작하기 위한 조작명령을 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.According to still another aspect of the present invention, there is provided a surgical robot for controlling at least one of a position and an image input angle of a vision unit using an operation signal, the robot comprising: a robot for providing an image acquired by a vision unit as vision information; An analysis processing section for generating analysis information by analyzing the movement of the face viewed through the contact section and the face section; and a determination section for determining whether or not the analysis information satisfies a preset change as an arbitrary manipulation command, And a manipulation command generation unit for outputting an manipulation command for manipulation of the robot.

분석 처리부는, 수술용 로봇의 내측에서 상기 접면부를 향해 촬상하여 이미지 데이터를 생성하는 카메라 유닛과, 생성된 이미지 데이터를 저장하는 저장 유닛과, 순차적으로 생성된 이미지 데이터에서 소정의 특징점의 위치 변화를 시간순으로 비교 판단하여 얼굴의 움직임에 대한 해석 정보를 생성하는 분석 유닛을 포함할 수 있다.The analysis processing unit includes a camera unit for imaging the inside of the surgical robot toward the contact surface to generate image data, a storage unit for storing the generated image data, and a storage unit for storing the position change of the predetermined feature point in the sequentially generated image data And then analyzing the motion of the face to generate analysis information on the motion of the face.

접면부는 상기 수술용 로봇의 콘솔(console) 패널의 일부로서 형성될 수 있으며, 비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 접면부는 빛이 투과되는 재질의 재료로 형성될 수 있다.
The contact portion may be formed as a part of a console panel of the surgical robot and the contact portion may be formed of a material through which light is transmitted so that the image obtained by the vision portion is viewed as vision information .

본 발명의 또 다른 측면에 따르면, 수술용 로봇이 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하기 위한 조작 방법으로서, 접안부를 통해 보여지는 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계와, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하는 단계와, 만족하는 경우, 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 단계를 포함하는 비젼부 조작 방법이 제공된다.According to another aspect of the present invention, there is provided an operating method for controlling at least one of a position and an image input angle of a vision unit of a surgical robot, the method comprising the steps of changing a position of a pupil viewed through an eyepiece, Determining whether or not the analysis information satisfies a preset change as an arbitrary manipulation command; and, if satisfied, controlling the manipulation of at least one of the position and the image input angle of the vision unit Generating a command and outputting the command.

해석 정보를 생성하는 단계는, 수술용 로봇의 내측에서 접안부를 향해 촬상한 이미지 데이터를 생성하여 저장하는 단계와, 저장된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계를 포함할 수 있다.
The step of generating analysis information includes the steps of generating and storing image data picked up from the inside of the surgical robot toward the eyepiece section and comparing the stored image data with each other in chronological order to change the pupil position, And generating analysis information that interprets at least one of the analysis information.

본 발명의 또 다른 측면에 따르면, 수술용 로봇이 비젼부를 조작하기 위한 방법으로서, 피사체를 촬상하여 이미지 데이터를 생성하는 단계와, 이미지 데이터에 포함된 얼굴에서 양안(兩眼)의 중심점을 연장한 직선과 화면 중심선이 이루는 내각의 크기 및 회전 방향을 해석하고, 이전에 촬영된 이미지 데이터에 대해 해석된 내각의 크기 및 회전 방향을 비교하여 얼굴의 회전 방향 및 회전 각도에 관한 변위량 정보를 생성하는 단계와, 변위량 정보에 상응하여 비젼부가 조작되도록 하기 위한 조작 명령을 생성하여 출력하는 단계를 포함하는 비젼부 조작 방법이 제공된다.According to another aspect of the present invention, there is provided a method for operating a vision unit of a surgical robot, comprising the steps of: capturing an image of a subject to generate image data; extracting a center point of the two eyes from the face included in the image data; Analyzing the size and rotation direction of the internal angle formed by the straight line and the screen center line and comparing the size and rotation direction of the interpreted internal angle with respect to the previously captured image data to generate displacement amount information about the rotation direction and the rotation angle of the face And generating and outputting an operation command for causing the vision unit to operate in accordance with the displacement amount information.

변위량 정보를 생성하는 단계는, 이전에 촬영된 이미지 데이터에서 해석된 얼굴 내의 기준점과 이미지 데이터에서 해석된 얼굴 내의 기준점간의 거리 정보를 산출하는 단계와, 산출된 거리 정보를 비젼부의 평행 이동 조작을 위해 변위량 정보에 포함시키는 단계를 포함할 수 있다.The step of generating the displacement amount information may include the steps of calculating distance information between a reference point in the face interpreted in the previously photographed image data and a reference point in the face interpreted in the image data and correcting the calculated distance information for the translation operation of the vision part Into the displacement amount information.

변위량 정보를 생성하는 단계는, 이전에 촬영된 이미지 데이터에서 해석된 얼굴 내 양안의 간격과 이미지 데이터에서 해석된 얼굴 내 양안의 간격 간의 변화량을 산출하는 단계와, 양안의 간격간의 변화량을 비젼부의 영상 배율 조절을 위해 변위량 정보에 포함시키는 단계를 포함할 수 있다.The step of generating the displacement amount information may include the steps of calculating a variation amount between the interval between the two eyes in the face analyzed in the previously captured image data and the interval between the two eyes in the face analyzed in the image data, And then included in the displacement amount information for magnification adjustment.

비젼부는 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.Vision can be at least one of laparoscopic, thoracoscopic, arthroscopic, non-excisional, cystoscopic, rectal, duodenal, mediastinal, and cardiac.

비젼부는 3차원 영상 획득을 위한 장치일 수 있으며, 얼굴, 눈의 위치에 따라 3차원 영상 처리를 위한 좌/우 영상이 겹치는 정도가 조절될 수 있다.The vision unit may be a device for acquiring three-dimensional images, and the degree of overlapping of the left / right images for three-dimensional image processing may be adjusted according to the positions of the face and the eyes.

비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴의 특징 요소와 저장부에 미리 저장된 인증된 사용자의 사진 이미지간의 유사도를 산출하는 단계와, 산출된 유사도가 미리 지정된 값 이상인 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다. 여기서, 얼굴의 특징 요소는 구성 부위의 위치 및 모양, 눈동자 색상, 얼굴의 모양, 피부 색상, 피부 주름의 형태, 홍채 중 하나 이상일 수 있고, 구성 부위는 눈, 눈썹, 코 및 입 중 하나 이상일 수 있다.The vision part manipulation method includes the steps of calculating a degree of similarity between a feature element of a face included in image data and a photograph image of an authenticated user stored in advance in a storage unit and generating an operation command only when the calculated degree of similarity is equal to or greater than a predetermined value And controlling the outputting step to be performed. Here, the feature element of the face may be at least one of the position and shape of the constituent part, the shape of the pupil, the shape of the face, the color of the skin, the shape of the wrinkles of the skin and the iris, and the constituent part may be at least one of eye, eyebrow, have.

비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴이 미리 저장된 유효 사용자 정보를 만족하는지 여부를 판단하는 단계와, 만족하는 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다. 저장부에는 이미지 데이터 내에서 얼굴 모습이 위치되어야 하는 영역 정보 및 이미지 데이터에 포함되는 얼굴 크기의 기준값 중 하나 이상인 유효 사용자 정보가 미리 저장될 수 있다.The method further comprises the step of judging whether or not the face included in the image data satisfies the previously stored effective user information and the step of generating and outputting the operation command only when it is satisfied . The storage unit may previously store effective user information which is at least one of area information in which face features should be located in the image data and reference values of face sizes included in the image data.

비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴 움직임 상태가 일정 시간 이상 유지되는지 여부를 판단하는 단계와, 일정 시간 이상 얼굴 움직임 상태가 유지되는 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다.The method of controlling a vision unit includes the steps of: determining whether or not a face movement state included in image data is maintained for a predetermined time or longer; and generating and outputting an operation command only when a face movement state is maintained for a predetermined time or longer The method comprising the steps of:

비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴 움직임 정도가 미리 설정된 범위를 초과하는지 여부를 판단하는 단계와, 미리 설정된 범위를 초과하는 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다.The method of controlling a vision unit includes the steps of: determining whether or not a degree of facial motion included in image data exceeds a predetermined range; controlling to perform a step of generating and outputting an operation command only when a predetermined range is exceeded As shown in FIG.

비젼부 조작 방법은, 복수의 이미지 데이터를 해석하여 얼굴 표정 및 머리 움직임 중 하나 이상의 변화 정보를 생성하는 단계와, 얼굴 표정 및 머리 움직임 중 하나 이상의 변화 정보에 상응하는 조작 명령 정보에 따른 조작 명령을 생성하여 출력하는 단계를 더 포함할 수 있다. 저장부에는 머리의 움직임 및 얼굴 표정의 변화에 대해 생성될 조작 명령 정보가 미리 저장될 수 있다.
A method for operating a vision unit includes the steps of generating one or more pieces of change information of a facial expression and a head movement by analyzing a plurality of pieces of image data and generating an operation command according to the operation command information corresponding to one or more pieces of change information And outputting the generated data. In the storage unit, operation command information to be generated for the movement of the head and the change of the facial expression can be stored in advance.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예에 따르면, 수술자가 원하는 수술 부위를 보고자 하는 행위만으로 복강경의 위치 및 영상 입력 각도가 제어되도록 할 수 있는 효과가 있다.According to the embodiment of the present invention, there is an effect that the position and the image input angle of the laparoscope can be controlled by only the operation of the operator to see the desired surgical site.

또한, 복강경의 조작을 위한 수술자의 별도의 조작이 불필요하여 수술자는 수술 행위에만 집중할 수 있도록 하는 효과도 있다.Further, since a separate operation of the operator is not required for operation of the laparoscope, the operator can concentrate only on the operation.

또한, 안면 인식을 이용한 기기 조작 방법에 관한 학습이 필요하지 않고 직관적으로 조작 방법이 이해될 수 있도록 하는 효과도 있다.In addition, there is also an effect that the operation method can be intuitively understood without learning about the device operation method using the face recognition.

또한, 팔을 사용하지 않고 3차원 공간상에서의 얼굴 움직임만으로 다양한 방식으로 내시경 장치의 제어가 가능한 효과도 있다.
There is also an effect that the endoscope apparatus can be controlled in various ways only by moving the face in the three-dimensional space without using the arm.

도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도.
도 2a는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.
도 2b 내지 도 2e는 본 발명의 일 실시예에 따른 접면부의 움직임 형태를 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도.
도 4는 본 발명의 일 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 5는 본 발명의 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도.
도 6은 본 발명의 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 7은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도.
도 8은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 9는 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 10은 본 발명의 실시예에 따른 텔레스코픽 표시부에 의한 영상 표시 형태를 예시한 도면.
도 11은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 12는 본 발명의 또 다른 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.
도 13a는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 구성을 개략적으로 나타낸 블록 구성도.
도 13b는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 개념을 나타낸 도면.
도 14 및 도 15는 각각 본 발명의 또 다른 실시예에 따른 복강경 조작을 위한 안면 움직임을 예시한 도면.
도 16은 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 과정을 나타낸 순서도.
도 17은 본 발명의 또 다른 실시예에 따른 도 16의 단계 1610을 구체화하여 나타낸 순서도.1 is a plan view showing the entire structure of a surgical robot according to an embodiment of the present invention;
FIG. 2A is a conceptual diagram illustrating a master interface of a surgical robot according to an embodiment of the present invention; FIG.
FIGS. 2B through 2E illustrate movement patterns of a contact portion according to an embodiment of the present invention. FIG.
3 is a block diagram schematically illustrating a configuration of a telescopic display unit for generating a laparoscopic operation command according to an embodiment of the present invention;
4 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to an embodiment of the present invention.
5 is a block diagram schematically illustrating the configuration of a telescopic display unit for generating a laparoscopic manipulation command according to another embodiment of the present invention.
6 is a flowchart illustrating a method of transmitting a laparoscopic operation command according to another embodiment of the present invention.
7 is a block diagram schematically showing a configuration of a telescopic display unit for generating a laparoscopic manipulation command according to another embodiment of the present invention.
8 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention.
9 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention.
10 is a diagram illustrating an image display mode by a telescopic display unit according to an embodiment of the present invention.
11 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention.
12 is a conceptual diagram illustrating a master interface of a surgical robot according to another embodiment of the present invention.
13A is a block diagram schematically showing a configuration of a laparoscopic operation unit according to still another embodiment of the present invention.
13B is a view showing the operation concept of the laparoscopic operation unit according to still another embodiment of the present invention.
14 and 15 illustrate facial movements for laparoscopic operation in accordance with another embodiment of the present invention, respectively.
16 is a flowchart showing the operation of the laparoscopic operation unit according to another embodiment of the present invention.
Figure 17 is a flow chart illustrating the implementation of step 1610 of Figure 16 in accordance with another embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated and described in the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

또한, 명세서에 기재될 수 있는 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Also, the terms " part, "" module," and the like, which may be described in the specification, mean a unit for processing at least one function or operation, Software. ≪ / RTI >

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Referring to the accompanying drawings, the same or corresponding components are denoted by the same reference numerals, .

또한, 본 발명의 다양한 실시예들을 설명함에 있어, 각 실시예가 독립적으로 해석되거나 실시되어야 하는 것은 아니며, 각 실시예에서 설명되는 특징 요소 및/또는 기술적 사상들이 개별적으로 설명되는 다른 실시예에 조합되어 해석되거나 실시될 수 있는 것으로 이해되어야 한다.Furthermore, in describing various embodiments of the present invention, it is to be understood that each embodiment is not necessarily to be construed or enforced independently, but may be combined with other embodiments in which the feature elements and / or technical ideas described in each embodiment are individually described Or interpreted by a person skilled in the art.

또한, 이하의 설명을 통해 본 발명이 내시경, 현미경 등의 비젼부가 이용되는 수술이나 실험 등에 범용적으로 사용될 수 있는 기술적 사상임이 명확해질 것이다. 아울러, 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 등으로 다양화될 수도 있다. 다만, 이하에서는 설명 및 이해의 편의를 도모하기 위해 비젼부가 일종의 내시경, 즉 복강경인 경우를 예로 들어 설명하기로 한다.
In addition, it will be apparent from the following description that the present invention is a technical idea that can be widely used for surgery or experiment using a vision part such as an endoscope or a microscope. Endoscopy may also be diverse, including laparoscopic, thoracoscopic, arthroscopic, parenteral, cystoscopic, rectal, duodenal, mediastinal, and cardiac. Hereinafter, in order to facilitate explanation and understanding, the vision unit will be described as an endoscope, that is, a laparoscope as an example.

도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도이고, 도 2a는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이며, 도 2b 내지 도 2e는 본 발명의 일 실시예에 따른 접면부의 움직임 형태를 예시한 도면이다.FIG. 1 is a plan view showing an entire structure of a surgical robot according to an embodiment of the present invention. FIG. 2 (a) is a conceptual view showing a master interface of a surgical robot according to an embodiment of the present invention, 1 is a diagram illustrating a movement pattern of a contact portion according to an embodiment of the present invention.

도 1 및 도 2a를 참조하면, 수술용 로봇 시스템은 수술대에 누워있는 환자에게 수술을 행하는 슬레이브 로봇(2)과 슬레이브 로봇(2)을 수술자가 원격 조종하는 마스터 로봇(1)을 포함한다. 마스터 로봇(1)과 슬레이브 로봇(2)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있으며, 이 경우 마스터 인터페이스(4)는 예를 들어 일체형 로봇의 인터페이스 부분에 상응할 수 있다.Referring to FIGS. 1 and 2A, the surgical robot system includes a slave robot 2 for performing surgery on a patient lying on the operating table and a master robot 1 for remotely controlling the slave robot 2 by the operator. The master robot 1 and the slave robot 2 are not necessarily separated from each other by a separate device that is physically independent and can be integrated into one unit. In this case, the master interface 4 is, for example, It can correspond to the interface part.

마스터 로봇(1)의 마스터 인터페이스(4)는 모니터부(6), 텔레스코픽 표시부(20) 및 마스터 조종기를 포함하고, 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다. The master interface 4 of the master robot 1 includes a monitor section 6, a telescopic display section 20 and a master controller. The slave robot 2 includes a robot arm 3 and a laparoscope 5. [

마스터 인터페이스(4)의 모니터부(6)는 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보들이 개별적으로 표시되도록 할 수 있다. 도 1 및 2에는 모니터부(6)가 텔레스코픽 표시부(20)를 기준으로 양 측면에 하나씩 포함되는 경우가 예시되었으나, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다.The monitor unit 6 of the master interface 4 may be constituted by one or more monitors, and information necessary for operation may be individually displayed on each monitor. 1 and 2 illustrate the case where the monitor unit 6 is included on both sides of the telescopic display unit 20 on both sides, but the number of monitors may be variously determined according to the type and kind of information required to be displayed .

모니터부(6)는 예를 들어 환자에 대한 하나 이상의 생체 정보를 출력할 수 있다. 이 경우, 모니터부(6)의 하나 이상의 모니터를 통해 환자의 상태를 나타내는 지표, 예를 들면, 체온, 맥박, 호흡 및 혈압 등과 같은 생체 정보 중 하나 이상이 출력될 수 있으며, 복수의 정보가 출력되는 경우 각 정보는 영역별로 나뉘어져 출력될 수도 있다. 이러한 생체 정보를 마스터 로봇(1)으로 제공하기 위해, 슬레이브 로봇(2)은 체온 측정 모듈, 맥박 측정 모듈, 호흡 측정 모듈, 혈압 측정 모듈, 심전도 측정 모듈 등 중 하나 이상을 포함하는 생체 정보 측정 유닛을 포함할 수 있다. 각 모듈에 의해 측정된 생체 정보는 아날로그 신호 또는 디지털 신호의 형태로 슬레이브 로봇(2)에서 마스터 로봇(1)으로 전송될 수도 있으며, 마스터 로봇(1)은 수신된 생체 정보를 모니터부(6)를 통해 디스플레이할 수 있다.The monitor unit 6 can output one or more biometric information for the patient, for example. In this case, one or more of biometric information such as body temperature, pulse rate, respiration, blood pressure and the like can be output through the at least one monitor of the monitor unit 6, The respective pieces of information may be divided and outputted. In order to provide such biometric information to the master robot 1, the slave robot 2 includes a biometric information measurement unit including at least one of a body temperature measurement module, a pulse measurement module, a breath measurement module, a blood pressure measurement module, . ≪ / RTI > The biometric information measured by each module may be transmitted from the slave robot 2 to the master robot 1 in the form of an analog signal or a digital signal and the master robot 1 transmits the received biometric information to the monitor unit 6. [ Lt; / RTI >

마스터 인터페이스(4)의 텔레스코픽 표시부(20)는 수술자에게 수술 부위로서 복강경(5)을 통해 입력되는 영상을 제공한다. 수술자는 텔레스코픽 표시부(20)의 접면부(210)에 형성된 접안부(220)를 통해 해당 영상을 보고, 마스터 조종기를 조종하여 로봇 암(3) 및 단부 이펙터(effector)를 조작함으로써 수술부위에 대한 수술을 진행한다. 도 2a에는 접면부(210)의 일예로서 패널(panel) 형태로 구현된 경우가 예시되었으나, 접면부(210)는 마스터 인터페이스(4)의 내측을 향하도록 함입되어 형성될 수도 있다. 또한, 도 2a에는 접면부(210)에 수술자가 복강경(5)에 의해 획득된 영상을 보기위한 접안부(220)가 형성된 경우가 예시되었으나, 접면부(210)가 그 뒷면의 영상이 투과되어 보여지는 재료로 형성되는 경우 접안부(220)의 형성은 생략될 수도 있다. 접면부(210) 뒷면의 영상이 투과되어 수술자에게 보여질 수 있도록 접면부(210)는 예를 들어 투명 재질의 재료로 형성되거나, 편광 필름으로 코팅되거나 3D IMAX 영화를 보기 위해 사용되는 색안경 등의 빛 투과성 재료에 의해 형성될 수도 있다.The telescopic display unit 20 of the master interface 4 provides the operator with an image input through the laparoscope 5 as a surgical site. The operator observes the corresponding image through the eyepiece 220 formed on the contact surface 210 of the telescopic display unit 20 and manipulates the master manipulator to manipulate the robot arm 3 and the end effector, . 2A illustrates a case where the contact portion 210 is implemented in the form of a panel as an example of the contact portion 210. However, the contact portion 210 may be formed so as to be embedded toward the inner side of the master interface 4. [ 2A shows an eyepiece 220 for viewing an image obtained by the laparoscope 5 by the operator on the contact portion 210. The contact portion 210 may be configured to transmit the image of the back portion thereof The formation of the eyepiece 220 may be omitted. The contact portion 210 may be formed of, for example, a transparent material, coated with a polarizing film, or used for viewing a 3D IMAX film, so that the image of the back surface of the contact portion 210 can be transmitted to the operator. Or may be formed by a light-transmissive material.

텔레스코픽 표시부(20)는 수술자가 접안부(220)를 통해 복강경(5)에 의한 영상을 확인하기 위한 표시 장치로서의 기능뿐 아니라, 복강경(5)의 위치 및 영상 입력 각도 제어를 위한 제어 명령 입력부로서의 기능을 함께 구비하도록 구성된다.The telescopic display unit 20 is provided with a function as a control command input unit for controlling the position of the laparoscope 5 and the image input angle as well as a function as a display device for confirming the image by the laparoscope 5 through the eyepiece unit 220, Respectively.

텔레스코픽 표시부(20)의 접면부(210)에 수술자의 얼굴이 접촉 또는 근접되고, 수술자의 얼굴 움직임이 인식될 수 있도록 하기 위한 복수의 지지부(230, 240)가 돌출되어 형성된다. 예를 들어, 상부에 형성된 지지부(230)는 수술자의 이마에 접촉하여 이마 위치가 고정되도록 이용될 수 있고, 측부에 형성된 지지부(240)는 수술자의 눈 밑 부위(예를 들어, 광대뼈 부위)에 접촉되어 얼굴 위치가 고정되도록 이용될 수 있다. 도 2a에 예시된 지지부의 위치 및 수량은 예시적인 것으로서, 지지부의 위치나 형상은 예를 들어 턱 고정용 받침, 얼굴 좌우받침(290) 등으로 다양할 수 있으며, 지지부의 수량 역시 다양할 수 있다. 얼굴 좌우받침의 경우 얼굴 왼쪽이나 오른쪽을 움직일 때 접면부(210)가 상응하는 방향으로 움직이도록 지지하기 위해 예를 들어 막대나 벽 등의 형태로 형성될 수 있다.A plurality of support portions 230 and 240 protruding from the contact surface 210 of the telescopic display 20 to allow the operator's face to come into contact with or come close to the operator's face and to recognize the movement of the operator's face. For example, the support portion 230 formed on the upper portion may be used to fix the forehead position in contact with the forehead of the operator, and the support portion 240 formed on the side portion may be used on the under eye portion (for example, And can be used to fix the face position in contact. The location and shape of the support illustrated in FIG. 2A is exemplary, and the location and shape of the support may vary, for example, to a jaw-fixator, a face-to-face receiver 290, etc., . In the case of the face left and right support, it may be formed in the form of, for example, a rod or a wall to support the contact portion 210 in a corresponding direction when the left or right face of the face is moved.

이와 같이 형성된 지지부(230, 240)에 의해 수술자의 얼굴 위치가 고정되어지며, 수술자가 접안부(220)를 통해 복강경(5)에 의한 영상을 보는 중에 임의의 방향으로 얼굴을 돌리면 이에 따른 얼굴 움직임이 감지되어 이를 복강경(5)의 위치 및/또는 영상 입력 각도의 조절을 위한 입력 정보로서 이용할 수 있다. 예를 들어, 수술자가 현재 영상으로 표시되는 수술부위보다 왼쪽의 부위(즉, 표시화면상 왼쪽에 위치된 부위)를 확인하고자 하는 경우, 얼굴이 상대적으로 왼쪽을 향하도록 고개를 돌리는 것만으로 이에 상응하도록 복강경(5)이 조작되어 해당 부위의 영상이 출력되도록 제어될 수 있다. The position of the operator's face is fixed by the support portions 230 and 240 formed as described above. When the operator turns the face in an arbitrary direction while viewing the image by the laparoscope 5 through the eyepiece 220, And can use it as input information for adjusting the position of the laparoscope 5 and / or the image input angle. For example, if the operator wishes to identify a region on the left side (i.e., a region located on the left side of the display screen) of a surgical site that is represented by a current image, simply turn the head so that the face is relatively to the left The laparoscope 5 is operated so that an image of the corresponding region is output.

즉, 텔레스코픽 표시부(20)의 접면부(210)는 수술자의 얼굴 움직임에 따라 연동되어 그 위치 및/또는 각도가 변형되도록 마스터 인터페이스(4)에 결합되어 구성된다. 이를 위해, 마스터 인터페이스(4)와 텔레스코픽 표시부(20)의 접면부(210)는 유동부(240)에 의해 상호 결합될 수 있다. 유동부(250)는 텔레스코픽 표시부(20)의 위치 및/또는 각도 변형이 용이하고, 수술자의 얼굴 움직임에 의한 외력이 제거된 경우 원상태로 복원할 수 있도록 예를 들어 탄성체로 형성될 수 있다. 또한, 유동부(250)가 비탄성체로 형성되는 경우에도 텔레스코픽 표시부(20)가 원상태 복원부(도 5 참조)를 제어함으로써 텔레스코픽 표시부(20)가 원상태로 복원되도록 할 수도 있다. That is, the contact portion 210 of the telescopic display unit 20 is coupled to the master interface 4 so as to be interlocked with the movement of the face of the operator and to change its position and / or angle. To this end, the interface portion 210 of the master interface 4 and the telescopic display portion 20 may be coupled to each other by the moving portion 240. The lubrication part 250 may be formed of, for example, an elastic body so that the telescopic display part 20 can be easily deformed in position and / or angle, and can be restored when the external force due to the movement of the face of the operator is removed. Further, even when the moving unit 250 is formed of an inelastic body, the telescopic display unit 20 can restore the original state of the telescopic display unit 20 by controlling the original state restoration unit (see FIG. 5).

유동부(250)에 의해 접면부(210)는 XYZ축으로 형성된 3차원 공간상에서 가상의 중심점 및 좌표를 기준으로 직선방향 이동 조작되거나, 임의의 방향(예를 들어, 시계방향, 반시계 방향 등 중 하나 이상)으로 회전 이동 조작될 수 있다. 여기서, 가상의 중심점은 접면부(210) 내의 임의의 한 점 또는 축일 수 있으며, 예를 들어 접면부(210)의 중심점일 수 있다.The sliding portion 210 can be moved in a linear direction with respect to a virtual center point and a coordinate on a three-dimensional space defined by the X, Y, and Z axes, or can be moved in an arbitrary direction (e.g., clockwise or counterclockwise) (Not shown). Here, the virtual center point may be any one point or axis within the contact portion 210, and may be, for example, a center point of the contact portion 210. [

도 2b 내지 도 2e에 접면부(210)의 움직임 형태가 예시되어 있다. Figs. 2B to 2E illustrate the movement of the contact portion 210. Fig.

수술자의 얼굴 움직임 방향이 X, Y 또는 Z축에 평행한 경우, 접면부(210)는 도 2b에 예시된 바와 같이 얼굴 움직임에 의한 힘이 가해지는 방향으로 평행이동되어진다. When the face movement direction of the operator is parallel to the X, Y, or Z axis, the contact portion 210 is moved in parallel to the direction in which the force due to the face motion is applied as illustrated in FIG. 2B.

수술자의 얼굴 움직임 방향이 X-Y 평면상에서 회전하는 경우, 접면부(210)는 도 2c에 예시된 바와 같이 얼굴 움직임에 의한 힘이 가해지는 방향으로 회전이동되어진다. 이때, 힘이 가해지는 방향에 따라 접면부(210)는 시계방향 또는 반시계방향으로 회전이동될 수 있다.When the face movement direction of the operator is rotated on the X-Y plane, the contact portion 210 is rotationally moved in the direction in which the force due to the face movement is applied as illustrated in FIG. 2C. At this time, the contact portion 210 may be rotated in a clockwise or counterclockwise direction depending on a direction in which the force is applied.

수술자의 얼굴 움직임 방향이 X, Y 또는 Z축을 중심으로 회전하는 경우, 접면부(210)는 도 2d에 예시된 바와 같이 기준되는 축을 중심으로 얼굴 움직임에 의한 힘이 가해지는 방향으로 회전이동되어진다. 이때, 힘이 가해지는 방향에 따라 접면부(210)는 시계방향 또는 반시계방향으로 회전 이동될 수 있다.When the face movement direction of the operator is rotated about the X, Y or Z axis, the contact portion 210 is rotated in the direction in which the force due to the face movement is applied about the reference axis as illustrated in FIG. 2d . At this time, the contact portion 210 may be rotated in a clockwise or counterclockwise direction depending on a direction in which the force is applied.

수술자의 얼굴 움직임에 따른 힘이 X, Y 및 Z축 중 두 개의 축에 대해 가해지는 경우, 접면부(210)는 도 2e에 예시된 바와 같이 가상의 중심점 및 힘이 가해지는 두 개의 축을 기준으로 회전이동되어진다. When the force due to the movement of the operator's face is applied to two axes of the X, Y and Z axes, the contact portion 210 is displaced relative to the imaginary center point and the two axes to which the force is applied .

이와 같이 접면부(210)의 수직/수평 방향의 이동 및 회전 이동은 얼굴 움직임에 의해 가해지는 힘의 방향에 의해 결정되며, 앞서 설명한 하나 이상의 움직임 형태가 조합적으로 나타날 수도 있음은 당연하다.As such, the vertical and horizontal movement and rotational movement of the contact portion 210 is determined by the direction of the force exerted by the facial movement, and it is of course also possible that one or more of the movement types described above may appear in combination.

텔레스코픽 표시부(20)가 수술자의 얼굴 움직임을 감지하여 이에 따른 조작 명령을 생성하는 방법 및 구성은 이후 관련 도면을 참조하여 상세히 설명하기로 한다.The method and configuration of the telescopic display unit 20 for detecting the movement of the operator's face and generating the corresponding operation command will be described in detail with reference to the related drawings.

도 1 및 도 2a에 예시된 바와 같이, 마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 마스터 조종기를 구비한다. 마스터 조종기는 두 개의 핸들(10) 또는 그 이상의 수량의 핸들(10)로 구현될 수 있으며, 수술자의 핸들(10) 조작에 따른 조작신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다. 수술자의 핸들(10) 조작에 의해 로봇 암(3)의 위치 이동, 회전, 절단 작업 등의 수술 동작이 수행될 수 있다.As illustrated in Figs. 1 and 2A, the master interface 4 is provided with a master manipulator so that the operator can be grasped and manipulated by his / her hands, respectively. The master manipulator can be realized by two or more handles 10 or more than the number of handles 10 and an operation signal according to the operation of the operating handle 10 is transmitted to the slave robot 2, Respectively. A surgical operation such as a movement, rotation, cutting operation, etc. of the robot arm 3 can be performed by operating the handle 10 of the operator.

예를 들어, 핸들(10)은 메인 핸들(main handle)과 서브 핸들(sub handle)을 포함하여 구성될 수 있다. 수술자는 메인 핸들만으로 슬레이브 로봇 암(3)이나 복강경(5) 등을 조작하거나, 서브 핸들을 조작하여 동시에 복수의 수술 장비가 실시간 조작되도록 할 수도 있다. 메인 핸들 및 서브 핸들은 그 조작방식에 따라 다양한 기구적 구성을 가질 수 있으며, 예를 들면, 조이스틱 형태, 키패드, 트랙볼, 터치스크린 등 슬레이브 로봇(2)의 로봇 암(3) 및/또는 기타 수술 장비를 작동시키기 위한 다양한 입력수단이 사용될 수 있다.For example, the handle 10 may comprise a main handle and a sub handle. The operator may manipulate the slave robot arm 3 or the laparoscope 5 with only the main handle or manipulate the sub handles to simultaneously operate a plurality of surgical instruments in real time. The main handle and the sub handle may have various mechanical configurations according to their operation modes. For example, a robot arm 3 of a slave robot 2 such as a joystick type, a keypad, a trackball, a touch screen, Various input means for operating the equipment can be used.

마스터 조종기는 핸들(10)의 형상으로 제한되지 않으며, 네트워크를 통해 로봇 암(3)의 동작을 제어할 수 있는 형태이면 아무런 제한 없이 적용될 수 있다.The master manipulator is not limited to the shape of the handle 10, and can be applied without any limitation as long as it can control the operation of the robot arm 3 via the network.

마스터 로봇(1)과 슬레이브 로봇(2)은 유선 통신망 또는 무선 통신망을 통해 상호 결합되어 조작신호, 복강경(5)을 통해 입력된 복강경 영상 등이 상대방으로 전송될 수 있다. 만일, 마스터 인터페이스(4)에 구비된 복수의 핸들(10)에 의한 복수의 조작신호 및/또는 복강경(5) 조정을 위한 조작신호가 동시에 및/또는 유사한 시점에서 전송될 필요가 있는 경우, 각 조작신호는 상호 독립적으로 슬레이브 로봇(2)으로 전송될 수 있다. 여기서 각 조작신호가 '독립적으로' 전송된다는 것은, 조작신호 간에 서로 간섭을 주지 않으며, 어느 하나의 조작신호가 다른 하나의 신호에 영향을 미치지 않음을 의미한다. 이처럼, 복수의 조작신호가 서로 독립적으로 전송되도록 하기 위해서는, 각 조작신호의 생성 단계에서 각 조작신호에 대한 헤더 정보를 부가하여 전송시키거나, 각 조작신호가 그 생성 순서에 따라 전송되도록 하거나, 또는 각 조작신호의 전송 순서에 관하여 미리 우선순위를 정해 놓고 그에 따라 전송되도록 하는 등 다양한 방식이 이용될 수 있다. 이 경우, 각 조작신호가 전송되는 전송 경로가 독립적으로 구비되도록 함으로써 각 조작신호간에 간섭이 근본적으로 방지되도록 할 수도 있을 것이다.The master robot 1 and the slave robot 2 are coupled to each other through a wired communication network or a wireless communication network so that an operation signal and a laparoscopic image inputted through the laparoscope 5 can be transmitted to the other party. If a plurality of operation signals by the plurality of handles 10 provided in the master interface 4 and / or operation signals for laparoscope 5 adjustment need to be transmitted at the same time and / or at a similar time, The operation signals can be transmitted to the slave robot 2 independently of each other. Here, the fact that each operation signal is transmitted 'independently' means that the operation signals do not interfere with each other, and that any one operation signal does not affect the other. In order to allow a plurality of operation signals to be independently transmitted, header information for each operation signal is added and transmitted in the generation of each operation signal, or each operation signal is transmitted in accordance with the generation order, or A variety of schemes may be used, such that priorities are given in advance regarding the transmission order of each operation signal and are transmitted in accordance with the priorities. In this case, the transmission path through which each operation signal is transmitted may be provided independently so that interference between each operation signal may be fundamentally prevented.

슬레이브 로봇(2)의 로봇 암(3)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(3)은 예를 들어 환자의 수술 부위에 삽입되는 수술기구, 수술기구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술기구를 회전시키는 피치 구동부, 수술기구를 길이 방향으로 이동시키는 이송 구동부와, 수술기구를 회전시키는 회전 구동부, 수술기구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술기구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(3)의 구성이 이에 제한되지 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 또한, 수술자가 핸들(10)을 조작함에 의해 로봇 암(3)이 상응하는 방향으로 회전, 이동하는 등의 실제적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다.The robot arm 3 of the slave robot 2 can be implemented to be driven with multiple degrees of freedom. The robot arm 3 includes, for example, a surgical instrument inserted into a surgical site of a patient, a swinging drive unit for rotating the surgical instrument in a yaw direction according to an operation position, a pitch direction , A pitch driving part for rotating the surgical instrument, a feed driving part for moving the surgical instrument in the longitudinal direction, a rotation driving part for rotating the surgical instrument, and a surgical instrument driving part installed at the end of the surgical instrument for cutting or cutting the surgical lesion. . However, it should be understood that the configuration of the robot arm 3 is not limited thereto, and that these examples do not limit the scope of the present invention. The actual control process of rotating or moving the robot arm 3 in the corresponding direction by operating the handle 10 by the surgeon is somewhat distant from the gist of the present invention, and a detailed description thereof will be omitted.

슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 접안부(220)를 통해 확인할 수 있는 영상(즉, 화상 이미지)로 표시되도록 하기 위한 복강경(5)은 독립된 슬레이브 로봇(2)으로 구현될 수도 있다. 또한, 앞서 설명된 바와 같이, 본 발명의 실시예들은 복강경 이외의 다양한 수술용 내시경(예를 들어, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있다.
The slave robot 2 may be used more than one to perform surgery on the patient and the laparoscope 5 for displaying the surgical site as an image (i.e., image image) that can be confirmed through the eyepiece 220, And may be implemented as a robot 2. Further, as described above, the embodiments of the present invention can be widely used in surgeries in which a variety of surgical endoscopes other than laparoscopes (e.g., thoracoscopic, arthroscopic, non-circumferential, etc.) are used.

도 3은 본 발명의 일 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도이고, 도 4는 본 발명의 일 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.FIG. 3 is a block diagram schematically showing the configuration of a telescopic display unit for generating a laparoscopic operation command according to an embodiment of the present invention. FIG. 4 is a flowchart showing a method of transmitting a laparoscopic operation command according to an embodiment of the present invention. to be.

도 3을 참조하면, 텔레스코픽 표시부(20)는 움직임 감지부(310), 조작 명령 생성부(320) 및 전송부(330)를 포함한다. 이외에, 텔레스코픽 표시부(20)는 복강경(5)을 통해 입력되는 수술 부위의 영상을 수술자가 접안부(220)를 통해 시각적으로 인식할 수 있도록 하는 구성 요소를 더 포함할 수 있으나, 이는 본 발명의 요지와는 다소 거리감이 있으므로 이에 대한 설명은 생략한다.Referring to FIG. 3, the telescopic display unit 20 includes a motion sensing unit 310, an operation command generating unit 320, and a transmitting unit 330. In addition, the telescopic display unit 20 may further include a component that allows an operator to visually recognize an image of a surgical site input through the laparoscope 5 through the eyepiece unit 220. However, And thus a description thereof will be omitted.

움직임 감지부(310)는 접면부(210)의 지지부(230 및/또는 240)에 수술자가 얼굴을 접촉한 상태에서 어느 방향으로 얼굴을 움직였는지를 감지하여 센싱 정보를 출력한다. 움직임 감지부(310)는 얼굴이 움직인 방향 및 크기(예를 들어 거리)를 감지하기 위한 센싱 수단을 포함할 수 있다. 센싱 수단은 접면부(210)가 어느 방향으로 어느 정도 움직였는지를 감지할 수 있는 센싱 수단이면 충분하며, 예를 들어 접면부(210)를 지지하는 탄성력을 가지는 유동부(250)가 어느 방향으로 어느 크기만큼 인장(引張)되었는지를 감지하는 센서이거나, 마스터 로봇(1)의 내측에 구비되어 접면부(210)의 내측 표면에 형성된 특징점이 어느 정도 근접 또는/및 회전하였는지 감지하는 센서 등일 수 있다.The motion sensing unit 310 senses in which direction the face has moved in the state where the surgeon touches the face of the support portion 230 and / or 240 of the contact portion 210 and outputs sensing information. The motion sensing unit 310 may include sensing means for sensing a direction and a size (e.g., distance) in which the face is moved. The sensing means may be a sensing means capable of sensing the direction in which the contact portion 210 has moved in which direction. For example, in a case where the fluid portion 250 having an elastic force for supporting the contact portion 210 moves in any direction A sensor that detects the extent to which it has been tensioned or a sensor that is provided inside the master robot 1 and senses how much the feature points formed on the inner surface of the contact surface 210 are proximate and / .

조작 명령 생성부(320)는 움직임 감지부(310)로부터 수신되는 센싱 정보를 이용하여 수술자의 얼굴 움직임 방향 및 크기를 해석하고, 해석된 결과에 따라 복강경(5)의 위치 및 영상 입력 각도를 제어하기 위한 조작명령을 생성한다.The operation command generation unit 320 analyzes the direction and size of the facial movement of the operator using the sensing information received from the motion sensing unit 310 and controls the position and the image input angle of the laparoscope 5 according to the interpreted result Thereby generating an operation command for performing the operation.

전송부(330)는 조작 명령 생성부(320)에 의해 생성된 조작명령을 슬레이브 로봇(2)으로 전송하여, 복강경(5)의 위치 및 영상 입력 각도가 조작되도록 하고 이에 따른 영상이 제공되도록 한다. 전송부(330)는 로봇 암(3)의 조작을 위한 조작명령을 전송하기 위해 마스터 로봇(1)에 이미 구비된 전송부일 수도 있다.The transmitting unit 330 transmits the manipulation command generated by the manipulation command generating unit 320 to the slave robot 2 so that the position and the image input angle of the laparoscope 5 are manipulated and a corresponding image is provided . The transfer unit 330 may be a transfer unit already provided in the master robot 1 to transmit an operation command for operating the robot arm 3.

도 4에는 본 발명의 일 실시예에 따른 복강경 조작 명령 전송 방법이 도시되어 있다. FIG. 4 illustrates a method of transmitting a laparoscopic manipulation command according to an embodiment of the present invention.

도 4를 참조하면, 텔레스코픽 표시부(20)는 단계 410에서 수술자의 얼굴 움직임을 감지하고, 단계 420으로 진행하여 얼굴 움직임의 감지에 의해 생성된 센싱 정보를 이용하여 복강경(5)의 조작을 위한 조작명령을 생성한다.4, the telescopic display unit 20 senses the face movement of the operator in step 410, and proceeds to step 420 to perform an operation for manipulating the laparoscope 5 using sensing information generated by sensing the face movement Command.

이어서, 단계 430에서 복강경(5)의 조작을 위해 단계 420에 의해 생성된 조작 명령이 슬레이브 로봇(2)으로 전송된다.Subsequently, in step 430, the manipulation command generated by step 420 for manipulation of the laparoscope 5 is transmitted to the slave robot 2. [

여기서, 복강경(5)의 조작을 위해 생성된 조작 명령은 마스터 로봇(1)에 대해서도 특정의 동작이 수행되도록 기능될 수 있다. 예를 들어, 얼굴 회전을 감지하여 복강경(5)을 회전시키고자 하는 경우, 회전에 대한 조작 명령이 슬레이브 로봇(2)으로 전달됨과 동시에 마스터 로봇(1)의 조작핸들의 방향도 이에 상응하여 변경되도록 함으로써 수술자의 직관성 및 수술 편의성이 유지되도록 할 수 있다. 예를 들어, 접면부(210)에 의한 회전신호가 감지되면 생성된 조작신호에 의해 복강경(5)이 회전을 하게 되고, 이때 화면에 표시되는 영상 및 그 영상에 보이는 수술용도구의 위치가 현재 조작핸들의 손의 위치와 일치하지 않을 수 있으므로, 조작핸들의 위치를 움직여 화면상에 표시되는 수술용 도구의 위치와 일치시키는 동작이 수행될 수 있다. 이러한 조작핸들 방향의 제어는 접면부(210)의 회전운동의 경우뿐 아니라 직선운동의 경우에도 화면상에 표시되는 수술용 도구의 위치/방향과 실제적인 조작핸들의 위치/방향이 불일치하는 경우라면 동일하게 적용될 수 있다.
Here, the manipulation command generated for the manipulation of the laparoscope 5 can be made to perform a specific operation on the master robot 1 as well. For example, in the case of rotating the laparoscope 5 by sensing the rotation of the face, an operation command for rotation is transmitted to the slave robot 2, and the direction of the manipulation handle of the master robot 1 is also changed So that the intuitiveness of the operator and the convenience of operation can be maintained. For example, when the rotation signal is detected by the contact portion 210, the laparoscope 5 is rotated by the generated operation signal. At this time, the image displayed on the screen and the position of the surgical tool, The operation may be performed such that the position of the operation handle is moved to match the position of the surgical tool displayed on the screen because the position of the operation handle may not match the position of the hand. In the case of the control of the manipulation handle direction, not only in the case of the rotational movement of the contact portion 210 but also in the case of the rectilinear motion, when the position / direction of the surgical tool displayed on the screen and the position / The same can be applied.

도 5는 본 발명의 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도이고, 도 6은 본 발명의 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.FIG. 5 is a block diagram schematically showing the configuration of a telescopic display unit for generating a laparoscopic manipulation command according to another embodiment of the present invention. FIG. 6 is a flowchart showing a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention. to be.

도 5를 참조하면, 텔레스코픽 표시부(20)는 움직임 감지부(310), 조작 명령 생성부(320), 전송부(330), 접촉 감지부(510), 원상태 복원부(520)를 포함할 수 있다.5, the telescopic display unit 20 may include a motion detection unit 310, an operation command generation unit 320, a transmission unit 330, a contact detection unit 510, have.

도시된 움직임 감지부(310), 조작 명령 생성부(320) 및 전송부(330)에 대해서는 앞서 도 3을 참조하여 설명하였으므로 이에 대한 설명은 생략한다. 다만, 움직임 감지부(310)는 접촉 감지부(510)에 의한 센싱 정보로서 수술자 얼굴이 지지부(230 또는/및 240)에 접촉되었음이 인식되는 동안 동작을 수행할 수 있을 것이다.The motion detection unit 310, the operation command generation unit 320, and the transmission unit 330 have been described with reference to FIG. 3, and therefore, a description thereof will be omitted. However, the motion sensing unit 310 may perform the operation while sensing that the operator's face is in contact with the supporting unit 230 or / or 240 as the sensing information by the contact sensing unit 510.

접촉 감지부(510)는 수술자의 얼굴이 지지부(230 또는/및 240)에 접촉되었는지 여부를 감지하여 센싱 정보를 출력한다. 이를 위해, 예를 들어 지지부의 단부에 접촉 감지 센서가 구비될 수 있으며, 이외에도 얼굴의 접촉 여부를 감지할 수 있는 다양한 센싱 방식이 적용될 수도 있음은 당연하다.The contact sensing unit 510 senses whether the operator's face is in contact with the support unit 230 or 240 and outputs sensing information. For this purpose, for example, a contact detecting sensor may be provided at the end of the supporting part, and it is natural that a variety of sensing methods for detecting contact of the face may be applied.

원상태 복원부(520)는 접촉 감지부(510)에 의한 센싱 정보로서 수술자의 얼굴이 지지부(230 또는/및 240)와의 접촉이 종료된 것으로 인식되면, 모터 구동부(530)를 제어하여 접면부(210)가 원상태로 복귀되도록 한다. 원상태 복원부(520)는 이하에서 설명될 모터 구동부(530)를 포함할 수 있다. The restoration unit 520 controls the motor driving unit 530 to detect the contact of the operator's face with the support unit 230 or 240 as the sensing information by the contact sensing unit 510, 210 to return to their original state. The original state restoring unit 520 may include a motor driving unit 530, which will be described below.

도 5에는 접면부(210)가 원상태로 복귀되도록 하는 동작 수단으로 모터를 이용하는 모터 구동부(530)가 예시되었으나, 동일한 목적 달성을 위한 동작 수단이 이에 제한되지 않음은 당연하다. 예를 들어, 공압이나 유압 등과 같은 다양한 방법에 의해 접면부(210)가 원상태로 복귀되도록 처리될 수도 있을 것이다.5 illustrates a motor driving unit 530 using a motor as an operation means for returning the contact portion 210 to its original state, it is needless to say that the operation means for achieving the same purpose is not limited thereto. For example, the contact portion 210 may be processed to return to its original state by various methods such as pneumatic or hydraulic pressure.

원상태 복원부(520)는 예를 들어 접면부(210)의 기준 상태(즉, 위치 및/또는 각도)에 관한 정보를 이용하여 모터 구동부(530)를 제어하거나, 조작 명령 생성부(320)에 의해 해석된 얼굴 움직임 방향 및 크기를 이용하여 그 역의 방향 및 크기로 조작되도록 모터 구동부(530)를 제어하여 접면부(210)가 원위치로 복귀되도록 할 수 있다.The restoration unit 520 controls the motor driving unit 530 or the operation command generation unit 320 using the information about the reference state (i.e., position and / or angle) of the contact portion 210, The motor driving unit 530 may be controlled to operate in the opposite direction and size by using the facial movement direction and the size interpreted by the facial movement direction and size to return the contact portion 210 to the home position.

예를 들어, 수술자가 현재 영상으로 표시되는 수술부위와는 다른 부위를 확인하거나 해당 부위에 조치를 하기 위해 해당 방향으로 얼굴을 돌려(이에 의해 접면부(210)도 이동 또는 회전됨) 복강경(5)이 이에 상응하도록 조작된 상태에서 접면부(210)에 대한 얼굴 접촉이 종료되었음을 감지하면, 원상태 복원부(520)는 접면부(210)가 디폴트(default)로 지정된 기준 상태로 복귀되도록 모터 구동부(530)를 제어할 수 있다.For example, when the operator confirms a site other than the current site to be displayed as a current image, or rotates the face in the corresponding direction (thereby moving or rotating the contact portion 210) The normal state restoring unit 520 restores the normal contact state of the contact portion 210 to the reference state designated as the default state, Lt; RTI ID = 0.0 > 530 < / RTI >

모터 구동부(530)는 원상태 복원부(520)의 제어에 의해 회전하는 모터를 포함할 수 있고, 모터의 회전에 의해 접면부(210)의 상태(즉, 위치 및/또는 각도)가 조정되도록 모터 구동부(530)와 접면부(210)는 상호 결합된다. 모터 구동부(530)는 마스터 인터페이스(4)의 내측에 수납되도록 형성될 수 있다. 모터 구동부(530)에 포함되는 모터는 예를 들어 다 자유도(degree of freedom) 운동이 가능하도록 하기 위한 구형 모터일 수 있으며, 기울어지는 각도의 한계를 없애기 위해 구형 모터의지지 구조는 구형 베어링과 원형의 회전자로 구성되거나, 원형의 회전자를 지지하기 위한 3 자유도를 가지는 프레임 구조로 구성될 수도 있다.The motor driving unit 530 may include a motor that is rotated under the control of the original state restoring unit 520 and may be configured to rotate the motor 210 such that the state (i.e., position and / or angle) The driving portion 530 and the contact portion 210 are coupled to each other. The motor driver 530 may be formed to be housed inside the master interface 4. The motor included in the motor driving unit 530 may be, for example, a spherical motor for allowing a degree of freedom motion, and in order to eliminate the limitation of the inclined angle, the supporting structure of the spherical motor is a spherical bearing Or may be constituted by a frame structure having three degrees of freedom for supporting a circular rotor.

전술한 각 구성요소의 동작에 의해 접면부(210)가 원 상태로 복원될지라도 조작 명령 생성부(320)는 이에 대한 조작명령을 생성 및 전송하지 않으므로 복강경(5)에 의해 입력되어 출력되는 영상 이미지는 변경되지 않는다. 따라서 수술자가 이후 접안부(220)를 통해 복강경(5) 영상을 확인하며 수술을 진행함에 있어 일관성이 유지될 수 있다.Even if the contact portion 210 is restored to the original state by the operation of each of the above-described components, the operation command generation unit 320 does not generate and transmit an operation instruction thereto, The image is not changed. Therefore, the surgeon can confirm the image of the laparoscope 5 through the eyepiece 220 and maintain consistency in the operation.

이제까지 도 5를 참조하여 텔레스코픽 표시부(20)의 접면부(210)의 원상태 복귀가 모터 구동부(350)의 조작에 의해 이루어지는 경우를 설명하였으나, 탄성력을 가지는 탄성체 재질의 유동부(250)에 의해 수술자의 얼굴 움직임에 의한 외력이 제거된 경우 원상태로 복귀되도록 할 수도 있음은 당연하다. 탄성력에 의해 접면부(210)가 원상태로 복귀되는 경우에도 복강경(5)의 조작을 위한 조작신호는 생성되지 않을 것이다.5, description has been made of the case where the contact portion 210 of the telescopic display unit 20 is returned to the original state by the operation of the motor driving unit 350. However, by the moving unit 250 having the elastic force, It is possible to return to the original state when the external force due to the face movement of the person is removed. Even when the contact surface portion 210 is returned to the original state by the elastic force, an operation signal for operation of the laparoscope 5 will not be generated.

도 6에는 본 발명의 다른 실시예에 따른 복강경 조작 명령 전송 방법이 도시되어 있다. 6 illustrates a method of transmitting a laparoscopic operation command according to another embodiment of the present invention.

도 6을 참조하면, 텔레스코픽 표시부(20)는 단계 410에서 수술자의 얼굴 움직임을 감지하고, 단계 420으로 진행하여 얼굴 움직임의 감지에 의해 생성된 센싱 정보를 이용하여 복강경(5)의 조작을 위한 조작명령을 생성한다. 이후, 단계 430에서 복강경(5)의 조작을 위해 단계 420에 의해 생성된 조작 명령이 슬레이브 로봇(2)으로 전송된다.Referring to FIG. 6, the telescopic display 20 senses the facial movement of the operator in step 410, and proceeds to step 420 to perform an operation for manipulating the laparoscope 5 using sensed information generated by sensing the facial motion Command. Then, in step 430, the manipulation command generated by step 420 for manipulation of the laparoscope 5 is transmitted to the slave robot 2. [

이어서, 텔레스코픽 표시부(20)는 단계 610에서 수술자가 접면부(210)에 대한 접촉을 해제하였는지 여부를 판단한다. 만일 접촉이 유지되는 상태라면 단계 410으로 다시 진행하되, 접촉이 해제된 상태라면 단계 620으로 진행하여 접면부(210)가 원위치로 복귀되도록 제어한다.
Then, in step 610, the telescopic display unit 20 determines whether or not the operator has released the contact with the contact portion 210. If the contact is maintained, the process returns to step 410. If the contact is released, the process proceeds to step 620 to control the contact part 210 to return to the home position.

도 7은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도이다.7 is a block diagram schematically showing the configuration of a telescopic display unit for generating a laparoscopic operation command according to another embodiment of the present invention.

도 7을 참조하면, 텔레스코픽 표시부(20)는 접촉 감지부(510), 카메라부(710), 저장부(720), 아이트래커부(730), 조작 명령 생성부(320), 전송부(330) 및 제어부(740)를 포함할 수 있다.7, the telescopic display unit 20 includes a touch sensing unit 510, a camera unit 710, a storage unit 720, an eye tracker unit 730, an operation command generation unit 320, a transmission unit 330 And a control unit 740.

접촉 감지부(510)는 수술자의 얼굴이 접면부(210)에 돌출되도록 형성된 지지부(230 또는/및 240)에 접촉되었는지 여부를 감지하여 센싱 정보를 출력한다. The contact sensing unit 510 senses whether or not the operator's face is in contact with the support unit 230 or 240 formed to protrude from the contact unit 210 and outputs sensing information.

카메라부(710)는 접촉 감지부(510)의 센싱 정보에 의해 수술자의 얼굴이 접면부(210)에 접촉되었음이 감지되면 수술자의 눈에 대한 영상을 실시간 촬영한다. 카메라부(710)는 마스터 인터페이스(4)의 내측에서 접안부(220)를 통해 보이는 수술자의 눈을 촬영하도록 배치된다. 카메라부(710)에 의해 촬영된 수술자의 눈에 대한 이미지는 아이트래커부(730)의 아이트래킹(eye tracking) 처리를 위해 저장부(720)에 저장된다. The camera unit 710 photographs an image of the operator's eye in real time when it is sensed that the operator's face is in contact with the contact unit 210 by the sensing information of the contact sensing unit 510. The camera unit 710 is arranged to photograph an operator's eye seen through the eyepiece 220 from the inside of the master interface 4. An image of the eye of the operator photographed by the camera unit 710 is stored in the storage unit 720 for eye tracking processing of the eye tracker unit 730.

카메라부(710)에 의해 촬영되는 이미지는 아이트래커부(730)의 아이트래킹 처리가 가능한 형태이면 충분하며, 아이트래커부(730)의 처리를 위해 필요한 전처리가 수행된 후 저장부(720)에 저장될 수도 있다. 아이트래킹 처리를 위한 이미지 생성 방법 및 생성되는 이미지 유형은 당업자에게 자명하므로 이에 대한 설명은 생략한다.It is sufficient that the image captured by the camera unit 710 is capable of performing the eye tracking process of the eye tracker unit 730. After the pre-processing necessary for the process of the eye tracker unit 730 is performed, the image captured by the camera unit 710 is stored in the storage unit 720 May be stored. The method of generating an image for the eye tracking process and the type of image to be generated will be apparent to those skilled in the art, and a description thereof will be omitted.

아이트래커부(730)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 이미지를 시간 순서대로 비교 분석하여 수술자의 눈동자 위치 변화와 이에 의한 주시 방향을 해석하여 해석 정보를 출력한다. 또한, 아이트래커부(730)는 눈동자의 모양(예를 들어 눈 깜빡임 등)을 더 해석하여 이에 대한 해석 정보를 출력할 수도 있다. The eye tracker unit 730 compares and analyzes the images stored in the storage unit 720 in real time or at predetermined intervals in time order, and analyzes the change in the pupil position of the operator and the viewing direction thereof to output analysis information. In addition, the eye tracker unit 730 may further analyze the shape of the pupil (e.g., flicker of the eyes) and output the analysis information.

조작 명령 생성부(320)는 아이트래커부(730)에 의한 해석 정보를 참조하여 수술자의 주시 방향이 변화된 경우 이에 상응하여 복강경(5)의 위치 및/또는 영상 입력 각도가 제어되도록 하기 위한 조작 명령을 생성한다. 또한, 조작 명령 생성부(320)는 눈동자의 모양 변화가 미리 지정된 명령을 입력하기 위한 것이라면 이를 위한 조작 명령을 생성할 수도 있다. 예를 들어, 눈동자의 모양 변화에 따른 지정 명령은 예를 들어, 오른쪽 눈의 연속 2회 깜빡임의 경우 수술부위로의 복강경(5) 접근, 왼쪽 눈의 연속 2회 깜빡임의 경우 시계방향으로 회전 등과 같이 미리 지정될 수 있다.The operation command generation unit 320 refers to the analysis information by the eye tracker unit 730 and generates an operation command for controlling the position and / or the image input angle of the laparoscope 5, . In addition, the operation command generation unit 320 may generate an operation command for inputting a predetermined command of the change of the shape of the pupil. For example, the instruction to change the shape of the pupil is a laparoscopic (5) approach to the surgical site in the case of two consecutive blinks of the right eye, a clockwise rotation in the case of two consecutive blinks of the left eye Can be specified in advance.

전송부(330)는 조작 명령 생성부(320)에 의해 생성된 조작명령을 슬레이브 로봇(2)으로 전송하여, 복강경(5)의 위치 및 영상 입력 각도가 조작되도록 하고 이에 따른 영상이 제공되도록 한다. 전송부(330)는 로봇 암(3)의 조작을 위한 조작명령을 전송하기 위해 마스터 로봇(1)에 이미 구비된 전송부일 수도 있다.The transmitting unit 330 transmits the manipulation command generated by the manipulation command generating unit 320 to the slave robot 2 so that the position and the image input angle of the laparoscope 5 are manipulated and a corresponding image is provided . The transfer unit 330 may be a transfer unit already provided in the master robot 1 to transmit an operation command for operating the robot arm 3.

제어부(740)는 상술한 각 구성요소가 지정된 동작을 수행하도록 제어한다.The control unit 740 controls each of the above-described components to perform the specified operation.

이제까지 도 7을 참조하여, 눈동자의 움직임을 아이트래킹 기술을 이용하여 인식 및 처리하는 텔레스코픽 표시부(20)를 설명하였다. 그러나, 이에 제한되지 않고, 텔레스코픽 표시부(20)는 수술자의 얼굴 자체의 움직임을 감지하여 인식 및 처리하는 방식으로 구현될 수도 있음은 당연하다. 일 예로, 카메라부(710)가 얼굴 이미지를 촬영하고, 아이트래커부(730)를 대체하는 분석 처리부가 촬영된 이미지 중 특징점(예를 들어, 두 눈의 위치, 코의 위치, 인중의 위치 등 중 하나 이상)의 위치 및 변화를 해석하면 조작 명령 생성부(320)가 이에 상응하는 조작명령을 생성할 수도 있다.
7, the telescopic display unit 20 for recognizing and processing the movement of the pupil using the eye tracking technique has been described. However, it is needless to say that the telescopic display unit 20 may be realized by detecting movement of the operator's face and recognizing and processing the movement of the operator's face. For example, the camera unit 710 captures a face image, and the analysis processing unit that replaces the eye tracker unit 730 extracts feature points (e.g., positions of two eyes, positions of noses, The operation command generating unit 320 may generate an operation command corresponding to the operation command.

도 8은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.8 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention.

도 8을 참조하면, 단계 810에서 텔레스코픽 표시부(20)는 접촉 감지부(510)에 의해 수술자 얼굴의 접촉이 감지되면, 카메라부(710)를 활성화하여 접안부(220)를 통해 보이는 수술자의 눈에 대한 디지털 이미지 데이터를 생성하여 저장부(720)에 저장되도록 한다.Referring to FIG. 8, in step 810, the telescopic display unit 20 activates the camera unit 710 to detect the contact of the operator's face by the contact sensing unit 510, And stores the generated digital image data in the storage unit 720.

단계 820에서 텔레스코픽 표시부(20)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 디지털 이미지 데이터를 비교 판단하여 수술자의 눈동자 위치 및 주시 방향의 변화에 대한 해석 정보를 생성한다. 비교 판단시 텔레스코픽 표시부(20)는 일정한 오차를 허용하여 일정한 범위의 위치 정보의 변화는 눈동자의 위치가 변동하지 않은 것으로 인식하도록 할 수도 있다.In step 820, the telescopic display unit 20 compares the digital image data stored in the storage unit 720 with a real time or a predetermined period to generate analysis information on the change in the pupil position and the viewing direction of the operator. The telescopic display unit 20 permits a certain error so that the change of the position information within a certain range can be recognized as the position of the pupil is not changed.

단계 830에서 텔레스코픽 표시부(20)는 미리 설정된 임계 시간 이상 변경된 수술자의 주시 방향이 유지되는지 여부를 판단한다.In step 830, the telescopic display unit 20 determines whether or not the operator's direction of sight changed by a predetermined threshold time or more is maintained.

만일 임계 시간 이상 변경된 주시 방향이 유지되면, 단계 840에서 텔레스코픽 표시부(20)는 복강경(5)이 해당 위치의 영상을 입력받도록 조작(예를 들어, 이동 또는/및 영상 입력 각도의 변경)하기 위한 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송한다. 여기서, 임계 시간은 수술자의 눈동자 흔들림이나 수술 부위의 전체적인 개괄적 확인 등을 위한 눈동자가 움직임에 의해 복강경(5)이 조작되지 않도록 하기 위한 시간으로 설정될 수 있으며, 그 시간값은 실험적, 통계적으로 설정되거나 수술자 등에 의해 설정될 수도 있다.If the changed viewing direction is maintained for a predetermined time or longer, the telescopic display unit 20 displays the operated position of the laparoscope 5 at step 840 so that the laparoscope 5 can receive the image at the corresponding position (for example, change the moving and / Generates an operation command and transmits it to the slave robot 2. Here, the critical time may be set as a time for preventing the laparoscope 5 from being manipulated by the pupil for movement of the pupil of the surgeon or general overview of the surgical site, and the time value may be set experimentally or statistically Or may be set by an operator or the like.

그러나 만일 임계 시간 이상 변경된 주시 방향이 유지되지 않는다면 단계 810으로 다시 진행한다.
However, if the changed viewing direction is not maintained beyond the critical time, the process proceeds to step 810 again.

도 9는 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이고, 도 10은 본 발명의 실시예에 따른 텔레스코픽 표시부에 의한 영상 표시 형태를 예시한 도면이다.FIG. 9 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention. FIG. 10 is a view illustrating an image display mode by a telescopic display unit according to an embodiment of the present invention.

도 9를 참조하면, 단계 810에서 텔레스코픽 표시부(20)는 접촉 감지부(510)에 의해 수술자 얼굴의 접촉이 감지되면, 카메라부(710)를 활성화하여 접안부(220)를 통해 보이는 수술자의 눈에 대한 디지털 이미지 데이터를 생성하여 저장부(720)에 저장되도록 한다.Referring to FIG. 9, in step 810, the telescopic display unit 20 activates the camera unit 710 to detect the contact of the operator's face by the contact sensing unit 510, And stores the generated digital image data in the storage unit 720.

단계 820에서 텔레스코픽 표시부(20)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 디지털 이미지 데이터를 비교 판단하여 수술자의 눈동자 위치 및 주시 방향의 변화에 대한 해석 정보를 생성한다. In step 820, the telescopic display unit 20 compares the digital image data stored in the storage unit 720 with a real time or a predetermined period to generate analysis information on the change in the pupil position and the viewing direction of the operator.

단계 910에서 텔레스코픽 표시부(20)는 수술자의 주시 위치가 미리 지정된 설정인지 여부를 판단한다.In step 910, the telescopic display unit 20 determines whether the surgeon's viewing position is a predetermined setting.

도 10에는 텔레스코픽 표시부(20)에 의한 영상 표시 형태가 예시되어 있다. 10 shows an image display mode by the telescopic display unit 20. In FIG.

도 10에 예시된 바와 같이, 접안부(220)를 통해 수술자는 복강경(5)을 통해 제공되는 영상 이미지(1010)를 확인할 수 있으며, 해당 영상 이미지는 수술 부위와 인스트루먼트(1020)를 포함할 수 있다. 또한, 텔레스코픽 표시부(20)에 의한 영상은 수술자의 주시 위치(1030)가 오버랩되어 표시될 수 있으며, 설정 위치들도 함께 표시될 수 있다. 10, the operator may view the image 1010 provided through the laparoscope 5, and the image may include a surgical site and an instrument 1020, as illustrated in FIG. . Further, the image of the telescopic display unit 20 can be displayed by overlapping the surgeon's viewing position 1030, and the setting positions can be displayed together.

설정 위치로는 외곽 테두리(1040), 제1 회전 지시 위치(1050) 및 제2 회전 지시 위치(1060) 등 중 하나 이상이 포함될 수 있다. 예를 들어, 수술자가 외곽 테두리(1040) 중 임의의 방향에 위치한 변을 임계 시간 이상 주시하고 있는 경우 복강경(5)이 해당 방향으로 이동되도록 제어될 수 있다. 즉, 외곽 테두리(1040) 중 왼쪽의 변을 임계 시간 이상 주시하면 복강경(5)은 현재 표시 위치보다 왼쪽의 부위를 촬영하기 위해 왼쪽으로 이동되도록 제어될 수 있다. 또한, 수술자가 제1 회전 지시 위치(1050)를 임계 시간 이상 주시하면 복강경이 반시계 방향으로 회전하도록 제어되고, 수술자가 제2 회전 지시 위치(1060)를 임계 시간 이상 주시하면 복강경이 시계 방향으로 회전하도록 제어될 수도 있다.The setting position may include at least one of an outer frame 1040, a first rotation indicating position 1050 and a second rotation indicating position 1060. For example, if the surgeon is watching the sides of the outer frame 1040 located in any direction for more than the threshold time, the laparoscope 5 may be controlled to move in the corresponding direction. That is, if the left side of the outer frame 1040 is viewed for more than the threshold time, the laparoscope 5 can be controlled to move leftward to photograph the left side of the current display position. If the surgeon controls the laparoscope to rotate in the counterclockwise direction when the operator watches the first rotation indicating position 1050 for more than the threshold time, and if the operator watches the second rotation indicating position 1060 for more than the threshold time, May be controlled to rotate.

다시 도 9를 참조하여, 수술자가 주시 위치가 전술한 설정 위치가 아닌 경우에는 단계 810으로 다시 진행한다.Referring again to FIG. 9, if the surgeon is not at the above-described set position, the process proceeds to step 810 again.

그러나 다시 도 9를 참조하여, 수술자가 주시 위치가 전술한 설정 위치인 경우에는 단계 920으로 진행하여 미리 설정된 임계 시간 이상 수술자의 주시가 유지되는지 여부를 판단한다.However, referring again to FIG. 9, if the surgeon's position is the above-described set position, the procedure proceeds to step 920 to determine whether the surgeon's attention is maintained for a predetermined threshold time or more.

만일 임계 시간 이상 설정 위치에 대한 수술자의 주시가 유지되면, 단계 930에서 텔레스코픽 표시부(20)는 해당 설정 위치에 대해 지정된 명령에 따라 복강경(5)이 조작되도록 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송한다. The telescopic display 20 generates an operation command so that the laparoscope 5 is manipulated in accordance with the instruction specified for the setting position in step 930 so that the slave robot 2 can operate the laparoscope 5. [ Lt; / RTI >

그러나 만일 임계 시간 이상 해당 설정 위치에 대한 수술자의 주시가 유지되지 않으면 단계 810으로 다시 진행한다.
However, if the surgeon's attention to the setting position is not maintained beyond the critical time, the process proceeds to step 810 again.

도 11은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.11 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention.

도 11을 참조하면, 단계 810에서 텔레스코픽 표시부(20)는 접촉 감지부(510)에 의해 수술자 얼굴의 접촉이 감지되면, 카메라부(710)를 활성화하여 접안부(220)를 통해 보이는 수술자의 눈에 대한 디지털 이미지 데이터를 생성하여 저장부(720)에 저장되도록 한다.Referring to FIG. 11, in step 810, the telescopic display unit 20 activates the camera unit 710 to detect the contact of the operator's face by the contact sensing unit 510, And stores the generated digital image data in the storage unit 720.

단계 1110에서 텔레스코픽 표시부(20)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 이미지 정보를 비교 판단하여 운전자의 눈 모양 변화에 대한 해석 정보를 생성한다. 예를 들어, 해석 정보는 일정한 시간 동안에 수술자의 눈이 몇 번 깜빡였는지, 깜빡였다면 어느 쪽 눈이 깜빡였는지 등에 대한 정보일 수 있다.In step 1110, the telescopic display unit 20 compares the image information stored in the storage unit 720 in real time or at predetermined intervals to generate analysis information on the driver's eye shape change. For example, the interpretation information may be information on how many times the operator's eye blinked for a certain period of time, and which eye blinked when blinked.

단계 1120에서 텔레스코픽 표시부(20)는 눈 모양 변화에 대한 해석 정보가 미리 지정된 지정 조건을 만족하는지 여부를 판단한다. 예를 들어 눈 모양 변화에 따른 지정 조건은 예를 들어, 소정 시간 내에 오른쪽 눈의 연속 2회 깜빡임인지 여부, 소정 시간 내에 왼쪽 눈의 연속 2회 깜빡임인지 여부 등으로 미리 설정될 수 있다.In step 1120, the telescopic display unit 20 determines whether or not the analysis information on the eye shape change satisfies a designated condition predetermined in advance. For example, the designation condition according to the eye shape change may be set in advance, for example, whether the right eye is blinking twice consecutively within a predetermined time, whether the left eye is blinking twice consecutively within a predetermined time, and the like.

만일 눈 모양 변화에 대한 해석 정보가 미리 지정된 조건을 만족하는 경우라면, 단계 1130으로 진행하여 해당 조건을 만족하는 경우의 지정 명령으로서 복강경(5) 조작을 위한 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송한다. 예를 들어, 눈 모양 변화에 따른 지정 명령은 예를 들어, 오른쪽 눈의 연속 2회 깜빡임의 경우 수술부위로의 복강경(5) 접근, 왼쪽 눈의 연속 2회 깜빡임의 경우 시계방향으로 회전 등과 같이 미리 지정될 수 있다.If the analysis information on the eye shape change satisfies the predetermined condition, the process proceeds to step 1130 to generate an operation command for operation of the laparoscope 5 as the designation command in the case where the condition is satisfied, Lt; / RTI > For example, the designation command according to the eye shape change may be, for example, a laparoscopic (5) approach to the surgical site in the case of two consecutive blinks of the right eye, a clockwise rotation in the case of two consecutive blinks of the left eye Can be designated in advance.

그러나 만일 눈 모양 변화에 대한 해석 정보가 미리 지정된 조건을 만족하지 않는다면 단계 910으로 진행한다.
However, if the interpretation information for the eye shape change does not satisfy the predetermined condition, the flow advances to step 910.

도 12는 본 발명의 또 다른 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다.12 is a conceptual diagram illustrating a master interface of a surgical robot according to another embodiment of the present invention.

도 12를 참조하면, 마스터 로봇(1)의 마스터 인터페이스(4)는 모니터부(6), 마스터 조종기 및 촬상 수단(1210)을 포함한다. 도시되지는 않았으나, 앞서 설명한 바와 같이 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함할 수 있다.Referring to Fig. 12, the master interface 4 of the master robot 1 includes a monitor unit 6, a master controller, and an image pickup unit 1210. Fig. Although not shown, the slave robot 2 may include a robot arm 3 and a laparoscope 5 as described above.

마스터 인터페이스(4)의 모니터부(6)는 도시된 바와 같이 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보(예를 들어, 복강경(5)에 의해 촬영된 영상, 환자의 생태 정보 등)들이 개별적으로 표시되도록 할 수 있다. 물론, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다. The monitor unit 6 of the master interface 4 may be constituted by one or more monitors as shown in the figure and each monitor is provided with information necessary for operation (for example, an image photographed by the laparoscope 5, Ecological information, etc.) can be displayed individually. Of course, the quantity of monitors can be variously determined depending on the type and kind of information that needs to be displayed.

모니터부(6)를 통해 표시되는 환자의 생태 정보(예를 들어, 맥박, 호흡, 혈압, 체온 등)는 영역별로 나뉘어져 출력될 수도 있으며, 이러한 생체 정보는 슬레이브 로봇(2)에 구비된 생체 정보 측정 유닛에 의해 측정되어 마스터 로봇(1)으로 제공될 수 있다.The biometric information of the patient displayed through the monitor unit 6 may be output by dividing the biometric information of the patient (for example, pulse, respiration, blood pressure, body temperature, etc.) And can be measured by the measuring unit and provided to the master robot 1.

촬상 수단(1210)은 비접촉식으로 수술자의 모습(예를 들어, 얼굴 영역)을 촬영하기 위한 수단이다. 촬상 수단(1210)은 예를 들어 이미지 센서를 포함하는 카메라 장치로 구현될 수 있다.The imaging means 1210 is means for photographing the appearance (for example, a face region) of the operator in a non-contact manner. The image pickup means 1210 may be embodied as a camera device including, for example, an image sensor.

촬상 수단(1210)에 의해 촬영된 영상은 복강경 조작 유닛(1200, 도 13a 참조)으로 제공되고, 복강경 조작 유닛(1200)은 해당 영상의 해석을 통해 피사체에 대한 변화량 정보를 이용하여 복강경(5)의 회전, 이동 조작이 수행되도록 하거나 영상의 확대/축소 조작이 수행되도록 제어한다.The laparoscopic operation unit 1200 provides an image captured by the imaging means 1210 to the laparoscopic operation unit 1200 (see FIG. 13A). The laparoscopic operation unit 1200 analyzes the image, And controls the zooming operation of the image to be performed.

또한, 마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 마스터 조종기를 구비한다. 마스터 조종기는 두 개 이상의 핸들(10)로 구현될 수 있고, 수술자의 핸들(10) 조작에 따른 조작신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다. 수술자의 핸들(10) 조작에 의해 로봇 암(3)의 위치 이동, 회전, 절단 작업 등의 수술 동작이 수행될 수 있다.In addition, the master interface 4 is provided with a master controller so that the operator can be grasped by both hands and operated. The master controller may be implemented with two or more handles 10 and an operation signal according to operation of the operator's handle 10 is transmitted to the slave robot 2 to control the robot arm 3. [ A surgical operation such as a movement, rotation, cutting operation, etc. of the robot arm 3 can be performed by operating the handle 10 of the operator.

예를 들어, 핸들(10)은 메인 핸들과 서브 핸들을 포함하여 구성될 수 있고, 수술자는 메인 핸들만으로 다자유도를 가지어 구동되도록 구현된 슬레이브 로봇(2)의 로봇 암(3)이나 복강경(5) 등을 조작하거나, 서브 핸들을 조작하여 동시에 복수의 수술 장비가 실시간 조작되도록 할 수도 있다. 물론, 마스터 조종기는 핸들 형상으로 제한되지 않으며, 네트워크를 통해 로봇 암(3)의 동작을 제어할 수 있는 형태이면 아무런 제한 없이 적용될 수 있다.For example, the handle 10 may be configured to include a main handle and a sub-handle, and the operator may operate the robot arm 3 or the laparoscope (not shown) of the slave robot 2, 5), etc., or by operating the sub-handles so that a plurality of surgical instruments can be operated in real time at the same time. Of course, the master manipulator is not limited to the handle shape, and can be applied without any limitation in a form capable of controlling the operation of the robot arm 3 via the network.

슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 표시부(6)를 통해 확인할 수 있는 영상(즉, 화상 이미지)로 표시되도록 하기 위한 복강경(5)은 독립된 슬레이브 로봇(2)으로 구현될 수도 있다. 또한, 앞서 설명된 바와 같이, 본 발명의 실시예들은 복강경 이외의 다양한 수술용 내시경(예를 들어, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있다.
The slave robot 2 can be used more than one to perform surgery on a patient and the laparoscope 5 for displaying a surgical site in an image (i.e., image image) And may be implemented as a robot 2. Further, as described above, the embodiments of the present invention can be widely used in surgeries in which a variety of surgical endoscopes other than laparoscopes (e.g., thoracoscopic, arthroscopic, non-circumferential, etc.) are used.

도 13a는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 구성을 개략적으로 나타낸 블록 구성도이고, 도 13b는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 개념을 나타낸 도면이며, 도 14 및 도 15는 각각 본 발명의 또 다른 실시예에 따른 복강경 조작을 위한 안면 움직임을 예시한 도면이다.FIG. 13A is a block diagram schematically showing the configuration of a laparoscopic operation unit according to another embodiment of the present invention, FIG. 13B is a view showing an operation concept of a laparoscopic operation unit according to still another embodiment of the present invention, 14 and 15 are diagrams illustrating facial movements for laparoscopic operation in accordance with another embodiment of the present invention, respectively.

도 13을 참조하면, 복강경 조작 유닛(1200)은 저장부(1220), 각도 및 거리 산출부(1230), 조작 명령 생성부(1240) 및 전송부(1250)를 포함한다. 도시된 구성 요소들 중 하나 이상은 소프트웨어 프로그램으로 구현되거나 하드웨어 및 소프트웨어 프로그램의 조합으로 구성될 수 있다. 또한, 도시된 하나 이상의 구성 요소는 생략될 수 있다.13, the laparoscopic operation unit 1200 includes a storage unit 1220, an angle and distance calculation unit 1230, an operation command generation unit 1240, and a transmission unit 1250. One or more of the illustrated components may be implemented as a software program or a combination of hardware and software programs. Also, one or more of the components shown may be omitted.

저장부(1220)에는 촬상 수단(1210)에 의해 촬영된 영상 이미지, 각도 및 거리 산출부(1230)에 의해 산출된 변위량 정보를 저장한다. The storage unit 1220 stores the image image taken by the imaging unit 1210, and the displacement amount information calculated by the angle and distance calculation unit 1230. [

변위량 정보는 예를 들어, 산출 주기에서 연속된 두 장의 영상 이미지를 이용하여 산출된 두 눈의 연장선과 화면 중심선(즉, 영상 이미지의 가로 및 세로 중심점을 지나는 가로선)간의 내각 및 회전 방향에 관한 정보, 얼굴 내의 기준점간의 이동 거리 정보, 두 눈의 중심점간의 간격 변화량 정보 등이 포함될 수 있다.The displacement amount information includes, for example, information about the internal angle between the extension line of two eyes calculated using two consecutive images in the calculation cycle and the screen center line (i.e., the horizontal line passing through the horizontal and vertical center points of the image) Movement distance information between the reference points in the face, information on the distance variation between the center points of the two eyes, and the like.

물론 변위량 정보 등을 산출하기 위해 연속된 두 장의 영상 이미지가 이용되도록 제한되지는 않으며, 현재의 영상 이미지와 그 이전에 임의의 시점에서 촬영된 영상 이미지가 이용될 수도 있음은 당연하다. 예를 들어, n-3번째 촬영된 영상 이미지, n-2번째 촬영된 영상 이미지, n-1번째 촬영된 영상 이미지, 현재 시점인 n번째 촬영된 영상 이미지가 존재하는 경우, 해석시 이용되는 영상 이미지의 촬영 주기가 3인 경우 n-3번째 촬영된 영상 이미지와 n번째 촬영된 영상 이미지를 이용하여 변위량 정보 등이 산출될 수 있을 것이다. 이러한 원칙은 별도의 설명을 생략할지라도 변위량 정보뿐 아니라 각도 및 거리 산출 등의 경우에도 동일하게 적용될 수 있음은 당연하다. 다만, 본 명세서에서는 설명 및 이해의 편의를 위해 특정 정보의 생성을 위한 영상 이미지 해석시 현재 촬영된 영상 이미지와 직전에 촬영된 영상 이미지가 이용되는 경우를 예로 들어 설명한다.Of course, in order to calculate displacement amount information and the like, it is needless to say that the two consecutive image images are not limited to be used, and that the current image image and the image image photographed at an arbitrary point in time before the current image image may be used. For example, when there is an n-3th captured image, an (n-2) th captured image, an (n-1) th captured image, and an nth photographed image at the current time, The displacement amount information and the like can be calculated using the (n-3) -th captured image and the (n-1) -th captured image when the imaging period of the image is three. It is natural that this principle can be applied equally to angle and distance calculation as well as displacement information, although a separate explanation is omitted. In this specification, for the sake of explanation and understanding, a description will be given of an example in which a currently captured image and a previously captured image are used in the analysis of a video image for generating specific information.

각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지들 중 산출 주기에서 연속된 두 장의 영상 이미지(즉, 현재 촬영된 영상 이미지와 직전에 촬영된 영상 이미지)를 이용하여 영상 이미지들간의 변위량 정보를 생성하여 저장부(1220)에 저장한다. The angle and distance calculating unit 1230 calculates the angle and distance calculating unit 1230 and the angle and distance calculating unit 1230. The angle and distance calculating unit 1230 calculates an angle and a distance between the two images, The displacement amount information between the image images is generated and stored in the storage unit 1220.

여기서, 각도 및 거리 산출부(1230)는 연속된 두 장의 영상 이미지를 이용하여 산출된 두 눈의 연장선과 화면 중심선간의 내각 및 회전 방향에 관한 정보, 얼굴 내의 기준점간의 이동 거리 정보, 두 눈의 중심점간의 간격 변화량 정보 등을 생성할 수 있다. Here, the angle and distance calculating unit 1230 calculates the angle and distance between the center line of the two eyes, the information about the internal angle and the rotation direction between the extension lines of the two eyes and the screen center line calculated using two consecutive video images, And the like can be generated.

이하, 각도 및 거리 산출부(1230)에서 변위량 정보를 생성하는 방법에 대해 설명한다. 다만, 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 인식하는 영상 해석 기법은 당업자에게 자명한 사항이므로, 이에 대한 구체적인 설명은 생략하기로 한다. Hereinafter, a method of generating the displacement amount information in the angle and distance calculating unit 1230 will be described. However, since the image analysis technique for recognizing the face region, the eye position, and the reference point (for example, the center point of the nose) by interpreting the image is obvious to those skilled in the art, a detailed description thereof will be omitted.

먼저, 얼굴의 회전과 관련한 정보를 생성하기 위하여, 도 14에 도시된 바와 같이 각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지에서 양안(兩眼, 두 눈)의 연장선과 화면 중심선과의 내각의 크기를 산출하고, 이전의 영상 이미지에 대해 해석된 내각의 크기와 대비함으로써 회전 방향 및 회전 각도에 대한 정보를 생성한다.14, the angle and distance calculating unit 1230 calculates the angle and distance from the image captured by the imaging unit 1210 and stored in the storage unit 1220, The angle between the extension line of the first and second eyes and the center line of the screen is calculated and information about the rotation direction and the rotation angle is generated by comparing the size of the interior angle analyzed with respect to the previous image.

즉, 각도 및 거리 산출부(1230)는 도 14의 (b) 및 (c)에 예시된 바와 같이, 촬상 수단(1210)에 의해 촬영되어 생성된 영상 이미지에서 양안의 위치 및 형상을 예를 들어 엣지 검출 기법 등의 영상 처리 기법에 의해 인식함으로써 각 눈의 중심점을 획득한 후, 각 눈의 중심점을 연결하는 가상의 직선과 화면 중심선이 이루는 내각의 크기 및 안면의 회전 방향을 산출한다. 예를 들어, 직전에 생성된 영상 이미지가 (a)의 원시 영상 이미지이고, 현재 생성된 영상 이미지가 (b)와 같은 영상 이미지라면 각 영상 이미지에 대해 화면 중심선과 두 눈의 중심점을 연결한 직선이 이루는 교점이 얼굴의 어느 위치에 형성되었는지 및 이에 따른 내각의 크기를 상호 비교함으로써 얼굴이 어느 방향으로 어느 각도만큼 회전하였는지 인식할 수 있게 된다. That is, the angle and distance calculating unit 1230 calculates the position and shape of the binocular image in the image captured and generated by the image capturing unit 1210, for example, as illustrated in Figs. 14B and 14C Edge detection technique to obtain the center point of each eye and then calculate the size of the inner angle formed by the virtual straight line connecting the center points of the eyes and the center line of the screen and the rotational direction of the face. For example, if the image image generated immediately before is the raw image image of (a) and the currently generated image image is the same image as (b), a straight line connecting the center line of the screen and the center point of the two eyes The position of the intersection formed by the face is formed at the position of the face, and the size of the corresponding cabinet is compared with each other, so that it is possible to recognize in which direction the face rotated in which direction.

다음으로, 얼굴의 평행 이동에 관한 정보를 생성하기 위해, 각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지에서 얼굴 내의 미리 설정된 기준점(예를 들어, 코의 중심점)이 영상 이미지의 가로 및 세로 중심점으로부터 어느 정도 이동되었는지를 검출한다. Next, in order to generate information on the parallel movement of the face, the angle and distance calculating unit 1230 calculates a distance between the reference point (e.g., a reference point) in the face in the image captured by the imaging unit 1210 and stored in the storage unit 1220 For example, the center point of the nose) is shifted from the horizontal and vertical center points of the image image.

즉, 도 14의 (d)와 같은 경우, 점선으로 표시된 원시 영상 이미지에서는 기준점이 영상 이미지의 중심점과 일치한 상태이지만 현재의 영상 이미지에서는 기준점이 영상 이미지의 중심점에서 오른쪽으로 임의의 거리만큼 평행 이동한 것으로 인식할 수 있다. 물론, 평행 이동의 방향은 상하좌우 등으로 다양할 수 있음은 당연하다.14 (d), in the original image image indicated by the dotted line, the reference point coincides with the center point of the image image, but in the current image image, the reference point moves parallel to the right side from the center point of the image image to the right . Of course, it is natural that the direction of the parallel movement may be varied in up, down, left, and right directions.

다음으로, 화면 확대 및 축소에 관련한 정보를 생성하기 위하여, 각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지에서 양안의 거리(도 15의 d1, d2 또는 d3)를 산출하고, 산출된 거리가 직전에 촬영되어 저장된 영상 이미지에서의 양안의 거리보다 증가하였는지(즉, 촬상 수단(1210)에 근접하는 방향으로 수술자의 얼굴이 이동) 아니면 감소하였는지(즉, 촬상 수단(1210)에 멀어지는 방향으로 수술자의 얼굴이 이동)를 연산한다. 양안의 거리는 예를 들어 각 눈의 중심점간의 거리이거나, 각 눈의 외곽선간의 최단 거리 등으로 다양하게 지정 및 적용될 수 있다. Next, in order to generate information related to the enlargement and reduction of the screen, the angle and distance calculating unit 1230 calculates the angle and distance of the binocular distance from the image captured by the imaging unit 1210 and stored in the storage unit 1220 d1, d2, or d3), and if the calculated distance is greater than the distance in the binocular in the previously imaged and stored image image (i.e., the operator's face moves in the direction approaching the imaging means 1210) (I.e., moving the face of the operator in a direction away from the imaging means 1210). The distance in the binocular can be variously specified and applied, for example, the distance between the center points of the respective eyes, or the shortest distance between the outlines of the eyes.

조작 명령 생성부(1240)는 각도 및 거리 산출부(1230)에 의해 산출된 변위량 정보를 이용하여 복강경(5)의 위치(예를 들어, 이동, 회전 등) 및 영상 배율(예를 들어, 확대, 축소 등)을 제어하기 위한 조작명령을 생성한다. The manipulation command generation unit 1240 generates manipulation command by using the displacement amount information calculated by the angle and distance calculation unit 1230 to calculate the position (e.g., movement, rotation, etc.) , Reduction, etc.).

만일, 수술자의 얼굴이 임의의 방향으로 회전된 것으로 인식되면 조작 명령 생성부(1240)는 복강경(5)의 회전을 위한 조작 명령을 생성할 것이고, 수술자의 얼굴이 임의의 방향으로 평행 이동된 것으로 인식되면 조작 명령 생성부(1240)는 복강경(5)을 상응하는 방향 및 거리만큼 이동시키기 위한 조작 명령을 생성할 것이며, 수술자의 얼굴이 촬상 수단(1210) 방향으로 가까워지거나 멀어진 것으로 인식되면 조작 명령 생성부(1240)는 복강경(5)에 의해 촬영되어 생성되는 영상 이미지의 배율을 확대하거나 축소하도록 하는 조작 명령을 생성할 것이다. If the operator's face is recognized as being rotated in an arbitrary direction, the operation command generation unit 1240 will generate an operation command for rotation of the laparoscope 5, and the operator's face is moved in parallel in any direction The operation command generating unit 1240 generates an operation command for moving the laparoscope 5 in the corresponding direction and distance and if the face of the operator is recognized as approaching or departing toward the imaging means 1210, The generating unit 1240 may generate an operation command to enlarge or reduce the magnification of the image imaged and generated by the laparoscope 5. [

물론, 조작 명령 생성부(1240)에 의해 생성되는 조작 명령은 복강경의 회전, 이동 및 배율 조정 등 중 둘 이상에 대한 제어가 가능하도록 생성될 수도 있음은 당연하다.Of course, it is needless to say that the operation command generated by the operation command generation unit 1240 may be generated so as to be able to control at least two of rotation, movement, and magnification adjustment of the laparoscope.

전송부(1250)는 조작 명령 생성부(1240)에 의해 생성된 조작 명령을 슬레이브 로봇(2)으로 전송하여 복강경(5)의 위치 등에 대해 조작되도록 하고 이에 따른 영상이 제공되도록 한다. 전송부(1250)는 로봇 암(3)의 조작을 위한 조작명령을 전송하기 위해 마스터 로봇(1)에 이미 구비된 전송부일 수도 있다.The transmission unit 1250 transmits the operation command generated by the operation command generation unit 1240 to the slave robot 2 so as to be operated on the position and the like of the laparoscope 5 and to provide a corresponding image. The transmission unit 1250 may be a transmission unit already provided in the master robot 1 to transmit an operation command for operating the robot arm 3. [

또한, 도 13a에는 도시되지 않았으나 촬상 수단(1210)을 통해 현재 촬영되는 영상 이미지 내의 사용자가 인증된 사용자인지를 판단하기 위한 판단부를 더 포함할 수도 있다. 13A, it may further include a determination unit for determining whether the user in the image image currently photographed through the imaging unit 1210 is an authorized user.

즉, 판단부는 현재 촬영된 영상 이미지 내의 얼굴 모습과 인증된 사용자로서 저장부(1220)에 미리 저장된 영상 이미지 내의 얼굴 모습이 오차 범위 내에서 일치하는지 여부를 판단한 후, 일치하는 경우에만 전술한 방식에 따른 복강경 조작이 가능하도록 할 수 있다. 물론, 판단부가 인증된 사용자인지 여부를 판단함에 있어 얼굴의 모양이라는 특징 요소뿐 아니라 눈/눈썹/코/입의 위치 및 형상, 눈동자 색상, 피부 색상, 피부 주름, 홍채 등의 특징 요소 중 하나 이상을 이용할 수도 있음은 당연하다.That is, the determination unit determines whether or not the face appearance in the currently photographed image matches the face appearance in the video image stored in advance in the storage unit 1220 as the authenticated user, within the error range, and then, So that the laparoscopic operation can be performed. Of course, when judging whether or not the judgment unit is the authenticated user, at least one of the feature elements such as the shape of the face, the position and shape of the eye / eyebrow / nose / mouth, the pupil color, the skin color, the skin wrinkle, May be used.

이와 같이, 판단부를 추가적으로 구비함으로써, 촬상 수단(1210)을 통해 촬상된 영상 이미지 내에 복수의 사람이 촬영되더라도 수술자의 얼굴 모습 변화에만 연동하여 복강경 조작이 가능하도록 하는 효과가 있다.Thus, even if a plurality of people are photographed in the image captured through the imaging means 1210, the laparoscopic operation can be performed only by changing the shape of the face of the operator.

또한, 판단부는 영상 이미지 내의 얼굴 모습이 미리 지정된 영역에 위치하는지 또한 얼굴의 크기가 미리 지정된 크기 이상인지 여부를 판단하여 전술한 복강경 조작 유닛(1200)이 기능하도록 할 것인지 여부를 더 판단할 수 있다. 물론, 판단부는 얼굴의 크기가 미리 지정된 크기 이상인지를 판단하는 대신 얼굴의 크기가 미리 지정된 크기 조건에 해당되는지 여부를 판단할 수도 있다. 이는 수술자가 얼굴을 너무 가까이 들이대는 경우에도 오동작의 원인이 될 수 있기 때문이다.In addition, the determination unit may further determine whether the facial feature in the video image is located in a predetermined area and whether the size of the facial feature is greater than or equal to a predetermined size so that the above-described laparoscopic operation unit 1200 functions . Of course, the determination unit may determine whether the size of the face corresponds to a predetermined size condition, instead of determining whether the size of the face is larger than a predetermined size. This is because even if the operator puts his / her face too close, it may cause malfunction.

예를 들어, 도 13b에 예시된 바와 같이, 판단부는 촬상 수단(1210)에 의해 촬영된 영상 이미지가 표시되는 표시 영역(1310) 내에서 미리 지정된 영역(1320) 내에 얼굴이 위치하는지 여부를 판단하여 복강경 조작 유닛(1200)이 기능하도록 할 것인지 여부를 결정할 수 있다. 물론, 얼굴이 미리 지정된 영역(1320) 전부를 포함하도록 위치되도록 제한되지는 않으며, 얼굴의 일부라도 미리 지정된 영역(1320)에 포함되기만 하면 충분한 것으로 미리 설정될 수도 있을 것이다.For example, as illustrated in FIG. 13B, the determination unit determines whether or not a face is located in a predetermined area 1320 in a display area 1310 in which a video image photographed by the imaging unit 1210 is displayed It may be determined whether or not the laparoscopic operation unit 1200 is to be operated. Of course, the face is not limited to be positioned so as to include all of the predetermined area 1320, and it may be set to be sufficient if a part of the face is included in the predetermined area 1320. [

만일, 얼굴이 미리 지정된 영역(1320) 내에 위치하는 경우라면 복강경 조작 유닛(1200)이 기능하도록 처리할 수 있고, 그렇지 않은 경우에는 복강경 조작 유닛(1200)이 기능하지 않도록 처리할 수 있을 것이다.If the face is located within the predetermined area 1320, the laparoscopic operation unit 1200 can be processed to function, and if not, the laparoscopic operation unit 1200 can be prevented from functioning.

또한, 도 13b에 예시된 바와 같이, 판단부는 영상 이미지 내에 포함된 얼굴의 크기가 미리 지정된 영역(1320)의 크기보다 큰지 여부를 판단하여 복강경 조작 유닛(1200)이 기능하도록 할 것인지 여부를 결정할 수 있다. 얼굴의 크기가 미리 지정된 영역(1320)의 크기보다 큰지 여부는 예를 들어 얼굴 외곽선 검출에 의해 계산된 면적이 미리 지정된 영역(1320)의 크기와 어떤 관계를 가지는지 여부로서 판단될 수 있다. 이 경우, 전술한 바와 같이 얼굴의 크기가 지정된 임계값보다는 작은지 여부가 더 판단될 수 있다.13B, the determination unit may determine whether or not the size of the face included in the image image is larger than the size of the predetermined area 1320, and determine whether to allow the laparoscope operation unit 1200 to function have. Whether or not the size of the face is larger than the size of the predetermined area 1320 can be determined, for example, as to whether the area calculated by the face contour detection has a relation with the size of the predetermined area 1320. [ In this case, it can be further determined whether the size of the face is smaller than the specified threshold value as described above.

만일 (a)에 도시된 바와 같이 얼굴의 크기가 미리 지정된 영역의 크기보다 작은 경우라면 수술자가 아닌 마스터 인터페이스(4)에서 멀리 위치하는 제3의 인물이거나 수술자일지라도 마스터 인터페이스(4)에서 멀리 위치하여 수술 동작을 진행하지 않는 중이므로 복강경 조작 유닛(1200)이 기능하지 않도록 할 수 있을 것이다. If the size of the face is smaller than the size of the predefined area as shown in (a), the third person who is far away from the master interface 4 or the operator is far away from the master interface 4 The laparoscopic operation unit 1200 can be prevented from functioning because the surgical operation is not proceeding.

이와 같이, 판단부는 정해진 크기 이상의 얼굴이 미리 지정된 영역(1320)에 부합하도록 표시되는 경우에만 복강경 조작 유닛(1200)이 기능하도록 함으로써, 수술자가 아닌 제3의 인물의 얼굴 움직임이나 수술동작과 무관한 움직임에 의해 복강경(5)이 오조작(誤操作)됨을 방지할 수 있다. Thus, by making the laparoscopic operation unit 1200 function only when the face of a predetermined size or more is displayed so as to conform to the predetermined area 1320, it is possible to prevent the face of the third person It is possible to prevent the laparoscope 5 from being erroneously operated by the movement.

또한, 판단부는 촬상 수단(1210)에 의해 촬영된 영상 이미지 내에서의 얼굴 움직임이 일정 시간 유지되는 경우에만 전술한 복강경 조작 유닛(1200)이 기능하도록 처리할 수도 있다. 예를 들어, 수술자가 전면을 주시하는 정상 상태에서 고개를 오른쪽으로 일정 각도 기울인 후 일정시간(예를 들어, 2초) 동안 유지함이 인식된 상태에서만 복강경 조작 유닛(1200)은 복강경이 오른쪽으로 해당 각도만큼 회전 또는/및 이동하도록 하는 조작명령을 생성하여 전송하도록 미리 설정될 수 있을 것이다. 물론, 판단부가 얼굴 움직임이 일정 시간 유지되는 경우뿐 아니라 얼굴 움직임이 미리 지정된 범위를 넘어설 때 전술한 복강경 조작 유닛(1200)이 기능하도록 처리할 수도 있음은 당연하다. In addition, the determination unit may process the above-described laparoscopic operation unit 1200 to function only when the face movement within the image captured by the imaging unit 1210 is maintained for a certain period of time. For example, in a normal state in which the surgeon is observing the front side, the laparoscopic operation unit 1200 only recognizes that the laparoscope is held to a right side for a predetermined time (for example, 2 seconds) May be preset to generate and transmit operation commands to rotate and / or move by an angle. It goes without saying that the laparoscopic operation unit 1200 may function to function not only when the judgment unit keeps the face movement for a certain time but also when the face movement exceeds a predetermined range.

이를 통해, 수술자가 의식적 또는 무의식적으로 옆을 돌아보거나 움직이거나 하는 등의 행동을 취한 경우, 환자의 복부에 삽입된 복강경(5)이 수술자의 움직임에 따라 급격히 조작되는 위험을 방지할 수 있다. 이는, 예를 들어 앞서 설명한 접촉식 구조에서 얼굴을 떼었을 때 수술자의 움직임이 슬레이브 로봇(2)의 전달됨을 차단하여 환자의 안전을 확보하는 방법과 유사하게 처리될 수 있을 것이다.Accordingly, when the operator consciously or unconsciously turns around or moves, it is possible to prevent the laparoscope 5 inserted into the abdomen of the patient from being abruptly manipulated according to the movement of the operator. This can be handled in a manner similar to a method of securing the safety of a patient by, for example, blocking the movement of the slave robot 2 when the face is removed from the contact structure described above.

또한, 판단부는 촬상 수단(1210)에 의해 촬영된 영상 이미지 내에서의 얼굴내의 특정 부위 변화(예를 들어, 눈 깜빡임)가 인식되는 경우, 조작 명령 생성부(1240)로 상응하는 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송하도록 요청하는 기능을 더 수행할 수도 있다. 특정 부위 변화의 경우 어떤 조작 명령이 생성되어야 하는지에 대한 정보는 저장부(1220)에 미리 저장될 수 있다.In addition, the determination unit may generate a corresponding operation command to the operation command generation unit 1240 when a specific area change (e.g., eye blinking) in the face in the image captured by the imaging unit 1210 is recognized To the slave robot (2). In the case of a specific site change, information on which operation command should be generated may be stored in the storage unit 1220 in advance.

예를 들어, 수술 도중 촬상 수단(1210)에 의해 촬영된 영상 이미지가 연기로 흐려져 피사체가 정확히 보이지 않는 경우 등에서 수술자가 왼쪽 눈만을 깜빡이면 조작 명령 생성부(1240)는 복강 내의 이산화탄소 배출을 위해 밸브를 열도록 하는 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송할 수 있을 것이다. 다른 예로서, 수술 도중 수술자가 오른쪽 눈만을 깜빡이면 마스터 인터페이스(4)의 모니터(6)에 현재 수술중인 부위에 대한 수술 이전 영상이 증강현실로 표시되도록 하거나, 사라지도록 하기 위한 조작 명령을 생성하여 출력할 수도 있을 것이다.For example, if the operator blinks only the left eye when the image captured by the imaging means 1210 is blurred by smoke and the subject is not seen correctly during operation, the operation command generation unit 1240 generates a control command And transmits the generated operation command to the slave robot 2. As another example, if the operator blinks only the right eye during the operation, an operation command for causing the monitor 6 of the master interface 4 to display the pre-operation image of the current operation site as an augmented reality or to disappear is generated You can also print.

물론, 판단부는 영상 이미지 내에서의 얼굴내의 특정 부위 변화를 인식하여 조작 명령을 생성하도록 지시하는 방법 외에, 고개를 상하로 끄덕이거나 가로젓는 동작을 영상 해석 기법을 이용하여 인식하고 상응하는 조작 명령이 생성되도록 지시할 수도 있음은 당연하다. 예를 들어, 수술자가 머리 끄덕이는 동작을 취한 것으로 인식되면 긍정 반응으로 인식되도록 하고, 수술자가 머리를 가로젓는 동작을 취한 것으로 인식되면 부정 반응으로 인식되도록 할 수 있을 것이다. Of course, in addition to the method of instructing the generation of an operation command by recognizing a specific region change in a face in a video image, the determination unit recognizes the operation of nodding or transposing the head by using an image analysis technique, It is of course also possible to instruct to be generated. For example, if the operator is recognized as having a nodding action, he or she may be recognized as an affirmative reaction.

이를 이용하여, 특정 상황에서 수술용 로봇이 수술자에게 어떤 동작의 수행에 대한 예/아니오에 대한 선택을 요구하는 경우 수술자는 콘솔이나 조작 핸들에 구비된 버튼을 누를 필요없이 머리를 끄덕이거나 가로젓는 행위만으로도 수술용 로봇에게 응답을 제공할 수 있게 된다.Using this, if the surgical robot requires the operator to select yes / no to perform an operation in a specific situation, the operator may nod or steer his head without pressing a button provided on the console or the manipulation handle It is possible to provide a response to the surgical robot alone.

또한, 본 실시예에 따른 비접촉 방식의 복강경 제어 방법은 3차원 복강경이 적용되는 경우 얼굴, 눈의 위치에 따라 3차원 영상 처리를 위한 좌/우 영상이 겹치는 정도의 조절도 가능하다.
Further, in the non-contact laparoscopic control method according to the present embodiment, when the three-dimensional laparoscope is applied, the degree of overlapping of the left / right images for three-dimensional image processing can be adjusted according to the positions of the face and eyes.

도 16은 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 과정을 나타낸 순서도이다.16 is a flowchart illustrating an operation of the laparoscopic operation unit according to another embodiment of the present invention.

도 16을 참조하면, 복강경 조작 유닛(1200)은 단계 1610에서 수술자의 얼굴이 촬영된 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 검출한다.Referring to FIG. 16, the laparoscopic operation unit 1200 analyzes the image of the operator's face in step 1610 to detect the position of the face area, the eye position, and the reference point (e.g., the center point of the nose).

이어서, 단계 1620에서 복강경 조작 유닛(1200)은 해당 영상 이미지에 대해 두 눈의 연장선과 화면 중심선간의 내각 및 회전 방향을 산출하고, 직전에 촬영된 영상 이미지에 대해 산출된 내각 및 회전 방향과의 차이를 이용하여 현재 수술자의 얼굴 회전 방향 및 회전 각도를 산출한다.Then, in step 1620, the laparoscopic operation unit 1200 calculates the internal angle and the rotation direction between the extension lines of the two eyes and the center line of the image with respect to the corresponding image, and calculates the difference between the internal angle and the rotation direction calculated for the previously captured image The face rotation direction and the rotation angle of the current operator are calculated.

또한, 단계 1630에서 복강경 조작 유닛(1200)은 해당 영상 이미지에 대해 얼굴 내의 기준점이 직전에 촬영된 영상 이미지에서의 얼굴 기준점간의 거리 변화량을 산출한다.In addition, in step 1630, the laparoscopic operation unit 1200 calculates the amount of change in distance between the reference points in the image captured immediately before the reference point in the face with respect to the corresponding image.

또한, 단계 1640에서 복강경 조작 유닛(1200)은 해당 영상 이미지에 대해 두 눈의 중심점간의 거리를 산출하고, 직전에 촬영된 영상 이미지에 대해 산출된 두 눈의 중심점간의 거리를 참조하여 두 눈간의 간격 변화량을 산출한다.In addition, in step 1640, the laparoscopic operation unit 1200 calculates the distance between the center points of the two eyes with respect to the corresponding image, refers to the distance between the center points of the two eyes calculated with respect to the previously captured image, And calculates a change amount.

전술한 단계 1620 내지 단계 1640은 순차적 또는 비순차적으로 수행되거나, 동시에 수행될 수도 있다.The above-described steps 1620 to 1640 may be performed sequentially or non-sequentially, or simultaneously.

단계 1650에서 복강경 조작 유닛(1200)은 단계 1620 내지 단계 1640에 의해 산출된 변위량 정보에 상응하는 조작 명령을 생성하고, 복강경(5) 조작을 위해 슬레이브 로봇(2)으로 제공한다.
In step 1650, the laparoscopic operation unit 1200 generates an operation command corresponding to the displacement amount information calculated by steps 1620 to 1640, and provides the operation command to the slave robot 2 for operation of the laparoscope 5.

도 17은 본 발명의 또 다른 실시예에 따른 도 16의 단계 1610을 구체화하여 나타낸 순서도이다.FIG. 17 is a flowchart illustrating a step 1610 of FIG. 16 according to another embodiment of the present invention.

앞서 도 16의 단계 1610은 복강경 조작 유닛(1200)이 수술자의 얼굴이 촬영된 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 검출하는 단계에 관한 것이다.Step 1610 of FIG. 16 relates to a step in which the laparoscopic operation unit 1200 analyzes the image of the image of the operator's face and detects the position of the face region, the eye position, and the reference point (for example, the center point of the nose) will be.

단계 1610이 구체화되어 예시된 도 17을 참조하면, 복강경 조작 유닛(1200)은 단계 1710에서 수술자의 얼굴이 촬영된 영상 이미지를 제공받고, 단계 1720으로 진행하여 해당 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 검출한다.17, the laparoscopic operation unit 1200 receives the image of the surgeon's face taken at step 1710 and proceeds to step 1720 to interpret the image of the surgeon, And the position of the reference point (e.g., the center point of the nose).

이어서, 복강경 조작 유닛(1200)은 단계 1730에서 수술자의 해당 움직임 상태가 일정 시간 유지되는지 여부를 판단한다. Then, in step 1730, the laparoscopic operation unit 1200 determines whether the corresponding movement state of the operator is maintained for a predetermined time.

만일 해당 움직임이 일정 시간 유지된다면 복강경(5) 조작을 위한 것으로 인식하여 단계 1620 내지 단계 1640으로 진행한다. If the movement is maintained for a predetermined time, it is recognized that the operation is for laparoscopic operation 5, and the process proceeds from step 1620 to step 1640.

그러나 만일 해당 움직임이 일정 시간 유지되지 않는다면 복강경(5) 조작과 무관한 움직임인 것으로 인식하여 단계 1710으로 다시 진행한다.However, if the movement is not maintained for a predetermined time, it is recognized that the movement is irrelevant to the operation of the laparoscope 5, and the process returns to step 1710.

이와 같이, 단계 1610은 복강경(5) 조작 여부의 정확성을 가지기 위해 복수의 단계의 구체화될 수 있다.As such, step 1610 can be embodied in a plurality of steps to have an accuracy of whether or not the laparoscope 5 is operated.

이외에도, 단계 1610은 다양한 방식으로 구체화될 수 있다.In addition, step 1610 may be embodied in various ways.

일 예로, 제공받은 영상 이미지 내의 얼굴 모습이 인증된 사용자로서 저장부(1220)에 미리 지정된 얼굴 모습과 오차범위 내에서 일치하는지 여부를 판단하여, 오차범위 내에서 일치하는 경우에만 단계 1620 내지 단계 1640으로 진행하도록 구체화될 수 있다.For example, it is determined whether or not the facial image in the provided image matches the facial image pre-designated in the storage unit 1220 as an authenticated user within the error range. Lt; / RTI >

다른 예로, 제공받은 영상 이미지 내의 얼굴 모습이 미리 지정된 영역에 위치하는지 또한 얼굴의 크기가 미리 지정된 크기 이상이고 또한 미리 지정된 크기 이하인지 여부를 판단하여, 얼굴의 크기가 지정된 크기 이상이고 지정된 영역에 부합하도록 위치하는 경우에만 단계 1620 내지 단계 1640으로 진행하도록 구체화될 수 있다.As another example, it is determined whether the face image in the provided image is located in a predetermined area and whether the size of the face is larger than a predetermined size and smaller than a predetermined size, The process proceeds from step 1620 to step 1640 only if it is located so as to be located in the first area.

이외에도 다양한 방식으로 단계 1610은 구체화될 수 있으며, 하나 이상의 실시예들이 복합적으로 포함되어 구체화될 수도 있음은 당연하다.
It is to be understood that step 1610 may be embodied in various other ways, and that one or more embodiments may be embodied in multiple forms.

상술한 복강경 조작 방법은 소프트웨어 프로그램 등으로 구현될 수도 있다. 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.The laparoscopic manipulation method described above may be implemented by a software program or the like. The code and code segments that make up the program can be easily deduced by a computer programmer in the field. In addition, the program is stored in a computer readable medium, readable and executed by a computer, and implements the method. The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that the invention may be varied and varied without departing from the scope of the invention.

1: 마스터 로봇 2: 슬레이브 로봇
3: 로봇 암 4: 마스터 인터페이스
5: 복강경 6: 모니터부
10: 핸들 20: 텔레스코픽 표시부
210: 접면부 220: 접안부
230, 240: 지지부 250: 유동부
310: 움직임 감지부 320, 1240 : 조작 명령 생성부
330, 1250 : 전송부 510: 접촉 감지부
520: 원상태 복원부 710: 카메라부
720, 1220: 저장부 730: 아이트래커부
740: 제어부 1200 : 복강경 조작 유닛
1230 : 각도 및 거리 산출부1: Master robot 2: Slave robot
3: Robot arm 4: Master interface
5: Laparoscope 6: Monitor section
10: Handle 20: Telescopic display
210: a contact portion 220: an eyepiece portion
230, 240: Support part 250:
310: motion detection unit 320, 1240: operation command generation unit
330, 1250: Transmission unit 510:
520: restoration unit 710: camera unit
720, 1220: storage unit 730: eye tracker unit
740: control unit 1200: laparoscopic operation unit
1230: Angle and distance calculating unit

Claims (19)

조작신호를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하는 수술용 로봇으로서,
상기 비젼부에 의해 획득된 영상을 시각(視覺) 정보로 제공하기 위한 접면부;
상기 접면부를 통해 보여지는 얼굴의 움직임을 해석한 해석 정보를 생성하는 분석 처리부; 및
상기 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 상기 비젼부를 조작하기 위한 조작명령을 출력하는 조작 명령 생성부를 포함하되,
상기 분석 처리부는,
상기 수술용 로봇의 내측에서 상기 접면부를 향해 촬상하여 이미지 데이터를 생성하는 카메라 유닛;
상기 생성된 이미지 데이터를 저장하는 저장 유닛; 및
순차적으로 생성된 이미지 데이터에서 소정의 특징점의 위치 변화를 시간순으로 비교 판단하여 얼굴의 움직임에 대한 해석 정보를 생성하는 분석 유닛을 포함하는 것을 특징으로 하는 수술용 로봇.
A surgical robot for controlling at least one of a position of a vision unit and an image input angle using an operation signal,
A vision unit for providing the vision acquired by the vision unit as vision information;
An analysis processing unit for generating analysis information analyzing a motion of a face viewed through the contact portion; And
And an operation command generation unit that determines whether or not the analysis information satisfies a preset change as an arbitrary operation command and, if satisfied, outputs an operation command for operating the vision unit,
The analysis processing unit,
A camera unit for imaging the inside of the surgical robot toward the contact portion to generate image data;
A storage unit for storing the generated image data; And
And an analysis unit for generating analysis information on the movement of the face by comparing the positional changes of predetermined feature points sequentially in the image data sequentially generated in chronological order.
삭제delete 제1항에 있어서,
상기 접면부는 상기 수술용 로봇의 콘솔(console) 패널의 일부로서 형성되는 것을 특징으로 하는 수술용 로봇.
The method according to claim 1,
Wherein the contact portion is formed as a part of a console panel of the surgical robot.
제3항에 있어서,
상기 비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 상기 접면부는 빛이 투과되는 재질의 재료로 형성되는 것을 특징으로 하는 수술용 로봇.
The method of claim 3,
Wherein the contact portion is formed of a material through which light is transmitted so that the image obtained by the vision unit is viewed as vision information.
제1항에 있어서,
상기 조작명령이 상기 비젼부의 직선 조작 및 회전 조작 중 하나 이상에 관한 것인 경우, 상기 수술용 로봇의 조작 핸들 방향이 그에 상응하도록 변경 조작되는 것을 특징으로 하는 수술용 로봇.
The method according to claim 1,
Wherein the manipulation handle direction of the surgical robot is changed so as to correspond to at least one of a straight manipulation and a rotation manipulation of the vision unit.
제1항에 있어서,
상기 비젼부는 현미경, 내시경 중 어느 하나인 것을 특징으로 하는 수술용 로봇.
The method according to claim 1,
Wherein the vision unit is any one of a microscope and an endoscope.
제1항의 수술용 로봇이 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하기 위한 조작 방법으로서,
상기 분석 처리부에서 수행되는,
상기 접면부가 유동(遊動)되는 방향 및 크기에 상응하는 센싱 정보를 출력하는 단계;
상기 수술용 로봇의 내측에서 상기 접면부를 향해 촬상한 이미지 데이터를 생성하여 저장하는 단계; 및
상기 저장된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계를 포함하고,
상기 조작 명령 생성부에서 수행되는,
상기 센싱 정보를 이용하여 상기 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 단계; 및
상기 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 상응하도록 미리 설정된 조작명령을 생성하여 출력하는 단계를 포함하되,
상기 접면부는 상기 수술용 로봇의 콘솔 패널의 일부로서 형성되고, 접촉된 수술자 얼굴의 움직임 방향 및 크기에 상응하는 방향 및 크기로 유동되도록 형성되는 것을 특징으로 하는 비젼부 조작 방법.
An operating method for controlling at least one of a position and an image input angle of a vision unit of the surgical robot of claim 1,
And an analysis processing unit
Outputting sensing information corresponding to a direction and a size in which the contact surface is floated;
Generating and storing image data picked up from the inside of the surgical robot toward the contact portion; And
And generating analysis information by analyzing at least one of a position change of a pupil, a change of an eye shape, and a viewing direction by comparing and comparing the stored image data in chronological order,
Wherein the operation command generation unit generates,
Generating and outputting an operation command for at least one of a position and an image input angle of the vision unit using the sensing information; And
Determining whether or not the analysis information satisfies a preset change as an arbitrary operation command, and generating and outputting a predetermined operation command corresponding to the predetermined operation when it is satisfied,
Wherein the contact portion is formed as a part of a console panel of the surgical robot and is formed to flow in a direction and a size corresponding to a movement direction and a size of the contacted operator's face.
제7항에 있어서,
상기 분석 처리부에서 수행되는,
상기 접면부에 상기 수술자 얼굴이 접촉된 상태인지 여부를 판단하는 단계; 및
접촉된 상태인 경우, 상기 센싱 정보의 출력이 개시되도록 제어하는 단계를 더 포함하는 비젼부 조작 방법.
8. The method of claim 7,
And an analysis processing unit
Determining whether the operator's face is in contact with the contact surface; And
And controlling the output of the sensing information to start when the sensor is in the contacted state.
제8항에 있어서,
상기 분석 처리부에서 수행되는,
접촉이 해제된 상태인 경우, 상기 접면부가 디폴트(default)로 지정된 위치 및 상태인 기준 상태로 존재하는지 여부를 판단하는 단계; 및
상기 기준 상태로 존재하지 않는 경우, 상기 기준 상태로 복귀되도록 처리하는 단계를 더 포함하는 비젼부 조작 방법.
9. The method of claim 8,
And an analysis processing unit
Determining whether the contact portion is in a reference state that is a position and a state designated by default when the contact is released; And
If the reference state does not exist in the reference state, returning to the reference state.
제9항에 있어서,
상기 기준 상태로의 복귀는, 상기 센싱 정보에 따른 상기 접면부 유동 방향 및 크기의 역 조작에 의해 수행되는 것을 특징으로 하는 비젼부 조작 방법.
10. The method of claim 9,
Wherein the return to the reference state is performed by inverse operation of the flow direction and magnitude of the contact portion according to the sensing information.
삭제delete 삭제delete 제7항에 있어서,
상기 비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 접안부가 상기 접면부에 천공되는 것을 특징으로 하는 비젼부 조작 방법.
8. The method of claim 7,
Wherein the eyepiece is perforated on the contact portion so that the image obtained by the vision portion is viewed as vision information.
삭제delete 제7항에 있어서,
상기 수술자 얼굴의 위치를 고정하기 위해 지지부가 상기 접면부의 하나 이상의 개소에 돌출되어 형성되는 것을 특징으로 하는 비젼부 조작 방법.
8. The method of claim 7,
Wherein a support portion is formed at one or more portions of the contact surface to protrude the position of the operator's face.
삭제delete 삭제delete 삭제delete 제7항에 있어서,
상기 접면부는 탄성체에 의해 지지되도록 상기 콘솔 패널의 전면에 형성되고,
상기 탄성체는 상기 접면부의 움직임을 위한 외력이 제거되면 상기 접면부가 원위치로 복귀되도록 복원력을 제공하는 것을 특징으로 하는 비젼부 조작 방법.8. The method of claim 7,
The contact portion is formed on the front surface of the console panel so as to be supported by the elastic body,
Wherein the elastic body provides a restoring force such that when the external force for moving the contact portion is removed, the contact portion returns to the original position.

Images