KR101280665B1 - 로봇, 의료 작업장, 및 대상물의 표면에 영상을 투영하기 위한 방법 - Google Patents

로봇, 의료 작업장, 및 대상물의 표면에 영상을 투영하기 위한 방법 Download PDF

Info

Publication number
KR101280665B1
KR101280665B1 KR1020107010627A KR20107010627A KR101280665B1 KR 101280665 B1 KR101280665 B1 KR 101280665B1 KR 1020107010627 A KR1020107010627 A KR 1020107010627A KR 20107010627 A KR20107010627 A KR 20107010627A KR 101280665 B1 KR101280665 B1 KR 101280665B1
Authority
KR
South Korea
Prior art keywords
image
robot
organism
projected
distortion
Prior art date
Application number
KR1020107010627A
Other languages
English (en)
Other versions
KR20100106308A (ko
Inventor
토비아스 오르트마이어
디르크 야콥
게오르크 파지크
Original Assignee
쿠카 로보테르 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쿠카 로보테르 게엠베하 filed Critical 쿠카 로보테르 게엠베하
Publication of KR20100106308A publication Critical patent/KR20100106308A/ko
Application granted granted Critical
Publication of KR101280665B1 publication Critical patent/KR101280665B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T74/00—Machine element or mechanism
    • Y10T74/20—Control lever and linkage systems
    • Y10T74/20207—Multiple controlling elements for single controlled element
    • Y10T74/20305—Robotic arm

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 로봇 (R), 의료 작업장, 및 대상물 (P) 의 표면에 영상 (20) 을 투영하기 위한 방법에 관한 것이다. 로봇 (R) 은 로봇암 (A) 과, 대상물 (P) 의 표면에 영상 (20) 을 투영하기 위한 장치 (18) 를 구비하며, 상기 장치는 로봇암 (A) 에 고정되어 있거나 또는 그 안에 통합되어 있다.

Description

로봇, 의료 작업장, 및 대상물의 표면에 영상을 투영하기 위한 방법 {ROBOT, MEDICAL WORK STATION, AND METHOD FOR PROJECTING AN IMAGE ONTO THE SURFACE OF AN OBJECT}
본 발명은 로봇, 의료 작업장, 및 대상물의 표면에 영상을 투영하기 위한 방법에 관한 것이다.
예컨대 외과 의술에서는 컴퓨터에 기초를 둔 정보 시스템이 이용되며, 상기 정보 시스템은 생물체를 수술하는 외과 의사에게 정보를 제공한다. 상기 정보는 예컨대 생물체의 바이털 파라미터 (vital parameter), 위험 구조, 또는 수술을 위한 목표 위치일 수 있다. 상기 정보는 예컨대 정보 시스템의 디스플레이 장치를 통해 보여지고, 상기 정보 시스템은 상기 정보 시스템을 조작하기 위한 입력수단 (input means) 을 포함한다. 상기 디스플레이 장치를 통해 보여진 상기 정보로 인해 수술대와 상기 디스플레이 장치 간에, 경우에 따라서는 상기 입력수단 간에 외과 의사의 시선 교환이 필요하다.
따라서, 본 발명의 목적은 시각적인 정보의 용이한 검출을 위한 전제조건을 허용하는 장치를 제공하는 것이다.
본 발명의 목적은 로봇암과, 상기 로봇암에 고정되어 있거나 또는 그 안에 통합되어 있고 대상물의 표면에 영상을 투영하기 위한 장치를 구비한 로봇을 통해 달성된다.
또한, 본 발명의 목적은 하기의 방법단계를 구비한 대상물의 표면에 영상을 투영하기 위한 방법을 통해 달성된다:
로봇의 로봇암 안에 통합되어 있거나 또는 로봇암에 고정되어 있는 영상투영장치를 이용해 특히 생물체인 대상물의 표면에 영상을 투영하는 단계.
본 발명에 따른 방법 또는 본 발명에 따른 로봇은 특히 의료 분야를 위한 것일지라도, 의료 분야에서의 적용뿐만 아니라 예컨대 기계의 정비, 검사 또는 수리에서의 적용도 가능하다.
일반적으로, 로봇은 대상물을 자동으로 핸들링하기 위해 목적에 부합하는 공구를 갖추고 있고 다수의 운동축과 관련하여 특히 방향, 위치 및 작업 진행과 관련하여 프로그래밍 가능한 핸들링 기계이다. 로봇은 일반적으로 머니퓰레이터라고도 불리우는 로봇암과, 제어장치와, 경우에 따라서는 이펙터 (effector) 를 포함하며, 상기 이펙터는 예컨대 공구를 그립핑하기 위한, 또는 의료기술에서 적용되는 경우에는 의료기기를 부착시키기 위한 그립퍼로서 형성될 수 있다. 머니퓰레이터 또는 로봇암은 본질적으로 로봇의 이동식 부품이다. 로봇암은 특히 다수의 축을 구비하며, 상기 축들은 예컨대 전기 드라이브들을 이용해 예컨대 컴퓨터로서 실행되는 제어장치에 의해 작동된다.
특히 생물체인 대상물의 표면에 영상을 투영하기 위해, 본 발명에 따르면 영상투영장치가 로봇의 로봇암 안에 통합되어 있거나 또는 이에 고정되어 있다. 그러므로, 로봇암의 적절한 작동을 토대로 대상물의 표면에 영상을 투영하는 것이 비교적 간단한 방식으로 가능하다. 상기 영상투영장치는 특히 로봇의 이른바 공구 중심점 (Tool-Center-Point (TCP)) 의 근처에 통합될 수 있거나 또는 고정될 수 있다. 투영 위치는 예컨대 소프트웨어를 통해 선택될 수 있다.
본 발명에 따른 로봇의 실시형태에 따르면, 상기 로봇은 특히 로봇암에 고정되어 있거나 또는 로봇암 안에 통합되어 있는, 상기 대상물의 표면에 투영된 영상으로부터의 영상을 촬영하기 위한 장치를 구비하며, 이때 특히 상기 로봇의 데이터처리장치 (data processing device) 는 상기 영상촬영장치로 촬영된 상기 대상물의 표면에 투영된 영상으로부터의 영상에 할당되어 있는 영상 데이터 레코드 (image data record) 를 분석하도록 셋업되어 있다. 상기 대상물의 표면에 투영된 영상으로부터의 영상을 촬영하기 위한 상기 장치는 예컨대 카메라 또는 센서이며, 상기 센서는 특히 자발적으로 주변의 2.5 D 영상을 제공한다. 상기 영상촬영장치는 삼각대에, 벽에 또는 천장에 고정될 수도 있다.
예컨대 상기 투영된 영상이 특히 로봇의 상기 데이터처리장치의 가상 (virtual) 입력수단 (input means) 이거나 또는 그 밖의 데이터처리장치의 가상 입력수단이면, 본 발명에 따른 로봇의 변형에 따르면 특히 로봇의 상기 데이터처리장치는 상기 가상 입력수단의 작동을 인식하기 위해 사람의 몸짓에 관해 상기 영상 데이터 레코드를 분석하도록 셋업되어 있다. 상기 가상 입력수단은 예컨대 상기 투영된 영상을 이용해 상기 대상물의 표면에 묘사된 가상 조작요소들을 구비하며, 이때 상기 데이터처리장치는 사람이 상기 가상으로 묘사된 상기 조작요소들을 터치 (touch) 하는지의 여부를 알아내기 위해 예컨대 패턴 인식 알고리즘 (pattern recognition algorithm) 을 이용해 상기 영상 데이터 레코드를 분석한다. 이에 따라, 상기 영상 또는 상기 영상 데이터 레코드의 분석을 토대로 사람의 몸짓을 인식하는 것이 가능하고, 상기 몸짓을 상기 가상 입력수단의 조작으로 해석하는 것이 가능하다. 상기 대상물이 생물체이면, 특히 치료되어야 하는 환자이면, 예컨대 외과 의사 또는 일반의사는 무균 환경에서 상기 가상 입력수단을 작동시킬 수 있다.
본 발명에 따른 로봇의 그 밖의 실시형태에 따르면, 상기 로봇은 상기 대상물의 상기 표면의 표면 기하학에 의한 상기 투영된 영상의 왜곡 (distortion) 을 인식하기 위한 수단들을 구비하며, 상기 수단들은, 상기 투영된 영상의 왜곡을 적어도 부분적으로 보상 (compensate) 하도록 상기 영상투영장치를 작동시킨다. 왜곡이란 영상 높이, 즉 투영된 영상의 영상 중앙으로부터의 영상점 (image point) 의 간격이 상응하는 대상물점의 높이에 비선형 방식으로 좌우되는 것을 말한다. 묘사 척도가 상응하는 대상물점에 좌우된다고도 말할 수 있다. 예컨대, 왜곡은, 그의 영상이 상기 투영된 영상의 영상 중앙을 통과해 가지 않는 직선들이 만곡되어 묘사되도록 한다.
왜곡을 인식하기 위한 상기 수단들은 본 발명에 따른 로봇의 변형에 따르면 특히 로봇암 안에 통합되어 있거나 또는 로봇암에 고정되어 있는 상기 영상촬영장치와 상기 데이터처리장치를 포함하며, 상기 데이터처리장치는 이 실시형태에 따르면 상기 분석된 영상 데이터 레코드를 토대로 왜곡을 인식하도록 셋업되어 있다. 이는 예컨대 다음과 같이 실현될 수 있다: 투영된 영상으로부터의 영상에 할당된 영상 데이터 레코드는, 투영된 영상에 할당된 영상 데이터 레코드와 비교될 수 있다. 이를 통해, 왜곡을 검출하기 위해 스테레오 시스템이 생성된다. 그 후, 상기 투영된 영상의 역투영도는 상기 투영된 영상의 투영시 고려될 수 있고, 따라서 왜곡은 적어도 부분적으로 보상될 수 있다.
왜곡의 결정은 예컨대 영상을 투영하는 동안 수행될 수 있다. 하지만 왜곡의 결정은 기준영상 (reference image) 을 이용한 상기 영상투영장치의 캘리브레이션 (calibration) 과정 동안 실행될 수도 있다.
본 발명에 따른 로봇의 그 밖의 실시형태에 따르면, 상기 데이터처리장치는, 미리 생성된 그 밖의 영상 데이터 레코드, 특히 대상물로부터의 3차원 영상 데이터 레코드를 토대로 상기 투영된 영상의 왜곡을 적어도 부분적으로 보상하도록 상기 영상투영장치를 작동시키도록 셋업되어 있다. 상기 대상물이 생물체이면, 상기 대상물로부터의 상기 그 밖의 영상 데이터 레코드는 특히 의료용 영상장치, 특히 자기 공명 장치, 컴퓨터 단층촬영 장치, X-ray 장치 또는 초음파 장치를 이용해 생성될 수 있다.
본 발명에 따른 로봇은 특히 의료 작업장의 맥락에서 사용되기 위해 제공되어 있다. 본 발명에 따른 의료 작업장의 실시형태에 따르면, 상기 의료 작업장은 본 발명에 따른 로봇 이외에 생물체의 위치와 로봇의 위치를 검출하기 위한 네비게이션 시스템을 구비하며, 이때 로봇의 상기 데이터처리시스템은, 투영된 영상의 왜곡의 적어도 부분적인 보상시 로봇의 위치와 생물체의 위치가 고려되도록 상기 영상투영장치를 작동시키도록 셋업되어 있다. 이에 따라, 본 발명에 따른 의료 작업장의 이 변형은, 본 발명에 따른 방법을 위해 추가적으로 하기의 방법단계들이 실행될 수 있도록 실행된다:
- 특히 네비게이션 시스템을 이용해 로봇의 위치와 생물체의 위치를 검출하는 단계,
- 생물체의 상기 위치와 로봇의 상기 위치를 토대로, 또한 미리 생물체로부터 촬영된 영상 데이터 레코드를 토대로, 생물체의 표면에 투영된 영상의 예상될 수 있는 왜곡을 검출하는 단계,
- 로봇의 상기 위치와 생물체의 상기 위치를 토대로, 또한 생물체로부터의 상기 영상 데이터 레코드를 토대로, 상기 표면에 투영된 영상의 예상된 왜곡을 적어도 부분적으로 보상하는 단계.
의료기술, 특히 최소 침습 의료기술에서의 네비게이션 시스템은 특히 DE 199 51 503 B4 에 공지되어 있다. 네비게이션 시스템은 예컨대 로봇에 배치된 마커 (marker) 들과, 생물체에 배치되거나 또는 생물체가 누워 있는 환자용 침상에 배치된 마커들과, 상기 마커들을 검출하기 위한 장치를 포함한다. 상기 마커 검출장치는 예컨대 광학 장치, 예컨대 스테레오 카메라이다. 상기 마커 검출장치로 촬영된 마커들을 토대로, 네비게이션 시스템은 본질적으로 일반적으로 알려져 있는 방식으로 로봇의 위치와 생물체의 위치를 결정할 수 있다. 로봇의 상기 위치와 생물체의 상기 위치를 토대로, 또한 생물체로부터 촬영된 특히 상기 3차원 영상 데이터 레코드를 토대로, 상기 데이터처리장치는 투영된 영상의 예상된 왜곡을 계산할 수 있고, 상응하여 상기 영상투영장치를 설정할 수 있으며, 따라서 상기 예상된 왜곡은 적어도 부분적으로 보상된다.
상기 네비게이션 시스템의 상기 마커 검출장치는 투영된 영상으로부터의 영상을 촬영하기 위해 사용될 수도 있다. 그러면, 상기 영상에 할당된 영상 데이터 레코드는 왜곡을 인식하기 위한 수단을 위해서도 사용될 수 있다.
상기 네비게이션 시스템이 생물체의 위치를 결정하기 위해 치료 동안에도 사용되면, 예상될 수 있는 왜곡의 부분적인 보상은 환자의 움직임과 더불어 업데이트 (update) 될 수 있다. 이 보상은 예컨대 투영 장치 자체에 의해 실행될 수 있다.
하지만 본 발명에 따른 방법의 실시형태에 따르면, 상기 적어도 부분적인 보상은 로봇암이 생물체의 움직임에 상응하여 함께 안내됨으로써 업데이트된다.
이에 따라, 본 발명에 따른 로봇과 함께 또는 본 발명에 따른 방법과 함께 이른바 증강현실 (영어: Augmented Reality) 이 적용될 수 있다. 증강현실이란 일반적으로 컴퓨터에 기반을 둔 현실지각의 증강을 의미한다.
본 발명의 실시예들은 첨부된 개략적인 도면들에 도시되어 있다.
도 1 은 로봇을 나타내는 도이다.
도 2 는 도 1 의 로봇을 구비한 의료 작업장을 나타내는 도이다.
도 3 은 가상 입력수단을 나타내는 도이다.
도 4 는 의료용 영상장치를 나타내는 도이다.
도 1 은 로봇암 (A) 을 가진 로봇 (R) 을 나타내며, 상기 로봇암은 본 실시예의 경우 받침대 (S) 상에 고정되어 있다. 로봇암 (A) 은 본질적으로 로봇 (R) 의 이동식 부품이며, 다수의 축 (1 - 6) 과 다수의 레버 (7 - 10) 와 플랜지 (F) 를 포함하고, 상기 플랜지에는 예컨대 공구 또는 의료기기가 고정될 수 있다.
각각의 축 (1 - 6) 은 본 실시예의 경우 전기 드라이브를 이용해 움직여지며, 상기 전기 드라이브들은 도시되어 있지 않은 방식으로 로봇 (R) 의 제어용 컴퓨터 (17) 와 전기식으로 연결되어 있고, 따라서 제어용 컴퓨터 (17) 또는 상기 제어용 컴퓨터 (17) 에서 진행되는 컴퓨터 프로그램은 로봇 (R) 의 플랜지 (F) 의 위치 및 방향이 본질적으로 공간에서 자유로이 정렬될 수 있도록 상기 전기 드라이브들을 작동시킬 수 있다. 로봇 (R) 의 상기 전기 드라이브들은 예컨대 각각 하나의 전동기 (11 - 16), 및 경우에 따라서는 상기 전동기 (11 - 16) 들을 작동시키는 파워일렉트로닉스 (power electronics) 를 포함한다.
본 실시예의 경우, 로봇암 (A) 안에는, 특히 플랜지 (F) 안에는 프로젝터 (projector, 18) 가 통합되어 있으며, 상기 프로젝터는 대상물의 표면에 영상을 투영할 수 있다. 대안적으로, 프로젝터 (18) 는 로봇암 (A) 의 구조에, 특히 플랜지 (F) 에 예컨대 탈착 가능하게 고정될 수도 있다.
프로젝터 (18) 는 컴퓨터, 예컨대 제어용 컴퓨터 (17) 와 도시되어 있지 않은 방식으로 전기식으로 연결되어 있다.
본 실시예의 경우, 로봇 (R) 은 도 2 에 도시되어 있는 의료 작업장의 일부로서 제공되어 있다.
본 실시예의 경우 도시되어 있는 의료 작업장은 로봇 (R) 이외에 환자용 침상 (L) 과 네비게이션 시스템을 포함하며, 상기 환자용 침상은 경우에 따라서는 높이 조절이 가능하다. 환자용 침상 (L) 은 그 위에 도 2 에 도시되어 있는 환자 (P) 가 누울 수 있도록 제공되어 있다. 상기 환자는 예컨대 도 2 에 도시되어 있지 않은 외과 의사에 의해 수술을 받을 수 있다.
본 실시예의 경우, 로봇 (R) 은 그의 프로젝터 (18) 를 이용해 환자 (P) 의 표면에 영상 (20) 을 투영하도록 예정되어 있다. 도 3 에 보다 상세히 도시되어 있는 투영된 영상 (20) 은 본 실시예의 경우 제어용 컴퓨터 (17) 를 위한, 또는 도면들에 상세히 도시되어 있지 않은 그 밖의 데이터처리장치를 위한 입력수단을 묘사하며, 예컨대 키보드 (keyboard) 의 형태를 가진다. 이 이외에, 상기 투영된 영상 (20) 형태의 상기 가상 입력수단은 가상 조작요소 (21) 들을 포함하며, 상기 조작요소들은 예컨대 실제 키보드의 키와 일치한다.
또한, 본 실시예의 경우 로봇 (R) 은 제어용 컴퓨터 (17) 와 전기식으로 연결된 카메라 (19) 를 포함하며, 상기 카메라는 로봇암 (A) 안에 통합되어 있거나 또는 이에 고정되어 있다. 카메라 (19) 는 환자 (P) 에 투영된 영상 (20) 으로부터의 영상을 촬영할 수 있도록 정렬되어 있다. 상기 투영된 영상 (20) 으로부터의 영상에 할당된 영상 데이터 레코드는 제어용 컴퓨터 (17) 에 의해 또는 상기 제어용 컴퓨터 (17) 에서 진행되는 컴퓨터 프로그램에 의해 패턴 인식 알고리즘을 이용해 도면들에 도시되어 있지 않은 사람, 예컨대 환자 (P) 를 수술하는 외과 의사가 투영된 영상 (20) 의 형태로 묘사된 가상 입력수단의 가상 조작요소 (21) 들을 작동시키는 지의 여부를 알아내기 위해 분석된다. 제어용 컴퓨터 (17) 에서 진행되는 컴퓨터 프로그램이 상기 언급된 영상 데이터 레코드의 분석을 토대로 외과 의사가 예컨대 가상 조작요소 (21) 들 중 하나의 영역을 터치하는 것을 인식하면, 제어용 컴퓨터 (17) 에서 진행되는 컴퓨터 프로그램은 이 가상 조작요소 (21) 들의 작동에 할당된 반응을 야기한다.
환자 (P) 의 만곡된 (curved) 표면으로 인해, 투영된 영상 (20) 은 왜곡을 갖는다. 본 실시예의 경우, 이 왜곡은 환자 (P) 에게 영상 (20) 을 투영하기 전에 기준영상 (reference image, 도면들에 도시되어 있지 않음) 이 프로젝터 (18) 를 이용해 환자 (P) 에 투영됨으로써 적어도 부분적으로 보상된다. 상기 기준영상은 본질적으로 영상 (20) 이 투영되는 환자 (P) 의 표면에서의 동일한 부위에 투영된다.
후속하여, 상기 투영된 기준영상으로부터의 영상이 카메라 (19) 로 촬영되며, 이 영상에 속한 영상 데이터 레코드는 제어용 컴퓨터 (17) 에서 진행되는 그 밖의 컴퓨터 프로그램을 이용해 분석된다. 상기 투영된 기준영상으로부터의 영상에 할당된 상기 영상 데이터 레코드 및 상기 투영된 기준영상의 목표 묘사를 토대로, 제어용 컴퓨터 (17) 는 추후에 묘사되어야 하는 투영된 영상 (20) 의 왜곡을 적어도 부분적으로 보상할 수 있도록 프로젝터 (18) 를 작동시킬 수 있다.
그 밖의 실시형태에서는, 환자 (P) 를 수술하기 전에, 상기 환자로부터 도 4 에 도시되어 있는 의료용 영상장치 (22) 를 이용하여 특히 3차원 영상 데이터 레코드가 생성되었다. 상기 의료장치 (22) 는 예컨대 자기 공명 장치, 컴퓨터 단층 촬영 장치, X-ray 장치, 예컨대 C 암 X-ray 장치 또는 초음파 장치이다.
환자 (P) 로부터 생성된 상기 3차원 영상 데이터 레코드는 예컨대 환자 (P) 진단용으로 쓰일 수 있고, 로봇 (R) 의 제어용 컴퓨터 (17) 안에 저장된다. 로봇 (R) 의 위치와 환자 (P) 의 위치를 토대로, 또한 환자 (P) 의 상기 3차원 영상 데이터 레코드를 토대로, 제어용 컴퓨터 (17) 에서 진행되는 그 밖의 컴퓨터 프로그램은 투영된 영상 (20) 의 예상될 수 있는 왜곡을 결정할 수 있고, 이를 통해, 투영된 영상 (20) 의 예상될 수 있는 왜곡이 적어도 부분적으로 보상되도록 프로젝터 (18) 의 투영을 변경할 수 있다.
로봇 (R) 의 위치와 환자 (P) 의 위치를 검출하기 위해서는 상기 언급된 네비게이션 시스템이 사용된다. 네비게이션 시스템은 당업자에게 일반적으로 알려져 있으며, 예컨대 스테레오 카메라 (23) 와, 환자 (P) 에 배치된 기준 마커 (reference marker, M1) 들과, 로봇 (R) 에 배치된 기준 마커 (M2) 들을 포함한다. 로봇 (R) 의 위치와 환자 (P) 의 위치를 결정하기 위해 스테레오 카메라 (28) 는 기준 마커 (M1, M2) 들의 영상들을 촬영하고, 상기 영상들의 할당된 영상 데이터 레코드들은 네비게이션 시스템의 컴퓨터 (24) 를 이용해 일반적으로 알려져 있는 방식으로 평가된다. 이 이외에, 네비게이션 시스템의 컴퓨터 (24) 는 도시되어 있지 않은 방식으로 로봇 (R) 의 제어용 컴퓨터 (17) 와 연결되어 있고, 따라서 제어용 컴퓨터 (17) 는 로봇 (R), 특히 그의 프로젝터 (18) 의 위치와 환자 (P) 의 위치에 관한 정보를 이용할 수 있다.
이 이외에, 본 실시예의 경우, 환자 (P) 의 움직임으로 인한 상기 투영된 영상 (20) 의 변화하는 왜곡은, 예컨대 프로젝터 (18) 가 인식된 움직임을 토대로 상기 움직임으로 인해 변경된 환자 (P) 의 위치를 재조정하거나, 또는 변화하는 왜곡이 적어도 부분적으로 보상되도록 로봇암 (A) 을 환자 (P) 의 움직임과 더불어 함께 안내함으로써 보정된다.

Claims (20)

  1. 로봇으로서, 상기 로봇은 로봇암 (A) 과, 대상물 (P) 의 표면에 영상 (20) 을 투영하기 위한 장치 (18) 및 데이터처리장치 (17)를 구비하며, 상기 영상 (20)을 투영하기 위한 장치 (18)는 로봇암 (A) 에 고정되어 있거나 또는 로봇암 (A) 안에 통합되어 있고,
    상기 로봇은 대상물 (P) 의 표면에 투영된 영상 (20) 으로부터의 영상을 촬영하기 위한 영상촬영장치 (19) 를 구비하며, 이때 상기 데이터처리장치 (17) 는 상기 영상촬영장치 (19) 로 촬영된, 상기 대상물 (P) 의 표면에 투영된 영상 (20) 으로부터의 영상에 할당되어 있는 영상 데이터 레코드를 분석하도록 셋업되어 있으며,
    상기 투영된 영상 (20) 은 상기 데이터처리장치 (17) 의 가상 입력수단을 묘사하며, 상기 데이터처리장치 (17) 는 상기 가상 입력수단의 작동을 인식하기 위해 사람의 몸짓에 관해 상기 영상 데이터 레코드를 분석하도록 셋업되어 있는 로봇.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 로봇은 대상물 (P) 의 상기 표면의 표면 기하학에 의한 상기 투영된 영상 (20) 의 왜곡을 인식하기 위한 수단들을 구비하며, 상기 수단들은 상기 투영된 영상 (20) 의 왜곡을 적어도 부분적으로 보상하도록 상기 영상투영장치 (18) 를 작동시키는 로봇.
  6. 제 5 항에 있어서, 왜곡을 인식하기 위한 상기 수단들은 상기 영상촬영장치 (19), 및 상기 데이터처리장치 (17) 를 포함하며, 이때 상기 데이터처리장치 (17) 는 상기 분석된 영상 데이터 레코드를 토대로 왜곡을 인식하도록 셋업되어 있는 로봇.
  7. 제 1 항에 있어서, 로봇의 상기 데이터처리장치 (17) 는, 미리 생성된 영상 데이터 레코드를 토대로 상기 투영된 영상 (20) 의 왜곡을 적어도 부분적으로 보상하도록 상기 영상투영장치를 작동시키도록 셋업되어 있는 로봇.
  8. 제 7 항에 있어서, 상기 대상물은 생물체 (P) 이며, 상기 대상물로부터의 상기 영상 데이터 레코드는 의료용 영상장치 (22) 를 이용해 생성되었던 로봇.
  9. 제 1 항에 따른 로봇 (R) 을 구비한 의료 장비 세트.
  10. 의료 장비 세트로서, 상기 의료 장비 세트는 제 8 항에 따른 로봇 (R) 과, 생물체 (P) 의 위치와 로봇 (R) 의 위치를 검출하기 위한 네비게이션 시스템 (23, 24, M1, M2) 을 구비하며, 이때 상기 데이터처리장치 (17) 는, 상기 투영된 영상 (20) 의 왜곡의 적어도 부분적인 보상시 로봇 (R) 의 위치와 생물체 (P) 의 위치가 고려되도록 영상투영장치 (18) 를 작동시키도록 셋업되어 있는 의료 장비 세트.
  11. 제 10 항에 있어서, 상기 네비게이션 시스템 (23, 24, M1, M2) 은 로봇 (R) 에 배치된 마커 (M2) 들과, 생물체 (P) 에 배치되거나 또는 상기 생물체 (P) 가 누워 있는 환자용 침상 (L) 에 배치된 마커 (M1) 들과, 상기 마커 (M1, M2) 들을 검출하기 위한 장치 (23) 를 구비한 의료 장비 세트.
  12. 제 11 항에 있어서, 상기 마커 (M1, M2) 검출장치 (23) 는 대상물 (P) 의 표면에 투영된 영상 (20) 으로부터의 영상을 촬영하기 위해서도 사용되며, 이때 로봇 (R) 의 데이터처리장치 (17) 는 상기 마커 (M1, M2) 검출장치 (23) 로 촬영된, 상기 대상물 (P) 의 표면에 투영된 영상 (20) 으로부터의 영상에 할당되어 있는 영상 데이터 레코드를 분석하도록 셋업되어 있는 의료 장비 세트.
  13. 대상물의 표면에 영상을 투영하기 위한 방법으로서:
    - 영상투영장치 (18) 로 생물체 (P) 인 대상물의 표면에 영상 (20) 을 투영하는 단계
    - 로봇암 (A) 에 고정되어 있거나 또는 로봇암 (A) 안에 통합되어 있는 카메라 (19) 를 이용해 생물체 (P) 의 표면에 투영된 영상 (20) 으로부터의 영상을 촬영하는 단계, 이때 상기 투영된 영상 (20) 은 가상 입력수단을 묘사하며,
    - 상기 가상 입력수단의 작동을 인식하기 위해, 사람의 몸짓에 관해 상기 카메라 (19) 로 촬영된 영상에 할당된 영상 데이터 레코드를 분석하는 단계를 포함하는 대상물의 표면에 영상을 투영하기 위한 방법.
  14. 제 13 항에 있어서,
    - 로봇 (R) 의 위치와 생물체 (P) 의 위치를 검출하는 단계,
    - 생물체 (P) 의 상기 위치와 로봇 (R) 의 상기 위치를 토대로, 또한 미리 생물체 (P) 로부터 촬영된 영상 데이터 레코드를 토대로, 생물체 (P) 의 표면에 투영된 영상 (20) 의 예상될 수 있는 왜곡을 검출하는 단계,
    - 로봇 (R) 의 상기 위치와 생물체 (P) 의 상기 위치를 토대로, 또한 미리 생물체(P)로부터 촬영된 영상 데이터 레코드를 토대로, 상기 표면에 투영된 영상 (20) 의 예상된 왜곡을 적어도 부분적으로 보상하는 단계를 추가적으로 포함하는 대상물의 표면에 영상을 투영하기 위한 방법.
  15. 제 14 항에 있어서, 생물체 (P) 의 움직임으로 인한 상기 표면에 투영된 영상 (20) 의 예상될 수 있는 왜곡의 적어도 부분적인 보상을 업데이트하는, 대상물의 표면에 영상을 투영하기 위한 방법.
  16. 제 15 항에 있어서, 생물체 (P) 의 움직임으로 인한 상기 표면에 투영된 영상 (20) 의 예상될 수 있는 왜곡의 적어도 부분적인 보상을 상기 움직임에 상응하여 로봇암 (A) 을 함께 안내함으로써 업데이트하는, 대상물의 표면에 영상을 투영하기 위한 방법.
  17. 제 13 항 내지 제 16 항 중 어느 한 항에 있어서, 미리 생물체(P)로부터 촬영된 영상 데이터 레코드는 의료용 영상장치 (22) 를 이용해 촬영되었던, 대상물의 표면에 영상을 투영하기 위한 방법.
  18. 제 1 항 또는 제 6 항에 있어서, 상기 영상촬영장치 (19)는 로봇암 (A) 에 고정되어 있거나 또는 로봇암 (A) 안에 통합되어 있는 로봇.
  19. 제 13 항에 있어서, 상기 영상투영장치 (18)는 로봇암 (A) 안에 통합되어 있거나 또는 로봇암 (A) 에 고정되어 있는 대상물의 표면에 영상을 투영하기 위한 방법.
  20. 제 14 항에 있어서, 상기 로봇 (R) 의 위치와 생물체 (P) 의 위치를 검출하는 단계는 네비게이션 시스템 (23, 24, M1, M2) 을 이용해서 로봇 (R) 의 위치와 생물체 (P) 의 위치를 검출하는 단계인 대상물의 표면에 영상을 투영하기 위한 방법.
KR1020107010627A 2007-11-19 2008-11-18 로봇, 의료 작업장, 및 대상물의 표면에 영상을 투영하기 위한 방법 KR101280665B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102007055204.3 2007-11-19
DE102007055204A DE102007055204B4 (de) 2007-11-19 2007-11-19 Roboter, medizinischer Arbeitsplatz und Verfahren zum Projizieren eines Bildes auf die Oberfläche eines Objekts
PCT/EP2008/065758 WO2009065831A2 (de) 2007-11-19 2008-11-18 Roboter, medizinischer arbeitsplatz und verfahren zum projizieren eines bildes auf die oberfläche eines objekts

Publications (2)

Publication Number Publication Date
KR20100106308A KR20100106308A (ko) 2010-10-01
KR101280665B1 true KR101280665B1 (ko) 2013-07-01

Family

ID=40532562

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107010627A KR101280665B1 (ko) 2007-11-19 2008-11-18 로봇, 의료 작업장, 및 대상물의 표면에 영상을 투영하기 위한 방법

Country Status (7)

Country Link
US (1) US8965583B2 (ko)
EP (1) EP2214872B1 (ko)
JP (1) JP5249343B2 (ko)
KR (1) KR101280665B1 (ko)
CN (1) CN101903140B (ko)
DE (1) DE102007055204B4 (ko)
WO (1) WO2009065831A2 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010101203A1 (ja) * 2009-03-06 2010-09-10 株式会社安川電機 ロボットの関節ユニット及びロボット
US8751049B2 (en) * 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
DE102011111949B4 (de) * 2011-08-29 2013-05-29 Thermo Electron Led Gmbh Laborabzug und insbesondere Sicherheitswerkbank mit Projektionsvorrichtung
EP2780764B1 (en) * 2011-11-16 2022-08-03 X Development LLC System and method for 3d projection mapping with robotically controlled objects
US9832352B2 (en) 2011-11-16 2017-11-28 Autofuss System and method for 3D projection mapping with robotically controlled objects
BR112014013073A8 (pt) * 2011-12-03 2017-06-13 Koninklijke Philips Nv sistema e método para orientação robótica cirúrgica
US9679500B2 (en) * 2013-03-15 2017-06-13 University Of Central Florida Research Foundation, Inc. Physical-virtual patient bed system
US10380921B2 (en) * 2013-03-15 2019-08-13 University Of Central Florida Research Foundation, Inc. Physical-virtual patient bed system
EP3007636B1 (en) 2013-06-11 2017-09-27 Minmaxmedical System for positioning a surgical device
EP3119340B1 (en) * 2014-03-17 2019-11-13 Intuitive Surgical Operations, Inc. Methods and devices for table pose tracking using fiducial markers
CN103974048B (zh) 2014-04-28 2016-05-04 京东方科技集团股份有限公司 控制可穿戴设备投影的方法及装置、可穿戴设备
DE102014211115A1 (de) * 2014-06-11 2015-12-17 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur gestengesteuerten Einstellung von Einstellgrößen an einer Röntgenquelle
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
DE102016203701A1 (de) 2016-03-07 2017-09-07 Kuka Roboter Gmbh Industrieroboter mit mindestens zwei Bilderfassungseinrichtungen
EP3664739A4 (en) * 2017-08-10 2021-04-21 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR DISPLAYS OF INTERACTION POINTS IN A TELEOPERATIONAL SYSTEM
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
DE102019206779A1 (de) 2018-06-13 2019-12-19 Heidelberger Druckmaschinen Ag Bildinspektionsroboter
JP7172305B2 (ja) * 2018-09-03 2022-11-16 セイコーエプソン株式会社 三次元計測装置およびロボットシステム
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11772276B2 (en) 2020-01-02 2023-10-03 Universal City Studios Llc Systems and methods for optical performance captured animated figure with real-time reactive projected media
DE102020201070A1 (de) * 2020-01-29 2021-07-29 Siemens Healthcare Gmbh Darstellungsvorrichtung
US12008917B2 (en) 2020-02-10 2024-06-11 University Of Central Florida Research Foundation, Inc. Physical-virtual patient system
DE102020213038A1 (de) 2020-10-15 2022-04-21 Kuka Deutschland Gmbh Verfahren zur Durchführung von Gesundheitstests und mobile Gesundheitstestanlage
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN114508680A (zh) * 2021-12-22 2022-05-17 江苏艾克斯医疗设备有限公司 一种医疗影像投影设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002102251A (ja) 2000-07-12 2002-04-09 Siemens Ag 患者への医学的侵襲に関するデータを可視化するための可視化装置及び方法
EP1555507A1 (en) * 2004-01-19 2005-07-20 Fanuc Ltd Three-dimensional visual sensor

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4373804A (en) * 1979-04-30 1983-02-15 Diffracto Ltd. Method and apparatus for electro-optically determining the dimension, location and attitude of objects
TW464800B (en) * 1998-10-07 2001-11-21 Intel Corp A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
US9572519B2 (en) * 1999-05-18 2017-02-21 Mediguide Ltd. Method and apparatus for invasive device tracking using organ timing signal generated from MPS sensors
DE19951502A1 (de) 1999-06-28 2001-01-18 Siemens Ag System mit Mitteln zur Aufnahem von Bildern, medizinischer Arbeitsplatz aufweisend ein derartiges System und Verfahren zur Einblendung eines Abbildes eines zweiten Objektes in ein von einem ersten Objekt gewonnenes Bild
US6317616B1 (en) * 1999-09-15 2001-11-13 Neil David Glossop Method and system to facilitate image guided surgery
DE10108547B4 (de) * 2001-02-22 2006-04-20 Siemens Ag Operationssystem zur Steuerung chirurgischer Instrumente auf Basis von intra-operativen Röngtenbildern
CN1479191A (zh) * 2002-08-28 2004-03-03 由田新技股份有限公司 投影式虚拟键盘装置
KR20040056489A (ko) * 2002-12-23 2004-07-01 한국전자통신연구원 임의의 영사면에 대한 화면 왜곡현상 보정 시스템 및 그방법
JP2005165804A (ja) * 2003-12-04 2005-06-23 Matsushita Electric Ind Co Ltd データ入力装置
US7993289B2 (en) * 2003-12-30 2011-08-09 Medicis Technologies Corporation Systems and methods for the destruction of adipose tissue
US7567833B2 (en) * 2004-03-08 2009-07-28 Stryker Leibinger Gmbh & Co. Kg Enhanced illumination device and method
JP2005304596A (ja) * 2004-04-19 2005-11-04 Olympus Corp 医療用遠隔操作装置
JP2006102360A (ja) * 2004-10-08 2006-04-20 Matsushita Electric Ind Co Ltd 生体情報提示装置
JP4449081B2 (ja) * 2005-10-11 2010-04-14 国立大学法人 千葉大学 撮像装置及び撮像システム
JP4836122B2 (ja) * 2006-02-09 2011-12-14 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
JP2008006551A (ja) 2006-06-29 2008-01-17 National Univ Corp Shizuoka Univ 作動装置
US20080136775A1 (en) * 2006-12-08 2008-06-12 Conant Carson V Virtual input device for computing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002102251A (ja) 2000-07-12 2002-04-09 Siemens Ag 患者への医学的侵襲に関するデータを可視化するための可視化装置及び方法
EP1555507A1 (en) * 2004-01-19 2005-07-20 Fanuc Ltd Three-dimensional visual sensor

Also Published As

Publication number Publication date
EP2214872B1 (de) 2019-02-13
JP5249343B2 (ja) 2013-07-31
DE102007055204A1 (de) 2009-05-20
KR20100106308A (ko) 2010-10-01
WO2009065831A2 (de) 2009-05-28
WO2009065831A3 (de) 2009-10-15
DE102007055204B4 (de) 2010-04-08
US8965583B2 (en) 2015-02-24
JP2011502673A (ja) 2011-01-27
CN101903140B (zh) 2013-03-06
CN101903140A (zh) 2010-12-01
US20100275719A1 (en) 2010-11-04
EP2214872A2 (de) 2010-08-11

Similar Documents

Publication Publication Date Title
KR101280665B1 (ko) 로봇, 의료 작업장, 및 대상물의 표면에 영상을 투영하기 위한 방법
KR101413920B1 (ko) 네비게이션 시스템의 검출장치의 배치위치를 결정하기 위한 방법, 및 네비게이션 시스템의 검출장치를 배치하기 위한 방법
US8392022B2 (en) Device comprising a robot, medical work station, and method for registering an object
KR102218244B1 (ko) 영상 포착 장치 및 조작 가능 장치 가동 아암들의 제어된 이동 중의 충돌 회피
US7076286B2 (en) Surgical microscope
US20220313366A1 (en) Systems and methods for spinal surgical procedures
US20110190790A1 (en) Method For Operating A Medical Robot, Medical Robot, And Medical Work Place
US20210315637A1 (en) Robotically-assisted surgical system, robotically-assisted surgical method, and computer-readable medium
KR20120041455A (ko) 수술용 로봇의 움직임 제어/보상 방법 및 장치
US11229493B2 (en) Motion programming of a robotic device
EP4362804A1 (en) Improved imaging systems and methods
US20230126611A1 (en) Information processing apparatus, information processing system, and information processing method
US20230414185A1 (en) Imaging systems and methods
WO2023183854A1 (en) Improved imaging systems and methods
US20220351385A1 (en) Systems and methods for anatomical segmentation
US20220330986A1 (en) Robot assisted rod bending
EP4041125A1 (en) Physical medical element placement systems
CN113945589A (zh) 一种带防脱落检测的口腔种植手术机器人及控制方法

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 7