KR101580559B1 - 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치 - Google Patents

의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치 Download PDF

Info

Publication number
KR101580559B1
KR101580559B1 KR1020140066814A KR20140066814A KR101580559B1 KR 101580559 B1 KR101580559 B1 KR 101580559B1 KR 1020140066814 A KR1020140066814 A KR 1020140066814A KR 20140066814 A KR20140066814 A KR 20140066814A KR 101580559 B1 KR101580559 B1 KR 101580559B1
Authority
KR
South Korea
Prior art keywords
medical
image
practitioner
advice
voice
Prior art date
Application number
KR1020140066814A
Other languages
English (en)
Other versions
KR20150138645A (ko
Inventor
문영래
박상하
김종민
심성우
손홍문
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020140066814A priority Critical patent/KR101580559B1/ko
Priority to PCT/KR2015/005435 priority patent/WO2015186930A1/ko
Publication of KR20150138645A publication Critical patent/KR20150138645A/ko
Application granted granted Critical
Publication of KR101580559B1 publication Critical patent/KR101580559B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

의료계에서 시술자(실제 의료행위를 하는 자)와 의료 전문가(시술자의 의료 행위를 원격에서 지원해주는 자) 간에 의료 영상 및 정보를 실시간으로 상호 전송해주어 정확하고 신속한 의료 행위가 이루어질 수 있도록 한 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치에 관한 것으로서, 시술자의 의료 시술시 시술 대상을 촬영한 의료 영상을 획득하여 전송하고, 원격에 위치한 의료 전문가가 전송한 조언 영상 및 조언 음성을 시술자가 착용한 장치 또는 시술자가 확인할 수 있는 디스플레이장치에 실시간으로 디스플레이해주는 시술자 장치; 상기 시술자 장치로부터 획득한 의료 영상을 네트워크를 통해 원격에 위치한 의료 전문가 단말기로 전송하고, 상기 원격에 위치한 의료 전문가 단말기로부터 전송된 조언 영상 및 조언 음성을 상기 시술자 장치로 중계해주는 중계기; 및 상기 네트워크를 통해 상기 중계기로부터 전송된 시술 영상을 화면에 디스플레이하고, 의료 전문가의 조작에 의해 발생하는 조언 영상 및 조언 음성을 상기 네트워크를 통해 실시간으로 상기 시술자 장치로 전송해주는 의료 전문가 단말기를 포함한다.

Description

의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치{Medical image and information real time interaction transfer and remote assist system}
본 발명은 의료 영상 및 정보 실시간 상호전송 및 원격 지원에 관한 것으로, 특히 의료계에서 시술자(실제 의료행위를 하는 자)와 의료 전문가(시술자의 의료 행위를 원격에서 지원해주는 자) 간에 의료 영상 및 정보를 실시간으로 상호 전송해주어 정확하고 신속한 의료 행위가 이루어질 수 있도록 한 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치에 관한 것이다.
전자 및 통신 기술의 발달로 인해, 의료계에서도 이를 활용하여 다양한 의료 영상을 원격에 위치한 시스템으로 전송하거나 생방송 수술(live surgery)에서 획득한 영상을 전송하는 것이 이용되고 있다.
특히, 생방송 수술의 경우, 시술자가 시술을 하면서 촬영되는 시술 영상을 단방향 전송을 통해 전송하고, 이를 수신한 장비(컴퓨터나 디스플레이 장치)에서 화면에 표출하여 확인할 수 있도록 한다. 이 경우 시술 영상이 단방향 전송이라 원격에서 이를 확인하는 확인자가 시술에 대한 조언을 하거나 조언 영상을 시술자에게 전송하는 것이 불가능한 단점이 있다.
상기와 같은 의료 영상의 단방향 전송으로 인해 발생하는 단점을 개선하기 위해서, 종래에 제안된 양방향 수술 지원시스템이 하기의 <특허문헌 1> 일본 공개특허공보 특개평11-197159호(1999.7.27. 공개)에 개시되었다.
<특허문헌 1>에 개시된 종래기술은 수술 시뮬레이션으로 얻어진 수술 계획 데이터를 수술 내비게이션에 이용하는 것에 의해, 계획대로 정확하게 수술에 대한 개입을 유도할 수 있고, 수술 내비게이션으로 얻어진 수술 평가 데이터를 수술 시뮬레이션에 이용하는 것에 의해 적절한 수술 전 계획을 세울 수 있도록 한 수술 지원시스템을 제공한다.
일본 공개특허공보 특개평11-197159호(1999.7.27. 공개)
그러나 상기와 같은 일반적인 의료 영상 전송 시스템은 단방향 의료 영상 전송 방식이므로, 실시간으로 원격에 위치한 의료 전문가의 지원을 받을 수 없는 단점이 있었다.
또한, 상기와 같은 종래기술은 양방향 영상 전송은 가능하나 실시간으로 원격에 위치한 의료 전문가의 조언 영상을 시술자에게 제공해주지 못하므로, 시술자가 보다 정확하고 신속한 처리를 하는 데 있어서 한계가 있었다.
본 발명의 목적은 상기와 같은 일반적인 의료 영상 전송 시스템 및 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 의료계에서 시술자(실제 의료행위를 하는 자)와 의료 전문가(시술자의 의료 행위를 원격에서 지원해주는 자) 간에 의료 영상 및 정보를 실시간으로 상호 전송해주어 정확하고 신속한 의료 행위가 이루어질 수 있도록 한 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치를 제공하는 것이다.
본 발명의 다른 목적은 실시간으로 원격지의 의료 전문가(조언자)가 시술자에게 조언 영상을 화면에 표시해주고 조언 음성을 전송해주어 보다 정확하고 신속하게 시술이 이루어질 수 있도록 한 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치를 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치는 시술자의 의료 시술시 시술 대상을 촬영한 의료 영상을 획득하여 전송하고, 원격에 위치한 의료 전문가가 전송한 조언 영상 및 조언 음성을 시술자가 착용한 장치 또는 시술자가 확인할 수 있는 디스플레이장치에 실시간으로 디스플레이해주는 시술자 장치; 상기 시술자 장치로부터 획득한 의료 영상을 네트워크를 통해 원격에 위치한 의료 전문가 단말기로 전송하고, 상기 원격에 위치한 의료 전문가 단말기로부터 전송된 조언 영상 및 조언 음성을 상기 시술자 장치로 중계해주는 중계기; 및 상기 네트워크를 통해 상기 중계기로부터 전송된 시술 영상을 화면에 디스플레이하고, 의료 전문가의 조작에 의해 발생하는 조언 영상 및 조언 음성을 상기 네트워크를 통해 실시간으로 상기 시술자 장치로 전송해주는 의료 전문가 단말기를 포함하는 것을 특징으로 한다.
상기에서 시술자 장치는 시술자가 직접 착용하고 시술 영상을 획득하여 전송하거나 의료 전문가로부터 전송된 조언 영상 및 조언 음성을 실시간으로 시술자에게 디스플레이해주기 위한 의료용 안경 또는 관절경 내시경 또는 현미경 중 적어도 어느 하나로 구현되는 것을 특징으로 한다.
상기에서 시술자 장치는 시술자가 의료 지원 모드를 선택하고, 카메라가 시술 영상을 자동으로 추적하기 위한 자동 추적 모드나 시술자가 수동으로 카메라의 위치를 설정하기 위한 수동 추적 모드를 선택하기 위한 조작부; 실시간으로 시술 영상을 획득하기 위한 카메라; 상기 카메라에서 획득한 시술 영상을 처리하는 영상 처리부; 상기 획득한 시술 영상의 전송과 원격 의료 전문가로부터 전송된 조언 영상 및 조언 음성의 출력을 제어하는 제어부; 상기 시술자 장치와 의료 전문가 단말기 간의 영상 및 음성을 송수신하기 위한 통신 모듈; 상기 제어부의 제어에 따라 원격에 위치한 의료 전문가가 전송한 조언 영상을 실시간으로 표시해주는 영상 표시부를 포함하는 것을 특징으로 한다.
상기에서 통신 모듈은 상기 중계기와 유선 또는 근거리 무선 통신으로 영상 및 음성 데이터를 송수신하는 것을 특징으로 한다.
상기에서 영상 표시부는 의료용 안경의 유리에 부착된 투명필름이나 장비의 반사렌즈를 이용하여 원격에서 전송된 의료 전문가의 조언 영상을 헤드업 디스플레이(HUD; Head-up display) 방식으로 시술자에게 디스플레이해주는 것을 특징으로 한다.
상기에서 시술자 장치는 시술자 장치를 착용한 시술자의 머리 움직임을 감지하는 머리 움직임 감지부를 더 포함하고, 상기 제어부는 상기 조작부에 의해 자동 추적 모드가 선택된 경우 상기 머리 움직임 감지부에서 감지한 머리 움직임 방향을 인식하고, 상기 머리 움직임 방향의 반대 방향으로 카메라가 이동하도록 카메라의 위치를 제어하며, 상기 머리 움직임 감지부는 위치 및 방향 감지가 가능한 자이로 센서를 포함하는 것을 특징으로 한다.
상기에서 시술자 장치는 상기 제어부에서 발생하는 카메라 이동 제어신호에 따라 상기 카메라를 이동시키는 카메라 구동부를 더 포함하는 것을 특징으로 한다.
상기에서 시술자 장치는 상기 제어부의 제어에 따라 원격에 위치한 의료 전문가에게 전송한 시술자 음성을 입력받기 위한 마이크; 상기 제어부의 제어에 따라 원격에 위치한 의료 전문가가 전송한 조언 음성을 실시간으로 시술자가 확인할 수 있도록 송출해주는 이어폰; 상기 시술 영상 및 조언 영상, 시술자의 음성 및 조언 음성을 저장하기 위한 저장부를 더 포함하는 것을 특징으로 한다.
상기에서 시술자 장치가 의료용 안경으로 구현되는 경우, 영상 표시부는 안경 유리에 구현되고, 상기 카메라는 안경 유리와 유리 사이의 중앙에 설치되는 것을 특징으로 한다.
본 발명에 따르면 의료계에서 시술자(실제 의료행위를 하는 자)와 의료 전문가(시술자의 의료 행위를 원격에서 지원해주는 자) 간에 쌍방향 통신을 통해 의료 영상 및 정보를 실시간으로 상호 전송해주어 정확하고 신속한 의료 행위가 이루어질 수 있도록 도모해주는 장점이 있다.
또한, 본 발명에 따르면 실시간으로 원격지의 의료 전문가(조언자)가 시술자에게 조언 영상을 화면에 표시해주고 조언 음성을 전송해주어 보다 정확하고 신속하게 시술이 이루어질 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치의 블록 구성도,
도 2는 도 1의 시술자 장치를 의료용 안경으로 구현한 경우의 실시 예 사시도,
도 3은 도 1의 시술자 장치의 실시 예 블록 구성도,
도 4는 본 발명에서 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치의 개념을 설명하기 위한 개념도.
이하 본 발명의 바람직한 실시 예에 따른 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치의 블록 구성도이다.
본 발명의 실시 예에 따른 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치는 시술자 장치(100), 중계기(200), 네트워크(300) 및 의료 전문가 단말기(400)를 포함한다.
상기 시술자 장치(100)는 시술자의 의료 시술시 시술 대상을 촬영한 의료 영상을 획득하여 전송하고, 원격에 위치한 의료 전문가가 전송한 조언 영상 및 조언 음성을 시술자가 착용한 장치 또는 시술자가 확인할 수 있는 디스플레이장치에 실시간으로 디스플레이해주는 역할을 한다.
이러한 시술자 장치(100)는 시술자가 직접 착용하고 시술 영상을 획득하여 전송하거나 의료 전문가로부터 전송된 조언 영상 및 조언 음성을 실시간으로 시술자에게 디스플레이해주기 위한 의료용 안경 또는 내시경 또는 관절경 또는 현미경 중 적어도 어느 하나로 구현되는 것이 바람직하다.
여기서 시술자 장치(100)를 도 2와 같은 의료용 안경으로 구현할 경우, 시술자가 직접 의료용 안경을 착용하고, 시술 대상 영상을 촬영하여 원격에 위치한 의료 전문가에게 전송한다. 원격에 위치한 의료 전문가로부터 전송된 조언 영상은 영상 표시부(102)인 의료용 안경의 유리에 디스플레이된다. 아울러 조언 음성은 이어폰(103)을 통해 송출되어, 실시간으로 시술자와 의료 전문가 간에 쌍방향으로 의료 영상이 전송되고, 실시간으로 의료 지원이 가능해진다.
상기 시술자 장치(100)는 도 3에 도시한 바와 같이, 시술자가 의료 지원 모드를 선택하고, 카메라가 시술 영상을 자동으로 추적하기 위한 자동 추적 모드나 시술자가 수동으로 카메라의 위치를 설정하기 위한 수동 추적 모드를 선택하기 위한 조작부(111); 실시간으로 시술 영상을 획득하기 위한 카메라(106); 상기 카메라(106)에서 획득한 시술 영상을 통상의 영상 처리 기법으로 처리하는 영상 처리부(112); 상기 획득한 시술 영상의 전송과 원격 의료 전문가로부터 전송된 조언 영상 및 조언 음성의 출력을 제어하는 제어부(114); 상기 시술자 장치(100)와 의료 전문가 단말기(400) 간의 영상 및 음성을 송수신하기 위한 통신 모듈(115); 상기 제어부(114)의 제어에 따라 원격에 위치한 의료 전문가가 전송한 조언 영상을 실시간으로 표시해주는 영상 표시부(102)를 포함한다. 시술자 장치가 의료용 안경으로 구현되는 경우, 상기 영상 표시부(102)는 안경 유리에 구현되고, 상기 카메라(106)는 안경 유리와 유리 사이의 중앙에 설치되는 것이 바람직하다.
여기서 통신 모듈(115)은 상기 중계기(200)와 유선 또는 근거리 무선 통신으로 영상 및 음성 데이터를 송수신하는 것이 바람직하다. 통신 모듈(115)과 상기 중계기(200)는 블루투스나 와이-파이와 같은 근거리 무선 통신방식으로 통신을 수행하는 것이 더욱 바람직하다.
아울러 상기 영상 표시부(102)는 의료용 안경의 유리에 부착된 투명필름이나 장비의 반사렌즈를 이용하여 원격에서 전송된 의료 전문가의 조언 영상을 헤드업 디스플레이(HUD; Head-up display) 방식으로 시술자에게 디스플레이해주는 것이 바람직하다.
또한, 상기 시술자 장치(100)는 시술자 장치를 착용한 시술자의 머리 움직임을 감지하는 머리 움직임 감지부(116)를 포함하는 것이 바람직하다. 여기서 머리 움직임 감지부(116)는 머리가 움직인 위치 및 방향을 감지하기 위한 다양한 센서를 이용할 수 있으며, 본 발명에서는 실시 예로 자이로 센서를 이용한다.
상기 제어부(114)는 상기 조작부(111)에 의해 자동 추적 모드가 선택된 경우 상기 머리 움직임 감지부(116)에서 감지한 머리 움직임 방향을 인식하고, 상기 머리 움직임 방향의 반대 방향으로 카메라가 이동하도록 카메라의 위치를 제어한다.
또한, 상기 시술자 장치(100)는 상기 제어부(114)에서 발생하는 카메라 이동 제어신호에 따라 상기 카메라(106)를 이동시키는 카메라 구동부(113); 상기 제어부(114)의 제어에 따라 원격에 위치한 의료 전문가에게 전송한 시술자 음성을 입력받기 위한 마이크(105); 상기 제어부(114)의 제어에 따라 원격에 위치한 의료 전문가가 전송한 조언 음성을 실시간으로 시술자가 확인할 수 있도록 송출해주는 이어폰(103); 상기 시술 영상 및 조언 영상, 시술자의 음성 및 조언 음성을 저장하기 위한 저장부(117)를 더 포함하는 것이 바람직하다.
상기 중계기(200)는 상기 시술자 장치(100)로부터 획득한 의료 영상을 네트워크(300)를 통해 원격에 위치한 의료 전문가 단말기(400)로 전송하고, 상기 원격에 위치한 의료 전문가 단말기(400)로부터 전송된 조언 영상 및 조언 음성을 상기 시술자 장치(100)로 중계해주는 역할을 한다. 이러한 중계기(200)는 복수의 시술자 장치와 1: N 통신 방식으로 연결되는 것이 바람직하다.
상기 네트워크(300)는 상기 중계기(200)와 의료 전문가 단말기(400) 간의 데이터를 상호 전송해주는 통신망으로서, 다양한 통신망으로 구현 가능하나 본 발명에서는 인터넷을 이용하는 것으로 가정한다.
상기 의료 전문가 단말기(400)는 상기 네트워크(300)를 통해 상기 중계기(200)로부터 전송된 시술 영상을 화면에 디스플레이하고, 의료 전문가의 조작에 의해 발생하는 조언 영상 및 조언 음성을 상기 네트워크(300)를 통해 실시간으로 상기 시술자 장치(100)로 전송해주는 역할을 한다.
이러한 의료 전문가 단말기(400)는 통상의 퍼스널컴퓨터(PC)로 구현하거나, 스마트폰과 같은 모바일기기로 구현할 수 있다.
이와 같이 구성된 본 발명의 바람직한 실시 에에 따른 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치의 구체적인 동작을 첨부한 도면 도1 내지 도4를 참조하여 상세히 설명하면 다음과 같다.
본 발명은 의료계 전 분야에 걸쳐 내시경이나 관절경 수술뿐 아니라 개방적 수술에 있어서도 실시간으로 원격지의 전문가 조언 및 상호의사 교류를 통해 시술자가 보다 정확하고 신속한 처치를 할 수 있도록 도모해주기 위한 것이다.
특히, 전문 의료 인력이 부족한 상황에서 응급한 조치가 필요할 경우, 더욱 유용할 것으로 예상된다. 아울러 의료 전문가의 조언 영상을 화면에 직접 표시를 해주는 상호전송 및 영상 제어를 통해 수술자나 시술자가 원거리에 있는 전문가로부터 실시간으로 음성뿐 아니라 영상을 통해 조언을 구할 수 있어, 수술이나 시술중 보다 정확하고 즉각적인 조치가 가능하다.
먼저, 환자를 시술(또는, 수술)하는 시술자(또는, 수술자)는 원격에 위치한 의료 전문가로부터 조언을 얻고자 하면, 시술자 장치(100)를 통해 실시간으로 환자 의료 영상을 의료 전문가에게 전송하고, 의료 전문가로부터 전송된 조언 영상 및/또는 조언 음성을 실시간으로 청취하면서, 시술을 하게 된다.
여기서 시술자 장치(100)는 도 2에 도시한 바와 같이, 시술자가 직접 착용하고 사용할 수 있는 의료용 안경을 이용하거나, 내시경, 관절경 및 현미경을 이용할 수도 있다. 의료용 안경의 경우 영상의 실시간 전송, 원격 실시간 편집된 영상의 수신, 음성의 송수신이 직접적으로 가능하다. 내시경, 관절경 및 현미경의 경우, 영상 송수신 프로그램만 추가로 설치하여 통신을 하도록 한다. 원격의 조언자 역시 기존의 컴퓨터를 이용할 경우 간단한 통신 프로그램만을 설치하여 즉각적으로 화면에 표시하거나 마이크를 통해 조언을 해줄 수 있다. 스마트폰과 같은 모바일 기기를 사용할 경우 의료용 애플리케이션을 통해 언제 어디서든 화면에 표시하거나 마이크를 통해 조언을 해줄 수 있다. 본 발명에서는 설명의 편의를 위해 시술자가 시술자 장치(100)로 도 2와 같은 의료용 안경을 사용하는 것으로 가정을 한다.
의료 전문가에게 원격으로 의료를 지원받기 위해서, 시술자는 시술자 장치(100)의 조작부(111)를 통해 의료 전문가를 선택한다. 의료 전문가가 선택되면 제어부(114)는 그 선택된 의료 전문가가 휴대 또는 사용하는 단말기와 접속을 위해 저장부(117)에 저장된 접속 정보(모바일 기기일 경우 전화번호, 퍼스널컴퓨터일 경우 등록된 URL정보)를 추출하고, 이를 통신 모듈(115)로 전송한다. 통신 모듈(115)은 안테나(104)를 통해 중계기(200)와 접속하여 접속 정보를 전송해주게 되고, 중계기(200)는 네트워크(300)를 통해 의료 전문가 단말기(400)와 접속한다. 여기서 네트워크(300)를 통한 단말기 접속 방식은 일반적인 통신에서 원격에 위치한 단말기를 접속하는 방법과 동일하므로, 구체적인 설명은 생략하기로 한다.
상기와 같은 과정을 통해 시술자 장치(100)와 의료 전문가 단말기(400)가 접속된 상태에서, 시술자는 시술자 장치(100)의 조작부(111)를 통해 의료 영상 전송 모드를 선택한다. 여기서 의료 영상 전송 모드는 카메라(106)가 시술 대상을 지속적으로 추적하면서 시술 대상을 촬영하여 의료 영상을 획득하기 위한 자동 추적 모드와 사용자가 카메라(106)의 위치를 고정한 상태에서 시술 대상을 촬영하여 획득한 의료 영상을 전송하기 위한 수동 추적 모드를 선택한다. 수동 추적 모드를 선택한 경우, 카메라(106)가 고정된 상태이므로 시술자가 머리를 움직이게 되면 카메라(106)가 촬영 위치도 달라진다. 자동 추적 모드를 선택한 경우, 카메라(106)가 이동하게 되므로 시술자가 머리를 움직이는 경우에는 시술 대상을 지속적으로 촬영할 수 있게 된다. 본 발명에서는 자동 추적 모드에 대해서 설명하기로 한다.
자동 추적 모드가 선택된 상태에서, 초기 카메라(106)는 시술자의 주시 방향에 따라 시술 대상의 영상을 촬영하게 되고, 이렇게 획득되는 시술 대상의 촬영 영상은 영상 처리부(112)를 통해 일반적인 영상 처리 기법을 통해 처리되어 제어부(114)에 전달된다.
제어부(114)는 전달되는 시술 대상자의 촬영 영상을 저장부(117)에 저장함과 동시에 통신 모듈(115)로 전달하여, 원격에 위치한 의료 전문가 단말기(400)로 해당 의료 영상이 전송되도록 한다.
원격에 위치한 의료 전문가는 의료 전문가 단말기(400)를 통해 디스플레이되는 시술대상 환자의 의료 영상을 보게 된다. 이로써 의료 전문가는 원격에 위치해 있으면서도 자신이 직접 환자를 시술하는 것과 같이 환자의 시술 위치를 볼 수 있게 된다.
도 4의 참조부호 10은 환자의 시술 대상을 나타낸 것이며, 참조부호 102는 시술자 장치(100)의 안경 유리를 통해 시술자가 보고 있는 시술 대상 영상을 나타낸 것이며, 참조부호 121은 현미경을 통해 촬영되는 시술 대상 영상을 나타낸 것이며, 참조부호 122는 관절경을 통해 촬영되는 시술 대상 영상을 나타낸 것이다.
그리고 참조부호 400은 의료 전문가 단말기에서 디스플레이되는 시술 대상 영상을 나타낸 것으로서, 좌측은 의료 전문가가 모바일 기기를 이용할 경우와 영상 화면을 나타낸 것이고, 우측은 퍼스널컴퓨터를 이용할 경우 모니터에 디스플레이되는 영상 화면을 나타낸 것이다.
의료 전문가는 모바일 기기의 화면 또는 퍼스널컴퓨터의 모니터에 시술 대상 영상이 디스플레이되면, 이를 확인하고 영상으로 의료 조언을 하거나 음성으로 의료 조언을 하거나 영상과 음성을 동시에 이용하여 의료 조언을 하게 된다. 여기서 영상을 이용한 영상 조언일 경우, 자신이 직접 시술하는 것과 같이 화면에 디스플레이되는 시술 대상 영상을 화면상에서 직접 조작하여 조언 영상을 생성한다. 예컨대, 의료 전문가는 화면에 디스플레이되는 시술 대상 영상을 직접 조작하여 시술자에게 전송할 조언 영상을 생성한다. 아울러 조언 영상 생성시 실제 시술자가 옆에 있다고 가정을 하고 시술 방법 등을 설명하는 것으로 조언 음성의 생성도 가능하다.
이렇게 생성되는 조언 영상 및 조언 음성은 네트워크(300), 중계기(200)를 순차 통해 시술자 장치(100)의 통신 모듈(115)에서 수신된다. 통신 모듈(115)은 수신된 조언 영상 및 조언 음성을 신호 처리한 후 제어부(114)에 전달한다. 제어부(114)는 전달되는 조언 영상을 영상 표시부(102)를 통해 디스플레이해주고, 조언 음성은 이어폰(103)으로 송출해준다. 여기서 영상 표시부(102)는 실제 시술자가 착용한 의료용 안경의 유리 부분이라고 할 수 있다. 영상 디스플레이 방식은 헤드-업 디스플레이 방식을 이용하는 것이 바람직하다. 따라서 시술자는 실시간으로 원격에 위치한 의료 전문가가 조언해주는 조언 영상 및 조언 음성을 청취하면서, 시술(또는, 수술)을 함으로써, 시술을 보다 정확하고 신속하게 할 수 있게 되는 것이다.
한편, 본 발명의 다른 특징으로서 자동 추적 모드에서 의료용 안경을 착용한 시술자가 머리를 움직이게 되면, 카메라(106가 주시해야 할 위치가 달라져, 정확하게 시술 대상 영상을 획득하는 것이 어려워질 수도 있다. 실제 원격에 위치한 의료 전문가는 시술자가 전송해주는 시술 대상 영상에만 의존한다. 따라서 시술 대상 영상을 검사하는 도중에 시술 대상 영상이 사라지거나 위치가 변경되면 시술 대상 영상을 정확하게 분석하는 것이 어렵고, 이로 인해 정확하게 조언 영상을 생성하거나 조언 음성을 생성하는 것이 어려워질 수 있다. 이러한 문제점을 개선하기 위해서 본 발명에서는 자동 추적 모드일 경우, 시술자의 머리가 움직여도 카메라(106)는 지속적으로 시술 대상 영상을 주시하여 촬영이 이루어지도록 한다. 예컨대, 머리 움직임 감지부(116)는 자이로 센서와 같이 위치와 방향 등을 감지할 수 있는 센서를 이용하여 시술자가 머리를 움직이면 이를 감지한다. 그리고 머리 움직임 감지 값(예를 들어, 머리 움직인 방향 및 머리 움직임 량)을 제어부(114)에 전달한다.
제어부(114)는 머리 움직임 감지 값이 전달되면, 그 움직인 머리 방향의 반대 방향으로 카메라(106)가 이동하도록 하는 제어를 한다. 예를 들어, 시술자가 머리를 오른쪽으로 틀었고, 그 움직임 량이 5cm정도라고 가정을 하면, 제어는 카메라(106)를 왼쪽으로 동작시키고 5cm정도의 움직임 량에 대응한 이동량이 되도록 제어를 한다. 이러한 제어 값은 내무 메모리에 미리 테이블 형태로 저장해 놓고 사용하는 것이 바람직하다. 상기 카메라 제어신호에 따라 카메라 구동부(113)는 카메라(106)를 이동시키는 모터를 시술자가 움직인 방향과 반대 방향으로 구동시키게 된다. 이로써 시술 영상을 촬영하는 시술자가 머리를 움직여도 카메라(106)는 이전 주시 방향을 그대로 주시하도록 하여, 시술 도중에 시술자가 머리를 움직여도 시술 대상 영상의 촬영이 연속적으로 이루어지도록 한다.
만약, 사용자가 수동 추적 모드를 선택한 경우에는 카메라가 고정되어, 시술자의 머리 움직임 방향과 동일한 방향으로 카메라 촬영 방향이 위치하도록 한다.
또한, 본 발명의 다른 실시 예로서, 의료영상의 경우 단순히 수술자의 시야에 보이는 영상을 전송하는 것이 아니라 카메라가 3차원적으로 객체를 인식하여 영상을 전송하는 것도 가능하다. 여기서 카메라를 3D 카메라를 이용하면, 용이하게 3차원 시술 대상 영상을 획득할 수 있다. 이렇게 3차원 의료 영상을 이용하게 되면 시야가 지속적으로 바뀌는 상황에서도 조언자가 지적해 주는 표시점 위치가 정확하게 유지될 수 있게 된다. 이러한 방법 이외에 기존 디지털 카메라의 얼굴 인식 기능(디지털카메라로 얼굴인식 할 수 있는 원리는 이미지센서에 받아들여진 빛의 정보를 사람 눈, 코, 입 등 거리와 모양을 축적한 데이터베이스와 비교해 얼굴로 인식)을 응용하여 특정개체를 인식하여 이를 기준으로 삼아 시야가 지속적으로 바뀌더라도 원격 표시점의 위치를 일정하게 유지할 수 있는 것도 가능하다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 의료 영상을 쌍방향 통신을 통해 실시간으로 시술자와 원격에 위치한 의료 전문가 간에 송수신할 수 있도록 한 기술에 적용된다.
100: 시술자 장치
200: 중계기
300: 네트워크
400: 의료 전문가 단말기

Claims (10)

  1. 시술자의 의료 시술시 시술 대상을 촬영한 의료 영상을 획득하여 전송하고, 원격에 위치한 의료 전문가가 전송한 조언 영상 및 조언 음성을 시술자가 착용한 장치 또는 시술자가 확인할 수 있는 디스플레이장치에 실시간으로 디스플레이해주는 시술자 장치를 포함하고,
    상기 시술자 장치는 시술자가 의료 지원 모드를 선택하고, 카메라가 시술 영상을 자동으로 추적하기 위한 자동 추적 모드나 시술자가 수동으로 카메라의 위치를 설정하기 위한 수동 추적 모드를 선택하기 위한 조작부; 시술 영상의 전송과 원격 의료 전문가로부터 전송된 조언 영상 및 조언 음성의 출력을 제어하는 제어부; 시술자 장치를 착용한 시술자의 머리 움직임을 감지하는 머리 움직임 감지부; 실시간으로 시술 영상을 획득하기 위한 카메라; 상기 카메라에서 획득한 시술 영상을 처리하는 영상 처리부; 상기 시술자 장치와 의료 전문가 단말기 간의 영상 및 음성을 송수신하기 위한 통신 모듈; 상기 제어부의 제어에 따라 원격에 위치한 의료 전문가에게 전송한 시술자 음성을 입력받기 위한 마이크; 상기 제어부의 제어에 따라 원격에 위치한 의료 전문가가 전송한 조언 음성을 실시간으로 시술자가 확인할 수 있도록 송출해주는 이어폰; 상기 시술 영상 및 조언 영상, 시술자의 음성 및 조언 음성을 저장하기 위한 저장부를 포함하고,
    상기 제어부는 상기 조작부에 의해 자동 추적 모드가 선택된 경우 상기 머리 움직임 감지부에서 감지한 머리 움직임 방향을 인식하고, 상기 머리 움직임 방향의 반대 방향으로 카메라가 이동하도록 카메라의 위치를 제어하며,
    상기 시술자 장치는 시술자가 직접 착용하고 시술 영상을 획득하여 전송하거나 의료 전문가로부터 전송된 조언 영상 및 조언 음성을 실시간으로 시술자에게 출력해주기 위한 의료용 안경 또는 관절경 내시경 또는 현미경 중 적어도 어느 하나로 구현되는 것을 특징으로 하는 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서, 상기 통신 모듈은 중계기와 유선 또는 근거리 무선 통신으로 영상 및 음성 데이터를 송수신하는 것을 특징으로 하는 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치.
  5. 삭제
  6. 청구항 1에 있어서, 상기 시술자 장치로부터 획득한 의료 영상을 네트워크를 통해 원격에 위치한 의료 전문가 단말기로 전송하고, 상기 원격에 위치한 의료 전문가 단말기로부터 전송된 조언 영상 및 조언 음성을 상기 시술자 장치로 중계해주는 중계기; 및
    상기 네트워크를 통해 상기 중계기로부터 전송된 시술 영상을 화면에 디스플레이하고, 의료 전문가의 조작에 의해 발생하는 조언 영상 및 조언 음성을 상기 네트워크를 통해 실시간으로 상기 시술자 장치로 전송해주는 의료 전문가 단말기를 더 포함하는 것을 특징으로 하는 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치.
  7. 청구항 1에 있어서, 상기 시술자 장치는 상기 제어부에서 발생하는 카메라 이동 제어신호에 따라 카메라의 촬영 위치를 이동시키는 카메라 구동부를 더 포함하는 것을 특징으로 하는 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치.
  8. 삭제
  9. 청구항 1에 있어서, 상기 시술자 장치가 의료용 안경으로 구현되는 경우, 영상 표시부는 안경 유리에 구현되고, 상기 카메라는 안경 유리와 유리 사이의 중앙에 설치되는 것을 특징으로 하는 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치.
  10. 청구항 1에 있어서, 상기 의료 전문가 단말기는 스마트폰을 포함하는 모바일 기기 또는 퍼스널컴퓨터로 구현되며, 의료 전문가가 직접 상기 모바일 기기 또는 퍼스널컴퓨터의 조작을 통해 발생하는 영상 및 음성을 통해 발생하는 음성을 각각 조언 영상 및 조언 음성을 생성하여 쌍방향 통신을 통해 실시간으로 상기 시술자 장치로 전송하는 것을 특징으로 하는 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치.

KR1020140066814A 2014-06-02 2014-06-02 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치 KR101580559B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140066814A KR101580559B1 (ko) 2014-06-02 2014-06-02 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치
PCT/KR2015/005435 WO2015186930A1 (ko) 2014-06-02 2015-05-29 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140066814A KR101580559B1 (ko) 2014-06-02 2014-06-02 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치

Publications (2)

Publication Number Publication Date
KR20150138645A KR20150138645A (ko) 2015-12-10
KR101580559B1 true KR101580559B1 (ko) 2015-12-28

Family

ID=54766963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140066814A KR101580559B1 (ko) 2014-06-02 2014-06-02 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치

Country Status (2)

Country Link
KR (1) KR101580559B1 (ko)
WO (1) WO2015186930A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860053B2 (en) 2017-11-17 2020-12-08 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method of controlling the same

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101954315B1 (ko) * 2017-10-30 2019-03-06 주식회사 디자인모올 재난현장 응급구조사 착용용 웨어러블 디바이스
KR101906398B1 (ko) * 2018-02-12 2018-10-08 주식회사 파인트리시스템 실시간 객체추적을 이용한 내시경 진료정보 공유 방법
KR102265259B1 (ko) * 2020-07-09 2021-06-15 주식회사 스마트 잭 시약 위치 안내를 위한 증강현실 서비스 방법 및 장치
US20220044798A1 (en) * 2020-08-06 2022-02-10 Koninklijke Philips N.V. Audio and video processing for safety alerts during an imaging examination
CN112669951A (zh) * 2021-02-01 2021-04-16 王春保 一种应用于智能内窥镜手术时的ai应用***
CN114376735A (zh) * 2022-01-11 2022-04-22 苏州康多机器人有限公司 用于腔镜手术机器人的术中远程操作终端交互***及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11197159A (ja) 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム
KR20020058189A (ko) * 2000-12-29 2002-07-12 박범 인터넷기반의 수술 컨퍼런스 방법 및 장치
US7367809B2 (en) * 2004-03-26 2008-05-06 Atsushi Takahashi Three-dimensional digital entity mesoscope system equipped with three-dimensional visual instruction functions
US10875182B2 (en) * 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860053B2 (en) 2017-11-17 2020-12-08 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method of controlling the same

Also Published As

Publication number Publication date
KR20150138645A (ko) 2015-12-10
WO2015186930A1 (ko) 2015-12-10

Similar Documents

Publication Publication Date Title
KR101580559B1 (ko) 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치
RU2740259C2 (ru) Позиционирование датчика ультразвуковой визуализации
AU2003234910B2 (en) Medical cockpit system
US11297285B2 (en) Dental and medical loupe system for lighting control, streaming, and augmented reality assisted procedures
US10154775B2 (en) Stereoscopic video imaging and tracking system
TWI617279B (zh) 資訊處理裝置、資訊處理方法、及資訊處理系統
US20170160549A1 (en) Augmented reality glasses for medical applications and corresponding augmented reality system
CN103845113B (zh) 无线手术放大镜及其利用方法、装置和***
KR101906551B1 (ko) 실시간 중계 및 송출 시스템
CN102186434B (zh) 手术机器人的3d显示***及其控制方法
WO2005094667A3 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
TW201505603A (zh) 資訊處理裝置、資訊處理方法及資訊處理系統
JP2021192313A (ja) 情報処理装置および方法、並びにプログラム
US20180345501A1 (en) Systems and methods for establishing telepresence of a remote user
JP2018006914A (ja) 外部撮像システム、外部撮像方法、外部撮像プログラム
JP6311393B2 (ja) 情報処理装置、情報処理方法、および、情報処理システム
US20220071484A1 (en) Virtual reality-based portable nystagmography device and diagnostic test method using same
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP7078568B2 (ja) 表示装置、表示制御方法、及び表示システム
US10855980B2 (en) Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method
US20180259780A1 (en) Medical image display apparatus, medical information processing system, and medical image display control method
JP2017055233A (ja) 表示装置、表示システム、及び、表示装置の制御方法
JP6444506B2 (ja) 画像表示制御装置、表示装置、及び、画像表示システム
WO2023052474A1 (en) Devices and systems for use in imaging during surgery
WO2023052535A1 (en) Devices and systems for use in imaging during surgery

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191112

Year of fee payment: 5