KR20000050512A - Aaaaa - Google Patents

Abstract

PURPOSE: A web-based virtual dissection system of three-dimensional medical image and its method are provided. CONSTITUTION: A system is divided into a web server and a web client, continuous two-dimensional medical image is reconstructed via data aquisition, image treating, surface model formation and VRML transformation, the continuous two-dimensional medical image is visualized to the three-dimensional medical image on the web browser including a VRML viewer and an event handler, and the result image is output via the message processing. If a user inputs the dissection information such as position, region and depth by mouse event on the visualized three-dimensional medical image on a web browser, the event handler transports the information to the message processing step.

Description

웹기반 삼차원 의학영상 가상해부시스템 및 방법{AAAAA}Web-based 3D Medical Image Virtual Anatomy System and Method {AAAAA}

본 발명은 웹 상에서 연속된 이차원 의학영상을 삼차원 의학영상으로 재구성하여 가시화하고 가시화된 삼차원 의학영상을 실제처럼 가상해부 하는 시스템과 그 방법에 관한 것이다.The present invention relates to a system and method for visualizing and reconstructing a continuous two-dimensional medical image on a web into a three-dimensional medical image and virtually dissecting the visualized three-dimensional medical image.

종래 의료용 멀티미디어 시스템 관련 개발은 영상저장 및 전송 시스템 또는 화상회의 시스템에 집중되어 있으며 이차원 의학영상이나 비디오 영상을 주로 이용한다는 제약점을 가지고 있다. 이차원 의학영상은 MRI, CT, PET영상들이 있는데 이러한 이차원 의학영상으로부터 삼차원 구조를 유추하여 진단을 내리는 것은 인체 내부의 실제 모습과 다를 수 있고, 따라서 질환에 대한 정확한 진단을 내리기가 어려워 적절한 치료법을 제시하지 못함으로 인해 치료만으로 완치 가능한 질환을 수술까지 하게 되는 경우도 있다.The related development of the medical multimedia system is concentrated on an image storage and transmission system or a video conference system, and has a limitation of mainly using two-dimensional medical images or video images. There are MRI, CT, and PET images of 2D medical images. Inferring the 3D structure from these 2D medical images can make the diagnosis different from the actual appearance inside the human body. In some cases, the disease can be cured only by treatment.

이러한 문제점을 해결하기 위해 연속된 이차원 진단영상을 삼차원으로 재구성하여 가시화 함으로써 실제의 인체 모습에 좀더 가깝게 만들어, 보다 더 정확한 병의 범위와 위치를 규명하고 진단과 치료방법 및 예후 결정에 중요한 정보를 제공하게 하려는 노력이 1970년대 초부터 계속되어왔다. 그러나, 종래 가시화 노력들은 사용 환경이 단일 시스템이나 클라이언트/서버였으므로 공간적인 제약을 받았고, 진단과 치료에 있어서는 그 유용성의 한계를 가지고 있으므로, 공간적 제약이 없는 인터넷의 웹에서 삼차원 의학영상을 재구성하고 가시화하여 병의 범위나 위치를 직접으로 보고 진단 할 수 있는 가상해부기법의 개발이 필요하다.In order to solve this problem, the continuous two-dimensional diagnostic images are reconstructed and visualized in three dimensions, making them closer to the actual human body, to identify more accurate range and location of the disease, and provide important information for diagnosis, treatment, and prognosis. Efforts to do so have continued since the early 1970s. However, the conventional visualization efforts have been limited spatially because the environment of use was a single system or client / server, and its usefulness in diagnosis and treatment has been limited. Therefore, reconstructing and visualizing 3D medical images on the web of the Internet without spatial limitations Therefore, it is necessary to develop a virtual anatomy technique that can directly diagnose and diagnose the extent or location of the disease.

위 문제점을 해결하기 위해 웹 상에서 삼차원을 표현하기 위한 표준적인 파일 포맷인 VRML을 사용하여 웹 브라우저에서 삼차원 의학영상을 재구성하고 가시화 하므로서 특정 클라이언트 프로그램이 없어도 누구나 쉽게 삼차원 의학영상에 접근 할 수 있는 방법을 제공하는데 본 발명의 첫 번째 목적이 있다.To solve the above problems, VRML, a standard file format for representing 3D on the web, is used to reconstruct and visualize 3D medical images in a web browser so that anyone can easily access 3D medical images without a specific client program. It is a first object of the present invention to provide.

또한 VRML의 움직임을 제어하는 EAI(External Authoring Interface)를 사용 하여 VRML의 각 노드와 이벤트를 제어함으로써, 웹 브라우저 내에서 대화적 방법으로 삼차원 영상을 가상 해부하여 병의 범위와 위치를 규명하고 진단과 치료방법 및 예후 결정에 중요한 정보를 제공하는 시스템을 제공하는 것에 본 발명의 두 번째 목적이 있다.In addition, by using the External Authoring Interface (EAI) to control the movement of VRML, each node and event of VRML are controlled, and virtually dissecting three-dimensional images in an interactive way within a web browser to identify the extent and location of the disease, It is a second object of the present invention to provide a system that provides important information for treatment methods and prognostic decisions.

이를 위하여 본 발명에서 웹서버와 웹클라이언트 두 부분으로 시스템을 나누어 웹서버에는 삼차원 의료영상을 생성하는 부분으로서 데이터획득 단계, 영상처리 단계, 표면모델생성 단계, VRML변환 단계, 메시지처리단계를 두고, 웹클라이언트에는 삼차원 의료영상을 출력할 수 있도록 VRML뷰어와 이벤트핸들러가 내장된 웹브라우저를 두어 인터넷의 웹에서 삼차원 의학영상을 가상해부 할 수 있도록 한다.To this end, in the present invention, the system is divided into two parts, a web server and a web client, and the web server includes a data acquisition step, an image processing step, a surface model generation step, a VRML conversion step, and a message processing step as a three-dimensional medical image generation part. The web client has a VRML viewer and a web browser with built-in event handlers for outputting 3D medical images so that 3D medical images can be virtually dissected on the web of the Internet.

도 1은 시스템의 전체적인 구성도.1 is an overall configuration diagram of a system.

도 2는 시스템의 작업 수행 절차도.2 is a procedure of performing a task of the system.

도 3 은 인체의 횡단면의 예3 is an example of a cross section of a human body

도 4는 영상보간의 예4 is an example of image interpolation

이하 첨부된 도면에 의해 상세히 설명하면 다음과 같다.Hereinafter, described in detail by the accompanying drawings as follows.

도 1은 웹 상에서 삼차원 의학영상을 재구성하고 가상해부를 할 수 있도록 하는 시스템의 전체적인 구성도로서, 이 시스템은 인터넷을 통하여 웹 클라이언트와 웹 서버의 두 부분으로 나뉘어져 정보를 교환한다.1 is an overall configuration diagram of a system for reconstructing and virtually dissecting 3D medical images on the web. The system is divided into two parts, a web client and a web server, to exchange information through the Internet.

도 1은 웹 클라이언트는 VRML뷰어와 가상해부를 위한 사용자의 질의를 입력받는 이벤트핸들러가 설치된 웹 브라우저이다. VRML이란 인터넷의 웹을 통하여 3차원의 모형을 구현할 수 있는 그래픽 언어이고, VRML을 사용하여 생성된 화일이 VRML화일이며, 웹에서 삼차원 가상현실을 체험할 수 있도록 VRML화일을 실행할 수 있도록 하는 플러그인 프로그램이 VRML뷰어이다. 이벤트핸들러란 웹브라우저에서 입력 마우스 이벤트들을 해석하여 웹서버를 전송하는 프로그램이다. VRML뷰어와 이벤트핸들러는 웹서버에 접속하는 사용자들이 자유롭게 전송 받도록 한다. 도 1의 웹 서버는 입력 데이터들을 저장하는 데이터베이스(Database)와 프로그램의 두 부분으로 구성된다. 데이터베이스(Database)에는 환자의 임상정보, 진단의사의 소견등의 글자(Text), 환자의 이차원 의학영상(MRI, CT등), 프로그램의 결과로서 생성되는 대상 물체의 표면점들이 저장된다. 프로그램은 이차원 의학영상들을 삼차원 의학영상으로 재구성하기 위해 영상처리, 표면모델생성, VRML변환, 메시지 처리 단계가 있다.1 is a web browser in which a web client is installed with an event handler that receives a VRML viewer and a user's query for virtual anatomy. VRML is a graphic language that can implement 3D models through the web of the Internet, the files created using VRML are VRML files, and a plug-in program that allows users to execute VRML files to experience 3D virtual reality on the web. This is a VRML viewer. An event handler is a program that interprets input mouse events in a web browser and sends a web server. VRML viewer and event handler allow users who connect to web server to receive freely. The web server of FIG. 1 is composed of two parts, a database for storing input data and a program. The database stores the patient's clinical information, the text of the doctor's findings, the patient's two-dimensional medical image (MRI, CT, etc.), and the surface points of the target object created as a result of the program. The program includes image processing, surface model generation, VRML conversion, and message processing steps to reconstruct two-dimensional medical images into three-dimensional medical images.

도 1의 인터넷을 통해 교환되는 정보는 웹 클라이언트에서 웹 서버로, 특정 환자에 대한 의학정보들과 가상해부 결과를 출력하라는 질의(Query)가 대화적인 방법으로 전달되고, 웹서버에서 웹 클라이언트로 질의에 대한 응답이 VRML과 HTML화일 형태로 전달된다.Information exchanged through the Internet of FIG. 1 is transmitted from a web client to a web server, and a query for outputting medical information and a virtual anatomical result of a specific patient is transmitted in an interactive manner. The response is delivered in VRML and HTML files.

도 2는 시스템의 작업 수행 절차도로서, 삼차원 의학영상을 재구성하는 방법과 가상해부를 위한 내부 가시화방법을 설명한다.FIG. 2 is a flowchart of a task performing a system, and illustrates a method of reconstructing a 3D medical image and an internal visualization method for virtual anatomy.

도 2의 데이터 획득 단계는 화일 형태의 이차원 의학영상에서 데이터를 읽어내는 부분이다. 이차원 의학영상은 인체를 세 방향에서 각각 단층 촬영한 영상들로서 이중 도 3과 같이 신체를 수직으로 절단하는 횡단면(axial plane)의 영상을 사용한다. 이차원 의학영상은 BMP화일 형태로 저장해 두었다가 상기 모듈을 통해 데이터를 읽어서 이용한다.The data acquisition step of FIG. 2 is a part of reading data from a two-dimensional medical image in the form of a file. Two-dimensional medical images are tomography images of the human body in three directions, respectively, and use an image of a axial plane that vertically cuts the body as shown in FIG. 3. Two-dimensional medical images are stored in the form of BMP files, and the data are read and used through the module.

도 2의 영상처리 단계는 흐릿하거나 잡음이 있는 영상을 강화하는 부분이다. 마스크를 사용하여 평활화 하거나 윤곽선 강조를 한다.The image processing step of FIG. 2 is a part for reinforcing a blurred or noisy image. Use masks to smooth or outline outlines.

도 2의 표면모델생성 단계는 영상보간, 영상 분할, 표면정보추출의 세 단계를 거친다. 영상보간은 인접한 영상간에 새로운 영상을 만들어내는 것으로서, 한 방향으로 영상화된 이차원 의학영상 내에서 화소간의 간격이 1∼2㎜가 되는데 반하여 단층간의 간격이 5∼10㎜이므로 등방의 해상도를 가지는 볼륨데이터 구성을 위해서는 인접한 영상들간에 새로운 영상을 만들어 낼 필요가 있다. 도 4는 영상의 보간과정의 예로서 도 4의 (가)의 두 개의 영상 사이에 도 4의 (나)와 같이 3개의 이차원 영상을 만들어 낸다. 영상분할은 보간된 영상으로부터 삼차원으로 재구성하는 부분을 제외한 나머지 부분을 제외시키는 과정이다. 이차원 의학영상은 밀도에 따라 뼈, 근육, 지방등의 밝기 값이 다르므로 대상의 밝기 값의 임계치 이상을 가지는 부위를 제외시킬 수가 있다. 표면정보추출은 물체와 배경의 경계부위에 있는 표면 점들을 찾아내는 과정으로서, 연속된 이차원 의학영상들을 위에서 아래의 순서대로 쌓은 상태에서 세 방햐으로 각 면의 크기와 동일한 세 개의 마스크를 이용하여 표면 데이터를 찾은 후 좌표축 상에서 각 점들의 삼차원 좌표를 구해낸다.The surface model generation step of FIG. 2 undergoes three steps: image interpolation, image segmentation, and surface information extraction. Image interpolation is to create a new image between adjacent images. In the two-dimensional medical image imaged in one direction, the interval between pixels becomes 1 to 2 mm, whereas the interval between tomography is 5 to 10 mm. To construct, it is necessary to create a new image between adjacent images. 4 illustrates three two-dimensional images as shown in FIG. 4B between two images of FIG. 4A as an example of an image interpolation process. Image segmentation is the process of excluding the remaining parts except for the part that is reconstructed in three dimensions from the interpolated image. Since two-dimensional medical images have different brightness values such as bones, muscles, and fats depending on their density, the two-dimensional medical image can exclude a part having a threshold value of the brightness value of the target. Surface information extraction is the process of finding the surface points on the boundary between the object and the background.The surface data is extracted using three masks equal to the size of each face in three directions while stacking consecutive two-dimensional medical images from top to bottom. Find the 3D coordinates of each point on the coordinate axis.

도 2의 VRML변환 단계는 웹 브라우저에서 삼차원 의학영상을 가시화 하기 위해 상기 표면모델생성 모듈에서 추출된 표면데이터를 VRML화일로 변환하는 부분이다. 변환된 이 파일이 프로그램의 결과로서 웹 클라이언트인 웹 브라우저로 전달된다. 이때 VRML명세에 맞도록 파일을 생성한다.In the VRML conversion step of FIG. 2, the surface data extracted from the surface model generation module is converted into a VRML file to visualize a 3D medical image in a web browser. The converted file is delivered as a result of the program to a web browser, which is a web client. At this time, the file is created to meet the VRML specification.

도 2의 메시지 처리 단계는 웹브라우저의 이벤트핸들러에서 사용자가 대화적인 방법으로 입력한 데이터를 처리하는 부분이다. 제거하는 표면 부위의 위치, 깊이, 내부, 가시화 할 부위 선택 등을 마우스 이벤트의 형태로 입력한다. 이벤트핸들러를 통해 이러한 입력 데이터들을 읽어서 웹 서버로 보내면 웹서버의 메시지 처리 모듈에서 데이터를 처리하여 표면모델생성모듈로 보낸다. 예를 들어, 허벅지 뼈의 머리부분인 대퇴골두를 웹 브라우저에서 마치 직접 해부를 하는 것처럼 위치, 영역, 깊이등의 데이터를 입력하여 내부를 볼 수 있고, 병이 있어 내부가 괴사되었다면 바깥 뼈 부분을 반투명하게 하여 괴사된 부위의 위치를 삼차원으로 볼 수가 있다.The message processing step of FIG. 2 is a part of processing data input by a user in an interactive manner in an event handler of a web browser. Enter the location, depth, interior, and area of the surface to be removed in the form of a mouse event. When the input data is read through the event handler and sent to the web server, the message processing module of the web server processes the data and sends it to the surface model generation module. For example, the femoral head, which is the head of the thigh bone, can be viewed by entering data such as position, area, and depth as if it were dissected directly in a web browser. The translucent and necrotic site can be viewed in three dimensions.

웹 브라우저를 사용하므로 쉽게 다수의 사용자가 사용 할 수 있고, 가시화된 삼차원 영상에서 병의 범위나 위치를 직접적으로 보고 진단 가능하므로, 치료 및 교육, 설명에 유용하며, 고가의 수입품을 대체하는 효과도 있다.Using a web browser, it can be easily used by multiple users and can directly view and diagnose the extent or location of the disease in the visualized three-dimensional images, which is useful for treatment, education, and explanation, and it is also effective to replace expensive imported goods. have.

Claims (2)

웹 상에서 연속된 이차원 의학영상을 삼차원 의학영상으로 재구성하여 가시화하고 가시화된 영상을 실제처럼 가상해부 하는 방법에 있어서, 시스템을 웹서버와 웹클라이언트 두 부분으로 나누고 데이터획득, 영상처리, 표면모델생성, VRML변환 단계를 거쳐 삼차원 의학영상으로 재구성한 후, VRML뷰어와 이벤트핸들러가 내장된 웹브라우저에 가시화하고, 가시화된 영상에서 해부 정보를 입력받아 메시지처리단계를 거쳐 결과 영상을 출력하는 웹기반 삼차원 의학영상 가상해부시스템 및 방법.In the method of visualizing by reconstructing continuous two-dimensional medical images on the web into three-dimensional medical images and virtually dissecting the visualized images, the system is divided into two parts, a web server and a web client, and data acquisition, image processing, surface model generation, After reconstructing the 3D medical image through the VRML conversion step, it is visualized in the web browser with the embedded VRML viewer and event handler, and the anatomical information is input from the visualized image and the result is processed through the message processing step. Image Virtual Anatomy System and Method. 제 1항에 있어서, 웹브라우저에 가시화된 삼차원 의학영상에서 위치, 영역, 깊이 등의 해부정보를 사용자가 직접 마우스 이벤트로 입력하면 이벤트핸들러에서 이 정보를 메시지 처리단계로 전송하는 것을 특징으로하는 웹기반 삼차원 의학영상 가상 해부 시스템 및 방법.The web of claim 1, wherein when the user directly inputs anatomical information such as position, area, and depth in a three-dimensional medical image visualized in a web browser as a mouse event, the event handler transmits the information to a message processing step. Based 3D Medical Image Virtual Anatomy System and Method.