KR20050094536A - Method for displaying the planar images and the real 3d images at the same time - Google Patents

Method for displaying the planar images and the real 3d images at the same time Download PDF

Info

Publication number
KR20050094536A
KR20050094536A KR1020040019696A KR20040019696A KR20050094536A KR 20050094536 A KR20050094536 A KR 20050094536A KR 1020040019696 A KR1020040019696 A KR 1020040019696A KR 20040019696 A KR20040019696 A KR 20040019696A KR 20050094536 A KR20050094536 A KR 20050094536A
Authority
KR
South Korea
Prior art keywords
image
dimensional
depth information
images
planar
Prior art date
Application number
KR1020040019696A
Other languages
Korean (ko)
Inventor
최정필
김진국
곽지혜
Original Assignee
(주)메비시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)메비시스 filed Critical (주)메비시스
Priority to KR1020040019696A priority Critical patent/KR20050094536A/en
Publication of KR20050094536A publication Critical patent/KR20050094536A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

본 발명은 평면영상과 3차원 입체영상을 동시에 표시하는 방법에 관한 것이다. 본 발명은 CT(Computed Tomography), MRI(Magnetic Resonance Imaging)등 의료영상 촬영장치로부터 획득한 영상을 모니터상에서 출력함에 있어서, CT, MRI등 의료영상 촬영장치로부터 획득한 영상 데이터를 데이터 저장수단에 저장하는 영상 획득 단계와, 상기 데이터 저장수단에 저장되어 있는 영상 데이터를 호출하여 마이크로 프로세서에서 2차원 영상 또는 깊이 정보가 없는 3차원 영상으로 구성하는 영상 처리 단계와, 상기 영상 처리 단계에서 구성한 깊이 정보가 없는 3차원 영상을 깊이 정보를 가지는 3차원 입체영상으로 마이크로 프로세서에서 다시 재구성하는 3차원 영상 재구성 단계와, 상기 영상 처리 단계와, 3차원 영상 재구성 단계에서 획득한 영상을 하나의 모니터상에서 깊이 정보가 없는 평면영상과 깊이 정보를 갖는 3차원 입체영상으로 동시에 표시하는 디스플레이 단계를 포함하여 이루어지는 것을 특징으로 한다.The present invention relates to a method of simultaneously displaying a planar image and a three-dimensional stereoscopic image. The present invention outputs the image obtained from a medical imaging apparatus such as CT (Computed Tomography), Magnetic Resonance Imaging (MRI) on a monitor, the image data obtained from the medical imaging apparatus such as CT, MRI, etc. are stored in a data storage means The image acquisition step, the image processing step of calling the image data stored in the data storage means and configuring the two-dimensional image or the three-dimensional image without the depth information in the microprocessor, and the depth information configured in the image processing step The 3D image reconstruction step of reconstructing the 3D image without the 3D image having the depth information into the 3D stereoscopic image, the image processing step and the 3D image reconstruction step, the depth information on one monitor Simultaneous display of 3D stereoscopic images with no flat images and depth information It characterized in that comprising a display step.

Description

평면영상과 3차원 입체영상을 동시에 표시하는 방법 {Method for displaying the planar images and the real 3D images at the same time} How to display plan and 3D stereoscopic images at the same time {Method for displaying the planar images and the real 3D images at the same time}

본 발명은 평면영상과 3차원 입체영상을 동시에 표시하는 방법에 관한 것으로, 보다 상세하게는 하나의 모니터상에서 깊이 정보가 없는 평면영상과 깊이 정보를 가진 3차원 입체영상을 동시에 표시하는 방법에 관한 것이다.The present invention relates to a method for simultaneously displaying a planar image and a three-dimensional stereoscopic image, and more particularly, to a method of simultaneously displaying a planar image having no depth information and a three-dimensional stereoscopic image having depth information on one monitor. .

다중전산화단층촬영(Multi-Detector Computed Tomography; MD-CT) 등 인체의 단면을 촬영하는 장비들이 발전하면서 한 번 촬영시 획득하는 영상의 수가 수 백장에 달하게 되면서, 촬영한 슬라이스 영상들을 한 장씩 살펴보며 2차원으로만 판독을 하는 것 자체가 힘들어졌고, 3차원 재구성 영상을 보면서 진단하는 것이 일반적인 방법이 되었다. 이때, 3차원으로 재구성한 영상은 2차원 모니터를 통해 관찰하게 되는데, 2차원 모니터의 경우 3차원 영상을 도시할 때 깊이 정보를 나타낼 수 없어, 영상의 사실감이 떨어지고 영상의 전후 관계를 파악하기 힘든 경우가 발생한다. 도 1은 전산화단층촬영(Computed Tomography; CT) 영상과 혈관조영전산화단층촬영(Computed Tomography Angio; CTA) 영상을 이용하여 3차원으로 재구성한 뇌혈관 영상으로, 영상이 복잡하여 전후 관계의 파악이 쉽지 않다. 하지만, 도 1과 같은 의료 영상의 경우, 전후 관계를 정확하게 파악하는 것은 진단에 있어 아주 중요하다.As the equipment for photographing the cross-section of the human body, such as Multi-Detector Computed Tomography (MD-CT), has evolved, the number of images acquired in one shot has reached hundreds of images. Reading only in two dimensions has become difficult, and diagnosing while viewing three-dimensional reconstructed images has become common. At this time, the image reconstructed in 3D is observed through a 2D monitor. In the case of a 2D monitor, depth information cannot be represented when a 3D image is shown. The case occurs. 1 is a three-dimensional reconstructed cerebrovascular image using a computed tomography (CT) image and an angiographic computed tomography (CTA) image. not. However, in the case of the medical image shown in Figure 1, it is very important for the diagnosis to accurately grasp the front and rear relationship.

이를 보완하기 위해서는 3차원 입체영상 디스플레이 방법을 사용할 수 있다. 3차원 입체영상 디스플레이는 사람이 일상 생활에서 직접 사물을 보는 것처럼 좌우측 눈에 양안 시차를 주어, 관찰자에게 입체감과 실체감을 느끼게 하는 디스플레이를 말한다. 3차원 입체영상 디스플레이는 가장 기본적으로 빨간색과 파란색 셀로판지를 이용하여 양안 시차를 느끼게 하여 입체감을 주는 방법부터 편광 안경을 이용한 방법, 두 장의 액정디스플레이(Liquid Crystal Display; LCD)를 이용한 방법, 홀로그램을 이용한 방법 등 다양한 기술이 개발 또는 응용되고 있다.To compensate for this, a 3D stereoscopic image display method may be used. 3D stereoscopic display refers to a display that gives a viewer a binocular parallax to the left and right eyes as if a person directly sees an object in everyday life, thereby making the viewer feel a three-dimensional feeling and a sense of reality. The 3D stereoscopic image display is based on the red and blue cellophane paper, which basically gives a sense of binocular disparity to give a stereoscopic effect, a method using polarized glasses, a method using two liquid crystal displays (LCD), and a hologram. Various techniques such as methods have been developed or applied.

하지만, 의료 영상의 경우 임의의 방향에서 보는 단면을 표시하는 다면재구성(Multi-Planar Reconstruction; MPR) 방법, 보는 방향에 따른 최대값을 투영시키는 최대값투영(Maximum Intensity Projection; MIP) 방법 등으로 재구성한 영상과 같이, 깊이 정보가 없으며 2차원 영상의 형태로 관측하는 것이 좋은 영상과, 일정한 조건에 해당되는 표면의 값들을 보여주는 볼륨 렌더링 방법과 같이 3차원 모니터상에서 관측해야 좋은 영상이 있다. 그리고, 대개의 경우 이러한 특성이 다른 종류의 영상을 동시에 보며 진단을 하게 된다. 도 2는 MPR, MIP, 볼륨 렌더링 방법으로 재구성된 영상을 나타내는 도면이다.However, in the case of medical images, reconstruction is performed using a multi-planar reconstruction (MPR) method for displaying a section viewed from an arbitrary direction, a maximum intensity projection method (MIP) method for projecting a maximum value according to a viewing direction, and the like. As in one image, there is an image that is good to observe in the form of two-dimensional image without depth information, and an image to be observed on a three-dimensional monitor such as a volume rendering method that shows values of surfaces corresponding to a certain condition. In most cases, these characteristics are diagnosed by simultaneously viewing different kinds of images. 2 is a diagram illustrating an image reconstructed by an MPR, a MIP, and a volume rendering method.

이처럼, 효율적인 진단을 위해서는 의료 영상 판독시 깊이 정보가 없는 평면영상과 깊이 정보를 갖는 3차원 입체영상을 모두 확인하며 진단을 한다. 이때 평면영상은 일반 모니터로, 3차원 입체영상은 3차원 전용 모니터를 이용하여 의료 영상을 판독하며 진단을 내린다.As such, for efficient diagnosis, both the planar image without depth information and the 3D stereoscopic image with depth information are diagnosed and diagnosed when the medical image is read. In this case, the planar image is a general monitor, and the 3D stereoscopic image is read and diagnosed using a 3D dedicated monitor.

도 3은 2차원 모니터와 3차원 모니터를 병행해서 사용하는 시스템을 나타내는 도면이다.3 is a diagram illustrating a system using a two-dimensional monitor and a three-dimensional monitor in parallel.

따라서, 본 발명의 목적은 하나의 모니터 상에 깊이 정보가 없는 평면영상과 깊이 정보가 있는 3차원 입체영상을 동시에 디스플레이 함으로써 의료 영상을 판독하고 진단함에 있어서, 보다 효율적인 진단과 사용자에게 편리함을 제공하는데 있다. Accordingly, an object of the present invention is to provide a more efficient diagnosis and convenience to the user in reading and diagnosing a medical image by simultaneously displaying a planar image without depth information and a 3D stereoscopic image with depth information on one monitor. have.

또한, 평면영상과 3차원 입체영상을 모두 판독 하고자 할 때, 2차원 모니터와 3차원 모니터를 각각 병행해서 사용해야만 했던 종래 기술의 문제점을 해결하기 위함에 또 다른 목적이 있다.In addition, when trying to read both the planar image and the three-dimensional stereoscopic image, there is another object to solve the problems of the prior art that had to use the two-dimensional monitor and the three-dimensional monitor in parallel.

본 발명의 상기 및 그 이외의 목적과 신규한 특징은, 본 명세서의 기술 및 첨부 도면으로부터 명백하게 될 것이다.The above and other objects and novel features of the present invention will become apparent from the description of the present specification and the accompanying drawings.

상술한 목적을 달성하기 위해, 본 발명은 CT(Computed Tomography), MRI(Magnetic Resonance Imaging)등 의료영상 촬영장치와, 상기 의료영상 촬영장치로부터 획득한 영상 데이터를 저장하기 위한 데이터 저장수단과, 상기 데이터 저장수단에 저장되어 있는 영상 데이터를 디스플레이 하기 위해 재구성하는 마이크로 프로세서와, 상기 마이크로 프로세서를 통해 재구성된 영상을 화면으로 출력하는 모니터에 있어서,In order to achieve the above object, the present invention provides a medical imaging apparatus such as CT (Computed Tomography), MRI (Magnetic Resonance Imaging), data storage means for storing the image data obtained from the medical imaging apparatus, and A microprocessor for reconstructing to display image data stored in the data storage means, and a monitor for outputting the reconstructed image on the screen by the microprocessor,

CT, MRI등 의료영상 촬영장치로부터 획득한 영상 데이터를 데이터 저장수단에 저장하는 영상 획득 단계와, 상기 데이터 저장수단에 저장되어 있는 영상 데이터를 호출하여 마이크로 프로세서에서 2차원 영상 또는 깊이 정보가 없는 3차원 영상으로 구성하는 영상 처리 단계와, 상기 영상 처리 단계에서 구성한 깊이 정보가 없는 3차원 영상을 깊이 정보를 가지는 3차원 입체영상으로 마이크로 프로세서에서 다시 재구성하는 3차원 영상 재구성 단계와, 상기 영상 처리 단계와, 3차원 영상 재구성 단계에서 획득한 영상을 하나의 모니터상에서 깊이 정보가 없는 평면영상과 깊이 정보를 갖는 3차원 입체영상으로 동시에 표시하는 디스플레이 단계를 포함하여 이루어지는 것을 특징으로 한다.An image acquisition step of storing image data obtained from a medical imaging apparatus such as CT, MRI, etc. in a data storage means, and calling the image data stored in the data storage means, the microprocessor does not have a two-dimensional image or depth information 3 A three-dimensional image reconstruction step of reconstructing a three-dimensional image without depth information configured in the image processing step, a three-dimensional image having a depth information, and reconstructing the microprocessor into a three-dimensional stereoscopic image having depth information; And a display step of simultaneously displaying the image acquired in the 3D image reconstruction step as a planar image without depth information and a 3D stereoscopic image having depth information on one monitor.

이하, 첨부된 도면을 참조하면서 본 발명에 대해 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

CT(Computed Tomography), MRI(Magnetic Resonance Imaging)등 의료영상 촬영장치로부터 촬영한 영상 데이터는 RAM과 같은 내부 저장수단 또는 하드디스크, 플로피디스크, 자기테이프등과 같은 외부 저장수단에 저장되며, 상기 저장수단에 저장되어 있는 영상 데이터는 마이크로 프로세서에서 호출하여 모니터상에서 영상 출력이 가능하도록 2차원 또는 깊이 정보가 없는 3차원 영상으로 구성하는 영상 처리 단계를 거친다. 깊이 정보가 없는 평면영상은 마이크로 프로세서를 통해 구성된 영상으로 모니터상에서 출력이 가능하지만 깊이 정보가 있는 3차원 입체영상은 마이크로 프로세서를 통해 한 번 더 재구성하는 과정인 3차원 영상 재구성 단계를 거친다.Image data taken from a medical imaging apparatus such as CT (Computed Tomography) or MRI (Magnetic Resonance Imaging) is stored in an internal storage means such as RAM or an external storage means such as a hard disk, floppy disk, magnetic tape, and the like. The image data stored in the means is subjected to an image processing step of calling the microprocessor into a three-dimensional image without two-dimensional or depth information so that the image can be output on the monitor. A flat image without depth information is an image configured through a microprocessor, and can be output on a monitor, but a three-dimensional stereoscopic image with depth information undergoes a three-dimensional image reconstruction step, which is a process of reconstructing once more through a microprocessor.

3차원 영상 재구성 단계에서 사실감 있는 3차원 입체영상으로 디스플레이 하기 위해 영상들을 재구성하는 과정은 다음과 같은 원리를 같는다.The process of reconstructing the images to display a realistic three-dimensional stereoscopic image in the three-dimensional image reconstruction step has the following principle.

일상에서 사람들이 입체감을 느끼는 것은 왼쪽 눈과 오른쪽 눈의 시각 차로 인해, 보여지는 영상의 차이가 존재하기 때문이다. 마찬가지로 3차원 디스플레이를 통하여 실제로는 2차원인 영상이 입체적으로 보여지기 위해서는, 사람이 왼쪽 눈과 오른쪽 눈으로 사물을 보는 것처럼 최소 2장의 영상이 필요하다. 그러나 2장의 영상을 나란히 놓고 양쪽 눈으로 각각을 따로 볼 수가 없으므로, 도 4 에서와 같이 오른쪽과 왼쪽으로 보여질 영상을 하나의 영상으로 재구성한 후, 빨간색 파란색 셀로판지로 만든 안경이나 편광 안경, 렌티큘러(lenticular) 필름을 코팅한 모니터 등 특수한 장치를 사용하여 오른쪽 눈과 왼쪽 눈으로 서로 다른 영상이 보여지게 한다.In everyday life, people feel a three-dimensional effect because there is a difference in the image shown due to the visual difference between the left eye and the right eye. Similarly, in order to see a three-dimensional image actually in two dimensions through a three-dimensional display, at least two images are required as if a person sees an object with his left and right eyes. However, since two images cannot be viewed side by side with both eyes separately, as shown in FIG. 4, after reconstructing the image to be viewed as right and left into one image, glasses, polarized glasses, and lenticulars made of red blue cellophane paper ( Using a special device such as a lenticular film-coated monitor, different images can be seen by the right and left eyes.

의료 영상의 경우 입체적으로 영상을 디스플레이 하기 위해서는 도 5에서와 같이 사람이 실제로 보는 것처럼 약간의 시각 차를 주어, 렌더링 기법을 사용하여 2장의 영상을 만든다. 이렇게 만들어진 2장의 영상을 3차원 디스플레이의 특성에 맞게 하나의 영상으로 재구성하여 입체적으로 디스플레이 할 준비를 한다. 도 5에서는 2장의 영상을 사용하여 3차원 디스플레이를 위한 영상으로 재구성하는 경우를 보였으나, 실제로는 4장, 9장 등 여러 장의 영상을 사용하여 한 장의 영상으로 재구성하는 것도 가능하다.In the case of a medical image, a three-dimensional image is displayed by using a rendering technique to give a slight visual difference as a person actually sees as shown in FIG. 5. The two images thus prepared are reconstructed into a single image according to the characteristics of the three-dimensional display to prepare for display in three dimensions. In FIG. 5, two images are used to reconstruct an image for 3D display, but in fact, it is also possible to reconstruct one image using several images such as four or nine images.

도 6은 2차원 영상과 3차원 입체영상을 하나의 영상으로 만들어 디스플레이 하는 과정을 나타내었다.6 illustrates a process of displaying a 2D image and a 3D stereoscopic image as a single image.

도 6에서와 같이 영상 처리 단계에서 획득한 2차원 영상과, 3차원 영상 재구성 단계를 통해 획득한 깊이 정보를 가지는 3차원 입체영상을 전체적으로 하나의 영상으로 만든다. 이것을 3차원 디스플레이 장치에서 출력하면 2차원 영상은 평면적으로 보이고 3차원 영상은 입체적으로 보이게 된다.As shown in FIG. 6, the 3D stereoscopic image having the 2D image acquired in the image processing step and the depth information obtained through the 3D image reconstruction step is made into a single image as a whole. When this is output from the 3D display device, the 2D image is shown in a plan view and the 3D image is shown in 3D.

도 7 또는 도 8은 깊이 정보가 없는 평면영상과 깊이 정보를 가지는 3차원 입체영상을 하나의 모니터상에서 출력한 실시예이다.FIG. 7 or FIG. 8 illustrates an embodiment in which a planar image having no depth information and a 3D stereoscopic image having depth information are output on one monitor.

하나의 모니터상에서 출력되는 화면은 다수의 프레임으로 분할되어 각각의 프레임에는 깊이 정보가 없는 평면영상과 깊이 정보를 가지는 3차원 입체영상이 위치하여 동시에 출력된다.The screen output on one monitor is divided into a plurality of frames, and a flat image without depth information and a 3D stereoscopic image having depth information are positioned and output at the same time in each frame.

도 7의 경우, 화면의 일측은 평면영상을 표시하는 화면으로써 볼륨 렌더링 영상과 MPR 영상이 표시되어 있으며, 이 중 3차원 입체영상으로 관측하는 것이 좋은 볼륨 렌더링 영상은 깊이 정보가 더해져 또 다른 화면의 일측에 3차원 입체영상으로 표시되어 있다. 사용자가 평면영상 화면의 볼륨 렌더링 영상을 회전, 이동, 확대 도구 등을 사용하여 동작할 경우 3차원 입체영상 화면의 볼륨 렌더링 영상 또한 함께 동작하거나, 평면영상 화면 영역의 볼륨 렌더링 영상과 MPR 영상에서 잘라내기와 관심영역 보기 기능으로 영역 설정을 하는 경우 3차원 입체영상 화면의 볼륨 렌더링 영상에서는 설정된 영역에 해당되는 부분만 모니터 상에 출력한다. 그리고 평면영상 화면에서 곡선을 정의하면 3차원 입체영상 화면의 볼륨 렌더링 영상의 해당 위치에 곡선이 표시되는 등으로, 평면영상과 3차원 입체영상은 서로 연동하여 동작한다.In the case of FIG. 7, one side of the screen is a screen for displaying a planar image, and a volume rendering image and an MPR image are displayed. Among them, a volume rendering image which is better to observe as a 3D stereoscopic image is added with depth information. It is displayed as a 3D stereoscopic image on one side. When the user operates the volume rendering image of the planar screen using a rotation, moving, and zooming tool, the volume rendering image of the 3D stereoscopic screen also works together, or cuts out the volume rendering image and the MPR image of the planar screen. When the region is set by the function of viewing a region of interest, only the portion corresponding to the set region is output on the monitor in the volume rendering image of the 3D stereoscopic image screen. When the curve is defined on the planar image screen, the curve is displayed at a corresponding position of the volume rendering image of the 3D stereoscopic image screen, and the planar image and the 3D stereoscopic image operate in conjunction with each other.

도 8의 경우, 평면영상 화면에서는 MPR 영상이, 3차원 입체영상 화면에서는 볼륨 렌더링 영상이 출력되어 있다. 볼륨 렌더링 영상이 위치한 프레임은 사용자에 의해 깊이 정보가 없는 평면영상 또는 3차원 입체영상으로 선택적으로 출력될 수 있다.In the case of FIG. 8, the MPR image is output on the planar image screen, and the volume rendering image is output on the 3D stereoscopic image screen. The frame where the volume rendering image is located may be selectively output as a planar image or a 3D stereoscopic image without depth information by the user.

도 9는 평면영상과 3차원 입체영상이 서로 연동하여 동작하는 실시 예를 나타낸 것이다.9 illustrates an embodiment in which the planar image and the 3D stereoscopic image operate in conjunction with each other.

도 9에서 MPR1, MPR2 화면은 깊이 정보가 없는 2차원 영상이며, TD 화면은 깊이 정보를 가지는 3차원 입체영상이다. 각각의 화면에서 붉은 ‘X’로 표시된 점들은 서로 같은 위치를 나타낸다.In FIG. 9, the MPR1 and MPR2 screens are two-dimensional images without depth information, and the TD screens are three-dimensional stereoscopic images having depth information. The dots marked with red 'X' on each screen indicate the same location.

MPR1, MPR2, TD 화면의 점들은 각각 다음과 같은 좌표값을 가진다.The points of the MPR1, MPR2, and TD screens each have the following coordinate values.

mpr 1 =(s 1 ,x 1 ,y 1 ) 여기서, s 1은 슬라이스 넘버, x 1, y 1은 2차원 화면에서 점의 위치를 나타내며, mpr 1 = (s 1 , x 1 , y 1 ) where s 1 is the slice number, x 1 and y 1 are the positions of the points on the two-dimensional screen,

mpr 2 =(s 2 ,x 2 ,y 2 ) 여기서, s 2는 슬라이스 넘버, x 2, y 2는 2차원 화면에서 점의 위치를 나타내며, mpr 2 = (s 2 , x 2 , y 2 ) where s 2 is the slice number, x 2 and y 2 are the positions of the points on the two-dimensional screen,

td=(x′,y′,z′) 여기서, x′,y′,z′는 3차원 입체 화면에서 점의 위치를 나타낸다. td = (x ', y', z ') where x', y ', z' represents the position of a point on the three-dimensional stereoscopic screen.

TD 화면은 m개의 영상을 하나의 영상으로 재구성하여 나타낸 m-view 입체 영상이다. 도 10에서와 같이 td는 m개의 영상으로부터 그 값을 얻게 된다.The TD screen is an m-view stereoscopic image which is obtained by reconstructing m images into one image. As shown in FIG. 10, td is obtained from m images.

도 10의 각 영상 위의 해당 점들은 다음과 같은 좌표값을 갖는다. The corresponding points on each image of FIG. 10 have the following coordinate values.

입체 영상 TD의 경우 관찰 위치에 따라 다른 영상이 보여지고, 또, 양쪽 눈에 서로 다른 영상이 보여지므로, 양쪽 눈이 각각 TDi와 TD(i+1)의 영상을 보는 경우, td i 와 td i+ 1의 점을 보게 된다.In the case of the stereoscopic image TD, different images are displayed according to the observation position, and different images are displayed to both eyes. Therefore, when both eyes view images of TD i and TD ( i +1), respectively, td i and td You see the point of i + 1 .

다음은 깊이 정보가 없는 평면영상과 깊이 정보를 가지는 3차원 입체영상의 화면이 서로 연동되는 과정에 대해 설명한다. The following describes a process in which a plane image without depth information and a screen of a 3D stereoscopic image having depth information are interlocked with each other.

도 9에서 사용자가 입력 도구를 사용하여 MPR1 화면에 점을 찍으면 MPR2 화면의 점은 다음과 같이 찾을 수 있다.In FIG. 9, when a user takes a dot on the MPR1 screen using an input tool, the dot on the MPR2 screen may be found as follows.

위의 식에서 translation 행렬 T는 구현 방법에 따라 달라진다.In the above equation, the translation matrix T depends on the implementation.

한편, 도 9에서 MPR1 화면에 점을 찍었을 경우 TD 화면의 점은 찾는 방법은 다음과 같다.On the other hand, in the case of taking a point on the MPR1 screen in Figure 9 is a method of finding the point of the TD screen is as follows.

앞의 식에서 영상의 확대/축소를 나타내는 a와, 회전(rotation)을 나타내는 행렬 R, 이동(panning)을 나타내는 행렬 P는 구현 방법에 따라 달라진다.In the above equation, a representing the enlargement / reduction of the image, a matrix R representing the rotation, and a matrix P representing the panning vary depending on the implementation method.

같은 방법으로 사용자가 MPR2 화면에 점을 찍으면, MPR1 화면과 TD 화면에서 해당 위치를 찾아 표시하게 된다.In the same way, when the user places a dot on the MPR2 screen, the corresponding position is found and displayed on the MPR1 screen and the TD screen.

또한, TD 화면에 점을 찍은 경우는 다음과 같은 식에 의해서 MPR1, MPR2 화면에서 해당 위치를 찾을 수 있다. 이 때, TD 화면에 점을 찍는 입력 도구로 2차원 마우스를 사용하는 경우와 3차원 마우스를 사용하는 경우를 생각할 수 있다. In addition, when a point is taken on the TD screen, the corresponding position can be found on the MPR1 and MPR2 screens by the following equation. At this time, a case of using a two-dimensional mouse and a case of using a three-dimensional mouse can be considered as an input tool for drawing dots on a TD screen.

2차원 마우스를 사용할 경우, 마우스의 포인터가 가르치는 위치에서 시각 방향을 따라 직선 상에 놓여 있는 볼륨 데이터를 구성하는 값으로, 구조물의 벽에 해당하는지를 체크하여 벽에 해당하는 볼륨 데이터를 만난 경우 해당 위치의 값을 z′값으로 한다. 반면, 3차원 마우스를 사용하는 경우에는 z′값이 사용자에 의해 임의로 조정되게 된다.When using a two-dimensional mouse, it is a value that constitutes volume data lying on a straight line along the visual direction from the position pointed by the mouse pointer. When the volume data corresponding to the wall is met by checking whether it corresponds to the wall of the structure Let be the value of z '. On the other hand, when using a 3D mouse, the z ' value is arbitrarily adjusted by the user.

이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 가장 양호한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형과 모방이 가능함은 명백한 사실이다.The technical spirit of the present invention has been described above with reference to the accompanying drawings, but this is by way of example only and not by way of limitation. In addition, it is obvious that any person skilled in the art may make various modifications and imitations without departing from the scope of the technical idea of the present invention.

이상에서 설명한 바와 같이 본 발명은, 의료 영상을 판독하여 진단함에 있어서 깊이 정보가 없는 평면영상과 깊이 정보를 갖는 3차원 입체영상을 하나의 모니터상에 출력하는 방법에 관한 것으로, 이는 깊이 정보를 갖는 3차원 입체영상을 보며 수술 계획을 수립할 경우 입체적으로 표현된 각 장기의 전후 관계를 쉽게 파악할 수 있어 수술 도구의 경로를 수립하는데 많은 도움을 줄 수 있으며, 영상을 보면서 수술하는 네비게이터(navigator) 시술의 경우에서도, 시술 도구와 장기들 사이의 전후 관계를 한 눈에 파악할 수 있어 유용하게 사용될 수 있다. As described above, the present invention relates to a method for outputting a planar image without depth information and a 3D stereoscopic image having depth information on a single monitor in reading and diagnosing a medical image, which has depth information. When planning a surgical plan while viewing 3D stereoscopic images, it is possible to easily identify the front and back relationship of each organ represented in three dimensions, which can help to establish the path of surgical instruments. Even in the case, the front and back relationship between the instrument and the organs can be grasped at a glance, and may be usefully used.

또한, 본 발명은 평면영상과 3차원 입체영상을 모두 판독해야 할 경우 2차원 모니터와 3차원 모니터를 각각 병행해서 의료 영상을 판독하던 종래 기술을 하나의 모니터로 표현이 가능하게 함으로써 종래 기술에 대한 문제점을 해결하였다.In addition, when the planar image and the three-dimensional stereoscopic image are both to be read, the present invention enables the conventional technology of reading a medical image by simultaneously reading a two-dimensional monitor and a three-dimensional monitor by using a single monitor. I solved the problem.

도 1은 CT와 CTA 영상을 이용하여 3차원으로 재구성한 뇌혈관 영상을 나타내는 도면,1 is a diagram showing a cerebrovascular image reconstructed in three dimensions using CT and CTA images,

도 2는 MPR, MIP, 볼륨 렌더링 방법으로 재구성된 영상을 나타내는 도면,2 is a view showing an image reconstructed by the MPR, MIP, volume rendering method,

도 3은 2차원 모니터와 3차원 모니터를 병행해서 사용하는 시스템을 나타내는 도면,3 is a view showing a system using a two-dimensional monitor and a three-dimensional monitor in parallel,

도 4는 3차원 입체영상으로 디스플레이 하기 위해 재구성되는 영상의 기본 원리를 나타내는 도면.4 illustrates the basic principle of an image reconstructed for display as a three-dimensional stereoscopic image.

도 5는 렌더링 기법을 사용하여 만든 2장의 영상을 3차원 입체영상으로 디스플레이 하기 위해 한 장으로 재구성한 도면,FIG. 5 is a view reconstructed into one sheet to display two images made using a rendering technique as a three-dimensional stereoscopic image;

도 6은 2차원 영상과 3차원 입체영상을 하나의 영상으로 만들어 디스플레이 하는 과정을 나타내는 도면,6 is a view showing a process of making and displaying a two-dimensional image and a three-dimensional stereoscopic image as one image;

도 7 또는 도 8은 깊이 정보가 없는 평면영상과 깊이 정보를 가지는 3차원 입체영상을 하나의 모니터상에서 출력한 실시 예를 나타내는 도면,7 or 8 is a view showing an embodiment of outputting a three-dimensional stereoscopic image having a depth information and a planar image having no depth information on one monitor,

도 9는 평면영상과 3차원 입체영상이 서로 연동하여 동작하는 과정에서 각 좌표의 관계를 나타내는 도면,9 is a view showing a relationship between each coordinate in the process of the planar image and the three-dimensional stereoscopic image is linked to each other,

도 10은 2차원 영상의 좌표값으로부터 3차원 입체영상의 좌표값을 얻는 과정을 나타내는 도면이다.10 is a diagram illustrating a process of obtaining coordinate values of a 3D stereoscopic image from coordinate values of a 2D image.

Claims (3)

CT(Computed Tomography), MRI(Magnetic Resonance Imaging)등 의료영상 촬영장치와, 상기 의료영상 촬영장치로부터 획득한 영상 데이터를 저장하기 위한 데이터 저장수단과, 상기 데이터 저장수단에 저장되어 있는 영상 데이터를 디스플레이 하기 위해 재구성하는 마이크로 프로세서와, 상기 마이크로 프로세서를 통해 재구성된 영상을 화면으로 출력하는 모니터에 있어서,Displaying a medical imaging apparatus such as CT (Computed Tomography), Magnetic Resonance Imaging (MRI), data storage means for storing the image data obtained from the medical imaging apparatus, and image data stored in the data storage means A microprocessor for reconstructing and a monitor for outputting a reconstructed image through the microprocessor to a screen, CT, MRI등 의료영상 촬영장치로부터 획득한 영상 데이터를 데이터 저장수단에 저장하는 영상 획득 단계와;An image acquiring step of storing image data acquired from a medical imaging apparatus such as CT and MRI in a data storage means; 상기 데이터 저장수단에 저장되어 있는 영상 데이터를 호출하여 마이크로 프로세서에서 2차원 영상 또는 깊이 정보가 없는 3차원 영상으로 구성하는 영상 처리 단계와;An image processing step of calling the image data stored in the data storage means and constructing a two-dimensional image or a three-dimensional image without depth information by a microprocessor; 상기 영상 처리 단계에서 구성한 깊이 정보가 없는 3차원 영상을 깊이 정보를 가지는 3차원 입체영상으로 마이크로 프로세서에서 다시 재구성하는 3차원 영상 재구성 단계와;A three-dimensional image reconstruction step of reconstructing the three-dimensional image without depth information configured in the image processing step into a three-dimensional stereoscopic image having depth information by a microprocessor; 상기 영상 처리 단계와, 3차원 영상 재구성 단계에서 획득한 영상을 하나의 모니터상에서 깊이 정보가 없는 평면영상과 깊이 정보를 갖는 3차원 입체영상으로 동시에 표시하는 디스플레이 단계를 포함하는 평면영상과 3차원 입체영상을 동시에 표시하는 방법.And a display step of simultaneously displaying the image obtained in the image processing step and the 3D image reconstruction step as a planar image having no depth information and a 3D stereoscopic image having depth information on one monitor. How to display images at the same time. 제 1 항에 있어서,The method of claim 1, 상기 디스플레이 단계에서 평면영상 또는 3차원 입체영상은 다수의 프레임으로 구성된 분할된 화면에서 각각의 프레임에 위치하여 구성된 평면영상과 3차원 입체영상을 동시에 표시하는 방법.In the displaying step, the planar image or the three-dimensional (3D) image is a method of displaying a planar image and a three-dimensional (3D) image simultaneously positioned on each frame in a divided screen consisting of a plurality of frames. 제 2 항에 있어서,The method of claim 2, 분할된 화면의 각각의 프레임에 위치하여 구성된 평면영상과 3차원 입체영상은 서로 연동하여 동작하는 것을 특징으로 하는 평면영상과 3차원 입체영상을 동시에 표시하는 방법.A planar image and a three-dimensional stereoscopic image, wherein the planar image and the three-dimensional stereoscopic image positioned on each frame of the divided screen operate in conjunction with each other.
KR1020040019696A 2004-03-23 2004-03-23 Method for displaying the planar images and the real 3d images at the same time KR20050094536A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040019696A KR20050094536A (en) 2004-03-23 2004-03-23 Method for displaying the planar images and the real 3d images at the same time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040019696A KR20050094536A (en) 2004-03-23 2004-03-23 Method for displaying the planar images and the real 3d images at the same time

Publications (1)

Publication Number Publication Date
KR20050094536A true KR20050094536A (en) 2005-09-28

Family

ID=37275259

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040019696A KR20050094536A (en) 2004-03-23 2004-03-23 Method for displaying the planar images and the real 3d images at the same time

Country Status (1)

Country Link
KR (1) KR20050094536A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
KR100908497B1 (en) * 2007-06-13 2009-07-21 이연수 Matching Method of 3D and 2D Models for Measuring Body Motion
WO2015102167A1 (en) * 2013-12-31 2015-07-09 삼성전자 주식회사 User interface system and method for enabling mark-based interaction for images

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100908497B1 (en) * 2007-06-13 2009-07-21 이연수 Matching Method of 3D and 2D Models for Measuring Body Motion
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
US8842903B2 (en) 2007-12-10 2014-09-23 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2D image and 3D stereoscopic image
WO2015102167A1 (en) * 2013-12-31 2015-07-09 삼성전자 주식회사 User interface system and method for enabling mark-based interaction for images
US10394416B2 (en) 2013-12-31 2019-08-27 Samsung Electronics Co., Ltd. User interface system and method for enabling mark-based interaction for images

Similar Documents

Publication Publication Date Title
US20060239540A1 (en) Methods and systems for creating 4D images using multiple 2D images acquired in real-time ("4D ultrasound")
CN103444194B (en) Image processing system, image processing apparatus and image processing method
JP2013005052A (en) Image processing system, apparatus, method and program
US7924295B2 (en) Image processing device for expanded representation of three-dimensional image data sets
CN103200871A (en) Image processing system, device and method, and medical image diagnostic device
JP4257218B2 (en) Method, system and computer program for stereoscopic observation of three-dimensional medical images
Getty et al. Clinical applications for stereoscopic 3‐D displays
US9445082B2 (en) System, apparatus, and method for image processing
JP2005521960A5 (en)
US9224240B2 (en) Depth-based information layering in medical diagnostic ultrasound
CN102892017A (en) Image processing system, image processing apparatus, image processing method and medical image diagnosis apparatus
US9210397B2 (en) Image processing system, apparatus, and method
KR20050094536A (en) Method for displaying the planar images and the real 3d images at the same time
EP2722820B1 (en) Method and apparatus for providing three-dimensional (3D) image
Hsu et al. Issues in the design of studies to test the effectiveness of stereo imaging
Hart et al. Display holography for medical tomography
Martin et al. Stereographic viewing of 3D ultrasound images: a novelty or a tool?
Baxter et al. Application of a three-dimensional display in diagnostic imaging
US20060007246A1 (en) Method for displaying medical image information with viewing angle-dependent data sets superimpositions
John Using stereoscopy for medical virtual reality
Cooperstock et al. Stereoscopic display technologies, interaction paradigms, and rendering approaches for neurosurgical visualization
CN102769769A (en) Medical image processing apparatus
Kang et al. Feasibility of Eye-tracking based Glasses-free 3D Autostereoscopic Display Systems for Medical 3D Images.
Wang et al. Stereo CT Image Compositing Methods for Lung Nodule Detection and Characterization1
Hardy et al. An objective evaluation of the effectiveness of different methods of displaying three-dimensional information with medical x-ray images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application