KR102450675B1 - Method for reconstructing ultrasound image acquired with ultrasonic camera into 3d image - Google Patents
Method for reconstructing ultrasound image acquired with ultrasonic camera into 3d image Download PDFInfo
- Publication number
- KR102450675B1 KR102450675B1 KR1020200177053A KR20200177053A KR102450675B1 KR 102450675 B1 KR102450675 B1 KR 102450675B1 KR 1020200177053 A KR1020200177053 A KR 1020200177053A KR 20200177053 A KR20200177053 A KR 20200177053A KR 102450675 B1 KR102450675 B1 KR 102450675B1
- Authority
- KR
- South Korea
- Prior art keywords
- ultrasound
- camera
- reconstructing
- image
- dimensional image
- Prior art date
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 94
- 229910052704 radon Inorganic materials 0.000 claims abstract description 32
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 238000005096 rolling process Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims description 7
- 230000001788 irregular Effects 0.000 claims description 4
- 238000003325 tomography Methods 0.000 claims description 3
- 235000012149 noodles Nutrition 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 14
- 239000000523 sample Substances 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B42/00—Obtaining records using waves other than optical waves; Visualisation of such records by using optical means
- G03B42/06—Obtaining records using waves other than optical waves; Visualisation of such records by using optical means using ultrasonic, sonic or infrasonic waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
본 발명의 목적은 초음파 카메라가 2D 이미지를 구성하는 과정에서 유실되는 고도 정보를 복원하여 3D 정보를 재구성하고자 초음파 카메라를 롤링시켜서 획득되는 다수의 초음파 이미지에 역라돈 변환을 적용하여 3차원 이미지를 획득하기 위한 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법을 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법은, 초음파 카메라를 롤링 회전시키면서 촬영 대상 물체를 촬영하는 제 1 단계; 상기 초음파 카메라로부터 획득된 복수의 2D 이미지에 역라돈 변환(Inverse Radon Transform)을 적용하는 제 2 단계; 및 역라돈 변환에 의해 획득된 고도를 이용하여 상기 2D 이미지를 3D 이미지로 복원하는 제 3 단계;를 포함하는 것을 특징으로 한다.An object of the present invention is to obtain a three-dimensional image by applying inverse radon transformation to a plurality of ultrasonic images obtained by rolling an ultrasonic camera in order to reconstruct 3D information by restoring altitude information lost in the process of constructing a 2D image by an ultrasonic camera. An object of the present invention is to provide a method for reconstructing an ultrasound image acquired with an ultrasound camera to a three-dimensional image.
In order to achieve the above object, a method for reconstructing an ultrasound image acquired by an ultrasound camera into a three-dimensional image according to the present invention includes: a first step of photographing an object to be photographed while rolling and rotating the ultrasound camera; a second step of applying Inverse Radon Transform to a plurality of 2D images obtained from the ultrasound camera; and a third step of reconstructing the 2D image into a 3D image using the altitude obtained by inverse radon transformation.
Description
본 발명은 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에 관한 것으로, 더욱 상세하게는 초음파 카메라를 롤링시켜서 획득되는 초음파 이미지에 역라돈 변환을 적용하여 3차원 이미지를 획득하기 위한 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에 관한 것이다.The present invention relates to a method for reconstructing an ultrasound image acquired with an ultrasound camera into a 3D image, and more particularly, to an ultrasound image obtained by rolling an ultrasound camera by applying inverse radon transformation to obtain a 3D image. The present invention relates to a method of reconstructing an ultrasound image acquired by a camera into a three-dimensional image.
일반적으로 해저 상태, 해양 어족 자원의 조사 및 각종 폐기물의 조사 등을 위해 행해지는 해저 탐사 작업은 해양 연구에 있어서 중요한 부분을 차지하고 있다.In general, seabed exploration, which is performed to investigate the condition of the seabed, marine fish stocks, and various wastes, occupies an important part in ocean research.
최근 들어 이러한 탐사 작업은 무인 탐사선을 통해 탐사 작업을 수행하고 있다.Recently, such exploration work is being carried out through an unmanned probe.
특히 해상의 선박에 의해 견인되는 탐사체에 촬영 가능한 수중 촬영 장치 등의 조사 장비를 장착하고 해저면을 조사하는 작업 방식이 많이 행해지고 있다.In particular, many work methods have been carried out in which an investigation equipment such as an underwater imaging device capable of photographing is mounted on a probe towed by a ship in the sea and surveying the sea floor.
그러나 이러한 작업 방식으로 해저의 악시계 환경에서 탐사체를 운용함에 있어 시계가 불리하다는 문제점이 있었다.However, there was a problem in that the visibility was disadvantageous in operating the probe in the low visibility environment of the seabed with this work method.
이로 인해 일반 디지털 카메라보다 초음파 카메라를 사용하여 해저를 탐사하고 있다.For this reason, ultrasonic cameras are used rather than general digital cameras to explore the seabed.
이러한 초음파 카메라는 다수의 음향 빔을 방사하고, 반사되어 오는 음향 신호를 처리하여 2D 이미지로 재구성하게 된다.Such an ultrasonic camera emits a plurality of sound beams, processes the reflected sound signals, and reconstructs them into 2D images.
이러한 원리를 이용하여 탁도가 높은 물 속에서도 초음파 카메라는 전방에 대한 이미지 정보를 제공해 줄 수 있기 때문에 수중 탐사에 필수적인 장비로 사용되고 있다.Using this principle, the ultrasonic camera is used as an essential equipment for underwater exploration because it can provide image information about the front even in water with high turbidity.
도 1은 초음파 카메라의 2D 이미지 재구성 과정에서 고도 정보를 잃어버리는 예를 나타내는 도면이고, 도 2는 초음파 카메라의 측면도이다.1 is a diagram illustrating an example in which altitude information is lost in a 2D image reconstruction process of an ultrasound camera, and FIG. 2 is a side view of the ultrasound camera.
도 1을 참조하면, 이러한 초음파 카메라는 2D 이미지 재구성 과정에서 필연적으로 바라보는 정면 방향에서 상하 고도(Elevation) 정보가 무시되게 된다.Referring to FIG. 1 , in a 2D image reconstruction process, in such an ultrasound camera, vertical and/or elevation information is ignored in the front direction inevitably viewed.
즉, 도 1에 도시된 바와 같이 이미지를 재구성하는 과정에서 점 P는 P'로 사영(Projection)됨으로써, 고도() 정보를 잃어버리게 되는 문제점이 있었다.That is, in the process of reconstructing the image as shown in FIG. 1, the point P is projected as P' , so that the altitude ( ), there was a problem in that information was lost.
도 2는 초음파 카메라의 측면도를 나타내고 있는데, 도 2에 나타내진 바와 같이 IC4와, C4를 연결하는 호(Arc) 상의 정보는 스크린 이미지(Screen Image) 상의 한 점인 IC4로 사영됨으로써, 그 고도 정보를 알 수 없게 되는 문제점이 있었다.FIG. 2 shows a side view of the ultrasonic camera, and as shown in FIG. 2, information on an arc connecting IC4 and C4 is projected as one point on the screen image, IC4, so that the altitude information is displayed. There was an unknown problem.
상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 초음파 카메라가 2D 이미지를 구성하는 과정에서 유실되는 고도 정보를 복원하여 3D 정보를 재구성하고자 초음파 카메라를 롤링시켜서 획득되는 다수의 초음파 이미지에 역라돈 변환을 적용하여 3차원 이미지를 획득하기 위한 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention to solve the conventional problems as described above is to restore the altitude information lost in the process of constructing a 2D image by an ultrasound camera to reconstruct 3D information in a plurality of ultrasound images obtained by rolling the ultrasound camera. An object of the present invention is to provide a method of reconstructing an ultrasound image obtained by an ultrasound camera for obtaining a 3D image by applying inverse radon transformation into a 3D image.
상기 목적을 달성하기 위해, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법은, 초음파 카메라를 롤링 회전시키면서 촬영 대상 물체를 촬영하는 제 1 단계;를 포함하는 것을 특징으로 한다.In order to achieve the above object, a method for reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image according to the present invention comprises: a first step of photographing an object to be photographed while rolling and rotating the ultrasound camera. do.
상기 목적을 달성하기 위해, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법은, 초음파 카메라를 롤링 회전시키면서 촬영 대상 물체를 촬영하는 제 1 단계; 및 상기 초음파 카메라로부터 획득된 복수의 2D 이미지에 역라돈 변환(Inverse Radon Transform)을 적용하는 제 2 단계;를 포함하는 것을 특징으로 한다.In order to achieve the above object, a method for reconstructing an ultrasound image acquired by an ultrasound camera into a three-dimensional image according to the present invention includes: a first step of photographing an object to be photographed while rolling and rotating the ultrasound camera; and a second step of applying Inverse Radon Transform to the plurality of 2D images obtained from the ultrasound camera.
상기 목적을 달성하기 위해, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법은, 초음파 카메라를 롤링 회전시키면서 촬영 대상 물체를 촬영하는 제 1 단계; 상기 초음파 카메라로부터 획득된 복수의 2D 이미지에 역라돈 변환(Inverse Radon Transform)을 적용하는 제 2 단계; 및 역라돈 변환에 의해 획득된 고도를 이용하여 상기 2D 이미지를 3D 이미지로 복원하는 제 3 단계;를 포함하는 것을 특징으로 한다.In order to achieve the above object, a method for reconstructing an ultrasound image acquired by an ultrasound camera into a three-dimensional image according to the present invention includes: a first step of photographing an object to be photographed while rolling and rotating the ultrasound camera; a second step of applying Inverse Radon Transform to a plurality of 2D images obtained from the ultrasound camera; and a third step of reconstructing the 2D image into a 3D image using the altitude obtained by inverse radon transformation.
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 초음파 카메라는 -90° 내지 +90°에 걸쳐 롤링 회전되는 것을 특징으로 한다.In addition, in the method for reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image according to the present invention, the ultrasound camera is characterized in that the rotation is rolled over -90° to +90°.
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 초음파 카메라를 롤링시 롤의 각도 변화를 일정하게 유지시키는 것을 특징으로 한다.In addition, in the method for reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image according to the present invention, it is characterized in that the angle change of the roll is constantly maintained when the ultrasound camera is rolled.
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 역라돈 변환은 상기 2D 이미지로부터 상기 초음파 카메라와 동일한 거리에 있는 영역에 적용시, 상기 영역으로 사영된 점들의 고도를 복원시키는 것을 특징으로 한다.In addition, in the method for reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image according to the present invention, when the inverse radon transformation is applied to an area at the same distance from the 2D image as the ultrasound camera, it is projected into the area It is characterized in that the elevation of the points is restored.
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 역라돈 변환은 상기 초음파 카메라와 동일한 거리의 호에 대해 반복 적용하는 것을 특징으로 한다.In addition, in the method for reconstructing an ultrasound image acquired by an ultrasound camera into a three-dimensional image according to the present invention, the inverse radon transformation is repeatedly applied to an arc having the same distance as the ultrasound camera.
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 영역은 상기 초음파 카메라로부터 시간 지연을 통해 계측하는 것을 특징으로 한다.Further, in the method of reconstructing an ultrasound image acquired by an ultrasound camera into a three-dimensional image according to the present invention, the region is measured from the ultrasound camera through a time delay.
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 점의 3차원 위치 정보는 상기 영역과, 상기 영역이 이루는 방위각과, 상기 영역에 사영된 점에 적용된 역라돈 변환에 의한 값에 의해 복원되는 것을 특징으로 한다.In addition, in the method of reconstructing an ultrasound image acquired with an ultrasound camera into a 3D image according to the present invention, the 3D position information of the point is applied to the area, the azimuth formed by the area, and the point projected on the area. It is characterized in that it is restored by a value by inverse radon transformation.
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 방위각은 상기 초음파 카메라로부터 방사되는 각도가 고정된 상태로 계측되는 것을 특징으로 한다.Further, in the method of reconstructing an ultrasound image acquired by an ultrasound camera into a three-dimensional image according to the present invention, the azimuth is measured while the angle radiated from the ultrasound camera is fixed.
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 복원은 2차원 이미지의 절편(slice) 또는 단층 영상(tomography)의 데이터를 면적분하여 상기 촬영 대상 물체를 재구축하는 것을 특징으로 한다.In addition, in the method of reconstructing an ultrasound image acquired with an ultrasound camera into a 3D image according to the present invention, the restoration is performed by area-dividing data of a slice of a 2D image or a tomography image of the object to be photographed. characterized by reconstructing
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 재구축은 푸리에 변환 방식 또는 역투사 방식에 의해 수행되는 것을 특징으로 한다.Further, in the method of reconstructing an ultrasound image acquired by an ultrasound camera into a 3D image according to the present invention, the reconstruction is performed by a Fourier transform method or a reverse projection method.
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 초음파 카메라를 롤링시 롤 각도 변화 간격이 불규칙할 경우 보간법을 이용하여 보정하는 것을 특징으로 한다.In addition, in the method for reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image according to the present invention, when the interval of roll angle change is irregular when the ultrasound camera is rolled, it is characterized in that it is corrected using an interpolation method.
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 보간법은 0차 보간, 선형 보간, 스플라인 보간, 라그랑주 보간 중 하나인 것을 특징으로 한다.Further, in the method for reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image according to the present invention, the interpolation method is characterized in that one of zero-order interpolation, linear interpolation, spline interpolation, and Lagrange interpolation.
또한, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법에서, 상기 2상기 픽셀보다 작은 모서리를 추정할 때는 3차 스플라인 보간법 또는 곡선을 이용한 보간법을 사용하는 것을 특징으로 한다.In addition, in the method for reconstructing an ultrasound image acquired with an ultrasound camera into a 3D image according to the present invention, when estimating an edge smaller than the two pixels, a cubic spline interpolation method or an interpolation method using a curve is used. .
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.Specific details of other embodiments are included in "Details for carrying out the invention" and attached "drawings".
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.Advantages and/or features of the present invention, and methods for achieving them, will become apparent with reference to various embodiments described below in detail in conjunction with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.However, the present invention is not limited to the configuration of each embodiment disclosed below, but may also be implemented in a variety of different forms, and each embodiment disclosed herein only makes the disclosure of the present invention complete, It is provided to fully inform those of ordinary skill in the art to which the scope of the present invention belongs, and it should be understood that the present invention is only defined by the scope of each of the claims.
본 발명에 의하면, 초음파 카메라가 2D 이미지를 구성하는 과정에서 유실되는 고도 정보를 복원하여 3D 정보를 재구성하고자 초음파 카메라를 롤링시켜서 획득되는 다수의 초음파 이미지에 역라돈 변환을 적용하여 3차원 이미지를 획득하기 위한 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 효과가 있다.According to the present invention, a 3D image is obtained by applying inverse radon transformation to a plurality of ultrasound images obtained by rolling an ultrasound camera to reconstruct 3D information by restoring altitude information lost in the process of constructing a 2D image by an ultrasound camera. There is an effect of reconstructing an ultrasound image acquired with an ultrasound camera for the purpose of reconstructing a three-dimensional image.
도 1은 도 1은 초음파 카메라의 2D 이미지 재구성 과정에서 고도 정보를 잃어버리는 예를 나타내는 도면.
도 2는 초음파 카메라의 측면도.
도 3은 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법의 전체 흐름을 나타내는 도면.
도 4는 초음파 카메라가 물체를 촬영하는 상태를 나타내는 도면.
도 5는 128개의 빔이 모여 수평폭 30도를 이루는 초음파 카메라로 물체를 촬영한 사진.
도 6은 본 발명의 일 실시예에 따른 푸리에 방식에서 촬영 대상 물체에 광선이 방사된 상태를 나타내는 도면.
도 7은 본 발명의 일 실시예에 따른 푸리에 방식에서 의 샘플 좌표를 나타내는 도면.
도 8은 본 발명의 다른 실시예에 따른 역투사 방식에서, 분리화된 값을 나타내는 도면.
도 9는 본 발명의 다른 실시예에 따른 역투사 방식에서, 사영의 수가 충분히 많지 않을 경우를 나타내는 도면.
도 10은 본 발명의 다른 실시예에 따른 역투사 방식에서, 역투사를 나타내는 도면.
도 11은 보간법을 나타내는 도면.
도 12는 실물을 나타내는 사진.
도 13은 도 12의 실물을 롤링각 0도에서 촬영한 사진.
도 14는 도 12의 실물을 롤링각 90도에서 촬영한 사진.
도 15는 다양한 각도에서 바라본 재구성된 물체를 나타내는 도면.1 is a diagram illustrating an example in which altitude information is lost in a 2D image reconstruction process of an ultrasound camera;
2 is a side view of the ultrasound camera;
3 is a view showing an overall flow of a method for reconstructing an ultrasound image acquired by an ultrasound camera into a three-dimensional image according to the present invention.
4 is a diagram illustrating a state in which an ultrasound camera captures an object;
5 is a photograph of an object taken with an ultrasonic camera in which 128 beams are gathered to form a horizontal width of 30 degrees.
6 is a view illustrating a state in which a light beam is emitted to an object to be photographed in a Fourier method according to an embodiment of the present invention;
7 is a Fourier method according to an embodiment of the present invention. A drawing showing the sample coordinates of .
8 is a diagram illustrating separated values in a reverse projection method according to another embodiment of the present invention.
9 is a diagram illustrating a case in which the number of projections is not sufficiently large in a reverse projection method according to another embodiment of the present invention.
10 is a diagram illustrating reverse projection in a reverse projection method according to another embodiment of the present invention.
Fig. 11 is a diagram showing an interpolation method;
12 is a photograph showing the real thing.
13 is a photograph taken at a rolling angle of 0 degrees of the real of FIG.
Figure 14 is a photograph taken at a rolling angle of 90 degrees of the real of Figure 12.
15 is a view showing a reconstructed object viewed from various angles.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.Before describing the present invention in detail, the terms or words used herein should not be construed as being unconditionally limited to their ordinary or dictionary meanings, and in order for the inventor of the present invention to describe his invention in the best way It should be understood that the concepts of various terms can be appropriately defined and used, and further, these terms or words should be interpreted as meanings and concepts consistent with the technical idea of the present invention.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.That is, the terms used in this specification are only used to describe preferred embodiments of the present invention, and are not used for the purpose of specifically limiting the content of the present invention, and these terms represent various possibilities of the present invention. It should be noted that the term has been defined with consideration in mind.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.Also, in this specification, it should be understood that, unless the context clearly indicates otherwise, the expression in the singular may include a plurality of expressions, and even if it is similarly expressed in plural, it should be understood that the meaning of the singular may be included. .
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.In the case where it is stated throughout this specification that a component "includes" another component, it does not exclude any other component, but further includes any other component unless otherwise indicated. It could mean that you can.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.Furthermore, when it is described that a component is "exists in or is connected to" of another component, this component may be directly connected or installed in contact with another component, and a certain It may be installed spaced apart by a distance, and in the case of being installed spaced apart by a certain distance, a third component or means for fixing or connecting the corresponding component to another component may exist, and now It should be noted that the description of the components or means of 3 may be omitted.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.On the other hand, when it is described that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the third element or means does not exist.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.Likewise, other expressions describing the relationship between components, such as "between" and "immediately between", or "adjacent to" and "directly adjacent to", have the same meaning. should be interpreted as
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어가, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.In addition, if terms such as "one side", "other side", "one side", "other side", "first", "second" are used in this specification, with respect to one component, this one component is It is used to be clearly distinguished from other components, and it should be understood that the meaning of the component is not limitedly used by such terms.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어가, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.In addition, if used in this specification terms related to positions such as "upper", "lower", "left", "right", it should be understood as indicating a relative position in the drawing with respect to the corresponding component, Unless an absolute position is specified for their position, these position-related terms should not be construed as referring to an absolute position.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.In addition, in this specification, in specifying the reference numerals for each component of each drawing, the same component has the same reference number even if the component is indicated in different drawings, that is, the same reference is made throughout the specification. The symbols indicate the same components.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.In the drawings attached to this specification, the size, position, coupling relationship, etc. of each component constituting the present invention are partially exaggerated, reduced, or omitted for convenience of explanation or in order to sufficiently clearly convey the spirit of the present invention. may be described, and thus the proportion or scale may not be exact.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.In addition, in the following, in describing the present invention, a detailed description of a configuration determined that may unnecessarily obscure the subject matter of the present invention, for example, a detailed description of a known technology including the prior art may be omitted.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the related drawings.
도 3은 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법의 전체 흐름을 나타내는 도면이다.3 is a diagram illustrating an overall flow of a method for reconstructing an ultrasound image acquired by an ultrasound camera into a three-dimensional image according to the present invention.
도 3을 참조하면, 본 발명에 따른 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법은 총 3개의 단계를 포함한다.Referring to FIG. 3 , the method of reconstructing an ultrasound image acquired by an ultrasound camera into a 3D image according to the present invention includes a total of three steps.
제 1 단계(S100)에서는, 초음파 카메라를 롤링 회전시키면서 촬영 대상 물체를 촬영한다.In the first step ( S100 ), an object to be photographed is photographed while the ultrasonic camera is rolled and rotated.
여기서, 초음파 카메라는 -90° 내지 +90°에 걸처 롤링 회전될 수 있다.Here, the ultrasonic camera may be rotated by rolling over -90° to +90°.
물체의 한 단면(Slice)을 재구성하기 위해서는 물체를 중심으로 최소 180도 이상에 대하여 공전하며 스캔이 이루어져야 한다.In order to reconstruct one slice of an object, scanning should be performed while orbiting at least 180 degrees around the object.
따라서, 본 발명에 따른 실시예에서는, 초음파 카메라는 -90° 내지 +90°에 걸처 롤링 회전될 수 있다.Accordingly, in an embodiment according to the present invention, the ultrasonic camera may be rotated by rolling over -90° to +90°.
이때, 초음파 카메라를 롤링시 롤의 각도 변화를 일정하게 유지시켜야 한다.At this time, when rolling the ultrasonic camera, it is necessary to maintain a constant change in the angle of the roll.
룰 각도의 변화 간격이 불규칙할 경우에는 보간법을 통해 보완이 이루어져야 한다.If the interval of change of the rule angle is irregular, it should be supplemented through interpolation.
제 2 단계(S200)에서는, 초음파 카메라로부터 획득된 복수의 2D 이미지에 역라돈 변환(Inverse Radon Transform)을 적용한다.In the second step ( S200 ), an inverse Radon transform is applied to a plurality of 2D images obtained from the ultrasound camera.
제 3 단계(S300)에서는, 역라돈 변환에 의해 획득된 고도를 이용하여 2D 이미지를 3D 이미지로 복원하다.In the third step (S300), the 2D image is reconstructed into a 3D image using the altitude obtained by the inverse radon transformation.
이때, 역라돈 변환은 2D 이미지로부터 초음파 카메라와 동일한 거리에 있는 영역에 적용시, 영역으로 사영된 점들의 고도를 복원시키게 된다.In this case, when the inverse radon transformation is applied to a region at the same distance from the ultrasound camera from the 2D image, the elevation of the points projected into the region is restored.
또한, 역라돈 변환은 초음파 카메라와 동일한 거리의 호에 대해 반복 적용하게 된다.In addition, the inverse radon transformation is repeatedly applied to the arc of the same distance as the ultrasound camera.
상술한 영역은 상기 초음파 카메라로부터 시간 지연을 통해 계측하게 된다.The above-described area is measured through a time delay from the ultrasound camera.
사영된 점의 3차원 위치 정보는 상기 영역과, 영역이 이루는 방위각과, 상기 영역에 사영된 점에 적용된 역라돈 변환에 의한 값에 의해 복원된다.The three-dimensional position information of the projected point is restored by the area, the azimuth formed by the area, and a value obtained by inverse Radon transformation applied to the point projected on the area.
이에 대해 좀 더 상세히 설명하도록 한다.This will be described in more detail.
도 4는 초음파 카메라가 물체를 촬영하는 상태를 나타내는 도면이고, 도 5는 128개의 빔이 모여 수평폭 30도를 이루는 초음파 카메라로 물체를 촬영한 사진이다.4 is a view illustrating a state in which an ultrasonic camera captures an object, and FIG. 5 is a photograph of an object by an ultrasonic camera in which 128 beams are gathered to form a horizontal width of 30 degrees.
도 4를 참조하면, 초음파 카메라가 물체를 촬영하고 2D 이미지를 재구성하는 과정에서, 초음파 카메라가 촬영한 고도를 갖는 모든 점들은 평면상으로 모두 사영(Projection)됨으로써, 고도() 정보를 잃어버리게 된다.Referring to FIG. 4 , in the process of the ultrasound camera capturing an object and reconstructing a 2D image, all points having an altitude photographed by the ultrasound camera are all projected onto a plane, so that the altitude ( ) information is lost.
즉, 3차원 정보를 획득하기 위해, 한 점(point)에 대해 필요한 것은 이 한 점과 초음파 카메라 사이의 거리(r)와, 방위각(Azimuth: θ)과, 고도(Elevation: )이다.That is, in order to acquire 3D information, what is needed for a point is the distance ( r ) between this point and the ultrasound camera, the azimuth (Azimuth: θ ), and the elevation (Elevation: )to be.
좀 더 상세히 설명하면, 3차원 좌표의 정보는 좌표계를 통해 제공하게 된다.In more detail, information on three-dimensional coordinates is provided through a coordinate system.
좌표계는 기하학에서 숫자나 기호를 써서 위치를 표기하는 방식으로, 위치를 정하는 숫자나 기호를 좌표라 한다.A coordinate system is a method of indicating a position using numbers or symbols in geometry.
이러한 대표적인 좌표계로는 직각 좌표계(Cartesian Coordinate)와, 원통 좌표계(Cylindrical Coordinate)와, 구면 좌표계(Spherical Coordinate) 등이 있다.Such representative coordinate systems include a Cartesian coordinate system, a cylindrical coordinate system, and a spherical coordinate system.
이러한 좌표계 중 구면 좌표계는 원점을 기준으로 3차원 위치 정보를 표시할 때, 원점과 3차원에 위치한 점 사이의 거리(r)와, 3차원 좌표 평면에서 X축과 거리(r) 사이의 각도인 방위각(θ)과, 3차원 좌표 평면에서 Z축과 거리(r) 사이의 각도인 고도()를 획득하면 3차원 정보를 표시할 수 있다.Among these coordinate systems, the spherical coordinate system is the angle between the distance ( r ) between the origin and a point located in three dimensions and the X axis and the distance ( r ) in the three-dimensional coordinate plane when displaying three-dimensional position information based on the origin. Azimuth ( θ ) and elevation ( ), it is possible to display three-dimensional information.
하지만, 초음파 카메라로 촬영 대상 물체를 촬영할 경우, 거리(r)은 이미지 구성 과정에서 왜곡되거나 유실되지 않는다.However, when an object to be photographed is photographed with an ultrasound camera, the distance r is not distorted or lost during the image construction process.
마찬가지로, 방위각(θ) 역시 이미지 구성 과정에서 왜곡되거나 유실되지 않는다.Likewise, the azimuth angle θ is also not distorted or lost in the image construction process.
즉, 초음파 카메라로부터의 각 빔이 방사되는 각도는 고정되어 있고, 몇 번째 빔에서 얻어지는 것인지는 직접적으로 계측되므로 그 빔의 각도가 곧 방위각(θ)이 된다.That is, the angle at which each beam from the ultrasound camera is emitted is fixed, and since the number of beams obtained is directly measured, the angle of the beam becomes the azimuth ( θ ).
도 5를 참조하면, 총 128개의 빔이 모여 수평폭 30도를 이루는 초음파 카메라임을 확인할 수 있다.Referring to FIG. 5 , it can be confirmed that a total of 128 beams are gathered to form an ultrasonic camera having a horizontal width of 30 degrees.
따라서, 0번째 빔에서 계측된 점은 방위각이 15도가 되며 127번째 빔에서 계측된 점은 방위각이 -15도가 된다.Accordingly, the point measured at the 0th beam has an azimuth of 15 degrees, and the point measured at the 127th beam has an azimuth of -15 degrees.
또한, k번째 빔에서 계측된 점은 방위각이 (15 - 30)/128*k가 된다.Also, the point measured in the k-th beam has an azimuth angle of (15 - 30)/128*k.
하지만, 이러한 초음파 카메라로 촬영 대상 물체를 촬영시 고도()가 유실되므로 복원이 필요하다.However, when shooting an object to be photographed with such an ultrasonic camera, the ) is lost and needs to be restored.
이와 같이 고도가 유실된 2D 이미지를 재구성하여 3차원 정보를 복원하는 것이 매우 중요하다.It is very important to reconstruct the 3D information by reconstructing the 2D image in which the elevation is lost.
초음파 카메라를 롤링 회전시키면서 촬영 대상 물체를 촬영하여 촬영 대상 물체를 스캔하는 과정이 라돈 변환이다.Radon transformation is a process of scanning an object to be photographed by photographing the object to be photographed while rolling and rotating the ultrasonic camera.
좀 더 상세히 설명하면, 초음파 카메라에서 방출되는 초음파와 같은 물질은 촬영 대상 물체를 통과할 때, 물체의 조직의 종류에 따라 그 감쇄량(Attenuation)이 다르다.In more detail, when a material, such as ultrasound, emitted from an ultrasound camera passes through an object to be photographed, an attenuation amount thereof is different depending on the type of tissue of the object.
이러한 감쇄 상수(Attenuation Efficient)의 분포를 가시화함으로써 촬영 대상 물체의 단층 영상을 재구성하게 된다.By visualizing the distribution of the attenuation constant (Attenuation Efficient), a tomographic image of the object to be photographed is reconstructed.
이미지의 일련의 사영(A series of projections)으로부터 원래의 이미지를 재구축(Reconstruction)하는 것을 라돈 변환이라 한다.Reconstruction of the original image from a series of projections is called Radon transformation.
도 6은 본 발명의 일 실시예에 따른 푸리에 방식에서 촬영 대상 물체에 광선이 방사된 상태를 나타내는 도면이고, 도 7은 본 발명의 일 실시예에 따른 푸리에 방식에서 의 샘플 좌표를 나타내는 도면이다.6 is a view showing a state in which a light beam is emitted to an object to be photographed in the Fourier method according to an embodiment of the present invention, and FIG. A diagram showing the sample coordinates of
라돈 변환(Radon transform)은 w(x, y, z)를 3차원에서 물체라고 하고, 고정된 z값인 z0에 대해 라 하면, 는 물체의 단층 절편을 나타낸다.Radon transform refers to w(x, y, z) as an object in three dimensions, and for a fixed z value of z 0 , If you say represents the tomographic section of the object.
z값을 달리하면, 다른 절편을 획득할 수 있다.By varying the z-value, different intercepts can be obtained.
이 절편들을 차례로 정렬하고 쌓아 물체의 3차원적인 표면(Volume Data)를 획득할 수 있다.The three-dimensional surface (volume data) of the object can be obtained by arranging and stacking these fragments one after the other.
각 절편의 두께는 무한히 작은 것이 이상적이지만 실질적인 스캐너에서는 그렇지 못하고 어떤 범위 내에서 조정이 가능하다.Ideally, the thickness of each section should be infinitely small, but this is not the case in practical scanners and can be adjusted within a certain range.
만약. 2절편 사이의 물체의 값이 필요하면 인접 절편 값과 보간법을 이용하여 그 값을 추정하게 된다.what if. If the value of the object between the two intercepts is needed, the value is estimated using the adjacent intercept value and interpolation method.
고정된 z값 z0에 대해, 절편 와, 그 물체를 통과하는 평행 광선들은 도 6을 통해 확인할 수 있다.For a fixed z-value z 0 , the intercept And, the parallel rays passing through the object can be confirmed through FIG. 6 .
도 6을 참조하면, x축에서 θ만큼 기울어진 선에 수직이고, 원점에서 t만큼의 거리에 있는 광선을 M θ,t 라 하면, 각 광선 M θ,t 에 대한 선적분은 하기 수식 (1)로 표현된다.Referring to FIG. 6 , if a ray perpendicular to the line inclined by θ from the x-axis and at a distance of t from the origin is M θ ,t, the line integral for each ray M θ,t is expressed by the following Equation (1) is expressed as
(1) (One)
이러한 를 에 대한 라돈 변환이라 한다.Such cast It is called the radon transformation for
여기서, s는 M θ,t 방향의 선(line)이다.Here, s is a line in the M θ,t direction.
고정된 θ 값에 대해 는 1차원의 신호이고, 는 의 1차 사영(Projection)들의 완전한 집합이다.For a fixed θ value is a one-dimensional signal, Is It is a complete set of first-order projections of
M θ,t 를 매개 변수로 나타내면 이므로, 디락 델타(Dirac Delta) 함수를 사용하면 하기 수식 (2)로 표현된다.If we represent M θ,t as a parameter, Therefore, if the Dirac Delta function is used, it is expressed by the following Equation (2).
(2) (2)
이러한 에서 를 재구축하게 된다.Such at will rebuild
이와 같은 라돈 변환을 역변환하는 것이 라돈 역변환이라 한다.Inverse transformation of such a radon transformation is called inverse radon transformation.
본 실시예에서는 에서 를 재구축하기 위해 푸리에 변환(Fourier Transform)을 이용한다.In this embodiment at A Fourier transform is used to reconstruct .
의 라돈 변환 의 중요한 성질 중 하나는 의 2차 푸리에 변환인 와의 관계이다. radon conversion of One of the important properties of is the second-order Fourier transform of is a relationship with
의 2차 푸리에 변환 는 하기 수식 (3)으로 표현된다. quadratic Fourier transform of is expressed by the following formula (3).
(3) (3)
이러한 의 1차 푸리에 변환을 라 하면, 는 하기 수식 (4)로 표현된다.Such The first-order Fourier transform of If you say is expressed by the following formula (4).
(4) (4)
이에 의해, = 이고, 푸리에 변환의 절편 정리인 하기 수식 (5)를 획득한다.Thereby, = , and the following equation (5), which is the intercept theorem of the Fourier transform, is obtained.
(5) (5)
수식 (5)로부터 모든 θ에 대해 의 1차 푸리에 변환 를 구하면, 의 2차 푸리에 변환 를 추정할 수 있다.From Equation (5), for all θ first-order Fourier transform of If you find quadratic Fourier transform of can be estimated.
를 역 푸리에 변환(Inverse Fourier Transform)하면 를 획득한다. If is an Inverse Fourier Transform, to acquire
도 7을 참조하면, 푸리에 변환의 절편 정리에서 보듯이 평면에서 모든 각 θ에 대해 방사상의 선 로 값을 추정할 수 있다.Referring to Figure 7, as shown in the intercept theorem of the Fourier transform Radial line for every angle θ in the plane as value can be estimated.
이때, 값을 사각형의 좌표로 보간(Interpolate)해야 하는데, 그 오차가 상수가 아니다.At this time, We need to interpolate the values to the coordinates of the rectangle, but the error is not constant.
즉, 원점 부근의 주파수(Frequency)가 낮은 곳에는 샘플이 많고, 주파수가 높은 곳에는 샘플이 적어, 보간에 따른 오차가 커져 물체의 가장자리 등 주파수가 높은 곳에서 이미지 가 일그러질 수 있다.That is, there are many samples in the low frequency area near the origin and few samples in the high frequency area, so the error due to interpolation increases, so that the image is located at a high frequency such as the edge of an object. may be distorted
따라서, 보간법을 수행해야 한다.Therefore, interpolation must be performed.
도 8은 본 발명의 다른 실시예에 따른 역투사 방식에서, 분리화된 값을 나타내는 도면이고, 도 9는 본 발명의 다른 실시예에 따른 역투사 방식에서, 사영의 수가 충분히 많지 않을 경우를 나타내는 도면이며, 도 10은 본 발명의 다른 실시예에 따른 역투사 방식에서, 역투사를 나타내는 도면이다.8 is a diagram illustrating separated values in a reverse projection method according to another embodiment of the present invention, and FIG. 9 is a diagram illustrating a case in which the number of projections is not sufficiently large in a reverse projection method according to another embodiment of the present invention. FIG. 10 is a diagram illustrating reverse projection in a reverse projection method according to another embodiment of the present invention.
본 발명의 다른 실시예에서는, 역투사(Filtered Back Projection)를 통해 재구축하는 방식을 설명하도록 한다.In another embodiment of the present invention, a method of reconstruction through Filtered Back Projection will be described.
2차원에서 역 라돈변환은 하기 수식(6)으로 표현된다.The inverse Radon transform in two dimensions is expressed by the following equation (6).
(6) (6)
상기 수식 (6)에 주치(Principal Value)를 이용하고, 가 존재하고 연속이라 가정하면, 하기 수식 (7)을 획득할 수 있다.Using the Principal Value in Equation (6), If is assumed to exist and is continuous, the following equation (7) can be obtained.
(7) (7)
여기서, 는 면, 이고, 이면, 이다.here, Is noodle, ego, back side, to be.
은 하이 패스 필터(High Pass Filter)의 역할을 하며, 푸리에 변환에서 와 동일한다. acts as a high pass filter, and in the Fourier transform same as
상기 수식 (6) 또는 (7)은 를 획득하기 위해, 각 θ에 대해 Equation (6) or (7) above is To obtain , for each θ
을 (x, y) 평면으로 사영하는 것이라 할 수 있으며, 이것을 역투사라 한다. can be said to be projected onto the (x, y) plane, and this is called reverse projection.
상술한 바에 의하면 사영을 연속적으로 획득하는 방식으로 재구축하지만, 실질적으로 오직 유한 번의 사영만을 획득할 수 있으므로, 분리화(discrete)된 값만을 획득할 수 있다.According to the above description, it is reconstructed in such a way that the projection is continuously acquired, but since it is possible to acquire only a finite number of projections in practice, it is separated (discrete). Only values can be obtained.
N개의 사영이 있고, 사영각이 사이에서 같은 간격으로 주어질 경우, 은 에서 i번째의 투사된 사영(filtered projection)이고, 일 때 역사영(back projection)을 다음과 같이 하기 수식 (8)로 추정할 수 있다. There are N oblique angles, and the oblique angles are Given equal spacing between silver is the i-th filtered projection in When , the back projection can be estimated by Equation (8) below.
(8) (8)
또한, 디텍터의 개수도 유한하므로, 사영 데이터를 샘플링해야 한다.In addition, since the number of detectors is also finite, projection data must be sampled.
디텍터의 두께가 무시할 수 있을 만큼 얇고, 샘플링 간격이 작은 값 라고 가정하고, , 를 샘플링한 것을 각각 라 하면, 로부터 를 획득하기 위해 도 샘플링해야 한다.A value with a negligible thickness of the detector and a small sampling interval Assuming that , each sampled If you say from to obtain should also be sampled.
또한, 도 9에 나타낸 바와 같이 사영의 수가 충분히 많지 않을 경우 물질을 역사영하면 별 모양의 원하지 않는 무늬(Artifact)가 생길 수 있다.In addition, as shown in FIG. 9 , if the number of projections is not large enough, undesirable star-shaped artifacts may be generated when the material is reverse projected.
상기 수식 (8)에서 역투사로 를 추정할 때, 도 10에 나타낸 바와 같이 (여기서, )는 선분 ML 상의 모든 점에 동일한 값을 준다. t가 클수록 ML의 길이가 짧아지고, t가 작을수록 ML의 길이가 길어져서 t의 값에 따라 가 영향을 미치는 범위가 달라진다.In Equation (8) above, to the reverse projection When estimating , as shown in (here, ) gives the same value to all points on the line segment ML. As t increases, the length of ML becomes shorter, and as t decreases, the length of ML becomes longer, depending on the value of t. The range of influence varies.
도 11은 보간법을 나타내는 도면이다. 11 is a diagram illustrating an interpolation method.
도 11을 참조하여, 보간법에 대해 설명한다With reference to FIG. 11, the interpolation method is demonstrated.
역사영할 때 주어진 각 에 대해, 의 값이 필터링된 샘플링 값 과 사이에 있으므로, 보간이 필요하다.The angle given in the historical About, The value of the filtered sampling value class between them, so interpolation is necessary.
의 특성, 특정 응용에 실제적으로 사용할 수 있는 계산량과, 특정 보간법에 따른 영상의 질 등을 고려하여, 0차 보간, 선형 보간, 스플라인(spline)이나 라그랑주(lagrange) 방법 등의 보간법을 이용할 수 있다. Interpolation methods such as zero-order interpolation, linear interpolation, spline or Lagrange method can be used in consideration of the characteristics of .
일반적으로 선형 보간법이 많이 사용되지만, 픽셀보다 작은 모서리 등을 추정할 때는 3차 스플라인이나 다른 곡선을 이용한 보간법 등이 효과적이다.In general, linear interpolation is often used, but when estimating edges smaller than a pixel, interpolation using cubic splines or other curves is effective.
이 외에도 서브 샘플링(sub-sampling), 수퍼 샘플링(super-sampling), 프리 샘플링(pre-sampling) 의 신호 처리 기술을 사용할 수 있다.In addition to this, signal processing techniques of sub-sampling, super-sampling, and pre-sampling may be used.
환언하면, 초음파 카메라와, 촬영 대상 물체 사이의 거리가 측정되고, 초음파 카메라로부터 방사되는 각도가 고정된 상태로 방위각이 계측되며, 고도를 사영으로부터 재구축함으로써, 3차원 이미지를 재구성할 수 있다.In other words, the distance between the ultrasonic camera and the object to be photographed is measured, the azimuth is measured while the angle radiated from the ultrasonic camera is fixed, and the three-dimensional image can be reconstructed by reconstructing the altitude from the projection.
즉, 3차원 이미지의 복원은 2차원 이미지의 절편(slice) 또는 단층 영상(tomography)의 데이터를 면적분하여 상기 촬영 대상 물체를 재구축하는 것이다.That is, the restoration of the 3D image is to reconstruct the object to be photographed by area-dividing data of a slice or tomography of a 2D image.
이러한 재구축은 푸리에 변환 방식 또는 역투사 방식에 의해 수행된다.This reconstruction is performed by a Fourier transform method or an inverse projection method.
또한, 초음파 카메라를 롤링시 롤 각도 변화 간격이 불규칙할 경우 보간법을 이용하여 보정한다.In addition, if the roll angle change interval is irregular when rolling the ultrasonic camera, it is corrected using the interpolation method.
이러한 보간법은 0차 보간, 선형 보간, 스플라인 보간, 라그랑주 보간 중 하나이다.This interpolation method is one of zero-order interpolation, linear interpolation, spline interpolation, and Lagrange interpolation.
이때, 픽셀보다 작은 모서리를 추정할 때는 3차 스플라인 보간법 또는 곡선을 이용한 보간법을 사용하는 것이 효과적이다.In this case, when estimating an edge smaller than a pixel, it is effective to use cubic spline interpolation or interpolation using a curve.
도 12는 실물을 나타내는 사진이고, 도 13은 도 12의 실물을 롤링각 0도에서 촬영한 사진이며, 도 14는 도 12의 실물을 롤링각 90도에서 촬영한 사진이며, 도 15는 다양한 각도에서 바라본 재구성된 물체를 나타내는 도면이다.12 is a photograph showing the real thing, FIG. 13 is a photograph taken at a rolling angle of 0 degrees of the real of FIG. 12, FIG. 14 is a photograph taken of the real object of FIG. 12 at a rolling angle of 90 degrees, and FIG. 15 is various angles It is a diagram showing the reconstructed object viewed from
도 13 내지 도 15를 참조하면, 도 12에 도시된 촬영 대상 물체(실물)가 거의 동일 또는 유사한 3D 이미지로 재구축 된 것을 확인할 수 있다.13 to 15 , it can be confirmed that the photographing target object (real) shown in FIG. 12 is reconstructed into an almost identical or similar 3D image.
이와 같이 본 발명에 의하면, 초음파 카메라가 2D 이미지를 구성하는 과정에서 유실되는 고도 정보를 복원하여 3D 정보를 재구성하고자 초음파 카메라를 롤링시켜서 획득되는 다수의 초음파 이미지에 역라돈 변환을 적용하여 3차원 이미지를 획득하기 위한 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 효과가 있다.As described above, according to the present invention, inverse radon transformation is applied to a plurality of ultrasound images obtained by rolling the ultrasound camera to reconstruct 3D information by restoring the altitude information lost in the process of constructing the 2D image by the ultrasound camera to obtain a 3D image. There is an effect of reconstructing an ultrasound image acquired with an ultrasound camera for obtaining a 3D image.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.In the above, although several preferred embodiments of the present invention have been described with some examples, the descriptions of various various embodiments described in the "Specific Contents for Carrying Out the Invention" item are merely exemplary, and the present invention Those of ordinary skill in the art will understand well that the present invention can be practiced with various modifications or equivalents to the present invention from the above description.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.In addition, since the present invention can be implemented in various other forms, the present invention is not limited by the above description, and the above description is intended to complete the disclosure of the present invention, and is generally It should be understood that this is only provided to fully inform those with knowledge of the scope of the present invention, and that the present invention is only defined by each of the claims.
Claims (15)
상기 초음파 카메라로부터 획득된 복수의 2D 이미지에 역라돈 변환(Inverse Radon Transform)을 적용하는 제 2 단계; 및
역라돈 변환에 의해 획득된 고도를 이용하여 상기 2D 이미지를 3D 이미지로 복원하는 제 3 단계;를 포함하며,
상기 복원은 2차원 이미지의 절편(slice) 또는 단층 영상(tomography)의 데이터를 면적분하여 상기 촬영 대상 물체를 재구축하고,
상기 재구축은 푸리에 변환 방식 또는 역투사 방식에 의해 수행되되,
상기 역투사 방식에서, 상기 역라돈 변환은 하기 수식 (6)으로 표현 - 여기서, 수식 (6)은 임 - 되며,
상기 수식 (6)에 주치(Principal Value)를 이용하고, 가 존재하고 연속이라 가정하면, 하기 수식 (7)을 획득 - 여기서, 수식 (7)은 이며, 는 면, 이고, 이면, 임 - 하며,
은 하이 패스 필터(High Pass Filter)의 역할을 수행하는 것을 특징으로 하는,
초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법.
A first step of photographing an object to be photographed while rolling and rotating the ultrasound camera;
a second step of applying Inverse Radon Transform to a plurality of 2D images obtained from the ultrasound camera; and
A third step of restoring the 2D image to a 3D image using the altitude obtained by inverse radon transformation;
The restoration reconstructs the object to be photographed by area segmenting data of a slice or tomography of a two-dimensional image,
The reconstruction is performed by a Fourier transform method or a reverse projection method,
In the reverse projection method, the reverse radon transformation is expressed by the following equation (6) - where equation (6) is Im - to be,
Using the Principal Value in Equation (6), Assuming exists and is continuous, we obtain Equation (7) below - where Equation (7) is is, Is noodle, ego, back side, Lim - and
is characterized in that it performs the role of a high pass filter,
A method of reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image.
상기 초음파 카메라는 -90° 내지 +90°에 걸처 롤링 회전되는 것을 특징으로 하는,
초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법.
4. The method of claim 3,
The ultrasonic camera is characterized in that the rolling rotation over -90 ° to +90 °,
A method of reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image.
상기 초음파 카메라를 롤링시 롤의 각도 변화를 일정하게 유지시키는 것을 특징으로 하는,
초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법.
4. The method of claim 3,
Characterized in maintaining a constant change in the angle of the roll when rolling the ultrasonic camera,
A method of reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image.
상기 역라돈 변환은 상기 2D 이미지로부터 상기 초음파 카메라와 동일한 거리에 있는 영역에 적용시, 상기 영역으로 사영된 점들의 고도를 복원시키는 것을 특징으로 하는,
초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법.
4. The method of claim 3,
When the inverse radon transformation is applied to an area at the same distance from the ultrasound camera from the 2D image, it is characterized in that the elevation of the points projected to the area is restored,
A method of reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image.
상기 역라돈 변환은 상기 초음파 카메라와 동일한 거리의 호에 대해 반복 적용하는 것을 특징으로 하는,
초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법.
7. The method of claim 6,
The inverse radon transformation is characterized in that it is repeatedly applied to an arc of the same distance as the ultrasound camera,
A method of reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image.
상기 영역은 상기 초음파 카메라로부터 시간 지연을 통해 계측하는 것을 특징으로 하는,
초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법.
7. The method of claim 6,
The area is characterized in that it is measured through a time delay from the ultrasound camera,
A method of reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image.
상기 점의 3차원 위치 정보는 상기 영역과, 상기 영역이 이루는 방위각과, 상기 영역에 사영된 점에 적용된 역라돈 변환에 의한 값에 의해 복원되는 것을 특징으로 하는,
초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법.
7. The method of claim 6,
The three-dimensional position information of the point is characterized in that the region, the azimuth formed by the region, and a value by inverse radon transformation applied to the point projected on the region are restored.
A method of reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image.
상기 방위각은 상기 초음파 카메라로부터 방사되는 각도가 고정된 상태로 계측되는 것을 특징으로 하는,
초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법.
10. The method of claim 9,
The azimuth is characterized in that the angle radiated from the ultrasonic camera is measured in a fixed state,
A method of reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image.
상기 초음파 카메라를 롤링시 롤 각도 변화 간격이 불규칙할 경우 보간법을 이용하여 보정하는 것을 특징으로 하는,
초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법.
4. The method of claim 3,
When the ultrasonic camera is rolled when the roll angle change interval is irregular, it is characterized in that it is corrected using an interpolation method,
A method of reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image.
상기 보간법은 0차 보간, 선형 보간, 스플라인 보간, 라그랑주 보간 중 하나인 것을 특징으로 하는,
초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법.
14. The method of claim 13,
The interpolation method is characterized in that one of zero-order interpolation, linear interpolation, spline interpolation, and Lagrange interpolation,
A method of reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image.
픽셀보다 작은 모서리를 추정할 때는 3차 스플라인 보간법 또는 곡선을 이용한 보간법을 사용하는 것을 특징으로 하는,
초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법.
15. The method of claim 14,
Characterized in using cubic spline interpolation or interpolation using curves when estimating an edge smaller than a pixel,
A method of reconstructing an ultrasound image acquired with an ultrasound camera into a three-dimensional image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200177053A KR102450675B1 (en) | 2020-12-17 | 2020-12-17 | Method for reconstructing ultrasound image acquired with ultrasonic camera into 3d image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200177053A KR102450675B1 (en) | 2020-12-17 | 2020-12-17 | Method for reconstructing ultrasound image acquired with ultrasonic camera into 3d image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220086868A KR20220086868A (en) | 2022-06-24 |
KR102450675B1 true KR102450675B1 (en) | 2022-10-06 |
Family
ID=82215832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200177053A KR102450675B1 (en) | 2020-12-17 | 2020-12-17 | Method for reconstructing ultrasound image acquired with ultrasonic camera into 3d image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102450675B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101493956B1 (en) * | 2013-08-23 | 2015-02-16 | 한국해양과학기술원 | Method and apparatus for 3d model reconstruction using multiple 2d acoustic images |
KR101866690B1 (en) * | 2017-03-29 | 2018-06-12 | 한국로봇융합연구원 | system for measuring underwater structure and measuring method using the same |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100913162B1 (en) | 2007-11-28 | 2009-08-19 | 대우조선해양 주식회사 | A Towed Deep Seabed Image Acquiring Device |
KR20160102711A (en) * | 2015-02-23 | 2016-08-31 | 한국전자통신연구원 | Apparatus and method for generating under waer object of three-dimensional shape |
KR102074182B1 (en) * | 2018-06-08 | 2020-02-06 | 포항공과대학교 산학협력단 | Method and Underwater Robot for Reconstruction of Three-Dimensional Shape of Underwater Object using Sonar Image Data |
-
2020
- 2020-12-17 KR KR1020200177053A patent/KR102450675B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101493956B1 (en) * | 2013-08-23 | 2015-02-16 | 한국해양과학기술원 | Method and apparatus for 3d model reconstruction using multiple 2d acoustic images |
KR101866690B1 (en) * | 2017-03-29 | 2018-06-12 | 한국로봇융합연구원 | system for measuring underwater structure and measuring method using the same |
Non-Patent Citations (1)
Title |
---|
Patricio, et al.,"2D and 3D visualization of acoustic waves by optical feedback interferometry", PhD, Institut National Polytechnique de Toulouse(2019)* |
Also Published As
Publication number | Publication date |
---|---|
KR20220086868A (en) | 2022-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guerneve et al. | Three‐dimensional reconstruction of underwater objects using wide‐aperture imaging SONAR | |
Massot-Campos et al. | Optical sensors and methods for underwater 3D reconstruction | |
JP6456312B2 (en) | Method and system for generating a three-dimensional image | |
Rende et al. | Advances in micro-cartography: A two-dimensional photo mosaicing technique for seagrass monitoring | |
Negahdaripour et al. | On processing and registration of forward-scan acoustic video imagery | |
AU2008200193A1 (en) | Automatic target recognition system for detection and classification of objects in water | |
CN109859271B (en) | Combined calibration method for underwater camera and forward-looking sonar | |
US20210364289A1 (en) | Apparatus and method for fault-proof collection of imagery for underwater survey | |
US9146312B1 (en) | Pre-processing SAR image stream to facilitate compression for transport on bandwidth-limited-link | |
Hurtós et al. | A novel blending technique for two-dimensional forward-looking sonar mosaicing | |
Jones et al. | The use of towed camera platforms in deep-water science | |
Hu et al. | Overview of underwater 3D reconstruction technology based on optical images | |
KR102450675B1 (en) | Method for reconstructing ultrasound image acquired with ultrasonic camera into 3d image | |
KR20190057122A (en) | Image processing apparatus, image processing method, and program | |
KR102173012B1 (en) | Apparatus, method, computer-readable storage medium and computer program for generating image of synthetic aperture radar based on compressed sensing | |
Gishkori et al. | Adaptive subaperture integration for wide-angle synthetic aperture radar | |
Priyadharsini et al. | Underwater acoustic image enhancement using wavelet and KL transform | |
CN111028337B (en) | Three-dimensional photoacoustic imaging method for improving problem of limited visual angle | |
KR101692428B1 (en) | Image sensing apparatus by using a plurality of lens | |
Wei et al. | Theoretical and experimental study on multibeam synthetic aperture sonar | |
KR101638022B1 (en) | Image sensing apparatus by using a plurality of lens | |
Khoshnevis et al. | Enhancement of the tomo-sar images based on compressive sensing method | |
Yushchenko | Object image reconstruction by using trajectory doppler signal in the process of monochromatic probing and circular aperture synthesis of antenna | |
US11921057B2 (en) | X-ray imaging device | |
CN109886872B (en) | Security inspection equipment and image detection method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right |