KR20190040626A - 초음파 영상을 실사 영상으로 변환하는 방법 및 그 장치 - Google Patents
초음파 영상을 실사 영상으로 변환하는 방법 및 그 장치 Download PDFInfo
- Publication number
- KR20190040626A KR20190040626A KR1020170129878A KR20170129878A KR20190040626A KR 20190040626 A KR20190040626 A KR 20190040626A KR 1020170129878 A KR1020170129878 A KR 1020170129878A KR 20170129878 A KR20170129878 A KR 20170129878A KR 20190040626 A KR20190040626 A KR 20190040626A
- Authority
- KR
- South Korea
- Prior art keywords
- network
- image
- body region
- attribute information
- extracted
- Prior art date
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 42
- 210000000746 body region Anatomy 0.000 claims abstract description 64
- 230000001605 fetal effect Effects 0.000 claims abstract description 61
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 17
- 239000002131 composite material Substances 0.000 claims description 63
- 230000015572 biosynthetic process Effects 0.000 claims description 39
- 238000003786 synthesis reaction Methods 0.000 claims description 39
- 210000003754 fetus Anatomy 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims 2
- 238000013528 artificial neural network Methods 0.000 description 16
- 239000000284 extract Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 229920000642 polymer Polymers 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000036548 skin texture Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008175 fetal development Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 230000008774 maternal effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Pregnancy & Childbirth (AREA)
- Gynecology & Obstetrics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
본 발명은 컴퓨팅 장치가 이미지를 변환하는 방법 및 그 컴퓨팅 장치를 개시한다. 본 방법은, 태아 초음파 이미지를 획득하는 단계; 제1 네트워크에 포함된 복수의 레이어를 이용하여, 상기 태아 초음파 이미지 내에 포함된 적어도 하나의 신체 영역을 검출하는 단계; 및 제2 네트워크에 포함된 복수의 레이어를 이용하여, 상기 신체 영역으로부터 추출된 복수의 속성 정보를 기초로 각 속성 정보에 대응되는 사진 이미지의 특징 정보를 합성하는 단계를 포함한다.
Description
본 발명은 초음파 영상을 실사 영상으로 변환하는 방법 및 그 장치에 관한 것이다.
대부분의 산모들은 태아의 발육 상태, 기형 여부, 산모의 양수의 양, 자궁 건강 등을 확인하기 위한 의료적 목적으로 초음파 검사를 실시한다. 그러나 최근에는 이러한 의료적 목적 이외에도 태아의 모습을 확인하고 보존하기 위해 초음파 검사를 실시하는 경우가 증가하고 있다. 이에 따라, 태아의 얼굴, 이목구비, 태아의 움직임을 보다 구체적으로 관찰할 수 있는 3차원 초음파 영상을 제공하는 입체 초음파 검사가 각광받고 있다.
그러나, 이러한 3차원 초음파 영상의 경우, 태아의 형태적인 정보만을 가지고 있어, 태아의 자연스러운 얼굴형상을 인지하는데에는 어려움이 있으며, 초음파 사진의 왜곡으로 인해 실제와 다른 얼굴 형상이 제공될 가능성이 높다.
이와 관련하여, 최근에는 입체 초음파 영상으로부터 태아의 얼굴을 스캔하여 3D 프린터로 구현하는 기술이 개발되었다. 이 기술은 태아의 얼굴을 입체적으로 형상화함으로써 사용자가 실제 아이를 보는 느낌을 가질 수 있도록 하고 있다. 그러나, 이 기술은 태아의 피부색이나 피부질감 등을 표현하지 못하며, 단순히 초음파 영상으로부터 획득된 태아의 형태적인 정보만을 3D 형상으로 제공하는데에 그치고 있다. 따라서, 보다 자연스러운 태아의 모습을 제공하기 위한 연구가 여전히 필요한 실정이다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 뉴럴 네트워크를 이용하여 태아의 초음파 이미지를 실사 이미지로 변환하는 방법을 제공하는데에 그 목적이 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 이미지 변환 방법은, 태아 초음파 이미지를 획득하는 단계; 제1 네트워크에 포함된 복수의 레이어를 이용하여, 상기 태아 초음파 이미지 내에 포함된 적어도 하나의 신체 영역을 검출하는 단계; 및 제2 네트워크에 포함된 복수의 레이어를 이용하여, 상기 신체 영역으로부터 추출된 복수의 속성 정보를 기초로 각 속성 정보에 대응되는 사진 이미지의 특징 정보를 합성하는 단계를 포함한다.
또한, 본 발명의 제2 측면에 따른 컴퓨팅 장치는, 태아 초음파 이미지를 실사 이미지로 변환하는 프로그램이 저장된 메모리; 및 상기 프로그램을 실행하는 프로세서를 포함한다. 이때, 상기 프로세서는, 상기 프로그램이 실행됨에 따라, 태아 초음파 이미지를 획득하고, 제1 네트워크에 포함된 복수의 레이어를 이용하여, 상기 태아 초음파 이미지 내에 포함된 적어도 하나의 신체 영역을 검출하며, 제2 네트워크에 포함된 복수의 레이어를 이용하여, 상기 신체 영역으로부터 추출된 복수의 속성 정보를 기초로 각 속성 정보에 대응되는 사진 이미지의 특징 정보를 합성한다.
또한, 본 발명의 제 3 측면은, 상기 제1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 뉴럴 네트워크를 이용하여 태아의 초음파 사진의 형태적인 속성 정보를 기초로 각 속성 정보에 대응되는 사진 이미지의 특징 정보들을 합성함으로써, 태아의 실제 피부색이나 피부 질감 등을 실사처럼 복원할 수 있다. 또한, 뉴럴 네트워크를 신생아들의 사진 이미지들로 학습함으로써, 실제 신생아 얼굴의 확률 분포에 대응되도록 사진 이미지들이 합성되도록함으로써, 초음파 이미지의 왜곡이 보완되도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 초음파 영상 변환 시스템을 도시한다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크를 도시한 일례이다.
도 3은 본 발명의 다른 실시예에 따른 제2 네트워크를 도시한다.
도 4는 본 발명의 또 다른 실시예에 따른 제2 네트워크를 도시한다.
도 5는 본 발명의 일 실시예에 따른 서버의 구성을 도시한다.
도 6은 본 발명의 일 실시예에 따른 프로세서가 태아 초음파 이미지를 실사 이미지로 변환하는 동작을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 프로세서를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크를 도시한 일례이다.
도 3은 본 발명의 다른 실시예에 따른 제2 네트워크를 도시한다.
도 4는 본 발명의 또 다른 실시예에 따른 제2 네트워크를 도시한다.
도 5는 본 발명의 일 실시예에 따른 서버의 구성을 도시한다.
도 6은 본 발명의 일 실시예에 따른 프로세서가 태아 초음파 이미지를 실사 이미지로 변환하는 동작을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 프로세서를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 초음파 영상 변환 시스템(1)을 도시한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 초음파 영상 변환 시스템(1)은 태아의 초음파 영상을 제공하는 클라이언트 단말(20)과, 태아의 초음파 영상을 실사 영상으로 변환하는 서버(10)를 포함한다.
먼저, 클라이언트 단말(20)은 태아를 촬영하는 초음파 촬영 기기 등과 같은 의료 기기이거나, 초음파 촬영 기기 등으로부터 태아 초음파 이미지를 제공받는 전자 기기일 수 있다. 클라이언트 단말(20)은 기 설치된 프로그램 또는 서버(10)의 주소를 이용하여 서버(10)에 접근할 수 있으며, 클라이언트 단말(20)에서 촬영되거나 저장된 태아 초음파 이미지를 서버(10)로 제공할 수 있다. 한편, 태아 초음파 이미지는 2차원 및 3차원 이미지일 수 있다.
서버(10)는 통신망(30)을 통해 클라이언트 단말(20)로부터 제공받은 태아 초음파 이미지를 실사 이미지로 변환하는 처리 기능을 구비한 컴퓨팅 장치일 수 있다. 여기서, 실사 이미지란 태아의 피부색, 피부질감 등을 복원한 이미지를 의미할 수 있다.
서버(10)는 뉴럴 네트워크(neural network, 11)를 이용하여 태아 초음파 이미지를 실사 이미지로 변환할 수 있다. 뉴럴 네트워크(11)는, 통계학적 기계 학습의 결과를 이용하여, 태아 초음파 이미지의 다양한 속성 정보들을 추출하고, 추출된 속성 정보들을 기초로 태아 초음파 이미지를 실사 이미지로 변환하는 알고리즘 집합일 수 있다. 또한, 뉴럴 네트워크(11)는 전술한 알고리즘 집합을 실행하기 위한 소프트웨어 또는 엔진(engine) 등으로 구현될 수 있다. 소프트웨어 또는 엔진 등으로 구현된 뉴럴 네트워크는 서버(10) 내의 프로세서에 의해 실행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크(11)를 도시한 일례이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 뉴럴 네트워크(11)는 복수의 레이어를 포함하는 제1 네트워크(201) 및 제2 네트워크(202)를 포함할 수 있다.
먼저, 제1 네트워크(201)는 뉴럴 네트워크(11)에 입력되는 태아 초음파 이미지(12) 내에 포함된 다양한 속성들을 추상화함으로써, 태아 초음파 이미지(12) 내에 포함된 태아의 신체 영역을 검출 및/또는 판단할 수 있다. 여기서, 이미지 내 속성들을 추상화한다는 것은, 태아 초음파 이미지(12)로부터 속성 정보들을 검출하고, 검출된 속성 정보들 중에서 태아의 신체 영역을 대표할 수 있는 핵심 속성을 판단하는 것일 수 있다.
이때, 제1 네트워크(201)는 복수의 레이어를 포함하는 추상화 네트워크(211) 및 적어도 하나의 영역분류 레이어(212)를 포함할 수 있다.
서버(10)는 제1 네트워크(201)의 추상화 네트워크(211)에 포함된 복수의 레이어를 기초로 태아 초음파 이미지(12)의 속성 정보를 추출할 수 있다. 여기서, 속성 정보는, 비한정적인 예로서, 엣지(edge), 폴리건(polygon), 선명도(sharpness), 깊이(depth), 명도(brightness), 명도비(contrast), 블러(blur) 등을 포함할 수 있다. 서버(10)는 복수의 레이어 중 마지막 레이어에서 추출된 태아 초음파 이미지(12)의 속성 정보를 기초로 특징맵을 획득할 수 있다. 여기에서, 특징맵은 추출된 속성 정보의 조합으로서, 태아 초음파 이미지(12)의 속성을 대표하는 적어도 하나의 속성 벡터를 포함할 수 있다.
구현예에 따라, 추상화 네트워크(211)는 복수의 레이어에서 마지막 레이어 뿐만 아니라 다른 레이어(예컨대, 중간 단계 레이어)의 속성 정보를 조합하여 특징맵을 생성할 수도 있다. 이를 통해, 보다 정확하게 태아 초음파 이미지(12) 내의 신체 영역을 식별할 수 있다.
특징맵은 적어도 하나의 영역분류 레이어(212)의 입력 데이터로 적용할 수 있다. 서버(10)는 적어도 하나의 영역분류 레이어(212)에 특징맵을 입력한 결과로 획득된 경계박스(bounding box)를 기초로 신체 영역과 배경 영역을 구분함으로써 신체 영역에 대한 정보 및/또는 신체 영역의 경계에 대한 정보를 획득할 수 있다.
서버(10)는 제1 네트워크(201)에서 획득된 신체 영역에 대한 정보(예컨대, 경계 정보, 영역 정보 등)를 제2 네트워크(202)의 입력 데이터로 적용할 수 있다.
제2 네트워크(202)는 제2 네트워크(202)에 입력되는 태아 초음파 이미지(12), 신체 영역에 대한 정보를 기초로, 태아 초음파 이미지(12)의 신체 영역 내에 포함된 다양한 속성들을 추상화하고, 각 속성 정보에 대응되는 사진 이미지의 특징 정보를 합성함으로써, 태아 초음파 이미지(12)를 사진 합성 이미지(13)로 변환할 수 있다.
이때, 제2 네트워크(202)는 복수의 레이어를 포함하는 추상화 네트워크(213) 및 합성 네트워크(214)를 포함할 수 있다. 서버(10)는 제1 네트워크(201)의 추상화 네트워크(211)에서와 유사하게, 추상화 네트워크(213)에 포함된 복수의 레이어를 이용하여, 신체 영역으로부터 다양한 속성 정보를 추출하고, 추출된 속성 정보를 조합하여 특징맵을 획득할 수 있다.
서버(10)는 제2 네트워크(202)의 추상화 네트워크(213)에서 추출된 특징맵을 합성 네트워크(214)의 입력 데이터로 적용할 수 있다. 서버(10)는 합성 네트워크(214)에 포함된 복수의 레이어를 이용하여 각 속성 정보에 대응되는 사진 이미지의 특징 정보를 추출하여 합성함으로써, 신체 영역을 실사 이미지로 변환할 수 있다. 여기서, 사진 이미지는 신생아를 실제 촬영한 이미지로, 서버(10)의 데이터 베이스(미도시)에 기 저장된 이미지일 수 있으나, 이에 한정된 것은 아니며, 서버(10)가 외부 서버 또는 외부 데이터 베이스로부터 획득하는 이미지일 수 있다. 또한, 사진 이미지의 특징 정보는 밝기, 색상, 반사색, 텍스처, 깊이, 블렌딩 등을 포함할 수 있다.
서버(10)는 합성 네트워크(214)의 복수의 레이어 중 마지막 레이어에서 추출된 사진 합성 이미지(13)를 기초로 최종 실사 이미지를 획득할 수 있다. 예시적으로, 서버(10)는 합성 네트워크(214)에서 추출된 사진 합성 이미지(13)에 대하여 해상도 조정, 크기 변환, 배경 영역 처리 등과 같은 후처리 과정을 수행함으로써, 최종 실사 이미지를 획득할 수 있다. 또한, 서버(10)는 복수의 신체 영역에 대한 사진 합성 이미지가 추출되는 경우, 복수의 신체 영역에 대한 사진 합성 이미지를 하나의 이미지로 통합할 수도 있다.
또한, 서버(10)는 일 신체 영역이 태아의 얼굴에 해당하며, 해당 신체 영역에 얼굴 내 신체 요소(예컨대, 눈, 코, 입, 귀) 중 일부가 다른 신체 영역에 의해 가려진 경우, 합성 네트워크(214)의 복수의 레이어들을 이용하여, 얼굴의 대칭성을 기초로 해당 신체 요소를 복원할 수도 있다.
한편, 일 실시예에 따라 서버(10)는 합성 네트워크(214)의 복수의 레이어 중 적어도 하나의 레이어에서 추출된 사진 이미지의 특징 정보들이 합성된 합성 이미지가 조합된 사진 합성 이미지(13)를 획득할 수 있다. 이 경우, 각 레이어의 특성에 따른 서로 다른 가중치로 각 레이어의 합성 이미지가 조합될 수 있다.
또한, 일 실시예에 따라, 제1 네트워크(201)는 신체 영역의 카테고리를 결정할 수 있는 분류기(classifier, 미도시)를 더 포함할 수 있다. 또한, 신체 영역의 카테고리는, 예를 들어, 얼굴, 손, 발, 목 등을 포함할 수 있다. 또한, 신체 영역의 카테고리는, 눈, 코, 입, 귀 등을 포함할 수도 있다. 서버(10)는 분류기(미도시)에 신체 영역에 대응되는 특징맵 영역을 입력한 결과로 신체 영역의 카테고리를 획득할 수 있다. 또한, 서버(10)는 신체 영역의 카테고리 별로 제2 네트워크(202)에 포함된 복수의 레이어 중 적어도 하나의 레이어의 파라미터를 조정하거나, 적어도 하나의 레이어를 연산에서 생략 및/또는 추가할 수 있다. 또는, 서버(10)는 신체 영역의 카테고리에 기초하여 특정 신체 영역(예컨대, 손)을 제2 네트워크(202)에 입력하지 않음으로써, 해당 신체 영역을 배경 영역으로 처리할 수도 있다.
한편, 위 설명에서는, 설명의 편의를 위해 제1 네트워크(201) 및 제2 네트워크(202)를 별개의 네트워크로 설명하였으나, 양 네트워크는 통합된 하나의 네트워크로 구현될 수 있으며, 더 세분화된 복수의 네트워크들로 구현될 수도 있다. 이와 마찬가지로, 제2 네트워크(202)의 추상화 네트워크(213) 및 합성 네트워크(214)는 하나의 네트워크로 구현될 수 있으며, 더 세분화된 복수의 네트워크로 구현될 수도 있다.
도 3은 본 발명의 다른 실시예에 따른 제2 네트워크(301)를 도시한다.
도 3을 참조하면, 제2 네트워크(301)는 도 2의 추상화 네트워크(213) 및 합성 네트워크(214) 이외에, 복수의 레이어를 포함하는 판별자 네트워크(215)를 더 포함할 수 있다.
이때, 판별자 네트워크(215)에는 도 2의 합성 네트워크(214)에서 추출된 사진 합성 이미지가 입력 데이터로 적용될 수 있다. 서버(10)는 판별자 네트워크(215)에 입력된 사진 합성 이미지를 기초로 해당 사진 합성 이미지가 실제 촬영된 이미지에 해당할 확률을 판별한 판별 정보를 획득할 수 있다. 여기에서, 실제 촬영된 이미지는 일 시점에 단일 피사체를 촬영한 단일 이미지를 의미할 수 있다.
서버(10)는 판별자 네트워크(215)의 판별 정보(즉, 확률값)를 추상화 네트워크(213) 및 합성 네트워크(214)로 피드백(feedback)할 수 있다. 그리고 서버(10)는 판별자 네트워크(215)의 판별 정보가 임계값을 초과할 때까지, 판별 정보를 추상화 네트워크(213) 및 합성 네트워크(214) 중 적어도 하나로 반복 피드백하고, 판별 정보를 기초로 해당 신체 영역에 대한 사진 합성 이미지를 재획득할 수 있다. 그러나, 이에 한정되는 것은 아니며, 서버(10)는 기 설정된 횟수를 기초로, 추상화 네트워크(213) 및 합성 네트워크(214)를 반복 수행하여 사진 합성 이미지를 재획득할 수 있다.
이때, 서버(10)는 사진 합성 이미지가 실제 촬영된 이미지로 판별될 확률을 높이기 위해 추상화 네트워크(213) 및 합성 네트워크(214)의 각 레이어의 파라미터(예컨대, 가중치값(weight) 등)를 조정하거나, 복수의 레이어 중 적어도 하나의 레이어를 연산에서 생략 및/또는 추가할 수 있으나, 이에 한정되는 것은 아니다.
전술한 과정을 통해, 서버(10)는 태아 초음파 이미지를 실제 촬영 이미지에 근접한 실사 이미지로 변환할 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 제2 네트워크(401)를 도시한다.
도 4를 참조하면, 제2 네트워크(401)는 태아 초음파 이미지의 신체 영역을 실사 이미지로 변환하기 위한 제1 추상화 네트워크(411), 제1 합성 네트워크(412) 및 제1 판별자 네트워크(413) 이외에, 실사 이미지를 다시 초음파 이미지로 변환하기 위한 제2 추상화 네트워크(414), 제2 합성 네트워크(415) 및 제2 판별자 네트워크(416)를 더 포함할 수 있다. 이때, 제1 추상화 네트워크(411) 및 제1 합성 네트워크(412)는 도 2의 추상화 네트워크(213) 및 합성 네트워크(214)에 대응되고, 제1 판별자 네트워크(413)는 도 3의 판별자 네트워크(215)에 대응되므로, 자세한 설명은 생략한다.
서버(10)는 제1 합성 네트워크(412)로부터 추출된 사진 합성 이미지를 제2 추상화 네트워크(414)의 입력 데이터로 적용할 수 있다. 서버(10)는 제2 추상화 네트워크(414)에 포함된 복수의 레이어들을 이용하여 사진 합성 이미지로부터 다양한 속성 정보를 추출하고, 추출된 속성 정보로부터 특징맵을 획득할 수 있다. 이때, 서버(10)는 제2 추상화 네트워크(414)의 복수의 레이어 중 적어도 하나의 레이어에서 추출된 속성 정보를 기초로 추출된 특징맵을 획득할 수 있다.
또한, 서버(10)는 제2 추상화 네트워크(414)에서 추출된 특징맵을 제2 합성 네트워크(415)의 입력 데이터로 적용할 수 있다. 서버(10)는 제2 합성 네트워크(415)에 포함된 복수의 레이어를 이용하여 특징맵을 기초로 각 속성 정보에 대응되는 초음파 이미지의 특징 정보들 이 합성된 초음파 합성 이미지를 획득할 수 있다. 여기서, 초음파 이미지는 실제 촬영된 초음파 이미지로서, 서버(10)의 데이터 베이스(미도시)에 기 저장된 이미지일 수 있으며, 초음파 이미지의 특징 정보는 엣지, 폴리건, 선명도, 명도, 명도비 등을 포함할 수 있다.
이때, 제2 합성 네트워크(415)에서 추출된 초음파 합성 이미지는 제2 판별자 네트워크(416)의 입력 데이터로 적용될 수 있다. 서버(10)는 제2 판별자 네트워크(416)에 입력된 초음파 합성 이미지를 기초로 실제 초음파 촬영 이미지에 해당할 확률을 판별한 제2 판별 정보를 획득할 수 있다. 서버(10)는 제2 판별 정보를, 제1 추상화 네트워크(411), 제2 추상화 네트워크(414), 제1 합성 네트워크(412) 및 제2 합성 네트워크(415) 중 적어도 하나로 제2 판별 정보를 피드백할 수 있다. 이에 따라, 제2 네트워크(401)에 포함된 적어도 하나의 레이어의 파라미터가 조정되거나, 적어도 하나의 레이어가 연산에서 생략 및/또는 추가될 수 있다. 이를 통해, 서버(10)는 제2 네트워크(401)에 포함된 복수의 레이어를 이용하여, 제2 판별 정보를 기초로 사진 합성 이미지 및 초음파 합성 이미지를 재획득할 수 있다.
이후, 서버(10)는 제2 합성 네트워크(415)로부터 추출된 최종 초음파 합성 이미지와 최초 태아 초음파 이미지 간의 근접도를 기초로 제2 네트워크(401)를 반복 수행할 수 있다. 여기서, 근접도는 양 이미지 이미지의 차에 대한 절대값의 합으로 획득될 수 있다. 또는, 근접도는 각 이미지로부터 획득되는 특성 벡터 간의 거리일 수 있으나, 이에 한정되는 것은 아니다.
이와 같이, 일 실시예에 따른 제2 네트워크(401)는 제1 추상화 네트워크(411) 및 제1 합성 네트워크(412)에 의해 생성된 실사 이미지가 초기 태아 초음파 이미지의 고유 정보들을 포함하여 변환되도록 함으로써, 이미지 변환 과정에서 발생될 수 있는 동일성(consistency) 저하를 방지할 수 있다.
도 5는 본 발명의 일 실시예에 따른 서버(10)의 구성을 도시한다. 서버(10)는 메모리(110) 및 프로세서(120)를 포함한다.
메모리(110)에는 프로세서(120)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(110)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다. 일 실시예에 따라 메모리(110)는 태아 초음파 이미지를 실사 이미지로 변환하는 프로그램을 저장할 수 있다. 상기 프로그램은 뉴럴 네트워크 모듈을 포함할 수 있다.
뉴럴 네트워크 모듈은 제1 네트워크에 포함된 복수의 레이어들 및 제2 네트워크에 포함된 복수의 레이어들을 포함할 수 있다. 또한, 제1 네트워크에 포함된 복수의 레이어들은, 태아 초음파 이미지로부터 속성 정보를 추출하는 제1 추상화 네트워크에 포함된 복수의 레이어들과, 신체 영역을 식별 및/또는 검출하는 적어도 하나의 영역분류 레이어로 구분될 수 있다. 또한, 제2 네트워크에 포함된 복수의 레이어들은, 신체 영역으로부터 속성 정보를 추출하는 제2 추상화 네트워크에 포함된 복수의 레이어들과, 사진 이미지의 특징 정보를 합성하는 제1 합성 네트워크에 포함된 복수의 레이어로 구분될 수 있다.
또한, 일 실시예에 따라, 제2 네트워크는 합성 네트워크에서 추출된 사진 합성 이미지가 실제 촬영된 이미지에 해당할 확률을 판별하는 제1 판별자 네트워크에 포함된 복수의 레이어들을 더 포함할 수 있다. 또한, 제2 네트워크에 포함된 복수의 레이어들은 제1 합성 네트워크에서 추출된 사진 합성 이미지의 속성 정보를 기초로 특징맵을 추출하는 제3 추상화 네트워크에 포함된 복수의 레이어들과, 상기 특징맵을 기초로 초음파 합성 이미지를 추출하는 제2 합성 네트워크에 포함된 복수의 레이어들로 구분될 수 있다.
이때, 제1 내지 제3 추상화 네트워크에 포함된 각 레이어는 입력 이미지로부터 이미지의 속성 정보를 추출하여 특징맵을 생성하는 하나 이상의 인스트럭션을 포함하는 컨벌루셔널 레이어(convolutional layer), 및/또는 추출된 속성 정보로부터 대표값을 결정하는 하나 이상의 인스트럭션을 포함하는 풀링 레이어(pooling layer)를 포함할 수 있다. 또한, 제1 네트워크의 영역분류 레이어는 제1 네트워크의 추상화 네트워크로부터 획득한 특징맵을 기초로 신체 영역을 배경 영역과 구분하는 하나 이상의 인스트럭션을 포함하는 컨벌루셔널 레이어 및/또는 풀링 레이어를 포함할 수 있다.
또한, 제1 및 제2 합성 네트워크에 포함된 복수의 레이어들은 속성 정보에 대응되는 적어도 하나의 사진 이미지 및 초음파 이미지의 특징 정보를 합성하는 하나 이상의 인스트럭션을 포함하는 디컨벌루셔널 레이어(deconvolutional layer)를 포함할 수 있다.
또한, 제1 및 제2 판별자 네트워크에 포함된 복수의 레이어들은 사진 합성 이미지 및 초음파 합성 이미지가 실제 촬영된 이미지 및 실제 촬영된 초음파 이미지에 해당할 확률을 판별하는 하나 이상의 인스트력션을 포함하는 컨벌루셔널 레이어 및/또는 풀링 레이어를 포함할 수 있다.
프로세서(120)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따라 프로세서(120)는 뉴럴 네트워크 모듈 내의 제1 네트워크 및 제2 네트워크에 포함된 하나 이상의 인스트럭션들을 병렬적으로 처리할 수 있다.
이하, 도 6을 참조하여, 프로세서(120)가 태아 초음파 이미지를 실사 이미지로 변환하는 동작을 상세히 설명한다.
먼저, 프로세서(120)는 태아 초음파 이미지를 획득한다(S110).
이후, 프로세서(120)는 제1 네트워크에 포함된 복수의 레이어를 이용하여, 태아 초음파 이미지 내에 포함된 적어도 하나의 신체 영역을 검출한다(S120).
예시적으로, 프로세서(120)는 제1 추상화 네트워크에 포함된 복수의 레이어 중 제1 레이어를 이용하여 태아 초음파 이미지로부터 엣지 정보를 추출할 수 있다. 또한, 프로세서(120)는 추출된 엣지 정보를 상기 제1 레이어와 연결된 제2 레이어에 입력 데이터로 적용하여, 제2 레이어로부터 폴리머를 추출할 수 있다. 전술한 방식과 같이 프로세서(120)는 복수의 레이어 각각에 태아 초음파 이미지를 입력하거나, 이전 레이어로부터 추출된 속성 정보를 입력 데이터로 적용함으로써, 이미지의 다양한 속성 정보를 추출할 수 있다. 이어서, 프로세서(120)는 적어도 하나의 레이어를 이용하여 추출된 속성 정보를 조합함으로써, 태아 초음파 이미지의 특징을 나타내는 특징맵을 획득할 수 있다. 이때, 프로세서(120)는 제1 추상화 네트워크의 마지막 레이어에서 추출된 속성 정보 이외에, 다른 레이어에서 추출된 속성 정보를 더 조합하여 특징맵을 획득할 수도 있다. 이때, 서로 다른 레이어의 속성 정보는 서로 다른 가중치로 조합될 수 있으나, 이에 한정되는 것은 아니다.
또한, 프로세서(120)는 적어도 하나의 영역분류 레이어를 이용하여 신체 영역을 배경 영역과 구분함으로써, 신체 영역 및/또는 신체 영역의 경계를 식별할 수 있다. 이때, 프로세서(120)는 특징맵을 해당 레이어에 입력한 결과로 획득된 경계박스를 기초로 신체 영역과 배경 영역을 구분할 수 있다.
또한, 프로세서(120)는 제1 네트워크에 포함된 분류기에 식별된 신체 영역에 대응하는 특징맵 영역을 입력한 결과로 신체 영역의 카테고리를 획득할 수 있다.
한편, 프로세서(120)는 단계 S120 이후에, 식별된 신체 영역의 기울기를 기초로, 신체 영역을 기 설정된 기울기에 대응되도록 회전시킬 수 있다. 기 설정된 기울기는, 예를 들어, 0도, 90도, 180도 등일 수 있으나, 이에 한정되는 것은 아니다. 한편, 신체 영역의 회전은, 제1 네트워크에 특징맵을 기초로 신체 영역의 기울기를 식별하기 위한 적어도 하나의 레이어 및 신체 영역을 회전시키는 적어도 하나의 레이어를 추가함으로써 수행될 수 있다. 그러나, 이에 한정되는 것은 아니며, 프로세서(120)는 추가 네트워크를 이용하여 신체 영역을 회전시키거나, 이미지 회전 함수를 이용하여 신체 영역을 회전시킬 수도 있다.
이후, 프로세서(120)는 제2 네트워크에 포함된 복수의 레이어를 이용하여 신체 영역의 하나 이상의 속성 정보를 추출하고, 추출된 속성 정보를 기초로 실사 이미지를 생성한다(S130).
예시적으로, 프로세서(120)는 제2 추상화 네트워크에 포함된 복수의 레이어 중 제1 레이어를 이용하여 신체 영역으로부터 엣지 정보를 추출할 수 있다. 또한, 프로세서(120)는 추출된 색상 특징을 상기 제1 레이어와 연결된 제2 레이어에 입력 데이터로 적용하여, 제2 레이어로부터 폴리머를 추출할 수 있다. 전술한 방식과 같이 프로세서(120)는 복수의 레이어 각각에 신체 영역을 입력하거나, 이전 레이어로부터 추출된 속성 정보를 입력 데이터로 적용함으로써 특징맵을 획득할 수 있다. 이때, 프로세서(120)는 제2 추상화 네트워크의 마지막 레이어에서 추출된 속성 정보 이외에, 다른 레이어에서 추출된 속성 정보를 더 조합하여 특징맵을 획득할 수 있다.
이후, 프로세서(120)는 제1 합성 네트워크에 포함된 복수의 레이어를 이용하여 사진 이미지의 특징 정보가 합성된 사진 합성 이미지를 획득한다. 예를 들어, 프로세서(120)는 제1 합성 네트워크의 제1 레이어를 이용하여, 특징맵을 기초로 폴리머에 대응되는 색상 정보를 합성할 수 있다. 또한, 프로세서(120)는 제1 레이어에서 추출된 합성 이미지를 제1 레이어와 연결된 제2 레이어에 입력 데이터로 적용하여, 제2 레이어로부터 폴리머에 대응되는 질감 정보를 합성할 수 있다. 전술한 방식과 같이 프로세서(120)는 복수의 레이어 각각에서 각 속성 정보에 대응되는 사진 이미지의 특징 정보를 합성함으로써, 합성 이미지를 획득할 수 있다. 이때, 프로세서(120)는 제1 합성 네트워크의 마지막 레이어에서 추출된 합성 이미지 이외에, 다른 레이어에서 추출된 합성 이미지를 더 조합하여 최종 합성 이미지를 획득할 수도 있다. 이때, 서로 다른 레이어의 합성 이미지들은 서로 다른 가중치로 조합될 수 있으나, 이에 한정되는 것은 아니다.
또한, 사진 이미지의 특징 정보는 태아의 피부색, 국적, 인종, 성별 및 변환 타겟 나이(또는 변환 타겟 개월 수) 중 적어도 하나를 기초로 추출될 수 있다. 예시적으로, 제2 네트워크는 태아의 피부색, 국적, 인종, 성별 등과 같은 적어도 하나의 태아의 환경 정보를 파라미터로 입력받을 수 있다. 이 경우, 제2 네트워크에 포함된 각 레이어는 해당 파라미터를 고려하여 태아의 초음파 이미지를 실사 이미지로 변환할 수 있다. 또한, 제2 네트워크는 태아의 초음파 이미지가 타겟하는 나이(즉, 변환 타겟 나이)의 사진 이미지들의 특징 정보들에 기반하여 실사 이미지로 변환될 수 있도록 할 수 있다. 이를 위해, 제2 네트워크는 변환 타겟 나이를 파라미터로 더 입력받을 수 있다. 이때, 프로세서(120)는 제2 네트워크에 입력되는 적어도 하나의 파라미터를 클라이언트 단말(20)로부터 제공받을 수 있다.
이후, 프로세서(120)는 제2 네트워크에서 추출된 사진 합성 이미지에 해상도 보정, 크기 변환, 배경 영역 처리 등과 같은 후처리 작업을 수행할 수 있다. 예시적으로, 프로세서(120)는 사진 합성 이미지에 보간 필터, 컨벌루션(convolution) 필터 등을 적용할 수 있다. 또한, 프로세서(120)는 복수의 신체 영역에 대한 사진 합성 이미지가 추출되는 경우, 복수의 신체 영역에 대한 사진 합성 이미지를 하나의 이미지로 통합할 수도 있다. 이때, 프로세서(120)는 이미지를 합성하기 위한 복수의 레이어를 포함하는 추가 네트워크를 더 이용할 수 있으나, 이에 한정되는 것은 아니다.
이후, 프로세서(120)는 후처리 작업이 완료된 최종 사진 합성 이미지를, 실사 이미지로서 클라이언트 단말(20)로 제공할 수 있다. 또한, 프로세서(120)는 다양한 배경 및 신생아 얼굴을 포함하는 사진 이미지를 기초로, 사진 이미지에 포함된 신생아 얼굴을 최종 사진 합성 이미지로 변환할 수 있다. 이를 통해, 프로세서(120)는 보다 현실적인 실사 이미지를 클라이언트 단말(20)로 제공할 수 있다.
한편, 구현예에 따라, 제2 네트워크가 제1 판별자 네트워크를 더 포함하는 경우, 프로세서(120)는 제1 판별자 네트워크에서 추출된 제1 판별 정보(즉, 사진 합성 이미지가 실제 촬영된 이미지에 해당할 확률값)를 상승시키기 위해, 제2 네트워크에 포함된 적어도 하나의 레이어의 파라미터를 조정하거나, 적어도 하나의 레이어를 연산에서 생략 및/또는 추가할 수 있다.
또한, 제2 네트워크가 제2 추상화 네트워크, 제2 합성 네트워크 및 제2 판별자 네트워크를 더 포함하는 경우, 프로세서(120)는 제2 판별자 네트워크에서 추출된 제2 판별 정보(즉, 초음파 합성 이미지가 실제 촬영된 초음파 이미지에 해당할 확률값)를 증가시키기 위해, 제2 네트워크에 포함된 적어도 하나의 레이어의 파라미터를 조정하거나, 적어도 하나의 레이어를 연산에서 생략 및/또는 추가할 수 있다. 또한, 프로세서(120)는 제2 네트워크에서 추출된 초음파 합성 이미지와 최초 태아 초음파 이미지 간의 근접도를 기초로 제2 네트워크를 반복 수행할 수 있다.
추가적으로, 제2 네트워크는 태아의 포즈(pose) 별로 구분되는 복수의 레이어를 포함할 수도 있다. 여기서, 태아의 포즈는, 비한정적인 예로서, 태아의 얼굴 각도, 방향, 깊이 등을 포함할 수 있다. 이를 통해, 제2 네트워크는 태아의 포즈 별로, 해당 포즈에 매칭되는 사진 이미지의 특징 정보가 합성되도록 할 수 있다. 이 경우, 프로세서(120)는 단계 S120 이후에, 식별된 신체 영역으로부터 태아의 포즈(pose)를 식별하고, 제2 네트워크에 포함된 복수의 레이어 중에서 식별된 포즈에 대응되는 일부 레이어를 이용하여, 속성 정보 및 포즈에 대응되는 사진 이미지의 특징 정보를 합성할 수 있다.
한편, 단계 S120 및 S130에서 신체 영역을 검출하기 위한 기준, 사진 이미지 및/또는 초음파 이미지의 특징 정보를 합성하는 기준, 사진 합성 이미지 및/또는 초음파 합성 이미지가 실제 촬영된 이미지 및/또는 실제 촬영된 초음파 이미지에 해당할 확률을 판별하는 기준 등은 학습을 통해 결정될 수 있다. 예를 들어, 프로세서(120)는 S120 이전에 수행된 복수의 태아 초음파 이미지들 각각에 대한 신체 영역 식별 결과, 사진 이미지 합성 결과 및/또는 초음파 이미지 합성 결과, 판별 결과 등의 정확도를 높일 수 있는 방향으로 복수의 레이어를 학습시킬 수 있다. 이에 대해서는, 도 7을 참조하여 보다 구체적으로 후술한다.
도 7은 본 발명의 일 실시예에 따른 프로세서(120)를 설명하기 위한 도면이다.
도 7을 참조하면, 프로세서(120)는 데이터 학습부(710) 및 데이터 인식부(720)를 포함할 수 있다.
데이터 학습부(710)는 태아 초음파 이미지 내에 포함된 적어도 하나의 신체 영역을 검출하기 위한 제1 기준, 사진 이미지의 특징 정보를 합성하는 제2 기준, 초음파 이미지의 특징 정보를 합성하는 제3 기준, 사진 합성 이미지가 실제 촬영된 이미지에 해당할 확률을 판별하는 제4 기준, 초음파 합성 이미지가 실제 촬영된 초음파 이미지에 해당할 확률을 판별하는 제5 기준 등을 학습할 수 있다.
이때, 데이터 학습부(710)는 제1 내지 제 5 기준을 상호 독립적 및/또는 의존적으로 학습시킬 수 있다. 예를 들어, 데이터 학습부(710)는 복수의 초음파 이미지가 저장된 데이터 베이스(미도시)로부터 임의 개수의 초음파 이미지 및/또는 각 초음파 이미지에 해당하는 신생아들의 사진 이미지를 획득하고, 이를 제1 및 제2 네트워크에 입력하여 학습시킬 수 있다. 이때, 학습은 제1 및 제2 네트워크에 포함된 각 레이어의 파라미터(예컨대, 가중치 등)를 조정하거나, 연산에서 적어도 하나의 레이어를 생략 및/또는 추가하는 것일 수 있다.
예시적으로, 데이터 학습부(710)는 제1 네트워크에 초음파 이미지와 해당 초음파 이미지 내 신체 영역 정보 및/또는 신체 영역의 경계 정보를 입력함으로써, 제1 기준을 학습시킬 수 있다. 또한, 데이터 학습부(710)는 제2 네트워크를 이용하여 초음파 이미지를 실사 이미지로 변환한 후, 각 초음파 이미지에 해당하는 신생아들의 사진 이미지를 제1 판별자 네트워크에 입력함으로써 제4 기준을 학습시킬 수 있다. 또한, 데이터 학습부(710)는 제1 판별자 네트워크에서 추출된 판별 정보를 제2 네트워크의 나머지 네트워크들(즉, 제2 추상화 네트워크와 제1 합성 네트워크)로 피드백하여, 제2 기준을 학습시킬 수 있다. 제3 및 제5 기준은 전술한 제2 및 제4 기준을 학습하는 과정과 유사하므로, 자세한 설명은 생략한다.
이와 같이, 전술한 학습 과정은 신생아들의 사진 이미지를 학습시킴으로써, 데이터 학습부(710)는 추후 데이터 인식부(720)에서 신생아들의 신체 요소들 간의 확률 분포에 대응되도록 사진 이미지의 특징 정보들이 합성되도록 할 수 있으며, 이를 통해, 초음파 이미지의 왜곡이 보완되도록 할 수 있다.
또한, 제2 네트워크가 태아의 포즈(pose) 별로 구분되는 복수의 레이어를 포함하는 경우, 포즈 별로 복수의 레이어를 학습시킬 수 있다. 또한, 제2 네트워크가 태아의 피부색, 국적, 인종 등과 같은 태아의 환경 정보 및/또는 변환 타겟 나이(또는 개월 수) 정보를 파라미터로 입력받도록 형성되는 경우, 각 환경 정보에 대응되는 신생아들의 신체 요소들 간의 확률 분포를 학습할 수 있도록 상기 제2 내지 제 5 기준을 학습시킬 수 있다.
데이터 인식부(720)는 데이터 학습부(710)를 통해 학습된 기준에 기초하여, 태아 초음파 이미지를 실사 이미지로 변환하는 동작을 수행할 수 있다. 이에 대해서는, 도 1 내지 도 6을 참조하여 전술하였으므로, 자세한 설명은 생략한다.
데이터 학습부(710) 및 데이터 인식부(720) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 서버(10)에 탑재될 수 있다. 예를 들어, 데이터 학습부(710) 및 데이터 인식부(720) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 컴퓨팅 장치에 탑재될 수도 있다. 이 경우, 데이터 학습부(710) 및 데이터 인식부(720)는 하나의 디바이스에 탑재될 수도 있으며, 또는 별개의 디바이스들에 각각 탑재될 수도 있다.
한편, 데이터 학습부(710) 및 데이터 인식부(720) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(710) 및 데이터 인식부(720) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수 있다.
한편, 위 설명에서는 클라이언트 단말과 서버를 구분하여 설명하였으나, 상기한 서버의 동작들은 클라이언트 단말 내에서 수행될 수 있다. 다시 말해, 클라이언트 단말은 태아의 초음파 이미지를 촬영한 후, 해당 초음파 이미지를 전술한 동작에 따라 실사 이미지로 변환할 수 있으며, 이를 위한 뉴럴 네트워크를 포함하여 구현될 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장매체는 컴퓨터 판독 가능 명령어, 데이터구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 시스템 및 방법은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍처를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 영상 변환 시스템
10: 서버 11: 뉴럴 네트워크
12: 태아 초음파 이미지 13: 사진 합성 이미지
20: 클라이언트 단말
30: 통신망
110: 메모리 120: 프로세서
201: 제1 네트워크 202: 제2 네트워크
110: 메모리
120: 프로세서
710: 데이터 학습부
720: 데이터 인식부
10: 서버 11: 뉴럴 네트워크
12: 태아 초음파 이미지 13: 사진 합성 이미지
20: 클라이언트 단말
30: 통신망
110: 메모리 120: 프로세서
201: 제1 네트워크 202: 제2 네트워크
110: 메모리
120: 프로세서
710: 데이터 학습부
720: 데이터 인식부
Claims (22)
- 컴퓨팅 장치의 이미지 변환 방법에 있어서,
태아 초음파 이미지를 획득하는 단계;
제1 네트워크에 포함된 복수의 레이어를 이용하여, 상기 태아 초음파 이미지 내에 포함된 적어도 하나의 신체 영역을 검출하는 단계; 및
제2 네트워크에 포함된 복수의 레이어를 이용하여, 상기 신체 영역으로부터 추출된 복수의 속성 정보를 기초로 각 속성 정보에 대응되는 사진 이미지의 특징 정보를 합성하는 단계를 포함하는 것인 이미지 변환 방법. - 제 1 항에 있어서,
상기 제1 네트워크는
상기 태아 초음파 이미지로부터 추출된 속성 정보를 기초로 특징맵을 획득하는 제1 추상화 네트워크, 및
상기 특징맵을 입력 데이터로 적용하여 상기 신체 영역의 경계 및 상기 신체 영역의 카테고리를 식별하는 영역분류 네트워크를 포함하는 것인 이미지 변환 방법. - 제 2 항에 있어서,
상기 제1 네트워크는
상기 신체 영역의 카테고리 정보를 결정하는 분류기를 더 포함하는 것인 이미지 변환 방법. - 제 1 항에 있어서,
상기 제2 네트워크는
상기 신체 영역으로부터 추출된 상기 복수의 속성 정보를 기초로 특징맵을 획득하는 제2 추상화 네트워크, 및
상기 특징맵을 기초로 상기 각 속성 정보에 대응되는 사진 이미지의 특징 정보를 합성하는 제1 합성 네트워크를 포함하는 것인 이미지 변환 방법. - 제 4 항에 있어서,
상기 제2 네트워크는
상기 제1 합성 네트워크에서 추출된 사진 합성 이미지가 실제 촬영된 이미지에 해당할 확률을 판별하는 제1 판별자 네트워크를 더 포함하되,
상기 이미지 변환 방법은,
상기 제1 판별자 네트워크에서 추출된 제1 판별 정보를, 상기 제2 추상화 네트워크 및 상기 제1 합성 네트워크 중 적어도 하나로 상기 제1 판별 정보를 피드백하는 단계; 및
상기 제2 네트워크에 포함된 상기 복수의 레이어를 이용하여, 사진 합성 이미지를 재획득하는 단계를 더 포함하는 것인 이미지 변환 방법. - 제 5 항에 있어서,
상기 이미지 변환 방법은,
상기 제2 추상화 네트워크 및 상기 제1 합성 네트워크 중 적어도 하나에 포함된 복수의 레이어 중 적어도 하나의 레이어의 파라미터를 조정하거나, 상기 복수의 레이어 중 적어도 하나의 레이어를 연산에서 생략 또는 추가하는 단계를 더 포함하는 것인 이미지 변환 방법. - 제 4 항에 있어서,
상기 제2 네트워크는
상기 제1 합성 네트워크에서 추출된 사진 합성 이미지로부터 복수의 속성 정보를 추출하고, 상기 복수의 속성 정보로부터 특징맵을 획득하는 제3 추상화 네트워크,
상기 특징맵을 기초로 각 속성 정보에 대응되는 초음파 이미지를 합성하는 제2 합성 네트워크, 및
상기 제2 합성 네트워크에서 추출된 초음파 합성 이미지가 실제 초음파 촬영 이미지에 해당할 확률을 판별하는 제2 판별자 네트워크를 더 포함하는 것인 이미지 변환 방법. - 제 7 항에 있어서,
상기 이미지 변환 방법은,
상기 제2 판별자 네트워크에서 추출된 제2 판별 정보를, 상기 제2 추상화 네트워크, 상기 제3 추상화 네트워크, 상기 제1 합성 네트워크 및 상기 제2 합성 네트워크 중 적어도 하나로 상기 제2 판별 정보를 피드백하는 단계; 및
상기 제2 네트워크에 포함된 상기 복수의 레이어를 이용하여, 상기 제2 판별 정보를 기초로 사진 합성 이미지 및 상기 초음파 합성 이미지를 재획득하는 단계를 더 포함하는 것인 이미지 변환 방법. - 제 8 항에 있어서,
상기 이미지 변환 방법은
상기 초음파 합성 이미지와 상기 태아 초음파 이미지 간의 근접도를 기초로 상기 제2 네트워크를 반복 수행하는 단계를 더 포함하는 것인 이미지 변환 방법. - 제 1 항에 있어서,
상기 이미지 변환 방법은,
상기 신체 영역을 검출하는 단계 이후에, 상기 신체 영역의 기울기를 기초로 상기 신체 영역을 기 설정된 기울기에 대응되도록 회전시키는 단계를 더 포함하는 이미지 변환 방법. - 제 1 항에 있어서,
상기 제2 네트워크는
태아의 포즈(pose) 별로 구분되는 복수의 레이어를 포함하는 것인 이미지 변환 방법. - 제 11 항에 있어서,
상기 이미지 변환 방법은
상기 신체 영역을 검출하는 단계 이후에, 상기 신체 영역으로부터 태아의 포즈를 식별하는 단계를 더 포함하며,
상기 사진 이미지의 특징 정보를 합성하는 단계는,
상기 제2 네트워크에 포함된 복수의 레이어 중에서 상기 포즈에 대응되는 일부 레이어를 이용하여, 상기 각 속성 정보 및 상기 포즈에 대응되는 사진 이미지의 특징 정보를 합성하는 것인 이미지 변환 방법. - 제 1 항에 있어서,
상기 이미지 변환 방법은,
배경 및 신생아 얼굴을 포함하는 사진 이미지를 기초로, 상기 사진 이미지의 신생아 얼굴을 상기 제2 네트워크를 통해 합성된 이미지로 변환하는 단계를 더 포함하는 것인 이미지 변환 방법. - 제 1 항에 있어서,
상기 사진 이미지의 특징 정보들은, 태아의 피부색, 국적, 인종, 성별 및 변환 타겟 나이 중 적어도 하나를 기초로 추출되는 것인 이미지 변환 방법. - 태아 초음파 이미지를 실사 이미지로 변환하는 프로그램이 저장된 메모리; 및
상기 프로그램을 실행하는 프로세서를 포함하고,
상기 프로세서는, 상기 프로그램이 실행됨에 따라,
태아 초음파 이미지를 획득하고,
제1 네트워크에 포함된 복수의 레이어를 이용하여, 상기 태아 초음파 이미지 내에 포함된 적어도 하나의 신체 영역을 검출하고,
제2 네트워크에 포함된 복수의 레이어를 이용하여, 상기 신체 영역으로부터 추출된 복수의 속성 정보를 기초로 각 속성 정보에 대응되는 사진 이미지의 특징 정보를 합성하는 것인 컴퓨팅 장치. - 제 15 항에 있어서,
상기 제1 네트워크는
상기 태아 초음파 이미지로부터 추출된 속성 정보를 기초로 특징맵을 획득하는 제1 추상화 네트워크, 및
상기 특징맵을 입력 데이터로 적용하여 상기 신체 영역의 경계 및 상기 신체 영역의 카테고리를 식별하는 영역분류 네트워크를 포함하는 것인 컴퓨팅 장치. - 제 15 항에 있어서,
상기 제2 네트워크는
상기 신체 영역으로부터 추출된 상기 복수의 속성 정보를 기초로 특징맵을 획득하는 제2 추상화 네트워크, 및
상기 특징맵을 기초로 상기 각 속성 정보에 대응되는 사진 이미지의 특징 정보를 합성하는 제1 합성 네트워크를 포함하는 것인 컴퓨팅 장치. - 제 17 항에 있어서,
상기 제2 네트워크는
상기 제1 합성 네트워크에서 추출된 사진 합성 이미지가 실제 촬영된 이미지에 해당할 확률을 판별하는 제1 판별자 네트워크를 더 포함하되,
상기 프로세서는,
상기 제1 판별자 네트워크에서 추출된 제1 판별 정보를, 상기 제2 추상화 네트워크 및 상기 제1 합성 네트워크 중 적어도 하나로 상기 제1 판별 정보를 피드백하고,
상기 제2 네트워크에 포함된 상기 복수의 레이어를 이용하여, 사진 합성 이미지를 재획득하는 것인 컴퓨팅 장치. - 제 18 항에 있어서,
상기 프로세서는
상기 제2 추상화 네트워크 및 상기 제1 합성 네트워크 중 적어도 하나에 포함된 복수의 레이어 중 적어도 하나의 레이어의 파라미터를 조정하거나, 상기 복수의 레이어 중 적어도 하나의 레이어를 연산에서 생략 또는 추가하는 것인 컴퓨팅 장치. - 제 18 항에 있어서,
상기 제2 네트워크는
상기 제1 합성 네트워크에서 추출된 상기 사진 합성 이미지로부터 복수의 속성 정보를 추출하고, 상기 복수의 속성 정보로부터 특징맵을 획득하는 제3 추상화 네트워크,
상기 특징맵을 기초로 각 속성 정보에 대응되는 초음파 이미지를 합성하는 제2 합성 네트워크, 및
상기 제2 합성 네트워크에서 추출된 초음파 합성 이미지가 실제 초음파 촬영 이미지에 해당할 확률을 판별하는 제2 판별자 네트워크를 더 포함하는 것인 컴퓨팅 장치. - 제 15 항에 있어서,
상기 프로세서는,
상기 신체 영역을 검출한 이후에, 상기 신체 영역의 기울기를 기초로 상기 신체 영역을 기 설정된 기울기에 대응되도록 회전시키는 것인 컴퓨팅 장치. - 제 1 항 내지 제 14 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170129878A KR102063294B1 (ko) | 2017-10-11 | 2017-10-11 | 초음파 영상을 실사 영상으로 변환하는 방법 및 그 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170129878A KR102063294B1 (ko) | 2017-10-11 | 2017-10-11 | 초음파 영상을 실사 영상으로 변환하는 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190040626A true KR20190040626A (ko) | 2019-04-19 |
| KR102063294B1 KR102063294B1 (ko) | 2020-01-07 |
Family
ID=66283276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170129878A KR102063294B1 (ko) | 2017-10-11 | 2017-10-11 | 초음파 영상을 실사 영상으로 변환하는 방법 및 그 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102063294B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112201335A (zh) * | 2020-07-23 | 2021-01-08 | 中国人民解放军总医院 | 一种线阵超声内镜下识别腹腔内结构***及其方法 |
| JP2022078981A (ja) * | 2020-11-13 | 2022-05-25 | 崇仁 藤森 | 新生児写真の生成方法 |
| JP2022534253A (ja) * | 2019-05-31 | 2022-07-28 | コーニンクレッカ フィリップス エヌ ヴェ | 誘導式超音波撮像 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220009676A (ko) | 2020-07-16 | 2022-01-25 | 백승환 | 아기 얼굴 예측 시스템 |
| KR20230168419A (ko) * | 2022-06-07 | 2023-12-14 | 삼성메디슨 주식회사 | 초음파 진단 장치 및 그 동작 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004075755A1 (ja) * | 2003-02-28 | 2004-09-10 | Matsushita Electric Industrial Co., Ltd. | 超音波画像表示装置 |
| JP2014018618A (ja) * | 2012-07-24 | 2014-02-03 | Toshiba Corp | 超音波診断装置 |
| KR20140036374A (ko) * | 2012-09-12 | 2014-03-26 | 삼성전자주식회사 | 초음파 영상 생성 장치 및 방법 |
| KR20160038405A (ko) * | 2014-09-30 | 2016-04-07 | 삼성전자주식회사 | 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치 |
| KR20160072768A (ko) * | 2014-12-15 | 2016-06-23 | 삼성전자주식회사 | 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치 |
-
2017
- 2017-10-11 KR KR1020170129878A patent/KR102063294B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004075755A1 (ja) * | 2003-02-28 | 2004-09-10 | Matsushita Electric Industrial Co., Ltd. | 超音波画像表示装置 |
| JP2014018618A (ja) * | 2012-07-24 | 2014-02-03 | Toshiba Corp | 超音波診断装置 |
| KR20140036374A (ko) * | 2012-09-12 | 2014-03-26 | 삼성전자주식회사 | 초음파 영상 생성 장치 및 방법 |
| KR20160038405A (ko) * | 2014-09-30 | 2016-04-07 | 삼성전자주식회사 | 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치 |
| KR20160072768A (ko) * | 2014-12-15 | 2016-06-23 | 삼성전자주식회사 | 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022534253A (ja) * | 2019-05-31 | 2022-07-28 | コーニンクレッカ フィリップス エヌ ヴェ | 誘導式超音波撮像 |
| CN112201335A (zh) * | 2020-07-23 | 2021-01-08 | 中国人民解放军总医院 | 一种线阵超声内镜下识别腹腔内结构***及其方法 |
| CN112201335B (zh) * | 2020-07-23 | 2023-05-26 | 中国人民解放军总医院 | 一种线阵超声内镜下识别腹腔内结构***及其方法 |
| JP2022078981A (ja) * | 2020-11-13 | 2022-05-25 | 崇仁 藤森 | 新生児写真の生成方法 |
| JP7177538B2 (ja) | 2020-11-13 | 2022-11-24 | 崇仁 藤森 | 新生児写真の生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102063294B1 (ko) | 2020-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102063294B1 (ko) | 초음파 영상을 실사 영상으로 변환하는 방법 및 그 장치 | |
| Dai et al. | Statistical modeling of craniofacial shape and texture | |
| CN110276411B (zh) | 图像分类方法、装置、设备、存储介质和医疗电子设备 | |
| JP6798183B2 (ja) | 画像解析装置、画像解析方法およびプログラム | |
| JP4950787B2 (ja) | 画像処理装置及びその方法 | |
| KR102097016B1 (ko) | 동작 분석 장치 및 방법 | |
| KR20170008638A (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
| KR102053527B1 (ko) | 이미지 처리 방법 | |
| JP2024056955A (ja) | 光学式捕捉によるパーソナライズされたｈｒｔｆ | |
| JP6675691B1 (ja) | 学習用データ生成方法、プログラム、学習用データ生成装置、および、推論処理方法 | |
| WO2019075666A1 (zh) | 图像处理方法、装置、终端及存储介质 | |
| TW202109359A (zh) | 人臉圖像處理方法、圖像設備及儲存介質 | |
| EP3905195A1 (en) | Image depth determining method and living body identification method, circuit, device, and medium | |
| Vezzetti et al. | Geometry-based 3D face morphology analysis: soft-tissue landmark formalization | |
| US11232315B2 (en) | Image depth determining method and living body identification method, circuit, device, and medium | |
| KR102187143B1 (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
| CN108388889B (zh) | 用于分析人脸图像的方法和装置 | |
| CN113554742A (zh) | 一种三维图像的重建方法、装置、设备及存储介质 | |
| CN112581518A (zh) | 基于三维卡通模型的眼球配准方法、装置、服务器和介质 | |
| CN113327191A (zh) | 人脸图像合成方法及装置 | |
| KR102354681B1 (ko) | 신경망 모델 기반의 이미지 증강 방법, 서버 및 컴퓨터 프로그램 | |
| US20220277586A1 (en) | Modeling method, device, and system for three-dimensional head model, and storage medium | |
| WO2024088061A1 (zh) | 人脸重建和遮挡区域识别方法、装置、设备及存储介质 | |
| CN115294622B (zh) | 语音驱动说话人头动视频合成增强方法、***和存储介质 | |
| Juhl et al. | Implicit neural distance representation for unsupervised and supervised classification of complex anatomies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |