KR102528242B1 - Medical imaging apparatus for measuring bladder volume using artificial intelligence and operating method thereof - Google Patents

Abstract

According to the present invention, an operating method of a medical imaging apparatus comprises: a step in which an ultrasonic medical imaging apparatus acquires information on a patient including information on the patient's sex and location and size of a lesion; a step in which the ultrasonic medical imaging apparatus acquires a plurality of bladder images photographed with transducers placed at different positions on a patient and including the bladder; a step of acquiring information on an image including at least one of the information on the patient and the orientation information for the plurality of bladder images; a step of applying the information on the images and the plurality of bladder images to a contour drawing machine learning model, and acquiring a plurality of contour images including the contour of the bladder; a step of applying at least one of the plurality of contour images and the orientation information to the bladder volume machine learning model, and acquiring the volume of the bladder included in the plurality of bladder images; and a step of outputting the volume of the bladder.

Description

인공지능을 이용하여 방광용적을 측정하는 의료영상장치 및 의료영상장치의 동작 방법{MEDICAL IMAGING APPARATUS FOR MEASURING BLADDER VOLUME USING ARTIFICIAL INTELLIGENCE AND OPERATING METHOD THEREOF}Medical imaging apparatus for measuring bladder volume using artificial intelligence and method of operating medical imaging apparatus

본 개시는 인공지능을 이용하여 방광용적을 측정하는 의료영상장치 및 의료영상장치의 동작 방법과 관련된다. 보다 구체적으로 본 개시의 의료영상장치는 대상체에 대한 복수의 초음파 영상을 획득하여 방광용적을 측정한다.The present disclosure relates to a medical imaging apparatus for measuring bladder volume using artificial intelligence and a method of operating the medical imaging apparatus. More specifically, the medical imaging apparatus of the present disclosure acquires a plurality of ultrasound images of an object to measure a bladder volume.

배뇨 후 잔뇨량 (Post-Voiding residual, PVR)은 과민성 방광, 신경인성 방광 등에 의한 저장증상(Storage symptoms), 배뇨근괄약근 부조화, 방광축구폐색 또는 척추 손상 등의 원인에 의해 발생하는 배뇨증상 (voiding symptoms) 등을 일차적으로 진단할 수 있는 가장 기본적이고 중요한 지표로서, 배뇨장애의 진단 및 치료 효과의 추적에 필수적이다. 배뇨증상을 호소하는 환자나 요배출이 불완전하다고 의심되는 환자의 경우 배뇨 후 잔뇨량 측정을 수행하게 되는데, 고전적인 방광내 요량 측정법은 도뇨법(catheterization)으로 실제로 환자의 방광에 도뇨관을 삽입하여 소변을 배출시키는 것이다. 도뇨법은 정확도가 높고 방광 내 남은 소변을 바로 제거하여 배뇨의 효율성을 높이는 장점이 있어 통상적인 요량 측정 방법으로 이용되어 왔으나, 침습적인 방법으로 환자에게 부담을 줄 뿐 아니라 요도의 통증, 감염 및 요도 손상을 야기할 수 있다는 문제점이 있다[kim JH, 2002]. 이를 대체할 방법으로 초음파 영상(Sonography)을 이용한 잔뇨량 측정법이 있지만 측정값의 정확도가 높은 대신 환자가 초음파 장비가 있는 곳까지 가야 하는 불편과 초음파 영상 장비를 다룰 자격이 있는 전문 인력이 필요하다는 제한 때문에 효용성이 떨어진다. 휴대용 방광 초음파 스캐너는 방광 용적의 측정만을 위해 개발되었으며, 스캔 범위 내에서 획득한 다수의 2차원 초음파 영상을 3차원 방광으로 재구성하여 용적을 자동 계산하는 방법이 대표적이다. 경제성, 전문 인력의 필요, 즉시 대응이 어렵다는 초음파 영상법의 단점을 보완하면서 실시간 초음파 영상을 이용해 빠른 시간 내에 정확한 잔뇨량 측정이 가능하다. 해당 기기의 신뢰성과 정확성은 도뇨법, 초음파 영상 및 CT 영상과 같은 기존의 통상적인 방법과 비교하여 좋은 상관 관계를 보이는 것으로 많은 연구에서 기 검증되어 왔다[Oh SJ, 2010]. Post-Voiding Residual (PVR) is the voiding symptoms caused by causes such as overactive bladder, neurogenic bladder, etc. As the most basic and important indicator for primary diagnosis of the back, it is essential for diagnosing dysuria and tracking treatment effects. For patients complaining of urination symptoms or patients suspected of having incomplete urine output, residual urine volume is measured after urination. is to release it. Catheterization has been used as a conventional urinary flow measurement method because of its high accuracy and the advantage of immediately removing the remaining urine in the bladder and increasing the efficiency of urination. There is a problem that it can cause damage [kim JH, 2002]. As an alternative to this, there is a residual urine volume measurement method using sonography, but the accuracy of the measurement value is high, but due to the inconvenience of the patient having to go to the place where the ultrasound equipment is located and the limitation of requiring a professional manpower qualified to handle the ultrasound imaging equipment, effectiveness declines. A portable bladder ultrasound scanner was developed only for measuring the bladder volume, and a representative method is to automatically calculate the volume by reconstructing a plurality of 2D ultrasound images acquired within the scan range into a 3D bladder. It is possible to accurately measure residual urine volume in a short time using real-time ultrasound images while supplementing the disadvantages of ultrasound imaging methods such as economic feasibility, the need for specialized manpower, and difficulty in responding immediately. The reliability and accuracy of the device have been verified in many studies as showing a good correlation compared to existing conventional methods such as catheterization, ultrasound imaging, and CT imaging [Oh SJ, 2010].

초음파 측정 범위 내에 실제 방광과 혼동될 수 있는 커다란 탈장 또는 방광 게실이 있는 경우, 또는 방광 내에 혈종 등의 소변과 밀도가 다른 이물이 존재하는 경우, 하복부 내 타 장기의 변위가 발생했거나 복수 등 낭종성 질환이 있는 경우 등 방광 초음파 스캐너의 정확도를 감소시킬 수 있는 다양한 사례들이 존재하며 [HASS/MASS Continence Project, 2011], 각 사례에 대하여 문제 상황과 그 원인을 세분화하여 기술하면 다음과 같다. If there is a large hernia or bladder diverticulum that can be confused with the actual bladder within the ultrasound measurement range, or if there is a foreign body with a density different from that of urine, such as a hematoma, in the bladder, displacement of other organs in the lower abdomen, or cystic disease such as ascites There are various cases that can reduce the accuracy of the bladder ultrasound scanner, such as the presence of a disease [HASS/MASS Continence Project, 2011]. For each case, the problem situation and its cause are subdivided and described as follows.

여성에서 고려되어야 할 주요 변수는 질, 자궁, 난소 등의 골반 장기의 존재이다. 방광 내 소변량이 매우 적은 경우 초음파 영상 장비의 기계적 특성과 피검사자의 상태에 따라서 간혹 자궁의 일부나 자궁경부를 방광으로 측정할 수도 있다. 골반 내 장기에 변위가 발생하는 출산, 여성 노인에서 많이 발생하는 골반장기탈출증이나 자궁절제술 또한 방광용적 측정의 정확도에 영향을 미칠 수 있다. 최근의 연구들에서 골반장기탈출증은 초음파 잔뇨측정기의 정확도에 유의한 영향을 미치지 않는 것으로 보고되고 있으나 자궁절제술이 정확도에 미치는 영향은 아직 논의 중에 있다[Ghadeer AS, 2009; Steven JW, 2018]. The main variable to be considered in women is the presence of the pelvic organs, such as the vagina, uterus, and ovaries. When the amount of urine in the bladder is very small, a part of the uterus or cervix may be measured with the bladder depending on the mechanical characteristics of the ultrasound imaging equipment and the condition of the subject. Childbirth in which displacement of pelvic organs occurs, pelvic organ prolapse, which frequently occurs in elderly women, or hysterectomy can also affect the accuracy of bladder volume measurement. In recent studies, it has been reported that pelvic organ prolapse does not significantly affect the accuracy of ultrasound residual urine measurement, but the effect of hysterectomy on the accuracy is still under discussion [Ghadeer AS, 2009; Steven JW, 2018].

자궁 및 난소에 발생하는 자궁근종(myoma), 낭종(cyst 또는 난소종괴) 등의 병변은 휴대용 잔뇨측정기의 오차율에 영향을 미칠 수 있는 주요 인자로 위양성율(false-positive rate)이 최대 9%로 보고되었다[Marks LS, 1997]. 골반의 낭성 병변(cystic pathology)이 초음파 방광용적 측정값과 도뇨법을 이용한 방광용적 측정값의 차이를 유의하게 증가시키며, 방광용적을 자동 계산하는 방법은 방광 내 소변과 골반 내 다른 낭성 병변을 구분하는데 적합하지 않다는 연구 결과 가 보고된 바 있으나[Cho MK, 2017], 병변으로 인해 잔뇨량이 허위로 상승한 경우 해당 결과를 이해하기 위해서는 숙련된 의사나 방사선사의 판독이 필요하기 때문에 일반적으로는 기기의 부정확성으로 귀결되어 학계에 정식 보고된 증례가 많지 않다[Kannayiram Alaiakrishnan, 2009]. Lesions such as myoma and cysts (cysts or ovarian masses) that occur in the uterus and ovaries are major factors that can affect the error rate of portable residual urine meters, with a false-positive rate of up to 9% reported. became [Marks LS, 1997]. Cystic pathology of the pelvis significantly increases the difference between the ultrasound bladder volume measurement value and the bladder volume measurement value using the catheterization method, and the method of automatically calculating the bladder volume distinguishes urine in the bladder from other cystic lesions in the pelvis [Cho MK, 2017], however, when the amount of residual urine is falsely increased due to lesions, it is generally inaccurate because reading by a skilled doctor or radiologist is required to understand the result. As a result, there are not many cases officially reported to the academic community [Kannayiram Alaiakrishnan, 2009].

이와 같이 영상만으로 방광용적을 측정하는 것은 쉽지 않아, 영상만으로 방광용적을 정확하게 측정하기 위한 다양한 방법들이 시도되고 있다.As such, it is not easy to measure the bladder volume only with images, and various methods have been tried to accurately measure the bladder volume only with images.

본 개시의 초음파 의료영상장치의 동작 방법은, 초음파 의료영상장치가 성별 및 병변에 대한 정보를 포함하는 환자에 대한 정보를 획득하는 단계, 초음파 의료영상장치가 트랜스듀서를 환자의 서로 다른 위치에 두면서 촬영되고 방광을 포함하는 복수의 방광 영상을 획득하는 단계, 환자에 대한 정보 및 복수의 방광 영상의 오리엔테이션 정보 중 적어도 하나를 포함하는 영상에 대한 정보를 획득하는 단계, 영상에 대한 정보 및 복수의 방광 영상을 윤곽선도출기계학습모델에 적용하여 방광의 윤곽선을 포함하는 복수의 윤곽선 영상을 획득하는 단계, 복수의 윤곽선 영상 및 오리엔테이션 정보 중 적어도 하나를 방광용적기계학습모델에 적용하여 복수의 방광 영상에 포함된 방광의 용적을 획득하는 단계, 및 방광의 용적을 출력하는 단계를 포함한다.An operation method of an ultrasound medical imaging apparatus according to the present disclosure includes obtaining information about a patient including gender and lesion information by an ultrasound medical imaging apparatus; Acquiring a plurality of bladder images that have been captured and including bladders, acquiring information about an image including at least one of patient information and orientation information of the plurality of bladder images, information about the images and a plurality of bladders Acquiring a plurality of contour images including bladder contours by applying the image to a contour derivation machine learning model, applying at least one of the plurality of contour images and orientation information to the bladder volume machine learning model and including them in the plurality of bladder images obtaining the volume of the bladder, and outputting the volume of the bladder.

본 개시의 초음파 의료영상장치의 동작 방법의 복수의 방광 영상은 환자의 상하를 축으로 하여 트랜스듀서를 15도이하 10도이상씩 이동시키면서 촬영된 영상이다.The plurality of bladder images of the operating method of the ultrasonic medical imaging apparatus according to the present disclosure are captured while moving the transducer by 15 degrees or less and 10 degrees or more with the patient's vertical axis as an axis.

본 개시의 초음파 의료영상장치의 동작 방법은 복수의 윤곽선 영상 중 방광용적기계학습모델에 대한 변수 중요도(feature importance)가 높은 제 1 개수의 영상을 획득하는 단계, 제 1 개수의 영상의 제 1 오리엔테이션의 패턴을 획득하는 단계, 및 제 1 개수의 영상의 제 1 오리엔테이션의 패턴에 기초하여 병변의 가능성을 도출하는 단계를 포함한다.A method of operating an ultrasound medical imaging apparatus according to the present disclosure includes the steps of acquiring a first number of images having a high feature importance for a bladder volume machine learning model among a plurality of contour images, and performing a first orientation of the first number of images. Acquiring a pattern of , and deriving a possibility of a lesion based on a pattern of a first orientation of a first number of images.

본 개시의 초음파 의료영상장치의 동작 방법은 복수의 윤곽선 영상 중 방광용적기계학습모델에 대한 변수 중요도(feature importance)가 낮은 제 2 개수의 영상을 획득하는 단계, 제 2 개수의 영상의 제 2 오리엔테이션의 패턴을 획득하는 단계, 및 제 1 개수의 영상의 제 1 오리엔테이션의 패턴 및 제 2 개수의 영상의 제 2 오리엔테이션의 패턴에 기초하여 병변의 가능성을 도출하는 단계를 포함한다.A method of operating an ultrasound medical imaging apparatus according to the present disclosure includes acquiring a second number of images having low feature importance for a bladder volume machine learning model from among a plurality of contour images, and performing a second orientation of the second number of images. Obtaining a pattern of , and deriving a possibility of a lesion based on a first orientation pattern of a first number of images and a second orientation pattern of a second number of images.

본 개시의 초음파 의료영상장치의 동작 방법의 윤곽선도출기계학습모델은 복수의 방광 영상의 오리엔테이션에 각각 대응되는 복수의 서브윤곽선도출기계학습모델을 포함하고, 복수의 윤곽선 영상을 획득하는 단계는 복수의 방광 영상에 포함된 제 1 방광 영상을 획득하는 단계, 제 1 방광 영상의 좌상측 및 우상측 중 적어도 하나의 복수의 픽셀들을 환자에 대한 정보로 대체하는 단계, 및 제 1 방광 영상을 제 1 방광 영상에 대응되는 서브윤곽선도출기계학습모델에 적용하여 제 1 방광 영상에 포함된 방광의 윤곽선을 포함하는 제 1 윤곽선 영상을 획득하는 단계를 포함하고, 제 1 윤곽선 영상은 복수의 윤곽선 영상 중 하나이고, 복수의 픽셀들의 개수는 합성곱(컨볼루션) 커널에 포함된 픽셀의 개수 이상이고 합성곱 커널에 포함된 픽셀의 개수의 3배이상 16배이하이다.The contour derivation machine learning model of the operating method of the ultrasound medical imaging apparatus of the present disclosure includes a plurality of sub-contour line derivation machine learning models corresponding to orientations of a plurality of bladder images, and the step of acquiring the plurality of contour images includes a plurality of Obtaining a first bladder image included in the bladder image, replacing a plurality of pixels of at least one of upper left and upper right sides of the first bladder image with information about the patient, and converting the first bladder image into a first bladder obtaining a first contour image including a contour of the bladder included in the first bladder image by applying a sub-contour derivation machine learning model corresponding to the image, wherein the first contour image is one of a plurality of contour images; , The number of the plurality of pixels is greater than or equal to the number of pixels included in the convolution (convolution) kernel and is 3 times or more and 16 times or less than the number of pixels included in the convolution kernel.

본 개시의 초음파 의료영상장치의 동작 방법의 복수의 윤곽선 영상을 획득하는 단계는 복수의 방광 영상의 좌상측 및 우상측 중 적어도 하나의 복수의 픽셀들을 환자에 대한 정보로 대체하여 변경된 복수의 방광 영상을 획득하는 단계, 변경된 복수의 방광 영상을 영상의 오리엔테이션 정보에 기초하여 미리 정해진 순서대로 배치하여 하나의 병합 영상을 획득하는 단계, 병합 영상을 윤곽선도출기계학습모델에 적용하여 병합된 윤곽선 영상을 획득하는 단계, 및 병합된 윤곽선 영상을 미리 정해진 크기로 분리하여 복수의 윤곽선 영상을 획득하는 단계를 포함한다.The step of acquiring a plurality of contour images of the operating method of the ultrasound medical imaging apparatus of the present disclosure includes replacing at least one plurality of pixels of the upper left side and the upper right side of the plurality of bladder images with information about the patient, thereby changing the plurality of bladder images. Obtaining a merged image by arranging a plurality of changed bladder images in a predetermined order based on the orientation information of the image, obtaining a merged contour image by applying the merged image to a contour derivation machine learning model and obtaining a plurality of contour images by dividing the merged contour image into a predetermined size.

본 개시의 초음파 의료영상장치의 동작 방법은 과거 환자에 대한 과거 복수의 방광 영상을 획득하는 단계, 과거 환자에 대한 정보 및 과거 복수의 방광 영상의 과거 오리엔테이션 정보 중 적어도 하나를 포함하는 과거 영상에 대한 정보를 획득하는 단계, 과거 환자에 대한 복수의 방광 영상에 각각 대응되는 과거 복수의 윤곽선 영상을 획득하는 단계, 및 과거 영상에 대한 정보 및 과거 복수의 방광 영상에 대한 과거 복수의 윤곽선 영상의 상관관계를 기계학습하여 윤곽선도출기계학습모델을 생성하는 단계를 포함한다.A method of operating an ultrasound medical imaging apparatus according to the present disclosure includes obtaining a plurality of past bladder images of a past patient, information about a past image including at least one of information about a past patient and past orientation information of a plurality of past bladder images. Acquiring information, obtaining a plurality of past contour images corresponding to a plurality of bladder images of a patient in the past, and a correlation between information on the past images and a plurality of past contour images for the plurality of past bladder images. and generating a contour derivation machine learning model by machine learning.

본 개시의 초음파 의료영상장치의 동작 방법은 학습 데이터인 과거 복수의 윤곽선 영상을 획득하는 단계, 레이블 정보인 과거 방광의 용적을 획득하는 단계, 및 과거 복수의 윤곽선 영상에 대한 과거 방광의 용적의 상관관계를 기계학습하여 방광용적기계학습모델을 생성하는 단계를 포함한다.A method of operating an ultrasound medical imaging apparatus according to the present disclosure includes acquiring a plurality of past contour images as learning data, acquiring past bladder volumes as label information, and correlation of past bladder volumes with respect to past plurality of past contour images. and generating a bladder volume machine learning model by machine learning the relationship.

또한, 상술한 바와 같은 본 개시의 의료영상장치의 동작 방법을 구현하기 위한 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.In addition, the above-described program for implementing the operating method of the medical imaging apparatus of the present disclosure may be recorded in a computer-readable recording medium.

도 1은 본 개시의 일 실시예에 따른 서버 또는 의료영상장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 서버를 나타낸 도면이다.
도 3 은 본 개시의 일 실시예에 따른 의료영상 시스템의 구성을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 의료영상장치의 동작을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 의료영상장치(310)의 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 실시예에 따른 의료영상장치의 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 의료영상장치를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 다른 의료영상장치의 동작을 설명하기 위한 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 의료영상장치의 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 다른 의료영상장치의 동작을 설명하기 위한 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 의료영상장치의 동작을 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시예에 따른 의료영상장치의 동작을 설명하기 위한 도면이다.
도 13는 본 개시의 일 실시예에 따른 의료영상장치 또는 서버의 동작을 나타낸 흐름도이다.
도 14는 본 개시의 일 실시예에 따른 의료영상장치 또는 서버의 동작을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따른 의료영상장치 또는 서버의 효과를 설명하기 위한 도면이다.1 is a block diagram of a server or medical imaging apparatus according to an embodiment of the present disclosure.
2 is a diagram illustrating a server according to an embodiment of the present disclosure.
3 is a diagram for explaining the configuration of a medical imaging system according to an embodiment of the present disclosure.
4 is a flowchart illustrating an operation of a medical imaging apparatus according to an embodiment of the present disclosure.
5 is a diagram for explaining the operation of the medical imaging apparatus 310 according to an embodiment of the present disclosure.
6 is a diagram for explaining the operation of a medical imaging apparatus according to an embodiment of the present disclosure.
7 is a diagram for explaining a medical imaging apparatus according to an embodiment of the present disclosure.
8 is a flowchart illustrating an operation of a medical imaging apparatus according to an embodiment of the present disclosure.
9 is a diagram for explaining an operation of a medical imaging apparatus according to an embodiment of the present disclosure.
10 is a flowchart for explaining an operation of a medical imaging apparatus according to an embodiment of the present disclosure.
11 is a diagram for explaining an operation of a medical imaging apparatus according to an embodiment of the present disclosure.
12 is a diagram for explaining an operation of a medical imaging apparatus according to an embodiment of the present disclosure.
13 is a flowchart illustrating an operation of a medical imaging apparatus or server according to an embodiment of the present disclosure.
14 is a diagram for explaining the operation of a medical imaging apparatus or server according to an embodiment of the present disclosure.
15 is a diagram for explaining effects of a medical imaging apparatus or server according to an embodiment of the present disclosure.

개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.Advantages and features of the disclosed embodiments, and methods of achieving them, will become apparent with reference to the following embodiments in conjunction with the accompanying drawings. However, the present disclosure is not limited to the embodiments disclosed below and may be implemented in various different forms, only the present embodiments make the present disclosure complete, and those of ordinary skill in the art to which the present disclosure belongs It is provided only to fully inform the person of the scope of the invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. Terms used in this specification will be briefly described, and the disclosed embodiments will be described in detail.

본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in this specification have been selected from general terms that are currently widely used as much as possible while considering the functions in the present disclosure, but they may vary according to the intention of a person skilled in the related field, a precedent, or the emergence of new technology. In addition, in a specific case, there is also a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the invention. Therefore, terms used in the present disclosure should be defined based on the meaning of the term and the general content of the present disclosure, not simply the name of the term.

본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다.Expressions in the singular number in this specification include plural expressions unless the context clearly dictates that they are singular. Also, plural expressions include singular expressions unless the context clearly specifies that they are plural.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. When it is said that a certain part "includes" a certain component throughout the specification, it means that it may further include other components without excluding other components unless otherwise stated.

또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.Also, the term “unit” used in the specification means a software or hardware component, and “unit” performs certain roles. However, "unit" is not meant to be limited to software or hardware. A “unit” may be configured to reside in an addressable storage medium and may be configured to reproduce on one or more processors. Thus, as an example, “unit” can refer to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. Functionality provided within components and "parts" may be combined into fewer components and "parts" or further separated into additional components and "parts".

본 개시의 일 실시예에 따르면 "부"는 프로세서 및 메모리로 구현될 수 있다. 용어 "프로세서" 는 범용 프로세서, 중앙 처리 장치 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, "프로세서" 는 주문형 반도체 (ASIC), 프로그램가능 로직 디바이스 (PLD), 필드 프로그램가능 게이트 어레이 (FPGA) 등을 지칭할 수도 있다. 용어 "프로세서" 는, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다.According to an embodiment of the present disclosure, “unit” may be implemented as a processor and a memory. The term “processor” should be interpreted broadly to include general-purpose processors, central processing units (CPUs), microprocessors, digital signal processors (DSPs), controllers, microcontrollers, state machines, and the like. In some circumstances, “processor” may refer to an application specific integrated circuit (ASIC), programmable logic device (PLD), field programmable gate array (FPGA), or the like. The term "processor" refers to a combination of processing devices, such as, for example, a combination of a DSP and a microprocessor, a combination of a plurality of microprocessors, a combination of one or more microprocessors in conjunction with a DSP core, or any other such configuration. may also refer to

용어 "메모리" 는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. 용어 메모리는 임의 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 임의 액세스 메모리 (NVRAM), 프로그램가능 판독-전용 메모리 (PROM), 소거-프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.The term "memory" should be interpreted broadly to include any electronic component capable of storing electronic information. The term memory includes random access memory (RAM), read-only memory (ROM), non-volatile random access memory (NVRAM), programmable read-only memory (PROM), erasable-programmable read-only memory (EPROM), electrical may refer to various types of processor-readable media, such as erasable PROM (EEPROM), flash memory, magnetic or optical data storage, registers, and the like. A memory is said to be in electronic communication with the processor if the processor can read information from and/or write information to the memory. Memory integrated with the processor is in electronic communication with the processor.

아래에서는 첨부한 도면을 참고하여 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.Hereinafter, with reference to the accompanying drawings, embodiments will be described in detail so that those skilled in the art can easily carry out the embodiments. And in order to clearly describe the present disclosure in the drawings, parts irrelevant to the description are omitted.

도 1은 본 개시의 일 실시예에 따른 서버 또는 의료영상장치의 블록도이다.1 is a block diagram of a server or medical imaging apparatus according to an embodiment of the present disclosure.

도 1을 참조하면, 일 실시예에 따른 서버(100)는 데이터 학습부(110) 또는 데이터 인식부(120) 중 적어도 하나를 포함할 수 있다. 상술한 바와 같은 서버(100)는 프로세서 및 메모리를 포함할 수 있다. 하지만 이에 한정되는 것은 아니며 의료영상장치(310)가 데이터 학습부(110) 또는 데이터 인식부(120) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 1 , a server 100 according to an embodiment may include at least one of a data learning unit 110 and a data recognizing unit 120 . The server 100 as described above may include a processor and a memory. However, it is not limited thereto, and the medical imaging apparatus 310 may include at least one of the data learning unit 110 and the data recognizing unit 120 .

데이터 학습부(110)는 데이터 세트를 이용하여 타겟 태스크(target task)를 수행하기 위한 기계학습모델을 학습할 수 있다. 데이터 학습부(110)는 데이터 세트 및 타겟 태스크와 관련된 레이블 정보를 수신할 수 있다. 데이터 학습부(110)는 데이터 세트와 레이블 정보의 관계에 대해 기계학습을 수행하여 기계학습모델을 획득할 수 있다. 데이터 학습부(110)가 획득한 기계학습모델은 데이터 세트를 이용하여 레이블 정보를 생성하기 위한 모델일 수 있다. The data learning unit 110 may learn a machine learning model for performing a target task using a data set. The data learning unit 110 may receive label information related to a data set and a target task. The data learning unit 110 may obtain a machine learning model by performing machine learning on the relationship between the data set and the label information. The machine learning model obtained by the data learning unit 110 may be a model for generating label information using a data set.

데이터 인식부(120)는 데이터 학습부(110)의 기계학습모델을 수신하여 저장하고 있을 수 있다. 데이터 인식부(120)는 입력 데이터에 기계학습모델을 적용하여 레이블 정보를 출력할 수 있다. 또한, 데이터 인식부(120)는 입력 데이터, 레이블 정보 및 기계학습모델에 의해 출력된 결과를 기계학습모델을 갱신하는데 이용할 수 있다.The data recognition unit 120 may receive and store the machine learning model of the data learning unit 110 . The data recognizer 120 may output label information by applying a machine learning model to input data. In addition, the data recognizer 120 may use input data, label information, and results output by the machine learning model to update the machine learning model.

데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 이미 설명한 각종 전자 장치에 탑재될 수도 있다.At least one of the data learning unit 110 and the data recognizing unit 120 may be manufactured in the form of at least one hardware chip and mounted in an electronic device. For example, at least one of the data learning unit 110 and the data recognizing unit 120 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general-purpose processor (eg, CPU). Alternatively, it may be manufactured as a part of an application processor) or a graphics-only processor (eg GPU) and mounted in various electronic devices described above.

또한 데이터 학습부(110) 및 데이터 인식부(120)는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(110) 및 데이터 인식부(120) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(110) 및 데이터 인식부(120)는 유선 또는 무선으로 통하여, 데이터 학습부(110)가 구축한 기계학습모델 정보를 데이터 인식부(120)로 제공할 수도 있고, 데이터 인식부(120)로 입력된 데이터가 추가 학습 데이터로써 데이터 학습부(110)로 제공될 수도 있다.Also, the data learning unit 110 and the data recognizing unit 120 may be mounted on separate electronic devices. For example, one of the data learner 110 and the data recognizer 120 may be included in the electronic device, and the other may be included in the server. In addition, the data learning unit 110 and the data recognizing unit 120 may provide machine learning model information built by the data learning unit 110 to the data recognizing unit 120 through wired or wireless communication, and data recognition Data input to the unit 120 may be provided to the data learning unit 110 as additional learning data.

한편, 데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 메모리 또는 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다. Meanwhile, at least one of the data learning unit 110 and the data recognizing unit 120 may be implemented as a software module. When at least one of the data learning unit 110 and the data recognizing unit 120 is implemented as a software module (or a program module including instructions), the software module is a memory or a computer-readable non-transitory module. It may be stored in a temporary readable recording medium (non-transitory computer readable media). Also, in this case, at least one software module may be provided by an Operating System (OS) or a predetermined application. Alternatively, some of the at least one software module may be provided by an Operating System (OS), and the other part may be provided by a predetermined application.

본 개시의 일 실시예에 따른 데이터 학습부(110)는 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115)를 포함할 수 있다.The data learning unit 110 according to an embodiment of the present disclosure includes a data acquisition unit 111, a pre-processing unit 112, a training data selection unit 113, a model learning unit 114, and a model evaluation unit 115. can include

데이터 획득부(111)는 기계학습에 필요한 데이터를 획득할 수 있다. 학습을 위해서는 많은 데이터가 필요하므로, 데이터 획득부(111)는 복수의 데이터를 포함하는 데이터 세트를 수신할 수 있다. The data acquisition unit 111 may acquire data necessary for machine learning. Since a lot of data is required for learning, the data acquisition unit 111 may receive a data set including a plurality of data.

복수의 데이터 각각에 대하여 레이블 정보가 할당될 수 있다. 레이블 정보는 복수의 데이터의 각각을 설명하는 정보일 수 있다. 레이블 정보는 타겟 태스크(target task)가 도출하고자 하는 정보일 수 있다. 레이블 정보는 사용자 입력으로부터 획득되거나, 메모리로부터 획득되거나, 기계학습모델의 결과로부터 획득될 수 있다. 예를 들어 타겟 태스크가 과거의 의료영상으로부터 의료영상에 포함된 방광의 윤곽선 영상을 도출하는 것이라면, 기계학습에 사용되는 복수의 데이터는 사용자의 과거의 의료영상이 될 것이며 레이블 정보는 윤곽선 영상이 될 것이다. 또한, 타겟 태스크가 방광의 윤곽영상으로부터 의료영상에 포함된 방광의 용적을 도출하는 것이라면, 기계학습에 사용되는 복수의 데이터는 사용자의 과거의 방광의 윤곽영상이 될 것이며 레이블 정보는 방광의 용적이 될 것이다. 레이블 정보는 사용자가 직접 입력할 수 있다.Label information may be assigned to each of a plurality of data. The label information may be information describing each of a plurality of pieces of data. Label information may be information to be derived by a target task. Label information may be obtained from a user input, from a memory, or from a result of a machine learning model. For example, if the target task is to derive a contour image of the bladder included in the medical images from past medical images, the plurality of data used for machine learning will be the user's past medical images and the label information will be the contour images. will be. In addition, if the target task is to derive the bladder volume included in the medical image from the bladder contour image, the plurality of data used for machine learning will be the user's past bladder contour images, and the label information will be the bladder volume It will be. Label information can be directly input by the user.

전처리부(112)는 수신된 데이터가 기계학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(112)는 후술할 모델 학습부(114)가 이용할 수 있도록, 획득된 데이터 세트를 미리 설정된 포맷으로 가공할 수 있다. The pre-processing unit 112 may pre-process the acquired data so that the received data can be used for machine learning. The pre-processing unit 112 may process the acquired data set into a preset format so that the model learning unit 114 to be described later may use it.

학습 데이터 선택부(113)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(114)에 제공될 수 있다. 학습 데이터 선택부(113)는 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(113)는 후술할 모델 학습부(114)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.The learning data selector 113 may select data necessary for learning from preprocessed data. The selected data may be provided to the model learning unit 114 . The learning data selector 113 may select data necessary for learning from preprocessed data according to a predetermined criterion. In addition, the learning data selection unit 113 may select data according to a predetermined criterion by learning by the model learning unit 114 to be described later.

모델 학습부(114)는 데이터 세트에 기초하여 어떤 레이블 정보를 출력할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(114)는 데이터 세트 및 데이터 세트 대한 레이블 정보를 학습 데이터로써 이용하여 기계학습을 수행할 수 있다. 또한 모델 학습부(114)는 기존에 획득된 기계학습모델을 추가적으로 이용하여 기계학습을 수행할 수 있다. 이 경우, 기존에 획득된 기계학습모델은 미리 구축된 모델일 수 있다. 예를 들어, 기계학습모델은 기본 학습 데이터를 입력 받아 미리 구축된 모델일 수 있다.The model learning unit 114 may learn a criterion for which label information to output based on the data set. In addition, the model learning unit 114 may perform machine learning using a data set and label information for the data set as training data. In addition, the model learning unit 114 may perform machine learning by additionally using a previously obtained machine learning model. In this case, the previously acquired machine learning model may be a pre-built model. For example, the machine learning model may be a model built in advance by receiving basic learning data.

기계학습모델은, 학습모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 기계학습모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, Deep Neural Network (DNN), Recurrent Neural Network (RNN), Long Short-Term Memory models (LSTM), BRDNN (Bidirectional Recurrent Deep Neural Network), Convolutional Neural Networks (CNN)과 같은 모델이 기계학습모델로써 사용될 수 있으나, 이에 한정되지 않는다.The machine learning model may be built in consideration of the application field of the learning model, the purpose of learning, or the computer performance of the device. The machine learning model may be, for example, a model based on a neural network. For example, models such as Deep Neural Network (DNN), Recurrent Neural Network (RNN), Long Short-Term Memory models (LSTM), Bidirectional Recurrent Deep Neural Network (BRDNN), and Convolutional Neural Networks (CNN) can be used as machine learning models. may, but is not limited thereto.

다양한 실시예에 따르면, 모델 학습부(114)는 미리 구축된 기계학습모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 기계학습모델을 학습할 기계학습모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 기계학습모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 장소, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다. According to various embodiments, when a plurality of pre-built machine learning models exist, the model learning unit 114 may determine a machine learning model having a high correlation between the input learning data and the basic learning data as the machine learning model to be learned. there is. In this case, the basic learning data may be pre-classified for each type of data, and the machine learning model may be pre-built for each type of data. For example, the basic learning data may be pre-classified according to various criteria such as a place where the learning data was created, a time when the learning data was created, a size of the learning data, a creator of the learning data, and a type of object in the learning data.

또한, 모델 학습부(114)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 기계학습모델을 학습시킬 수 있다.In addition, the model learning unit 114 may train the machine learning model using a learning algorithm including, for example, error back-propagation or gradient descent.

또한, 모델 학습부(114)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 기계학습모델을 학습할 수 있다. 또한, 모델 학습부(114)는, 예를 들어, 별다른 지도 없이 타겟 태스크(target task)을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 타겟 태스크를 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 기계학습모델을 획득할 수 있다. 또한, 모델 학습부(114)는, 예를 들어, 학습에 따른 타겟 태스크의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 기계학습모델을 학습할 수 있다.In addition, the model learning unit 114 may learn a machine learning model through, for example, supervised learning using learning data as an input value. In addition, the model learning unit 114 performs, for example, unsupervised learning that discovers a criterion for a target task by self-learning the type of data necessary for the target task without any guidance. Through this, a machine learning model can be obtained. In addition, the model learning unit 114 may learn the machine learning model through, for example, reinforcement learning using feedback about whether the result of the target task according to learning is correct.

또한, 기계학습모델이 학습되면, 모델 학습부(114)는 학습된 기계학습모델을 저장할 수 있다. 이 경우, 모델 학습부(114)는 학습된 기계학습모델을 데이터 인식부(120)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(114)는 학습된 기계학습모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.In addition, when the machine learning model is learned, the model learning unit 114 may store the learned machine learning model. In this case, the model learning unit 114 may store the learned machine learning model in the memory of the electronic device including the data recognizing unit 120 . Alternatively, the model learning unit 114 may store the learned machine learning model in a memory of a server connected to the electronic device through a wired or wireless network.

학습된 기계학습모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.The memory in which the learned machine learning model is stored may also store, for example, commands or data related to at least one other component of the electronic device. Also, the memory may store software and/or programs. Programs may include, for example, kernels, middleware, application programming interfaces (APIs) and/or application programs (or “applications”).

모델 평가부(115)는 기계학습모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(114)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 기계학습모델을 평가하기 위한 기 설정된 데이터일 수 있다. The model evaluation unit 115 may input evaluation data to the machine learning model and, if a result output from the evaluation data does not satisfy a predetermined criterion, may cause the model learning unit 114 to learn again. In this case, the evaluation data may be preset data for evaluating the machine learning model.

예를 들어, 모델 평가부(115)는 평가 데이터에 대한 학습된 기계학습모델의 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 기계학습모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(115)는 학습된 기계학습모델이 적합하지 않은 것으로 평가할 수 있다.For example, the model evaluator 115 determines that a predetermined criterion is not satisfied when the number or ratio of evaluation data for which the recognition result is not accurate among the results of the machine learning model learned for the evaluation data exceeds a preset threshold. can be evaluated as For example, when a predetermined criterion is defined as a ratio of 2%, and a learned machine learning model outputs an erroneous recognition result for evaluation data exceeding 20 out of a total of 1000 evaluation data, the model evaluation unit 115 performs learning It can be evaluated that the applied machine learning model is not suitable.

한편, 학습된 기계학습모델이 복수 개가 존재하는 경우, 모델 평가부(115)는 각각의 학습된 기계학습모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 기계학습모델로써 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(115)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 기계학습모델로써 결정할 수 있다.On the other hand, when there are a plurality of learned machine learning models, the model evaluation unit 115 evaluates whether or not a predetermined criterion is satisfied for each learned machine learning model, and a model that satisfies the predetermined criterion is used as the final machine learning model. can decide In this case, when there are a plurality of models that satisfy a predetermined criterion, the model evaluation unit 115 may determine one or a predetermined number of models preset in order of high evaluation scores as the final machine learning model.

한편, 데이터 학습부(110) 내의 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.Meanwhile, at least one of the data acquisition unit 111, the preprocessing unit 112, the learning data selection unit 113, the model learning unit 114, and the model evaluation unit 115 in the data learning unit 110 is at least one It can be manufactured in the form of a hardware chip and mounted in an electronic device. For example, at least one of the data acquisition unit 111, the pre-processing unit 112, the training data selection unit 113, the model learning unit 114, and the model evaluation unit 115 is artificial intelligence (AI). It may be manufactured in the form of a dedicated hardware chip for the computer, or may be manufactured as a part of an existing general-purpose processor (eg, CPU or application processor) or graphics-only processor (eg, GPU) and mounted in various electronic devices described above.

또한, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.In addition, the data acquisition unit 111, the pre-processing unit 112, the training data selection unit 113, the model learning unit 114, and the model evaluation unit 115 may be mounted on one electronic device, or may be installed in separate electronic devices. It may also be mounted on each electronic device. For example, some of the data acquisition unit 111, the pre-processing unit 112, the training data selection unit 113, the model learning unit 114, and the model evaluation unit 115 are included in the electronic device, and the others are included in the electronic device. can be included in the server.

또한, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.In addition, at least one of the data acquisition unit 111, the preprocessing unit 112, the learning data selection unit 113, the model learning unit 114, and the model evaluation unit 115 may be implemented as a software module. At least one of the data acquisition unit 111, the pre-processing unit 112, the training data selection unit 113, the model learning unit 114, and the model evaluation unit 115 is a software module (or a program including instructions) module), the software module may be stored in a computer-readable, non-transitory computer readable recording medium (non-transitory computer readable media). Also, in this case, at least one software module may be provided by an Operating System (OS) or a predetermined application. Alternatively, some of the at least one software module may be provided by an Operating System (OS), and the other part may be provided by a predetermined application.

본 개시의 일 실시예에 따른 데이터 인식부(120)는 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125)를 포함할 수 있다.The data recognition unit 120 according to an embodiment of the present disclosure includes a data acquisition unit 121, a preprocessing unit 122, a recognition data selection unit 123, a recognition result providing unit 124, and a model update unit 125. can include

데이터 획득부(121)는 입력 데이터를 수신할 수 있다. 전처리부(122)는 획득된 입력 데이터가 인식 데이터 선택부(123) 또는 인식 결과 제공부(124)에서 이용될 수 있도록, 획득된 입력 데이터를 전처리할 수 있다. The data acquisition unit 121 may receive input data. The preprocessing unit 122 may preprocess the acquired input data so that the acquired input data can be used in the recognition data selection unit 123 or the recognition result providing unit 124 .

인식 데이터 선택부(123)는 전처리된 데이터 중에서 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(124)에게 제공될 수 있다. 인식 데이터 선택부(123)는 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(123)는 모델 학습부(114)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.The recognition data selection unit 123 may select necessary data from preprocessed data. The selected data may be provided to the recognition result provider 124 . The recognition data selection unit 123 may select some or all of the pre-processed data according to a predetermined criterion. In addition, the recognition data selection unit 123 may select data according to a standard set by learning by the model learning unit 114 .

인식 결과 제공부(124)는 선택된 데이터를 기계학습모델에 적용하여 결과 데이터를 획득할 수 있다. 기계학습모델은 모델 학습부(114)에 의하여 생성된 기계학습모델일 수 있다. 인식 결과 제공부(124)는 결과 데이터를 출력할 수 있다. 예를 들어 인식 결과 제공부(124)는 사용자의 현재 생체 정보를 수신하여, 사용자의 심리 정보를 결과 데이터로써 출력할 수 있다.The recognition result providing unit 124 may obtain result data by applying the selected data to the machine learning model. The machine learning model may be a machine learning model generated by the model learning unit 114 . The recognition result provider 124 may output result data. For example, the recognition result providing unit 124 may receive the user's current biometric information and output the user's psychological information as result data.

모델 갱신부(125)는 인식 결과 제공부(124)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 기계학습모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(125)는 인식 결과 제공부(124)에 의해 제공되는 인식 결과를 모델 학습부(114)에게 제공함으로써, 모델 학습부(114)가 기계학습모델을 갱신하도록 할 수 있다.The model updating unit 125 may update the machine learning model based on the evaluation of the recognition result provided by the recognition result providing unit 124 . For example, the model updater 125 may provide the recognition result provided by the recognition result provider 124 to the model learner 114 so that the model learner 114 updates the machine learning model. there is.

한편, 데이터 인식부(120) 내의 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.Meanwhile, at least one of the data acquisition unit 121, the pre-processing unit 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 in the data recognizing unit 120, at least It is manufactured in the form of a single hardware chip and can be mounted in an electronic device. For example, at least one of the data acquisition unit 121, the pre-processing unit 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 is artificial intelligence (AI). ), or may be manufactured as a part of an existing general-purpose processor (eg, CPU or application processor) or graphics-only processor (eg, GPU) and mounted in various electronic devices described above.

또한, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.In addition, the data acquisition unit 121, the pre-processing unit 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 may be mounted in one electronic device or separately. may be mounted on each of the electronic devices. For example, some of the data acquisition unit 121, the pre-processing unit 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 are included in the electronic device, and the other part is included in the electronic device. may be included in the server.

또한, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.In addition, at least one of the data acquisition unit 121, the preprocessing unit 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 may be implemented as a software module. At least one of the data acquisition unit 121, the pre-processing unit 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 includes a software module (or an instruction) When implemented as a program module), the software module may be stored in a computer-readable, non-transitory computer readable recording medium (non-transitory computer readable media). Also, in this case, at least one software module may be provided by an Operating System (OS) or a predetermined application. Alternatively, some of the at least one software module may be provided by an Operating System (OS), and the other part may be provided by a predetermined application.

아래에서는 데이터 학습부(110)의 데이터 획득부(111), 전처리부(112) 및 학습 데이터 선택부(113)가 학습 데이터를 수신하여 처리하는 방법 및 장치에 대하여 보다 자세히 설명한다. Hereinafter, a method and apparatus for receiving and processing learning data by the data acquiring unit 111, the preprocessing unit 112, and the learning data selection unit 113 of the data learning unit 110 will be described in more detail.

도 2는 본 개시의 일 실시예에 따른 서버를 나타낸 도면이다.2 is a diagram illustrating a server according to an embodiment of the present disclosure.

서버(100)는 프로세서(210) 및 메모리(220)를 포함할 수 있다. 프로세서(210)는 메모리(220)에 저장된 명령어들을 수행할 수 있다. The server 100 may include a processor 210 and a memory 220 . The processor 210 may execute instructions stored in the memory 220 .

상술한 바와 같이 서버(100)는 데이터 학습부(110) 또는 데이터 인식부(120)를 포함할 수 있다. 데이터 학습부(110) 또는 데이터 인식부(120)는 프로세서(210) 및 메모리(220)에 의하여 구현될 수 있다. As described above, the server 100 may include a data learning unit 110 or a data recognizing unit 120 . The data learning unit 110 or the data recognizing unit 120 may be implemented by the processor 210 and the memory 220 .

도 1 및 도 2는 서버(100)에 대하여 설명한 것이지만 이에 한정되는 것은 아니다. 이하에서 설명할 의료영상장치(310)도 서버(100)와 동일한 구성을 포함할 수 있다. 즉, 의료영상장치(310) 역시 데이터 학습부(110) 또는 데이터 인식부(120) 중 적어도 하나를 포함할 수 있다. 또한 의료영상장치(310)는 프로세서(210) 및 메모리(220)를 포함할 수 있다. 의료영상장치(310)의 프로세서(210)는 메모리(220)에 저장된 명령어들을 수행할 수 있다. 1 and 2 have been described with respect to the server 100, but is not limited thereto. The medical imaging apparatus 310 to be described below may also include the same configuration as the server 100 . That is, the medical imaging apparatus 310 may also include at least one of the data learning unit 110 and the data recognizing unit 120 . Also, the medical imaging apparatus 310 may include a processor 210 and a memory 220 . The processor 210 of the medical imaging apparatus 310 may execute instructions stored in the memory 220 .

도 3 은 본 개시의 일 실시예에 따른 의료영상 시스템의 구성을 설명하기 위한 도면이다.3 is a diagram for explaining the configuration of a medical imaging system according to an embodiment of the present disclosure.

의료영상 시스템은 의료영상장치(310) 및 서버(100)를 포함할 수 있다. 의료영상장치(310)는 X-RAY, 초음파, CT, 또는 MRI 등을 포함할 수 있다. The medical imaging system may include a medical imaging apparatus 310 and a server 100 . The medical imaging apparatus 310 may include X-RAY, ultrasound, CT, or MRI.

또한 의료영상 시스템은 서버(100)를 포함할 수 있다. 서버(100)는 의료영상장치(310)와 유무선으로 통신을 할 수 있다. 서버(100)는 의료영상장치(310)로부터 데이터를 수신하여 저장하거나 처리할 수 있다. 서버(100)는 의료영상장치(310)로부터의 데이터를 처리하여 결과 정보를 획득할 수 있다. 서버(100)는 결과 정보를 의료영상장치(310)로 송신할 수 있다.Also, the medical imaging system may include the server 100 . The server 100 may communicate with the medical imaging apparatus 310 wired or wirelessly. The server 100 may receive, store, or process data from the medical imaging apparatus 310 . The server 100 may obtain result information by processing data from the medical imaging apparatus 310 . The server 100 may transmit result information to the medical imaging apparatus 310 .

예를 들어 의료영상장치(310)는 대상체로부터 의료영상을 획득할 수 있다. 대상체는 환자일 수 있다. 의료영상은 초음파 영상, MRI 영상, CT 영상, 및 엑스선영상 중 적어도 하나를 포함할 수 있다. 의료영상장치(310)는 서버(100)로 의료영상을 송신할 수 있다. 서버(100)는 의료영상장치(310)로부터 수신한 의료영상을 기계학습모델에 적용하여 방광의 용적을 획득할 수 있다. 기계학습모델은 또한 서버(100)는 윤곽선도출기계학습모델 및 방광용적기계학습모델을 포함할 수 있다. 서버(100)는 획득된 방광의 용적을 의료영상장치(310)로 송신할 수 있다.For example, the medical imaging apparatus 310 may obtain a medical image from an object. A subject may be a patient. The medical image may include at least one of an ultrasound image, an MRI image, a CT image, and an X-ray image. The medical imaging apparatus 310 may transmit medical images to the server 100 . The server 100 may obtain the volume of the bladder by applying the medical image received from the medical imaging device 310 to the machine learning model. The machine learning model may also include a contour derivation machine learning model and a bladder volume machine learning model. The server 100 may transmit the obtained volume of the bladder to the medical imaging apparatus 310 .

도 3에서는 의료영상 시스템이 의료영상장치(310) 및 서버(100)를 포함하는 것으로 개시하였다. 하지만 의료영상 시스템의 구성은 도 3에 한정되는 것은 아니다. 의료영상 시스템은 의료영상장치(310)만을 포함할 수 있다. 즉, 서버(100)에서 수행되는 동작이 의료영상장치(310)에 의해 수행될 수 있다. 의료영상장치(310)는 서버(100)의 도움 없이 방광의 용적을 획득할 수 있다. 의료영상장치(310)는 의료영상을 획득한 후 기계학습모델에 적용하여 방광의 용적을 획득할 수 있다. 기계학습모델은 서버(100) 또는 다른 의료영상장치로부터 수신할 수 있다. 의료영상장치(310)의 동작 방법에 대하여 도 4와 함께 더 자세히 설명한다.3 discloses that the medical imaging system includes the medical imaging apparatus 310 and the server 100 . However, the configuration of the medical imaging system is not limited to FIG. 3 . A medical imaging system may include only the medical imaging apparatus 310 . That is, an operation performed by the server 100 may be performed by the medical imaging apparatus 310 . The medical imaging apparatus 310 may obtain the volume of the bladder without the help of the server 100 . The medical imaging apparatus 310 may obtain the volume of the bladder by applying the machine learning model after obtaining the medical image. The machine learning model may be received from the server 100 or other medical imaging devices. A method of operating the medical imaging apparatus 310 will be described in detail together with FIG. 4 .

도 4는 본 개시의 일 실시예에 따른 의료영상장치의 동작을 나타내는 흐름도이다.4 is a flowchart illustrating an operation of a medical imaging apparatus according to an embodiment of the present disclosure.

의료영상장치(310)는 성별 및 병변에 대한 정보를 포함하는 환자에 대한 정보를 획득하는 단계(410)를 수행할 수 있다. 환자에 대한 정보는 의료영상에 기초하여 방광의 용적을 측정하는데 필요한 정보를 포함할 수 있다. 예를 들어 환자에 대한 정보는 환자의 몸무게, 복부 비만의 정도, 나이 또는 성별 중 적어도 하나를 포함할 수 있다. 또한 환자에 대한 정보는 환자에게 골반장기탈출증이 있는지 여부, 자궁절제술을 받았는지 여부, 자궁근종(myoma)이 있는지 여부, 또는 낭종(cyst 또는 난소종괴)이 있는지 여부 중 적어도 하나를 포함할 수도 있다. 의료영상장치(310)는 환자에 대한 정보를 서버(100)로부터 수신하거나, 입력부를 통하여 사용자로부터 수신할 수도 있다. 또한 의료영상장치(310)는 메모리에 미리 저장되어 있는 환자에 대한 정보를 획득할 수도 있다.The medical imaging apparatus 310 may perform step 410 of obtaining information on the patient including information on gender and lesion. Information on the patient may include information necessary for measuring the volume of the bladder based on the medical image. For example, the patient information may include at least one of the patient's weight, degree of abdominal obesity, age, or gender. In addition, information about the patient may include at least one of whether the patient has pelvic organ prolapse, whether a hysterectomy has been performed, whether a myoma is present, or whether a cyst (cyst or ovarian mass) is present. . The medical imaging apparatus 310 may receive information about a patient from the server 100 or from a user through an input unit. Also, the medical imaging apparatus 310 may acquire information about the patient previously stored in the memory.

초음파 의료영상장치(310)는 트랜스듀서를 환자의 서로 다른 위치에 두면서 촬영되고 방광을 포함하는 복수의 방광 영상을 획득하는 단계(420)를 수행할 수 있다. 복수의 방광 영상은 환자의 방광이 촬영된 의료영상일 수 있다. 예를 들어 복수의 방광 영상은 초음파 영상일 수 있다. 복수의 방광 영상은 하나의 환자에 대하여 복수의 지점에서 촬영된 영상일 수 있다. 복수의 방광 영상은 2차원의 B모드 영상일 수 있다. 하지만 이에 한정되는 것은 아니다. 복수의 방광 영상을 획득하는 과정을 설명하기 위하여 도 5를 참조한다. The ultrasound medical imaging apparatus 310 may perform step 420 of acquiring a plurality of bladder images including the bladder, which are captured while placing the transducers at different positions of the patient. The plurality of bladder images may be medical images of a patient's bladder. For example, the plurality of bladder images may be ultrasound images. The plurality of bladder images may be images captured at a plurality of points on one patient. The plurality of bladder images may be 2-dimensional B-mode images. However, it is not limited thereto. Referring to FIG. 5 to describe a process of acquiring a plurality of bladder images.

도 5는 본 개시의 일 실시예에 따른 의료영상장치(310)의 동작을 설명하기 위한 도면이다.5 is a diagram for explaining the operation of the medical imaging apparatus 310 according to an embodiment of the present disclosure.

사용자는 의료영상장치(310)를 이용하여 환자(500)의 둘레에 있는 복수의 지점에 트랜스듀서를 위치시키고 복수의 의료영상을 획득할 수 있다. 복수의 방광 영상은 환자의 상하를 축으로 하여 트랜스듀서를 15도이하 10도이상씩 이동시키면서 촬영된 영상일 수 있다. 예를 들어 복수의 방광 영상은 12개일 수 있다. 하지만 이에 한정되는 것은 아니며 복수의 방광 영상은 환자의 상하를 축으로 하여 트랜스듀서를 90도이하 5도이상씩 이동시키면서 촬영된 영상일 수 있다. 복수의 방광 영상은 3개이상 36개이하일 수 있다. 의료영상장치(310)는 사용자가 복수의 방광 영상을 획득할 수 있도록 가이드 영상 또는 가이드 텍스트를 출력할 수 있다. A user may acquire a plurality of medical images by placing transducers at a plurality of points around the patient 500 using the medical imaging apparatus 310 . The plurality of bladder images may be images captured while moving the transducer by 15 degrees or less and 10 degrees or more with the patient's vertical axis. For example, there may be 12 bladder images. However, it is not limited thereto, and the plurality of bladder images may be images taken while moving the transducer by 90 degrees or less by 5 degrees or more with the patient's vertical axis. The plurality of bladder images may be 3 or more and 36 or less. The medical imaging apparatus 310 may output a guide image or guide text so that a user may acquire a plurality of bladder images.

도 5를 참조하면 단면(501)은 환자의 지면에 평행한 단면을 나타낼 수 있다. 사용자는 트랜스듀서를 방광을 향하여 위치시킬 수 있다. 또한, 사용자는 환자의 단면(501)의 둘레를 따라 트랜스듀서를 이동시키면서 의료영상을 촬영할 수 있다. 즉 복수의 방광 영상은 환자의 둘레를 따라 형성된 복수의 지점에 트랜스듀서를 위치시키면서 촬영된 영상일 수 있다. 복수의 방광 영상은 도 5에서 환자의 단면(501)을 따라 형성된 복수의 지점(검은점)에 트랜스듀서를 위치시켜서 획득될 수 있다. 예를 들어 의료영상장치(310)는 지점(510)에 위치한 트랜스듀서에 의하여 영역(520)에 대한 초음파 영상을 획득할 수 있다. 영역(520)은 지면에 평행할 수 있다. 즉, 의료영상장치(310)는 지점(510)에 위치한 트랜스듀서에 의하여 지면에 평행한 면에 대한 초음파 영상을 획득할 수도 있다. 하지만 이에 한정되는 것은 아니다. 의료영상장치(310)는 지점(510)에 위치한 트랜스듀서에 의하여 지면에 수직한 면에 대한 초음파 영상을 획득할 수도 있다. 또한 의료영상장치(310)는 복수의 지점 각각에 대하여 방광 영상을 획득할 수 있다. 또한, 도 5와 같이 의료영상장치(310)는 환자의 앞쪽 180도 영역에 대하여 복수의 방광 영상을 획득할 수 있다. 환자의 뒤쪽은 뼈에 의하여 의료영상에 방광이 드러나지 않을 수 있기 때문이다.Referring to FIG. 5 , cross section 501 may represent a cross section parallel to the patient's ground. A user may position the transducer towards the bladder. Also, the user may capture a medical image while moving the transducer along the circumference of the cross section 501 of the patient. That is, the plurality of bladder images may be images taken while placing transducers at a plurality of points formed along the patient's circumference. A plurality of bladder images may be obtained by placing transducers at a plurality of points (black points) formed along the cross section 501 of the patient in FIG. 5 . For example, the medical imaging apparatus 310 may obtain an ultrasound image of the region 520 by using a transducer located at the point 510 . Area 520 may be parallel to the ground. That is, the medical imaging apparatus 310 may obtain an ultrasound image of a plane parallel to the ground by the transducer located at the point 510 . However, it is not limited thereto. The medical imaging apparatus 310 may obtain an ultrasound image of a plane perpendicular to the ground by a transducer located at the point 510 . Also, the medical imaging apparatus 310 may acquire bladder images for each of a plurality of points. In addition, as shown in FIG. 5 , the medical imaging apparatus 310 may acquire a plurality of bladder images for an area 180 degrees in front of the patient. This is because the back of the patient may not reveal the bladder on the medical image due to the bone.

다시 도 4를 참조하면, 의료영상장치(310)는 환자에 대한 정보 및 복수의 방광 영상의 오리엔테이션 정보 중 적어도 하나를 포함하는 영상에 대한 정보를 획득하는 단계(430)를 수행할 수 있다.Referring back to FIG. 4 , the medical imaging apparatus 310 may perform step 430 of obtaining information about an image including at least one of patient information and orientation information of a plurality of bladder images.

의료영상장치(310)는 복수의 방광 영상 마다 오리엔테이션 정보를 획득할 수 있다. 오리엔테이션 정보는 방광 영상을 촬영할 때의 트랜스듀서의 위치를 나타낼 수 있다. 예를 들어 오리엔테이션 정보는 환자의 우측의 0도 지점부터 180도 지점을 나타낼 수 있다. 우측의 180도 지점은 환자의 좌측의 0도 지점과 동일할 수 있다. 또한, 우측의 0도 지점은 환자의 좌측의 180도 지점과 동일할 수 있다. 또한 오리엔테이션 정보는 영상이 환자의 sagittal 영상, axial 영상, 또는 lateral 영상인지를 포함할 수 있다. 또한, 오리엔테이션 정보는 환자에 대한 트랜스듀서의 배열을 나타낼 수 있다. 즉, 오리엔테이션 정보는 트랜스듀서의 배열이 환자의 상하방향인지, 좌우방향인지, 앞뒤 방향인지를 나타낼 수 있다.The medical imaging apparatus 310 may acquire orientation information for each of a plurality of bladder images. Orientation information may indicate a position of a transducer when a bladder image is captured. For example, the orientation information may indicate a point from 0 degree to 180 degree on the patient's right side. The 180 degree point on the right side may be the same as the 0 degree point on the patient's left side. Also, the 0 degree point on the right side may be the same as the 180 degree point on the patient's left side. Orientation information may also include whether the image is a patient's sagittal image, axial image, or lateral image. Orientation information may also indicate an arrangement of transducers relative to the patient. That is, the orientation information may indicate whether the transducers are arranged in a vertical direction, left-right direction, or front-back direction of the patient.

의료영상장치(310)는 영상의 형태에 따라 오리엔테이션 정보를 자동으로 결정할 수도 있다. 또한 의료영상장치(310)는 의료영상을 촬영하기 위한 가이드 영상 또는 가이드 텍스트를 출력할 때, 오리엔테이션 정보에 대응하는 의료영상을 촬영할 것을 지시할 수 있다. 사용자는 가이드 영상 또는 가이드 텍스트에 따라 출력된 오리엔테이션 정보에 대응하는 의료영상을 획득할 수 있다. 의료영상장치(310)는 촬영된 의료영상과 함께 오리엔테이션 정보를 함께 저장할 수 있다. 또한 위에서 설명한 바와 다르게, 오리엔테이션 정보는 사용자에 의하여 입력될 수도 있다.The medical imaging apparatus 310 may automatically determine orientation information according to the shape of an image. Also, when outputting a guide image or guide text for capturing a medical image, the medical imaging apparatus 310 may instruct capturing a medical image corresponding to orientation information. A user may acquire a medical image corresponding to orientation information output according to a guide image or guide text. The medical imaging apparatus 310 may store orientation information together with the captured medical images. Also, unlike the above description, orientation information may be input by the user.

의료영상장치(310)는 단계(410)에서 획득된 환자에 대한 정보 및 오리엔테이션 정보 중 적어도 하나를 병합하여 영상에 대한 정보를 획득할 수 있다. 영상에 대한 정보는 복수의 방광 영상 마다 획득될 수도 있고, 복수의 방광 영상에 대하여 하나만 획득될 수도 있다.The medical imaging apparatus 310 may obtain image information by merging at least one of the patient information and orientation information obtained in step 410 . Image information may be obtained for each of a plurality of bladder images or only one information for a plurality of bladder images.

의료영상장치(310)는 영상에 대한 정보 및 복수의 방광 영상 중 적어도 하나를 윤곽선도출기계학습모델에 적용하여 방광의 윤곽선을 포함하는 복수의 윤곽선 영상을 획득하는 단계(440)를 수행할 수 있다. 단계(440)는 의료영상장치(310) 또는 서버(100) 중 적어도 하나에 포함된 데이터 인식부(120)에서 수행될 수 있다. 영상에서 윤곽선을 도출하기 위하여 많은 알고리즘들이 알려져 있으나, 일반적인 윤곽선 도출 방법으로는 의료영상에서 방광의 윤곽을 찾기 힘들 수 있다. 왜냐하면, 일반적인 윤곽선 도출 방법은 윤곽선의 내부와 외부의 픽셀값의 차이를 이용하거나, 뚜렷하게 드러난 윤곽선을 특성을 이용하지만, 초음파 의료영상은 병변, 다양한 장기, 또는 뼈 등이 겹쳐서 나타나기 때문에 의료영상 내에서 방광의 윤곽선이 뚜렷하지 않기 때문이다. 따라서 방광의 윤곽선을 획득하기 위해, 본 개시의 의료영상장치(310) 또는 서버(100)는 복수의 의료영상으로부터 방광의 형상, 위치, 또는 크기 등을 학습한 기계학습모델을 사용한다. 단계(440)에 대하여 도 6과 함께 설명한다.The medical imaging apparatus 310 may perform step 440 of acquiring a plurality of contour images including the contour of the bladder by applying at least one of the image information and the plurality of bladder images to the contour derivation machine learning model. . Step 440 may be performed by the data recognizing unit 120 included in at least one of the medical imaging apparatus 310 and the server 100 . Although many algorithms are known for deriving the contour line from an image, it may be difficult to find the contour of the bladder in a medical image using a general contour derivation method. This is because general contour derivation methods use the difference between pixel values inside and outside the contour line or use the characteristics of a clearly revealed contour line, but ultrasound medical images show overlapping lesions, various organs, or bones, so This is because the outline of the bladder is not clear. Therefore, in order to obtain the contour of the bladder, the medical imaging apparatus 310 or the server 100 of the present disclosure uses a machine learning model that learns the shape, position, or size of the bladder from a plurality of medical images. Step 440 will be described together with FIG. 6 .

도 6은 본 개시의 실시예에 따른 의료영상장치의 동작을 설명하기 위한 도면이다.6 is a diagram for explaining the operation of a medical imaging apparatus according to an embodiment of the present disclosure.

의료영상(610)은 복수의 방광 영상 중 하나를 나타낼 수 있다. 의료영상(610)에는 방광(621)의 영상이 포함될 수 있다. 하지만 의료영상(610)은 방광(621)의 부근에 다른 장기 또는 병변과 같은 다른 물체(622)를 포함할 수 있다. 의료영상장치(310)는 방광의 용적을 측정하기 위하여 다른 물체(622)를 제외한 방광(621)만의 윤곽선을 도출해야할 수 있다. 다른 물체(622)는 자궁근종, 자궁, 또는 낭종 등일 수 있다. 의료영상장치(310)는 윤곽선도출기계학습모델에 기초하여 방광(621)만의 윤곽선을 도출할 수 있다. 윤곽선도출기계학습모델은 방광의 영상으로부터 윤곽선 영상을 도출하는데 특화된 기계학습모델일 수 있다. 윤곽선도출기계학습모델은 시맨틱분할(semantic segmentation)을 이용하여 생성될 수 있다.The medical image 610 may represent one of a plurality of bladder images. The medical image 610 may include an image of the bladder 621 . However, the medical image 610 may include other objects 622 such as other organs or lesions in the vicinity of the bladder 621 . The medical imaging apparatus 310 may need to draw an outline of only the bladder 621 excluding other objects 622 to measure the volume of the bladder. Another object 622 may be a uterine fibroid, uterus, or cyst, or the like. The medical imaging apparatus 310 may derive the contour of only the bladder 621 based on the contour derivation machine learning model. The contour derivation machine learning model may be a machine learning model specialized for deriving a contour image from a bladder image. The contour derivation machine learning model may be created using semantic segmentation.

의료영상장치(310)는 복수의 방광 영상을 윤곽선도출기계학습모델에 적용하기 전에 복수의 방광 영상을 병합할 수 있다. 예를 들어 의료영상장치(310)는 복수의 방광 영상을 가로 또는 세로로 배열하여 하나의 병합된 영상을 형성할 수 있다. 보다 구체적으로, 의료영상장치(310)는 복수의 방광 영상을 방광 영상의 오리엔테이션에 기초하여 미리 정해진 위치에 배치함으로써, 병합된 영상을 형성할 수 있다. 의료영상장치(310)는 병합된 영상을 윤곽선도출기계학습모델에 적용하여 병합된 윤곽선 영상을 획득할 수 있다. 의료영상장치(310)는 병합된 윤곽선 영상을 분할하여 복수의 윤곽선 영상을 획득할 수 있다. 보다 구체적으로, 의료영상장치(310)는 병합된 윤곽선 영상 중 상기 미리 정해진 위치의 영상을 분리하여 서로 다른 오리엔테이션을 가지는 복수의 윤곽선 영상을 획득할 수 있다.The medical imaging apparatus 310 may merge a plurality of bladder images before applying the plurality of bladder images to the contour derivation machine learning model. For example, the medical imaging apparatus 310 may arrange a plurality of bladder images horizontally or vertically to form one merged image. More specifically, the medical imaging apparatus 310 may form a merged image by arranging a plurality of bladder images at a predetermined position based on the orientation of the bladder images. The medical imaging apparatus 310 may obtain a merged contour image by applying the merged image to a contour derivation machine learning model. The medical imaging apparatus 310 may acquire a plurality of contour images by dividing the merged contour image. More specifically, the medical imaging apparatus 310 may acquire a plurality of contour images having different orientations by separating images of the predetermined position from among the merged contour images.

본 개시의 다양한 실시예에 따르면, 의료영상장치(310)는 복수의 방광 영상에 기초하여 3차원 영상을 형성할 수 있다. 동일 대상체(방광)를 복수의 각도에서 촬영한 복수의 방광 영상을 이용하여 3차원 방광 영상을 복원하는 과정은 이미 알려진 알고리즘을 사용하여 구현될 수 있다. 의료영상장치(310)는 3차원 방광 영상을 윤곽선도출기계학습모델에 적용하여 3차원 윤곽선영상을 도출할 수 있다. 또한, 의료영상장치(310)는 3차원 윤곽선 영상에 기반하여 복수의 윤곽선 영상을 획득할 수 있다. 또한 의료영상장치(310)는 3차원 윤곽선 영상에 기반하여 복수의 윤곽선 영상을 획득없이, 바로 방광의 용적을 획득할 수도 있다. 또한, 의료영상장치(310)는 복수의 방광 영상을 병합하지 않고 복수의 방광 영상 각각을 윤곽선도출기계학습모델에 적용하여 복수의 윤곽선 영상을 획득할 수도 있다. 윤곽선도출기계학습모델은 방광 영상의 오리엔테이션 정보에 특화된 기계학습모델일 수도 있다. 즉, 복수의 방광 영상은 서로 다른 윤곽선도출기계학습모델에 적용될 수 있다. 윤곽선도출기계학습모델은 오리엔테이션 정보에 관련 없는 통합된 윤곽선도출기계학습모델일 수도 있다. 즉, 복수의 방광 영상은 동일한 윤곽선도출모델에 적용될 수 있다.According to various embodiments of the present disclosure, the medical imaging apparatus 310 may form a 3D image based on a plurality of bladder images. A process of restoring a 3D bladder image using a plurality of bladder images of the same object (bladder) photographed from a plurality of angles may be implemented using a known algorithm. The medical imaging apparatus 310 may derive a 3D contour image by applying the 3D bladder image to a contour derivation machine learning model. Also, the medical imaging apparatus 310 may acquire a plurality of contour images based on the 3D contour image. Also, the medical imaging apparatus 310 may directly acquire the volume of the bladder without acquiring a plurality of contour images based on the 3D contour image. In addition, the medical imaging apparatus 310 may obtain a plurality of contour images by applying each of the plurality of bladder images to a contour derivation machine learning model without merging the plurality of bladder images. The contour derivation machine learning model may be a machine learning model specialized for orientation information of bladder images. That is, a plurality of bladder images may be applied to different contour derivation machine learning models. The contour derivation machine learning model may be an integrated contour derivation machine learning model that is not related to orientation information. That is, a plurality of bladder images may be applied to the same contour line drawing model.

의료영상장치(310)는 윤곽선도출기계학습모델에 기초하여 윤곽선 영상(630)을 획득할 수 있다. 윤곽선 영상(630)은 방광(621)에 대응되는 윤곽선(640)을 포함할 수 있다. 의료영상장치(310)는 복수의 방광 영상에 대하여 복수의 윤곽선 영상을 획득할 수 있다. 복수의 방광 영상과 복수의 윤곽선 영상은 일대일로 대응될 수 있다.The medical imaging apparatus 310 may acquire the contour image 630 based on the contour derivation machine learning model. The contour image 630 may include a contour 640 corresponding to the bladder 621 . The medical imaging apparatus 310 may obtain a plurality of contour images for a plurality of bladder images. A plurality of bladder images and a plurality of contour images may correspond one-to-one.

의료영상장치(310)는 윤곽선도출기계학습모델을 서버(100)로부터 수신할 수 있다. 의료영상장치(310)는 윤곽선도출기계학습모델을 메모리로부터 획득할 수도 있다. 의료영상장치(310)는 자체적으로 윤곽선도출기계학습모델을 생성할 수도 있다. 이와 같이 윤곽선도출기계학습모델을 이용하므로 본 개시에 따른 의료영상장치(310) 또는 서버(100)는 방광의 영상으로부터 정확한 윤곽선 영상을 획득할 수 있다.The medical imaging apparatus 310 may receive the contour derivation machine learning model from the server 100 . The medical imaging apparatus 310 may acquire the contour derivation machine learning model from memory. The medical imaging apparatus 310 may itself generate a contour derivation machine learning model. As such, since the contour derivation machine learning model is used, the medical imaging apparatus 310 or the server 100 according to the present disclosure can obtain an accurate contour image from the bladder image.

다시 도 4를 참조하면, 의료영상장치(310)는 복수의 윤곽선 영상 및 오리엔테이션 정보 중 적어도 하나를 방광용적기계학습모델에 적용하여 복수의 방광 영상에 포함된 방광의 용적을 획득하는 단계(450)를 수행할 수 있다. 단계(450)는 의료영상장치(310) 또는 서버(100) 중 적어도 하나에 포함된 데이터 인식부(120)에서 수행될 수 있다. 단계(450)를 설명하기 위하여 도 7을 참조한다.Referring back to FIG. 4 , in step 450, the medical imaging apparatus 310 acquires the bladder volume included in the plurality of bladder images by applying at least one of the plurality of contour images and orientation information to the bladder volume machine learning model. can be performed. Step 450 may be performed by the data recognizing unit 120 included in at least one of the medical imaging apparatus 310 and the server 100 . Reference is made to FIG. 7 to describe step 450 .

도 7은 본 개시의 일 실시예에 따른 의료영상장치를 설명하기 위한 도면이다.7 is a diagram for explaining a medical imaging apparatus according to an embodiment of the present disclosure.

이미 설명한 바와 같이 의료영상장치(310)는 복수의 윤곽선 영상(710) 및 오리엔테이션 정보를 대응하여 저장하고 있을 수 있다. 의료영상장치(310)는 복수의 윤곽선 영상만을 방광용적기계학습모델에 적용하여 방광의 용적을 획득할 수 있고, 복수의 윤곽선 영상 및 오리엔테이션 정보를 방광용적기계학습모델에 적용하여 복수의 방광 영상에 포함된 방광의 용적을 획득할 수도 있다. 의료영상장치(310)는 방광 영상에 윤곽선 영상을 오버레이(overlay)한 영상(720)을 방광용적기계학습모델에 적용할 수도 있다.As already described, the medical imaging apparatus 310 may store a plurality of contour images 710 and orientation information correspondingly. The medical imaging apparatus 310 may acquire the bladder volume by applying only the plurality of contour images to the bladder volume machine learning model, and apply the plurality of contour images and orientation information to the bladder volume machine learning model to acquire the plurality of bladder images. The volume of the bladder contained may also be obtained. The medical imaging apparatus 310 may apply the image 720 obtained by overlaying the bladder image with the contour image to the bladder volume machine learning model.

의료영상장치(310)는 복수의 윤곽선 영상(710)을 병합하여 방광용적기계학습모델에 적용할 수도 있다. 의료영상장치(310)는 복수의 윤곽선 영상(710)을 가로, 세로로 나열하여 병합된 영상을 생성할 수 있다. 의료영상장치(310)는 복수의 윤곽선 영상(710)의 오리엔테이션 정보에 따라 복수의 윤곽선 영상(710)을 미리 정해진 위치에 배치하여 병합된 영상을 획득할 수 있다. 의료영상장치(310)는 병합된 영상을 방광용적기계학습모델에 적용할 수 있다. 하지만 이에 한정되지 않으며, 의료영상장치(310)가 복수의 윤곽선 영상(710)을 방광용적기계학습모델에 적용할 때, 복수의 윤곽선 영상(710)은 방광용적기계학습모델 내에서 합성곱 계층 또는 풀링 계층 등을 거치면서 병합될 수 있다.The medical imaging apparatus 310 may merge the plurality of contour images 710 and apply them to the bladder volume machine learning model. The medical imaging apparatus 310 may create a merged image by arranging the plurality of contour images 710 horizontally and vertically. The medical imaging apparatus 310 may obtain a merged image by arranging the plurality of contour images 710 at predetermined positions according to orientation information of the plurality of contour images 710 . The medical imaging apparatus 310 may apply the merged image to the bladder volume machine learning model. However, it is not limited thereto, and when the medical imaging apparatus 310 applies the plurality of contour images 710 to the bladder volume machine learning model, the plurality of contour images 710 are convolutional layers or It can be merged through a pooling layer, etc.

의료영상장치(310)는 방광용적기계학습모델을 서버(100)로부터 수신할 수 있다. 의료영상장치(310)는 방광용적기계학습모델을 메모리로부터 획득할 수도 있다. 의료영상장치(310)는 자체적으로 방광용적기계학습모델을 생성할 수도 있다. The medical imaging apparatus 310 may receive the bladder volume machine learning model from the server 100 . The medical imaging apparatus 310 may obtain a bladder volume machine learning model from memory. The medical imaging apparatus 310 may itself generate a bladder volume machine learning model.

의료영상장치(310)는 복수의 윤곽선 영상을 방광용적기계학습모델에 적용하기 전에 복수의 윤곽선 영상을 병합할 수 있다. 예를 들어 의료영상장치(310)는 복수의 윤곽선 영상을 가로 또는 세로로 배열하여 하나의 병합된 윤곽선 영상을 형성할 수 있다. 보다 구체적으로 의료영상장치(310)는 복수의 윤곽선 영상을 윤곽선 영상의 오리엔테이션에 기초하여 미리 정해진 위치에 배치함으로써, 병합된 윤곽선 영상을 형성할 수 있다. 의료영상장치(310)는 병합된 윤곽선 영상을 방광용적기계학습모델에 적용하여 방광의 용적을 획득할 수 있다. The medical imaging apparatus 310 may merge a plurality of contour images before applying the plurality of contour images to the bladder volume machine learning model. For example, the medical imaging apparatus 310 may arrange a plurality of contour images horizontally or vertically to form a merged contour image. More specifically, the medical imaging apparatus 310 may form a merged contour image by arranging a plurality of contour images at predetermined locations based on the orientation of the contour images. The medical imaging apparatus 310 may acquire the volume of the bladder by applying the merged contour image to the bladder volume machine learning model.

본 개시의 다양한 실시예에 따르면, 의료영상장치(310)는 복수의 윤곽선 영상에 기초하여 3차원 윤곽선 영상을 획득할 수 있다. 동일 대상체(방광)를 복수의 각도에서 나타낸 윤곽선 영상을 이용하여 3차원 윤곽선 영상을 복원하는 과정은 이미 알려진 알고리즘을 사용하여 구현될 수 있다. 의료영상장치(310)는 3차원 윤곽선 영상을 방광용적기계학습모델에 적용하여 방광의 용적을 획득할 수 있다. 3차원 윤곽선 영상은 복셀값을 가질 뿐이며, 방광의 윤곽선을 뚜렷이 나타낼 뿐일 수 있다. 의료영상장치(310)는 3차원 윤곽선 영상을 방광용적기계학습모델에 적용하여 방광의 용적을 정확하게 획득할 수 있다. 3차원 윤곽선 영상은 방광의 윤곽선만을 포함할 수도 있지만, 다른 장기의 윤곽선을 포함할 수도 있다. 방광용적기계학습모델은 다른 장기의 윤곽선을 방광의 용적 산출에 포함하지 않도록 기계학습된 모델일 수 있다. 따라서, 의료영상장치(310)는 3차원 영상으로부터 정확하게 방광의 용적을 결정할 수 있다.According to various embodiments of the present disclosure, the medical imaging apparatus 310 may obtain a 3D contour image based on a plurality of contour images. A process of restoring a 3D contour image using contour images representing the same object (bladder) from a plurality of angles may be implemented using a known algorithm. The medical imaging apparatus 310 may acquire the volume of the bladder by applying the 3D contour image to the bladder volume machine learning model. The 3D contour image only has voxel values and may only clearly indicate the contour of the bladder. The medical imaging apparatus 310 may accurately obtain the volume of the bladder by applying the 3D contour image to the bladder volume machine learning model. The 3D contour image may include only the contour of the bladder or may include contours of other organs. The bladder volume machine learning model may be a machine-learned model not to include contours of other organs in calculating the bladder volume. Accordingly, the medical imaging apparatus 310 can accurately determine the volume of the bladder from the 3D image.

하지만 이에 한정되는 것은 아니며, 의료영상장치(310)는 3차원 윤곽선 영상의 내부의 공간의 복셀의 개수를 획득하고, 복셀 테이블에 기초하여 복셀의 개수에 대응되는 방광의 용적을 획득할 수 있다. 여기서 복셀 테이블은 복셀의 개수 및 방광의 용적을 대응시킨 미리 결정된 테이블일 수 있다.However, the present invention is not limited thereto, and the medical imaging apparatus 310 may acquire the number of voxels in the inner space of the 3D contour image, and obtain the volume of the bladder corresponding to the number of voxels based on the voxel table. Here, the voxel table may be a predetermined table in which the number of voxels and the volume of the bladder correspond.

또한, 의료영상장치(310)는 복수의 윤곽선 영상을 병합하지 않고 복수의 윤곽선 영상 각각을 방광용적기계학습모델에 적용하여 복수의 방광의 용적을 획득할 수도 있다. 방광용적기계학습모델은 윤곽선 영상의 오리엔테이션 정보에 특화된 기계학습모델일 수도 있다. 즉, 복수의 윤곽선 영상 각각은 서로 다른 방광용적기계학습모델에 적용될 수 있다. 하지만 이에 한정되는 것은 아니며, 방광용적기계학습모델은 오리엔테이션 정보에 관련 없는 통합된 기계학습모델일 수도 있다. 즉, 복수의 윤곽선 영상은 동일한 방광용적기계학습모델에 적용될 수 있다. 의료영상장치(310)는 복수의 윤곽선 영상 각각에 대하여 획득된 방광의 용적을 평균하여 최종 방광의 용적을 획득할 수 있다. 또한 의료영상장치(310)는 복수의 윤곽선 영상 각각에 대하여 획득된 방광의 용적 중 최소값 및 최대값을 삭제하고, 평균하여 최종 방광의 용적을 획득할 수 있다.In addition, the medical imaging apparatus 310 may acquire a plurality of bladder volumes by applying each of the plurality of contour images to a bladder volume machine learning model without merging the plurality of contour images. The bladder volume machine learning model may be a machine learning model specialized for orientation information of contour images. That is, each of the plurality of contour images may be applied to different bladder volume machine learning models. However, it is not limited thereto, and the bladder volume machine learning model may be an integrated machine learning model unrelated to orientation information. That is, a plurality of contour images may be applied to the same bladder volume machine learning model. The medical imaging apparatus 310 may acquire a final bladder volume by averaging the bladder volumes obtained for each of the plurality of contour images. Also, the medical imaging apparatus 310 may obtain a final bladder volume by deleting and averaging the minimum and maximum values among bladder volumes acquired for each of the plurality of contour images.

도 4를 참조하면, 의료영상장치(310)는 방광의 용적을 출력하는 단계(460)를 수행할 수 있다. 의료영상장치(310)는 방광의 용적을 디스플레이 또는 스피커를 통하여 출력할 수 있다. 또한 의료영상장치(310)는 방광의 용적을 서버(100)로 송신할 수 있다. 의료영상장치(310)는 방광의 용적을 환자에 대한 정보와 함께 저장할 수 있다.Referring to FIG. 4 , the medical imaging apparatus 310 may perform step 460 of outputting the volume of the bladder. The medical imaging apparatus 310 may output the volume of the bladder through a display or a speaker. Also, the medical imaging apparatus 310 may transmit the volume of the bladder to the server 100 . The medical imaging apparatus 310 may store the volume of the bladder together with information about the patient.

도 8은 본 개시의 일 실시예에 다른 의료영상장치의 동작을 설명하기 위한 흐름도이다. 도 9는 본 개시의 일 실시예에 따른 의료영상장치의 동작을 설명하기 위한 도면이다. 도 10은 본 개시의 일 실시예에 다른 의료영상장치의 동작을 설명하기 위한 흐름도이다.8 is a flowchart illustrating an operation of a medical imaging apparatus according to an embodiment of the present disclosure. 9 is a diagram for explaining an operation of a medical imaging apparatus according to an embodiment of the present disclosure. 10 is a flowchart for explaining an operation of a medical imaging apparatus according to an embodiment of the present disclosure.

도 8을 참조하면, 의료영상장치(310)는 복수의 윤곽선 영상 중 방광용적기계학습모델에 대한 변수 중요도(feature importance)가 높은 제 1 개수의 영상을 획득하는 단계(810)를 수행할 수 있다. 변수 중요도는 복수의 윤곽선 영상 중 하나의 윤곽선 영상이 상대적으로 얼마만큼 결과(방광의 용적)에 영향을 주는지에 대한 척도일 수 있다. 복수의 윤곽선 영상은 각각 다른 변수 중요도를 가질 수 있다. 의료영상장치(310)는 영상에 포함된 윤곽선의 넓이와 방광의 용적의 상관계수가 클 수록 변수 중요도가 높다고 결정할 수 있다. 의료영상장치(310)는 복수의 윤곽선 영상 각각에 대하여 변수 중요도를 획득할 수 있다. 의료영상장치(310)는 변수 중요도(feature importance)가 높은 제 1 개수의 영상을 획득할 수 있다. 제 1 개수는 미리 정해진 값으로써, 복수의 방광 영상이 12개인 경우, 제 1 개수는 3개이상 8개 이하일 수 있다. Referring to FIG. 8 , the medical imaging apparatus 310 may perform step 810 of obtaining a first number of images having a high feature importance for the bladder volume machine learning model from among the plurality of contour images. . The variable importance may be a measure of how much one contour image among the plurality of contour images affects the result (volume of the bladder) relatively. A plurality of contour images may have different variable importances. The medical imaging apparatus 310 may determine that the importance of the variable increases as the correlation coefficient between the width of the contour included in the image and the volume of the bladder increases. The medical imaging apparatus 310 may acquire variable importance for each of a plurality of contour images. The medical imaging apparatus 310 may obtain a first number of images having a high feature importance. The first number is a predetermined value, and when there are 12 bladder images, the first number may be 3 or more and 8 or less.

의료영상장치(310)는 제 1 개수의 영상의 제 1 오리엔테이션 패턴을 획득하는 단계(820)를 수행할 수 있다. 제 1 오리엔테이션 패턴은 변수 중요도가 높은 제 1 개수의 영상의 오리엔테이션 정보의 집합을 의미할 수 있다. 예를 들어, 도 9를 참조하면 의료영상장치(310)는 변수 중요도가 높은 3 개의 영상을 획득할 수 있다. 또한 의료영상장치(310)는 변수 중요도가 높은 3 개의 영상의 오리엔테이션 정보(911, 912, 913)를 획득할 수 있다. 예를 들어, 의료영상장치(310)가 획득된 오리엔테이션 정보는 환자의 우측에서 두번째 지점(911), 네번째 지점(912) 및 다섯번째 지점(913)일 수 있다. 의료영상장치(310)는 오리엔테이션 정보(911, 912, 913)를 제 1 오리엔테이션 패턴으로 결정할 수 있다.The medical imaging apparatus 310 may perform step 820 of acquiring first orientation patterns of the first number of images. The first orientation pattern may refer to a set of orientation information of the first number of images having a high variable importance. For example, referring to FIG. 9 , the medical imaging apparatus 310 may obtain three images having high variable importance. In addition, the medical imaging apparatus 310 may acquire orientation information 911, 912, and 913 of three images having high variable importance. For example, the orientation information obtained by the medical imaging apparatus 310 may be a second point 911, a fourth point 912, and a fifth point 913 from the patient's right side. The medical imaging apparatus 310 may determine the orientation information 911, 912, and 913 as a first orientation pattern.

의료영상장치(310)는 제 1 개수의 영상의 제 1 오리엔테이션 패턴에 기초하여 병변의 가능성을 도출하는 단계(830)를 수행할 수 있다. 의료영상장치(310)는 제 1 오리엔테이션 패턴과 병변 여부를 대응시킨 테이블을 미리 저장하고 있을 수 있다. 의료영상장치(310)는 제 1 오리엔테이션 패턴과 병변 종류를 대응시킨 테이블을 미리 저장하고 있을 수 있다. 의료영상장치(310)는 미리 저장된 테이블에 기초하여 제 1 오리엔테이션 패턴에 대응되는 병변 유무 또는 병변의 종류 중 적어도 하나를 획득할 수 있다. The medical imaging apparatus 310 may perform step 830 of deriving a possibility of a lesion based on the first orientation patterns of the first number of images. The medical imaging apparatus 310 may store in advance a table in which the first orientation pattern corresponds to whether there is a lesion or not. The medical imaging apparatus 310 may store in advance a table in which the first orientation pattern corresponds to the type of lesion. The medical imaging apparatus 310 may acquire at least one of the existence of a lesion or the type of lesion corresponding to the first orientation pattern based on a pre-stored table.

본 개시에 따른 의료영상장치(310)는 복수의 방광 영상(또는 복수의 윤곽선 영상)을 이용하여 방광의 용적을 예측할 수 있다. 일반적으로 병변이 없는 사람의 경우, 복수의 방광 영상(또는 복수의 윤곽선 영상) 중 일부 영상이 방광의 용적의 획득에 주로 영향을 미칠 수 있다. 하지만 병변을 가진 사람은 방광이 특정 영역으로 쏠리면서 정상인과 다른 영상이 방광의 용적의 획득에 주로 영향을 미칠 수 있다. 의료영상장치(310)는 제 1 오리엔테이션 패턴에 기초하여 환자가 정상적임을 결정할 수도 있다. 또한 의료영상장치(310)는 제 1 오리엔테이션 패턴에 기초하여 병변 유무 또는 병변의 종류 중 적어도 하나를 획득할 수 있다. The medical imaging apparatus 310 according to the present disclosure may estimate the volume of the bladder using a plurality of bladder images (or a plurality of contour images). In general, in the case of a person without a lesion, some of the plurality of bladder images (or the plurality of contour images) may mainly affect the acquisition of the bladder volume. However, in a person with a lesion, the bladder is concentrated in a specific area, and images different from those of a normal person may mainly affect the acquisition of the bladder volume. The medical imaging apparatus 310 may determine that the patient is normal based on the first orientation pattern. Additionally, the medical imaging apparatus 310 may acquire at least one of the existence of a lesion or the type of a lesion based on the first orientation pattern.

이와 같이 본 개시의 의료영상장치(310)는 기계학습모델을 이용하여 방광의 용적을 정확하게 측정할 수 있으면서도 병변의 유무를 빠르게 판단할 수도 있다. 따라서 의료인은 의료영상장치(310)의 도움을 받아서 빠르게 환자에 대한 진단을 할 수 있다.As described above, the medical imaging apparatus 310 of the present disclosure can accurately measure the volume of the bladder using a machine learning model and quickly determine the presence or absence of a lesion. Therefore, a medical person can quickly diagnose a patient with the help of the medical imaging apparatus 310 .

의료영상장치(310)는 도 8의 단계에 더하여 도 10의 단계들을 더 수행할 수 있다. 의료영상장치(310)는 복수의 윤곽선 영상 중 방광용적기계학습모델에 대한 변수 중요도(feature importance)가 낮은 제 2 개수의 영상을 획득하는 단계(1010)를 수행할 수 있다. The medical imaging apparatus 310 may further perform the steps of FIG. 10 in addition to the steps of FIG. 8 . The medical imaging apparatus 310 may perform step 1010 of obtaining a second number of images having a low feature importance for the bladder volume machine learning model from among the plurality of contour images.

의료영상장치(310)는 복수의 윤곽선 영상 각각에 대하여 변수 중요도를 획득할 수 있다. 의료영상장치(310)는 변수 중요도(feature importance)가 낮은 제 2 개수의 영상을 획득할 수 있다. 제 2 개수는 미리 정해진 값으로써, 복수의 방광 영상이 12개인 경우, 제 2 개수는 3개이상 8개 이하일 수 있다. The medical imaging apparatus 310 may acquire variable importance for each of a plurality of contour images. The medical imaging apparatus 310 may acquire the second number of images having low feature importance. The second number is a predetermined value, and when there are 12 bladder images, the second number may be 3 or more and 8 or less.

의료영상장치(310)는 제 2 개수의 영상의 제 2 오리엔테이션 패턴을 획득하는 단계(1020)를 수행할 수 있다. 제 2 오리엔테이션 패턴은 변수 중요도가 낮은 제 2 개수의 영상의 오리엔테이션 정보의 집합을 의미할 수 있다. 예를 들어, 도 9를 참조하면 의료영상장치(310)는 변수 중요도가 낮은 3 개의 영상을 획득할 수 있다. 또한 의료영상장치(310)는 변수 중요도가 높은 3 개의 영상의 오리엔테이션 정보(921, 922, 923)를 획득할 수 있다. 예를 들어, 의료영상장치(310)가 획득된 오리엔테이션 정보는 환자의 좌측에서 두번째 지점(921), 세번째 지점(922) 및 네번째 지점(923)일 수 있다. 의료영상장치(310)는 오리엔테이션 정보(921, 922, 923)를 제 2 오리엔테이션 패턴으로 결정할 수 있다.The medical imaging apparatus 310 may perform step 1020 of acquiring second orientation patterns of the second number of images. The second orientation pattern may refer to a set of orientation information of the second number of images having low variable importance. For example, referring to FIG. 9 , the medical imaging apparatus 310 may acquire three images having low variable importance. In addition, the medical imaging apparatus 310 may obtain orientation information 921, 922, and 923 of three images having high variable importance. For example, the orientation information obtained by the medical imaging apparatus 310 may be a second point 921, a third point 922, and a fourth point 923 from the patient's left side. The medical imaging apparatus 310 may determine the orientation information 921, 922, and 923 as the second orientation pattern.

제 1 개수의 영상의 제 1 오리엔테이션의 패턴 및 제 2 개수의 영상의 제 2 오리엔테이션의 패턴에 기초하여 병변의 가능성을 도출하는 단계(1030)를 수행할 수 있다. 의료영상장치(310)는 제 1 오리엔테이션 패턴 및 제 2 오리엔테이션 패턴과 병변 여부를 대응시킨 테이블을 미리 저장하고 있을 수 있다. 의료영상장치(310)는 제 1 오리엔테이션 패턴 및 제 2 오리엔테이션 패턴과 병변 종류를 대응시킨 테이블을 미리 저장하고 있을 수 있다. 의료영상장치(310)는 미리 저장된 테이블에 기초하여 제 1 오리엔테이션 패턴 및 제 2 오리엔테이션 패턴에 대응되는 병변 유무를 획득할 수 있다. 의료영상장치(310)는 미리 저장된 테이블에 기초하여 제 1 오리엔테이션 패턴 및 제 2 오리엔테이션 패턴에 대응되는 병변의 종류를 획득할 수 있다.An operation 1030 of deriving a possibility of a lesion based on the pattern of the first orientation of the first number of images and the pattern of the second orientation of the second number of images may be performed. The medical imaging apparatus 310 may store in advance a table in which the first orientation pattern and the second orientation pattern correspond to whether there is a lesion or not. The medical imaging apparatus 310 may previously store a table in which the first orientation pattern and the second orientation pattern correspond to lesion types. The medical imaging apparatus 310 may acquire the presence/absence of lesions corresponding to the first orientation pattern and the second orientation pattern based on a pre-stored table. The medical imaging apparatus 310 may acquire types of lesions corresponding to the first orientation pattern and the second orientation pattern based on a pre-stored table.

본 개시에 따른 의료영상장치(310)는 복수의 방광 영상(또는 복수의 윤곽선 영상)을 이용하여 방광의 용적을 예측할 수 있다. 일반적으로 병변이 없는 사람의 경우, 복수의 방광 영상(또는 복수의 윤곽선 영상) 중 일부 영상이 방광의 용적의 획득에 주로 영향을 미칠 수 있으며, 다른 일부 영상은 방광의 용적 획득에 영향을 미치지 않을 수 있다. 하지만 병변을 가진 사람은 방광이 특정 영역으로 쏠리면서 정상인과 다른 영상이 방광의 용적의 획득에 주로 영향을 미치거나 미치지 않을 수 있다. 의료영상장치(310)는 제 1 오리엔테이션 패턴 및 제 2 오리엔테이션 패턴에 기초하여 환자가 정상적임을 결정할 수도 있다. 또한 의료영상장치(310)는 제 1 오리엔테이션 패턴 및 제 2 오리엔테이션 패턴에 기초하여 병변 유무 또는 병변의 종류 중 적어도 하나를 획득할 수 있다. The medical imaging apparatus 310 according to the present disclosure may estimate the volume of the bladder using a plurality of bladder images (or a plurality of contour images). In general, in the case of a person without lesions, some of the plurality of bladder images (or plurality of contour images) may mainly affect the acquisition of the bladder volume, and some other images may not affect the acquisition of the bladder volume. can However, in a person with a lesion, the bladder is concentrated in a specific area, and images different from those of normal people may or may not mainly affect the acquisition of the bladder volume. The medical imaging apparatus 310 may determine that the patient is normal based on the first orientation pattern and the second orientation pattern. Also, the medical imaging apparatus 310 may acquire at least one of the existence of a lesion or the type of a lesion based on the first orientation pattern and the second orientation pattern.

이와 같이 본 개시의 의료영상장치(310)는 기계학습모델을 이용하여 방광의 용적을 정확하게 측정할 수 있으면서도 병변의 유무를 빠르게 판단할 수도 있다. 따라서 의료인은 의료영상장치(310)의 도움을 받아서 빠르게 환자에 대한 진단을 할 수 있다.As described above, the medical imaging apparatus 310 of the present disclosure can accurately measure the volume of the bladder using a machine learning model and quickly determine the presence or absence of a lesion. Therefore, a medical person can quickly diagnose a patient with the help of the medical imaging apparatus 310 .

도 11은 본 개시의 일 실시예에 따른 의료영상장치의 동작을 설명하기 위한 도면이다. 도 12는 본 개시의 일 실시예에 따른 의료영상장치의 동작을 설명하기 위한 도면이다.11 is a diagram for explaining an operation of a medical imaging apparatus according to an embodiment of the present disclosure. 12 is a diagram for explaining an operation of a medical imaging apparatus according to an embodiment of the present disclosure.

도 11을 참조하면, 윤곽선도출기계학습모델은 복수의 방광 영상의 오리엔테이션에 각각 대응되는 복수의 서브윤곽선도출기계학습모델(1121, 1122)을 포함할 수 있다. 또한 복수의 윤곽선 영상을 획득하는 단계(440)는 다음과 같은 단계를 포함할 수 있다. 서브윤곽선도출기계학습모델은 트랜스듀서를 하나의 지점에 위치시키고 촬영한 방광 영상에서 윤곽선 영상을 획득할 수 있다. 예를 들어, 제 1 서브윤곽선도출기계학습모델은 트랜스듀서를 제 1 지점에 위치시키고 촬영한 방광 영상에서 윤곽선 영상을 획득할 수 있다. 또한 제 n 서브윤곽선도출기계학습모델은 트랜스듀서를 제 n 지점에 위치시키고 촬영한 방광 영상에서 윤곽선 영상을 획득할 수 있다.Referring to FIG. 11 , the contour derivation machine learning model may include a plurality of sub contour derivation machine learning models 1121 and 1122 respectively corresponding to orientations of a plurality of bladder images. Also, the step 440 of obtaining a plurality of contour images may include the following steps. The sub-contour derivation machine learning model can obtain a contour image from a bladder image taken by locating the transducer at one point. For example, the first sub-contour line derivation machine learning model may acquire a contour image from a bladder image captured by locating the transducer at a first point. In addition, the n-th sub-contour line derivation machine learning model may obtain a contour image from a bladder image captured by locating the transducer at the n-th point.

의료영상장치(310)는 복수의 방광 영상에 포함된 제 1 방광 영상(1111)을 획득하는 단계를 수행할 수 있다. 또한 의료영상장치(310)는 제 1 방광 영상(1111)의 좌상측 및 우상측 중 적어도 하나의 복수의 픽셀들을 환자에 대한 정보로 대체하는 단계를 수행할 수 있다. The medical imaging apparatus 310 may perform a step of obtaining a first bladder image 1111 included in a plurality of bladder images. Also, the medical imaging apparatus 310 may perform a step of replacing a plurality of pixels of at least one of the upper left and upper right sides of the first bladder image 1111 with information about the patient.

도 12를 참조하면, 제 1 방광 영상(1111)은 초음파 영상일 수 있다. 하지만 이에 한정되는 것은 아니며 제 1 방광 영상(1111)은 윤곽선 영상일 수 있다. 제 1 방광 영상(1111)은 2 차원의 B모드 초음파 영상일 수 있다. 초음파 영상의 좌상측 및 우상측은 방광(621)이 위치하지 않는 영역일 수 있다. 또한 초음파 영상의 좌상측 및 우상측은 대상체의 영역이 아닐 수 있다. 즉 초음파 영상의 좌상측 및 우상측은 방광의 윤곽선을 도출하기 위해 영향을 거의 미치지 않는 영역일 수 있다. 의료영상장치(310)는 제 1 방광 영상(1111)의 좌상측 및 우상측 중 적어도 하나의 복수의 픽셀들을 환자에 대한 정보로 대체할 수 있다. 이미 설명한 바와 같이 환자에 대한 정보는 환자의 몸무게, 복부 비만의 정도, 나이 또는 성별 중 적어도 하나를 포함할 수 있다. 또한 환자에 대한 정보는 환자에게 골반장기탈출증이 있는지 여부, 자궁절제술을 받았는지 여부, 자궁근종(myoma)이 있는지 여부, 또는 낭종(cyst 또는 난소종괴)이 있는지 여부 중 적어도 하나를 포함할 수도 있다. 의료영상장치(310)는 환자에 대한 정보와 픽셀값을 대응시킨 변환 테이블을 포함하고 있을 수 있다. 의료영상장치(310)는 변환 테이블에 기초하여 환자에 대한 정보를 픽셀값으로 변환할 수 있다. 예를 들어 의료영상장치(310)는 환자가 여성인 경우 픽셀값을 최소값(0)으로, 남성인 경우 픽셀값을 최대값(255)으로 설정할 수 있다. 또는 의료영상장치(310)는 환자가 여성인 경우 픽셀값을 최대값(255)으로, 남성인 경우 픽셀값을 최소값(0)으로 설정할 수 있다. 또는 의료영상장치(310)는 환자의 몸무게, 나이, 또는 복부 비만도 중 적어도 하나에 정비례하도록 픽셀값을 결정할 수 있다. 의료영상장치(310)는 유사한 방식으로 다른 종류의 환자에 대한 정보를 픽셀값으로 변환할 수 있다.Referring to FIG. 12 , the first bladder image 1111 may be an ultrasound image. However, it is not limited thereto, and the first bladder image 1111 may be a contour image. The first bladder image 1111 may be a 2-dimensional B-mode ultrasound image. Upper left and upper right sides of the ultrasound image may be regions where the bladder 621 is not located. Also, the upper left side and the upper right side of the ultrasound image may not be regions of the object. That is, the upper left side and the upper right side of the ultrasound image may be regions that have little influence in order to derive the contour of the bladder. The medical imaging apparatus 310 may replace at least one of a plurality of pixels of the upper left side and the upper right side of the first bladder image 1111 with information about the patient. As already described, information about the patient may include at least one of the patient's weight, degree of abdominal obesity, age, or gender. In addition, information about the patient may include at least one of whether the patient has pelvic organ prolapse, whether a hysterectomy has been performed, whether a myoma is present, or whether a cyst (cyst or ovarian mass) is present. . The medical imaging apparatus 310 may include a conversion table in which patient information and pixel values are corresponded. The medical imaging apparatus 310 may convert information about the patient into pixel values based on the conversion table. For example, the medical imaging apparatus 310 may set the pixel value to a minimum value (0) when the patient is a woman and set the pixel value to a maximum value (255) when the patient is a man. Alternatively, the medical imaging apparatus 310 may set the pixel value to a maximum value (255) when the patient is a woman, and set the pixel value to a minimum value (0) when the patient is a man. Alternatively, the medical imaging apparatus 310 may determine a pixel value to be directly proportional to at least one of the patient's weight, age, or abdominal obesity. The medical imaging apparatus 310 may convert information about other types of patients into pixel values in a similar manner.

의료영상장치(310)는 제 1 방광 영상(1111)의 좌상측 및 우상측 중 적어도 하나의 복수의 픽셀들을 픽셀값으로 변환된 환자에 대한 정보로 대체할 수 있다. 의료영상장치(310)는 한 종류의 환자에 대한 정보를 하나의 픽셀영역에 반영할 수 있다. 예를 들어 픽셀영역(1251)에는 환자의 성별, 픽셀영역(1252)에는 나이, 픽셀영역(1253)에는 자궁절제술을 받았는지 여부, 픽셀영역(1254)에는 자궁근종(myoma)이 있는지 여부에 대응될 수 있다. 하지만 이에 한정되는 것은 아니다. 픽셀영역의 크기는 윤곽선도출기계학습모델에 사용되는 필터(합성곱 커널)의 크기의 3배이상 16배 이하의 크기를 가질 수 있다. 즉, 픽셀영역에 포함되는 복수의 픽셀들의 개수는 합성곱(컨볼루션) 커널에 포함된 픽셀의 개수 이상이고 합성곱 커널에 포함된 픽셀의 개수의 3배이상 16배 이하일 수 있다. 도 12에서는 픽셀영역이 정사각형이지만 이에 한정되지 않으며 직사각형을 가질 수도 있다.The medical imaging apparatus 310 may replace a plurality of pixels of at least one of the upper left and upper right sides of the first bladder image 1111 with information about the patient converted into pixel values. The medical imaging apparatus 310 may reflect information about one type of patient to one pixel area. For example, the pixel area 1251 corresponds to the patient's gender, the pixel area 1252 corresponds to the age, the pixel area 1253 corresponds to whether or not hysterectomy was performed, and the pixel area 1254 corresponds to whether or not myoma is present. It can be. However, it is not limited thereto. The size of the pixel area may be 3 times or more and 16 times or less the size of a filter (convolutional kernel) used in the contour derivation machine learning model. That is, the number of pixels included in the pixel area may be greater than or equal to the number of pixels included in the convolution (convolution) kernel and may be 3 times or more and 16 times or less than the number of pixels included in the convolution kernel. In FIG. 12, the pixel area is square, but is not limited thereto and may have a rectangular shape.

이와 같이 픽셀영역을 사용하는 경우, 기계학습모델의 합성곱 커널이 적용되어도 방광 영상 또는 윤곽선 영상에 적용된 환자에 대한 데이터가 사라지지 않을 수 있다. 또한, 기계학습모델은 환자에 대한 데이터가 반영되어 생성될 수 있다. 또한 환자의 데이터를 기계학습모델에 반영하기 위하여 복잡한 알고리즘을 사용할 필요없이 통상적인 CNN에 포함되는 알고리즘을 이용하여 기계학습을 수행할 수 있다. 단계(440) 및 단계(450)는 위와 같이 환자에 대한 정보가 반영된 복수의 방광 영상 또는 복수의 윤곽선 영상을 이용하여 수행될 수도 있다. 또한 환자에 대한 정보를 영상에 추가하여 학습을 수행하므로 환자의 정보에 따른 기계학습모델을 별도로 만들 필요가 없다. 예를 들어 기존 기술의 경우, 남성에 특화된 기계학습모델 및 여성에 특화된 기계학습모델을 별도로 생성하여 이용하였다. 하지만 본 개시에 따르면, 영상에 환자에 대한 정보를 병합하므로 남성 및 여성에 특화된 기계학습모델을 따로 만들 필요가 없을 수 있다.In the case of using the pixel area as described above, even if the convolutional kernel of the machine learning model is applied, the patient data applied to the bladder image or the contour image may not disappear. In addition, the machine learning model may be generated by reflecting patient data. In addition, machine learning can be performed using an algorithm included in a conventional CNN without the need to use a complicated algorithm to reflect the patient's data to the machine learning model. Steps 440 and 450 may be performed using a plurality of bladder images or a plurality of contour images in which information about the patient is reflected, as described above. In addition, since learning is performed by adding patient information to images, there is no need to create a separate machine learning model according to patient information. For example, in the case of existing technology, a machine learning model specialized for men and a machine learning model specialized for women were separately created and used. However, according to the present disclosure, since information about a patient is merged with an image, it may not be necessary to create separate machine learning models specific to men and women.

또한 도 12에서는 방광 영상에 대하여 픽셀영역을 사용하는 실시예를 개시하였으나 이에 한정되는 것은 아니다. 의료영상장치(310)는 윤곽선 영상에도 픽셀영역을 적용할 수 있다. 즉, 의료영상장치(310) 또는 서버(100)는 방광용적기계학습모델을 생성하거나, 방광용적기계학습모델에 윤곽선 영상을 적용할 때, 윤곽선 영상의 좌상측 또는 우상측에 환자에 대한 정보 또는 오리엔테이션 정보에 기초한 픽셀영역을 형성할 수 있다. 따라서 의료영상장치(310)는 환자에 대한 정보 또는 오리엔테이션 정보를 고려하여 방광용적기계학습모델을 생성하거나 방광용적기계학습모델을 이용하여 방광의 용적을 획득할 수 있다.In addition, although FIG. 12 discloses an embodiment in which a pixel area is used for a bladder image, it is not limited thereto. The medical imaging apparatus 310 may apply the pixel area to the contour image. That is, when the medical imaging apparatus 310 or the server 100 generates a bladder volume machine learning model or applies a contour image to the bladder volume machine learning model, information about the patient or A pixel area based on orientation information may be formed. Accordingly, the medical imaging apparatus 310 may generate a bladder volume machine learning model in consideration of patient information or orientation information, or may acquire the bladder volume using the bladder volume machine learning model.

다시 도 11을 참조하면, 의료영상장치(310)는 제 1 방광 영상(1111)을 제 1 방광 영상에 대응되는 서브윤곽선도출기계학습모델에 적용하여 제 1 방광 영상에 포함된 방광의 윤곽선을 포함하는 제 1 윤곽선 영상을 획득하는 단계를 수행할 수 있다. 제 1 방광 영상에 대응되는 서브윤곽선도출기계학습모델은 제 1 서브윤곽선도출기계학습모델(1121)일 수 있다. 의료영상장치(310)는 제 1 방광 영상의 오리엔테이션 정보를 획득할 수 있다. 의료영상장치(310)는 제 1 방광 영상의 오리엔테이션 정보에 기초하여 복수의 서브윤곽선도출기계학습모델 중 제 1 서브윤곽선도출기계학습모델(1121)을 선택할 수 있다. 제 1 서브윤곽선도출기계학습모델(1121)은 제 1 방광 영상의 오리엔테이션 정보에 대응될 수 있다. 제 1 서브윤곽선도출기계학습모델(1121)은 제 1 방광 영상(1111)의 오리엔테이션에 특화된 기계학습모델일 수 있다. 제 1 윤곽선 영상은 복수의 윤곽선 영상(710)에 포함될 수 있다.Referring back to FIG. 11 , the medical imaging apparatus 310 applies the first bladder image 1111 to a sub-contour derivation machine learning model corresponding to the first bladder image to include the bladder contour included in the first bladder image. A step of obtaining a first contour image to be performed may be performed. The sub contour derivation machine learning model corresponding to the first bladder image may be the first sub contour derivation machine learning model 1121 . The medical imaging apparatus 310 may acquire orientation information of the first bladder image. The medical imaging apparatus 310 may select a first sub-contour derivation machine learning model 1121 from among a plurality of sub-contour derivation machine learning models based on orientation information of the first bladder image. The first sub-contour line derivation machine learning model 1121 may correspond to orientation information of the first bladder image. The first sub-contour line derivation machine learning model 1121 may be a machine learning model specialized for the orientation of the first bladder image 1111 . The first contour image may be included in the plurality of contour images 710 .

이와 같은 방식으로 의료영상장치(310)는 제 n 방광 영상(1112)을 제 n 방광 영상에 대응되는 서브윤곽선도출기계학습모델에 적용하여 제 n 방광 영상에 포함된 방광의 윤곽선을 포함하는 제 n 윤곽선 영상을 획득하는 단계를 수행할 수 있다. 제 n 방광 영상에 대응되는 서브윤곽선도출기계학습모델은 제 n 서브윤곽선도출기계학습모델(1122)일 수 있다. 의료영상장치(310)는 제 n 방광 영상의 오리엔테이션 정보를 획득할 수 있다. 의료영상장치(310)는 제 n 방광 영상의 오리엔테이션 정보에 기초하여 복수의 서브윤곽선도출기계학습모델 중 제 n 서브윤곽선도출기계학습모델(1122)을 선택할 수 있다. 제 n 서브윤곽선도출기계학습모델(1122)은 제 n 방광 영상의 오리엔테이션 정보에 대응될 수 있다. 제 n 서브윤곽선도출기계학습모델(1122)은 제 n 방광 영상(1112)의 오리엔테이션에 특화된 기계학습모델일 수 있다. 제 n 윤곽선 영상은 복수의 윤곽선 영상(710)에 포함될 수 있다.In this way, the medical imaging apparatus 310 applies the n-th bladder image 1112 to a sub-contour derivation machine learning model corresponding to the n-th bladder image, and applies the n-th bladder image 1112 to include the bladder contour included in the n-th bladder image. A step of obtaining a contour image may be performed. The sub-contour derivation machine learning model corresponding to the nth bladder image may be the nth sub-contour derivation machine learning model 1122 . The medical imaging apparatus 310 may acquire orientation information of the nth bladder image. The medical imaging apparatus 310 may select an n-th sub-contour-derived machine-learning model 1122 from among a plurality of sub-contour-derived machine-learning models based on orientation information of the n-th bladder image. The nth sub-contour line derivation machine learning model 1122 may correspond to orientation information of the nth bladder image. The nth sub-contour line derivation machine learning model 1122 may be a machine learning model specialized for the orientation of the nth bladder image 1112 . The nth contour image may be included in the plurality of contour images 710 .

이와 같이 복수의 서브윤곽선도출기계학습모델이 모여서 윤곽선도출기계학습모델이 도출될 수 있다. 이와 같이 오리엔테이션 정보에 특화된 서브윤곽선도출기계학습모델을 이용하여 의료영상장치(310)는 방광 영상으로부터 정확한 윤곽선 영상을 획득할 수 있다. 또한 의료영상장치(310)는 방광 영상을 병렬적으로 서브윤곽선도출기계학습모델에 적용하여 동시에 윤곽선 영상을 획득할 수 있다.In this way, a plurality of sub contour derivation machine learning models may be gathered to derive a contour derivation machine learning model. As such, the medical imaging apparatus 310 may acquire an accurate contour image from a bladder image by using the sub-contour derivation machine learning model specialized for orientation information. In addition, the medical imaging apparatus 310 may acquire contour images simultaneously by applying the bladder images to the sub-contour line derivation machine learning model in parallel.

하지만 이에 한정되는 것은 아니다. 복수의 윤곽선 영상을 획득하는 단계(440)는 다음과 같은 과정을 포함할 수 있다. 의료영상장치(310)는 복수의 방광 영상의 좌상측 및 우상측 중 적어도 하나의 복수의 픽셀들을 환자에 대한 정보로 대체하여 변경된 복수의 방광 영상을 획득하는 단계를 수행할 수 있다. 이는 위에서 이미 설명하였으므로 중복되는 설명은 생략한다. 의료영상장치(310)는 변경된 복수의 방광 영상을 영상의 오리엔테이션 정보에 기초하여 미리 정해진 순서대로 배치하여 하나의 병합 영상을 획득하는 단계를 수행할 수 있다. 의료영상장치(310)는 복수의 방광 영상을 가로, 세로로 나열하여 병합된 영상을 생성할 수 있다. 의료영상장치(310)는 복수의 방광 영상의 오리엔테이션 정보에 따라 복수의 방광 영상을 미리 정해진 위치에 배치하여 병합된 영상을 획득할 수 있다. 의료영상장치(310)는 병합된 방광 영상을 윤곽선도출기계학습모델에 적용하여 병합된 윤곽선 영상을 획득하는 단계를 수행할 수 있다. 병합된 윤곽선 영상은 복수의 윤곽선 영상을 영상의 오리엔테이션 정보에 기초하여 미리 정해진 순서대로 배치한 영상일 수 있다. 의료영상장치(310)는 병합된 윤곽선 영상을 미리 정해진 크기로 분리하여 복수의 윤곽선 영상을 획득하는 단계를 수행할 수 있다. 이와 같이 의료영상장치(310)는 병합된 방광 영상에 기초하여 병합된 윤곽선 영상을 획득하므로 방광 영상의 오리엔테이션 정보를 확인할 필요가 없을 수 있다.However, it is not limited thereto. Acquiring a plurality of contour images (440) may include the following process. The medical imaging apparatus 310 may perform a step of acquiring a plurality of changed bladder images by replacing at least one of a plurality of pixels of the upper left and upper right sides of the plurality of bladder images with information about the patient. Since this has already been described above, duplicate descriptions will be omitted. The medical imaging apparatus 310 may perform a step of obtaining one merged image by arranging the plurality of changed bladder images in a predetermined order based on the orientation information of the images. The medical imaging apparatus 310 may create a merged image by arranging a plurality of bladder images horizontally and vertically. The medical imaging apparatus 310 may obtain a merged image by arranging a plurality of bladder images in a predetermined position according to orientation information of the plurality of bladder images. The medical imaging apparatus 310 may perform a step of obtaining a merged contour image by applying the merged bladder image to a contour derivation machine learning model. The merged contour image may be an image in which a plurality of contour images are arranged in a predetermined order based on orientation information of the images. The medical imaging apparatus 310 may perform a step of acquiring a plurality of contour images by dividing the merged contour image into a predetermined size. As such, since the medical imaging apparatus 310 obtains a merged contour image based on the merged bladder image, it may not be necessary to check orientation information of the bladder image.

이하에서는 도 13 및 도 14와 함께 기계학습모델을 생성하는 과정에 대하여 설명한다. Hereinafter, a process of generating a machine learning model together with FIGS. 13 and 14 will be described.

도 13은 본 개시의 일 실시예에 따른 의료영상장치 또는 서버의 동작을 나타낸 흐름도이다. 13 is a flowchart illustrating an operation of a medical imaging apparatus or server according to an embodiment of the present disclosure.

도 13에 기재된 단계들은 의료영상장치(310) 또는 서버(100) 중 적어도 하나에 포함된 데이터 학습부(110)에서 수행될 수 있다. The steps described in FIG. 13 may be performed by the data learning unit 110 included in at least one of the medical imaging apparatus 310 and the server 100 .

의료영상장치(310) 또는 서버(100)는 과거 환자에 대한 과거 복수의 방광 영상(1311)을 획득하는 단계를 수행할 수 있다. 과거 복수의 방광 영상(1311)은 기계학습모델을 생성하기 위한 학습데이터일 수 있다. 의료영상장치(310) 또는 서버(100)는 병원 또는 연구에서 촬영된 과거 환자에 대한 과거 복수의 방광 영상(1311)을 획득할 수 있다. 과거 복수의 방광 영상은 과거 환자의 방광이 촬영된 의료영상일 수 있다. 예를 들어 과거 복수의 방광 영상은 초음파 영상일 수 있다. 과거 복수의 방광 영상은 하나의 과거 환자에 대하여 복수의 지점에서 촬영된 영상일 수 있다. 복수의 방광 영상은 2차원의 B모드 영상일 수 있다. 과거 복수의 방광 영상은 과거 환자의 둘레를 따라 형성된 복수의 지점에 트랜스듀서를 위치시키면서 촬영된 영상일 수 있다. 의료영상장치(310) 또는 서버(100)는 복수의 과거 환자에 대하여 과거 복수의 방광 영상(1311)을 획득하여 빅테이터로써 저장하고 있을 수 있다.The medical imaging apparatus 310 or the server 100 may perform a step of obtaining a plurality of past bladder images 1311 of a patient in the past. The plurality of past bladder images 1311 may be learning data for generating a machine learning model. The medical imaging apparatus 310 or the server 100 may obtain a plurality of past bladder images 1311 of past patients captured in a hospital or research facility. The plurality of past bladder images may be medical images of a past patient's bladder. For example, a plurality of past bladder images may be ultrasound images. The plurality of past bladder images may be images taken at a plurality of points for one past patient. The plurality of bladder images may be 2-dimensional B-mode images. A plurality of bladder images in the past may be images taken while placing transducers at a plurality of points formed along the patient's circumference in the past. The medical imaging apparatus 310 or the server 100 may acquire a plurality of past bladder images 1311 of a plurality of past patients and store them as big data.

의료영상장치(310) 또는 서버(100)는 과거 환자에 대한 정보 및 과거 복수의 방광 영상의 과거 오리엔테이션 정보 중 적어도 하나를 포함하는 과거 영상에 대한 정보를 획득하는 단계를 수행할 수 있다. 이 단계는 단계(430)와 동일하므로 중복되는 설명은 생략한다.The medical imaging apparatus 310 or the server 100 may perform a step of acquiring information about past images including at least one of information about past patients and information about past orientations of a plurality of past bladder images. Since this step is the same as step 430, duplicate descriptions are omitted.

의료영상장치(310) 또는 서버(100)는 과거 환자에 대한 복수의 방광 영상(1311)에 각각 대응되는 과거 복수의 윤곽선 영상(1312)을 획득하는 단계를 수행할 수 있다. 과거 복수의 윤곽선 영상(1312)은 사용자에 의하여 입력될 수 있다. 보다 구체적으로 의료영상장치(310) 또는 서버(100)는 의료인이 복수의 방광 영상(1311)에 기반하여 그린 과거 복수의 윤곽선 영상(1312)을 획득할 수 있다.The medical imaging apparatus 310 or the server 100 may perform a step of acquiring a plurality of past contour images 1312 respectively corresponding to a plurality of bladder images 1311 of a patient in the past. A plurality of past contour images 1312 may be input by the user. More specifically, the medical imaging apparatus 310 or the server 100 may obtain a plurality of past contour images 1312 drawn by medical personnel based on the plurality of bladder images 1311 .

의료영상장치(310) 또는 서버(100)는 과거 영상에 대한 정보 및 과거 복수의 방광 영상에 대한 과거 복수의 윤곽선 영상의 상관관계를 기계학습하여 윤곽선도출기계학습모델(1320)을 생성하는 단계를 수행할 수 있다. 윤곽선도출기계학습모델(1320)은 시맨틱분할(semantic segmentation)을 이용하여 생성될 수 있다.The medical imaging apparatus 310 or the server 100 performs machine learning on the correlation between information about past images and a plurality of past contour images for a plurality of past bladder images to generate a contour derivation machine learning model 1320. can be done The contour derivation machine learning model 1320 may be created using semantic segmentation.

의료영상장치(310) 또는 서버(100)는 과거 복수의 방광 영상에 과거 영상에 대한 정보를 반영하기 위하여 도 12에서 설명한 바와 같이 과거 복수의 방광 영상의 좌상측 또는 우상측에 과거 환자에 대한 정보에 기반한 픽셀영역을 형성하여 윤곽선도출기계학습모델을 생성할 수 있다.The medical imaging apparatus 310 or the server 100, as described in FIG. 12, in order to reflect information about past images on a plurality of past bladder images, displays information about past patients on the upper left or upper right of the plurality of past bladder images. It is possible to generate a contour derivation machine learning model by forming a pixel area based on .

윤곽선도출기계학습모델(1320)은 복수의 서브윤곽선도출기계학습모델을 포함할 수 있다. 도 11에서 설명한 바와 같이 복수의 서브윤곽선도출기계학습모델은 복수의 방광 영상의 오리엔테이션에 각각 대응될 수 있다. 의료영상장치(310) 또는 서버(100)는 과거 복수의 방광 영상 중 하나의 오리엔테이션에 대응하는 영상 및 과거 복수의 윤곽선 영상 중 하나의 오리엔테이션에 대응하는 영상을 이용하여 서브윤곽선도출기계학습모델을 생성할 수 있다. 예를 들어, 의료영상장치(310) 또는 서버(100)는 과거 복수의 방광 영상 중 제 n 지점에 트랜스듀서를 두고 촬영한 영상 및 과거 복수의 윤곽선 영상 중 제 n 지점에 트랜스듀서를 두고 촬영한 영상에 대응하는 영상을 이용하여 서브윤곽선도출기계학습모델을 생성할 수 있다. 복수의 서브윤곽선도출기계학습모델의 집합이 윤곽선도출기계학습모델(1320)일 수 있다. The contour derivation machine learning model 1320 may include a plurality of sub contour derivation machine learning models. As described in FIG. 11, a plurality of sub-contour line derivation machine learning models may correspond to orientations of a plurality of bladder images, respectively. The medical imaging apparatus 310 or the server 100 generates a sub-contour line derivation machine learning model using an image corresponding to one orientation among a plurality of past bladder images and an image corresponding to one orientation among a plurality of past contour images. can do. For example, the medical imaging apparatus 310 or the server 100 captures an image taken with a transducer at an nth point among a plurality of past bladder images and an image taken with a transducer placed at an nth point among a plurality of past contour images. A sub-outline derivation machine learning model may be generated using an image corresponding to the image. A set of a plurality of sub contour derivation machine learning models may be the contour derivation machine learning model 1320 .

윤곽선도출기계학습모델(1320)은 복수의 서브윤곽선도출기계학습모델을 포함하지 않을 수도 있다. 의료영상장치(310) 또는 서버(100)는 과거 복수의 방광 영상(1311)을 영상의 오리엔테이션 정보에 기초하여 미리 정해진 순서대로 배치하여 하나의 과거 병합된 영상을 획득하는 단계를 수행할 수 있다. 의료영상장치(310)는 과거 복수의 방광 영상을 가로, 세로로 나열하여 과거 병합된 영상을 생성할 수 있다. 의료영상장치(310) 또는 서버(100)는 복수의 방광 영상의 오리엔테이션 정보에 따라 복수의 방광 영상을 미리 정해진 위치에 배치하여 과거 병합된 영상을 획득할 수 있다. 의료영상장치(310) 또는 서버(100)는 과거 복수의 윤곽선 영상(1312)을 영상의 오리엔테이션 정보에 기초하여 미리 정해진 순서대로 배치하여 하나의 과거 병합된 윤곽선 영상을 획득하는 단계를 수행할 수 있다. 의료영상장치(310) 또는 서버(100)는 병합된 영상에 대한 과거 병합된 윤곽선 영상의 상관관계를 기계학습하여 윤곽선도출기게학습모델을 생성할 수 있다. 지금까지 도 13에서 데이터 학습부(110)에서 수행되는 단계들을 설명하였다.The contour derivation machine learning model 1320 may not include a plurality of sub contour derivation machine learning models. The medical imaging apparatus 310 or the server 100 may perform a step of acquiring a past merged image by arranging a plurality of past bladder images 1311 in a predetermined order based on the orientation information of the images. The medical imaging apparatus 310 may create a past merged image by arranging a plurality of past bladder images horizontally and vertically. The medical imaging apparatus 310 or the server 100 may arrange a plurality of bladder images in a predetermined position according to orientation information of the plurality of bladder images to obtain a past merged image. The medical imaging apparatus 310 or the server 100 may perform a step of acquiring a past merged contour image by arranging a plurality of past contour images 1312 in a predetermined order based on orientation information of the images. . The medical imaging apparatus 310 or the server 100 may generate a contour derivation machine learning model by performing machine learning on a correlation between the merged image and the contour image merged in the past. Steps performed in the data learning unit 110 have been described so far in FIG. 13 .

아래에서는 도 13에 기재된 단계들 중 의료영상장치(310) 또는 서버(100) 중 적어도 하나에 포함된 데이터 인식부(120)에서 수행되는 단계들에 대해서 설명한다. 의료영상장치(310) 또는 서버(100)는 단계(440)와 같이 복수의 방광 영상(1330)을 윤곽선도출기계학습모델(1320)에 적용하여 복수의 윤곽선 영상(1340)을 획득할 수 있다.Steps performed by the data recognition unit 120 included in at least one of the medical imaging apparatus 310 and the server 100 among the steps described in FIG. 13 will be described below. The medical imaging apparatus 310 or the server 100 may obtain a plurality of contour images 1340 by applying the plurality of bladder images 1330 to the contour derivation machine learning model 1320 in step 440 .

도 14는 본 개시의 일 실시예에 따른 의료영상장치 또는 서버의 동작을 설명하기 위한 도면이다.14 is a diagram for explaining the operation of a medical imaging apparatus or server according to an embodiment of the present disclosure.

도 14에 기재된 단계들은 의료영상장치(310) 또는 서버(100) 중 적어도 하나에 포함된 데이터 학습부(110)에서 수행될 수 있다. The steps described in FIG. 14 may be performed by the data learning unit 110 included in at least one of the medical imaging apparatus 310 and the server 100 .

의료영상장치(310) 또는 서버(100)는 학습 데이터인 과거 복수의 윤곽선 영상(1411)을 획득하는 단계를 수행할 수 있다. 과거 복수의 윤곽선 영상(1411)은 사용자에 의하여 입력될 수 있다. 보다 구체적으로 의료영상장치(310) 또는 서버(100)는 의료인이 복수의 방광 영상(1311)에 기반하여 그린 복수의 윤곽선 영상(1411)을 획득할 수 있다. 의료영상장치(310) 또는 서버(100)는 과거 복수의 윤곽선 영상(1312)을 영상의 오리엔테이션 정보에 기초하여 미리 정해진 순서대로 배치하여 하나의 과거 병합된 윤곽선 영상을 획득하는 단계를 수행할 수 있다.The medical imaging apparatus 310 or the server 100 may perform a step of acquiring a plurality of past contour images 1411 as learning data. A plurality of past contour images 1411 may be input by the user. More specifically, the medical imaging apparatus 310 or the server 100 may obtain a plurality of contour images 1411 drawn by medical personnel based on the plurality of bladder images 1311 . The medical imaging apparatus 310 or the server 100 may perform a step of acquiring a past merged contour image by arranging a plurality of past contour images 1312 in a predetermined order based on orientation information of the images. .

의료영상장치(310) 또는 서버(100)는 레이블 정보인 과거 방광의 용적을 획득하는 단계를 수행할 수 있다. 과거 방광의 용적은 복수의 윤곽선 영상(1411)에 대응될 수 있다. 과거 방광의 용적은 실험에 의하여 측정된 값일 수 있다. The medical imaging apparatus 310 or the server 100 may perform a step of acquiring the past volume of the bladder as label information. The volume of the bladder in the past may correspond to the plurality of contour images 1411 . The volume of the bladder in the past may be a value measured by an experiment.

의료영상장치(310) 또는 서버(100)는 과거 복수의 윤곽선 영상(1411)에 대한 과거 방광의 용적(1412)의 상관관계를 기계학습하여 방광용적기계학습모델(1420)을 생성하는 단계를 수행할 수 있다. 여기까지가 데이터 학습부(110)에서 수행되는 내용일 수 있다. 방광용적기계학습모델(1420)을 생성하기 위하여 의료영상장치(310) 또는 서버(100)는 과거 복수의 윤곽선 영상(1312)을 영상의 오리엔테이션 정보에 기초하여 미리 정해진 순서대로 배치한 하나의 과거 병합된 윤곽선 영상을 이용할 수 있다.The medical imaging apparatus 310 or the server 100 performs a step of generating a bladder volume machine learning model 1420 by machine learning the correlation between the past bladder volume 1412 for the plurality of past contour images 1411. can do. This may be the contents performed by the data learning unit 110. To generate the bladder volume machine learning model 1420, the medical imaging device 310 or the server 100 merges a plurality of past contour images 1312 into one past by arranging them in a predetermined order based on the orientation information of the images. contour image can be used.

도 13에 기재된 단계들은 의료영상장치(310) 또는 서버(100) 중 적어도 하나에 포함된 데이터 인식부(120)에서 수행될 수 있다. 의료영상장치(310) 또는 서버(100)는 단계(450)와 같이 복수의 윤곽선 영상(1430) 및 오리엔테이션 정보 중 적어도 하나를 방광용적기계학습모델(1420)에 적용하여 복수의 방광 영상에 포함된 방광의 용적(1440)을 획득할 수 있다.The steps described in FIG. 13 may be performed by the data recognizing unit 120 included in at least one of the medical imaging apparatus 310 and the server 100 . In step 450, the medical imaging apparatus 310 or the server 100 applies at least one of the plurality of contour images 1430 and orientation information to the bladder volume machine learning model 1420 to obtain information included in the plurality of bladder images. The volume 1440 of the bladder can be obtained.

도 15는 본 개시의 일 실시예에 따른 의료영상장치 또는 서버의 효과를 설명하기 위한 도면이다.15 is a diagram for explaining effects of a medical imaging apparatus or server according to an embodiment of the present disclosure.

도 15는 총 246명의 데이터 환자에 10개의 공변량을 사용하여 분석한 데이터이다. 공변량들은 PatientID, 초음파 방광용적측정기를 이용한 소변량의 예측치(종래의 의료영상장치), 실제 소변량, 전문의 의견을 이용한 소변량 예측치(본 개시의 의료영상장치), 자궁 근종 환자 혹은 난소 종괴에 대한 factor 변수, 자궁 근종환자의 혹 개수, 가장 큰 자궁 근종의 크기, 난소 종괴의 혹 개수, 가장 큰 난소종괴의 크기가 있다. 분석에 사용된 새로운 변수는 다음과 같다. contouring_residual(c.error)는 전문의가 그린 그림 정보를 이용한 기계의 소변량 예측치(본 개시의 의료영상장치의 예측치)에서 실제 소변량을 차감한 값이다. machine_residual(m.error)는 전문의 그림정보를 이용하지 않은 기계의 소변량 예측치(종래 기술에 의한 예측치)에서 실제 소변량을 차감한 값이다. myoma_facto는 자궁 근종의 크기가 평균보다 크면 1, 작으면 0인 팩터 변수이다. cyst_factor는 난소 종괴의 크기가 평균보다 크면 1, 작으면 0인 팩터 변수이다.15 shows data analyzed using 10 covariates in a total of 246 data patients. Covariates include PatientID, predicted urine volume using ultrasonic cystometry (conventional medical imaging device), actual urine volume, predicted urine volume using expert opinion (medical imaging device of the present disclosure), and factor variables for patients with uterine fibroids or ovarian masses. , the number of nodules in patients with uterine fibroids, the size of the largest uterine fibroid, the number of ovarian masses, and the size of the largest ovarian mass. The new variables used in the analysis are: Contouring_residual(c.error) is a value obtained by subtracting the actual amount of urine from the predicted value of the urine amount of the machine (the predicted value of the medical imaging device of the present disclosure) using picture information drawn by a specialist. machine_residual(m.error) is a value obtained by subtracting the actual amount of urine from the predicted value of the urine amount of the machine (predicted value by the prior art) that does not use the specialist's picture information. myoma_facto is a factor variable with a value of 1 if the size of the uterine fibroid is larger than the average and 0 if the size is smaller than the average. Cyst_factor is a factor variable that is 1 if the size of the ovarian mass is larger than the average and 0 if it is smaller.

표(1510)는 자궁근종의 개수에 따른 분석이다. 집단 1, 2 모두에서 귀무가설을 기각할 만한 근거가 충분하다. 즉, 자궁근종이 있는 경우, 통계적으로 본 개시의 의료영상장치의 에러가 종래기술의 의료영상장치보다 에러보다 작다.Table 1510 is an analysis according to the number of uterine fibroids. In both groups 1 and 2, there is sufficient evidence to reject the null hypothesis. That is, when there is uterine myoma, the error of the medical imaging apparatus of the present disclosure is statistically smaller than that of the conventional medical imaging apparatus.

표(1520)는 난소종괴의 개수에 따른 분석이다. 집단 1, 2 모두에서 귀무가설을 기각할 만한 근거가 충분하다. 즉, 난소종괴가 있는 경우, 통계적으로 본 개시의 의료영상장치의 에러가 종래기술의 의료영상장치보다 에러보다 작다.Table 1520 is an analysis according to the number of ovarian masses. In both groups 1 and 2, there is sufficient evidence to reject the null hypothesis. That is, when there is an ovarian mass, the error of the medical imaging apparatus of the present disclosure is statistically smaller than that of the conventional medical imaging apparatus.

표(1530)는 자궁근종의 크기에 따른 분석이다. 집단 1, 2 모두에서 귀무가설을 기각할 만한 근거가 충분하다. 즉, 자궁근종이 있는 경우, 통계적으로 본 개시의 의료영상장치의 에러가 종래기술의 의료영상장치보다 에러보다 작다.Table 1530 is an analysis according to the size of uterine fibroids. In both groups 1 and 2, there is sufficient evidence to reject the null hypothesis. That is, when there is uterine myoma, the error of the medical imaging apparatus of the present disclosure is statistically smaller than that of the conventional medical imaging apparatus.

표(1540)는 자궁근종의 크기에 따른 분석이다. 집단 1, 2 모두에서 귀무가설을 기각할 만한 근거가 충분하다. 즉 난소종괴가 있는 경우, 통계적으로 본 개시의 의료영상장치의 에러가 종래기술의 의료영상장치보다 에러보다 작다.Table 1540 is an analysis according to the size of uterine fibroids. In both groups 1 and 2, there is sufficient evidence to reject the null hypothesis. That is, when there is an ovarian mass, the error of the medical imaging apparatus of the present disclosure is statistically smaller than that of the conventional medical imaging apparatus.

이와 같이 실험에 의하여 본 개시에 따른 의료영상장치의 에러가 기존보다 작음을 확인하였으므로, 사용자가 실제 소변배출을 통해 소변량을 측정하지 않고서도 영상을 이용하여 거의 정확하게 환자의 방광의 용적 또는 잔뇨량을 측정할 수 있다. 이에 따라 의료인은 진단을 빠르게 내릴 수 있고, 환자는 번거로움을 덜 수 있다.As such, since it was confirmed through the experiment that the error of the medical imaging apparatus according to the present disclosure is smaller than before, the user almost accurately measures the volume of the patient's bladder or the amount of residual urine using the image without measuring the amount of urine through actual urine output. can do. As a result, medical personnel can make a diagnosis quickly, and patients can save hassle.

이제까지 다양한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, we have looked at various embodiments. Those skilled in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope will be construed as being included in the present invention.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.On the other hand, the above-described embodiments of the present invention can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. The computer-readable recording medium includes storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical reading media (eg, CD-ROM, DVD, etc.).

Claims (8)

초음파 의료영상장치의 동작 방법에 있어서,
상기 초음파 의료영상장치가 성별 및 병변에 대한 정보를 포함하는 환자에 대한 정보를 획득하는 단계;
상기 초음파 의료영상장치가 트랜스듀서를 환자의 서로 다른 위치에 두면서 촬영되고 방광을 포함하는 복수의 방광 영상을 획득하는 단계;
상기 환자에 대한 정보 및 복수의 방광 영상의 오리엔테이션 정보 중 적어도 하나를 포함하는 영상에 대한 정보를 획득하는 단계;
상기 영상에 대한 정보 및 상기 복수의 방광 영상을 윤곽선도출기계학습모델에 적용하여 방광의 윤곽선을 포함하는 복수의 윤곽선 영상을 획득하는 단계;
상기 복수의 윤곽선 영상 및 상기 오리엔테이션 정보 중 적어도 하나를 방광용적기계학습모델에 적용하여 상기 복수의 방광 영상에 포함된 방광의 용적을 획득하는 단계; 및
상기 방광의 용적을 출력하는 단계를 포함하는 초음파 의료영상장치의 동작 방법.
In the operating method of the ultrasonic medical imaging device,
obtaining, by the ultrasound medical imaging apparatus, information on the patient including information on gender and lesion;
acquiring a plurality of bladder images including a bladder, which are captured by the ultrasound medical imaging apparatus while placing the transducers at different positions of the patient;
obtaining information about an image including at least one of information about the patient and orientation information of a plurality of bladder images;
acquiring a plurality of contour images including bladder contours by applying information about the image and the plurality of bladder images to a contour derivation machine learning model;
acquiring bladder volumes included in the plurality of bladder images by applying at least one of the plurality of contour images and the orientation information to a bladder volume machine learning model; and
A method of operating an ultrasound medical imaging apparatus comprising outputting the volume of the bladder.
제 1 항에 있어서,
상기 복수의 방광 영상은 환자의 상하를 축으로 하여 트랜스듀서를 15도이하 10도이상씩 이동시키면서 촬영된 영상인 초음파 의료영상장치의 동작 방법.
According to claim 1,
The plurality of bladder images are images captured while moving the transducer by 15 degrees or less by 10 degrees or more with the patient's vertical axis.
제 1 항에 있어서,
상기 복수의 윤곽선 영상 중 방광용적기계학습모델에 대한 변수 중요도(feature importance)가 가장 높은 미리 정해진 제 1 개수의 영상을 획득하는 단계;
상기 제 1 개수의 영상의 제 1 오리엔테이션의 패턴을 획득하는 단계; 및
상기 제 1 개수의 영상의 제 1 오리엔테이션의 패턴에 기초하여 병변의 가능성을 도출하는 단계를 포함하는 초음파 의료영상장치의 동작 방법.
According to claim 1,
acquiring a first predetermined number of images having the highest feature importance for a bladder volume machine learning model among the plurality of contour images;
acquiring first orientation patterns of the first number of images; and
and deriving a possibility of a lesion based on a first orientation pattern of the first number of images.
제 3 항에 있어서,
상기 복수의 윤곽선 영상 중 방광용적기계학습모델에 대한 변수 중요도(feature importance)가 가장 낮은 미리 정해진 제 2 개수의 영상을 획득하는 단계;
상기 제 2 개수의 영상의 제 2 오리엔테이션의 패턴을 획득하는 단계; 및
상기 제 1 개수의 영상의 제 1 오리엔테이션의 패턴 및 상기 제 2 개수의 영상의 제 2 오리엔테이션의 패턴에 기초하여 병변의 가능성을 도출하는 단계를 포함하는 초음파 의료영상장치의 동작 방법.
According to claim 3,
obtaining a predetermined second number of images having the lowest feature importance for a bladder volume machine learning model among the plurality of contour images;
acquiring second orientation patterns of the second number of images; and
and deriving a possibility of a lesion based on a first orientation pattern of the first number of images and a second orientation pattern of the second number of images.
제 1 항에 있어서,
상기 윤곽선도출기계학습모델은 상기 복수의 방광 영상의 오리엔테이션에 각각 대응되는 복수의 서브윤곽선도출기계학습모델을 포함하고,
상기 복수의 윤곽선 영상을 획득하는 단계는,
상기 복수의 방광 영상에 포함된 제 1 방광 영상을 획득하는 단계;
상기 제 1 방광 영상의 좌상측 및 우상측 중 적어도 하나의 복수의 픽셀들을 상기 환자에 대한 정보로 대체하는 단계; 및
상기 제 1 방광 영상을 상기 제 1 방광 영상에 대응되는 서브윤곽선도출기계학습모델에 적용하여 상기 제 1 방광 영상에 포함된 방광의 윤곽선을 포함하는 제 1 윤곽선 영상을 획득하는 단계를 포함하고,
상기 제 1 윤곽선 영상은 상기 복수의 윤곽선 영상 중 하나이고,
상기 복수의 픽셀들의 개수는 합성곱(컨볼루션) 커널에 포함된 픽셀의 개수 이상이고 상기 합성곱 커널에 포함된 픽셀의 개수의 3배이상 16배이하인 초음파 의료영상장치의 동작 방법.
According to claim 1,
The contour derivation machine learning model includes a plurality of sub contour derivation machine learning models respectively corresponding to the orientations of the plurality of bladder images,
Acquiring the plurality of contour images,
obtaining a first bladder image included in the plurality of bladder images;
replacing a plurality of pixels of at least one of upper left and upper right sides of the first bladder image with information about the patient; and
obtaining a first contour image including a contour of the bladder included in the first bladder image by applying the first bladder image to a sub-contour derivation machine learning model corresponding to the first bladder image;
The first contour image is one of the plurality of contour images,
The method of operating the ultrasound medical imaging apparatus, wherein the number of the plurality of pixels is greater than or equal to the number of pixels included in the convolution kernel and is 3 times or more and 16 times or less than the number of pixels included in the convolution kernel.
제 1 항에 있어서,
상기 복수의 윤곽선 영상을 획득하는 단계는,
상기 복수의 방광 영상의 좌상측 및 우상측 중 적어도 하나의 복수의 픽셀들을 상기 환자에 대한 정보로 대체하여 변경된 복수의 방광 영상을 획득하는 단계;
상기 변경된 복수의 방광 영상을 상기 영상의 오리엔테이션 정보에 기초하여 미리 정해진 순서대로 배치하여 하나의 병합 영상을 획득하는 단계;
상기 병합 영상을 상기 윤곽선도출기계학습모델에 적용하여 병합된 윤곽선 영상을 획득하는 단계; 및
상기 병합된 윤곽선 영상을 미리 정해진 크기로 분리하여 상기 복수의 윤곽선 영상을 획득하는 단계를 포함하는 초음파 의료영상장치의 동작 방법.
According to claim 1,
Acquiring the plurality of contour images,
acquiring a plurality of changed bladder images by replacing at least one of a plurality of pixels of upper left and upper right sides of the plurality of bladder images with information about the patient;
obtaining one merged image by arranging the plurality of changed bladder images in a predetermined order based on orientation information of the images;
obtaining a merged contour image by applying the merged image to the contour derivation machine learning model; and
and obtaining the plurality of contour images by dividing the merged contour image into a predetermined size.
제 1 항에 있어서,
과거 환자에 대한 과거 복수의 방광 영상을 획득하는 단계;
상기 과거 환자에 대한 정보 및 상기 과거 복수의 방광 영상의 과거 오리엔테이션 정보 중 적어도 하나를 포함하는 과거 영상에 대한 정보를 획득하는 단계;
상기 과거 환자에 대한 상기 복수의 방광 영상에 각각 대응되는 과거 복수의 윤곽선 영상을 획득하는 단계; 및
상기 과거 영상에 대한 정보 및 상기 과거 복수의 방광 영상에 대한 상기 과거 복수의 윤곽선 영상의 상관관계를 기계학습하여 상기 윤곽선도출기계학습모델을 생성하는 단계를 포함하는 초음파 의료영상장치의 동작 방법.
According to claim 1,
Acquiring a plurality of past bladder images for a past patient;
obtaining information about past images including at least one of information about the past patient and past orientation information of the plurality of past bladder images;
obtaining a plurality of past contour images respectively corresponding to the plurality of bladder images of the past patient; and
and generating the contour derivation machine learning model by machine learning a correlation between information about the past images and the plurality of past contour images for the plurality of past bladder images.
제 7 항에 있어서,
학습 데이터인 상기 과거 복수의 윤곽선 영상을 획득하는 단계;
레이블 정보인 과거 방광의 용적을 획득하는 단계; 및
상기 과거 복수의 윤곽선 영상에 대한 상기 과거 방광의 용적의 상관관계를 기계학습하여 상기 방광용적기계학습모델을 생성하는 단계를 포함하는 초음파 의료영상장치의 동작 방법.

According to claim 7,
acquiring the plurality of past contour images as learning data;
Obtaining the past bladder volume as label information; and
and generating the bladder volume machine learning model by machine learning a correlation of past bladder volumes with respect to the plurality of past contour images.

Images