KR102446345B1 - Control method, apparatus and program for lesion determination system obtained by breast imaging - Google Patents
Control method, apparatus and program for lesion determination system obtained by breast imaging Download PDFInfo
- Publication number
- KR102446345B1 KR102446345B1 KR1020200076119A KR20200076119A KR102446345B1 KR 102446345 B1 KR102446345 B1 KR 102446345B1 KR 1020200076119 A KR1020200076119 A KR 1020200076119A KR 20200076119 A KR20200076119 A KR 20200076119A KR 102446345 B1 KR102446345 B1 KR 102446345B1
- Authority
- KR
- South Korea
- Prior art keywords
- lesion
- image
- electronic device
- human body
- information
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 60
- 210000000481 breast Anatomy 0.000 title claims abstract description 49
- 238000003384 imaging method Methods 0.000 title description 5
- 230000003190 augmentative effect Effects 0.000 claims abstract description 11
- 230000001678 irradiating effect Effects 0.000 claims abstract description 9
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 8
- 210000002445 nipple Anatomy 0.000 claims description 14
- 210000003109 clavicle Anatomy 0.000 claims description 9
- 238000002604 ultrasonography Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 25
- 238000013527 convolutional neural network Methods 0.000 description 22
- 238000012549 training Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000001356 surgical procedure Methods 0.000 description 13
- 238000012795 verification Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 210000000056 organ Anatomy 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000009607 mammography Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 208000005422 Foreign-Body reaction Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000019612 pigmentation Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
- A61B2090/3908—Soft tissue, e.g. breast tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3937—Visible markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0487—Special user inputs or interfaces
- A61B2560/0493—Special user inputs or interfaces controlled by voice
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Dentistry (AREA)
- Gynecology & Obstetrics (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
유방 영상에 의해 획득된 병변부 판단 시스템의 제어 방법이 제공된다. 상기 제어 방법은, 상기 전자 장치가, 병변부와 관련된 2차원 이미지를 획득하는 단계; 상기 전자 장치가, 상기 병변부와 관련된 2차원 이미지를 인공지능 모델에 입력하여 병변부에 대한 정보를 출력하는 단계; 상기 전자 장치의 카메라를 통해 인체 이미지를 획득하는 단계; 상기 전자 장치가, 획득된 상기 인체 이미지 및 상기 병변부에 대한 정보를 바탕으로, 상기 인체 이미지 상의 병변부를 획득하는 단계; 상기 전자 장치가, 상기 획득된 인체 이미지 상의 병변부에 대응되는 위치를 레이저로 조사하는 단계; 및 상기 디스플레이가, 상기 인체 이미지 상의 병변부를 3차원 증강현실로 표시하는 단계; 를 포함한다.A method for controlling a system for determining a lesion area obtained by a breast image is provided. The control method may include: acquiring, by the electronic device, a two-dimensional image related to the lesion; outputting, by the electronic device, information on the lesion part by inputting a two-dimensional image related to the lesion part into an artificial intelligence model; acquiring a human body image through a camera of the electronic device; acquiring, by the electronic device, a lesion part on the human body image based on the acquired information on the human body image and the lesion part; irradiating, by the electronic device, a position corresponding to the lesion on the acquired human body image with a laser; and displaying, by the display, the lesion on the human body image in 3D augmented reality. includes
Description
본 발명은 유방 영상에 의해 획득된 병변부 판단 시스템의 제어 방법, 장치 및 프로그램에 관한 것이다. The present invention relates to a method, apparatus and program for controlling a system for determining a lesion area obtained by a breast image.
외과 진료 영역에서 절개창을 최소화하려는 노력이 경주되고 있으며 보존술식이 보편화되고 있다. 절개창이 작은 보존술식은 상처의 크기를 줄이면서 수술후 회복이 빠르다는 장점으로 인해 다양한 수술법에서 응용되고 있다. 하지만 이를 위해서는 먼저 정확하게 제거하고자 하는 병변부의 위치를 정확히 알아야 한다. 의료 영상이 많은 정보를 주고 있지만 입체적이지 않아 실제 수술에서는 차이를 느낄 수밖에 없다. 실제로 단면 영상 검사가 이루어졌음에도 절개창이 작은 술식으로 인해 병변부를 찾지 못해 어려움을 느꼈던 경험들이 다수의 문헌에서 발표되고 있다.Efforts are being made to minimize the incision in the surgical field, and conservation techniques are becoming more common. The preservation technique with a small incision is being applied in various surgical methods due to the advantage of reducing the size of the wound and speeding up the recovery after surgery. However, for this, the location of the lesion to be removed must be accurately known first. Although medical images give a lot of information, they are not three-dimensional, so there is no choice but to feel the difference in actual surgery. In fact, a number of literatures have reported experiences in which it was difficult to find the lesion due to the small incision procedure even though cross-sectional imaging was performed.
수술 시 병변부 판단을 위한 기존의 철사 정위술 (wire localization)은 우리 몸을 관통하는 입구와 병변부가 멀어 범위가 큰 수술이 이루어진다는 문제점이 있으며, 숯 (charcoal)의 경우는 우리 몸 안에서 육아종을 형성하거나 이물 반응, 색소침착과 같은 문제점을 발생시킬 수 있는 문제점이 존재한다. 즉, 기존의 정위술들은 합병증, 시간, 비용 등의 문제점 또한 가지고 있어 이에 대한 해결책이 필요한 시점이다.The existing wire localization technique for judging the lesion during surgery has a problem in that the entrance through the body is far from the lesion, so a large-scale operation is performed. There are problems that may cause problems such as formation, foreign body reaction, and pigmentation. That is, existing stereotactic procedures also have problems such as complications, time, and cost, and thus a solution is needed.
한편, 유방암 등, 여성의 유방 관련 질환을 판단하기 위해서는 엑스레이, 초음파, CT, MRI 영상 등의 영상 촬영 후, 병변부가 존재하는지를 판단하는 방법이 사용된다. 그러나 유방 촬영술의 경우, 정확한 판단을 위하여 도 2a에 도시된 바와 같이, 촬영시 서 있는 자세(중력이 다리 방향)에서 강한 압박을 가하게 된다. 그러나 실제 수술의 경우에는 누워 있는 자세(중력이 등 방향)에서 유방의 압박이 없는 상태에서 이루어 진다. 간, 위장 등과 같은 다른 부위의 경우, 영상에 나타난 부위와 실제 수술 집도시의 부위가 동일하나, 유방의 경우, 상기 유방 촬영술의 특징에 의하여 모양이 달라질 수 있다. 따라서, 유방의 병변부 판단 및 수술 과정에서는, 영상을 통해서 병변부의 대략적인 위치는 알 수 있으나, 영상과 수술 시 실제 유방의 모양이 다른 문제로 인하여 병변부의 정확한 문제점을 알기 힘들다는 문제점이 존재한다.Meanwhile, in order to determine a female breast-related disease, such as breast cancer, a method of determining whether a lesion is present after imaging such as X-ray, ultrasound, CT, or MRI is used. However, in the case of mammography, strong pressure is applied in a standing posture (gravity is in the leg direction) during imaging as shown in FIG. 2A for accurate determination. However, in the case of actual surgery, it is performed in a lying position (gravity is in the back direction) without breast compression. In the case of other parts such as the liver and stomach, the part shown in the image and the part at the time of actual surgery are the same, but in the case of the breast, the shape may be different depending on the characteristics of the mammography. Therefore, in the breast lesion determination and surgery process, the approximate location of the lesion part can be known through the image, but there is a problem in that it is difficult to know the exact problem of the lesion part due to the problem that the shape of the actual breast is different from the image during surgery. .
본 발명이 해결하고자 하는 과제는 유방 영상에 의해 획득된 병변부 판단 시스템의 제어 방법, 장치 및 프로그램을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide a control method, an apparatus, and a program for a system for determining a lesion area obtained by a breast image.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 전자 장치 및 디스플레이 장치를 포함하는 유방 영상에 의해 획득된 병변부 판단 시스템의 제어 방법은, 상기 전자 장치가, 병변부와 관련된 2차원 이미지를 획득하는 단계; 상기 전자 장치가, 상기 병변부와 관련된 2차원 이미지를 인공지능 모델에 입력하여 병변부에 대한 정보를 출력하는 단계; 상기 전자 장치의 카메라를 통해 인체 이미지를 획득하는 단계; 상기 전자 장치가, 획득된 상기 인체 이미지 및 상기 병변부에 대한 정보를 바탕으로, 상기 인체 이미지 상의 병변부를 획득하는 단계; 상기 디스플레이가, 상기 인체 이미지 상의 병변부를 3차원 증강현실로 표시하는 단계; 및 상기 전자 장치가, 상기 획득된 인체 이미지 상의 병변부에 대응되는 위치를 레이저로 조사하는 단계를 포함한다.In a method for controlling a system for determining a lesion area obtained by a breast image including an electronic device and a display device according to an aspect of the present invention for solving the above problems, the electronic device receives a two-dimensional image related to the lesion. obtaining; outputting, by the electronic device, information on the lesion part by inputting a two-dimensional image related to the lesion part into an artificial intelligence model; acquiring a human body image through a camera of the electronic device; acquiring, by the electronic device, a lesion part on the human body image based on the acquired information on the human body image and the lesion part; displaying, by the display, the lesion on the human body image in 3D augmented reality; and irradiating, by the electronic device, a position corresponding to the lesion on the acquired human body image with a laser.
이때, 상기 병변부와 관련된 2차원 이미지는, 기 촬영된 엑스레이 영상, 초음파 영상, CT 영상, 및 MRI 영상 중 적어도 하나의 영상일 수 있다.In this case, the two-dimensional image related to the lesion may be at least one of a pre-imaged X-ray image, an ultrasound image, a CT image, and an MRI image.
이때, 상기 병변부에 대응하는 위치를 상기 레이저로 조사하는 단계는, 상기 유방 내 병변부의 깊이를 가이드하기 위한 제1 레이저를 조사하는 단계; 및 상기 유방 내 병변부의 위치를 가이드하기 위한 제2 레이저를 조사하는 단계; 를 포함하고, 상기 제1 레이저는 링형태로 조사되고, 상기 제2 레이저는 점형태로 조사될 수 있다.In this case, the step of irradiating the position corresponding to the lesion with the laser may include: irradiating a first laser for guiding the depth of the lesion within the breast; and irradiating a second laser to guide the location of the lesion in the breast. Including, the first laser may be irradiated in a ring shape, and the second laser may be irradiated in a dot shape.
이때, 상기 인체 이미지 상의 병변부를 획득하는 단계는, 상기 병변부와 관련된 2차원 이미지 및 상기 인체 이미지를 바탕으로, 상기 병변부와 관련된 2차원 이미지에서의 상기 유방의 형태와 상기 인체 이미지에서의 유방의 형태를 획득하는 단계; 상기 상기 병변부와 관련된 2차원 이미지에서의 상기 유방의 형태 및 상기 병변부와 관련된 2차원 이미지로부터 판단된 병변부를 기초로, 상기 유방의 형태와 상기 인체 이미지에서의 유방의 형태에 대응되는 상기 인체 이미지에서의 병변부를 획득하는 단계; 를 포함할 수 있다.In this case, the step of acquiring the lesion part on the human body image includes the shape of the breast in the two-dimensional image related to the lesion part and the breast in the human body image based on the two-dimensional image and the human body image related to the lesion part. obtaining a form of; The human body corresponding to the shape of the breast and the shape of the breast in the human body image based on the shape of the breast in the two-dimensional image related to the lesion part and the lesion part determined from the two-dimensional image related to the lesion part acquiring the lesion in the image; may include.
이때, 상기 인체 이미지에서의 유방의 형태를 획득하는 단계는, 상기 병변부와 관련된 2차원 이미지 상에 포함된 쇄골의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제1 기준점 정보를 획득하는 단계; 상기 인체 이미지 상에 포함된 쇄골의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제2 기준점 정보를 획득하는 단계; 및 상기 제1 기준점 정보 및 상기 제2 기준점 정보를 바탕으로 상기 상기 인체 이미지에서의 유방의 형태를 획득하는 단계;를 포함할 수 있다.In this case, the step of acquiring the shape of the breast in the human body image includes first reference point information including location information of the clavicle, location information of nipples, and location information of the navel included on the two-dimensional image related to the lesion part. obtaining; acquiring second reference point information including location information of the clavicle, location information of the nipple, and location information of the navel included on the human body image; and acquiring the shape of the breast in the human body image based on the first reference point information and the second reference point information.
이때, 상기 제어 방법은, 상기 전자 장치가, 상기 인체 이미지를 실시간으로 촬영하여 상기 디스플레이를 통해 표시하는 단계; 상기 전자 장치가, 상기 수술의 집도의의 음성 신호를 수신하는 단계; 상기 전자 장치가, 상기 음성 신호을 분석하여 상기 디스플레이에 표시된 상기 실시간 이미지를 확대 또는 축소하는 단계;를 포함하고, 상기 실시간 이미지를 확대 또는 축소하는 단계는, 상기 음성 신호에 기초하여 신호 세기 정보를 획득하는 단계; 상기 세기 정보가 기 설정된 값 이상인 경우 상기 실시간 이미지를 확대하는 단계; 상기 음성 신호의 음절 간격 정보를 획득하는 단계; 및 상기 음절 간격 정보가 기 설정된 간격 미만인 경우, 상기 실시간 이미지를 확대하는 단계; 를 포함할 수 있다.In this case, the control method may include: capturing, by the electronic device, the human body image in real time and displaying it on the display; receiving, by the electronic device, a voice signal of a surgeon performing the operation; and enlarging or reducing, by the electronic device, the real-time image displayed on the display by analyzing the voice signal, wherein the enlarging or reducing the real-time image includes acquiring signal strength information based on the voice signal to do; enlarging the real-time image when the intensity information is greater than or equal to a preset value; obtaining syllable spacing information of the voice signal; and when the syllable interval information is less than a preset interval, enlarging the real-time image; may include.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.
상술한 본 발명의 다양한 실시예에 따라, 집도의는 영상과 실제의 모양 변화에도 불구하고 병변부의 정확한 위치를 판단할 수 있는 효과가 존재한다.According to the various embodiments of the present invention described above, there is an effect that the surgeon can determine the exact location of the lesion despite the change in the image and the actual shape.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 일 실시예에 따른 시스템을 설명하기 위한 예시도이다.
도 2a 및 도 2b는 종래의 유방 영상을 획득하여 인공지능이 병변부를 찾아내고 판단하는 과정을 설명하는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 유방 영상에 의해 획득된 병변부 판단 시스템의 제어 방법을 설명하기 위한 흐름도이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 병변부를 판단하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 레이저의 조사 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 장치의 구성도이다.1 is an exemplary diagram for explaining a system according to an embodiment of the present invention.
2A and 2B are exemplary views illustrating a process in which an artificial intelligence (AI) finds and determines a lesion by acquiring a conventional breast image.
3 is a flowchart illustrating a control method of a system for determining a lesion area obtained by a breast image according to an embodiment of the present invention.
4A and 4B are exemplary views for explaining a method for determining a lesion according to an embodiment of the present invention.
5 is an exemplary view for explaining a laser irradiation method according to an embodiment of the present invention.
6 is a block diagram of an apparatus according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully inform those skilled in the art of the scope of the present invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural, unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly specifically defined.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.As used herein, the term “unit” or “module” refers to a hardware component such as software, FPGA, or ASIC, and “unit” or “module” performs certain roles. However, “part” or “module” is not meant to be limited to software or hardware. A “part” or “module” may be configured to reside on an addressable storage medium or may be configured to reproduce one or more processors. Thus, by way of example, “part” or “module” refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Components and functionality provided within “parts” or “modules” may be combined into a smaller number of components and “parts” or “modules” or additional components and “parts” or “modules”. can be further separated.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms "below", "beneath", "lower", "above", "upper", etc. It can be used to easily describe the correlation between a component and other components. A spatially relative term should be understood as a term that includes different directions of components during use or operation in addition to the directions shown in the drawings. For example, when a component shown in the drawing is turned over, a component described as “beneath” or “beneath” of another component may be placed “above” of the other component. can Accordingly, the exemplary term “below” may include both directions below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.In this specification, a computer means all types of hardware devices including at least one processor, and may be understood as encompassing software configurations operating in the corresponding hardware device according to embodiments. For example, a computer may be understood to include, but is not limited to, smart phones, tablet PCs, desktops, notebooks, and user clients and applications running on each device.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.Each step described in this specification is described as being performed by a computer, but the subject of each step is not limited thereto, and at least a portion of each step may be performed in different devices according to embodiments.
도 1은 본 발명의 일 실시예에 따른 시스템을 설명하기 위한 예시도이다.1 is an exemplary diagram for explaining a system according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 유방 영상에 의해 획득된 병변부 판단 시스템은 전자 장치(100) 및 디스플레이 장치(200)를 포함할 수 있다. 아울러, 본 실시예에 따른 전자 장치(100)는, 전자 장치(100) 서버(미도시)로 구분될 수 있음은 물론이다. 이 경우, 서버에 탑재된 인공지능 모델에 의해 병변부의 위치를 판단하고, 전자 장치(100)에 포함된 레이저로 레이저의 조사 위치를 결정함과 함께, 디스플레이(200) 장치로 병변부의 위치를 판단하기위한 증강현실 화면을 전송할 수 있다.As shown in FIG. 1 , the system for determining a lesion area obtained by a breast image according to an embodiment of the present invention may include an
본 발명에 따른 전자 장치(100)는 카메라, 프로세서, 디스플레이, 입력부, 마이크, 스피커, 메모리, 통신부 및 레이저를 포함할 수 있다The
카메라는 영상을 촬영할 수 있다. 구체적으로 카메라는 수술 대상 환자의 수술 부위를 촬영할 수 있다. 후술하는 바와 같이, 전자 장치(100)는 촬영된 영상 및 기 촬영된 유방 영상등을 비교하여 병변부를 판단하고, 증강현실을 표시할 수 있다.The camera can take video. Specifically, the camera may photograph a surgical site of a patient to be operated on. As will be described later, the
카메라는 상술한 바와 같이 이미지를 촬영할 수 있는 구성이다. 카메라는 렌즈, 셔터, 조리개, 이미지 센서, AFE(Analog Front End), TG(Timing Generator)를 포함할 수 있다. The camera is configured to take an image as described above. The camera may include a lens, a shutter, an iris, an image sensor, an analog front end (AFE), and a timing generator (TG).
구체적으로, 렌즈(미도시)는, 피사체에 반사된 광이 입사하는 구성으로, 줌 렌즈 및 포커스 렌즈 중 적어도 하나의 렌즈를 포함할 수 있다. 셔터(미도시)는 빛이 전자 장치(100)로 들어오는 시간을 조절한다. 셔터 스피드에 따라 이미지 센서의 노광된 픽셀에 축적되는 광량이 결정된다. 조리개(미도시)는 렌즈를 통과하여 전자 장치(100) 내부로 입사되는 광의 양을 조절하는 구성이다. 이미지 센서(미도시)는 렌즈를 통과한 피사체의 상이 결상되는 구성이다. Specifically, the lens (not shown) may include at least one of a zoom lens and a focus lens in a configuration through which light reflected on a subject is incident. A shutter (not shown) adjusts the time at which light enters the
이미지 처리부는 카메라에 의해 촬영된 로우 이미지 데이터를 처리하여 YCbCr 데이터로 만들 수 있다. 또한, 이미지 블랙 레벨을 결정하며, 색상별 감도비를 조정할 수 있다. 그 외에도 이미지 처리부는 화이트 밸런스를 조정하고, 감마 보정, 색 보간, 색 보정, 해상도 변환을 수행할 수 있다.The image processing unit may process raw image data photographed by the camera to create YCbCr data. In addition, the image black level is determined and the sensitivity ratio for each color can be adjusted. In addition, the image processing unit may adjust white balance and perform gamma correction, color interpolation, color correction, and resolution conversion.
프로세서는 전자 장치(100)의 전반적인 동작을 제어한다.The processor controls the overall operation of the
프로세서는 RAM, ROM, 메인 CPU, 제1 내지 n 인터페이스, 버스를 포함할 수 있다. 이때, RAM, ROM, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다. The processor may include a RAM, a ROM, a main CPU, first to n interfaces, and a bus. In this case, the RAM, ROM, main CPU, first to n interfaces, etc. may be connected to each other through a bus.
ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 메모리에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 메모리에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다. The ROM stores an instruction set for booting the system, and the like. When a turn-on command is input and power is supplied, the main CPU copies the O/S stored in the memory to the RAM according to the command stored in the ROM, and executes the O/S to boot the system. When booting is completed, the main CPU copies various application programs stored in the memory to the RAM, and executes the application programs copied to the RAM to perform various operations.
메인 CPU는 메모리에 액세스하여, 메모리에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 메인 CPU는 메모리에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. The main CPU accesses the memory and performs booting using the O/S stored in the memory. In addition, the main CPU performs various operations using various programs, contents, data, etc. stored in the memory.
제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.The first to n interfaces are connected to the various components described above. One of the interfaces may be a network interface connected to an external device through a network.
디스플레이는 다양한 형태의 디스플레이 패널로 구현될 수 있다. 예를 들어, 디스플레이 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon) 또는 DLP(Digital Light Processing) 등과 같은 다양한 디스플레이 기술로 구현될 수 있다. 또한, 디스플레이는 플렉서블 디스플레이(flexible display)의 형태로 전자 장치(100)의 전면 영역 및, 측면 영역 및 후면 영역 중 적어도 하나에 결합될 수도 있다.The display may be implemented with various types of display panels. For example, the display panel is a Liquid Crystal Display (LCD), Organic Light Emitting Diodes (OLED), Active-Matrix Organic Light-Emitting Diode (AM-OLED), Liquid Crystal on Silicon (LcoS), or Digital Light Processing (DLP). It may be implemented with various display technologies, such as. In addition, the display may be coupled to at least one of a front area, a side area, and a rear area of the
입력부는 사용자 명령을 입력 받을 수 있다. 입력부는 다양한 형태로 구성될 수 있다. 예를 들어 입력부는 디스플레이 및 터치 감지부(미도시)와 결합하여 터치 스크린으로 구현될 수 있다. 그러나 이러한 구성에 한정되는 것은 아니며, 입력부는 버튼을 포함하거나, 외부 리모컨으로 구성될 수 있으며, 음성 입력을 위한 마이크로 구성될 수도 있으며, 카메라와 결합하여 모션 입력을 수행할 수도 있다.The input unit may receive a user command. The input unit may be configured in various forms. For example, the input unit may be implemented as a touch screen in combination with a display and a touch sensing unit (not shown). However, the present invention is not limited thereto, and the input unit may include a button or may be configured as an external remote control, may be configured as a microphone for voice input, or may perform motion input in combination with a camera.
특히, 입력부는 제품 이미지를 편집하기 위한 사용자 명령을 입력받을 수 있다. 이때, 입력된 사용자 명령은 롱프레스 명령, 더블 탭 명령, 스와이프 명령 등 일 수 있다.In particular, the input unit may receive a user command for editing the product image. In this case, the input user command may be a long press command, a double tap command, a swipe command, and the like.
메모리는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 어플리케이션이 저장될 수도 있다. 메모리는 프로그램 또는 어플리케이션의 실행 중에 입력되거나 설정 또는 생성되는 각종 데이터 등과 같은 다양한 정보가 저장될 수 있다. The memory may store an operating system (O/S) for driving the
또한, 메모리는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈을 포함할 수 있으며, 프로세서는 메모리에 저장된 각종 소프트웨어 모듈을 실행하여 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 동작을 수행할 수 있다.In addition, the memory may include various software modules for operating the
또한, 메모리는 카메라에 의해 촬영된 공간 이미지 및 외부로부터 수신한 다양한 이미지를 저장할 수 있다. 이를 위해, 메모리(150)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.Also, the memory may store spatial images captured by the camera and various images received from the outside. To this end, the memory 150 may include a semiconductor memory such as a flash memory or a magnetic storage medium such as a hard disk.
통신부는 외부 장치와 통신을 수행할 수 있다. 특히, 통신부는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 특히, 통신부는 외부 장치(예를 들어, 제품 이미지를 제공하는 컨텐츠 서버 등)로부터 다양한 정보를 수신할 수 있다. 예를 들어, 통신부는 외부 장치로부터 다양한 실내 이미지 및 제품 정보, 제품 이미지를 수신하고 수신된 정보를 메모리에 저장할 수 있다.The communication unit may communicate with an external device. In particular, the communication unit may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, an NFC chip, a wireless communication chip, and the like. At this time, the Wi-Fi chip, the Bluetooth chip, and the NFC chip perform communication in a LAN method, a WiFi method, a Bluetooth method, and an NFC method, respectively. In the case of using a Wi-Fi chip or a Bluetooth chip, various types of connection information such as an SSID and a session key are first transmitted and received, and then various types of information can be transmitted and received after communication connection using this. The wireless communication chip refers to a chip that performs communication according to various communication standards, such as IEEE, ZigBee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), and Long Term Evolution (LTE). In particular, the communication unit may receive various information from an external device (eg, a content server providing product images, etc.). For example, the communication unit may receive various indoor images, product information, and product images from an external device, and store the received information in a memory.
레이저는 병변부를 가이드하기 위한 구성이다. 구체적으로 레이저는 점(포인트) 형태의 레이저 및 링 형태의 레이저를 포함할 수 있다. 다만, 본 발명의 다양한 실시예에 따라, 레이저는 전자 장치(100)와 독립된 장치로 구현될 수 있음은 물론이다.The laser is configured to guide the lesion. Specifically, the laser may include a point (point) type laser and a ring type laser. However, according to various embodiments of the present invention, of course, the laser may be implemented as a device independent of the
디스플레이 장치(200)는 병변부와 관련된 2차원 이미지가 변환된 3차원 증강현실을 표시하기 위한 구성이다. 구체적으로, 디스플레이 장치(200)는 전자 장치(100)로부터 증강현실에 관한 영상을 수신하여 표시할 수 있다.The
도 3은 본 발명의 일 실시예에 따른 유방 영상에 의해 획득된 병변부 판단 시스템의 제어 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a control method of a system for determining a lesion area obtained by a breast image according to an embodiment of the present invention.
단계 S110에서, 전자 장치(100)가, 병변부와 관련된 2차원 이미지(이하, 제1 이미지)를 획득할 수 있다. 이때, 제1 이미지는, 기 촬영된 MRI 영상, CT 영상, 초음파 영상 및 엑스레이 영상 중 적어도 하나의 영상일 수 있다. 즉, 제1 이미지는 실제 수술 전 병변부 판단을 위해 획득되는 모든 종류의 이미지일 수 있다. 예를 들어, 전자 장치(100)는 도 2b에 도시된 바와 같은 이미지를 제1 이미지로 획득할 수 있다.In operation S110 , the
단계 S120에서, 전자 장치(100)가, 제1 이미지를 인공지능 모델에 입력하여 병변부에 대한 정보를 출력할 수 있다.In operation S120 , the
일 실시예로, 전자 장치(100)는 도 4a에 도시된 바와 같이, 제1 이미지를 바탕으로 병변부의 위치가 유두를 기준으로 왼쪽 15 ° 방향으로 5cm 거리에 존재함을 판단할 수 있다. 나아가, 전자 장치(100)는 유두의 높이(Projection)를 함께 획득하여 병변부의 깊이를 파악할 수 있음은 물론이다. 후술하는 바와 같이, 레이저는 도 4b에 도시된 바와 같이, 인공지능 모델에 의해 획득된 병변부의 위치로 레이저를 조사할 수 있음은 물론이다.As an embodiment, as shown in FIG. 4A , the
구체적으로, 전자 장치(100)는 병변부에 관한 정보를 출력하기 위한 구성으로, 이미지 획득부, 데이터 생성부, 데이터 전처리부, 학습부 및 판단부를 포함할 수 있다. 다만, 전자 장치(100)의 구성이 앞서 개시된 것들로 한정되는 것은 아니다. 예를 들어, 전자 장치(100)는 정보를 저장하기 위한 데이터베이스를 더 포함할 수 있다.Specifically, the
이미지 획득부는 복수의 제1 이미지를 획득할 수 있다. The image acquisition unit may acquire a plurality of first images.
데이터 생성부는 데이터 세트를 생성할 수 있다. 이때 데이터 세트는 동일한 병명에 대응되는 복수의 제1 이미지를 그루핑한 세트를 의미할 수 있다. The data generator may generate a data set. In this case, the data set may mean a set in which a plurality of first images corresponding to the same disease name are grouped.
또는, 데이터 세트는 제1 이미지에 대응되는 환자에 대한 정보를 매칭한 세트를 의미할 수 있다. 이 경우, 환자 정보는 환자의 성별, 나이, 키, 몸무게, 가족력 등의 다양한 정보를 포함할 수 있다. 환자 정보는 이하 설명되는 학습부에서 합성곱신경망 구조의 결과물과 함께 완전 연결 신경망에 입력되는 데이터일 수 있으며, 제1 이미지 외의 정보를 인공신경망을 입력으로 함으로써 보다 정확도를 향상시키는 효과가 존재할 수 있다 Alternatively, the data set may refer to a set in which information about a patient corresponding to the first image is matched. In this case, the patient information may include various information such as the patient's gender, age, height, weight, family history, and the like. The patient information may be data input to a fully connected neural network together with the result of the convolutional neural network structure in the learning unit to be described below, and there may be an effect of further improving accuracy by inputting information other than the first image to the artificial neural network.
또한, 데이터 생성부는 딥러닝 알고리즘 적용을 위한 학습용 데이터 세트 및 검증용 데이터 세트를 생성할 수 있다. 데이터 세트를 인공신경망 학습에 요구되는 학습용 데이터 세트 및 인공신경망의 학습의 진행 정보를 검증하기 위한 검증용 데이터 세트로 분류하여 데이터 세트를 생성할 수 있다. 일 실시예로, 데이터 생성부는 이미지 획득부로부터 획득된 제1 이미지 중 랜덤하게 학습용 데이터 세트에 활용될 이미지 및 검증용 데이터 세트에 활용된 이미지를 분류할 수 있다. 또한, 데이터 생성부는 검증용 데이터 세트를 선택한 나머지를 데이터 세트를 학습용 데이터 세트로 사용할 수 있다. 검증용 데이터 세트는 랜덤하게 선택될 수 있다. 검증용 데이터 세트 및 학습용 데이터 세트의 비율은 미리 설정된 기준값에 의해 결정될 수 있다. 이때, 미리 설정된 기준값은 검증용 데이터 세트의 비율이 10%, 학습용 데이터 세트의 비율이 90%로 설정될 수 있으나, 이에 한정되는 것은 아니다. In addition, the data generator may generate a training data set and a verification data set for applying the deep learning algorithm. The data set may be generated by classifying the data set into a training data set required for artificial neural network learning and a validation data set for verifying learning progress information of the artificial neural network. In an embodiment, the data generator may classify an image to be used in a data set for training and an image to be used for a data set for verification, among the first images acquired from the image acquirer. In addition, the data generator may use the remainder of the selection of the data set for verification as the data set for training. The data set for verification may be randomly selected. A ratio of the data set for verification and the data set for training may be determined by a preset reference value. In this case, as for the preset reference value, the ratio of the verification data set may be set to 10% and the ratio of the training data set to 90%, but is not limited thereto.
데이터 생성부는 과적합 상태를 방지하기 위해 학습용 데이터 세트 및 검증용 데이터 세트를 구분하여 데이터 세트를 생성할 수 있다. 예를 들어, 신경망 구조의 학습 특성상 학습용 데이터 세트는 과적합 상태가 될 수 있기 때문에, 데이터 생성부는 검증용 데이터 세트를 활용하여, 인공신경망의 과적합 상태가 되는 것을 방지할 수 있다.The data generator may generate a data set by dividing a data set for training and a data set for verification in order to prevent an overfitting state. For example, since the training data set may be in an overfitting state due to the learning characteristics of the neural network structure, the data generator may prevent the artificial neural network from becoming overfitted by using the verification data set.
이때, 검증용 데이터 세트는 학습용 데이터 세트와 중복되지 않는 데이터 세트일 수 있다. 검증용 데이터는 인공신경망 구축에 사용되지 않은 데이터이므로, 검증 작업 시에 인공신경망에서 처음 접하는 데이터일 수 있다. 따라서 검증용 데이터 세트는 새로운 이미지(학습에 사용되지 않은 신규 이미지)가 입력으로 들어올 경우, 인공신경망의 성능 평가에 적절한 데이터 세트일 수 있다. In this case, the data set for verification may be a data set that does not overlap with the data set for training. Since the data for verification is data that has not been used in the construction of the artificial neural network, it may be data that is first encountered in the artificial neural network during verification work. Therefore, the data set for verification may be a data set suitable for evaluating the performance of an artificial neural network when a new image (a new image not used for training) is input.
전처리부는 딥러닝 알고리즘에 적용 가능하도록 데이터 세트를 전처리할 수 있다. 전처리부는 딥러닝 알고리즘에서 인식 성능을 높이고 환자 간 영상과의 유사성을 최소화하기 위해 데이터 세트를 전처리할 수 있다. 딥러닝 알고리즘은 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어질 수 있다. The preprocessor may preprocess the data set to be applicable to the deep learning algorithm. The preprocessor can preprocess the data set to improve recognition performance in deep learning algorithms and to minimize similarity with images between patients. A deep learning algorithm can consist of two parts: a structure of convolutional neural networks and a structure of fully-connected neural networks.
한편, 본원의 일 실시예에 따르면, 전처리부는 5단계의 전처리 과정을 수행할 수 있다. 제1 이미지를, 자르기, 평행 이동, 색상 조정, 뒤집기 중 적어도 하나의 전처리 과정을 수행할 수 있다. Meanwhile, according to an embodiment of the present application, the preprocessor may perform a preprocessing process of five steps. At least one of cropping, translation, color adjustment, and flipping the first image may be performed.
전처리부는 미리 설정된 기준값에 대응되도록 전처리 과정을 수행할 수 있다. 미리 설정된 기준값은 사용자가 임의로 지정한 값일 수 있다. 또한, 미리 설정된 기준값을 획득된 제1 이미지의 평균값에 의해 결정된 값을 수 있다. 전처리부를 거친 데이터 세트는 학습부로 제공될 수 있다. The preprocessor may perform a preprocessing process to correspond to a preset reference value. The preset reference value may be a value arbitrarily designated by a user. In addition, the preset reference value may be a value determined by the average value of the obtained first image. The data set passed through the preprocessor may be provided to the learning unit.
학습부는 전처리 과정을 거친 데이터 세트를 입력으로 하고 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망을 구축할 수 있다. The learning unit can build an artificial neural network through learning that takes as an input a data set that has undergone a preprocessing process and outputs an item related to a lesion classification result as an output.
본원의 일 실시예에 따르면, 학습부는 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어진 딥러닝 알고리즘을 적용하여 병변 분류 결과를 출력으로 할 수 있다. 완전연결 심층 신경망은 노드 간에 횡적/종적으로 2차원적 연결을 이루고, 서로 같은 층에 위치한 노드 간에는 연결 관계가 존재하지 않으며, 바로 인접한 층에 위치한 노드들 간에만 연결 관계가 존재할 수 있다는 것을 특징으로 하는 신경망이다. According to an embodiment of the present application, the learning unit can output the lesion classification result by applying a deep learning algorithm consisting of two parts: a Convolutional Neural Networks structure and a Fully-connected Neural Networks structure. have. A fully connected deep neural network is characterized in that two-dimensional connections are made horizontally/vertically between nodes, there is no connection relationship between nodes located on the same layer, and only between nodes located in the immediately adjacent layer. is a neural network that
학습부는 전처리 과정을 거친 학습용 데이터 세트를 입력으로 하는 합성곱신경망과, 합성곱신경망의 출력을 완전연결 심층 신경망의 입력으로 하는 학습을 통한 훈련 모델을 구축할 수 있다. The learning unit can build a training model through learning using a convolutional neural network as an input to a training data set that has undergone pre-processing as an input, and a fully connected deep neural network using the output of the convolutional neural network as an input.
본원의 일 실시예에 따르면 합성곱신경망은 제1 이미지를 분석하는 복수의 특정 특징 패턴을 추출할 수 있다. 이때, 추출된 특정 특징 패턴은 완전연결 심층 신경망에서 최종 분류를 하는데 사용될 수 있다. According to an embodiment of the present application, the convolutional neural network may extract a plurality of specific feature patterns for analyzing the first image. In this case, the extracted specific feature pattern can be used for final classification in a fully connected deep neural network.
합성곱신경망(Convolutional Neural Networks)은 음성 인식이나 이미지 인식에서 주로 사용되는 신경망의 한 종류이다. 다차원 배열 데이터를 처리하도록 구성되어 있어, 컬러 이미지와 같은 다차원 배열 처리에 특화되어 있다. 따라서 이미지 인식 분야에서 딥러닝을 활용한 기법은 대부분 합성곱신경망을 기초로 할 수 있다. Convolutional Neural Networks are a type of neural network mainly used in speech recognition and image recognition. It is configured to process multidimensional array data, and is specialized for multidimensional array processing such as color images. Therefore, most of the techniques using deep learning in the image recognition field can be based on convolutional neural networks.
합성곱신경망(CNN)은 이미지를 하나의 데이터가 아닌, 여러 개로 분할하여 처리할 수 있다. 이렇게 하면 이미지가 왜곡되더라도 이미지의 부분적 특성을 추출할 수 있어 올바른 성능을 낼 수 있다. A convolutional neural network (CNN) can process an image by dividing it into several pieces, not just one piece of data. In this way, even if the image is distorted, the partial characteristics of the image can be extracted and correct performance can be achieved.
합성곱신경망은 복수의 층 구조로 이루어질 수 있다. 각각의 층을 구성하는 요소는 합성곱 층, 활성화 함수, max pooling 층, 활성화 함수, dropout 층으로 구성될 수 있다. 합성곱 층은 kernel이라 불리는 필터 역할을 하여 전체 이미지(또는 생성된 새로운 특징 패턴)를 부분적으로 처리한 것들이 이미지와 같은 크기의 새로운 특징 패턴(feature pattern)을 추출할 수 있다. 합성곱 층은 특징 패턴에서 활성화 함수를 통해 특징 패턴의 값들을 처리하기 편하게 보정할 수 있다. max pooling 층은 일부 제1 이미지를 샘플링(sampling) 하여 크기를 조절하여 이미지의 크기를 줄일 수 있다. 합성곱신경망은 합성곱 층 및 max pooling 층을 거쳐, 특징 패턴(feature pattern)의 크기는 줄어들게 되지만, 복수의 kernel 활용을 통해 복수의 특징 패턴(feature pattern)을 추출할 수 있다. dropout층은 합성곱신경망의 가중치들을 훈련할 때 효율적인 훈련을 위해 일부 가중치들을 의도적으로 고려하지 않는 방법일 수 있다. 한편, dropout층은 훈련된 모델을 통해 실제 테스트를 하는 경우에는 적용하지 않을 수 있다. The convolutional neural network may have a plurality of layer structures. The elements constituting each layer may be composed of a convolutional layer, an activation function, a max pooling layer, an activation function, and a dropout layer. The convolutional layer acts as a filter called a kernel, so that partial processing of the entire image (or a new feature pattern generated) can extract a new feature pattern of the same size as the image. The convolutional layer can easily correct the values of the feature pattern through an activation function in the feature pattern. The max pooling layer may reduce the size of the image by adjusting the size by sampling some of the first image. The convolutional neural network goes through the convolutional layer and the max pooling layer, so that the size of the feature pattern is reduced, but a plurality of feature patterns can be extracted by utilizing a plurality of kernels. The dropout layer may be a method that does not intentionally consider some weights for efficient training when training the weights of the convolutional neural network. On the other hand, the dropout layer may not be applied when an actual test is performed through a trained model.
합성곱신경망에서 추출된 복수의 특징 패턴(feature pattern)은 다음 단계인 완전연결 심층 신경망으로 전달되어 분류 작업을 하는 데 활용될 수 있다. 합성곱신경망은 층의 개수를 조절할 수 있다. 합성곱신경망은 층의 개수는 모델 훈련을 위한 훈련용 데이터의 양에 맞추어 조절함으로써 보다 안정된 모델을 구축할 수 있다. A plurality of feature patterns extracted from the convolutional neural network can be transferred to the next step, a fully connected deep neural network, and used for classification. Convolutional neural networks can control the number of layers. Convolutional neural networks can build more stable models by adjusting the number of layers according to the amount of training data for model training.
또한, 학습부는 전처리 과정을 거친 학습용 데이터 세트를 합성곱신경망의 입력으로 하고, 합성곱신경망의 출력 및 환자 정보를 완전연결 심층 신경망의 입력으로 하는 학습을 통한 판단(훈련) 모델을 구축할 수 있다. 달리 말해, 학습부는 전처리 과정을 거친 이미지 데이터가 우선적으로 합성곱신경망으로 들어가도록 하고, 합성곱신경망을 거치고 나온 결과물이 완전연결 심층 신경망에 들어가도록 할 수 있다. 또한, 학습부는 임의로 추출된 특징(feature)들은 합성곱신경망을 거치지 않고, 곧바로 완전연결 심층 신경망으로 들어가도록 할 수 있다. In addition, the learning unit can build a judgment (training) model through learning that uses the pre-processed learning data set as an input to the convolutional neural network, and the output of the convolutional neural network and patient information as input to the fully connected deep neural network. . In other words, the learning unit may allow the image data that has undergone the preprocessing process to enter the convolutional neural network preferentially, and the result from the convolutional neural network to enter the fully connected deep neural network. In addition, the learning unit may allow arbitrarily extracted features to enter the fully connected deep neural network without going through the convolutional neural network.
학습부는 트레이닝 데이터를 딥러닝 알고리즘 구조(합성곱신경망을 거쳐 완전연결 심층 신경망으로 형성된 구조)에 적용시켜 도출되는 결과와 실제 결과와의 오차를 비교하여 해당 오차에 해당하는 만큼 신경망 구조의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 알고리즘을 통해 결과가 피드백되어 학습될 수 있다. 역전파(backpropagation) 알고리즘은 결과의 오차(실제값과 결과값이 차이)를 줄이기 위해 각 노드에서 다음 노드로 이어지는 가중치를 조절하는 것일 수 있다. 학습부는 학습용 데이터 세트와 검증용 데이터 세트를 이용하여 신경망을 학습시켜 가중치 매개 변수를 구하여 최종 판단 모델을 도출하는 것일 수 있다. The learning unit compares the error between the result obtained by applying the training data to the deep learning algorithm structure (structure formed into a fully connected deep neural network through a convolutional neural network) with the actual result, and gradually increases the weight of the neural network structure as much as the error corresponds to the error. The result can be fed back and learned through a backpropagation algorithm that changes it to . The backpropagation algorithm may be to adjust the weight from each node to the next node in order to reduce the error of the result (the difference between the actual value and the result value). The learning unit may be to derive a final judgment model by learning a neural network using a training data set and a verification data set to obtain a weight parameter.
판단부는 신규 데이터 세트를 전처리 과정을 거친 후 인공신경망을 통해 병변부 판단을 수행할 수 있다. 달리 말해, 판단부는 앞서 설명된 학습부에서 도출된 최종 판단 모델을 이용하여 신규 데이터에 대한 판단을 도출할 수 있다. 신규 데이터는 사용자가 판단하고자 하는 제1 이미지를 포함하는 데이터 일 수 있다. 신규 데이터 세트는 신규 제1 이미지를 환자 정보와 연계하여 생성된 데이터 세트일 수 있다. 신규 데이터 세트는 전처리부의 전처리 과정을 거쳐 딥러닝 알고리즘에 적용 가능한 상태로 전처리될 수 있다. 이후 전처리된 신규 데이터 세트는 학습부에 입력되어, 학습 파라미터를 기반으로 제1 이미지가 판단될 수 있다. The determination unit may preprocess the new data set and then determine the lesion through the artificial neural network. In other words, the determination unit may derive a determination on the new data by using the final determination model derived from the learning unit described above. The new data may be data including the first image to be determined by the user. The new data set may be a data set generated by associating the new first image with patient information. The new data set can be preprocessed in a state applicable to the deep learning algorithm through the preprocessing process of the preprocessor. Thereafter, the preprocessed new data set may be input to the learning unit, and the first image may be determined based on the learning parameters.
상술한 과정을 바탕으로, 전자 장치(100)는 제1 이미지를 인공지능 모델에 입력하여 병변부를 판단할 수 있다. 나아가, 전자 장치(100)는, 병변부를 판단하기 이전에, 제 이미지를 바탕으로 병의 유무를 판단하는 단계, 판단된 병이 실제의 질병인지에 대한 확률 정보를 획득하는 단계 및 병변부의 위치를 주변 색상과 다르게 표시하는 단계의 과정을 더 수행할 수 있음은 물론이다.Based on the above-described process, the
단계 S130에서, 전자 장치(100)는, 카메라를 통해 인체 이미지(이하 제2 이미지)를 획득할 수 있다.In operation S130 , the
이 경우, 전자 장치(100)는 인체 이미지를 바탕으로 자세 변화(유방 영상을 촬영할 때의 자세 및 수술시 자세의 변화) 및 중력 방향 변화에 대한 정보를 획득하여, 유방의 이동 위치를 판단한 후, 이동된 유방의 위치를 바탕으로 예상되는 병변부의 위치를 디스플레이 장치(200)에 표시할 수 있다.In this case, the
구체적으로, 단계 S140에서, 전자 장치(100)가, 획득된 제2 이미지 및 병변부에 대한 정보를 바탕으로, 제2 이미지 상의 병변부를 획득할 수 있다.Specifically, in operation S140 , the
구체적으로, 기존의 유방 촬영술의 경우, 유방을 압박한 후 촬영이 진행되기 때문에, 제1 이미지에 포함된 유방의 모양 및 형태와 제2 이미지에 포함된 유방의 모양 및 형태가 상이할 수 있으며, 이에 따라, 병변부의 위치 또한 차이가 존재하게 된다.Specifically, in the case of conventional mammography, since the imaging is performed after the breast is compressed, the shape and shape of the breast included in the first image and the shape and shape of the breast included in the second image may be different, Accordingly, there is also a difference in the location of the lesion.
따라서, 전자 장치(100)는, 실제 수술 대상 환자를 촬영하여 제2 이미지를 획득하고, 제1 이미지의 정보를 이용하여 제2 이미지 상에서 정확한 병변부의 위치를 판단하는 과정을 수행할 수 있다.Accordingly, the
구체적으로, 전자 장치(100)는 제1 이미지 및 제2 이미지를 바탕으로, 제1 이미지에서의 유방의 형태와 제2 이미지에서의 유방의 형태를 획득할 수 있다.Specifically, the
전자 장치(100)는, 제1 이미지에서의 유방의 형태 및 제1 이미지로부터 판단된 병변부를 기초로, 유방의 형태와 제2 이미지에서의 유방의 형태에 대응되는 제2 이미지에서의 병변부를 획득할 수 있다.The
또 다른 실시예로, 전자 장치(100)는 제1 이미지 및 제2 이미지에서 변하지 않는 위치에 대한 정보를 바탕으로 제2 이미지 상의 병변부를 판단할 수 있다. 구체적으로, 전자 장치(100)는, 제1 이미지 상에 포함된 쇄골의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제1 기준점 정보를 획득하고, 제2 이미지 상에 포함된 쇄골의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제2 기준점 정보를 획득할 수 있다.As another embodiment, the
이후, 전자 장치(100)는 제1 기준점 정보 및 제2 기준점 정보를 바탕으로 제2 이미지에서의 유방의 형태를 획득할 수 있다.Thereafter, the
즉, 쇄골 또는 배꼽에 대한 위치 정보는 제1 이미지 및 제2 이미지 상에서 변경되지 않으므로, 전자 장치(100)는 제1 이미지 및 제2 이미지 상에서 쇄골의 위치 정보 및 배꼽의 위치 정보를 획득할 수 있다. 나아가, 여성의 유방의 경우, 유두를 중심으로 혈관이 분포하고 있으므로, 전자 장치(100)는 제1 이미지 상의 유두의 위치 정보 및 병변부의 위치를 기초로, 제2 이미지 상의 유두의 위치 정보에 대응되는 실제 병변부의 위치를 판단할 수 있다.That is, since the location information on the clavicle or the navel is not changed on the first image and the second image, the
결론적으로, 제1 이미지와 제2 이미지 각각에서 표시된 환자의 신체 크기 정보가 다르므로, 전자 장치(100)는 쇄골 또는 배꼽에 대한 위치 정보를 기초로 제1 이미지 및 제2 이미지간의 비율 정보를 획득하여 보정하고, 제1 이미지 상의 유두의 위치 정보 및 병변부의 위치 정보. 제2 이미지 상의 유두의 위치 정보를 바탕으로 실제 병변부의 위치를 판단할 수 있다.As a result, since the patient's body size information displayed in each of the first image and the second image is different, the
단계 S150에서, 디스플레이 장치(200)가, 제2 이미지 상의 병변부를 3차원 증강현실로 표시할 수 있다.In step S150, the
구체적으로, 전자 장치(100)는 제1 이미지를 전처리 과정, 합성 과정, 배경 투사 과정 그리고 후처리 과정을 통해 3차원 의료 영상으로 생성할 수 있다. 여기서, 생성된 3차원 의료 영상은 수술 대상 장기의 크기, 장기의 위치, 주변 조직과의 위치, 병변 위치와 병변의 크기, 혈관 위치 등 제1 이미지가 포함하는 정보를 동일하게 포함할 수 있다.Specifically, the
즉, 전자 장치(100)는 입력된 수술 대상 장기의 제1 이미지에서 노이즈를 제거하고 영상 품질을 향상시키고, 편이 보정(Bias Correction) 등의 전처리 작업을 수행하여 3차원 의료 영상으로 변환하기 적합한 상태의 전처리된 의료 영상을 생성할 수 있다. 전자 장치(100)는 전처리된 의료 영상을 합성하고 배경을 투사하여 3차원 의료 영상으로 생성할 수 있다.That is, the
전자 장치(100)가 생성한 3차원 의료 영상을 통해 의사는 수술 대상 장기의 전체 외관, 내부 혈관 조직, 병변 조직, 주변 기관이나 장기의 위치, 주변 기관이나 장기의 구조 등을 파악할 수 있다. 그리고 전자 장치(100)는 수술 대상 장기에 있는 병변, 수술 대상 장기의 내부 혈관 조직 등이 수술 대상 장기의 표면으로부터 얼마만큼의 깊이에 위치하는지 나타내는 위치 정보를, 3차원 좌표계를 이용하여 생성하여 3차원 의료 영상에 포함시킬 수 있다.Through the 3D medical image generated by the
전자 장치(100)가 제1 이미지를 전처리하고, 합성, 배경을 투사하는 방법, 그리고 3차원 좌표계를 이용하여 깊이 정보를 추출하고 이를 함께 제공하는 것은 다양한 방법을 통해 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정되지 않는다.Since the
일 실시예에 따라, 전자 장치(100)는 생성한 3차원 의료 영상으로부터 필터링을 위해 사용될 임계값을 계산할 수 있다. 여기서 필터링에 사용되는 임계값은 3차원 의료 영상을 나타내는 그레이 스케일(gray scale)의 특정 값을 의미할 수 있다.According to an embodiment, the
예를 들어, CT 영상인 제1 이미지에서 뼈는 밝게 나타나고, 기타 조직(상피조직, 결합조직, 근육조직, 신경조직)들은 어둡게 나타난다. 그리고 혈관의 밝기와 병변의 밝기가 뼈의 밝기와 기타 조직의 밝기 사이의 밝기로 보인다면, 뼈와 기타 조직, 혈관, 병변 등의 밝기를 숫자로 표현할 수 있다.For example, in the first image, which is a CT image, bones appear bright, and other tissues (epithelial tissue, connective tissue, muscle tissue, and nervous tissue) appear dark. In addition, if the brightness of blood vessels and the brightness of lesions is seen as the brightness between the brightness of bones and the brightness of other tissues, the brightness of bones and other tissues, blood vessels, lesions, etc. can be expressed numerically.
그러므로, 전자 장치(100)는 혈관과 병변의 밝기에 해당하는 수치를 기준으로 그레이 스케일의 임계값을 설정할 수 있다. 본 발명의 실시예에서는 전자 장치(100)가 임계값을 계산하는 것을 예로 하여 설명하나 반드시 이와 같이 한정되는 것은 아니다. 또한, 3차원 의료 영상으로부터 임계값을 계산하는 방법을 어느 하나의 방법으로 한정하지 않는다.Therefore, the
단계 S160에서, 전자 장치(100)가, 획득된 제2 이미지 상의 병변부에 대응되는 위치를 레이저로 조사할 수 있다.In operation S160, the
구체적으로, 전자 장치(100)는, 유방 내 병변부의 깊이를 가이드하기 위한 제1 레이저를 조사하고, 유방 내 병변부의 위치를 가이드하기 위한 제2 레이저를 조사할 수 있다.Specifically, the
이때, 제1 레이저는 링형태로 조사되고, 제2 레이저는 점형태로 조사될 수 있다. 구체적으로, 도 5에 도시된 바와 같이, 제1 레이저는 링 형태의 폐곡선을 가지는 레이저로서, 폐곡선에 의해 생성된 단면 상에 병변부가 위치하도록 조사될 수 있다. 한편, 제2 레이저는 병변부의 위치를 가이드하기 위한 레이저로서, 레이저가 조사된 포인트를 기준으로 수직한 중력방향 상에 병변부가 위치되도록 조사될 수 있다. 다만, 다양한 실시예에 따라, 제2 레이저가 비스듬히 조사되는 경우, 제2 레이저의 조사 방향의 연장선 상에 병변부가 위치하도록 제2 레이저가 조사될 수 있음은 물론이다.In this case, the first laser may be irradiated in a ring shape, and the second laser may be irradiated in a dot shape. Specifically, as shown in FIG. 5 , the first laser is a laser having a ring-shaped closed curve, and may be irradiated so that the lesion is located on a cross section created by the closed curve. Meanwhile, the second laser is a laser for guiding the position of the lesion, and may be irradiated so that the lesion is located in the direction of gravity perpendicular to the point where the laser is irradiated. However, according to various embodiments, when the second laser is irradiated obliquely, of course, the second laser may be irradiated so that the lesion is located on the extension line in the irradiation direction of the second laser.
한편, 수술이 시작되고, 의사가 병변부를 정확히 찾아낸 경우, 병변부에 대한 3차원 증강현실을 더 이상 필요하지 않은 경우가 존재할 수 있다. 이 경우, 디스플레이 장치(200)는 증강현실을 표시하는 대신, 수술 영상을 실시간으로 표시할 수 있다. On the other hand, when the operation starts and the doctor accurately finds the lesion, there may be a case where the 3D augmented reality for the lesion is no longer needed. In this case, the
구체적으로, 차원 증강현실로 표시된 병변부를 바탕으로 수술 집도가 시작된 경우, 전자 장치(100)가, 제2 이미지를 실시간으로 촬영하여 디스플레이 장치(120)를 통해 표시할 수 있다.Specifically, when a surgical operation is started based on the lesion displayed in dimensional augmented reality, the
이 경우, 전자 장치(100)는, 집도의의 음성 신호를 분석하여, 집도의에게 도움이 되는 영상을 표시하도록 디스플레이 장치를 제어할 수 있다. 일 실시예로, 전자 장치(100)가, 수술의 집도의의 음성 신호를 수신하고, 전자 장치(100)가, 음성 신호을 분석하여 디스플레이 장치(200)에 표시된 실시간 이미지를 확대 또는 축소하도록 디스플레이 장치(200)를 제어할 수 있다.In this case, the
구체적으로, 전자 장치(100)는, 음성 신호에 기초하여 신호 세기 정보를 획득하고, 세기 정보가 기 설정된 값 이상인 경우 실시간 이미지를 확대할 수 있다. 즉, 음성 신호의 세기가 큰 경우 다급한 상황으로 판단하고, 전자 장치(100)는 실시간 영상을 확대하여 정밀한 수술이 가능하도록 보조할 수 있다.Specifically, the
다만, 이에 한정되는 것은 아니고, 전자 장치(100)는 음성 신호의 세기 정보와 기본 세기 정보의 비율 정보를 바탕으로 확대 정도를 결정할 수 있음은 물론이다.However, the present invention is not limited thereto, and it goes without saying that the
구체적으로, 전자 장치(100)는 집도의의 평균 음성 신호 세기 정보와, 수술 중 발생하는 음성 신호 세기 정보의 비율에 대응되게 실시간 영상을 확대할 수 있다.Specifically, the
이때, 평균 음성 신호 세기 정보는 집도의의 음성 신호를 분석하여 획득될 수 있다. 구체적으로, 평균 음성 신호 세기 정보는 집도의의 과거 동일 또는 유사한 수술에서의 음성 신호를 수집하고, 수집된 음성 신호의 평균 음성 신호 세기 정보를 산출함으로서 획득될 수 있다.In this case, the average voice signal strength information may be obtained by analyzing the surgeon's voice signal. Specifically, the average voice signal strength information may be obtained by collecting voice signals in the same or similar surgery performed by a surgeon in the past, and calculating average voice signal strength information of the collected voice signals.
또는, 전자 장치(100)는 음성 신호의 음절 간격 정보를 획득하고, 음절 간격 정보가 기 설정된 간격 미만인 경우, 실시간 이미지를 확대할 수 있다. 다만, 이에 한정되는 것은 아니고, 전자 장치(100)는 음절 간격 정보와 기본 음절 간격 정보의 비율 정보를 바탕으로 확대 정도를 결정할 수 있음은 물론이다.Alternatively, the
구체적으로, 전자 장치(100)는 음성 신호에 포함된 음절 중에서 어느 하나의 음절의 종료 시점과 어느 하나의 음절의 다음 음절의 시작 시점 간에 제1 시간차를 산출하고, 복수의 제1 시간차의 평균 시간차를 음절 간격 정보로 생성할 수 있다.Specifically, the
이후, 전자 장치(100)는 기준 시간차 대비 음절 간격 정보가 나타내는 평균 시간차의 시간차 비율을 산출하고, 기본 확대 비율도에 시간차 비율을 적용하여 실시간 영상의 확대 정도를 산출할 수 있다.Thereafter, the
예를 들어, 전자 장치(100)는 평균 시간차가 "12msec"이고, 기준 시간차가 "10msec"이며, 기본 확대 배율이 "1배 확대"인 경우, 시간차 비율을 "120%"로 산출하고, 기본 확대 배율 "1배 확대"에 시간차 비율 "120%"를 적용하여 확대 비율을 속도 정보를 "1.2배 확대"로 산출할 수 있다.For example, when the average time difference is “12 msec”, the reference time difference is “10 msec”, and the basic magnification is “1x magnification,” the
이때, 평균 시간차는 집도의의 음성 신호를 분석하여 획득될 수 있다. 구체적으로, 평균 시간차는 집도의의 과거 동일 또는 유사한 수술에서의 음성 신호를 수집하고, 수집된 음성 신호의 평균 음절 간격 정보를 산출함으로서 획득될 수 있다.In this case, the average time difference may be obtained by analyzing the surgeon's voice signal. Specifically, the average time difference may be obtained by collecting voice signals in the same or similar surgery performed by the surgeon in the past, and calculating average syllable spacing information of the collected voice signals.
도 6은 본 발명의 일 실시예에 따른 장치의 구성도이다.6 is a block diagram of an apparatus according to an embodiment of the present invention.
프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.The
일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 3과 관련하여 설명된 방법을 수행한다.The
예를 들어, 프로세서(102)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 신규 학습용 데이터를 획득하고, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하고, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하고, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하고, 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시킬 수 있다. For example, the
한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다. On the other hand, the
메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.The
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in relation to the embodiment of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or implemented by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.The components of the present invention may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium. Components of the present invention may be implemented as software programming or software components, and similarly, embodiments may include various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs, including C, C++ , Java, assembler, etc. may be implemented in a programming or scripting language. Functional aspects may be implemented in an algorithm running on one or more processors.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. As mentioned above, although embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
100 : 전자 장치
200 : 디스플레이 장치100: electronic device
200: display device
Claims (8)
상기 전자 장치가, 병변부와 관련된 2차원 이미지를 획득하는 단계;
상기 전자 장치가, 상기 병변부와 관련된 2차원 이미지를 인공지능 모델에 입력하여 병변부에 대한 정보를 출력하는 단계;
상기 전자 장치의 카메라를 통해 인체 이미지를 획득하는 단계;
상기 전자 장치가, 획득된 상기 인체 이미지 및 상기 병변부에 대한 정보를 바탕으로, 상기 인체 이미지 상의 병변부를 획득하는 단계;
상기 디스플레이가, 상기 인체 이미지 상의 병변부를 3차원 증강현실로 표시하는 단계;및
상기 전자 장치가, 상기 획득된 인체 이미지 상의 병변부에 대응되는 위치를 레이저로 조사하는 단계; 를 포함하고,
상기 인체 이미지 상의 병변부를 획득하는 단계는,
상기 병변부와 관련된 2차원 이미지 및 상기 인체 이미지를 바탕으로, 상기 병변부와 관련된 2차원 이미지에서의 상기 유방의 형태와 상기 인체 이미지에서의 유방의 형태를 획득하는 단계; 를 포함하고,
상기 인체 이미지에서의 유방의 형태를 획득하는 단계는,
상기 병변부와 관련된 2차원 이미지 상에 포함된 쇄골의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제1 기준점 정보를 획득하는 단계;
상기 인체 이미지 상에 포함된 쇄골의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제2 기준점 정보를 획득하는 단계; 및
상기 제1 기준점 정보 및 상기 제2 기준점 정보를 바탕으로 상기 인체 이미지에서의 유방의 형태를 획득하는 단계;를 포함하는 제어 방법.A method for controlling a lesion portion determination system obtained by a breast image including an electronic device and a display device, the method comprising:
acquiring, by the electronic device, a two-dimensional image related to the lesion;
outputting, by the electronic device, information on the lesion part by inputting a two-dimensional image related to the lesion part into an artificial intelligence model;
acquiring a human body image through a camera of the electronic device;
acquiring, by the electronic device, a lesion part on the human body image based on the acquired information on the human body image and the lesion part;
displaying, by the display, the lesion part on the human body image in 3D augmented reality; and
irradiating, by the electronic device, a position corresponding to the lesion on the acquired human body image with a laser; including,
The step of obtaining the lesion on the human body image includes:
acquiring the shape of the breast in the two-dimensional image related to the lesion and the shape of the breast in the human body image, based on the two-dimensional image and the human body image related to the lesion; including,
The step of obtaining the shape of the breast in the human body image,
acquiring first reference point information including location information of the clavicle, location information of the nipple, and location information of the navel included on the two-dimensional image related to the lesion;
acquiring second reference point information including location information of the clavicle, location information of the nipple, and location information of the navel included on the human body image; and
and acquiring a shape of a breast in the human body image based on the first reference point information and the second reference point information.
상기 병변부와 관련된 2차원 이미지는, 기 촬영된 엑스레이, 초음파, CT, MRI 영상 중 적어도 하나의 영상인 것을 특징으로 하는 제어 방법.According to claim 1,
The two-dimensional image related to the lesion part is a control method, characterized in that the image is at least one of pre-imaged X-ray, ultrasound, CT, and MRI image.
상기 인체 이미지 상의 병변부를 획득하는 단계는,
상기 병변부와 관련된 2차원 이미지에서의 상기 유방의 형태 및 상기 병변부와 관련된 2차원 이미지로부터 판단된 병변부를 기초로, 상기 유방의 형태와 상기 인체 이미지에서의 유방의 형태에 대응되는 상기 인체 이미지에서의 병변부를 획득하는 단계; 를 더 포함하는 제어 방법.According to claim 1,
The step of obtaining the lesion on the human body image includes:
The human body image corresponding to the shape of the breast and the shape of the breast in the human body image based on the shape of the breast in the two-dimensional image related to the lesion and the lesion part determined from the two-dimensional image related to the lesion. obtaining a lesion in A control method further comprising a.
상기 레이저로 조사하는 단계는,
상기 유방 내 병변부의 깊이를 가이드하기 위한 제1 레이저를 조사하는 단계; 및
상기 유방 내 병변부의 위치를 가이드하기 위한 제2 레이저를 조사하는 단계; 를 포함하고,
상기 제1 레이저는 링형태로 조사되고, 상기 제2 레이저는 점형태로 조사되는 것을 특징으로 하는 제어 방법.According to claim 1,
The step of irradiating with the laser,
irradiating a first laser to guide the depth of the lesion in the breast; and
irradiating a second laser to guide the location of the lesion in the breast; including,
The first laser is irradiated in the form of a ring, the second laser is a control method, characterized in that irradiated in the form of a dot.
상기 제어 방법은,
상기 전자 장치가, 상기 인체 이미지를 실시간으로 촬영하여 상기 디스플레이를 통해 표시하는 단계;
상기 전자 장치가, 수술의 집도의의 음성 신호를 수신하는 단계;
상기 전자 장치가, 상기 음성 신호을 분석하여 상기 디스플레이에 표시된 실시간 이미지를 확대 또는 축소하는 단계;를 포함하고,
상기 실시간 이미지를 확대 또는 축소하는 단계는,
상기 음성 신호에 기초하여 신호 세기 정보를 획득하는 단계;
상기 세기 정보가 기 설정된 값 이상인 경우 상기 실시간 이미지를 확대하는 단계;
상기 음성 신호의 음절 간격 정보를 획득하는 단계; 및
상기 음절 간격 정보가 기 설정된 간격 미만인 경우, 상기 실시간 이미지를 확대하는 단계; 를 포함하는 제어 방법.According to claim 1,
The control method is
capturing, by the electronic device, the human body image in real time and displaying it on the display;
receiving, by the electronic device, a voice signal of a surgeon;
Enlarging or reducing, by the electronic device, the real-time image displayed on the display by analyzing the voice signal;
Enlarging or reducing the real-time image includes:
obtaining signal strength information based on the voice signal;
enlarging the real-time image when the intensity information is greater than or equal to a preset value;
obtaining syllable spacing information of the voice signal; and
enlarging the real-time image when the syllable interval information is less than a preset interval; A control method comprising a.
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
제1 항의 방법을 수행하는, 장치.a memory storing one or more instructions; and
a processor executing the one or more instructions stored in the memory;
The processor by executing the one or more instructions,
An apparatus for performing the method of claim 1 .
A computer program stored in a computer-readable recording medium in combination with a computer, which is hardware, to perform the method of claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200076119A KR102446345B1 (en) | 2020-06-23 | 2020-06-23 | Control method, apparatus and program for lesion determination system obtained by breast imaging |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200076119A KR102446345B1 (en) | 2020-06-23 | 2020-06-23 | Control method, apparatus and program for lesion determination system obtained by breast imaging |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210158441A KR20210158441A (en) | 2021-12-31 |
| KR102446345B1 true KR102446345B1 (en) | 2022-09-23 |
Family
ID=79177588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200076119A KR102446345B1 (en) | 2020-06-23 | 2020-06-23 | Control method, apparatus and program for lesion determination system obtained by breast imaging |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102446345B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240071848A (en) | 2022-11-16 | 2024-05-23 | 주식회사 브랜드콘텐츠 | Ultrasound medical image diagnosis system based on artificial intelligence for breast cancer diagnosis |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010000133A (en) * | 2008-06-18 | 2010-01-07 | Konica Minolta Medical & Graphic Inc | Image display, image display method and program |
| US20140348404A1 (en) * | 2013-05-22 | 2014-11-27 | Siemens Aktiengesellschaft | Semantic navigation and lesion mapping from digital breast tomosynthesis |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170011854A (en) * | 2015-07-24 | 2017-02-02 | 주식회사 테라클 | Display apparatus and method for realizing picture thereof |
| KR101988531B1 (en) | 2017-07-04 | 2019-09-30 | 경희대학교 산학협력단 | Navigation system for liver disease using augmented reality technology and method for organ image display |
| KR102114089B1 (en) * | 2017-12-27 | 2020-05-22 | 경북대학교 산학협력단 | Laser projection apparatus and control method thereof, laser guidance system including the apparatus |
-
2020
- 2020-06-23 KR KR1020200076119A patent/KR102446345B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010000133A (en) * | 2008-06-18 | 2010-01-07 | Konica Minolta Medical & Graphic Inc | Image display, image display method and program |
| US20140348404A1 (en) * | 2013-05-22 | 2014-11-27 | Siemens Aktiengesellschaft | Semantic navigation and lesion mapping from digital breast tomosynthesis |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240071848A (en) | 2022-11-16 | 2024-05-23 | 주식회사 브랜드콘텐츠 | Ultrasound medical image diagnosis system based on artificial intelligence for breast cancer diagnosis |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210158441A (en) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7125700B2 (en) | X-ray fluoroscopy apparatus and X-ray fluoroscopy method | |
| KR102013806B1 (en) | Method and apparatus for generating artificial data | |
| US11151721B2 (en) | System and method for automatic detection, localization, and semantic segmentation of anatomical objects | |
| US7648460B2 (en) | Medical diagnostic imaging optimization based on anatomy recognition | |
| JP6629094B2 (en) | Ultrasound diagnostic apparatus, medical image processing apparatus, and medical image processing program | |
| JP7413147B2 (en) | Image processing device, image processing method, and program | |
| KR20120111871A (en) | Method and apparatus for creating medical image using 3d deformable model | |
| JP2012205899A (en) | Image generating method and system of body organ using three-dimensional model and computer readable recording medium | |
| CN109512464A (en) | A kind of disorder in screening and diagnostic system | |
| KR20190046471A (en) | Method for processing of medical image and medical image processing apparatus thereof | |
| CN109770943A (en) | A kind of ultrasonic automatic optimization method positioned using computer vision | |
| CN109730768A (en) | A kind of cardiac thoracic surgery supplementary controlled system and method based on virtual reality | |
| JP2022527007A (en) | Auxiliary imaging device, control method and device for analysis of movement disorder disease | |
| KR20130143434A (en) | Method and apparatus for tracking focus of high-intensity focused ultrasound | |
| KR102446345B1 (en) | Control method, apparatus and program for lesion determination system obtained by breast imaging | |
| JP7332463B2 (en) | Control device, optical coherence tomography device, control method for optical coherence tomography device, and program | |
| Gaber et al. | Automated grading of facial paralysis using the Kinect v2: a proof of concept study | |
| CA3239159A1 (en) | Surgery assisting system, surgery assisting method, and surgery assisting program | |
| CN117611753B (en) | Facial shaping and repairing auxiliary system and method based on artificial intelligent reconstruction technology | |
| CN111466952B (en) | Real-time conversion method and system for ultrasonic endoscope and CT three-dimensional image | |
| KR20220102172A (en) | Control method, apparatus, and program of lesion determination system acquired through real-time image | |
| KR102400525B1 (en) | System control method, device and program for acquiring 3D position information based on 2D breast image | |
| KR20140021109A (en) | Method and system to trace trajectory of lesion in a moving organ using ultrasound | |
| CN112515705B (en) | Method and system for projection profile enabled computer-aided detection | |
| JP6990540B2 (en) | Video processing equipment, video processing methods, and video processing programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |