KR20220012407A - Image segmentation method and apparatus, electronic device and storage medium - Google Patents

Abstract

본 발명은 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다. 상기 방법은, 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계; 및 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계를 포함한다.The present invention relates to an image segmentation method and apparatus, an electronic device and a storage medium. The method includes: predicting pixels belonging to a target object in an image to be processed, and obtaining a preliminary segmented image corresponding to the image to be processed; and adjusting a pixel value of a predicted pixel that does not belong to the target object in the closed area included in the edge of the target object in the preliminary segmented image according to the edge information of the target object of the image to be processed, and obtaining a first segmentation result corresponding to the image to be segmented.

Description

이미지 분할 방법 및 장치, 전자 기기 및 저장 매체Image segmentation method and apparatus, electronic device and storage medium

관련 출원의 상호 참조Cross-referencing of related applications

본 발명은 출원번호가 202010827077.1이고, 출원일이 2020년 08월 17일인 중국 특허 출원을 기반으로 제출되고, 해당 중국 특허 출원의 우선권을 주장하는 바, 해당 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.The present invention is filed based on a Chinese patent application with an application number of 202010827077.1 and an application date of August 17, 2020, and claims the priority of the Chinese patent application. All contents of the Chinese patent application are incorporated herein by reference. are cited

본 발명은 이미지 처리 기술 분야에 관한 것으로, 특히 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다.The present invention relates to the field of image processing technology, and more particularly to an image segmentation method and apparatus, an electronic device and a storage medium.

이미지 분할은 이미지를 고유 특성을 가진 다수의 특정된 영역으로 나누고 관심 타깃을 제안하는 기술 및 과정을 가리킨다. 이미지 분할은 이미지 처리에서 이미지 분석에 이르는 핵심 단계이다. 관련 기술의 이미지 분할 방법은 주로 임계값에 기반한 분할 방법, 영역에 기반한 분할 방법, 에지에 기반한 분할 방법 및 특정 이론에 기반한 분할 방법 등 몇 가지로 분류된다.Image segmentation refers to techniques and processes that divide an image into a number of specified regions with unique characteristics and suggest targets of interest. Image segmentation is a key step from image processing to image analysis. Image segmentation methods in the related art are mainly classified into several categories, such as a segmentation method based on a threshold value, a segmentation method based on an area, an edge-based segmentation method, and a segmentation method based on a specific theory.

본 발명은 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체를 제공한다.The present invention provides an image segmentation method and apparatus, an electronic device, and a storage medium.

본 발명의 제1 측면에 따르면,According to a first aspect of the present invention,

처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계; 및predicting pixels belonging to a target object in the image to be processed, and obtaining a preliminary segmented image corresponding to the image to be processed; and

상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계를 포함하는 이미지 분할 방법을 제공한다.According to the edge information of the target object of the image to be processed, in the preliminary segmented image, pixel values of predicted pixels that do not belong to the target object are adjusted in the closed area included in the edge of the target object to be processed. There is provided an image segmentation method comprising the step of obtaining a first segmentation result corresponding to the image.

처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하고, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득함으로써, 보다 정확하고 강건한 분할 결과를 획득할 수 있다.Predicting a pixel belonging to a target object in the image to be processed to obtain a preliminary segmented image corresponding to the image to be processed, and according to edge information of the target object of the image to be processed, in the preliminary segmented image, the target object A more accurate and robust segmentation result can be obtained by adjusting the pixel value of a predicted pixel that does not belong to the target object in the closed region included at the edge of . .

일 가능한 구현 형태에서, 상기 예비 분할 이미지에서, 상기 타깃 객체에 속하는 예측된 픽셀의 픽셀값은 제1 사전 설정 값이고, 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값은 제2 사전 설정 값이며;In one possible implementation form, in the preliminary segmentation image, a pixel value of a predicted pixel belonging to the target object is a first preset value, a pixel value of a predicted pixel not belonging to the target object is a second preset value, ;

상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계는,According to the edge information of the target object of the image to be processed, in the preliminary segmented image, pixel values of predicted pixels that do not belong to the target object are adjusted in the closed area included in the edge of the target object to be processed. Obtaining the first segmentation result corresponding to the image comprises:

상기 예비 분할 이미지에서 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 필링된 예비 분할 이미지를 획득하는 단계; 및obtaining a filled preliminary divided image by adjusting a pixel value of a closed region in which the pixel value is the second preset value in the preliminary divided image to the first preset value; and

상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 상기 제1 분할 결과를 획득하는 단계를 포함한다.and obtaining the first segmentation result corresponding to the image to be processed by adjusting pixel values of the filled preliminary segmented image according to edge information of the target object of the image to be processed.

상기 구현 형태는 상기 예비 분할 이미지에서 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 필링된 예비 분할 이미지를 획득함으로써, 처리할 이미지에 대응되는 제1 분할 결과가 타깃 객체의 기관 내부를 커버할 수 있도록 하며, 예를 들어, 폐 내부 등 폐의 실질적인 부분, 소화관(예를 들어, 위장관)의 내부 등을 커버한다. 즉, 상기 구현 형태를 사용함으로써, 이미지 분할 후 타깃 객체 내부(예를 들어, 인체 내)에 누락된 구멍을 메울 수 있다. 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득함으로써, 처리할 이미지 중의 배경 부분(즉 타깃 객체에 속하지 않는 부분)이 타깃 객체에 속하는 것으로 분할되는 확률을 줄일 수 있다.The implementation form is to obtain a filled preliminary divided image by adjusting a pixel value of a closed area, in which the pixel value is the second preset value, to the first preset value in the preliminary divided image, corresponding to the image to be processed. The first segmentation result may cover the inside of the organ of the target object, for example, cover a substantial part of the lung, such as the inside of the lung, the inside of the digestive tract (eg, the gastrointestinal tract), and the like. That is, by using the above implementation form, it is possible to fill in the missing hole in the target object after image segmentation (eg, in the human body). According to the edge information of the target object of the image to be processed, pixel values of the pre-segmented filled image are adjusted to obtain a first segmentation result corresponding to the image to be processed, so that a background part of the image to be processed (that is, It is possible to reduce the probability that the part that does not belong to the target object) is divided into that which belongs to the target object.

일 가능한 구현 형태에서, 상기 예비 분할 이미지에서 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 필링된 예비 분할 이미지를 획득하는 단계는,In one possible implementation form, obtaining a filled preliminary segmented image by adjusting a pixel value of a closed region in which the pixel value is the second preset value in the preliminary segmented image to the first preset value,

상기 예비 분할 이미지의 주변에 사전 설정 폭의 변을 접합하여, 접합된 예비 분할 이미지를 획득하는 단계 - 접합된 상기 사전 설정 폭의 변의 픽셀의 픽셀값은 상기 제2 사전 설정값임 - ; 및joining a side of the preset width to the periphery of the preliminary segmented image to obtain a spliced preliminary segmented image, wherein a pixel value of a pixel of the spliced side of the preset width is the second preset value; and

상기 접합된 예비 분할 이미지의 이미지 에지의 픽셀을 시드 포인트로 선택하고, 상기 접합된 예비 분할 이미지에 대해 플러드 필링 조작을 수행하여, 상기 필링된 예비 분할 이미지를 획득하는 단계를 포함한다.selecting a pixel of an image edge of the spliced preliminary segmented image as a seed point, and performing a flood filling operation on the spliced preliminary segmented image to obtain the filled preliminary segmented image.

상기 예비 분할 이미지의 주변에 사전 설정 폭의 변을 접합하고, 상기 접합된 예비 분할 이미지의 이미지 에지의 픽셀을 시드 포인트로 선택함으로써, 플러드 필링 조작의 시드 포인트가 배경 부분(즉 타깃 객체에 속하지 않는 부분)에 속하도록 보장할 수 있어, 처리할 이미지에 대응되는 제1 분할 결과가 타깃 객체의 기관 내부를 커버할 수 있도록 하여, 보다 정확한 분할 결과를 획득한다.By splicing a side of a preset width around the periphery of the pre-segmented image, and selecting a pixel of an image edge of the spliced pre-segmented image as a seed point, the seed point of the flood filling operation is a background part (that is, not belonging to the target object). part), so that the first segmentation result corresponding to the image to be processed can cover the inside of the organ of the target object, thereby obtaining a more accurate segmentation result.

일 가능한 구현 형태에서, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 상기 제1 분할 결과를 획득하는 단계는,In one possible implementation form, the step of obtaining the first segmentation result corresponding to the image to be processed by adjusting the pixel value of the filled preliminary segmented image according to edge information of the target object of the image to be processed includes: ,

상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 상기 타깃 객체의 에지에 포함된 최대 연결 도메인을 결정하는 단계; 및determining, according to edge information of the target object of the image to be processed, a maximum connection domain included in an edge of the target object of the filled preliminary segmented image; and

상기 필링된 예비 분할 이미지에서 상기 최대 연결 도메인을 제외한 픽셀의 픽셀값을 상기 제2 사전 설정값으로 조정하여, 상기 처리할 이미지에 대응되는 상기 제1 분할 결과를 획득하는 단계를 포함한다.and obtaining the first segmentation result corresponding to the image to be processed by adjusting pixel values of pixels except for the maximum connection domain in the filled preliminary segmented image to the second preset value.

상기 구현 형태에 따르면, 타깃 객체에 연결되지 않는 거짓 양성 영역을 제거할 수 있어, 배경 부분이 타깃 객체에 속하는 것으로 잘못 분류될 확률을 크게 줄일 수 있으며, 이로써 이미지 분할의 정확성을 향상시킬 수 있다. 예를 들어, 타깃 객체가 인체이면, 상기 예시에 따라 인체에 연결되지 않는 거짓 양성 영역을 제거할 수 있어, 배경 부분(예를 들어, 침대 보드 등)이 인체에 속하는 것으로 잘못 분류될 확률을 크게 줄일 수 있다.According to the above implementation form, it is possible to remove the false positive region not connected to the target object, thereby greatly reducing the probability that the background part is incorrectly classified as belonging to the target object, thereby improving the accuracy of image segmentation. For example, if the target object is a human body, the false positive region that is not connected to the human body can be removed according to the above example, thereby greatly increasing the probability that a background part (eg, a bed board, etc.) is incorrectly classified as belonging to the human body. can be reduced

일 가능한 구현 형태에서, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계 후에, 상기 방법은,In one possible implementation form, after obtaining a first segmentation result corresponding to the image to be processed, the method comprises:

상기 처리할 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득하는 단계; 및obtaining an image adjacent to the image to be processed and a second division result corresponding to the adjacent image; and

상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하는 단계를 더 포함한다.obtaining a third segmentation result corresponding to the image to be processed by adjusting the first segmentation result according to the pixel value of a pixel at the same position in the image to be processed and the adjacent image, and the second segmentation result; further includes

상기 구현 형태에 따르면, 처리할 이미지와 제2 분할 결과의 연속성을 보장할 수 있어, 보다 매끄럽고 정확한 3차원 분할 결과를 획득하는데 도움이 된다. 예를 들어, 상기 타깃 객체가 인체이면, 처리할 이미지와 인접한 이미지의 인체의 연속성을 보장할 수 있어, 보다 매끄럽고 정확한 3차원 인체 분할 결과를 획득하는데 도움이 된다. 예를 들어, 상기 구현 형태를 사용하여 CT 이미지 시퀀스 중의 각 CT 이미지에 대응되는 분할 결과를 획득할 수 있고, 이로부터 보다 매끄럽고 정확한 3차원 인체 분할 결과를 획득한다.According to the above implementation form, it is possible to ensure the continuity of the image to be processed and the result of the second segmentation, which helps to obtain a smoother and more accurate three-dimensional segmentation result. For example, if the target object is a human body, it is possible to ensure the continuity of the human body between the image to be processed and the image adjacent to it, which helps to obtain a smoother and more accurate 3D human body segmentation result. For example, a segmentation result corresponding to each CT image in a CT image sequence may be obtained using the above implementation form, and a smoother and more accurate 3D body segmentation result may be obtained therefrom.

일 가능한 구현 형태에서, 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하는 단계는,In one possible implementation form, the first segmentation result is adjusted according to the pixel value of a pixel at the same position in the image to be processed and the adjacent image, and the second segmentation result, so that a third image corresponding to the image to be processed is adjusted. The steps to obtain the segmentation result are:

상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 상기 제3 분할 결과를 획득하는 단계를 포함한다.In the adjacent image, according to a pixel belonging to the target object in the second segmentation result, a difference value of a pixel value located at the same position as the image to be processed is less than or equal to a third preset value, the first segmentation and adjusting the result to obtain the third segmentation result corresponding to the image to be processed.

상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득함으로써, 상기 인접한 이미지에서 상기 처리할 이미지와 더 관련되는 픽셀에 대응되는 분할 결과에 따라, 상기 처리할 이미지에 대응되는 제1 분할 결과를 조정할 수 있어, 상기 처리할 이미지에 대응되는 최종 분할 결과의 정확성을 향상시키는데 도움이 된다.Adjusting the first segmentation result according to a pixel belonging to the target object in the second segmentation result, but having a difference value of a pixel value at the same position as the image to be processed is less than or equal to a third preset value, By obtaining a third segmentation result corresponding to the image to be processed, the first segmentation result corresponding to the image to be processed can be adjusted according to the segmentation result corresponding to a pixel more related to the image to be processed in the adjacent image This helps to improve the accuracy of the final segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 상기 제3 분할 결과를 획득하는 단계는,In one possible implementation form, in the adjacent image, a pixel belonging to the target object in the second segmentation result, wherein a difference value of a pixel value at the same position as the image to be processed is smaller than or equal to a third preset value Accordingly, adjusting the first segmentation result to obtain the third segmentation result corresponding to the image to be processed comprises:

상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하는 단계;obtaining a first set of pixels according to a pixel in which a difference value of a pixel value at the same position in the image to be processed and the adjacent image is less than or equal to a third preset value;

상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하는 단계; 및obtaining a second set of pixels according to a pixel belonging to the target object in the second division result of the first set of pixels; and

상기 제1 분할 결과에서 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 상기 제3 분할 결과를 획득하는 단계를 포함한다.and obtaining the third segmentation result corresponding to the image to be processed by adjusting the pixels of the second set of pixels in the first segmentation result to belong to the target object.

상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하고, 상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하며, 상기 제1 분할 결과에서 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득함으로써, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 더 관련되는 픽셀에 따라, 상기 처리할 이미지 대응되는 제1 분할 결과를 조정할 수 있어, 상기 처리할 이미지에 대응되는 최종 분할 결과의 정확성을 향상시키는데 도움이 된다.a first pixel set is obtained, according to a pixel in which a difference value of a pixel value at the same position of the image to be processed and the adjacent image is less than or equal to a third preset value, and the second division of the first set of pixels In the result, a second set of pixels is obtained according to the pixels belonging to the target object, and in the first division result, pixels of the second set of pixels are adjusted to belong to the target object, so that a second set of pixels corresponding to the image to be processed is obtained. By obtaining the 3 segmentation result, it is possible to adjust the first segmentation result corresponding to the image to be processed according to a pixel belonging to the target object in the second segmentation result and further related to the image to be processed. It helps to improve the accuracy of the final segmentation result corresponding to the image.

일 가능한 구현 형태에서,In one possible implementation form,

상기 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하는 단계 전에, 상기 방법은, 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라 신경망을 트레이닝하는 단계를 더 포함하고, 상기 트레이닝 이미지의 라벨링 데이터는 상기 트레이닝 이미지에서 상기 타깃 객체에 속하는 픽셀의 참값을 포함하며;Before predicting a pixel belonging to a target object in the image to be processed, the method further comprises training a neural network according to a training image and labeling data of the training image, wherein the labeling data of the training image is the training image. contains the true value of a pixel in the image belonging to the target object;

상기 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계는, 상기 처리할 이미지를 상기 신경망에 입력하고, 상기 신경망을 통해 상기 처리할 이미지에서 상기 타깃 객체에 속하는 픽셀의 정보를 예측하며; 상기 처리할 이미지에서 상기 타깃 객체에 속하는 픽셀의 정보에 따라, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계를 포함한다.The step of predicting a pixel belonging to a target object in the image to be processed and obtaining a preliminary segmented image corresponding to the image to be processed includes inputting the image to be processed into the neural network, and from the image to be processed through the neural network. predict information of pixels belonging to the target object; and acquiring a preliminary segmented image corresponding to the image to be processed according to information on pixels belonging to the target object in the image to be processed.

상기 구현 형태에서, 상기 신경망을 통해 상기 처리할 이미지에서 타깃 객체에 속하는 부분을 예측한다. 예를 들어, 상기 처리할 이미지가 CT 이미지이고, 상기 타깃 객체가 인체이면, 상기 구현 형태는 CT 이미지 중 다양한 침대 보드의 제거를 고려하지 않고, 즉 인체가 아닌 부분에 주목하지 않으며, CT 이미지 중의 인체 부분의 분할에 중점을 두어, 대량의 이형 침대 보드 데이터 하에서의 분할 결과의 정확성 및 강건성을 보장할 수 있다. 즉, 처리할 이미지에 이형 침대 보드가 포함될 지라도, 상기 구현 형태를 사용하여 정확하고 강건한 분할 결과를 획득할 수 있다.In the above implementation form, a portion belonging to a target object is predicted in the image to be processed through the neural network. For example, if the image to be processed is a CT image, and the target object is a human body, the implementation form does not consider the removal of various bedboards in the CT image, that is, does not pay attention to the non-human part, and does not pay attention to the non-human part of the CT image. By focusing on segmentation of human body parts, it is possible to ensure the accuracy and robustness of segmentation results under a large amount of deformable bedboard data. That is, even if the release bed board is included in the image to be processed, an accurate and robust segmentation result can be obtained by using the above implementation form.

일 가능한 구현 형태에서,In one possible implementation form,

상기 트레이닝 이미지는 전산화 단층 촬영(CT) 이미지이고;the training image is a computed tomography (CT) image;

상기 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라 신경망을 트레이닝하는 단계는, 사전 설정된 CT 값 범위에 따라, 상기 트레이닝 이미지의 픽셀값에 대해 정규화 처리를 수행하여, 정규화된 트레이닝 이미지를 획득하고; 상기 정규화된 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라, 상기 신경망을 트레이닝하는 단계를 포함한다.The training of the neural network according to the training image and the labeling data of the training image includes: performing normalization processing on the pixel values of the training image according to a preset CT value range to obtain a normalized training image; and training the neural network according to the normalized training image and the labeling data of the training image.

상기 구현 형태에서, 사전 설정된 CT 값 범위에 따라, 상기 트레이닝 이미지의 픽셀값에 대해 정규화 처리를 수행하여, 정규화된 트레이닝 이미지를 획득하고, 상기 정규화된 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라, 상기 신경망을 트레이닝함으로써, 상기 신경망의 계산량을 줄이고, 상기 신경망의 수렴 속도를 향상시키는데 도움이 된다.In the above implementation form, according to a preset CT value range, normalization processing is performed on the pixel values of the training image to obtain a normalized training image, and according to the normalized training image and the labeling data of the training image, By training the neural network, it is helpful to reduce the amount of computation of the neural network and to improve the convergence speed of the neural network.

본 발명의 일 측면에 따르면,According to one aspect of the present invention,

처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계;predicting pixels belonging to a target object in the image to be processed, and obtaining a preliminary segmented image corresponding to the image to be processed;

상기 처리할 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득하는 단계; 및obtaining an image adjacent to the image to be processed and a second division result corresponding to the adjacent image; and

상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계를 포함하는 이미지 분할 방법을 제공한다.obtaining a fourth division result corresponding to the image to be processed by adjusting the preliminary division image according to the pixel value of the pixel at the same position of the image to be processed and the adjacent image, and the second division result; It provides an image segmentation method including

일 가능한 구현 형태에서, 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계는,In one possible implementation form, the preliminary segmented image is adjusted according to the pixel value of the pixel at the same position in the image to be processed and the adjacent image, and the result of the second segmentation, so that a fourth segmentation corresponding to the image to be processed is performed. The steps to get the result are:

상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계를 포함한다.In the adjacent image, according to a pixel belonging to the target object in the second segmentation result, the difference value of the pixel value located at the same position as the image to be processed is smaller than or equal to a third preset value, the preliminary segmented image and obtaining a fourth segmentation result corresponding to the image to be processed by adjusting .

일 가능한 구현 형태에서, 상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계는,In one possible implementation form, in the adjacent image, a pixel belonging to the target object in the second segmentation result, wherein a difference value of a pixel value at the same position as the image to be processed is smaller than or equal to a third preset value Accordingly, adjusting the preliminary segmented image to obtain a fourth segmentation result corresponding to the image to be processed includes:

상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하는 단계;obtaining a first set of pixels according to a pixel in which a difference value of a pixel value at the same position in the image to be processed and the adjacent image is less than or equal to a third preset value;

상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하는 단계;obtaining a second set of pixels according to a pixel belonging to the target object in the second division result of the first set of pixels;

상기 예비 분할 이미지 중 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계를 포함한다.and obtaining a fourth segmentation result corresponding to the image to be processed by adjusting pixels of the second set of pixels among the preliminary segmented images to belong to the target object.

본 발명의 일 측면에 따르면,According to one aspect of the present invention,

처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하도록 구성되는 제1 분할 부분; 및a first segmentation part configured to predict a pixel belonging to a target object in an image to be processed, and to obtain a preliminary segmented image corresponding to the image to be processed; and

상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 제1 조정 부분을 포함하는 이미지 분할 장치를 제공한다.According to the edge information of the target object of the image to be processed, in the preliminary segmented image, pixel values of predicted pixels that do not belong to the target object are adjusted in the closed area included in the edge of the target object to be processed. There is provided an image segmentation apparatus including a first adjustment part for obtaining a first segmentation result corresponding to an image.

일 가능한 구현 형태에서, 상기 예비 분할 이미지에서, 상기 타깃 객체에 속하는 예측된 픽셀의 픽셀값은 제1 사전 설정 값이고, 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값은 제2 사전 설정 값이며;In one possible implementation form, in the preliminary segmentation image, a pixel value of a predicted pixel belonging to the target object is a first preset value, a pixel value of a predicted pixel not belonging to the target object is a second preset value, ;

상기 제1 조정 모듈은,The first adjustment module,

상기 예비 분할 이미지에서 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 필링된 예비 분할 이미지를 획득하고;adjusting a pixel value of a closed region in which the pixel value is the second preset value in the preliminary divided image to the first preset value to obtain a filled preliminary divided image;

상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득한다.A first segmentation result corresponding to the image to be processed is obtained by adjusting a pixel value of the filled preliminary segmented image according to edge information of the target object of the image to be processed.

일 가능한 구현 형태에서, 상기 제1 조정 모듈은,In one possible implementation form, the first adjustment module comprises:

상기 예비 분할 이미지의 주변에 사전 설정 폭의 변을 접합하여, 접합된 예비 분할 이미지를 획득하고, 접합된 상기 사전 설정 폭의 변의 픽셀의 픽셀값은 상기 제2 사전 설정값이며;splicing a side of a preset width on the periphery of the pre-divided image to obtain a spliced preliminary segmented image, wherein the pixel value of a pixel of the spliced side of the preset width is the second preset value;

상기 접합된 예비 분할 이미지의 이미지 에지의 픽셀을 시드 포인트로 선택하고, 상기 접합된 예비 분할 이미지에 대해 플러드 필링 조작을 수행하여, 필링된 예비 분할 이미지를 획득한다.A pixel of an image edge of the spliced preliminary segmented image is selected as a seed point, and a flood filling operation is performed on the spliced preliminary segmented image to obtain a filled preliminary segmented image.

일 가능한 구현 형태에서, 상기 제1 조정 모듈은,In one possible implementation form, the first adjustment module comprises:

상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 상기 타깃 객체의 에지에 포함된 최대 연결 도메인을 결정하고;determine, according to edge information of the target object of the image to be processed, a maximum connected domain included in an edge of the target object of the filled preliminary segmented image;

상기 필링된 예비 분할 이미지에서 상기 최대 연결 도메인을 제외한 픽셀의 픽셀값을 상기 제2 사전 설정값으로 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득한다.A first segmentation result corresponding to the image to be processed is obtained by adjusting pixel values of pixels except for the largest connection domain in the filled preliminary segmented image to the second preset value.

일 가능한 구현 형태에서, 상기 장치는,In one possible implementation form, the device comprises:

상기 처리할 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득하는 제2 획득 모듈; 및a second acquiring module for acquiring an image adjacent to the image to be processed and a second division result corresponding to the adjacent image; and

상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하는 제3 조정 모듈을 더 포함한다.a third division result corresponding to the image to be processed is obtained by adjusting the first division result according to the pixel value of the pixel at the same position of the image to be processed and the adjacent image, and the second division result 3 It further includes an adjustment module.

일 가능한 구현 형태에서, 상기 제3 조정 모듈은,In one possible implementation form, the third adjustment module comprises:

상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득한다.In the adjacent image, according to a pixel belonging to the target object in the second segmentation result, a difference value of a pixel value located at the same position as the image to be processed is less than or equal to a third preset value, the first segmentation By adjusting the result, a third segmentation result corresponding to the image to be processed is obtained.

일 가능한 구현 형태에서, 상기 제3 조정 모듈은,In one possible implementation form, the third adjustment module comprises:

상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하고;obtain a first set of pixels according to a pixel whose difference value of a pixel value at the same position in the image to be processed and the adjacent image is less than or equal to a third preset value;

상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하며;obtain a second set of pixels according to the pixel belonging to the target object in the second division result of the first set of pixels;

상기 제1 분할 결과에서 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득한다.A third segmentation result corresponding to the image to be processed is obtained by adjusting the pixels of the second set of pixels in the first segmentation result to belong to the target object.

일 가능한 구현 형태에서,In one possible implementation form,

상기 장치는 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라 신경망을 트레이닝하는 트레이닝 모듈을 더 포함하고, 상기 트레이닝 이미지의 라벨링 데이터는 상기 트레이닝 이미지에서 상기 타깃 객체에 속하는 픽셀의 참값을 포함하며;the apparatus further comprises a training image and a training module for training the neural network according to the labeling data of the training image, the labeling data of the training image including true values of pixels belonging to the target object in the training image;

상기 제1 분할 모듈은, 처리할 이미지를 상기 신경망에 입력하고, 상기 신경망을 통해 상기 처리할 이미지에서 타깃 객체에 속하는 픽셀의 정보를 예측하며; 상기 처리할 이미지에서 상기 타깃 객체에 속하는 픽셀의 정보에 따라, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득한다.the first segmentation module inputs an image to be processed into the neural network, and predicts information on pixels belonging to a target object in the image to be processed through the neural network; A preliminary segmented image corresponding to the image to be processed is acquired according to information on pixels belonging to the target object in the image to be processed.

일 가능한 구현 형태에서,In one possible implementation form,

상기 트레이닝 이미지는 전산화 단층 촬영(CT) 이미지이고;the training image is a computed tomography (CT) image;

상기 트레이닝 모듈은, 사전 설정된 CT 값 범위에 따라, 상기 트레이닝 이미지의 픽셀값에 대해 정규화 처리를 수행하여, 정규화된 트레이닝 이미지를 획득하고; 상기 정규화된 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라, 상기 신경망을 트레이닝한다.the training module performs normalization processing on the pixel values of the training image according to a preset CT value range to obtain a normalized training image; According to the normalized training image and the labeling data of the training image, the neural network is trained.

본 발명의 일 측면에 따르면,According to one aspect of the present invention,

처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하도록 구성되는 제2 분할 부분;a second segmentation part configured to predict pixels belonging to a target object in the image to be processed, and to obtain a preliminary segmented image corresponding to the image to be processed;

상기 처리할 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득하도록 구성되는 제1 획득 부분; 및a first acquiring portion configured to acquire an image adjacent to the image to be processed and a second segmentation result corresponding to the adjacent image; and

상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하도록 구성되는 제2 조정 부분을 포함하는 이미지 분할 장치를 제공한다.and adjusting the preliminary segmented image according to the pixel value of the pixel at the same position of the image to be processed and the adjacent image, and the second segmentation result to obtain a fourth segmentation result corresponding to the image to be processed. An image segmentation device including a second adjustment portion is provided.

일 가능한 구현 형태에서, 상기 제2 조정 모듈은,In one possible implementation form, the second adjustment module comprises:

상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득한다.In the adjacent image, according to a pixel belonging to the target object in the second segmentation result, the difference value of the pixel value located at the same position as the image to be processed is smaller than or equal to a third preset value, the preliminary segmented image to obtain a fourth segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 제2 조정 모듈은,In one possible implementation form, the second adjustment module comprises:

상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하고;obtain a first set of pixels according to a pixel whose difference value of a pixel value at the same position in the image to be processed and the adjacent image is less than or equal to a third preset value;

상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하며;obtain a second set of pixels according to the pixel belonging to the target object in the second division result of the first set of pixels;

상기 예비 분할 이미지 중 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득한다.A fourth segmentation result corresponding to the image to be processed is obtained by adjusting the pixels of the second set of pixels among the preliminary segmented images to belong to the target object.

본 발명의 일 측면에 따르면, 하나 또는 다수의 프로세서; 및 실행 가능 명령이 저장되도록 구성되는 메모리를 포함하는 전자 기기를 제공하고, 상기 하나 또는 다수의 프로세서는 상기 메모리에 저장된 실행 가능 명령을 호출하여, 상기 이미지 분할 방법을 수행하도록 구성된다.According to one aspect of the present invention, one or more processors; and a memory configured to store executable instructions, wherein the one or more processors are configured to call the executable instructions stored in the memory to perform the image segmentation method.

본 발명의 일 측면에 따르면, 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우, 프로세서로 하여금 상기 방법이 구현하도록 한다.According to one aspect of the present invention, there is provided a computer readable storage medium having computer program instructions stored thereon, and when the computer program instructions are executed by a processor, the processor causes the method to be implemented.

본 발명의 실시예에서, 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하고, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득함으로써, 보다 정확하고 강건한 분할 결과를 획득할 수 있다.In an embodiment of the present invention, by predicting a pixel belonging to a target object in an image to be processed, a preliminary segmented image corresponding to the image to be processed is obtained, and according to edge information of the target object of the image to be processed, the preliminary image In a segmented image, a first segmentation result corresponding to the image to be processed is obtained by adjusting the pixel value of a predicted pixel that does not belong to the target object in a closed area included in the edge of the target object, thereby providing a more accurate and robust The division result can be obtained.

본 발명의 일 측면에 따르면, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기의 프로세서는 상기 이미지 분할 방법을 수행한다.According to one aspect of the present invention, there is provided a computer program including computer readable code, and when the computer readable code is executed in an electronic device, the processor of the electronic device performs the image segmentation method.

위의 일반적인 설명 및 후술되는 세부사항에 대한 설명은 예시적이고 해석을 위한 것일 뿐, 본 발명을 제한하기 위함이 아니다.The general description above and the description of the details set forth below are illustrative and for interpretation purposes only, and not for limiting the present invention.

아래에서는 도면을 참고하여 예시적인 실시예에 대한 상세한 설명에 따르면, 본 발명의 다른 특징 및 양태도 더욱 뚜렷해질 것이다.Other features and aspects of the present invention will become more apparent in the following detailed description of exemplary embodiments with reference to the drawings.

여기서의 도면은 명세서에 병합되어 본 명세서의 일부분을 구성하고, 이러한 도면들은 본 발명에 부합되는 실시예를 나타내며, 명세서와 함께 본 발명의 기술적 해결수단을 해석하기 위한 것이다.
도 1a은 본 발명의 실시예에서 제공되는 이미지 분할 방법의 응용 시나리오 모식도 1이다.
도 1b는 본 발명의 실시예에서 제공되는 이미지 분할 방법의 응용 시나리오 모식도 2이다.
도 2는 본 발명의 실시예에서 제공되는 이미지 분할 방법의 흐름도이다.
도 3은 본 발명의 실시예에서 제공되는 U형 컨볼루션 신경망의 모식도이다.
도 4는 본 발명의 실시예에서 제공되는, 예비 분할 이미지의 주변에 사전 설정 폭의 변을 접합하여, 접합된 예비 분할 이미지를 획득하는 모식도이다.
도 5는 본 발명의 다른 실시예에서 제공되는 이미지 분할 방법의 흐름도이다.
도 6은 본 발명의 실시예에서 제공되는 이미지 분할 장치의 블록도이다.
도 7은 본 발명의 실시예에서 제공되는 이미지 분할 장치의 다른 블록도이다.
도 8은 본 발명의 실시예에서 제공되는 전자 기기(800)의 블록도이다.
도 9는 본 발명의 실시예에서 제공되는 전자 기기(1900)의 블록도이다.The drawings herein are incorporated in and constitute a part of this specification, and these drawings show embodiments consistent with the present invention, and together with the specification are for interpreting the technical solutions of the present invention.
1A is a schematic diagram 1 of an application scenario of an image segmentation method provided in an embodiment of the present invention.
1B is a schematic diagram 2 of an application scenario of an image segmentation method provided in an embodiment of the present invention.
2 is a flowchart of an image segmentation method provided in an embodiment of the present invention.
3 is a schematic diagram of a U-shaped convolutional neural network provided in an embodiment of the present invention.
4 is a schematic diagram of obtaining a joined preliminary segmented image by joining a side of a preset width to the periphery of the preliminary segmented image, provided in an embodiment of the present invention.
5 is a flowchart of an image segmentation method provided in another embodiment of the present invention.
6 is a block diagram of an image segmentation apparatus provided in an embodiment of the present invention.
7 is another block diagram of an image segmentation apparatus provided in an embodiment of the present invention.
8 is a block diagram of an electronic device 800 provided in an embodiment of the present invention.
9 is a block diagram of an electronic device 1900 provided in an embodiment of the present invention.

아래에서는 도면을 참고하여 본 발명의 다양한 예시적인 실시예, 특징 및 양태를 상세히 설명한다. 도면에서 동일한 도면 부호는 기능이 동일하거나 유사한 요소를 나타낸다. 도면에서 실시예의 다양한 방면을 도시하였을 지라도, 특별히 지적하지 않는 한, 비율에 따라 도면을 작성할 필요 없다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Various exemplary embodiments, features and aspects of the present invention will be described in detail below with reference to the drawings. In the drawings, the same reference numbers indicate elements having the same or similar functions. Although the drawings show various aspects of the embodiment, it is not necessary to draw the drawings according to proportions unless otherwise indicated.

여기에서 “예시적”이라는 전용 단어는 “예, 실시예 또는 예시로 사용됨”을 의미한다. 여기서 “예시적”으로 설명되는 임의의 실시예는 다른 실시예보다 우수하거나 더 나은 것으로 해석될 필요 없다.The dedicated word “exemplary” herein means “used as an example, embodiment, or illustration”. Any embodiment described herein as “exemplary” is not necessarily to be construed as superior or superior to another embodiment.

본 명세서의 용어 “및/또는”은 연관 대상을 설명하는 연관 관계로서, 3가지 관계가 존재할 수 있음을 나타내며, 예를 들면, A 및/또는 B는, A만 존재, A와 B가 동시에 존재, B만 존재하는 3가지 경우를 나타낼 수 있다. 이밖에, 본 명세서의 용어 “적어도 하나”는 여러 가지 중 어느 하나 또는 여러 가지 중 적어도 두 가지의 임의의 조합을 나타내며, 예를 들어, A, B, C 중 적어도 하나는 A, B 및 C로 구성된 집합에서 선택되는 어느 하나 또는 다수의 요소를 포함함을 나타낼 수 있다.As used herein, the term “and/or” is an association relationship that describes an object of association, indicating that three relationships may exist, for example, A and/or B, only A exists, and A and B exist simultaneously , we can represent three cases in which only B exists. In addition, the term “at least one” in the present specification refers to any one of several or any combination of at least two of several, for example, at least one of A, B, and C is A, B, and C. It may indicate including any one or a plurality of elements selected from the configured set.

이 밖에, 본 발명을 더욱 잘 설명하기 위해, 아래의 구체적인 실시형태에서는 많은 구체적인 세부사항이 제공된다. 본 기술분야의 통상의 기술자라면 일부 구체적인 세부사항 없이도 본 발명이 마찬가지로 구현될 수 있음을 이해해야 한다. 일부 구현예에서, 본 기술분야의 통상의 기술자에게 익숙한 방법, 수단, 요소 및 회로에 대하여 상세히 설명하지 않음으로써, 본 발명의의 요지를 뚜렷하게 한다.In addition, in order to better explain the present invention, numerous specific details are provided in the specific embodiments below. It should be understood by those skilled in the art that the present invention may be likewise embodied without some specific details. In some embodiments, the gist of the present invention is obscured by not describing in detail methods, means, elements and circuits familiar to those skilled in the art.

인체에 대해 전산화 단층 촬영(Computed Tomography, CT)을 수행하는 과정에서, CT 기기의 침대 보드는 스캔된 CT 이미지 시퀀스 중의 아티팩트가 된다. 이러한 아티팩트는 컴퓨터 지원 소프트웨어가 인체의 3차원 시각화(즉 CT 이미지 시퀀스에 따라 3차원의 인체 모델을 획득) 및 후속적인 처리를 수행하는 과정에서 큰 간섭을 일으키게 된다. 그 이유는 다양한 형상의 침대 보드가 3차원 시각화 시 인체를 차단하고, 인체내의 기관 분할 시 인체 외부의 일부 이형 침대 보드가 거짓 양성으로 인식될 수 있기 때문이다.In the process of performing Computed Tomography (CT) on the human body, the bedboard of the CT machine becomes an artifact in the scanned CT image sequence. These artifacts cause significant interference in the computer-aided software's three-dimensional visualization of the human body (ie, acquiring a three-dimensional model of the human body according to a sequence of CT images) and subsequent processing. The reason is that bedboards of various shapes block the human body during 3D visualization, and some variant bedboards outside the human body may be recognized as false positives when dividing organs within the human body.

관련 기술에서는 CT 이미지에 대해 인체 분할을 수행할 때, 주로 임계값 및 형태학적 동작을 통해 CT 이미지 중의 침대 보드를 제거하고, CT 이미지 중의 인체 부분을 유지한다. 일반적으로, 침대 보드의 형상, 침대 보드가 CT 이미지에서의 CT 값, 침대 보드가 CT 이미지에서의 CT 값의 균일한 정도는 모두 인체와 현저하게 구별되므로, 임계값 및 형태학적 동작 방법으로 제거할 수 있다. 그러나, 일부 비정상적인 상황의 경우, 관련 기술로는 정확한 분할 결과를 획득할 수 없다. 예를 들어, 인체에 밀착되는 곡선형 가죽 재질 침대 보드는 CT 이미지에서 인체에 밀착되어 경계가 뚜렷하지 않고, CT 값도 비교적 근접하여 인체와 분할하기 어렵다. 또 예를 들어, 침대 보드 양측에 배플이 구비되고, 인체의 팔이 배플 밖에 배치되며, 배플을 신체의 양쪽에 끼우는 경우에도, 관련 기술로는 CT 이미지에서 침대 보드를 분할해내기 어렵다. 여기서, CT 값은 인체 특정 국부 조직 또는 기관 밀도 크기를 측정하는 계산 단위이며, 하운스필드 유닛(Hounsfield Unit, HU)이라고도 한다.In the related art, when performing a human body segmentation on a CT image, a bed board in the CT image is mainly removed through a threshold value and a morphological operation, and the human body part in the CT image is maintained. In general, the shape of the bedboard, the CT value of the bedboard in the CT image, and the uniformity of the CT value in the CT image of the bedboard are all remarkably distinct from the human body, so can However, in some abnormal situations, it is impossible to obtain an accurate segmentation result with the related technology. For example, a curved leather bed board that closely adheres to the human body is in close contact with the human body in the CT image, so the boundary is not clear, and the CT value is also relatively close, making it difficult to divide it from the human body. Also, for example, even when baffles are provided on both sides of the bed board, the arms of the human body are disposed outside the baffle, and the baffles are sandwiched on both sides of the body, it is difficult to divide the bed board from the CT image with the related technology. Here, the CT value is a calculation unit for measuring the density of a specific local tissue or organ in the human body, and is also referred to as a Hounsfield Unit (HU).

상기와 유사한 기술적 과제를 해결하기 위해, 본 발명의 실시예는 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체를 제공하여, 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하고, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득함으로써, 보다 정확하고 강건한 분할 결과를 획득할 수 있다.In order to solve the technical problems similar to the above, an embodiment of the present invention provides an image segmentation method and apparatus, an electronic device and a storage medium, predicting pixels belonging to a target object in an image to be processed, and corresponding to the image to be processed Acquire a preliminary segmented image to become By adjusting the value to obtain a first segmentation result corresponding to the image to be processed, a more accurate and robust segmentation result may be obtained.

상기 이미지 분할 방법의 수행 주체는 이미지 분할 장치일 수 있다. 예를 들어, 상기 이미지 분할 방법은 단말 기기 또는 서버 또는 다른 처리 기기에 의해 수행될 수 있다. 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말기, 단말기, 셀룰러폰, 무선 전화, 개인 휴대 정보 단말기(Personal Digital Assistant, PDA), 핸드헬드 기기, 컴퓨팅 기기, 차량 탑재 기기 또는 웨어러블 기기 등일 수 있다. 일부 가능한 구현 형태에서, 상기 이미지 분할 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 방식으로 구현될 수 있다.A subject performing the image segmentation method may be an image segmentation apparatus. For example, the image segmentation method may be performed by a terminal device or a server or other processing device. Here, the terminal device includes a user equipment (UE), a mobile device, a user terminal, a terminal, a cellular phone, a wireless telephone, a personal digital assistant (PDA), a handheld device, a computing device, and a vehicle-mounted device. Alternatively, it may be a wearable device or the like. In some possible implementations, the image segmentation method may be implemented by invoking computer readable instructions stored in a memory via a processor.

이하, 본 발명의 실시예에서 제공되는 이미지 분할 방법의 응용 시나리오를 설명하기로 한다.Hereinafter, an application scenario of the image segmentation method provided in the embodiment of the present invention will be described.

일 가능한 구현 형태에서, 도 1a에 도시된 이미지 분할 방법의 응용 시나리오 모식도 1을 참조하면, 이미지 분할 장치(10)는 처리 장치(11) 및 이미지 수집 장치(12)를 포함할 수 있고, 이렇게, 이미지 분할 장치(11)는 이미지 수집 장치(12)를 통해 분할할 이미지를 수집하며, 처리 장치(12)를 통해 분할할 이미지에 대해 분할 처리를 수행하여 제1 분할 결과를 획득할 수 있다. 예를 들어, 이미지 분할 장치는 CT 스캐너를 통해 분할할 CT 이미지를 수집하며, 수집된 분할할 CT 이미지에 대해 이미지 분할 처리를 수행하는 CT 기계로 구현될 수 있다.In one possible implementation form, referring to the application scenario schematic diagram 1 of the image segmentation method shown in FIG. 1A , the image segmentation device 10 may include a processing device 11 and an image collecting device 12 , and thus, The image segmentation apparatus 11 may collect images to be segmented through the image collection device 12 , and may perform segmentation processing on the image to be segmented through the processing unit 12 to obtain a first segmentation result. For example, the image segmentation apparatus may be implemented as a CT machine that collects CT images to be segmented through a CT scanner and performs image segmentation processing on the collected CT images to be segmented.

다른 가능한 구현 형태에서, 도 1b에 도시된 이미지 분할 방법의 응용 시나리오 모식도 2를 참조하면, 이미지 분할 장치(10)는 다른 기기(13)가 네트워크(14)를 통해 전송한, 실시간으로 수집된 분할할 이미지를 수신할 수 있고, 이렇게, 이미지 분할 장치(10)는 수신된 분할할 이미지에 대해 분할 처리를 수행하여 제1 분할 결과를 획득할 수 있다. 예를 들어, 이미지 분할 장치는 스마트폰으로 구현될 수 있고, 스마트폰은 네트워크를 통해 CT 기계에 의해 송신된 분할할 CT 이미지를 수신할 수 있으며, 이렇게, 스마트폰은 수신된 분할할 CT 이미지에 대해 이미지 분할 처리를 수행할 수 있다.In another possible implementation form, referring to the application scenario schematic diagram 2 of the image segmentation method shown in FIG. 1B , the image segmentation apparatus 10 transmits the segmentation collected in real time by another device 13 through the network 14 . The image to be divided may be received, and in this way, the image division apparatus 10 may perform division processing on the received image to be divided to obtain a first division result. For example, the image segmentation apparatus may be implemented as a smart phone, and the smart phone may receive a CT image to be segmented transmitted by a CT machine via a network, and in this way, the smart phone may store the received CT image to segment Image segmentation processing may be performed on the .

상기 응용 시나리오에 기반하여, 본 발명의 실시예에서 제공되는 이미지 분할 방법을 설명하며, 도 2는 본 발명의 실시예에서 제공되는 이미지 분할 방법의 흐름도를 도시한다. 도 2에 도시된 바와 같이, 상기 이미지 분할 방법은 단계 S11 및 단계 S12를 포함한다.Based on the above application scenario, the image segmentation method provided in the embodiment of the present invention will be described, and FIG. 2 is a flowchart of the image segmentation method provided in the embodiment of the present invention. As shown in Fig. 2, the image segmentation method includes steps S11 and S12.

단계 S11에서, 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득한다.In step S11, pixels belonging to a target object are predicted in the image to be processed, and a preliminary segmented image corresponding to the image to be processed is obtained.

본 발명의 실시예에서, 처리할 이미지는 이미지 분할이 필요한 이미지를 나타낼 수 있다. 상기 처리할 이미지는 2차원 이미지일 수 있고, 3차원 이미지일 수도 있다. 일 가능한 구현 형태에서, 상기 처리할 이미지는 의학적 이미지일 수 있다. 예를 들어, 상기 처리할 이미지는 CT 이미지, MRI(Magnetic Resonance Imaging, 자기 공명 영상) 이미지 등일 수 있다. 물론, 상기 처리할 이미지는 의학적 이미지를 제외한 이미지 분할이 필요한 임의의 이미지일 수도 있다.In an embodiment of the present invention, the image to be processed may represent an image requiring image segmentation. The image to be processed may be a two-dimensional image or a three-dimensional image. In one possible implementation form, the image to be processed may be a medical image. For example, the image to be processed may be a CT image, a Magnetic Resonance Imaging (MRI) image, or the like. Of course, the image to be processed may be any image that requires image segmentation except for a medical image.

본 발명의 실시예에서, 타깃 객체는 분할이 필요한 객체를 나타낼 수 있다. 예를 들어, 타깃 객체는 인체, 동물체, 인체의 기관, 동물체의 기관 등일 수 있다.In an embodiment of the present invention, the target object may indicate an object requiring division. For example, the target object may be a human body, an animal body, an organ of a human body, or an organ of an animal body.

본 발명의 실시예에서, 처리할 이미지 중의 각 픽셀이 타깃 객체에 속하는지 여부를 예측할 수 있다. 예를 들어, 처리할 이미지 중의 각 픽셀이 타깃 객체에 속하는 확률을 예측할 수 있다. 처리할 이미지 중의 임의의 하나의 픽셀에 대해, 상기 픽셀이 타깃 객체에 속하는 확률이 사전 설정 임계값보다 크거나 같으면, 상기 픽셀이 타깃 객체에 속하는 것으로 판정할 수 있고, 상기 픽셀이 타깃 객체에 속하는 확률이 사전 설정 임계값보다 작으면, 상기 픽셀이 타깃 객체에 속하지 않는 것으로 판정할 수 있다. 예를 들어, 사전 설정 임계값은 0.5일 수 있다.In an embodiment of the present invention, it is possible to predict whether each pixel in an image to be processed belongs to a target object. For example, it is possible to predict the probability that each pixel in the image to be processed belongs to a target object. For any one pixel in the image to be processed, if the probability that the pixel belongs to the target object is greater than or equal to a preset threshold value, it can be determined that the pixel belongs to the target object, wherein the pixel belongs to the target object If the probability is less than a preset threshold, it may be determined that the pixel does not belong to the target object. For example, the preset threshold may be 0.5.

본 발명의 실시예에서, 처리할 이미지에서 타깃 객체에 속하는 예측된 픽셀에 따라, 처리할 이미지에 대응되는 이진화된 예비 분할 이미지를 획득할 수 있다. 여기서, 예비 분할 이미지의 사이즈는 처리할 이미지와 동일할 수 있다. 예를 들어, 처리할 이미지의 높이가 H이고 폭이 W이면, 예비 분할 이미지의 높이도 H이고 폭도 W이다. 일 가능한 구현 형태에서, 상기 예비 분할 이미지에서, 상기 타깃 객체에 속하는 예측된 픽셀의 픽셀값은 제1 사전 설정 값이고, 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값은 제2 사전 설정 값이며, 제1 사전 설정값은 제2 사전 설정값과 같지 않다. 예를 들어, 처리할 이미지 중의 임의의 하나의 픽셀의 경우,상기 픽셀이 타깃 객체에 속하는 것으로 예측되면, 예비 분할 이미지 중 상기 픽셀의 픽셀값은 제1 사전 설정값이고, 상기 픽셀이 타깃 객체에 속하지 않는 것으로 예측되면, 예비 분할 이미지 중 상기 픽셀의 픽셀값은 제2 사전 설정값이다. 예를 들어, 제1 사전 설정값은 1이고, 제2 사전 설정값은 0이며, 즉, 예비 분할 이미지에서 타깃 객체에 속하는 예측된 픽셀의 픽셀값은 1이고, 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값은 0이다. 본 발명의 실시예는 제1 사전 설정값 및 제2 사전 설정값의 값에 대해 한정하지 않으며, 제1 사전 설정값과 제2 사전 설정값은 상이하기만 하면 된다. 또 예를 들어, 제1 사전 설정값은 0일 수 있고, 제2 사전 설정값은 255일 수 있다.In an embodiment of the present invention, according to a predicted pixel belonging to a target object in the image to be processed, a binarized preliminary segmented image corresponding to the image to be processed may be obtained. Here, the size of the preliminary divided image may be the same as the image to be processed. For example, if the height of the image to be processed is H and the width is W, the pre-segmented image is also the height H and the width W. In one possible implementation form, in the preliminary segmentation image, a pixel value of a predicted pixel belonging to the target object is a first preset value, a pixel value of a predicted pixel not belonging to the target object is a second preset value, , the first preset value is not equal to the second preset value. For example, in the case of any one pixel in the image to be processed, if the pixel is predicted to belong to the target object, the pixel value of the pixel in the preliminary segmented image is a first preset value, and the pixel belongs to the target object. If it is predicted not to belong, the pixel value of the pixel in the preliminary segmented image is the second preset value. For example, the first preset value is 1, the second preset value is 0, that is, in the preliminary segmented image, the pixel value of the predicted pixel belonging to the target object is 1, and the predicted pixel not belonging to the target object has a pixel value of 0. The embodiment of the present invention does not limit the values of the first preset value and the second preset value, as long as the first preset value and the second preset value are different. Also, for example, the first preset value may be 0, and the second preset value may be 255.

일 가능한 구현 형태에서, 상기 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하는 단계 전에, 상기 방법은, 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라 신경망을 트레이닝하는 단계를 더 포함하고, 상기 트레이닝 이미지의 라벨링 데이터는 상기 트레이닝 이미지에서 상기 타깃 객체에 속하는 픽셀의 참값을 포함하며; 상기 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계는, 처리할 이미지를 상기 신경망에 입력하고, 상기 신경망을 통해 상기 처리할 이미지에서 타깃 객체에 속하는 픽셀의 정보를 예측하며; 상기 처리할 이미지에서 상기 타깃 객체에 속하는 픽셀의 정보에 따라, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계를 포함한다.In one possible implementation form, before predicting a pixel belonging to a target object in the image to be processed, the method further comprises training a neural network according to a training image and labeling data of the training image, the training image the labeling data of includes the true values of pixels belonging to the target object in the training image; The step of predicting pixels belonging to a target object in the image to be processed and obtaining a preliminary segmented image corresponding to the image to be processed includes inputting the image to be processed into the neural network, and selecting a target from the image to be processed through the neural network. predict information of pixels belonging to an object; and acquiring a preliminary segmented image corresponding to the image to be processed according to information on pixels belonging to the target object in the image to be processed.

상기 구현 형태의 일 예시로서, 상기 트레이닝 이미지의 라벨링 데이터는 상기 트레이닝 이미지에 대응되는 마스크를 포함할 수 있고, 상기 트레이닝 이미지에 대응되는 마스크의 사이즈는 상기 트레이닝 이미지와 동일할 수 있다. 상기 트레이닝 이미지에서, 임의의 하나의 픽셀의 참값이 타깃 객체에 속하면, 상기 트레이닝 이미지에 대응되는 마스크에서, 상기 픽셀의 픽셀값은 제1 사전 설정값일 수 있고, 예를 들어, 제1 사전 설정값은 1일 수 있으며, 상기 트레이닝 이미지에서, 상기 픽셀의 참값이 타깃 객체에 속하지 않으면, 상기 트레이닝 이미지에 대응되는 마스크에서, 상기 픽셀의 픽셀값은 제2 사전 설정값일 수 있고, 예를 들어, 제2 사전 설정값은 0일 수 있다. 물론, 상기 트레이닝 이미지의 라벨링 데이터는 마스크로 표시되는 것에 제한되지 않는다. 예를 들어, 상기 트레이닝 이미지의 라벨링 데이터는 행렬, 테이블 등 방식으로 표시될 수도 있다.As an example of the implementation form, the labeling data of the training image may include a mask corresponding to the training image, and the size of the mask corresponding to the training image may be the same as that of the training image. In the training image, if the true value of any one pixel belongs to the target object, in the mask corresponding to the training image, the pixel value of the pixel may be a first preset value, for example, the first preset value The value may be 1, and in the training image, if the true value of the pixel does not belong to the target object, in the mask corresponding to the training image, the pixel value of the pixel may be a second preset value, for example, The second preset value may be 0. Of course, the labeling data of the training image is not limited to being displayed as a mask. For example, the labeling data of the training image may be displayed in a matrix, table, or the like manner.

상기 구현 형태에서, 상기 트레이닝 이미지를 상기 신경망에 입력하고, 상기 신경망을 거쳐 상기 트레이닝 이미지의 예측 분할 결과를 출력할 수 있으며, 여기서, 상기 트레이닝 이미지의 예측 분할 결과는 상기 트레이닝 이미지 중의 각 픽셀이 타깃 객체에 속하는 확률을 포함할 수 있고; 상기 트레이닝 이미지의 라벨링 데이터, 및 상기 트레이닝 이미지의 예측 분할 결과에 따라, 상기 트레이닝 이미지에 대응되는 손실 함수의 값을 획득하며; 상기 트레이닝 이미지에 대응되는 손실 함수의 값에 따라, 상기 신경망을 트레이닝한다.In the above implementation form, the training image may be input to the neural network, and a predictive segmentation result of the training image may be output via the neural network, wherein the predictive segmentation result of the training image indicates that each pixel in the training image is a target. may include a probability of belonging to an object; obtaining a value of a loss function corresponding to the training image according to the labeling data of the training image and the prediction segmentation result of the training image; According to the value of the loss function corresponding to the training image, the neural network is trained.

상기 구현 형태의 일 예시로서, 상기 신경망에 의해 획득된 상기 트레이닝 이미지의 예측 분할 결과, 및 상기 트레이닝 이미지의 라벨링 데이터에 따라, 다이스(Dice) 손실 함수의 값을 획득할 수 있다. 예를 들어, 상기 신경망에 의해 획득된 트레이닝 이미지의 예측 분할 결과가 P이고, 상기 트레이닝 이미지의 라벨링 데이터가 M이면, Dice손실 함수의 값은

이다. 다른 예시에서, 교차 엔트로피 손실 함수 등 손실 함수를 사용할 수도 있다.As an example of the implementation, a value of a Dice loss function may be obtained according to a result of predictive segmentation of the training image obtained by the neural network and labeling data of the training image. For example, if the prediction segmentation result of the training image obtained by the neural network is P and the labeling data of the training image is M, the value of the Dice loss function is

to be. In another example, a loss function such as a cross entropy loss function may be used.

상기 구현 형태의 일 예시로서, 상기 손실 함수의 값은 역유도를 통해 계층별로 신경망의 각 파라미터에 전달될 수 있고, 적응 행렬 추정(Adaptive moment estimation, Adam)(예를 들어, 학습률은 0.0003임), 확률적 경사 하강법(Stochastic Gradient Descent, SGD) 등 옵티마이저를 사용하여 신경망의 파라미터를 업데이트할 수 있다.As an example of the implementation, the value of the loss function may be transmitted to each parameter of the neural network for each layer through inverse derivation, and adaptive moment estimation (Adam) (eg, the learning rate is 0.0003) , Stochastic Gradient Descent (SGD), etc., can be used to update the parameters of the neural network using an optimizer.

상기 구현 형태의 일 예시로서, 상기 신경망에 의해 예측된 상기 처리할 이미지에서 타깃 객체에 속하는 픽셀의 정보는, 상기 처리할 이미지 중의 각 픽셀이 타깃 객체에 속하는 확률을 포함할 수 있다. 상기 예시에서, 상기 처리할 이미지에서 상기 타깃 객체에 속하는 픽셀의 정보에 따라, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계는, 임의의 하나의 픽셀의 경우, 처리할 이미지에서 상기 픽셀이 타깃 객체에 속하는 확률이 사전 설정 임계값보다 크거나 같으면, 상기 처리할 이미지에 대응되는 예비 분할 이미지에서의 상기 픽셀의 픽셀값은 제1 사전 설정값인 단계; 상기 처리할 이미지에서 상기 픽셀이 타깃 객체에 속하는 확률이 사전 설정값보다 작으면, 상기 처리할 이미지에 대응되는 예비 분할 이미지에서의 상기 픽셀의 픽셀값은 제2 사전 설정값인 단계를 포함할 수 있다.As an example of the implementation, the information on pixels belonging to the target object in the image to be processed predicted by the neural network may include a probability that each pixel in the image to be processed belongs to the target object. In the above example, according to the information of the pixel belonging to the target object in the image to be processed, the step of obtaining a preliminary segmented image corresponding to the image to be processed includes, in the case of any one pixel, the pixel in the image to be processed if the probability of belonging to the target object is greater than or equal to a preset threshold, the pixel value of the pixel in the preliminary segmented image corresponding to the image to be processed is a first preset value; If the probability that the pixel belongs to the target object in the image to be processed is less than a preset value, the pixel value of the pixel in the preliminary segmented image corresponding to the image to be processed is a second preset value. have.

상기 구현 형태의 다른 예시로서, 상기 신경망에 의해 예측된 상기 처리할 이미지에서 타깃 객체에 속하는 픽셀의 정보는, 처리할 이미지에서 타깃 객체에 속하는 픽셀의 위치 정보를 포함할 수 있다. 상기 예시에서, 상기 처리할 이미지에서 상기 타깃 객체에 속하는 픽셀의 정보에 따라, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계는, 임의의 하나의 픽셀의 경우, 상기 처리할 이미지에서 타깃 객체에 속하는 픽셀의 위치 정보에 상기 픽셀의 위치가 포함되면, 상기 처리할 이미지에 대응되는 예비 분할 이미지에서의 상기 픽셀의 픽셀값은 제1 사전 설정값인 단계; 상기 처리할 이미지에서 타깃 객체에 속하는 픽셀의 위치 정보에 상기 픽셀의 위치가 포함되지 않으면, 상기 처리할 이미지에 대응되는 예비 분할 이미지에서의 상기 픽셀의 픽셀값은 제2 사전 설정값인 단계를 포함할 수 있다.As another example of the implementation, the information on the pixel belonging to the target object in the image to be processed predicted by the neural network may include position information of the pixel belonging to the target object in the image to be processed. In the above example, the step of obtaining a preliminary segmented image corresponding to the image to be processed according to information on a pixel belonging to the target object in the image to be processed may include: the pixel value of the pixel in the preliminary segmented image corresponding to the image to be processed is a first preset value when the position of the pixel is included in the position information of the pixel belonging to the object; If the position of the pixel in the image to be processed does not include the position of the pixel in the position information of the pixel belonging to the target object, the pixel value of the pixel in the preliminary segmented image corresponding to the image to be processed is a second preset value; can do.

상기 구현 형태에서, 상기 신경망을 통해 상기 처리할 이미지에서 타깃 객체에 속하는 부분을 예측한다. 예를 들어, 상기 처리할 이미지가 CT 이미지이고, 상기 타깃 객체가 인체이면, 상기 구현 형태는 CT 이미지 중 다양한 침대 보드의 제거를 고려하지 않고, 즉 인체가 아닌 부분에 주목하지 않으며, CT 이미지 중의 인체 부분의 분할에 중점을 두어, 대량의 이형 침대 보드 데이터 하에서의 분할 결과의 정확성 및 강건성을 보장할 수 있다. 즉, 처리할 이미지에 이형 침대 보드가 포함될 지라도, 상기 구현 형태를 사용하여 정확하고 강건한 분할 결과를 획득할 수 있다.In the above implementation form, a portion belonging to a target object is predicted in the image to be processed through the neural network. For example, if the image to be processed is a CT image, and the target object is a human body, the implementation form does not consider the removal of various bedboards in the CT image, that is, does not pay attention to the non-human part, and does not pay attention to the non-human part of the CT image. By focusing on segmentation of human body parts, it is possible to ensure the accuracy and robustness of segmentation results under a large amount of deformable bedboard data. That is, even if the release bed board is included in the image to be processed, an accurate and robust segmentation result can be obtained by using the above implementation form.

상기 구현 형태의 일 예시로서, 상기 신경망은 딥 러닝에 기반한 신경망일 수 있다. 예를 들어, 상기 신경망은 U형 컨볼루션 신경망일 수 있다. 도 3은 본 발명의 실시예의 U형 컨볼루션 신경망의 모식도를 도시한다. 도 3에서, 데이터 흐름의 방향은 왼쪽에서 오른쪽으로 향하고, U형 컨볼루션 신경망은 압축 과정 및 압축 해제 과정을 포함한다. 도 3에 도시된 바와 같이, 처리할 이미지를 512×512 사이즈로 크로핑 또는 스케일링한 후, 상기 U형 컨볼루션 신경망에 입력하고, U형 컨볼루션 신경망을 통해 처리할 이미지 중의 인체 부분에 대해 피팅을 수행하며, 마지막으로 예비 분할 이미지를 출력한다. 도 3에 도시된 예시에서, 처리할 이미지에 대해 "컨볼루션 - 레귤러라이제이션 - 활성화 - 풀링" 동작을 4번 수행할 수 있고, 컨볼루션이 수행될 때마다 이미지 채널 수는 2배가 되고, 풀링이 수행될 때 이미지 사이즈는 절반으로 감소되며, 이미지의 채널 수는 32에서 256으로 증가되고, 이미지 사이즈는 512×512에서 64×64로 감소된다. 다음, "업샘플링 - 컨볼루션 - 레귤러라이제이션 - 활성화 - 컨볼루션 - 레귤러라이제이션 - 활성화" 동작을 4번 수행하여 이미지를 원래 사이즈로 복원시키며, 여기서, 업샘플링을 수행하기 전마다 모두 이전의 압축 과정에서 사이즈가 동일한 특징맵을 병합해야 하고, 각 컨볼루션은 모두 채널 수를 절반으로 감소시키며, 여기서 병합은 병합(concatenate) 동작을 사용할 수 있다. 다음, 한 번의 컨볼루션 및 활성화 동작을 통해 이미지 채널 수를 1로 복원시키고 이미지에 대해 정규화를 수행한다. 여기서, "컨볼루션 - 레귤러라이제이션 - 활성화"는 잔차 모듈(Residual Block), 인셉션 모듈(Inception Block), 밀집 모듈(Dense Block) 등으로 대체될 수 있다. 풀링은 최대 풀링 또는 평균 풀링을 사용할 수 있고, 스트라이드가 2인 컨볼루션 계층으로 대체될 수도 있다. As an example of the implementation, the neural network may be a neural network based on deep learning. For example, the neural network may be a U-shaped convolutional neural network. 3 shows a schematic diagram of a U-shaped convolutional neural network according to an embodiment of the present invention. In Fig. 3, the direction of data flow is from left to right, and the U-shaped convolutional neural network includes a compression process and a decompression process. As shown in FIG. 3 , after cropping or scaling the image to be processed to a size of 512×512, it is input to the U-shaped convolutional neural network and fitted to the human body part in the image to be processed through the U-shaped convolutional neural network. , and finally, a preliminary segmented image is output. In the example shown in Fig. 3, the "convolution-regulation-activation-pooling" operation can be performed 4 times on the image to be processed, and each time the convolution is performed, the number of image channels is doubled, and the pooling When this is done, the image size is halved, the number of channels in the image is increased from 32 to 256, and the image size is reduced from 512x512 to 64x64. Next, the "upsampling - convolution - regularization - activation - convolution - regularization - activation" operation is performed 4 times to restore the image to its original size, where, before performing upsampling, all previous In the compression process, feature maps of the same size must be merged, and each convolution reduces the number of channels by half. Here, a concatenation operation can be used for merging. Next, the number of image channels is restored to 1 through one convolution and activation operation, and normalization is performed on the image. Here, "convolution - regulation - activation" may be replaced with a residual module (Residual Block), an inception module (Inception Block), a dense module (Dense Block), and the like. Pooling may use max pooling or average pooling, and may be replaced with a convolutional layer with a stride of 2.

일 예에서, 상기 트레이닝 이미지는 2차원의 CT 이미지이고, 상기 신경망은 2차원의 컨볼루션 신경망이다.In one example, the training image is a two-dimensional CT image, and the neural network is a two-dimensional convolutional neural network.

상기 구현 형태의 일 예시로서, 트레이닝 이미지를 확대할 수 있다. 예를 들어, 트레이닝 이미지를 0.6 내지 1.4배로 랜덤으로 스케일링하고, 스케일링된 이미지 중심에서 512×512 사이즈로 크로핑하여, 상이한 스케일링 척도 하의 동일한 사이즈의 트레이닝 이미지를 획득할 수 있다. 상응하게, 트레이닝 이미지에 대응되는 마스크에도 마찬가지 동작을 수행한다.As an example of the implementation form, the training image may be enlarged. For example, the training image may be randomly scaled by 0.6 to 1.4 times and cropped to a size of 512×512 at the center of the scaled image to obtain a training image of the same size under different scaling scales. Correspondingly, the same operation is performed on the mask corresponding to the training image.

상기 구현 형태의 일 예시로서, 트레이닝 이미지를 트레이닝 세트 및 검증 세트로 나눌 수 있다. 예를 들어, 4:1의 비율로 트레이닝 이미지를 트레이닝 세트 및 검증 세트로 나눌 수 있다.As an example of the above implementation form, the training image may be divided into a training set and a verification set. For example, the training image can be divided into a training set and a validation set in a ratio of 4:1.

상기 구현 형태의 일 예시로서, 상기 신경망이 검증 세트에서의 손실이 0.03 이하로 감소될 때까지, 트레이닝 이미지를 사용하여 상기 신경망을 반복적으로 트레이닝할 수 있다.As an example of the implementation, the neural network may be repeatedly trained using a training image until the loss in the validation set is reduced to 0.03 or less.

관련 기술은 형태학 등 동작을 통해 이미지를 분할하기 때문에, 이진화 시 선택된 임계값, 온/오프 동작이 수행된 횟수, 부식/팽창 시 선택된 구조체 크기 등과 같이, 대량의 하이퍼파라미터를 도입해야 하고, 또한 상이한 인체 부분(머리, 몸, 손, 발 등)에 대해, 임계값을 변경해야만 정상적인 분할 결과를 획득할 수 있다. 그러나 상기 구현 형태에서는, 신경망을 통해 트레이닝 이미지 중의 타깃 객체를 분할함으로써, 동일한 유형의 태스크에 널리 응용될 수 있고, 하이퍼파라미터를 설정할 필요 없으므로, 강건성이 높다.Because the related art segmentation of images through motions such as morphology, it is necessary to introduce a large number of hyperparameters, such as the threshold selected during binarization, the number of on/off operations performed, the size of the structure selected for corrosion/expansion, etc., and also different For human body parts (head, body, hands, feet, etc.), a normal segmentation result can be obtained only by changing the threshold. However, in the above implementation form, by segmenting the target object in the training image through the neural network, it can be widely applied to the same type of task, and there is no need to set hyperparameters, so the robustness is high.

상기 구현 형태의 일 예시로서, 상기 트레이닝 이미지는 전산화 단층 촬영(CT) 이미지이고; 상기 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라 신경망을 트레이닝하는 단계는, 사전 설정된 CT 값 범위에 따라, 상기 트레이닝 이미지의 픽셀값에 대해 정규화 처리를 수행하여, 정규화된 트레이닝 이미지를 획득하고; 상기 정규화된 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라, 상기 신경망을 트레이닝하는 단계를 포함한다.As an example of the embodiment, the training image is a computed tomography (CT) image; The training of the neural network according to the training image and the labeling data of the training image includes: performing normalization processing on the pixel values of the training image according to a preset CT value range to obtain a normalized training image; and training the neural network according to the normalized training image and the labeling data of the training image.

일 예에서, 타깃 객체의 CT 값 범위에 따라, 사전 설정된 CT 값 범위를 결정할 수 있다. 예를 들어, 타깃 객체가 인체이면, 인체 기관의 CT 값 범위에 따라, 사전 설정된 CT 값 범위를 [-500, 1200]로 설정할 수 있다.In an example, a preset CT value range may be determined according to the CT value range of the target object. For example, if the target object is a human body, the preset CT value range may be set to [-500, 1200] according to the CT value range of the human body.

일 예에서, 상기 사전 설정된 CT 값 범위에 따라, 상기 트레이닝 이미지의 픽셀값에 대해 정규화 처리를 수행하여, 정규화된 트레이닝 이미지를 획득하는 단계는, 상기 트레이닝 이미지 중의 임의의 하나의 픽셀에 대해, 상기 사전 설정된 CT 값 범위에 따라, 상기 픽셀의 픽셀값에 대해 사전 처리를 수행하여, 상기 픽셀의 사전 처리된 픽셀값을 획득하는 단계 - 상기 픽셀의 사전 처리된 픽셀값은 상기 사전 설정된 CT 값 범위 내임 - ; 제1 차이값과 제2 차이값의 비율을 상기 픽셀의 정규화된 픽셀값으로 하는 단계를 포함하고, 상기 제1 차이값은 상기 픽셀의 사전 처리된 픽셀값과 상기 사전 설정된 CT 값 범위의 하한값의 차이값과 동일하고, 상기 제2 차이값은 상기 사전 설정된 CT 값 범위의 상한값과 상기 픽셀의 사전 처리된 픽셀값의 차이값과 동일하다. 예를 들어, 상기 픽셀의 사전 처리된 픽셀값이 h이고, 상기 사전 설정된 CT 값 범위의 하한값이 h_min이며, 상기 사전 설정된 CT 값 범위의 상한값이 h_max이면, 상기 픽셀의 정규화된 픽셀값은

과 같을 수 있다. 상기 트레이닝 이미지의 각 픽셀의 정규화된 픽셀값에 따라, 정규화된 트레이닝 이미지를 획득할 수 있다. 즉, 상기 정규화된 트레이닝 이미지에서, 임의의 하나의 픽셀의 픽셀값은 상기 픽셀의 정규화된 픽셀값이다.In an example, the step of obtaining a normalized training image by performing normalization processing on the pixel values of the training image according to the preset CT value range includes, for any one pixel in the training image, the performing pre-processing on the pixel value of the pixel according to a preset CT value range to obtain a pre-processed pixel value of the pixel, wherein the pre-processed pixel value of the pixel is within the preset CT value range - ; making the ratio of the first difference value to the second difference value the normalized pixel value of the pixel, wherein the first difference value is the value of the pre-processed pixel value of the pixel and the lower limit of the preset CT value range. equal to the difference value, and the second difference value is equal to a difference value between the upper limit of the preset CT value range and the pre-processed pixel value of the pixel. For example, if the preprocessed pixel value of the pixel is h, the lower limit of the preset CT value range is h _min , and the upper limit value of the preset CT value range is h _max , then the normalized pixel value of the pixel is

can be the same as A normalized training image may be obtained according to the normalized pixel value of each pixel of the training image. That is, in the normalized training image, the pixel value of any one pixel is the normalized pixel value of the pixel.

여기서, 상기 트레이닝 이미지 중의 임의의 하나의 픽셀에 대해,상기 사전 설정된 CT 값 범위에 따라, 상기 픽셀의 픽셀값에 대해 사전 처리를 수행하여, 상기 픽셀의 사전 처리된 픽셀값을 획득하는 단계는, 트레이닝 이미지 중의 임의의 하나의 픽셀에 대해, 상기 픽셀의 픽셀값이 상기 사전 설정된 CT 값 범위의 하한값보다 작으면, 상기 하한값을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있는 단계; 상기 픽셀의 픽셀값이 상기 사전 설정된 CT 값 범위의 상한값보다 크면, 상기 상한값을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있는 단계; 및 상기 픽셀의 픽셀값이 상기 사전 설정된 CT 값 범위 내이면, 상기 픽셀의 픽셀값을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있는 단계를 포함할 수 있다. 예를 들어, 사전 설정된 CT 값 범위가 [-500, 1200]이면, 상기 사전 설정된 CT 값 범위의 하한값은 -500이고, 상기 사전 설정된 CT 값 범위의 상한값은 1200이다. 트레이닝 이미지 중의 특정 픽셀의 픽셀값이 -505이면, -500을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있고, 트레이닝 이미지 중의 특정 픽셀의 픽셀값이 1250이면, 1200을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있으며, 트레이닝 이미지 중의 특정 픽셀의 픽셀값이 800이면, 800을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있다.Here, for any one pixel in the training image, according to the preset CT value range, performing pre-processing on the pixel value of the pixel to obtain the pre-processed pixel value of the pixel, for any one pixel in the training image, if the pixel value of the pixel is less than a lower limit of the preset CT value range, using the lower limit value as the pre-processed pixel value of the pixel; if the pixel value of the pixel is greater than an upper limit value of the preset CT value range, using the upper limit value as the pre-processed pixel value of the pixel; and if the pixel value of the pixel is within the preset CT value range, using the pixel value of the pixel as the pre-processed pixel value of the pixel. For example, if the preset CT value range is [-500, 1200], the lower limit of the preset CT value range is -500, and the upper limit of the preset CT value range is 1200. If the pixel value of a specific pixel in the training image is -505, -500 can be used as the preprocessed pixel value of the pixel, and if the pixel value of a specific pixel in the training image is 1250, 1200 is the preprocessed pixel value of the pixel It can be used as a value. If the pixel value of a specific pixel in the training image is 800, 800 can be used as the pre-processed pixel value of the pixel.

상기 예시에서, 사전 설정된 CT 값 범위에 따라, 상기 트레이닝 이미지의 픽셀값에 대해 정규화 처리를 수행하여, 정규화된 트레이닝 이미지를 획득하고, 상기 정규화된 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라, 상기 신경망을 트레이닝함으로써, 상기 신경망의 계산량을 줄이고, 상기 신경망의 수렴 속도를 향상시키는데 도움이 된다.In the above example, according to a preset CT value range, normalization processing is performed on the pixel values of the training image to obtain a normalized training image, and according to the normalized training image and the labeling data of the training image, the By training the neural network, it is helpful to reduce the amount of computation of the neural network and to improve the convergence speed of the neural network.

단계 S12에서, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득한다.In step S12, according to the edge information of the target object of the image to be processed, the pixel value of the predicted pixel that does not belong to the target object in the closed area included in the edge of the target object in the preliminary segmented image is adjusted. , obtain a first segmentation result corresponding to the image to be processed.

본 발명의 실시예에서, 에지 검출 방법을 사용하여, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보를 결정할 수 있다. 예를 들어, 캐니(Canny) 알고리즘, 소벨(Sobel) 알고리즘 등 에지 검출 방법을 사용하여, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보를 결정할 수 있다. 여기서, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보는 상기 처리할 이미지에서 상기 타깃 객체의 에지에 속하는 픽셀의 위치 정보를 포함할 수 있다.In an embodiment of the present invention, edge information of the target object of the image to be processed may be determined using an edge detection method. For example, edge information of the target object of the image to be processed may be determined by using an edge detection method such as a Canny algorithm or a Sobel algorithm. Here, the edge information of the target object of the image to be processed may include position information of a pixel belonging to an edge of the target object in the image to be processed.

일 가능한 구현 형태에서, 상기 제1 분할 결과를 상기 처리할 이미지에 대응되는 최종 분할 결과로 할 수 있다.In one possible implementation form, the first segmentation result may be a final segmentation result corresponding to the image to be processed.

본 발명의 실시예에서, 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하고, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득함으로써, 타깃 객체가 인체 또는 동물체일 경우, 타깃 객체의 기관 내부의 픽셀도 타깃 객체에 속하도록 분할할 수 있어, 보다 정확하고 강건한 분할 결과를 획득할 수 있다. 예를 들어, 처리할 이미지가 CT 이미지이고, 타깃 객체가 인체이면, 본 발명의 실시예에서 제공되는 이미지 분할 방법을 사용하여 CT 이미지를 분할함으로써, CT 이미지 중의 인체 부분을 정확하게 분할해내고, CT 이미지 중 인체 외부의 간섭물(예를 들어, 침대 보드, 인공 호흡기의 튜브 라인, 머리의 고정 장치 등)을 정확하게 제거할 수 있다.In an embodiment of the present invention, by predicting a pixel belonging to a target object in an image to be processed, a preliminary segmented image corresponding to the image to be processed is obtained, and according to edge information of the target object of the image to be processed, the preliminary image In the segmented image, a first segmentation result corresponding to the image to be processed is obtained by adjusting the pixel value of a predicted pixel that does not belong to the target object in a closed area included in the edge of the target object, so that the target object is a human body Alternatively, in the case of an animal body, pixels inside the organ of the target object may be divided to belong to the target object, so that a more accurate and robust division result may be obtained. For example, if the image to be processed is a CT image and the target object is a human body, the CT image is segmented using the image segmentation method provided in the embodiment of the present invention to accurately segment the human body part in the CT image, Interferences outside the human body (eg, bed board, ventilator tube line, head fixing device, etc.) can be accurately removed from the image.

일 가능한 구현 형태에서, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계는, 상기 예비 분할 이미지에서 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 필링된 예비 분할 이미지를 획득하는 단계; 및 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계를 포함한다.In one possible implementation form, according to the edge information of the target object of the image to be processed, in the preliminary segmented image, a pixel value of a predicted pixel that does not belong to the target object in a closed area included in the edge of the target object The step of obtaining a first segmentation result corresponding to the image to be processed by adjusting may include adjusting a pixel value of a closed area in the preliminary segmented image, in which the pixel value is the second preset value, to the first preset value. , obtaining a filled preliminary segmented image; and obtaining a first segmentation result corresponding to the image to be processed by adjusting pixel values of the filled preliminary segmented image according to edge information of the target object of the image to be processed.

일부 기관 내부(예를 들어, 폐 내부, 소화관 내부)에 공기가 포함되어 있고 밀도가 낮으며, 타깃 객체(예를 들어, 인체) 외부도 공기이므로, 예비 분할 이미지에서, 이러한 기관 내부를 배경 부분에 속하는 것으로 분할할 수 있다. 상기 구현 형태는 상기 예비 분할 이미지에서 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 필링된 예비 분할 이미지를 획득함으로써, 처리할 이미지에 대응되는 제1 분할 결과가 타깃 객체의 기관 내부를 커버할 수 있도록 하며, 예를 들어, 폐 내부 등 폐의 실질적인 부분, 소화관(예를 들어, 위장관)의 내부 등을 커버한다. 즉, 상기 구현 형태를 사용함으로써, 이미지 분할 후 타깃 객체 내부(예를 들어, 인체 내)에 누락된 구멍을 메울 수 있다. 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득함으로써, 처리할 이미지 중의 배경 부분(즉 타깃 객체에 속하지 않는 부분)이 타깃 객체에 속하는 것으로 분할되는 확률을 줄일 수 있다.Since some organs (e.g., inside the lungs, inside the digestive tract) contain air and have a low density, and outside the target object (e.g., the human body) is also air, in the preliminary segmented image, the inside of these organs is shown as a background part. can be divided into those belonging to The implementation form is to obtain a filled preliminary divided image by adjusting a pixel value of a closed area, in which the pixel value is the second preset value, to the first preset value in the preliminary divided image, corresponding to the image to be processed. The first segmentation result may cover the inside of the organ of the target object, for example, cover a substantial part of the lung, such as the inside of the lung, the inside of the digestive tract (eg, the gastrointestinal tract), and the like. That is, by using the above implementation form, it is possible to fill in the missing hole in the target object after image segmentation (eg, in the human body). According to the edge information of the target object of the image to be processed, pixel values of the pre-segmented filled image are adjusted to obtain a first segmentation result corresponding to the image to be processed, so that a background part of the image to be processed (that is, It is possible to reduce the probability that the part that does not belong to the target object) is divided into that which belongs to the target object.

상기 구현 형태의 일 예시로서, 상기 예비 분할 이미지에서 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 필링된 예비 분할 이미지를 획득하는 단계는, 상기 예비 분할 이미지의 주변에 사전 설정 폭의 변을 접합하여, 접합된 예비 분할 이미지를 획득하는 단계 - 접합된 상기 사전 설정 폭의 변의 픽셀의 픽셀값은 상기 제2 사전 설정값임 - ; 및 상기 접합된 예비 분할 이미지의 이미지 에지의 픽셀을 시드 포인트로 선택하고, 상기 접합된 예비 분할 이미지에 대해 플러드 필링 조작을 수행하여, 필링된 예비 분할 이미지를 획득하는 단계를 포함한다.As an example of the implementation form, obtaining a filled preliminary segmented image by adjusting a pixel value of a closed area in which the pixel value is the second preset value in the preliminary segmented image to the first preset value, joining a side of the preset width to the periphery of the preliminary segmented image to obtain a spliced preliminary segmented image, wherein a pixel value of a pixel of the spliced side of the preset width is the second preset value; and selecting a pixel of an image edge of the spliced preliminary segmented image as a seed point, and performing a flood filling operation on the spliced preliminary segmented image to obtain a filled preliminary segmented image.

상기 예시에서, 사전 설정 폭은 1 픽셀보다 크거나 같을 수 있다. 예를 들어, 사전 설정 폭은 1 픽셀일 수 있다. 도 4는 예비 분할 이미지의 주변에 사전 설정 폭의 변을 접합하여, 접합된 예비 분할 이미지를 획득하는 모식도를 도시한다. 도 4에 도시된 예에서, 사전 설정 폭은 1 픽셀이다. 도 4에 도시된 바와 같이, 예비 분할 이미지의 둘레에 모두 사전 설정 폭의 변을 접합할 수 있다. 다른 예에서, 예비 분할 이미지의 1개의 변, 2개의 변 또는 3개의 변에 사전 설정 폭의 변을 접합할 수도 있다.In the example above, the preset width may be greater than or equal to 1 pixel. For example, the preset width may be 1 pixel. FIG. 4 is a schematic diagram of obtaining a joined preliminary segmented image by joining a side of a preset width to the periphery of the preliminary segmented image. In the example shown in Fig. 4, the preset width is 1 pixel. As shown in FIG. 4 , all sides of the preset width can be joined around the perimeter of the preliminary segmented image. In another example, the side of the preset width may be joined to one side, two sides, or three sides of the preliminary segmented image.

상기 예시에서, 상기 접합된 예비 분할 이미지의 이미지 에지의 픽셀은 위치에서의 상기 접합된 예비 분할 이미지의 에지의 픽셀을 가라킬 수 있고, 예를 들어 상기 접합된 예비 분할 이미지의 최상단 픽셀, 최하단 픽셀, 최좌측 픽셀, 최우측 픽셀 등이다. 예를 들어, 상기 접합된 예비 분할 이미지의 좌측 상단 모서리의 픽셀을 시드 포인트로 할 수 있다.In the above example, the pixel of the image edge of the spliced preliminary segmented image may refer to the pixel of the edge of the spliced preliminary segmented image at the position, for example the topmost pixel, the bottommost pixel of the spliced preliminary segmented image. , the leftmost pixel, the rightmost pixel, and so on. For example, a pixel in the upper left corner of the spliced preliminary segmented image may be used as a seed point.

상기 예시에서, 상기 예비 분할 이미지의 주변에 사전 설정 폭의 변을 접합하고, 상기 접합된 예비 분할 이미지의 이미지 에지의 픽셀을 시드 포인트로 선택함으로써, 플러드 필링 조작의 시드 포인트가 배경 부분(즉 타깃 객체에 속하지 않는 부분)에 속하도록 보장할 수 있어, 처리할 이미지에 대응되는 제1 분할 결과가 타깃 객체의 기관 내부를 커버할 수 있도록 하여, 보다 정확한 분할 결과를 획득한다.In the above example, by splicing a side of a preset width around the periphery of the pre-segmented image, and selecting a pixel of an image edge of the spliced pre-segmented image as a seed point, the seed point of the flood filling operation becomes the background part (that is, the target part that does not belong to the object), so that the first segmentation result corresponding to the image to be processed can cover the inside of the organ of the target object, thereby obtaining a more accurate segmentation result.

상기 구현 형태의 일 예시로서, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계는, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 상기 타깃 객체의 에지에 포함된 최대 연결 도메인을 결정하는 단계; 및 상기 필링된 예비 분할 이미지에서 상기 최대 연결 도메인을 제외한 픽셀의 픽셀값을 상기 제2 사전 설정값으로 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계를 포함한다. 상기 예시에 따르면, 타깃 객체에 연결되지 않는 거짓 양성 영역을 제거할 수 있어, 배경 부분이 타깃 객체에 속하는 것으로 잘못 분류될 확률을 크게 줄일 수 있으며, 이로써 이미지 분할의 정확성을 향상시킬 수 있다. 예를 들어, 타깃 객체가 인체이면, 상기 예시에 따라 인체에 연결되지 않는 거짓 양성 영역을 제거할 수 있어, 배경 부분(예를 들어, 침대 보드 등)이 인체에 속하는 것으로 잘못 분류될 확률을 크게 줄일 수 있다.As an example of the implementation form, obtaining a first segmentation result corresponding to the image to be processed by adjusting pixel values of the pre-divided image to be processed according to edge information of the target object of the image to be processed; determining, according to edge information of the target object of the image to be processed, a maximum connection domain included in an edge of the target object of the filled preliminary segmented image; and obtaining a first segmentation result corresponding to the image to be processed by adjusting pixel values of pixels excluding the maximum connection domain in the filled preliminary segmented image to the second preset value. According to the above example, it is possible to remove the false positive region not connected to the target object, thereby greatly reducing the probability that the background part is incorrectly classified as belonging to the target object, thereby improving the accuracy of image segmentation. For example, if the target object is a human body, the false positive region that is not connected to the human body can be removed according to the above example, thereby greatly increasing the probability that a background part (eg, a bed board, etc.) is incorrectly classified as belonging to the human body. can be reduced

일 가능한 구현 형태에서, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계 후에, 상기 방법은, 상기 처리할 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득하는 단계; 및 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하는 단계를 더 포함한다.In one possible implementation form, after obtaining a first segmentation result corresponding to the image to be processed, the method further includes: obtaining an image adjacent to the image to be processed and a second segmentation result corresponding to the adjacent image; and adjusting the first division result according to the pixel value of the pixel at the same position of the image to be processed and the adjacent image, and the second division result to obtain a third division result corresponding to the image to be processed. further comprising steps.

상기 구현 형태에서, 상기 처리할 이미지에 인접한 이미지는 상기 처리할 이미지와 동일한 이미지 시퀀스에 속하되, 상기 처리할 이미지에 인접한 이미지일 수 있다. 예를 들어, 상기 처리할 이미지는 CT 이미지이고, 상기 인접한 이미지는 상기 처리할 이미지와 동일한 CT 이미지 시퀀스에 속하되, 상기 처리할 이미지에 인접한 이미지일 수 있다. 상기 제2 분할 결과는 상기 인접한 이미지에 대응되는 최종 분할 결과를 가리킬 수 있다.In the above implementation form, the image adjacent to the image to be processed belongs to the same image sequence as the image to be processed, but may be an image adjacent to the image to be processed. For example, the image to be processed may be a CT image, and the adjacent image may be an image that belongs to the same CT image sequence as the image to be processed, but is adjacent to the image to be processed. The second division result may indicate a final division result corresponding to the adjacent image.

상기 구현 형태에 따르면, 처리할 이미지와 제2 분할 결과의 연속성을 보장할 수 있어, 보다 매끄럽고 정확한 3차원 분할 결과를 획득하는데 도움이 된다. 예를 들어, 상기 타깃 객체가 인체이면, 처리할 이미지와 인접한 이미지의 인체의 연속성을 보장할 수 있어, 보다 매끄럽고 정확한 3차원 인체 분할 결과를 획득하는데 도움이 된다. 예를 들어, 상기 구현 형태를 사용하여 CT 이미지 시퀀스 중의 각 CT 이미지에 대응되는 분할 결과를 획득할 수 있고, 이로부터 보다 매끄럽고 정확한 3차원 인체 분할 결과를 획득한다.According to the above implementation form, it is possible to ensure the continuity of the image to be processed and the result of the second segmentation, which helps to obtain a smoother and more accurate three-dimensional segmentation result. For example, if the target object is a human body, it is possible to ensure the continuity of the human body between the image to be processed and the image adjacent to it, which helps to obtain a smoother and more accurate 3D human body segmentation result. For example, a segmentation result corresponding to each CT image in a CT image sequence may be obtained using the above implementation form, and a smoother and more accurate 3D body segmentation result may be obtained therefrom.

상기 구현 형태의 일 예시로서, 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하는 단계는, 상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하는 단계를 포함한다.As an example of the implementation, the first division result is adjusted according to the pixel value of the pixel at the same position of the image to be processed and the adjacent image, and the second division result, so that the image corresponding to the image to be processed is adjusted according to the second division result. The obtaining of a third segmentation result may include: in the adjacent image, a difference value of a pixel value belonging to the target object in the second segmentation result and located at the same position as the image to be processed is smaller than a third preset value and adjusting the first segmentation result according to the same pixel to obtain a third segmentation result corresponding to the image to be processed.

상기 예시에서, 상기 인접한 이미지와 상기 처리할 이미지의 동일한 위치에 있는 픽셀값의 차이값은, 인접한 이미지와 처리할 이미지의 동일한 위치에 있는 정규화된 픽셀값의 차이값을 가리킬 수 있다. 예를 들어, 제3 사전 설정값은 0.1일 수 있다. 물론, 인접한 이미지와 상기 처리할 이미지의 동일한 위치에 있는 원래 픽셀값을 비교할 수도 있다.In the above example, the difference value between the pixel values located at the same position between the adjacent image and the image to be processed may indicate a difference value between normalized pixel values located at the same position between the adjacent image and the image to be processed. For example, the third preset value may be 0.1. Of course, it is also possible to compare the original pixel values at the same position in the adjacent image and the image to be processed.

상기 예시에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득함으로써, 상기 인접한 이미지에서 상기 처리할 이미지와 더 관련되는 픽셀에 대응되는 분할 결과에 따라, 상기 처리할 이미지에 대응되는 제1 분할 결과를 조정할 수 있어, 상기 처리할 이미지에 대응되는 최종 분할 결과의 정확성을 향상시키는데 도움이 된다. 여기서, 상기 인접한 이미지 중의 임의의 하나의 픽셀에 대응되는 분할 결과는 상기 제2 분할 결과에서, 상기 픽셀이 타깃 객체에 속하는지 여부를 가리킬 수 있다.In the above example, according to a pixel belonging to the target object in the second segmentation result, the difference value of a pixel value located at the same position as the image to be processed is smaller than or equal to a third preset value, the first segmentation result to obtain a third segmentation result corresponding to the image to be processed by adjusting The result can be adjusted, which helps to improve the accuracy of the final segmentation result corresponding to the image to be processed. Here, the division result corresponding to any one pixel in the adjacent image may indicate whether the pixel belongs to the target object in the second division result.

일 예에서, 상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하는 단계는, 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하는 단계; 상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하는 단계; 및 상기 제1 분할 결과에서 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하는 단계를 포함한다.In one example, in the adjacent image, according to a pixel belonging to the target object in the second segmentation result, a difference value of a pixel value located at the same position as the image to be processed is smaller than or equal to a third preset value; In the step of adjusting the first division result to obtain a third division result corresponding to the image to be processed, a difference value between pixel values at the same position in the image to be processed and the adjacent image is a third preset value obtaining a first set of pixels according to less than or equal to pixels; obtaining a second set of pixels according to a pixel belonging to the target object in the second division result of the first set of pixels; and obtaining a third segmentation result corresponding to the image to be processed by adjusting the pixels of the second set of pixels in the first segmentation result to belong to the target object.

이 예에서, 제1 픽셀 세트 중의 임의의 하나의 픽셀이 상기 처리할 이미지 및 상기 인접한 이미지에서의 픽셀값의 차이값은 제3 사전 설정값보다 작거나 같다. 제2 픽셀 세트 중의 임의의 하나의 픽셀이 상기 처리할 이미지 및 상기 인접한 이미지에서의 픽셀값의 차이값은 제3 사전 설정값보다 작거나 같으며, 상기 제2 분할 결과에서 상기 타깃 객체에 속한다. 예를 들어, 제1 분할 결과가 A이고, 제1 픽셀 세트가 B이며, 상기 제2 분할 결과가 C이면, 제3 분할 결과는 S=A∪(B∩C) 일 수 있다.In this example, the difference between the pixel values in the image to be processed by any one pixel in the first set of pixels and the pixel values in the adjacent image is less than or equal to a third preset value. A difference value between pixel values in the image to be processed by any one pixel in the second set of pixels and the adjacent image is less than or equal to a third preset value, and belongs to the target object in the second segmentation result. For example, if the first division result is A, the first pixel set is B, and the second division result is C, the third division result may be S=A∪(B∩C).

상기 예에서, 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하고, 상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하며, 상기 제1 분할 결과에서 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득함으로써, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 더 관련되는 픽셀에 따라, 상기 처리할 이미지 대응되는 제1 분할 결과를 조정할 수 있어, 상기 처리할 이미지에 대응되는 최종 분할 결과의 정확성을 향상시키는데 도움이 된다.In the above example, according to a pixel in which a difference value of a pixel value at the same position of the image to be processed and the adjacent image is less than or equal to a third preset value, a first set of pixels is obtained, According to the pixel belonging to the target object in the second division result, a second set of pixels is obtained, and in the first division result, the pixels of the second set of pixels are adjusted to belong to the target object, so that the image to be processed By obtaining a third segmentation result corresponding to , the first segmentation result corresponding to the image to be processed can be adjusted according to a pixel belonging to the target object in the second segmentation result and further related to the image to be processed, , which helps to improve the accuracy of the final segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 제3 분할 결과를 상기 처리할 이미지에 대응되는 최종 분할 결과로 할 수 있다.In one possible implementation form, the third segmentation result may be a final segmentation result corresponding to the image to be processed.

도 5는 본 발명의 실시예에서 제공되는 이미지 분할 방법의 다른 흐름도를 도시한다. 상기 이미지 분할 방법의 수행 주체는 이미지 분할 장치일 수 있다. 예를 들어, 상기 이미지 분할 방법은 단말 기기 또는 서버 또는 다른 처리 기기에 의해 수행될 수 있다. 여기서, 단말 기기는 사용자 기기, 모바일 기기, 사용자 단말기, 단말기, 셀룰러폰, 무선 전화, 개인 휴대 정보 단말기, 핸드헬드 기기, 컴퓨팅 기기, 차량 탑재 기기 또는 웨어러블 기기 등일 수 있다. 일부 가능한 구현 형태에서, 상기 이미지 분할 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 방식으로 구현될 수 있다. 도 5에 도시된 바와 같이, 상기 이미지 분할 방법은 단계 S41 내지 단계 S43을 포함한다.5 shows another flowchart of an image segmentation method provided in an embodiment of the present invention. A subject performing the image segmentation method may be an image segmentation apparatus. For example, the image segmentation method may be performed by a terminal device or a server or other processing device. Here, the terminal device may be a user device, a mobile device, a user terminal, a terminal, a cellular phone, a wireless phone, a personal digital assistant, a handheld device, a computing device, an in-vehicle device, or a wearable device. In some possible implementations, the image segmentation method may be implemented by invoking computer readable instructions stored in a memory via a processor. 5 , the image segmentation method includes steps S41 to S43.

단계 S41에서, 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득한다.In step S41, pixels belonging to a target object are predicted in the image to be processed, and a preliminary segmented image corresponding to the image to be processed is obtained.

단계 S42에서, 상기 처리할 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득한다.In step S42, an image adjacent to the image to be processed and a second segmentation result corresponding to the adjacent image are obtained.

본 발명의 실시예에서, 상기 처리할 이미지에 인접한 이미지는 상기 처리할 이미지와 동일한 이미지 시퀀스에 속하되, 상기 처리할 이미지에 인접한 이미지일 수 있다. 예를 들어, 상기 처리할 이미지는 CT 이미지이고, 상기 인접한 이미지는 상기 처리할 이미지와 동일한 CT 이미지 시퀀스에 속하되, 상기 처리할 이미지에 인접한 이미지일 수 있다. 상기 제2 분할 결과는 상기 인접한 이미지에 대응되는 최종 분할 결과를 가리킬 수 있다.In an embodiment of the present invention, the image adjacent to the image to be processed belongs to the same image sequence as the image to be processed, but may be an image adjacent to the image to be processed. For example, the image to be processed may be a CT image, and the adjacent image may be an image that belongs to the same CT image sequence as the image to be processed, but is adjacent to the image to be processed. The second division result may indicate a final division result corresponding to the adjacent image.

단계 S43에서, 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 예비 분할 이미지를 조정하여, 처리할 이미지에 대응되는 제4 분할 결과를 획득한다.In step S43, the preliminary segmented image is adjusted according to the pixel value of the pixel at the same position in the image to be processed and the adjacent image, and the second segmentation result to obtain a fourth segmentation result corresponding to the image to be processed do.

본 발명의 실시예에서, 처리할 이미지와 제2 분할 결과의 연속성을 보장할 수 있어, 보다 매끄럽고 정확한 3차원 분할 결과를 획득하는데 도움이 된다. 예를 들어, 상기 타깃 객체가 인체이면, 처리할 이미지와 인접한 이미지의 인체의 연속성을 보장할 수 있어, 보다 매끄럽고 정확한 3차원 인체 분할 결과를 획득하는데 도움이 된다. 예를 들어, 본 발명의 실시예를 사용하여 CT 이미지 시퀀스 중의 각 CT 이미지에 대응되는 분할 결과를 획득할 수 있고, 이로부터 보다 매끄럽고 정확한 3차원 인체 분할 결과를 획득한다.In the embodiment of the present invention, it is possible to ensure the continuity of the image to be processed and the result of the second segmentation, which helps to obtain a smoother and more accurate three-dimensional segmentation result. For example, if the target object is a human body, it is possible to ensure the continuity of the human body between the image to be processed and the image adjacent to it, which helps to obtain a smoother and more accurate 3D human body segmentation result. For example, a segmentation result corresponding to each CT image in a CT image sequence may be obtained using an embodiment of the present invention, and a smoother and more accurate 3D body segmentation result may be obtained therefrom.

일 가능한 구현 형태에서, 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계는, 상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계를 포함한다.In one possible implementation form, the preliminary segmented image is adjusted according to the pixel value of the pixel at the same position in the image to be processed and the adjacent image, and the result of the second segmentation, so that a fourth segmentation corresponding to the image to be processed is performed. The obtaining of a result may include, in the adjacent image, a pixel belonging to the target object in the second segmentation result, wherein a difference value of a pixel value at the same position as the image to be processed is less than or equal to a third preset value , adjusting the preliminary segmented image to obtain a fourth segmentation result corresponding to the image to be processed.

상기 구현 형태에서, 상기 인접한 이미지와 상기 처리할 이미지의 동일한 위치에 있는 픽셀값의 차이값은, 상기 인접한 이미지와 상기 처리할 이미지의 동일한 위치에 있는 정규화된 픽셀값의 차이값을 가리킬 수 있다. 예를 들어, 제3 사전 설정값은 0.1일 수 있다. 물론, 상기 인접한 이미지와 상기 처리할 이미지의 동일한 위치에 있는 원래 픽셀값을 비교할 수도 있다.In the implementation aspect, the difference value between the pixel values at the same position between the adjacent image and the image to be processed may indicate a difference between normalized pixel values located at the same position between the adjacent image and the image to be processed. For example, the third preset value may be 0.1. Of course, it is also possible to compare the original pixel values in the same position of the adjacent image and the image to be processed.

상기 구현 형태에서,상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득함으로써, 상기 인접한 이미지에서 상기 처리할 이미지와 더 관련되는 픽셀에 대응되는 분할 결과에 따라, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 조정할 수 있어, 상기 처리할 이미지에 대응되는 최종 분할 결과의 정확성을 향상시키는데 도움이 된다. 여기서, 상기 인접한 이미지 중의 임의의 하나의 픽셀에 대응되는 분할 결과는 상기 제2 분할 결과에서, 상기 픽셀이 타깃 객체에 속하는지 여부를 가리킬 수 있다.In the implementation form, in the adjacent image, according to a pixel belonging to the target object in the second segmentation result, a difference value of a pixel value located at the same position as the image to be processed is smaller than or equal to a third preset value , by adjusting the preliminary segmented image to obtain a fourth segmentation result corresponding to the image to be processed, according to the segmentation result corresponding to a pixel further related to the image to be processed in the adjacent image, the image to be processed is The corresponding preliminary segmented image can be adjusted, which helps to improve the accuracy of the final segmentation result corresponding to the image to be processed. Here, the division result corresponding to any one pixel in the adjacent image may indicate whether the pixel belongs to the target object in the second division result.

상기 구현 형태의 일 예시로서, 상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계는, 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하는 단계; 상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하는 단계; 및 상기 예비 분할 이미지 중 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계를 포함한다.As an example of the implementation, in the adjacent image, a difference value between pixel values belonging to the target object in the second segmentation result and located at the same position as the image to be processed is less than or equal to a third preset value The step of obtaining a fourth segmentation result corresponding to the image to be processed by adjusting the preliminary segmented image according to the pixel may include: a difference value between pixel values at the same position between the image to be processed and the adjacent image obtaining a first set of pixels according to pixels less than or equal to a preset value; obtaining a second set of pixels according to a pixel belonging to the target object in the second division result of the first set of pixels; and obtaining a fourth segmentation result corresponding to the image to be processed by adjusting the pixels of the second set of pixels in the preliminary segmented image to belong to the target object.

상기 예시에서, 제1 픽셀 세트 중의 임의의 하나의 픽셀이 상기 처리할 이미지 및 상기 인접한 이미지에서의 픽셀값의 차이값은 제3 사전 설정값보다 작거나 같다. 제2 픽셀 세트 중의 임의의 하나의 픽셀이 상기 처리할 이미지 및 상기 인접한 이미지에서의 픽셀값의 차이값은 제3 사전 설정값보다 작거나 같으며, 상기 제2 분할 결과에서 상기 타깃 객체에 속한다. 예를 들어, 제1 분할 결과가 A이고, 제1 픽셀 세트가 B이며, 상기 제2 분할 결과가 C이면, 제3 분할 결과는 S=A∪(B∩C) 일 수 있다.In the above example, the difference value between the pixel value in the image to be processed by any one pixel in the first set of pixels and the pixel value in the adjacent image is less than or equal to the third preset value. A difference value between pixel values in the image to be processed by any one pixel in the second set of pixels and the adjacent image is less than or equal to a third preset value, and belongs to the target object in the second segmentation result. For example, if the first division result is A, the first pixel set is B, and the second division result is C, the third division result may be S=A∪(B∩C).

상기 예시에서, 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하고, 상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하며, 상기 제1 분할 결과에서 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득함으로써, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 더 관련되는 픽셀에 따라, 상기 처리할 이미지 대응되는 제1 분할 결과를 조정할 수 있어, 상기 처리할 이미지에 대응되는 최종 분할 결과의 정확성을 향상시키는데 도움이 된다.In the above example, according to a pixel in which a difference value of a pixel value at the same position in the image to be processed and the adjacent image is less than or equal to a third preset value, a first set of pixels is obtained, According to the pixel belonging to the target object in the second division result, a second set of pixels is obtained, and in the first division result, the pixels of the second set of pixels are adjusted to belong to the target object, so that the image to be processed By obtaining a third segmentation result corresponding to , the first segmentation result corresponding to the image to be processed can be adjusted according to a pixel belonging to the target object in the second segmentation result and further related to the image to be processed, , which helps to improve the accuracy of the final segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 제4 분할 결과를 상기 처리할 이미지에 대응되는 최종 분할 결과로 할 수 있다.In one possible implementation form, the fourth segmentation result may be a final segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계 후에, 상기 방법은, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 제4 분할 결과에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제5 분할 결과를 획득하는 단계를 더 포함한다.In one possible implementation form, after obtaining a fourth segmentation result corresponding to the image to be processed, the method includes: according to edge information of the target object of the image to be processed, in the fourth segmentation result, the target The method further includes obtaining a fifth segmentation result corresponding to the image to be processed by adjusting pixel values of predicted pixels that do not belong to the target object in the closed region included in the edge of the object.

상기 구현 형태의 일 예시로서, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 제4 분할 결과에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제5 분할 결과를 획득하는 단계는, 상기 제4 분할 결과 중 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 상기 제4 분할 결과에 대응되는 필링된 예비 분할 이미지를 획득하는 단계; 및 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제5 분할 결과를 획득하는 단계를 포함한다.As an example of the implementation, according to the edge information of the target object of the image to be processed, in the fourth segmentation result, in the closed area included in the edge of the target object, the predicted pixel that does not belong to the target object The step of obtaining a fifth segmentation result corresponding to the image to be processed by adjusting the pixel value may include setting a pixel value of a closed area in which a pixel value of the fourth segmentation result is the second preset value to the first preset value. adjusting the value to obtain a filled preliminary segmented image corresponding to the fourth segmentation result; and obtaining a fifth segmentation result corresponding to the image to be processed by adjusting pixel values of the filled preliminary segmented image according to edge information of the target object of the image to be processed.

일 예에서, 상기 제4 분할 결과 중 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 상기 제4 분할 결과에 대응되는 필링된 예비 분할 이미지를 획득하는 단계는, 상기 제4 분할 결과의 주변에 사전 설정 폭의 변을 접합하여, 접합된 제4 분할 결과를 획득하는 단계 - 접합된 상기 사전 설정 폭의 변의 픽셀의 픽셀값은 상기 제2 사전 설정값임 - ; 및 상기 접합된 제4 분할 결과의 이미지 에지의 픽셀을 시드 포인트로 선택하고, 상기 접합된 제4 분할 결과에 대해 플러드 필링 조작을 수행하여, 상기 제4 분할 결과에 대응되는 필링된 예비 분할 이미지를 획득하는 단계를 포함한다.In one example, the pixel value of the closed region, in which the pixel value is the second preset value, among the results of the fourth division is adjusted to the first preset value, so that a filled preliminary image corresponding to the result of the fourth division is obtained. The obtaining may include joining a side of a preset width to the periphery of the fourth segmentation result to obtain a joined fourth segmentation result, wherein the pixel value of a pixel of the adjoining side of the preset width is equal to that of the second dictionary Set value - ; and selecting a pixel of an image edge of the joined fourth segmentation result as a seed point, and performing a flood filling operation on the joined fourth segmentation result to obtain a filled preliminary segmented image corresponding to the fourth segmentation result. comprising the steps of obtaining

일 예에서, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 제4 분할 결과에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제5 분할 결과를 획득하는 단계는, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 상기 타깃 객체의 에지에 포함된 최대 연결 도메인을 결정하는 단계; 및 상기 필링된 예비 분할 이미지에서 상기 최대 연결 도메인을 제외한 픽셀의 픽셀값을 상기 제2 사전 설정값으로 조정하여, 상기 처리할 이미지에 대응되는 제5 분할 결과를 획득하는 단계를 포함한다.In one example, according to the edge information of the target object of the image to be processed, in the fourth segmentation result, the pixel value of the predicted pixel that does not belong to the target object in the closed area included in the edge of the target object is adjusted Thus, the obtaining of the fifth segmentation result corresponding to the image to be processed may include, according to the edge information of the target object of the image to be processed, the maximum connection included in the edge of the target object of the pre-segmented image to be processed. determining a domain; and obtaining a fifth segmentation result corresponding to the image to be processed by adjusting pixel values of pixels excluding the maximum connection domain in the filled preliminary segmented image to the second preset value.

여기서, "상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 제4 분할 결과에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제5 분할 결과를 획득"하는 구체적인 구현 형태는 위의 내용에서 "상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득"하는 구체적인 구현 형태와 유사하며, 여기서 상세한 설명을 생략한다.Here, "according to the edge information of the target object of the image to be processed, in the fourth segmentation result, the pixel value of the predicted pixel that does not belong to the target object in the closed area included in the edge of the target object is adjusted. , to obtain a fifth segmentation result corresponding to the image to be processed" is a specific implementation form of "according to edge information of the target object of the image to be processed, in the preliminary segmented image, the edge of the target object" It is similar to a specific implementation form of "acquiring a first segmentation result corresponding to the image to be processed by adjusting the pixel values of the predicted pixels that do not belong to the target object in the closed region included in the ," detailed description will be omitted here. .

일 가능한 구현 형태에서, 상기 제5 분할 결과를 상기 처리할 이미지에 대응되는 최종 분할 결과로 할 수 있다.In one possible implementation form, the fifth segmentation result may be a final segmentation result corresponding to the image to be processed.

원리 및 논리를 위반하지 않을 경우, 본 발명에서 언급된 각 방법 실시예는 모두 서로 결합되어 결합된 실시예를 형성할 수 있으며, 지면의 제한으로 인해 본 발명은 상세한 설명을 생략함을 이해할 수 있다. 본 기술분야의 통상의 기술자는 구체적인 실시형태의 상기 방법에서, 각 단계의 구체적인 수행 순서는 그 기능과 가능한 내부 논리에 의해 결정되어야 함을 이해할 수 있다.As long as the principle and logic are not violated, each method embodiment mentioned in the present invention may be combined with each other to form a combined embodiment, and it can be understood that the present invention omits detailed description due to space limitation. . A person skilled in the art can understand that in the above method of a specific embodiment, a specific execution order of each step should be determined by its function and possible internal logic.

이하, 하나의 구체적인 응용 시나리오를 통해 본 발명의 실시예를 설명한다.Hereinafter, an embodiment of the present invention will be described through one specific application scenario.

우선, 트레이닝 이미지 및 트레이닝 이미지에 대응되는 마스크를 획득한다. 상기 트레이닝 이미지는 인체의 CT 이미지이고, 여기서, 인체 모든 조직 기관의 CT 값에 따라, 사전 설정된 CT 값 범위를 [-500, 1200]로 설정할 수 있으며, 이로부터 인체 모든 조직 가관을 커버한다.First, a training image and a mask corresponding to the training image are acquired. The training image is a CT image of the human body, where, according to the CT values of all tissues and organs of the human body, a preset CT value range may be set to [-500, 1200], and from this, all tissues of the human body are covered.

사전 설정된 CT 값 범위에 기반하여, 트레이닝 이미지 중의 임의의 하나의 픽셀에 대해 사전 처리를 수행하여, 사전 처리된 픽셀값을 획득한다. 구체적으로, 트레이닝 이미지 중의 임의의 하나의 픽셀에 대해, 상기 픽셀의 픽셀값이 상기 사전 설정된 CT 값 범위의 하한값보다 작으면, 상기 하한값을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있고, 상기 픽셀의 픽셀값이 상기 사전 처리된 CT 값 범위의 상한값보다 크면, 상기 상한값을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있으며, 상기 픽셀의 픽셀값이 상기 사전 설정된 CT 값 범위 내이면, 상기 픽셀의 픽셀값을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있다. 예를 들어, 트레이닝 이미지 중의 특정 픽셀의 픽셀값이 -505이면, -500을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있고, 트레이닝 이미지 중의 특정 픽셀의 픽셀값이 1250이면, 1200을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있으며, 트레이닝 이미지 중의 특정 픽셀의 픽셀값이 800이면, 800을 상기 픽셀의 사전 처리된 픽셀값으로 사용할 수 있다.Based on the preset CT value range, pre-processing is performed on any one pixel in the training image to obtain a pre-processed pixel value. Specifically, for any one pixel in the training image, if the pixel value of the pixel is less than the lower limit of the preset CT value range, the lower limit value may be used as the preprocessed pixel value of the pixel, If the pixel value of is greater than the upper limit of the range of the pre-processed CT values, the upper limit can be used as the pre-processed pixel value of the pixel, and when the pixel value of the pixel is within the range of the preset CT values, the The pixel value may be used as the pre-processed pixel value of the pixel. For example, if the pixel value of a specific pixel in the training image is -505, -500 can be used as the pre-processed pixel value of the pixel, and if the pixel value of a specific pixel in the training image is 1250, 1200 is the pixel value of the pixel. It can be used as a pre-processed pixel value. If the pixel value of a specific pixel in the training image is 800, 800 can be used as the pre-processed pixel value of the pixel.

다음, 사전 설정된 CT 값 범위에 따라, 상기 트레이닝 이미지의 임의의 픽셀의 픽셀값에 대해 정규화 처리를 수행하여, 정규화된 트레이닝 이미지를 획득한다. 여기서, 공식 (1)을 사용하여 트레이닝 이미지의 임의의 픽셀의 픽셀값에 대해 정규화 처리를 수행할 수 있다.Next, according to the preset CT value range, normalization processing is performed on the pixel value of any pixel of the training image to obtain a normalized training image. Here, the normalization process can be performed on the pixel value of any pixel of the training image using formula (1).

(1);

(One);

여기서, h는 사전 처리를 거친 상기 픽셀의 픽셀값이고, h_min는 상기 사전 설정된 CT 값 범위의 하한값이며, h_max는 상기 사전 설정된 CT 값 범위의 상한값이다. 이로부터, 트레이닝 이미지 중의 각각의 픽셀에 대해 상기 처리를 수행하여, 정규화된 트레이닝 이미지를 획득할 수 있다.Here, h is the pixel value of the pre-processed pixel, h _min is the lower limit of the preset CT value range, and h _max is the upper limit of the preset CT value range. From this, it is possible to obtain a normalized training image by performing the above processing on each pixel in the training image.

여기서, 정규화된 트레이닝 이미지를 확대할 수 있다. 예를 들어, 정규화된 트레이닝 이미지를 0.6 내지 1.4배로 랜덤으로 스케일링하고, 스케일링된 이미지 중심에서 512×512 사이즈로 크로핑하여, 상이한 스케일링 척도 하의 동일한 사이즈의 트레이닝 이미지를 획득할 수 있다. 상응하게, 트레이닝 이미지에 대응되는 마스크에도 마찬가지 동작을 수행한다.Here, the normalized training image may be enlarged. For example, the normalized training image may be randomly scaled by 0.6 to 1.4 times, and cropped to a size of 512×512 at the center of the scaled image to obtain training images of the same size under different scaling scales. Correspondingly, the same operation is performed on the mask corresponding to the training image.

또한, 정규화 처리를 거쳐 확대 처리된 트레이닝 이미지를 트레이닝 세트 및 검증 세트로 나눌 수 있다. 예를 들어, 4:1의 비율로 처리된 트레이닝 이미지를 트레이닝 세트 및 검증 세트로 나눌 수 있다.In addition, the training image enlarged through the normalization process may be divided into a training set and a verification set. For example, a training image processed in a ratio of 4:1 may be divided into a training set and a validation set.

이렇게, 상기 U형 컨볼루션 신경망이 검증 세트에서의 손실이 0.03 이하로 감소될 때까지, 트레이닝 세트를 사용하여 U형 컨볼루션 신경망을 반복적으로 트레이닝하여, 트레이닝된 U형 컨볼루션 신경망을 획득할 수 있다.In this way, the U-shaped convolutional neural network is repeatedly trained using the training set until the loss in the validation set is reduced to 0.03 or less, thereby obtaining a trained U-shaped convolutional neural network. have.

실제 응용에서, 처리할 CT 이미지를 획득하고, 상기 처리할 CT 이미지를 트레이닝된 U형 컨볼루션 신경망에 입력하며, 상기 U형 컨볼루션 신경망을 통해 상기 처리할 CT 이미지에서 타깃 객체에 속하는 픽셀의 정보를 예측하고; 상기 처리할 CT 이미지에서 상기 타깃 객체에 속하는 픽셀의 정보에 따라, 상기 처리할 CT 이미지에 대응되는 예비 분할 이미지를 획득한다.In practical application, a CT image to be processed is acquired, the CT image to be processed is input to a trained U-shaped convolutional neural network, and information of pixels belonging to a target object in the CT image to be processed through the U-shaped convolutional neural network to predict; A preliminary segmented image corresponding to the CT image to be processed is acquired according to information on pixels belonging to the target object in the CT image to be processed.

상기 예비 분할 이미지를 획득한 후, 상기 예비 분할 이미지의 둘레에 폭이 1 픽셀인 변을 접합하여, 접합된 예비 분할 이미지를 획득하고; 상기 접합된 예비 분할 이미지의 좌측 상단 모서리의 픽셀을 시드 포인트로 선택하며, 상기 접합된 예비 분할 이미지에 대해 플러드 필링 조작을 수행하여, 필링된 예비 분할 이미지를 획득할 수 있다. 여기서, 상기 처리할 CT 이미지 중 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 상기 타깃 객체의 에지에 포함된 최대 연결 도메인을 결정하고; 상기 필링된 예비 분할 이미지에서 상기 최대 연결 도메인을 제외한 픽셀의 픽셀값을 상기 제2 사전 설정값으로 조정하여, 상기 처리할 CT 이미지에 대응되는 제1 분할 결과를 획득할 수 있다. 상기 제1 분할 결과를 획득한 후, 상기 처리할 CT 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득할 수 있다.after acquiring the preliminary divided image, a side having a width of 1 pixel is joined to the periphery of the preliminary divided image to obtain a joined preliminary divided image; A pixel in the upper left corner of the spliced preliminary segmented image is selected as a seed point, and a flood filling operation is performed on the spliced preliminary segmented image to obtain a filled preliminary segmented image. Here, according to the edge information of the target object among the CT images to be processed, determine a maximum connection domain included in the edge of the target object of the filled preliminary segmented image; A first segmentation result corresponding to the CT image to be processed may be obtained by adjusting pixel values of pixels except for the maximum connection domain in the filled preliminary segmented image to the second preset value. After obtaining the first segmentation result, an image adjacent to the CT image to be processed and a second segmentation result corresponding to the adjacent image may be obtained.

나아가, 상기 처리할 CT 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하고; 상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하며; 상기 제1 분할 결과에서 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 CT 이미지에 대응되는 제3 분할 결과를 획득할 수 있다.Further, according to a pixel in which a difference value of a pixel value at the same position in the CT image to be processed and the adjacent image is less than or equal to a third preset value, acquire a first set of pixels; obtain a second set of pixels according to the pixel belonging to the target object in the second division result of the first set of pixels; A third segmentation result corresponding to the CT image to be processed may be obtained by adjusting the pixels of the second set of pixels in the first segmentation result to belong to the target object.

또한, 본 발명은 이미지 분할 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체, 프로그램을 더 제공하고, 이들은 모두 본 발명에서 제공되는 임의의 하나의 이미지 분할 방법을 구현하는데 사용될 수 있으며, 상응한 기술적 해결수단 및 기술 효과는 방법 부분의 상응한 기재를 참조할 수 있으며, 상세한 설명을 생략한다.In addition, the present invention further provides an image segmentation apparatus, an electronic device, a computer readable storage medium, and a program, all of which can be used to implement any one image segmentation method provided in the present invention, and corresponding technical solutions and technical effects may refer to the corresponding description of the method part, and detailed description is omitted.

도 6은 본 발명의 실시예에서 제공되는 이미지 분할 장치의 블록도를 도시한다. 도 6에 도시된 바와 같이, 상기 이미지 분할 장치는, 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하도록 구성되는 제1 분할 부분(51); 및 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 처리할 이미지에 대응되는 제1 분할 결과를 획득하도록 구성되는 제1 조정 부분(52)을 포함한다.6 is a block diagram of an image segmentation apparatus provided in an embodiment of the present invention. As shown in FIG. 6 , the image segmentation apparatus includes: a first segmentation part 51 configured to predict a pixel belonging to a target object in an image to be processed to obtain a preliminary segmented image corresponding to the image to be processed; and adjusting the pixel values of predicted pixels that do not belong to the target object in the closed area included in the edge of the target object in the preliminary segmented image according to the edge information of the target object of the image to be processed. and a first adjusting portion 52 configured to obtain a first segmentation result corresponding to the image.

일 가능한 구현 형태에서, 상기 예비 분할 이미지에서, 상기 타깃 객체에 속하는 예측된 픽셀의 픽셀값은 제1 사전 설정 값이고, 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값은 제2 사전 설정 값이며; 상기 제1 조정 부분(52)은, 상기 예비 분할 이미지에서 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 필링된 예비 분할 이미지를 획득하고; 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하도록 구성된다.In one possible implementation form, in the preliminary segmentation image, a pixel value of a predicted pixel belonging to the target object is a first preset value, a pixel value of a predicted pixel not belonging to the target object is a second preset value, ; the first adjustment part 52 is configured to adjust the pixel value of the closed region in which the pixel value is the second preset value in the preliminary segmented image to the first preset value, to obtain a filled preliminary segmented image; and adjust pixel values of the filled preliminary segmented image according to edge information of the target object of the image to be processed to obtain a first segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 제1 조정 부분(52)은, 상기 예비 분할 이미지의 주변에 사전 설정 폭의 변을 접합하여, 접합된 예비 분할 이미지를 획득하고, 접합된 상기 사전 설정 폭의 변의 픽셀의 픽셀값은 상기 제2 사전 설정값이며; 상기 접합된 예비 분할 이미지의 이미지 에지의 픽셀을 시드 포인트로 선택하고, 상기 접합된 예비 분할 이미지에 대해 플러드 필링 조작을 수행하여, 필링된 예비 분할 이미지를 획득하도록 구성된다.In one possible implementation form, the first adjustment part 52 is configured to join a side of a preset width to the periphery of the preliminary divided image to obtain a joined preliminary divided image, and the joined pixels of the side of the preset width a pixel value of is the second preset value; and selecting a pixel of an image edge of the spliced preliminary segmented image as a seed point, and performing a flood filling operation on the spliced preliminary segmented image to obtain a filled preliminary segmented image.

일 가능한 구현 형태에서, 상기 제1 조정 부분(52)은, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 상기 타깃 객체의 에지에 포함된 최대 연결 도메인을 결정하고; 상기 필링된 예비 분할 이미지에서 상기 최대 연결 도메인을 제외한 픽셀의 픽셀값을 상기 제2 사전 설정값으로 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하도록 구성된다.In one possible implementation form, the first adjustment part 52 determines, according to edge information of the target object of the image to be processed, a maximum connection domain included in an edge of the target object of the filled preliminary segmented image. do; and adjusting pixel values of pixels excluding the maximum connection domain in the filled preliminary segmented image to the second preset value to obtain a first segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 장치는, 상기 처리할 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득하도록 구성되는 제2 획득 부분; 및 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하도록 구성되는 제3 조정 부분을 더 포함한다.In one possible implementation form, the apparatus includes: a second acquiring part, configured to acquire an image adjacent to the image to be processed and a second segmentation result corresponding to the adjacent image; and adjusting the first division result according to the pixel value of the pixel at the same position in the image to be processed and the adjacent image, and the second division result to obtain a third division result corresponding to the image to be processed. It further includes a third adjusting portion configured.

일 가능한 구현 형태에서, 상기 제3 조정 부분은, 상기 인접한 이미지에서, 제2 분할 결과에서 상기 타깃 객체에 속하되, 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득도록 구성된다.In one possible implementation form, the third adjustment part is configured such that, in the adjacent image, a difference value of a pixel value belonging to the target object in the second segmentation result and located at the same position as the image to be processed is greater than the third preset value. and adjust the first segmentation result according to the smaller or equal pixel to obtain a third segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 제3 조정 부분은, 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하고; 상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하며; 상기 제1 분할 결과에서 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하도록 구성된다.In one possible implementation form, the third adjustment part is configured to select the first set of pixels according to a pixel in which a difference value of a pixel value at the same position in the image to be processed and the adjacent image is less than or equal to a third preset value. obtain; obtain a second set of pixels according to the pixel belonging to the target object in the second division result of the first set of pixels; and adjust the pixels of the second set of pixels in the first segmentation result to belong to the target object to obtain a third segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 장치는 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라 신경망을 트레이닝하도록 구성되는 트레이닝 부분을 더 포함하고, 상기 트레이닝 이미지의 라벨링 데이터는 상기 트레이닝 이미지에서 상기 타깃 객체에 속하는 픽셀의 참값을 포함하며; 상기 제1 분할 부분(51)은, 처리할 이미지를 상기 신경망에 입력하고, 상기 신경망을 통해 상기 처리할 이미지에서 타깃 객체에 속하는 픽셀의 정보를 예측하며; 상기 처리할 이미지에서 상기 타깃 객체에 속하는 픽셀의 정보에 따라, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하도록 구성된다.In one possible implementation form, the apparatus further comprises a training part, configured to train a neural network according to a training image and labeling data of the training image, wherein the labeling data of the training image is a pixel belonging to the target object in the training image contains the true value of ; The first segmentation part 51 inputs an image to be processed into the neural network, and predicts information on pixels belonging to a target object in the image to be processed through the neural network; and acquire a preliminary segmented image corresponding to the image to be processed according to information on pixels belonging to the target object in the image to be processed.

일 가능한 구현 형태에서, 상기 트레이닝 이미지는 전산화 단층 촬영(CT) 이미지이고; 상기 트레이닝 부분은, 사전 설정된 CT 값 범위에 따라, 상기 트레이닝 이미지의 픽셀값에 대해 정규화 처리를 수행하여, 정규화된 트레이닝 이미지를 획득하고; 정규화된 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라, 상기 신경망을 트레이닝하도록 구성된다.In one possible implementation form, the training image is a computed tomography (CT) image; the training part performs normalization processing on the pixel values of the training image according to a preset CT value range to obtain a normalized training image; and train the neural network according to the normalized training image and the labeling data of the training image.

본 발명의 실시예에서, 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 처리할 이미지에 대응되는 예비 분할 이미지를 획득하고, 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 예비 분할 이미지에서, 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득함으로써, 보다 정확하고 강건한 분할 결과를 획득할 수 있다.In an embodiment of the present invention, by predicting a pixel belonging to a target object in the image to be processed, a preliminary segmented image corresponding to the image to be processed is obtained, and according to edge information of the target object of the image to be processed, in the preliminary segmented image , obtain a more accurate and robust segmentation result by adjusting the pixel value of a predicted pixel that does not belong to the target object in a closed area included in the edge of the target object to obtain a first segmentation result corresponding to the image to be processed can do.

도 7은 본 발명의 실시예에서 제공되는 이미지 분할 장치의 다른 블록도를 도시한다. 도 7에 도시된 바와 같이, 상기 이미지 분할 장치는, 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하도록 구성되는 제2 분할 부분(61); 상기 처리할 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득하도록 구성되는 제1 획득 부분(62); 및 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하도록 구성되는 제2 조정 부분(63)을 포함한다.7 is another block diagram of an image segmentation apparatus provided in an embodiment of the present invention. As shown in FIG. 7 , the image segmentation apparatus includes: a second segmentation part 61 configured to predict a pixel belonging to a target object in an image to be processed to obtain a preliminary segmented image corresponding to the image to be processed; a first acquiring portion (62) configured to acquire an image adjacent to the image to be processed and a second segmentation result corresponding to the adjacent image; and adjusting the preliminary segmented image according to the pixel value of the pixel at the same position of the image to be processed and the adjacent image, and the second segmentation result to obtain a fourth segmentation result corresponding to the image to be processed. and a second adjustment part 63 which is

일 가능한 구현 형태에서, 상기 제2 조정 부분(63)은, 상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 예비 분할 이미지를 조정하여, 처리할 이미지에 대응되는 제4 분할 결과를 획득하도록 구성된다.In one possible implementation form, the second adjustment part 63 may include, in the adjacent image, a difference value of a pixel value belonging to the target object in the second segmentation result and located at the same position as the image to be processed. and adjust the preliminary segmented image according to pixels smaller than or equal to the preset value to obtain a fourth segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 제2 조정 부분(63)은, 상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하고; 상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하며; 상기 예비 분할 이미지 중 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하도록 구성된다.In one possible implementation form, the second adjustment part 63 is configured to: according to a pixel in which a difference value of a pixel value at the same position in the image to be processed and the adjacent image is less than or equal to a third preset value, the first obtain a set of pixels; obtain a second set of pixels according to the pixel belonging to the target object in the second division result of the first set of pixels; and adjust pixels of the second set of pixels in the preliminary segmented image to belong to the target object to obtain a fourth segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 장치는, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 제4 분할 결과에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제5 분할 결과를 획득하도록 구성되는 제4 조정 부분을 더 포함한다.In one possible implementation form, the apparatus is configured to: according to the edge information of the target object of the image to be processed, a predicted prediction that does not belong to the target object in the closed region included in the edge of the target object in the fourth segmentation result and a fourth adjustment part, configured to adjust the pixel value of the pixel to obtain a fifth segmentation result corresponding to the image to be processed.

일 가능한 구현 형태에서, 상기 제4 조정 부분은, 상기 제4 분할 결과 중 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 상기 제4 분할 결과에 대응되는 필링된 예비 분할 이미지를 획득하고; 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제5 분할 결과를 획득하도록 구성된다.In one possible implementation form, the fourth adjustment part is configured to: adjust a pixel value of a closed region in which the pixel value of the fourth division result is the second preset value to the first preset value, so that the fourth division result obtaining a filled preliminary segmented image corresponding to ; and to obtain a fifth segmentation result corresponding to the image to be processed by adjusting pixel values of the filled preliminary segmented image according to edge information of the target object of the image to be processed.

일 가능한 구현 형태에서, 상기 제4 조정 부분은, 상기 제4 분할 결과의 주변에 사전 설정 폭의 변을 접합하여, 접합된 제4 분할 결과를 획득하고, 접합된 상기 사전 설정 폭의 변의 픽셀의 픽셀값은 상기 제2 사전 설정값이며; 상기 접합된 제4 분할 결과의 이미지 에지의 픽셀을 시드 포인트로 선택하고, 상기 접합된 제4 분할 결과에 대해 플러드 필링 조작을 수행하여, 상기 제4 분할 결과에 대응되는 필링된 예비 분할 이미지를 획득하도록 구성된다.In one possible implementation form, the fourth adjustment part is configured to join a side of a preset width to the periphery of the fourth division result to obtain a joined fourth division result, and include: the pixel value is the second preset value; Selecting a pixel of an image edge of the joined fourth segmentation result as a seed point, and performing a flood filling operation on the joined fourth segmentation result, to obtain a filled preliminary segmented image corresponding to the fourth segmentation result is configured to

일 가능한 구현 형태에서, 상기 제4 조정 부분은, 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 상기 타깃 객체의 에지에 포함된 최대 연결 도메인을 결정하고; 상기 필링된 예비 분할 이미지에서 상기 최대 연결 도메인을 제외한 픽셀의 픽셀값을 상기 제2 사전 설정값으로 조정하여, 상기 처리할 이미지에 대응되는 제5 분할 결과를 획득하도록 구성된다.In one possible implementation form, the fourth adjustment part is configured to: determine, according to edge information of the target object of the image to be processed, a maximum connected domain included in an edge of the target object of the filled preliminary segmented image; and adjusting pixel values of pixels excluding the largest connection domain in the filled preliminary segmented image to the second preset value to obtain a fifth segmentation result corresponding to the image to be processed.

본 발명의 실시예에서, 처리할 이미지와 제2 분할 결과의 연속성을 보장할 수 있어, 보다 매끄럽고 정확한 3차원 분할 결과를 획득하는데 도움이 된다. 예를 들어, 상기 타깃 객체가 인체이면, 처리할 이미지와 인접한 이미지의 인체의 연속성을 보장할 수 있어, 보다 매끄럽고 정확한 3차원 인체 분할 결과를 획득하는데 도움이 된다. 예를 들어, 본 발명의 실시예를 사용하여 CT 이미지 시퀀스 중의 각 CT 이미지에 대응되는 분할 결과를 획득할 수 있고, 이로부터 보다 매끄럽고 정확한 3차원 인체 분할 결과를 획득한다.In the embodiment of the present invention, it is possible to ensure the continuity of the image to be processed and the result of the second segmentation, which helps to obtain a smoother and more accurate three-dimensional segmentation result. For example, if the target object is a human body, it is possible to ensure the continuity of the human body between the image to be processed and the image adjacent to it, which helps to obtain a smoother and more accurate 3D human body segmentation result. For example, a segmentation result corresponding to each CT image in a CT image sequence may be obtained using an embodiment of the present invention, and a smoother and more accurate 3D body segmentation result may be obtained therefrom.

일부 실시예에서, 본 발명의 실시예에서 제공되는 장치에 구비되는 기능 또는 포함되는 부분은 상기 방법 실시예에서 설명된 방법을 수행할 수 있는데, 그 구체적인 구현은 상기 방법 실시예에 대한 설명을 참조할 수 있으며, 간결함을 위해 여기서 상세한 설명을 생략한다.In some embodiments, a function provided or included in an apparatus provided in an embodiment of the present invention may perform the method described in the method embodiment, for specific implementation, see the description of the method embodiment , and a detailed description thereof is omitted here for the sake of brevity.

본 발명의 실시예 및 다른 실시예에서, “일부”는 일부 회로, 일부 프로세서, 일부 프로그램 또는 소프트웨어 등일 수 있으며, 물론 유닛일 수도 있고, 모듈이거나 비모듈화 된 것일 수도 있다.In the embodiment and other embodiments of the present invention, “some” may be some circuit, some processor, some program or software, etc., of course, may be a unit, may be a module, or may be non-modular.

본 발명의 실시예는 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우, 상기 방법이 구현된다. 여기서, 상기 컴퓨터 판독 가능 저장 매체는 비휘발성 컴퓨터 판독 가능 저장 매체이거나, 휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.An embodiment of the present invention further provides a computer-readable storage medium having computer program instructions stored thereon, and when the computer program instructions are executed by a processor, the method is implemented. Here, the computer-readable storage medium may be a non-volatile computer-readable storage medium or a volatile computer-readable storage medium.

본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기의 프로세서는 상기 이미지 분할 방법을 구현하도록 구성된다.An embodiment of the present invention further provides a computer program including computer readable code, wherein when the computer readable code is executed in an electronic device, the processor of the electronic device is configured to implement the image segmentation method.

본 발명의 실시예는 컴퓨터 판독 가능 명령이 저장되는 다른 컴퓨터 프로그램 제품을 더 제공하고, 명령이 실행될 경우, 컴퓨터로 하여금 상기 임의의 하나의 실시예에서 제공되는 이미지 분할 방법의 동작을 수행하도록 한다.An embodiment of the present invention further provides another computer program product in which computer readable instructions are stored, and when the instructions are executed, cause the computer to perform the operation of the image segmentation method provided in any one of the embodiments above.

본 발명의 실시예는 하나 또는 다수의 프로세서; 및 실행 가능 명령이 저장되는 메모리를 포함하는 전자 기기를 더 제공하고, 상기 하나 또는 다수의 프로세서는 상기 메모리에 저장된 실행 가능 명령을 호출하여, 상기 방법을 수행하도록 구성된다.Embodiments of the present invention include one or more processors; and a memory in which the executable instructions are stored, wherein the one or more processors are configured to invoke the executable instructions stored in the memory to perform the method.

전자 기기는 단말기, 서버 또는 다른 형태의 기기로 제공될 수 있다.The electronic device may be provided as a terminal, server, or other type of device.

도 8은 본 발명의 실시예에서 제공되는 전자 기기(800)의 블록도이다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말기, 메시지 송수신 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 정보 단말기 등 단말기일 수 있다.8 is a block diagram of an electronic device 800 provided in an embodiment of the present invention. For example, the electronic device 800 may be a terminal such as a mobile phone, a computer, a digital broadcasting terminal, a message transmitting/receiving device, a game console, a tablet device, a medical device, a fitness device, or a personal information terminal.

도 8을 참조하면, 전자 기기(800)는 프로세싱 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 다수의 컴포넌트를 포함할 수 있다.Referring to FIG. 8 , the electronic device 800 includes a processing component 802 , a memory 804 , a power component 806 , a multimedia component 808 , an audio component 810 , and an input/output (I/O) interface. 812 , a sensor component 814 , and a communication component 816 .

프로세싱 컴포넌트(802)는 일반적으로 디스플레이, 전화 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(800)의 전체 동작을 제어한다. 프로세싱 컴포넌트(802)는, 상기 방법의 전부 또는 일부 단계를 완료하도록, 하나 또는 다수의 프로세서(820)를 포함하여 명령을 실행할 수 있다. 또한, 프로세싱 컴포넌트(802)는, 프로세싱 컴포넌트(802)와 다른 컴포넌트 사이의 인터랙션을 수행하기 편리하도록, 하나 또는 다수의 부분을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(802)는, 멀티미디어 컴포넌트(808)와 프로세싱 컴포넌트(802) 사이의 인터랙션을 편리하게 수행하도록, 멀티미디어 부분을 포함할 수 있다.The processing component 802 generally controls the overall operation of the electronic device 800 , such as operations related to displays, phone calls, data communications, camera operations, and recording operations. The processing component 802 may include one or more processors 820 to execute instructions to complete all or some steps of the method. Further, processing component 802 may include one or more portions to facilitate performing interactions between processing component 802 and other components. For example, processing component 802 may include a multimedia portion to conveniently perform an interaction between multimedia component 808 and processing component 802 .

메모리(804)는 다양한 유형의 데이터를 저장하여 전자 기기(800)에서의 동작을 지원하도록 구성된다. 이러한 데이터의 예시는 전자 기기(800)에서 동작하는 임의의 응용 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그램 가능 판독 전용 메모리(EEPROM), 소거 가능 프로그램 가능 판독 전용 메모리(EPROM), 프로그램 가능 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크와 같은 임의의 유형의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.The memory 804 is configured to support operation in the electronic device 800 by storing various types of data. Examples of such data include commands, contact data, phonebook data, messages, photos, videos, and the like of any application or method operating in the electronic device 800 . Memory 804 includes static random access memory (SRAM), electrically erasable programmable read only memory (EEPROM), erasable programmable read only memory (EPROM), programmable read only memory (PROM), read only memory ( ROM), magnetic memory, flash memory, magnetic disk or optical disk, or any type of volatile or non-volatile storage device, or a combination thereof.

전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에게 전력을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 다수의 전원, 및 전자 기기(800)에 대한 전력의 생성, 관리 및 할당과 관련되는 다른 컴포넌트를 포함할 수 있다.The power component 806 provides power to various components of the electronic device 800 . Power component 806 may include a power management system, one or more power sources, and other components related to the generation, management, and allocation of power to electronic device 800 .

멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(LCD) 및 터치 패드(P)를 포함할 수 있다. 만약 스크린이 터치 패드를 포함하면, 사용자로부터 입력 신호를 수신하도록 스크린은 터치 스크린으로 구현될 수 있다. 터치 패드는, 터치, 슬라이드 및 터치 패드에서의 제스처를 감지하기 위한 하나 또는 다수의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라, 상기 터치 또는 슬라이드 동작에 관련된 지속 시간 및 압력을 감지할 수도 있다. 일부 실시예에서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및/또는 후방 카메라를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각각의 전방 카메라와 후방 카메라는 하나의 고정된 광학 렌즈 시스템일 수 있거나 초점 거리 및 광학 줌 기능을 가질 수 있다.The multimedia component 808 includes a screen that provides an output interface between the electronic device 800 and a user. In some embodiments, the screen may include a liquid crystal display (LCD) and a touch pad (P). If the screen includes a touch pad, the screen may be implemented as a touch screen to receive an input signal from a user. The touchpad includes one or more touch sensors for sensing touches, slides and gestures on the touchpad. The touch sensor not only senses a boundary of a touch or slide action, but also senses a duration and pressure associated with the touch or slide action. In some embodiments, multimedia component 808 includes one front camera and/or one rear camera. When the electronic device 800 is in an operation mode such as a photographing mode or a video mode, the front camera and/or the rear camera may receive external multimedia data. Each of the front and rear cameras may be one fixed optical lens system or may have focal length and optical zoom functions.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 전자 기기(800)가 호출 모드, 기록 모드 및 음성 인식 모드와 같은 동작 모드일 경우, 마이크는 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 저장되거나 통신 컴포넌트(816)를 통해 송신될 수 있다. 일부 실시예에서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.The audio component 810 is configured to output and/or input an audio signal. For example, the audio component 810 includes one microphone (MIC), and when the electronic device 800 is in an operation mode such as a call mode, a recording mode, and a voice recognition mode, the microphone is configured to receive an external audio signal. is composed The received audio signal may be stored in memory 804 or transmitted via communication component 816 . In some embodiments, the audio component 810 further includes one speaker for outputting an audio signal.

입력/출력 인터페이스(812)는 프로세싱 컴포넌트(802)와 주변 인터페이스 모듈 사이에 인터페이스를 제공하며, 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만, 이에 한정되지 않는다.The input/output interface 812 provides an interface between the processing component 802 and a peripheral interface module, which may be a keyboard, a click wheel, a button, or the like. Buttons may include, but are not limited to, a home button, a volume button, a start button, and a lock button.

센서 컴포넌트(814)는 다양한 양태의 상태 평가를 전자 기기(800)에 제공하기 위한 하나 또는 다수의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 컴포넌트의 상대적 위치를 감지할 수 있고, 예를 들어, 상기 컴포넌트는 전자 기기(800)의 디스플레이 및 키패드이고, 센서 컴포넌트(814)는 전자 기기(800) 또는 전자 기기(800)의 하나의 컴포넌트의 위치 변화, 사용자와 전자 기기(800) 사이의 접촉 여부, 전자 기기(800) 방위 또는 가속/감속 및 전자 기기(800)의 온도 변화를 더 감지할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉이 존재하지 않을 경우 근처 물체의 존재를 감지하도록 구성되는 접근 센서를 포함할 수 있다. 센서 컴포넌트(814)는 이미징 애플리케이션에 사용하기 위한, 상보성 금속 산화물 반도체(CMOS) 또는 전하 결합 소자(CCD) 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.Sensor component 814 includes one or more sensors for providing electronic device 800 with status assessments of various aspects. For example, the sensor component 814 may sense the on/off state of the electronic device 800 , the relative position of the component, for example, the component is the display and keypad of the electronic device 800 , and a sensor The component 814 is the electronic device 800 or a change in the position of one component of the electronic device 800, whether the user and the electronic device 800 are in contact, the orientation or acceleration/deceleration of the electronic device 800, and the electronic device ( 800) can be further detected. The sensor component 814 may include a proximity sensor configured to sense the presence of a nearby object when no physical contact is present. The sensor component 814 may further include an optical sensor, such as a complementary metal oxide semiconductor (CMOS) or charge coupled device (CCD) image sensor, for use in imaging applications. In some embodiments, the sensor component 814 may further include an acceleration sensor, a gyro sensor, a magnetic sensor, a pressure sensor, or a temperature sensor.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 방식의 통신이 용이하도록 구성된다. 전자 기기(800)는 무선 네트워크(Wi-Fi), 차세대 이동통신 기술(2G) 또는 3세대 이동통신 기술(3G), 4세대 이동통신 기술(4G)/유니버셜 이동통신 기술의 롱텀 에볼루션(LTE), 5세대 이동통신 기술(5G) 또는 이들의 조합과 같은, 통신 표준에 기반한 무선 네트워크에 액세스할 수 있다. 일 예시적인 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적인 실시예에서, 상기 통신 컴포넌트(816)는 근거리 통신을 촉진하는 근거리 무선 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술을 기반으로 구현될 수 있다.The communication component 816 is configured to facilitate wired or wireless communication between the electronic device 800 and other devices. The electronic device 800 is a wireless network (Wi-Fi), a next-generation mobile communication technology (2G) or a third-generation mobile communication technology (3G), a fourth-generation mobile communication technology (4G) / long-term evolution (LTE) of universal mobile communication technology , access a wireless network based on a communication standard, such as 5th generation mobile communication technology (5G) or a combination thereof. In an exemplary embodiment, the communication component 816 receives a broadcast signal or broadcast related information from an external broadcast management system through a broadcast channel. In one exemplary embodiment, the communication component 816 further includes a near field communication (NFC) module that facilitates near field communication. For example, the NFC module may be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology and other technologies.

예시적인 실시예에서, 전자 기기(800)는 하나 또는 다수의 응용 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 프로세서 기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 소자에 의해 구현되어, 상기 방법을 실행할 수 있다.In an exemplary embodiment, electronic device 800 includes one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processor devices (DSPDs), programmable logic devices (PLDs), field programmable circuits It may be implemented by a gate array (FPGA), controller, microcontroller, microprocessor, or other device to carry out the method.

예시적인 실시예에서, 전자 기기(800)의 프로세서(820)에 의해 실행되어 상기 방법을 수행할 수 있는 컴퓨터 프로그램 명령을 포함하는 메모리(804)를 포함하는 비휘발성 컴퓨터 판독 가능 저장 매체를 더 제공한다.In an exemplary embodiment, there is further provided a non-volatile computer-readable storage medium comprising a memory 804 comprising computer program instructions executable by the processor 820 of the electronic device 800 to perform the method do.

도 9는 본 발명의 실시예에서 제공되는 전자 기기(1900)의 블록도이다. 예를 들어, 전자 기기(1900)는 하나의 서버로 제공될 수 있다. 도 9를 참조하면, 전자 기기(1900)는 프로세싱 컴포넌트(1922)를 포함하고, 이는 또한 하나 또는 다수 프로세서, 및 응용 프로그램과 같이, 프로세싱 컴포넌트(1922)에 의해 실행 가능한 명령을 저장하기 위한, 메모리(1932)를 대표로 하는 메모리 리소스를 포함한다. 메모리(1932)에 저장된 응용 프로그램은 각각의 명령에 대응되는 하나 또는 하나 이상의 부분을 포함할 수 있다. 이 외에, 프로세싱 컴포넌트(1922)는 명령을 실행하여 상기 방법을 수행하도록 구성된다.9 is a block diagram of an electronic device 1900 provided in an embodiment of the present invention. For example, the electronic device 1900 may be provided as one server. Referring to FIG. 9 , an electronic device 1900 includes a processing component 1922 , which also includes one or more processors, and a memory for storing instructions executable by the processing component 1922 , such as an application program. (1932) as a representative of memory resources. The application program stored in the memory 1932 may include one or more parts corresponding to each command. In addition, processing component 1922 is configured to execute instructions to perform the method.

전자 기기(1900)는 전자 기기(1900)의 전원 관리를 수행하도록 구성되는 하나의 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성되는 하나의 유선 또는 무선 네트워크 인터페이스(1950), 및 하나의 입출력(I/O) 인터페이스(1958)를 더 포함할 수 있다. 전자 기기(1900)는 메모리(1932)에 저장된 운영 체제, 예를 들어, 마이크로소프트 서버 운영 체제(Windows ServerTM), 애플 회사에서 출시한 그래픽 기반 사용자 인터페이스 운영 체제(Mac OS XTM), 멀티 유저 멀티 프로세스의 컴퓨터 운영 체제(UnixTM), 무료 및 오픈 소스 코드 Unix 계열 운영 체제(LinuxTM), 오픈 소스 코드 Unix 계열 운영체제(FreeBSDTM) 등과 같은 것을 작동시킬 수 있다.The electronic device 1900 includes one power component 1926 configured to perform power management of the electronic device 1900, one wired or wireless network interface 1950 configured to connect the electronic device 1900 to a network, and one input/output (I/O) interface 1958 . The electronic device 1900 is an operating system stored in the memory 1932, for example, Microsoft Server Operating System (Windows Server™), a graphical user interface operating system (Mac OS X™) released by Apple Corporation, a multi-user multi-process of computer operating systems (UnixTM), free and open source code Unix-like operating systems (LinuxTM), open-source code Unix-like operating systems (FreeBSDTM), etc.

예시적인 실시예에서, 전자 기기(1900)의 프로세싱 컴포넌트(1922)에 의해 실행되어 상기 방법을 수행할 수 있는 컴퓨터 프로그램 명령을 포함하는 메모리(804)를 포함하는 비휘발성 컴퓨터 판독 가능 저장 매체를 더 제공한다.In an exemplary embodiment, a non-volatile computer-readable storage medium comprising a memory 804 comprising computer program instructions executable by the processing component 1922 of the electronic device 1900 to perform the method is further provided. to provide.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은, 프로세서로 하여금 본 발명의 각 양태를 구현하도록 하는 컴퓨터 판독 가능 프로그램 명령이 탑재된 컴퓨터 판독 가능 저장 매체를 포함할 수 있다.The invention may be a system, method and/or computer program product. The computer program product may include a computer readable storage medium having computer readable program instructions mounted thereon for causing a processor to implement each aspect of the present invention.

컴퓨터 판독 가능 저장 매체는 명령 실행 기기에 의해 사용되는 명령을 유지하고 저장할 수 있는 유형의 기기일 수 있다. 컴퓨터 판독 가능 저장 매체는 전기 저장 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 이들의 임의의 적합한 조합일 수 있으나, 이에 제한되지 않는다. 컴퓨터 판독 가능 저장 매체의 더욱 구체적인 예(비 완전 리스트)로는, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 비디오 디스크(DVD), 메모리 스틱, 플로피 디스크, 기계 인코딩 기기, 명령이 저장된 펀치 카드 또는 요홈 내 돌기 구조, 및 이들의 임의의 적합한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능 저장 매체는 무선 전기파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통한 광 펄스), 또는 전기선을 통해 전송되는 전기 신호와 같은 일시적 신호 자체로 해석되지 않는다.A computer-readable storage medium may be a tangible device that can hold and store instructions for use by an instruction execution device. The computer-readable storage medium may be, but is not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination thereof. More specific examples (non-exhaustive list) of computer-readable storage media include, but are not limited to, portable computer disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM or flash memory). , static random access memory (SRAM), compact disk read-only memory (CD-ROM), digital video disk (DVD), memory stick, floppy disk, machine encoding device, punch card or grooved structure on which instructions are stored, and these any suitable combination of As used herein, a computer-readable storage medium includes wireless electric waves or other freely propagating electromagnetic waves, electromagnetic waves that propagate through waveguides or other transmission media (eg, light pulses through fiber optic cables), or electrical signals transmitted over electrical wires. It is not interpreted as the same temporary signal itself.

여기서 설명되는 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 저장 매체로부터 각각의 컴퓨팅/프로세싱 기기에 다운로드될 수 있거나, 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 인터넷과 같은 네트워크를 통해 외부 컴퓨터 또는 외부 저장 기기에 다운로드될 수 있다. 네트워크는 구리 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각 컴퓨팅/프로세싱 기기의 네트워크 어댑터 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전달하여, 각각의 컴퓨팅/프로세싱 기기의 컴퓨터 판독 가능 저장 매체에 저장되도록 한다.The computer-readable program instructions described herein may be downloaded to each computing/processing device from a computer-readable storage medium, or through a network such as the Internet, a local area network, a wide area network and/or a wireless Internet, an external computer or external storage device. can be downloaded to Networks may include copper transport cables, fiber optic transport, wireless transport, routers, firewalls, switches, gateway computers and/or edge servers. A network adapter or network interface of each computing/processing device receives computer readable program instructions from a network, and transmits the computer readable program instructions to be stored in a computer readable storage medium of each computing/processing device.

본 발명의 동작을 실행하는 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(ISA) 명령, 기계 명령, 기계 관련 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 하나 또는 다수의 프로그래밍 언어의 임의의 조합으로 작성되는 소스 코드 또는 오브젝트 코드일 수 있고, 상기 프로그래밍 언어는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어와, “C" 언어 또는 유사한 프로그래밍 언어와 같은 기존 절차적 프로그래밍 언어를 포함한다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되거나, 부분적으로 사용자의 컴퓨터에서 실행되거나, 독립형 소프트웨어 패키지로서 실행되거나, 일부는 사용자의 컴퓨터에서 실행되고 일부는 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 포함하는 임의의 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나, 또는, 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결). 일부 실시예에서, 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 프로그램 가능 논리 회로, 필드 프로그램 가능 게이트 어레이(FPGA) 또는 프로그램 가능 논리 어레이(PLA)와 같은 전자 회로를 개성화 맞춤하고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령을 실행함으로써 본 발명의 실시예의 각 양태를 구현할 수 있다.The computer program instructions for implementing the operations of the present invention may be assembly instructions, instruction set architecture (ISA) instructions, machine instructions, machine-related instructions, microcode, firmware instructions, state setting data, or any combination of one or more programming languages. It can be written source code or object code, and the programming language includes an object-oriented programming language such as Smalltalk, C++, etc., and an existing procedural programming language such as a “C” language or similar programming language. may run entirely on the user's computer, partially on the user's computer, as a standalone software package, in part on the user's computer and partly on the remote computer, or entirely on the remote computer or server. In the case of a remote computer, the remote computer may be connected to the user's computer through any kind of network, including a local area network (LAN) or a wide area network (WAN), or it may be connected to an external computer (eg ; PLA) by personalizing an electronic circuit, the electronic circuit executing computer readable program instructions, thereby implementing each aspect of the embodiment of the present invention.

여기서 본 발명의 실시예의 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 본 발명의 각 양태를 설명한다. 흐름도 및/또는 블록도의 각각의 블록 및 흐름도 및/또는 블록도 중 각 블록의 조합은 모두 컴퓨터 판독 가능 프로그램 명령에 의해 구현될 수 있음을 이해해야 한다.Herein, each aspect of the present invention will be described with reference to flowcharts and/or block diagrams of methods, apparatus (systems) and computer program products of embodiments of the present invention. It should be understood that each block in the flowcharts and/or block diagrams and combinations of blocks in the flowcharts and/or block diagrams may all be implemented by computer readable program instructions.

이러한 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 제공되어 하나의 기계를 생성함으로써, 이러한 명령이 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 의해 실행될 경우, 흐름도 및/또는 블록도 중 하나 또는 다수의 블록에 지정된 기능/동작을 구현하는 장치를 생성할 수 있다. 또한, 이러한 컴퓨터 판독 가능 프로그램 명령을 컴퓨터 판독 가능 저장 매체에 저장할 수 있고, 이러한 명령은 컴퓨터, 프로그램 가능 데이터 처리 장치 및/또는 다른 기기가 특정된 방식으로 작업하도록 함으로써, 명령이 저장된 컴퓨터 판독 가능 매체는 흐름도 및/또는 블록도 중 하나 또는 다수의 블록에 지정된 기능/동작의 각 양태를 구현하는 명령을 포함하는 하나의 제조품을 포함한다.These computer readable program instructions are provided to the processor of a general purpose computer, special purpose computer, or other programmable data processing device to create a machine, such that when these instructions are executed by the processor of the computer or other programmable data processing device, the flow chart and/or devices that implement the functions/acts specified in one or more blocks of the block diagrams. Also, such computer readable program instructions may be stored in a computer readable storage medium, which instructions cause a computer, programmable data processing apparatus, and/or other device to work in a specified manner, thereby causing the computer readable medium having the instructions stored thereon. includes an article of manufacture comprising instructions for implementing each aspect of the functions/acts specified in one or more blocks of the flowchart and/or block diagrams.

또한 컴퓨터 판독 가능 프로그램 명령을 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기에 로딩하여, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에서 일련의 동작의 단계가 수행되도록 하여, 컴퓨터에 의해 구현되는 프로세스가 생성되도록 함으로써, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기에서 실행되는 명령이 흐름도 및/또는 블록도 중 하나 또는 다수의 블록에 지정된 기능/동작을 구현하도록 할 수 있다.Also, by loading the computer readable program instructions into a computer, other programmable data processing device, or other device, such that the steps of a series of operations are performed on the computer, other programmable data processing device, or other device, the computer-implemented By causing a process to be created, it may cause instructions executing on a computer, other programmable data processing device, or other device to implement functions/acts specified in one or more of the flowcharts and/or block diagrams.

도면의 흐름도 및 블록도는 본 발명의 다수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 아키텍처, 기능 및 동작을 도시한다. 이 점에서, 흐름도 또는 블록도 중 각 블록은 지정된 논리적 기능을 구현하기 위한 하나 또는 다수의 실행 가능한 명령을 포함하는 부분, 프로그램 세그먼트 또는 명령의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 표기된 기능은 도면에 도시된 것과 다른 순서로 구현될 수도 있음에 유의해야 한다. 예를 들어, 연속적인 2개의 블록은 실제로 기본적으로 병렬 실행될 수 있고, 관련 기능에 따라 때때로 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도 중 블록의 조합은 지정된 기능 또는 동작을 실행하는 전용 하드웨어 기반 시스템에 의해 구현될 수 있거나, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 구현될 수도 있음에 유의해야 한다.The flowchart and block diagrams in the drawings illustrate the possible architectures, functions, and operations of systems, methods, and computer program products in accordance with multiple embodiments of the present invention. In this regard, each block in the flowchart or block diagram may represent a portion, a program segment, or a portion of an instruction comprising one or more executable instructions for implementing a specified logical function. It should be noted that, in some alternative implementations, the functions indicated in the blocks may be implemented in a different order than shown in the figures. For example, two consecutive blocks may actually be executed in parallel by default, and sometimes in reverse order depending on the function involved. Further, each block in the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts, may be implemented by a dedicated hardware-based system for executing specified functions or operations, or a combination of dedicated hardware and computer instructions It should be noted that it may be implemented by

상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 일 선택 가능한 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되고, 다른 선택 가능한 실시예에서, 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.The computer program product may be specifically implemented in hardware, software, or a combination thereof. In one selectable embodiment, the computer program product is specifically implemented as a computer storage medium, and in another selectable embodiment, the computer program product is specifically implemented as a software product such as a Software Development Kit (SDK) or the like. do.

이상 내용에서는 본 발명의 각 실시예를 이미 설명하였고, 상기 설명은 예시적인 것일 뿐 완전한 것이 아니며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 전제 하에 이루어진 많은 수정 및 변경은 본 기술분야의 통상의 기술자에게 있어서 모두 자명하다. 본 명세서에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장의 기술에 대한 개선을 가장 잘 설명하거나, 또는 본 기술분야의 다른 통상의 기술자가 본 명세서에 개시된 각 실시예를 이해할 수 있도록 하기 위한 것이다.In the above content, each embodiment of the present invention has already been described, and the above description is only illustrative and not exhaustive, and is not limited to each disclosed embodiment. Many modifications and changes made without departing from the scope and spirit of each described embodiment will be apparent to those skilled in the art. The choice of terminology used herein is chosen to best explain the principle of each embodiment, practical application, or improvement over market technology, or to enable others skilled in the art to understand each embodiment disclosed herein. it is to do

본 발명의 실시예는 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하고; 상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득한다. 이렇게, 타깃 객체가 인체 또는 동물체일 경우, 타깃 객체의 기관 내부의 픽셀도 타깃 객체에 속하도록 분할할 수 있어, 보다 정확하고 강건한 분할 결과를 획득할 수 있다.An embodiment of the present invention predicts a pixel belonging to a target object in an image to be processed, and obtains a preliminary segmented image corresponding to the image to be processed; According to the edge information of the target object of the image to be processed, in the preliminary segmented image, pixel values of predicted pixels that do not belong to the target object are adjusted in the closed area included in the edge of the target object to be processed. A first segmentation result corresponding to the image is obtained. In this way, when the target object is a human body or an animal body, pixels inside the organ of the target object can be divided to belong to the target object, so that a more accurate and robust division result can be obtained.

Claims (17)

이미지 분할 방법으로서,
처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계; 및
상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계를 포함하는 이미지 분할 방법.An image segmentation method comprising:
predicting pixels belonging to a target object in the image to be processed, and obtaining a preliminary segmented image corresponding to the image to be processed; and
According to the edge information of the target object of the image to be processed, in the preliminary segmented image, pixel values of predicted pixels that do not belong to the target object are adjusted in the closed area included in the edge of the target object to be processed. An image segmentation method comprising the step of obtaining a first segmentation result corresponding to the image. 제1항에 있어서,
상기 예비 분할 이미지에서, 상기 타깃 객체에 속하는 예측된 픽셀의 픽셀값은 제1 사전 설정 값이고, 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값은 제2 사전 설정 값이며;
상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계는,
상기 예비 분할 이미지에서 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 필링된 예비 분할 이미지를 획득하는 단계; 및
상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 상기 제1 분할 결과를 획득하는 단계를 포함하는 이미지 분할 방법.According to claim 1,
In the preliminary segmentation image, a pixel value of a predicted pixel belonging to the target object is a first preset value, and a pixel value of a predicted pixel not belonging to the target object is a second preset value;
According to the edge information of the target object of the image to be processed, in the preliminary segmented image, pixel values of predicted pixels that do not belong to the target object are adjusted in the closed area included in the edge of the target object to be processed. Obtaining the first segmentation result corresponding to the image comprises:
obtaining a filled preliminary divided image by adjusting a pixel value of a closed region in which the pixel value is the second preset value in the preliminary divided image to the first preset value; and
and obtaining the first segmentation result corresponding to the image to be processed by adjusting pixel values of the filled preliminary segmented image according to edge information of the target object of the image to be processed. 제2항에 있어서,
상기 예비 분할 이미지에서 픽셀값이 상기 제2 사전 설정값인 폐쇄 영역의 픽셀값을 상기 제1 사전 설정값으로 조정하여, 필링된 예비 분할 이미지를 획득하는 단계는,
상기 예비 분할 이미지의 주변에 사전 설정 폭의 변을 접합하여, 접합된 예비 분할 이미지를 획득하는 단계 - 접합된 상기 사전 설정 폭의 변의 픽셀의 픽셀값은 상기 제2 사전 설정값임 - ; 및
상기 접합된 예비 분할 이미지의 이미지 에지의 픽셀을 시드 포인트로 선택하고, 상기 접합된 예비 분할 이미지에 대해 플러드 필링 조작을 수행하여, 상기 필링된 예비 분할 이미지를 획득하는 단계를 포함하는 이미지 분할 방법.3. The method of claim 2,
adjusting the pixel value of the closed region, in which the pixel value is the second preset value, in the preliminary divided image to the first preset value, to obtain a filled preliminary divided image;
joining a side of the preset width to the periphery of the preliminary segmented image to obtain a spliced preliminary segmented image, wherein a pixel value of a pixel of the spliced side of the preset width is the second preset value; and
and selecting a pixel of an image edge of the spliced preliminary segmented image as a seed point, and performing a flood filling operation on the spliced preliminary segmented image to obtain the filled preliminary segmented image. 제2항 또는 제3항에 있어서,
상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 상기 제1 분할 결과를 획득하는 단계는,
상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 필링된 예비 분할 이미지의 상기 타깃 객체의 에지에 포함된 최대 연결 도메인을 결정하는 단계; 및
상기 필링된 예비 분할 이미지에서 상기 최대 연결 도메인을 제외한 픽셀의 픽셀값을 상기 제2 사전 설정값으로 조정하여, 상기 처리할 이미지에 대응되는 상기 제1 분할 결과를 획득하는 단계를 포함하는 이미지 분할 방법.4. The method of claim 2 or 3,
The step of obtaining the first segmentation result corresponding to the image to be processed by adjusting pixel values of the filled preliminary segmented image according to edge information of the target object of the image to be processed includes:
determining, according to edge information of the target object of the image to be processed, a maximum connection domain included in an edge of the target object of the filled preliminary segmented image; and
and obtaining the first segmentation result corresponding to the image to be processed by adjusting pixel values of pixels except for the maximum connection domain in the filled preliminary segmented image to the second preset value. . 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하는 단계 후에, 상기 방법은,
상기 처리할 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득하는 단계; 및
상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하는 단계를 더 포함하는 이미지 분할 방법.5. The method according to any one of claims 1 to 4,
After obtaining the first segmentation result corresponding to the image to be processed, the method comprises:
obtaining an image adjacent to the image to be processed and a second division result corresponding to the adjacent image; and
obtaining a third segmentation result corresponding to the image to be processed by adjusting the first segmentation result according to the pixel value of a pixel at the same position in the image to be processed and the adjacent image, and the second segmentation result; An image segmentation method further comprising a. 제5항에 있어서,
상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 제3 분할 결과를 획득하는 단계는,
상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 상기 제3 분할 결과를 획득하는 단계를 포함하는 이미지 분할 방법.6. The method of claim 5,
obtaining a third segmentation result corresponding to the image to be processed by adjusting the first segmentation result according to the pixel value of a pixel at the same position in the image to be processed and the adjacent image, and the second segmentation result; Is,
In the adjacent image, according to a pixel belonging to the target object in the second segmentation result, a difference value of a pixel value located at the same position as the image to be processed is less than or equal to a third preset value, the first segmentation and adjusting a result to obtain the third segmentation result corresponding to the image to be processed. 제6항에 있어서,
상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 제1 분할 결과를 조정하여, 상기 처리할 이미지에 대응되는 상기 제3 분할 결과를 획득하는 단계는,
상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하는 단계;
상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하는 단계; 및
상기 제1 분할 결과에서 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 상기 제3 분할 결과를 획득하는 단계를 포함하는 이미지 분할 방법.7. The method of claim 6,
In the adjacent image, according to a pixel belonging to the target object in the second segmentation result, a difference value of a pixel value located at the same position as the image to be processed is less than or equal to a third preset value, the first segmentation Adjusting the result to obtain the third segmentation result corresponding to the image to be processed comprises:
obtaining a first set of pixels according to a pixel in which a difference value of a pixel value at the same position in the image to be processed and the adjacent image is less than or equal to a third preset value;
obtaining a second set of pixels according to a pixel belonging to the target object in the second division result of the first set of pixels; and
and obtaining the third segmentation result corresponding to the image to be processed by adjusting the pixels of the second set of pixels in the first segmentation result to belong to the target object. 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하는 단계 전에, 상기 방법은,
트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라 신경망을 트레이닝하는 단계를 더 포함하고, 상기 트레이닝 이미지의 라벨링 데이터는 상기 트레이닝 이미지에서 상기 타깃 객체에 속하는 픽셀의 참값을 포함하며;
상기 처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계는,
상기 처리할 이미지를 상기 신경망에 입력하고, 상기 신경망을 통해 상기 처리할 이미지에서 상기 타깃 객체에 속하는 픽셀의 정보를 예측하며; 상기 처리할 이미지에서 상기 타깃 객체에 속하는 픽셀의 정보에 따라, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계를 포함하는 이미지 분할 방법.8. The method according to any one of claims 1 to 7,
Before predicting pixels belonging to a target object in the image to be processed, the method comprises:
training a neural network according to a training image and labeling data of the training image, wherein the labeling data of the training image includes true values of pixels belonging to the target object in the training image;
Predicting pixels belonging to a target object in the image to be processed and obtaining a preliminary segmented image corresponding to the image to be processed includes:
inputting the image to be processed into the neural network, and predicting information on pixels belonging to the target object in the image to be processed through the neural network; and obtaining a preliminary segmented image corresponding to the image to be processed according to information on pixels belonging to the target object in the image to be processed. 제8항에 있어서,
상기 트레이닝 이미지는 전산화 단층 촬영(CT) 이미지이고;
상기 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라 신경망을 트레이닝하는 단계는,
사전 설정된 CT 값 범위에 따라, 상기 트레이닝 이미지의 픽셀값에 대해 정규화 처리를 수행하여, 정규화된 트레이닝 이미지를 획득하고; 상기 정규화된 트레이닝 이미지 및 상기 트레이닝 이미지의 라벨링 데이터에 따라, 상기 신경망을 트레이닝하는 단계를 포함하는 이미지 분할 방법.9. The method of claim 8,
the training image is a computed tomography (CT) image;
Training the neural network according to the training image and the labeling data of the training image comprises:
performing normalization processing on the pixel values of the training image according to a preset CT value range to obtain a normalized training image; and training the neural network according to the normalized training image and the labeling data of the training image. 이미지 분할 방법으로서,
처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하는 단계;
상기 처리할 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득하는 단계; 및
상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계를 포함하는 이미지 분할 방법.An image segmentation method comprising:
predicting pixels belonging to a target object in the image to be processed, and obtaining a preliminary segmented image corresponding to the image to be processed;
obtaining an image adjacent to the image to be processed and a second division result corresponding to the adjacent image; and
obtaining a fourth division result corresponding to the image to be processed by adjusting the preliminary division image according to the pixel value of the pixel at the same position of the image to be processed and the adjacent image, and the second division result; Image segmentation method including. 제10항에 있어서,
상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하는 단계는,
상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 상기 제4 분할 결과를 획득하는 단계를 포함하는 이미지 분할 방법.11. The method of claim 10,
The step of obtaining a fourth division result corresponding to the image to be processed by adjusting the preliminary division image according to the pixel value of the pixel at the same position of the image to be processed and the adjacent image, and the result of the second division, ,
In the adjacent image, according to a pixel belonging to the target object in the second segmentation result, the difference value of the pixel value located at the same position as the image to be processed is smaller than or equal to a third preset value, the preliminary segmented image and obtaining the fourth segmentation result corresponding to the image to be processed by adjusting . 제11항에 있어서,
상기 인접한 이미지에서, 상기 제2 분할 결과에서 상기 타깃 객체에 속하되, 상기 처리할 이미지와 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 상기 제4 분할 결과를 획득하는 단계는,
상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치에 있는 픽셀값의 차이값이 제3 사전 설정값보다 작거나 같은 픽셀에 따라, 제1 픽셀 세트를 획득하는 단계;
상기 제1 픽셀 세트 중 상기 제2 분할 결과에서 상기 타깃 객체에 속하는 픽셀에 따라, 제2 픽셀 세트를 획득하는 단계; 및
상기 예비 분할 이미지 중 상기 제2 픽셀 세트의 픽셀을 상기 타깃 객체에 속하도록 조정하여, 상기 처리할 이미지에 대응되는 상기 제4 분할 결과를 획득하는 단계를 포함하는 이미지 분할 방법.12. The method of claim 11,
In the adjacent image, according to a pixel belonging to the target object in the second segmentation result, the difference value of the pixel value located at the same position as the image to be processed is smaller than or equal to a third preset value, the preliminary segmented image obtaining the fourth segmentation result corresponding to the image to be processed by adjusting
obtaining a first set of pixels according to a pixel in which a difference value of a pixel value at the same position in the image to be processed and the adjacent image is less than or equal to a third preset value;
obtaining a second set of pixels according to a pixel belonging to the target object in the second division result of the first set of pixels; and
and obtaining the fourth segmentation result corresponding to the image to be processed by adjusting pixels of the second set of pixels in the preliminary segmented image to belong to the target object. 이미지 분할 장치로서,
처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하도록 구성되는 제1 분할 부분; 및
상기 처리할 이미지의 상기 타깃 객체의 에지 정보에 따라, 상기 예비 분할 이미지에서, 상기 타깃 객체의 에지에 포함된 폐쇄 영역에서 상기 타깃 객체에 속하지 않는 예측된 픽셀의 픽셀값을 조정하여, 상기 처리할 이미지에 대응되는 제1 분할 결과를 획득하도록 구성되는 제1 조정 부분을 포함하는 이미지 분할 장치.An image segmentation device comprising:
a first segmentation part configured to predict a pixel belonging to a target object in an image to be processed, and to obtain a preliminary segmented image corresponding to the image to be processed; and
According to the edge information of the target object of the image to be processed, in the preliminary segmented image, pixel values of predicted pixels that do not belong to the target object are adjusted in the closed area included in the edge of the target object to be processed. and a first adjusting portion, configured to obtain a first segmentation result corresponding to the image. 이미지 분할 장치로서,
처리할 이미지에서 타깃 객체에 속하는 픽셀을 예측하여, 상기 처리할 이미지에 대응되는 예비 분할 이미지를 획득하도록 구성되는 제2 분할 부분;
상기 처리할 이미지에 인접한 이미지 및 상기 인접한 이미지에 대응되는 제2 분할 결과를 획득하도록 구성되는 제1 획득 부분; 및
상기 처리할 이미지와 상기 인접한 이미지의 동일한 위치의 픽셀의 픽셀값, 및 상기 제2 분할 결과에 따라, 상기 예비 분할 이미지를 조정하여, 상기 처리할 이미지에 대응되는 제4 분할 결과를 획득하도록 구성되는 제2 조정 부분을 포함하는 이미지 분할 장치.An image segmentation device comprising:
a second segmentation part configured to predict pixels belonging to a target object in the image to be processed, and to obtain a preliminary segmented image corresponding to the image to be processed;
a first acquiring portion configured to acquire an image adjacent to the image to be processed and a second segmentation result corresponding to the adjacent image; and
and adjusting the preliminary segmented image according to the pixel value of the pixel at the same position of the image to be processed and the adjacent image, and the second segmentation result to obtain a fourth segmentation result corresponding to the image to be processed. An image segmentation device comprising a second adjustment portion. 하나 또는 다수의 프로세서; 및
실행 가능 명령이 저장되도록 구성되는 메모리를 포함하는 전자 기기로서,
상기 하나 또는 다수의 프로세서는 상기 메모리에 저장된 실행 가능 명령을 호출하여, 제1항 내지 제12항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 전자 기기.one or more processors; and
An electronic device comprising a memory configured to store executable instructions, the electronic device comprising:
The electronic device, wherein the one or more processors are configured to invoke an executable instruction stored in the memory to perform the method according to any one of claims 1 to 12. 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 제1항 내지 제12항 중 어느 한 항에 따른 방법을 구현하도록 하는 컴퓨터 판독 가능 저장 매체.A computer readable storage medium having computer program instructions stored thereon, comprising:
13. A computer-readable storage medium that, when the computer program instructions are executed by a processor, causes the processor to implement the method according to any one of claims 1 to 12. 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기의 프로세서로 하여금 제1항 내지 제12항 중 어느 한 항에 따른 방법을 수행하도록 하는 컴퓨터 프로그램.A computer program comprising computer readable code, comprising:
A computer program that, when the computer readable code is executed in an electronic device, causes a processor of the electronic device to perform the method according to any one of claims 1 to 12.

Images