WO2018117468A1 - Image providing method and device for acquiring and storing intelligent high resolution endoscopic image - Google Patents
Image providing method and device for acquiring and storing intelligent high resolution endoscopic image Download PDFInfo
- Publication number
- WO2018117468A1 WO2018117468A1 PCT/KR2017/013898 KR2017013898W WO2018117468A1 WO 2018117468 A1 WO2018117468 A1 WO 2018117468A1 KR 2017013898 W KR2017013898 W KR 2017013898W WO 2018117468 A1 WO2018117468 A1 WO 2018117468A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- blur
- still
- still image
- processing apparatus
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
Definitions
- the present invention relates to a method and apparatus for providing a still image capture during video recording, the function of determining the presence or absence of blur so that the user can re-photograph the desired image directly when the still image capture request, such as endoscope image capture
- An image providing method and apparatus capable of acquiring and storing an intelligent high resolution endoscope image capable of providing the same.
- the user may wish to capture still images.
- global or local blur may occur when capturing still images using a camera in low light conditions such as a dark room, when a part of the organ such as the gastrointestinal tract is moving when shooting an endoscope image, or due to camera shake during shooting. Symptoms may occur.
- the conventional image processing apparatus continuously stores a still image in an image buffer during video image capturing, and automatically receives one of all still images stored before a certain time regardless of the user's intention when an image capture request is received.
- Most conventional image processing apparatuses recently developed have previously stored still images in a buffer for a predetermined time ( ⁇ t) as shown in FIG. 1, and when a still image capture request is received, the sharpest image among them is selected. To automatically select and save. In this case, when the motion blur occurs in the camera, the blur may occur in the still images stored before the capture request, and thus, even though the clearest image is selected among the pre-stored images, no meaningful image may be selected.
- the conventional image processing apparatus provides a captured image that is not directly selected by the user without reflecting the intention of the user, and thus, there is a problem in that a blurred image can be provided as the captured image.
- the present invention has been made to solve the above-described problems, an object of the present invention, unlike the conventional method of automatically selecting a representative image regardless of the user's intention when the still image capture request during the recording of the endoscope image, etc.
- the present invention provides a method and apparatus for providing an image capable of assisting a user to check the blur and to re-determine whether necessary to retake the image if necessary.
- an image providing apparatus for achieving the above object, the image processing device for image processing;
- An image buffer for storing, by the image processing apparatus, a still image of a predetermined time unit among the moving images acquired by the image capturing apparatus;
- a storage device for storing a still image corresponding to a still image capture request, and for the one or more images among the image buffer or the image stored in the storage device, the image processing apparatus includes a blur or a blur position.
- Alarm information on the determination result may be visually or audibly provided to assist the user in determining whether to retake the image.
- the image processing apparatus selects one or more images determined to be less blurry among the one or more still images stored in the image buffer as an image to be provided as a captured still image. Can be stored on the storage device.
- the image processing apparatus may alarm one or more images of one or more still images stored in the image buffer and one or more still images stored in the storage device as a still image corresponding to the still image capture request, with respect to the still image capture request. It can be stored in the storage device with or without.
- the image processing apparatus stores one or more still images re-photographed through the image capturing apparatus in the storage device according to a re-shooting request, and uses one or more still images newly acquired through the image capturing apparatus and stored in the image buffer. By re-determining the presence or absence of the blur, the process of storing the re-photographed still image in the storage device or re-photographing may be repeatedly performed.
- the image processing apparatus may detect a region of interest in a first method and an entire region of a first region, which is performed for each region divided into a predetermined block on a test target image to determine whether the blur is present or the position of the blur, and then apply the image to a corresponding region of interest.
- a second method performed for each divided region, a first method combining the first method and the second method, and performing a divided method for each divided region and giving more weight to the region of interest, or when the still image capture request occurs
- Any one or more of a fourth method of matching and comparing temporally adjacent images may be used by referring to the still image stored in the image buffer and one or more still images stored in the image buffer before the corresponding still image capture request is received. .
- the image processing apparatus may provide a visual alarm by a method of differently displaying or highlighting an edge color of the image whether the still image to be provided is a normal image without blur or the still image to be provided is a blur image with blur.
- a visual alarm may be provided for the blur position by displaying the area of the blur image in the still image in a predetermined color together with the position of the still image of the entire video. Can be.
- the alarm mode ends.
- a clean image having the least blur among the images stored in the storage device may be selected and stored in the storage device as an image to be provided as the captured still image.
- the alarm mode ends.
- a plurality of images to be provided as the captured still image stored in the storage device after the still image capturing request may be identified and provided as a group.
- the image processing apparatus may provide an alarm indicating that the image includes medically beneficial information by performing a medical value determination of whether the corresponding image includes medically beneficial information with reference to a medical image database of the medical value determining apparatus. .
- the medical value determination may be made after or before the determination of the presence or absence of the blur.
- an alarm that includes the medically beneficial information immediately after detection of the presence or absence of the blur or without detection of the presence or absence of the blur It can also provide
- the medical value determination device may accumulate and maintain learned data about the medically beneficial information in the medical image database according to a predetermined learning algorithm.
- the image providing method of providing a still image captured by the image processing apparatus during the capturing of the moving image includes blurring of one or more still images stored in the image buffer by the image processing apparatus in response to a still image capture request during the moving image capturing by the image capturing apparatus. Selecting one or more images determined to be low as an image to be provided as a capture still image and storing the captured image in a storage device; And assisting the user in determining whether to retake the image by providing visual or audio information about an image to be provided as the still image captured by the image processing apparatus, and alarm information regarding a result of the determination of the presence or absence of the blur. It includes.
- the image providing method and apparatus when providing a still image capture request during the shooting of the endoscope image, such as an alarm for blur or not, the user can check whether the blur, and if necessary re-shooting to determine whether to re-shoot itself
- the user can check whether the blur, and if necessary re-shooting to determine whether to re-shoot itself
- FIG. 1 is a view for explaining a still image capture method in a conventional image processing apparatus.
- FIG. 2 is a block diagram of an image providing apparatus according to an exemplary embodiment.
- FIG. 3 is a diagram for describing a method of performing a blur test for each region divided according to the present invention.
- FIG. 4 is a view for explaining a blur test performing method based on the ROI detection in the present invention.
- FIG. 5 is a diagram for describing a method of detecting blur by using a temporal collation method according to the present invention.
- FIG. 6 is a view for explaining a relationship between acquisition speeds of temporal contrast target images stored in an image buffer with respect to a camera movement speed.
- FIG. 7 is an example for explaining a visual alarm method for a normal image and a blur image in the present invention.
- FIG. 9 is a view for explaining various alarm schemes provided to a user in the present invention.
- FIG. 2 is a block diagram of an image providing apparatus 100 according to an exemplary embodiment.
- the image providing apparatus 100 may include an image obtaining apparatus 110 such as a digital camera, an endoscope camera, an image processing apparatus 120 performing an overall function of image processing,
- the image buffer 130 stores a still image (data) stored in the storage device 140 by a still image or a previous still image capture request for a predetermined time, and a storage device 140 such as a memory.
- the image processing apparatus 120, the image buffer 130, and the storage device 140 may be implemented in hardware such as a semiconductor processor, software such as an application program, or a combination thereof.
- the image capturing apparatus 110 acquires a moving image (video) (data)
- the image processing apparatus 120 may control to display the moving image on the display device, and the still image (data) by a predetermined time unit ) Is stored in the image buffer 130.
- the image processing apparatus 120 may store and maintain a still image for a predetermined time in the image buffer 130 and delete an image exceeding a predetermined capacity as time passes.
- the image processing apparatus 120 may convert the image buffer 130 from the one or more still images stored in the image buffer 130 to the image buffer 130.
- a clean image having the least blur among one or more stored still images is selected and stored in the storage device 140, and provided through the display device according to a user's request.
- one or more still images stored in the image buffer 130 and one or more still images stored in the storage device 140 as still images corresponding to the still image capture request.
- One or more images may be stored in the storage device with or without an alarm.
- the image processing apparatus 120 may select the clear image having the least blur with reference to the information acquired by the acceleration sensor and the Gyro sensor. In this case, the image processing apparatus 120 may determine whether the blur is present or the blur position, and as a result of determining whether the image is a blur image or a normal image, output information, such as a blur position, as visual alarm information through a display device, a speaker, or the like. It outputs audible alarm information to assist the user in deciding whether to retake.
- the user may input an image capture request to the image processing apparatus 120 through a foot switch, a button, a speech, a joystick, a bio signal such as brain waves or safety.
- the user may check the visual or audio alarm information as described above, and if the user is not satisfied due to blur, may decide to retake and request a reshooting, and the re-shot still image is stored according to the re-shooting request of the user.
- the image processing apparatus 120 may be obtained from one or more still images (possibly utilizing still images stored previously) which are acquired by the image capturing apparatus 110 and newly stored in the image buffer 130 according to a user's re-shooting request.
- the process of storing the re-photographed still image in the storage device 140 or re-taking again may be repeatedly performed.
- the image processing apparatus 120 performs a blur test on the target still image for determining the presence or absence of blur or for each region divided into predetermined blocks (for example, 128 * 128 pixels, etc.) for the target still image. It may be determined whether the image is a blur image or a normal image.
- the blur test uses a hand-crafted feature, such as the difference in gradation value with neighboring pixels in each pixel, or a dip that calculates the convolution value between the patch image and the kernels. This can be done using the deep learning method.
- the image processing apparatus 120 may perform a blur test with reference to signals acquired from the acceleration sensor and the gyro sensor included in the image capturing apparatus.
- 3 is a diagram for describing a method of performing a blur test for each region divided according to the present invention. For example, when the blur test is performed for each region divided into a predetermined block (for example, 128 * 128 pixels, etc.) with respect to the test target image, as shown in FIG.
- the degree of blur may be calculated based on the difference to determine whether the blur image is determined according to the number of blocks exceeding the reference value.
- a blur test for each divided region may be performed to distinguish between global movement caused by camera movement and local movement caused by some long-term movement.
- FIG. 4 is a diagram for describing a blur test performing method based on detection of a region of interest in the present invention.
- the region of interest may include a region that shows medical abnormality.
- the ROI may be detected by the image processing apparatus 120 using a method using a hand-crafted feature, a method using deep learning, or a user's eye tracking information.
- the image processing apparatus 120 may first identify a method of finding a portion having a difference in gray level change degree on the left and right of a symmetrical object as shown in FIG. Method, or a deep neural network trained with a large number of images containing the region of interest, and then detects the region of interest that contains the region and then blurs the blur region above the region of interest.
- the method may determine whether a blur image is applied.
- the region of interest is first detected as shown in FIG. 4, and then a blur test is performed for each region divided into predetermined blocks (eg, 128 * 128 pixels) as shown in FIG. 3.
- the block may be given more weight to determine whether a blur image is present.
- FIG. 5 is a diagram for describing a method of detecting blur by using a temporal matching method in the present invention.
- the image processing apparatus 120 may detect blur by using a temporal matching method with reference to a plurality of images stored in the image buffer 130 as shown in FIG. 5.
- the coordinates of one or more objects included in a plurality of temporally adjacent images stored in the image buffer 130 are matched, and the sharpness of the corresponding portion is compared by comparing the gray level value or the degree of change thereof. It may be determined whether the blur image.
- the temporal contrast target images stored in the image buffer 130 may include a still image stored in the image buffer 130 when the still image capture request occurs, and one or more still images stored in the image buffer 130 before the corresponding still image capture request is received.
- the image may include one or more still images stored in the storage device 140 by a previous still image capture request.
- FIG. 6 is a view for explaining a relationship between acquisition speeds of temporal contrast target images stored in an image buffer with respect to a camera movement speed.
- the still images are stored in the image buffer 130 at predetermined time units.
- the acquisition speed of the still image transferred from the image acquisition device 110 and stored in the image buffer 130 may vary depending on the speed of the camera 110 movement. For example, when the camera 110 moves at a high speed, only a small number of similar still images are stored in the image buffer 130 at the same time, and when the camera moves at a slow speed, a large number of similar still images are recorded at the same time as the still image. Transfer it to the buffer 130 and store it.
- the image processing apparatus 120 may store and maintain a still image for a predetermined time in the image buffer 130 and delete an image exceeding a predetermined capacity as time passes.
- FIG. 7 is an example for explaining a visual alarm method for a normal image and a blur image in the present invention.
- 8 is an example for explaining a visual alarm method of the blur position in the present invention.
- the image processing apparatus 120 provides the blur detection result such as the presence or absence of the blur, the blur position through a visual or audio alarm, and the visual alarm color as shown in FIG. 7.
- the blur detection result such as the presence or absence of the blur, the blur position through a visual or audio alarm, and the visual alarm color as shown in FIG. 7.
- the still image to be provided for the corresponding still image capture request is a blur image
- the still image together with the position (eg, time information, etc.) of the still image among the entire video images (movies) is included in the still image.
- the area of the location where the blur is detected may be displayed in a predetermined color (for example, red color) to provide a visual alarm on the blur location.
- the same highlighting eg, displaying a blur image brighter than a still image
- the user may check the visual or auditory alarm information as described above, and if the user is not satisfied due to the blur, may determine the re-shooting and request the re-shooting, and may cause the re-photographed still image to be stored in the storage device 140. . That is, in response to a re-photographing request of a user or the like, the image processing apparatus 120 is obtained from one or more still images (possibly using still images stored previously) that are acquired by the image capturing apparatus 110 and newly stored in the image buffer 130. The process of re-determining the presence or absence of the blur and storing or re-taking the corresponding still image may be performed.
- the image processing apparatus 120 stores the database information stored by dividing the blurred image and the non-blurred image in the storage device 140 or a separate memory, in order to detect the blur.
- machine learning eg, Deep Learning
- the image processing apparatus 120 stores the database information stored by dividing the blurred image and the non-blurred image in the storage device 140 or a separate memory, in order to detect the blur.
- the storage device when the blur detection is continuously performed even after re-taking several times due to the continuous movement of the subject or the subject, such as when taking an endoscope image of the patient, the storage device after the number of re-photographing requests or after the still image capturing request If the number of still images (frames) stored in the 140 is greater than or equal to a predetermined number, the alarm mode for determining the blur detection (blur or blur position) is terminated as described above, and the storage device 140 is requested after the still image capture request.
- the clearest image having the least blur among the stored images may be selected and stored as the image to be provided as the captured still image in the storage device 140 and provided to the display device.
- the console may identify the group as one group so that the entire image may be provided through the display device.
- the conventional image processing apparatus arbitrarily selects and stores the clearest image without reflecting the intention of the user.
- this is simply selecting the sharpest image from the stored images, and there is no guarantee that the selected image is clear enough to be suitable for medical diagnosis purposes.
- the image may be of medical value, so that the image may be stored or the user may determine whether to store it. It is necessary to tell the presence and location.
- the image processing apparatus 120 may extract the medical information through the image information extraction (see S120 of FIG. 9) for the still image (see S110 of FIG. 9) as described above.
- the medical image database of the device hereinafter medical value determination device
- medically beneficial information eg, polyp position, etc.
- an alarm function may be provided to inform the user that the medically beneficial information is included (see S160 of FIG. 9). Determination of whether the medical information includes the above information (hereinafter medical value judgment), the presence or absence of blur or after detecting the position (see S130 of FIG.
- the medical value may be determined immediately after extracting the image information (see S120 of FIG. 9).
- an alarm function may be provided after the blurring or the position detection process.
- the method of providing an alarm to the user by the image processing apparatus 120 may be summarized as follows. As shown in FIG. 9, first, after extracting image information from an input image, the presence or absence of a blur is detected from the extracted feature information, and an alarm may be provided to the user. Alternatively, the medical value may be directly determined using the image information extracted from the input image, and then an alarm may be provided depending on whether the medical value is determined. Alternatively, the presence or absence of a blur may be detected using image information extracted from the input image, and then the medical value may be determined using this information to provide an alarm. Alternatively, the medical value may be determined using image information extracted from the input image image, and then an alarm may be provided after detecting the presence or absence of blur at the medical value.
- the image processing apparatus 120 may determine whether there is blur with respect to the obtained image by using a general image quality evaluation algorithm or a blur detection algorithm, and may grasp the location of the blur.
- a general image quality evaluation algorithm or a blur detection algorithm In the case of medical images, it is difficult to obtain a clear image without blur at the same location, and thus a no-reference image quality assessment algorithm can be applied.
- This algorithm uses transforms such as Discrete Wavelet Transform, Discrete Cosine Transform, or extracts features of color, contrast, and edge information, and then machine learning such as Support Vector Machine, Support Vector Regression, Random Forest, and Neural Network. Techniques can be used to determine the presence, extent, and location of blur.
- the medical value judgment device should use a medical image database that displays information that the medical staff has directly annotated whether or not it contains medically beneficial information, and the medical value judgment is made using the medical image and the display result of the medical image database. You can train the device.
- a medical imaging database indicating whether a medical staff includes medically beneficial information is in the form of / without medically beneficial information in addition to the medical image, the location of the medically beneficial information (eg, the location of the polyp), or its Scores for degree, and the like.
- the medical value database may be configured by various methods used in general blur detection and image quality evaluation algorithms using the medical image database of the medical value determination device. For example, you can use the Discrete Wavelet Transform, Discrete Cosine Transform, or other features to extract color, contrast, or edge information, and then use the benefit information, degree, or location to support Vector Machine, Support Vector Regression. It is possible to accumulate the learned data in the medical image database according to a predetermined learning algorithm such as, Random Forest, Neural Network. For example, when the blur position is detected or compared with the position where the medical image database has the beneficial information, the alarm may be provided to the user when the medical image database includes the position having the medical information.
- a predetermined learning algorithm such as, Random Forest, Neural Network.
- Such a function used for input / output data processing in the image processing apparatus 120 may be implemented as computer readable codes on a recording medium readable by a device such as a computer.
- a combination of a recording medium and a device such as a computer can be implemented to input, output, and display data or information necessary to perform a function.
- the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, hard disk, removable storage, and also carrier wave (for example, transmission over the Internet). It also includes the implementation in the form of.
- the computer-readable recording medium may be distributed in a computer system connected through a network (eg, the Internet, a mobile communication network, etc.), and may have a form in which computer-readable codes are stored in a distributed manner and may be executed through a network.
- a network eg, the Internet, a mobile communication network, etc.
- the image providing apparatus 100 by providing an alarm for the blur when a still image capture request during the recording of the endoscope image, the user can check whether the blur and if necessary to retake
- the user By assisting the user to re-determine and retake, he overcomes the limitations of the prior art that can store images irrelevant to the user's intention or blur images without information, and can efficiently create and provide only meaningful information. have.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
Abstract
The present invention relates to an image providing method and device for acquiring and storing an intelligent high resolution endoscopic image, the image providing device of the present invention including: an image processing device for processing an image; an image buffer for allowing the image processing device to store a still image of a prescribed unit of time from a moving image acquired by an image acquisition device; and a storage device for storing a still image corresponding to a still image capture request, wherein for one or more images among images stored in the image buffer or storage device, the image providing device assists a user so they are capable of determining whether or not to perform re-imaging by visually or acoustically providing alarm information about a determination result regarding the presence or absence of a blur, or the location of a blur.
Description
본 발명은 동영상 촬영 중 정지 영상 캡쳐를 제공하기 위한 방법 및 장치에 관한 것으로서, 내시경 영상 등의 촬영 중 정지영상 캡쳐 요청 시 사용자가 직접 원하는 영상을 재촬영할 수 있도록 블러 유무를 판단하고 사용자에게 알리는 기능을 제공할 수 있는 지능형 고해상도 내시경 영상의 획득과 저장이 가능한 영상 제공 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for providing a still image capture during video recording, the function of determining the presence or absence of blur so that the user can re-photograph the desired image directly when the still image capture request, such as endoscope image capture An image providing method and apparatus capable of acquiring and storing an intelligent high resolution endoscope image capable of providing the same.
내시경 영상과 같은 비디오 영상 촬영 중 사용자는 정지 영상 캡쳐를 희망할 수 있다. 그러나 어두운 실내와 같은 광량이 부족한 상황에서 카메라를 이용해 정지 영상을 캡쳐할 경우 또는 내시경 영상을 촬영할 때 위장관과 같은 장기 일부가 움직이는 경우 또는 촬영시 손떨림 현상 등으로 인해, 전역적 또는 국부적 블러(blur) 현상이 발생할 수 있다. During video image capture, such as an endoscope image, the user may wish to capture still images. However, global or local blur may occur when capturing still images using a camera in low light conditions such as a dark room, when a part of the organ such as the gastrointestinal tract is moving when shooting an endoscope image, or due to camera shake during shooting. Symptoms may occur.
일반적인 영상에서 흐려진 영상을 보정하기 위해 다양한 디블러링(De-Blurring) 기술이 개발되었지만, 내시경과 같은 의료 영상에서는 영상 처리 과정에서 진단에 오류를 유발할 수 있는 정보가 추가될 수 있으므로, 기존의 디블러링 기술은 의료 영상에 적용될 수 없다.Various De-Blurring techniques have been developed to compensate for blurred images in general images.However, in medical images such as endoscopes, information that may cause errors in the diagnosis process may be added. The blurring technique cannot be applied to medical images.
이를 해결하기 위해 종래의 영상 처리 장치는 비디오 영상 촬영 중 정지 영상을 계속해서 영상 버퍼에 저장하고, 영상 캡쳐 요청이 들어오면 사용자의 의도와 상관없이 자동으로 일정 시간 이전에 저장된 모든 정지 영상 중 하나를 대표 영상으로 선택한다.최근 개발된 대부분의 종래의 영상 처리 장치는 도 1과 같이 소정의 시간(△t) 동안 버퍼에 미리 정지 영상들을 저장하고, 정지 영상 캡쳐 요청이 들어오면 그 중 가장 선명한 영상을 자동으로 선택하여 저장한다. 이때, 카메라에서 모션 블러가 발생했을 경우 캡쳐 요청 전 저장된 정지 영상들에도 블러가 발생했을 수 있고, 따라서 기 저장된 영상 중 가장 선명한 영상을 선택함에도 불구하고 전혀 의미 없는 영상이 선택될 수 있다.In order to solve this problem, the conventional image processing apparatus continuously stores a still image in an image buffer during video image capturing, and automatically receives one of all still images stored before a certain time regardless of the user's intention when an image capture request is received. Most conventional image processing apparatuses recently developed have previously stored still images in a buffer for a predetermined time (Δt) as shown in FIG. 1, and when a still image capture request is received, the sharpest image among them is selected. To automatically select and save. In this case, when the motion blur occurs in the camera, the blur may occur in the still images stored before the capture request, and thus, even though the clearest image is selected among the pre-stored images, no meaningful image may be selected.
따라서, 종래의 영상 처리 장치는 사용자의 의도가 반영되지 않고 사용자가 직접 선택하지 않은 캡쳐 영상을 제공하므로, 블러가 있는 영상을 캡쳐 영상으로 제공할 수 있는 문제점이 있다.Therefore, the conventional image processing apparatus provides a captured image that is not directly selected by the user without reflecting the intention of the user, and thus, there is a problem in that a blurred image can be provided as the captured image.
관련 선행 문헌으로서 미국공개특허 US 2014/0132746 A1(Image Capture Stabilization) 등이 참조될 수 있다.As related prior documents, US Patent Publication No. US 2014/0132746 A1 (Image Capture Stabilization) and the like can be referred to.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 내시경 영상 등의 촬영 중 정지영상 캡쳐 요청 시 사용자의 의도와 상관없이 자동으로 대표 영상을 선택하는 종래 방식과 달리, 블러 여부에 대한 알람을 제공함으로써 사용자가 블러 여부를 확인하고 필요시 재촬영 여부를 스스로 결정해 재촬영할 수 있도록 보조할 수 있는 영상 제공 방법 및 장치를 제공하는 데 있다.Accordingly, the present invention has been made to solve the above-described problems, an object of the present invention, unlike the conventional method of automatically selecting a representative image regardless of the user's intention when the still image capture request during the recording of the endoscope image, etc. In addition, the present invention provides a method and apparatus for providing an image capable of assisting a user to check the blur and to re-determine whether necessary to retake the image if necessary.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 영상 제공 장치는, 영상 처리를 위한 영상 처리 장치; 상기 영상 처리 장치가 영상 획득 장치에서 획득되는 동영상 중 소정의 시간 단위의 정지 영상을 저장하기 위한 영상 버퍼; 및 정지 영상 캡쳐 요청에 대응되는 정지 영상을 저장하기 위한 저장 장치를 포함하고, 상기 영상 버퍼 또는 상기 저장 장치에 저장된 영상 중 하나 이상의 영상에 대하여, 상기 영상 처리 장치는, 블러 유무 또는 블러 위치에 대한 판단 결과에 대한 알람 정보를 시각적 또는 청각적으로 제공하여 사용자가 재촬영 여부를 결정할 수 있도록 보조하는 것을 특징으로 한다.First, to summarize the features of the present invention, an image providing apparatus according to an aspect of the present invention for achieving the above object, the image processing device for image processing; An image buffer for storing, by the image processing apparatus, a still image of a predetermined time unit among the moving images acquired by the image capturing apparatus; And a storage device for storing a still image corresponding to a still image capture request, and for the one or more images among the image buffer or the image stored in the storage device, the image processing apparatus includes a blur or a blur position. Alarm information on the determination result may be visually or audibly provided to assist the user in determining whether to retake the image.
상기 영상 처리 장치는, 상기 정지 영상 캡쳐 요청에 대하여, 상기 영상 처리 장치가 상기 영상 버퍼에 저장된 하나 이상의 정지 영상 중 블러가 적다고 판단되는 하나 이상의 영상을 캡쳐 정지 영상으로 제공될 영상으로 선택하여 상기 저장 장치에 저장할 수 있다.In response to the still image capture request, the image processing apparatus selects one or more images determined to be less blurry among the one or more still images stored in the image buffer as an image to be provided as a captured still image. Can be stored on the storage device.
상기 영상 처리 장치는, 상기 정지 영상 캡쳐 요청에 대하여, 상기 정지 영상 캡쳐 요청에 대응되는 정지 영상으로서 상기 영상 버퍼에 저장된 하나 이상의 정지 영상과 상기 저장 장치에 저장된 하나 이상의 정지 영상 중 하나 이상의 영상을 알람의 유무와 상관 없이 상기 저장 장치에 저장할 수도 있다. The image processing apparatus may alarm one or more images of one or more still images stored in the image buffer and one or more still images stored in the storage device as a still image corresponding to the still image capture request, with respect to the still image capture request. It can be stored in the storage device with or without.
상기 영상 처리 장치는, 재촬영 요청에 따라 상기 영상 획득 장치를 통해 재촬영된 정지 영상을 상기 저장 장치에 저장하되, 상기 영상 획득 장치를 통해 새로이 획득되어 상기 영상 버퍼에 저장된 하나 이상의 정지 영상을 이용하여 상기 블러 유무 또는 블러 위치를 다시 판단하여 상기 재촬영된 정지 영상을 상기 저장 장치에 저장하거나 다시 재촬영하는 과정을 반복 수행할 수 있다.The image processing apparatus stores one or more still images re-photographed through the image capturing apparatus in the storage device according to a re-shooting request, and uses one or more still images newly acquired through the image capturing apparatus and stored in the image buffer. By re-determining the presence or absence of the blur, the process of storing the re-photographed still image in the storage device or re-photographing may be repeatedly performed.
상기 영상 처리 장치는, 상기 블러 유무 또는 블러 위치를 판단하기 위하여 테스트 대상 영상에 대하여, 소정의 블록으로 분할된 영역별로 수행하는 제1방식, 전체 영역에서 먼저 관심 영역을 검출한 후 해당 관심 영역에 대해 분할된 영역별로 수행하는 제2방식, 제1방식과 제2방식을 결합하여 상기 분할된 영역별로 수행하되 상기 관심 영역에 더 많은 가중치를 주는 제3방식, 또는 상기 정지영상 캡쳐 요청이 발생할 당시에 상기 영상 버퍼에 저장된 정지 영상과 해당 정지영상 캡쳐 요청이 있기 이전에 상기 영상 버퍼에 저장된 하나 이상의 정지 영상을 참조하여, 시간적으로 인접한 영상들을 정합하고 비교하는 제4방식중 어느 하나 이상을 이용할 수 있다.The image processing apparatus may detect a region of interest in a first method and an entire region of a first region, which is performed for each region divided into a predetermined block on a test target image to determine whether the blur is present or the position of the blur, and then apply the image to a corresponding region of interest. A second method performed for each divided region, a first method combining the first method and the second method, and performing a divided method for each divided region and giving more weight to the region of interest, or when the still image capture request occurs Any one or more of a fourth method of matching and comparing temporally adjacent images may be used by referring to the still image stored in the image buffer and one or more still images stored in the image buffer before the corresponding still image capture request is received. .
상기 영상 처리 장치는, 제공될 정지 영상이 블러가 없는 정상 영상인지, 또는 제공될 정지 영상이 블러가 있는 블러 영상인지 여부를 영상의 가장자리 색상을 다르게 표시하는 방법 또는 하이라이트하는 방법으로 시각적 알람을 제공하거나, 제공될 정지 영상이 블러 영상인 경우, 전체 동영상 중 해당 정지 영상의 위치과 함께 해당 정지 영상 내에서 블러가 검출된 위치에 대한 영역을 소정의 색상으로 표시하여 블러 위치에 대해 시각적 알람을 제공할 수 있다.The image processing apparatus may provide a visual alarm by a method of differently displaying or highlighting an edge color of the image whether the still image to be provided is a normal image without blur or the still image to be provided is a blur image with blur. Alternatively, when the still image to be provided is a blur image, a visual alarm may be provided for the blur position by displaying the area of the blur image in the still image in a predetermined color together with the position of the still image of the entire video. Can be.
상기 영상 처리 장치는, 연속적으로 블러 검출에 의해 재촬영이 이루어지고, 재촬영 요청 횟수 또는 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 정지 영상의 수가, 미리 결정된 수 이상인 경우, 알람 모드를 종료하고 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 영상 중 가장 블러가 적은 깨끗한 영상을 선택하여 상기 캡쳐 정지 영상으로 제공될 영상으로 상기 저장 장치에 저장할 수 있다.If the image processing apparatus continuously retakes images by blur detection, and the number of re-photographing requests or the number of still images stored in the storage device after the still image capturing request is more than a predetermined number, the alarm mode ends. After the still image capture request, a clean image having the least blur among the images stored in the storage device may be selected and stored in the storage device as an image to be provided as the captured still image.
상기 영상 처리 장치는, 연속적으로 블러 검출에 의해 재촬영이 이루어지고, 재촬영 요청 횟수 또는 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 정지 영상의 수가, 미리 결정된 수 이상인 경우, 알람 모드를 종료하고, 사용자 요청에 따라 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 상기 캡쳐 정지 영상으로 제공될 복수의 영상을 하나의 그룹으로 식별하여 제공할 수 있다.If the image processing apparatus continuously retakes images by blur detection, and the number of re-photographing requests or the number of still images stored in the storage device after the still image capturing request is more than a predetermined number, the alarm mode ends. According to a user's request, a plurality of images to be provided as the captured still image stored in the storage device after the still image capturing request may be identified and provided as a group.
상기 영상 처리 장치는, 의학적 가치 판단 장치의 의료 영상 데이터베이스를 참조하여 해당 영상이 의학적으로 유익한 정보를 포함하고 있는지 여부의 의학적 가치 판단을 수행하여, 의학적으로 유익한 정보를 포함한다는 알람을 제공할 수 있다.The image processing apparatus may provide an alarm indicating that the image includes medically beneficial information by performing a medical value determination of whether the corresponding image includes medically beneficial information with reference to a medical image database of the medical value determining apparatus. .
상기 의학적 가치 판단은, 상기 블러 유무 또는 블러 위치에 대한 판단 후에 또는 그 전에 이루어질 수도 있다.The medical value determination may be made after or before the determination of the presence or absence of the blur.
상기 의학적 가치 판단이 상기 블러 유무 또는 블러 위치에 대한 판단 전에 이루어진 경우, 상기 블러 유무 또는 블러 위치에 대한 검출 후에 또는 상기 블러 유무 또는 블러 위치에 대한 검출 없이 바로, 상기 의학적으로 유익한 정보를 포함한다는 알람을 제공할 수도 있다.If the medical value determination is made prior to the determination of the presence or absence of the blur, an alarm that includes the medically beneficial information immediately after detection of the presence or absence of the blur or without detection of the presence or absence of the blur It can also provide
상기 의학적 가치 판단 장치는 소정의 학습 알고리즘에 따라 상기 의학적으로 유익한 정보에 대한 학습된 데이터를 상기 의료 영상 데이터베이스에 축적하여 유지할 수 있다.The medical value determination device may accumulate and maintain learned data about the medically beneficial information in the medical image database according to a predetermined learning algorithm.
그리고, 본 동영상 촬영 중 영상 처리 장치에서 캡쳐 정지 영상을 제공하는 영상 제공 방법은, 영상 획득 장치에서 동영상 촬영 중 정지 영상 캡쳐 요청에 대하여, 상기 영상 처리 장치가 영상 버퍼에 저장된 하나 이상의 정지 영상 중 블러가 적다고 판단되는 하나 이상의 영상을 캡쳐 정지 영상으로 제공될 영상으로 선택하여 저장 장치에 저장하는 단계; 및 상기 영상 처리 장치가 상기 캡쳐 정지 영상으로 제공될 영상에 대하여, 블러 유무 또는 블러 위치에 대한 판단 결과에 대한 알람 정보를 시각적 또는 청각적으로 제공하여 사용자가 재촬영 여부를 결정할 수 있도록 보조하는 단계를 포함한다.The image providing method of providing a still image captured by the image processing apparatus during the capturing of the moving image includes blurring of one or more still images stored in the image buffer by the image processing apparatus in response to a still image capture request during the moving image capturing by the image capturing apparatus. Selecting one or more images determined to be low as an image to be provided as a capture still image and storing the captured image in a storage device; And assisting the user in determining whether to retake the image by providing visual or audio information about an image to be provided as the still image captured by the image processing apparatus, and alarm information regarding a result of the determination of the presence or absence of the blur. It includes.
본 발명에 따른 영상 제공 방법 및 장치에 따르면, 내시경 영상 등의 촬영 중 정지영상 캡쳐 요청 시 블러 여부에 대한 알람을 제공함으로써 사용자가 블러 여부를 확인하고 필요시 재촬영 여부를 스스로 결정해 재촬영할 수 있도록 보조함으로써, 사용자의 의도와 상관없는 영상이 저장되거나 정보가 없는 블러 영상이 저장될 수 있는 종래 기술의 한계점을 극복하고, 나아가 의미 있는 정보만을 효율적으로 생성하여 제공할 수 있다.According to the image providing method and apparatus according to the present invention, when providing a still image capture request during the shooting of the endoscope image, such as an alarm for blur or not, the user can check whether the blur, and if necessary re-shooting to determine whether to re-shoot itself By assisting to overcome the limitations of the prior art in which an image irrespective of a user's intention may be stored or a blur image without information may be stored, and only meaningful information may be efficiently generated and provided.
도 1은 종래의 영상 처리 장치에서의 정지 영상 캡쳐 방식을 설명하기 위한도면이다. 1 is a view for explaining a still image capture method in a conventional image processing apparatus.
도 2는 본 발명의 일 실시예에 따른 영상 제공 장치의 블록도이다.2 is a block diagram of an image providing apparatus according to an exemplary embodiment.
도 3은 본 발명에서 분할된 영역별 블러 테스트 수행 방식을 설명하기 위한 도면이다. 3 is a diagram for describing a method of performing a blur test for each region divided according to the present invention.
도 4는 본 발명에서 관심 영역 검출에 기초한 블러 테스트 수행 방식을 설명하기 위한 도면이다. 4 is a view for explaining a blur test performing method based on the ROI detection in the present invention.
도 5는 본 발명에서 시간적 대조 방법을 이용해 블러를 검출하는 방식을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a method of detecting blur by using a temporal collation method according to the present invention.
도 6은 본 발명에서 카메라 움직임 속도에 대한 영상 버퍼에 저장된 시간적 대조 대상 영상들의 획득 속도 간의 관계를 설명하기 위한 도면이다. FIG. 6 is a view for explaining a relationship between acquisition speeds of temporal contrast target images stored in an image buffer with respect to a camera movement speed.
도 7은 본 발명에서 정상 영상과 블러 영상의 시각적 알람 방법을 설명하기 위한 예이다. 7 is an example for explaining a visual alarm method for a normal image and a blur image in the present invention.
도 8은 본 발명에서 블러 위치의 시각적 알람 방법을 설명하기 위한 예이다.8 is an example for explaining a visual alarm method of the blur position in the present invention.
도 9는 본 발명에서 사용자에게 제공하는 다양한 알람 방식을 설명하기 위한 도면이다. 9 is a view for explaining various alarm schemes provided to a user in the present invention.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다. Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the present invention. In this case, the same components in each drawing are represented by the same reference numerals as much as possible. In addition, detailed descriptions of already known functions and / or configurations are omitted. The following description focuses on parts necessary for understanding the operation according to various embodiments, and descriptions of elements that may obscure the gist of the description are omitted. In addition, some components of the drawings may be exaggerated, omitted, or schematically illustrated. The size of each component does not entirely reflect the actual size, and thus the contents described herein are not limited by the relative size or spacing of the components drawn in the respective drawings.
도 2는 본 발명의 일 실시예에 따른 영상 제공 장치(100)의 블록도이다.2 is a block diagram of an image providing apparatus 100 according to an exemplary embodiment.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 제공 장치(100)는 디지털 카메라, 내시경 카메라 등과 같은 영상 획득 장치(110), 영상 처리의 전반적인 기능을 수행하는 영상 처리 장치(120), 최근 소정의 시간 동안의 정지 영상 또는 이전 정지영상 캡쳐 요청에 의해 저장 장치(140)에 저장된 정지 영상(데이터)을 저장하는 영상 버퍼(130), 및 메모리와 같은 저장 장치(140)를 포함한다. 영상 처리 장치(120), 영상 버퍼(130), 및 저장 장치(140)는 반도체 프로세서와 같은 하드웨어, 응용 프로그램과 같은 소프트웨어, 또는 이들의 결합으로 구현될 수 있다. Referring to FIG. 2, the image providing apparatus 100 according to an exemplary embodiment of the present invention may include an image obtaining apparatus 110 such as a digital camera, an endoscope camera, an image processing apparatus 120 performing an overall function of image processing, The image buffer 130 stores a still image (data) stored in the storage device 140 by a still image or a previous still image capture request for a predetermined time, and a storage device 140 such as a memory. The image processing apparatus 120, the image buffer 130, and the storage device 140 may be implemented in hardware such as a semiconductor processor, software such as an application program, or a combination thereof.
본 발명에서는, 영상 획득 장치(110)가 동영상(비디오) (데이터)을 획득하며, 영상 처리 장치(120)는 동영상을 디스플레이 장치에 표시되도록 제어할 수 있고, 소정의 시간 단위로 정지 영상 (데이터)을 영상 버퍼(130)에 저장한다. 영상 처리 장치(120)는 최근 소정의 시간 동안의 정지 영상을 영상 버퍼(130)에 저장 유지시키며 시간의 경과에 따라 소정의 용량을 초과하는 영상은 삭제할 수 있다.In the present invention, the image capturing apparatus 110 acquires a moving image (video) (data), the image processing apparatus 120 may control to display the moving image on the display device, and the still image (data) by a predetermined time unit ) Is stored in the image buffer 130. The image processing apparatus 120 may store and maintain a still image for a predetermined time in the image buffer 130 and delete an image exceeding a predetermined capacity as time passes.
영상 획득 장치(110)가 동영상을 촬영하는 동안, 사용자 등으로부터 정지영상 캡쳐 요청이 발생하면, 영상 처리 장치(120)는, 영상 버퍼(130)에 저장된 하나 이상의 정지 영상으로부터 영상 버퍼(130)에 저장된 하나 이상의 정지 영상 중 블러가 가장 적은 깨끗한 영상을 선택하여 저장 장치(140)에 저장하고, 사용자 등의 요청에 따라 디스플레이 장치를 통해 제공될 수 있도록 한다. 또는, 하기하는 바와 같이, 정지영상 캡쳐 요청이 발생하면, 해당 정지 영상 캡쳐 요청에 대응되는 정지 영상으로서 영상 버퍼(130)에 저장된 하나 이상의 정지 영상과 저장 장치(140)에 저장된 하나 이상의 정지 영상 중 하나 이상의 영상을 알람의 유무와 상관 없이 상기 저장 장치에 저장할 수도 있다, If a still image capture request is generated from a user or the like while the image capturing apparatus 110 is capturing a video, the image processing apparatus 120 may convert the image buffer 130 from the one or more still images stored in the image buffer 130 to the image buffer 130. A clean image having the least blur among one or more stored still images is selected and stored in the storage device 140, and provided through the display device according to a user's request. Or, as described below, when a still image capture request occurs, one or more still images stored in the image buffer 130 and one or more still images stored in the storage device 140 as still images corresponding to the still image capture request. One or more images may be stored in the storage device with or without an alarm.
이 때 영상 처리 장치(120)는, 가속도 센서 및 자이로(Gyro) 센서로 획득한 정보를 참조해, 블러가 가장 적은 깨끗한 영상을 선택할 수 있다. 또한, 이때 영상 처리 장치(120)는, 블러 유무 또는 블러 위치를 판단하여, 블러 영상 또는 정상 영상인지 여부의 판단 결과, 블러 위치 등의 정보를 디스플레이 장치를 통해 시각적 알람 정보로 출력하거나, 스피커 등을 통해 청각적 알람 정보로 출력해 사용자가 재촬영 여부를 결정할 수 있도록 보조한다. 사용자는 풋 스위치, 버튼, 스피치, 조이스틱, 뇌파나 안전도와 같은 생체 신호 등을 통하여 영상 캡쳐 요청을 영상 처리 장치(120)에 입력할 수 있다. In this case, the image processing apparatus 120 may select the clear image having the least blur with reference to the information acquired by the acceleration sensor and the Gyro sensor. In this case, the image processing apparatus 120 may determine whether the blur is present or the blur position, and as a result of determining whether the image is a blur image or a normal image, output information, such as a blur position, as visual alarm information through a display device, a speaker, or the like. It outputs audible alarm information to assist the user in deciding whether to retake. The user may input an image capture request to the image processing apparatus 120 through a foot switch, a button, a speech, a joystick, a bio signal such as brain waves or safety.
다만, 사용자는 위와 같은 시각적 또는 청각적 알람 정보를 확인하고 블러 등으로 인하여 만족하지 못하는 경우 재촬영을 결정하고 재촬영을 요청할 수 있으며, 사용자 등의 재촬영 요청에 따라 재촬영된 정지 영상이 저장 장치(140)에 저장되게 할 수 있다. 즉, 영상 처리 장치(120)는, 사용자 등의 재촬영 요청에 따라 영상 획득 장치(110)에 의해 획득되어 영상 버퍼(130)에 새로이 저장된 하나 이상의 정지 영상(이전에 저장된 정지 영상 활용 가능)으로부터 블러 유무 또는 블러 위치를 다시 판단하여 해당 재촬영된 정지 영상을 저장 장치(140)에 저장하거나 또 다시 재촬영하는 과정을 반복 수행할 수 있다. However, the user may check the visual or audio alarm information as described above, and if the user is not satisfied due to blur, may decide to retake and request a reshooting, and the re-shot still image is stored according to the re-shooting request of the user. To be stored in the device 140. That is, the image processing apparatus 120 may be obtained from one or more still images (possibly utilizing still images stored previously) which are acquired by the image capturing apparatus 110 and newly stored in the image buffer 130 according to a user's re-shooting request. By re-determining the presence or absence of the blur, the process of storing the re-photographed still image in the storage device 140 or re-taking again may be repeatedly performed.
한편, 영상 처리 장치(120)는, 블러 유무 또는 블러 위치를 판단하기 위한 대상 정지 영상에 대하여 영상 전체 영역 또는 소정의 블록(예, 128*128 픽셀 등)으로 분할된 영역별로 블러 테스트를 수행하여 블러 영상 또는 정상 영상인지 여부를 결정할 수 있다. 블러 테스트에서는 각 픽셀에서 주변 픽셀과의 계조값 변화도 차이 등의 핸드 크레프트(Hand-crafted) 특징을 이용한 방법, 또는 패치 영상과 커널(kernel)들과의 컨볼루션(Convolution)값을 계산하는 딥 러닝(Deep learning) 방법을 이용해 수행할 수 있다. 관련된 선행 연구로써 "Blur detection for digital images using wavelet transform", Hanghang Tong, Mingjing Li, Hongjinang Zhang, Changshui Zhang, 2004 IEEE International Conference on Multimedia and Expo (ICME), June 2004, "Convolutional Neural Networks for No-Reference Image Quality Assessment", 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2014 등이 참조될 수 있다. 또한, 영상 처리 장치(120)는, 영상 획득 장치에 포함된 가속도 센서 및 자이로 센서로부터 획득한 신호를 참조하여 블러 테스트를 수행할 수 있다.On the other hand, the image processing apparatus 120 performs a blur test on the target still image for determining the presence or absence of blur or for each region divided into predetermined blocks (for example, 128 * 128 pixels, etc.) for the target still image. It may be determined whether the image is a blur image or a normal image. The blur test uses a hand-crafted feature, such as the difference in gradation value with neighboring pixels in each pixel, or a dip that calculates the convolution value between the patch image and the kernels. This can be done using the deep learning method. Related prior studies include "Blur detection for digital images using wavelet transform", Hanghang Tong, Mingjing Li, Hongjinang Zhang, Changshui Zhang, 2004 IEEE International Conference on Multimedia and Expo (ICME), June 2004, "Convolutional Neural Networks for No-Reference. Image Quality Assessment ", 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2014, and the like. In addition, the image processing apparatus 120 may perform a blur test with reference to signals acquired from the acceleration sensor and the gyro sensor included in the image capturing apparatus.
도 3은 본 발명에서 분할된 영역별 블러 테스트 수행 방식을 설명하기 위한 도면이다. 예를 들어, 테스트 대상 영상에 대하여 소정의 블록(예, 128*128 픽셀 등)으로 분할된 영역별로 블러 테스트를 수행하는 경우에, 도 3과 같이, 각 픽셀에서 주변 픽셀과의 계조값 변화도 차이 등을 기초로 블러 정도를 산출하여 기준치를 초과하는 블록들의 수에 따라 블러 영상 여부를 판단할 수 있다. 3 is a diagram for describing a method of performing a blur test for each region divided according to the present invention. For example, when the blur test is performed for each region divided into a predetermined block (for example, 128 * 128 pixels, etc.) with respect to the test target image, as shown in FIG. The degree of blur may be calculated based on the difference to determine whether the blur image is determined according to the number of blocks exceeding the reference value.
한편, 분할된 영역별 블러 테스트를 수행하여 카메라 움직임에 의한 전역 움직임과 일부 장기 움직임에 의한 국부 움직임을 구분할 수 있다.On the other hand, a blur test for each divided region may be performed to distinguish between global movement caused by camera movement and local movement caused by some long-term movement.
도 4는 본 발명에서 관심 영역 (Region of interest) 검출에 기초한 블러 테스트 수행 방식을 설명하기 위한 도면이다. 관심 영역은 의학적으로 이상(Abnormal) 소견을 보이는 영역을 포함할 수 있다. 관심 영역은 영상 처리 장치 (120) 에서, 핸드 크레프트(Hand-crafted) 특징을 이용한 방법 또는 딥 러닝 (Deep learning) 을 이용한 방법 또는 사용자의 시선 추적 정보 등을 이용하여 검출할 수 있다. 예를 들어, 영상 처리 장치(120)는, 대상 정지 영상 전체 영역에서 먼저 도 4와 같이 대칭적인 객체의 좌우에서 계조값 변화도에 차이가 있는 부분을 찾는 방식, 또는 형태 및 기하학적 정보를 확인하는 방식, 또는 관심 영역이 포함된 많은 수의 영상들로 학습된 깊은 신경망 (Deep neural network) 등을 이용하여 해당 부분을 포함하는 관심 영역을 검출한 후 해당 관심 영역에만 위의 분할 영역에서의 블러 테스트 방식을 적용하여 블러 영상 여부를 판단할 수 있다. FIG. 4 is a diagram for describing a blur test performing method based on detection of a region of interest in the present invention. The region of interest may include a region that shows medical abnormality. The ROI may be detected by the image processing apparatus 120 using a method using a hand-crafted feature, a method using deep learning, or a user's eye tracking information. For example, the image processing apparatus 120 may first identify a method of finding a portion having a difference in gray level change degree on the left and right of a symmetrical object as shown in FIG. Method, or a deep neural network trained with a large number of images containing the region of interest, and then detects the region of interest that contains the region and then blurs the blur region above the region of interest. The method may determine whether a blur image is applied.
또는, 도 4와 같이 관심 영역을 먼저 검출한 후, 다른 영역에 대하여 도 3과 같이 소정의 블록(예, 128*128 픽셀 등)으로 분할된 영역별로 블러 테스트를 수행하되, 관심 영역의 하나 이상의 블록에는 더 많은 가중치를 주어 블러 영상 여부를 판단할 수도 있다. Alternatively, the region of interest is first detected as shown in FIG. 4, and then a blur test is performed for each region divided into predetermined blocks (eg, 128 * 128 pixels) as shown in FIG. 3. The block may be given more weight to determine whether a blur image is present.
도 5는 본 발명에서 시간적 대조 (temporal matching) 방법을 이용해 블러를 검출하는 방식을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a method of detecting blur by using a temporal matching method in the present invention.
예를 들어, 영상 처리 장치(120)는, 도 5와 같이 영상 버퍼(130)에 저장된 다수의 영상을 참조하여 시간적 대조 (temporal matching) 방법을 이용해 블러를 검출할 수도 있다. 즉, 영상 버퍼(130)에 저장된 시간적으로 인접한 다수의 영상에 포함된 하나 이상의 객체에 대한 좌표 등을 정합하고 에지(edge)에서의 계조값이나 그 변화도 등을 비교하는 방법으로 해당 부분의 선명도를 판단하고 블러 영상 여부를 판단할 수도 있다. 이때 영상 버퍼(130)에 저장된 시간적 대조 대상 영상들은, 정지영상 캡쳐 요청이 발생할 당시에 영상 버퍼(130)에 저장된 정지 영상, 해당 정지영상 캡쳐 요청이 있기 이전에 영상 버퍼(130)에 저장된 하나 이상의 정지 영상, 및 이전 정지영상 캡쳐 요청에 의해 저장 장치(140)에 저장된 하나 이상의 정지 영상을 포함할 수 있다.For example, the image processing apparatus 120 may detect blur by using a temporal matching method with reference to a plurality of images stored in the image buffer 130 as shown in FIG. 5. In other words, the coordinates of one or more objects included in a plurality of temporally adjacent images stored in the image buffer 130 are matched, and the sharpness of the corresponding portion is compared by comparing the gray level value or the degree of change thereof. It may be determined whether the blur image. In this case, the temporal contrast target images stored in the image buffer 130 may include a still image stored in the image buffer 130 when the still image capture request occurs, and one or more still images stored in the image buffer 130 before the corresponding still image capture request is received. The image may include one or more still images stored in the storage device 140 by a previous still image capture request.
도 6은 본 발명에서 카메라 움직임 속도에 대한 영상 버퍼에 저장된 시간적 대조 대상 영상들의 획득 속도 간의 관계를 설명하기 위한 도면이다. FIG. 6 is a view for explaining a relationship between acquisition speeds of temporal contrast target images stored in an image buffer with respect to a camera movement speed.
영상 버퍼(130)에는 소정의 시간 단위로 정지 영상들이 저장된다. 도 6과 같이, 영상 획득 장치(110)에서 전달되어 영상 버퍼(130)에 저장되는 정지 영상의 획득 속도는 카메라(110) 움직임의 속도에 따라 다를 수 있다. 예를 들어, 카메라(110) 움직임 속도가 빠를 경우 같은 시간에 적은 수의 유사한 정지 영상만을 영상 버퍼(130)에 저장하고, 카메라 움직임 속도가 느릴 경우 정지 같은 시간에 많은 수의 유사 정지 영상을 영상 버퍼(130)에 전달하여 저장한다. 영상 처리 장치(120)는 최근 소정의 시간 동안의 정지 영상을 영상 버퍼(130)에 저장 유지시키며 시간의 경과에 따라 소정의 용량을 초과하는 영상은 삭제할 수 있다.The still images are stored in the image buffer 130 at predetermined time units. As illustrated in FIG. 6, the acquisition speed of the still image transferred from the image acquisition device 110 and stored in the image buffer 130 may vary depending on the speed of the camera 110 movement. For example, when the camera 110 moves at a high speed, only a small number of similar still images are stored in the image buffer 130 at the same time, and when the camera moves at a slow speed, a large number of similar still images are recorded at the same time as the still image. Transfer it to the buffer 130 and store it. The image processing apparatus 120 may store and maintain a still image for a predetermined time in the image buffer 130 and delete an image exceeding a predetermined capacity as time passes.
도 7은 본 발명에서 정상 영상과 블러 영상의 시각적 알람 방법을 설명하기 위한 예이다. 도 8은 본 발명에서 블러 위치의 시각적 알람 방법을 설명하기 위한 예이다.7 is an example for explaining a visual alarm method for a normal image and a blur image in the present invention. 8 is an example for explaining a visual alarm method of the blur position in the present invention.
위와 같이 다양한 방식으로 블러를 검출하면, 영상 처리 장치(120)는, 블러 유무, 블러 위치 등 블러 검출 결과를 시각적 또는 청각적 알람을 통해 제공하며, 시각적 알람의 경우 도 7과 같이 영상의 가장자리 색상을 다르게 표시하는 방법 등을 이용하여 해당 정지영상 캡쳐 요청에 대한, 제공될 정지 영상(도 9의 S110 참조)에 대한 영상 정보 추출(도 9의 S120 참조)을 통해 위와 같은 블러 여부나 위치 검출 후에(도 9의 S130 참조), 블러가 없는 정상 영상(예, 초록색)인지, 또는 제공될 정지 영상이 블러가 있는 블러 영상(예, 빨강색)인지 여부를 사용자가 알 수 있도록 할 수 있다(도 9의 S140 참조). 또한, 도 8과 같이, 해당 정지영상 캡쳐 요청에 대한 제공될 정지 영상이 블러 영상인 경우, 전체 비디오 영상(동영상) 중 해당 정지 영상의 위치(예, 시간 정보 등)과 함께 해당 정지 영상 내에서 블러가 검출된 위치에 대한 영역을 소정의 색상(예, 빨강색) 등으로 표시하여 블러 위치에 대한 시각적 알람을 제공할 수 있다. 이와 같은 색상 대신에 같은 하이라이트(예, 블러 영상을 정지 영상 보다 더 밝게 표시함)하는 방법으로도 블러 영상 여부를 표시할 수도 있다.When the blur is detected in various ways as described above, the image processing apparatus 120 provides the blur detection result such as the presence or absence of the blur, the blur position through a visual or audio alarm, and the visual alarm color as shown in FIG. 7. After the blurring or position detection as described above through image information extraction (see S120 of FIG. 9) for the still image (see S110 of FIG. 9) to be provided, using the method of displaying differently (See S130 of FIG. 9), the user may be informed whether the normal image without blur (eg, green), or the still image to be provided is a blur image with blur (eg, red) (FIG. 9, see S140). In addition, as shown in FIG. 8, when the still image to be provided for the corresponding still image capture request is a blur image, the still image together with the position (eg, time information, etc.) of the still image among the entire video images (movies) is included in the still image. The area of the location where the blur is detected may be displayed in a predetermined color (for example, red color) to provide a visual alarm on the blur location. Instead of the same color, the same highlighting (eg, displaying a blur image brighter than a still image) may also indicate whether a blur image is present.
사용자는 위와 같은 시각적 또는 청각적 알람 정보를 확인하고 블러 등으로 인하여 만족하지 못하는 경우 재촬영을 결정하고 재촬영을 요청할 수 있으며, 재촬영된 정지 영상이 저장 장치(140)에 저장되게 할 수 있다. 즉, 사용자 등의 재촬영 요청에 따라 영상 처리 장치(120)는, 영상 획득 장치(110)에 의해 획득되어 영상 버퍼(130)에 새로이 저장된 하나 이상의 정지 영상(이전에 저장된 정지 영상 활용 가능)으로부터 블러 유무 또는 블러 위치를 다시 판단하여 해당 정지 영상을 저장하거나 또 다시 재촬영하는 과정을 수행할 수 있다. The user may check the visual or auditory alarm information as described above, and if the user is not satisfied due to the blur, may determine the re-shooting and request the re-shooting, and may cause the re-photographed still image to be stored in the storage device 140. . That is, in response to a re-photographing request of a user or the like, the image processing apparatus 120 is obtained from one or more still images (possibly using still images stored previously) that are acquired by the image capturing apparatus 110 and newly stored in the image buffer 130. The process of re-determining the presence or absence of the blur and storing or re-taking the corresponding still image may be performed.
경우에 따라, 영상 처리 장치(120)는, 블러 여부를 검출하기 위해, 블러 영상 및 블러 되지 않은 영상을 구분하여 저장한 데이터베이스 정보를 저장 장치(140) 또는 별도의 메모리 등 저장 수단에 저장하고, 위와 같이 새로이 업데이트되는 블러 영상으로 판단된 영상들과 정상 영상들로 판단된 영상들의 특징점, 계조값 등을 분석하여, 기계 학습(예, Deep Learning)을 수행함으로써 시간이 지날수록 더욱 사용자의 의도가 반영되어 블러 영상의 검출 정확도를 향상시킬 수 있다. In some cases, the image processing apparatus 120 stores the database information stored by dividing the blurred image and the non-blurred image in the storage device 140 or a separate memory, in order to detect the blur. As described above, by analyzing the feature points and gray values of the images determined as the newly updated blur image and the images determined as the normal images, machine learning (eg, Deep Learning) is performed to further increase the user's intention. It is reflected to improve the detection accuracy of the blur image.
다만, 환자의 내시경 영상을 촬영하는 경우 등과 같이, 촬영 대상체나 피사체의 연속적인 움직임 등으로 여러 번 재촬영시에도 연속적으로 블러 검출이 될 경우에는, 재촬영 요청 횟수 또는 정지영상 캡쳐 요청 이후 저장 장치(140)에 저장된 정지 영상(프레임)의 수가, 미리 결정된 수 이상인 경우, 위와 같이 블러 검출(블러 유무 또는 블러 위치)을 판단하는 알람 모드를 종료하고, 정지영상 캡쳐 요청 이후 저장 장치(140)에 저장된 영상 중 가장 블러가 적은 깨끗한 영상을 선택하여 캡쳐 정지 영상으로 제공될 영상으로 저장 장치(140)에 저장하고 디스플레이 장치에 제공할 수 있다. 또는, 위와 같이 알람 모드를 종료하는 경우, 연속적으로 블러 검출이 되어 연속적인 알람에 의해 정지영상 캡쳐 요청 이후 저장 장치(140)에 캡쳐 정지 영상으로 제공될 영상으로서 복수의 정지 영상이 저장된 경우, 사용자 등의 요청에 따라 콘솔(console)에서 이를 하나의 그룹으로 식별하여 해당 전체 영상을 디스플레이 장치를 통해 제공될 수 있게 할 수 있다.However, when the blur detection is continuously performed even after re-taking several times due to the continuous movement of the subject or the subject, such as when taking an endoscope image of the patient, the storage device after the number of re-photographing requests or after the still image capturing request If the number of still images (frames) stored in the 140 is greater than or equal to a predetermined number, the alarm mode for determining the blur detection (blur or blur position) is terminated as described above, and the storage device 140 is requested after the still image capture request. The clearest image having the least blur among the stored images may be selected and stored as the image to be provided as the captured still image in the storage device 140 and provided to the display device. Alternatively, when the alarm mode is terminated as described above, when a plurality of still images are stored as images to be provided as a capture still image to the storage device 140 after a request for capturing still images by a continuous alarm is detected and the continuous alarm is detected. In response to the request, the console may identify the group as one group so that the entire image may be provided through the display device.
한편, 종래의 영상 처리 장치는 사용자의 의도가 반영되지 않은 상태에서, 임의로 가장 선명한 영상을 선택하여 저장한다. 그러나 이것은 단순히 저장된 영상 중에서 가장 선명한 영상을 선택하는 것에 지나지 않으며, 선택된 영상이 의료 진단 목적에 적합한 수준으로 선명한지 여부는 보장할 수 없다. 또한, 획득된 영상의 일부에 블러가 존재하더라도 블러가 없는 부분이 진단에 필요한 부분이라면 해당 영상은 의학적으로 가치가 있을 수 있으므로, 해당 영상을 저장하거나 또는 사용자가 저장 여부를 판단할 수 있도록 블러의 유무 및 위치를 알려주는 것이 필요하다.Meanwhile, the conventional image processing apparatus arbitrarily selects and stores the clearest image without reflecting the intention of the user. However, this is simply selecting the sharpest image from the stored images, and there is no guarantee that the selected image is clear enough to be suitable for medical diagnosis purposes. In addition, even if a blur exists in a part of the acquired image, if the part without the blur is a part necessary for diagnosis, the image may be of medical value, so that the image may be stored or the user may determine whether to store it. It is necessary to tell the presence and location.
따라서, 이와 같은 경우를 위하여, 예를 들어, 영상 처리 장치(120)는, 위와 같이 정지 영상(도 9의 S110 참조)에 대한 영상 정보 추출(도 9의 S120 참조)을 통해, 영상이 의학적으로 유익한 정보를 포함하는지 여부를 판단하는 장치(이하 의학적 가치 판단 장치)의 의료 영상 데이터베이스를 참조하여 해당 영상이 의학적으로 유익한 정보를 포함하고 있는지 여부를 판단하고(도 9의 S150 참조), 해당 영상에 의학적으로 유익한 정보(예, 폴립 위치 등)가 포함되어 있을 경우, 의학적으로 유익한 정보가 포함되어 있다는 정보를 사용자에게 알려주는 알람 기능을 제공할 수 있다(도 9의 S160 참조). 위와 같이 의학적으로 유익한 정보를 포함하고 있는지 여부의 판단(이하 의학적 가치 판단)은, 블러 유무나 위치 검출 후에(도 9의 S130 참조) 해당 정지영상 캡쳐 요청에 대한 제공될 정지 영상이 블러 영상인 경우에 이루어질 수도 있고, 또는 영상 정보 추출(도 9의 S120 참조)후 바로 의학적 가치 판단이 이루어질 수도 있다. 의학적 가치 판단을 먼저 수행하는 경우에 블러 유무나 위치 검출 과정 후에 알람 기능을 제공할 수도 있다.Therefore, for this case, for example, the image processing apparatus 120 may extract the medical information through the image information extraction (see S120 of FIG. 9) for the still image (see S110 of FIG. 9) as described above. With reference to the medical image database of the device (hereinafter medical value determination device) for determining whether or not to include the beneficial information to determine whether the image contains medically beneficial information (see S150 in FIG. 9), When medically beneficial information (eg, polyp position, etc.) is included, an alarm function may be provided to inform the user that the medically beneficial information is included (see S160 of FIG. 9). Determination of whether the medical information includes the above information (hereinafter medical value judgment), the presence or absence of blur or after detecting the position (see S130 of FIG. 9) when the still image to be provided for the still image capture request is a blur image The medical value may be determined immediately after extracting the image information (see S120 of FIG. 9). In the case where the medical value judgment is performed first, an alarm function may be provided after the blurring or the position detection process.
위와 같이 영상 처리 장치(120)가 사용자에게 알람을 제공하는 방법은, 다음과 같이 요약될 수 있다. 도 9와 같이, 먼저, 입력 영상으로부터 영상 정보를 추출한 후 추출한 특징 정보로부터 블러 유무 또는 위치를 검출한 다음 사용자에게 알람을 제공할 수 있다. 또는, 입력 영상으로부터 추출한 영상 정보를 이용하여 직접 의학적 가치를 판단한 뒤 그 여부에 따라 알람을 제공할 수도 있다. 또는, 입력 영상으로부터 추출한 영상 정보를 이용하여 블러 유무 또는 위치를 검출한 다음 이 정보를 이용하여 블러 위치에 대한 의학적 가치를 판단하여 알람을 제공할 수 있다. 또는, 입력 영상영상부터 추출한 영상 정보를 이용하여 의학적 가치를 판단한 다음 의학적 가치가 있는 곳에서의 블러 유무를 검출한 후 알람을 제공할 수 있다.As described above, the method of providing an alarm to the user by the image processing apparatus 120 may be summarized as follows. As shown in FIG. 9, first, after extracting image information from an input image, the presence or absence of a blur is detected from the extracted feature information, and an alarm may be provided to the user. Alternatively, the medical value may be directly determined using the image information extracted from the input image, and then an alarm may be provided depending on whether the medical value is determined. Alternatively, the presence or absence of a blur may be detected using image information extracted from the input image, and then the medical value may be determined using this information to provide an alarm. Alternatively, the medical value may be determined using image information extracted from the input image image, and then an alarm may be provided after detecting the presence or absence of blur at the medical value.
영상 처리 장치(120)는, 일반적인 화질 평가 알고리즘 또는 블러 검출 알고리즘을 이용하여, 획득된 영상에 대해 블러가 있는지 여부의 판단이 가능하며, 블러의 위치까지 파악할 수 있다. 의료 영상의 경우 동일한 위치에서 블러가 없는 선명한 영상을 구하는 것이 어렵기 때문에 No-reference image quality assessment 방식의 알고리즘 적용이 가능하다. 이러한 방식의 알고리즘은 Discrete Wavelet Transform, Discrete Cosine Transform 등의 변환을 이용하거나 색상, Contrast, 엣지(edge) 정보에 대한 특징을 추출한 다음, Support Vector Machine, Support Vector Regression, Random Forest, Neural Network 등 머신러닝 기법을 이용해 블러 유무, 정도 및 위치를 파악할 수 있다.The image processing apparatus 120 may determine whether there is blur with respect to the obtained image by using a general image quality evaluation algorithm or a blur detection algorithm, and may grasp the location of the blur. In the case of medical images, it is difficult to obtain a clear image without blur at the same location, and thus a no-reference image quality assessment algorithm can be applied. This algorithm uses transforms such as Discrete Wavelet Transform, Discrete Cosine Transform, or extracts features of color, contrast, and edge information, and then machine learning such as Support Vector Machine, Support Vector Regression, Random Forest, and Neural Network. Techniques can be used to determine the presence, extent, and location of blur.
한편, 영상이 의학적으로 유익한 정보를 포함하는지 여부는 의료진의 주관적인 평가에 달려 있으며, 따라서 일반적인 블러 검출 및 화질 평가 알고리즘 또는 일반적인 영상 데이터베이스를 이용해 영상의 의학적 가치를 판단할 수 없다. 따라서 의학적 가치 판단 장치는, 의료진이 의학적으로 유익한 정보를 포함하는지 여부를 직접 표시(Annotation)한 정보를 표시한 의료 영상 데이터베이스를 이용해야 하며, 의료 영상 데이터베이스의 의료 영상 및 표시 결과를 이용해 의학적 가치 판단 장치를 학습시킬 수 있다. On the other hand, whether or not the image contains medically beneficial information is subject to the subjective evaluation of the medical staff, and thus the medical value of the image cannot be determined using a general blur detection and image quality evaluation algorithm or a general image database. Therefore, the medical value judgment device should use a medical image database that displays information that the medical staff has directly annotated whether or not it contains medically beneficial information, and the medical value judgment is made using the medical image and the display result of the medical image database. You can train the device.
의료진이 의학적으로 유익한 정보를 포함하는지 여부를 표시한 의료 영상 데이터베이스는 의료 영상과 더불어 의학적으로 유익한 정보가 있다/없다의 형태, 의학적으로 유익한 정보의 위치(예를 들어, 폴립의 위치), 또는 그 정도에 대한 점수 등을 포함할 수 있다. A medical imaging database indicating whether a medical staff includes medically beneficial information is in the form of / without medically beneficial information in addition to the medical image, the location of the medically beneficial information (eg, the location of the polyp), or its Scores for degree, and the like.
이러한 의학적 가치 판단 장치의 의료 영상 데이터베이스를 이용하여 일반적인 블러 검출 및 화질 평가 알고리즘에서 사용되는 다양한 방식으로 의학적 가치 판단 장치를 구성할 수 있다. 예를 들어, Discrete Wavelet Transform, Discrete Cosine Transform 등의 변환을 이용하거나 색상, Contrast, 엣지(edge) 정보에 대한 특징을 추출한 다음, 유익한 정보 유무, 정도, 또는 위치를 이용해 Support Vector Machine, Support Vector Regression, Random Forest, Neural Network 등 소정의 학습 알고리즘에 따라 의료 영상 데이터베이스에 학습된 데이터의 축적이 가능하다. 예를 들어, 블러 위치를 검출하거나 그전에 이를 의료 영상 데이터베이스에 유익한 정보가 있는 위치와 비교하여, 의료 영상 데이터베이스에 의학적 유익한 정보가 있는 위치가 포함되어 있을 경우, 사용자에게 알람을 제공할 수 있다. The medical value database may be configured by various methods used in general blur detection and image quality evaluation algorithms using the medical image database of the medical value determination device. For example, you can use the Discrete Wavelet Transform, Discrete Cosine Transform, or other features to extract color, contrast, or edge information, and then use the benefit information, degree, or location to support Vector Machine, Support Vector Regression. It is possible to accumulate the learned data in the medical image database according to a predetermined learning algorithm such as, Random Forest, Neural Network. For example, when the blur position is detected or compared with the position where the medical image database has the beneficial information, the alarm may be provided to the user when the medical image database includes the position having the medical information.
이와 같은 본 발명의 일 실시예에 따른 영상 처리 장치(120)에서 입출력 데이터 처리에 사용되는 기능은 컴퓨터 등 장치로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하며, 이와 같은 기록 매체와 컴퓨터 등 장치의 결합으로 기능 수행에 필요한 데이터나 정보를 입력하거나 출력하고 디스플레이하도록 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치, 하드 디스크, 이동형 저장장치 등이 있으며 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크(예, 인터넷, 이동통신 네트워크 등)로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장된 형태가 가능하며 네트워크를 통해 실행될 수도 있다.Such a function used for input / output data processing in the image processing apparatus 120 according to an embodiment of the present invention may be implemented as computer readable codes on a recording medium readable by a device such as a computer. A combination of a recording medium and a device such as a computer can be implemented to input, output, and display data or information necessary to perform a function. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, hard disk, removable storage, and also carrier wave (for example, transmission over the Internet). It also includes the implementation in the form of. In addition, the computer-readable recording medium may be distributed in a computer system connected through a network (eg, the Internet, a mobile communication network, etc.), and may have a form in which computer-readable codes are stored in a distributed manner and may be executed through a network.
상술한 바와 같이, 본 발명에 따른 영상 제공 장치(100)에 따르면, 내시경 영상 등의 촬영 중 정지영상 캡쳐 요청 시 블러 여부에 대한 알람을 제공함으로써 사용자가 블러 여부를 확인하고 필요시 재촬영 여부를 스스로 결정해 재촬영할 수 있도록 보조함으로써, 사용자의 의도와 상관없는 영상이 저장되거나 정보가 없는 블러 영상이 저장될 수 있는 종래 기술의 한계점을 극복하고, 나아가 의미 있는 정보만을 효율적으로 생성하여 제공할 수 있다.As described above, according to the image providing apparatus 100 according to the present invention, by providing an alarm for the blur when a still image capture request during the recording of the endoscope image, the user can check whether the blur and if necessary to retake By assisting the user to re-determine and retake, he overcomes the limitations of the prior art that can store images irrelevant to the user's intention or blur images without information, and can efficiently create and provide only meaningful information. have.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations may be made without departing from the essential features of the present invention. Accordingly, the spirit of the present invention should not be limited to the described embodiments, and all technical ideas having equivalent or equivalent modifications to the claims as well as the following claims are included in the scope of the present invention. Should be interpreted as.
Claims (13)
- 영상 처리를 위한 영상 처리 장치;An image processing apparatus for image processing;상기 영상 처리 장치가 영상 획득 장치에서 획득되는 동영상 중 소정의 시간 단위의 정지 영상을 저장하기 위한 영상 버퍼; 및An image buffer for storing, by the image processing apparatus, a still image of a predetermined time unit among the moving images acquired by the image capturing apparatus; And정지 영상 캡쳐 요청에 대응되는 정지 영상을 저장하기 위한 저장 장치를 포함하고,A storage device for storing a still image corresponding to the still image capture request;상기 영상 버퍼 또는 상기 저장 장치에 저장된 영상 중 하나 이상의 영상에 대하여, 상기 영상 처리 장치는, 블러 유무 또는 블러 위치에 대한 판단 결과에 대한 알람 정보를 시각적 또는 청각적으로 제공하여 사용자가 재촬영 여부를 결정할 수 있도록 보조하는 것을 특징으로 하는 영상 제공 장치.For one or more images among the images stored in the image buffer or the storage device, the image processing apparatus may visually or auditoryly provide alarm information on a result of the determination of the presence or absence of blur and whether the user retakes the image. The image providing device, characterized in that assists to determine.
- 제1항에 있어서,The method of claim 1,상기 영상 처리 장치는, The image processing apparatus,상기 정지 영상 캡쳐 요청에 대하여, 상기 영상 처리 장치가 상기 영상 버퍼에 저장된 하나 이상의 정지 영상 중 블러가 적다고 판단되는 하나 이상의 영상을 캡쳐 정지 영상으로 제공될 영상으로 선택하여 상기 저장 장치에 저장하는 것을 특징으로 하는 영상 제공 장치.In response to the still image capturing request, the image processing apparatus selects one or more images determined to be less blurry among the one or more still images stored in the image buffer as an image to be provided as a captured still image, and stores them in the storage device. An image providing device characterized in that.
- 제1항에 있어서,The method of claim 1,상기 영상 처리 장치는, 상기 정지 영상 캡쳐 요청에 대하여, 상기 정지 영상 캡쳐 요청에 대응되는 정지 영상으로서 상기 영상 버퍼에 저장된 하나 이상의 정지 영상과 상기 저장 장치에 저장된 하나 이상의 정지 영상 중 하나 이상의 영상을 알람의 유무와 상관 없이 상기 저장 장치에 저장하는 것을 특징으로 하는 영상 제공 장치.The image processing apparatus may alarm one or more images of one or more still images stored in the image buffer and one or more still images stored in the storage device as a still image corresponding to the still image capture request, with respect to the still image capture request. The image providing device, characterized in that the storage in the storage device regardless of the presence or absence.
- 제1항에 있어서,The method of claim 1,상기 영상 처리 장치는, 재촬영 요청에 따라 상기 영상 획득 장치를 통해 재촬영된 정지 영상을 상기 저장 장치에 저장하되, The image processing apparatus stores the still image re-photographed through the image obtaining apparatus in the storage device in response to the re-shooting request.상기 영상 획득 장치를 통해 새로이 획득되어 상기 영상 버퍼에 저장된 하나 이상의 정지 영상을 이용하여 상기 블러 유무 또는 블러 위치를 다시 판단하여 상기 재촬영된 정지 영상을 상기 저장 장치에 저장하거나 다시 재촬영하는 과정을 반복 수행하는 것을 특징으로 하는 영상 제공 장치.Re-determining the presence or absence of the blur or the blur position by using one or more still images newly acquired by the image acquisition device and stored in the image buffer to store or retake the re-photographed still image in the storage device. Image providing apparatus, characterized in that for repeating.
- 제1항에 있어서,The method of claim 1,상기 영상 처리 장치는, 상기 블러 유무 또는 블러 위치를 판단하기 위하여 테스트 대상 영상에 대하여,The image processing apparatus, with respect to the test target image in order to determine whether the blur or blur position,소정의 블록으로 분할된 영역별로 수행하는 제1방식, A first method performed for each area divided into predetermined blocks,전체 영역에서 먼저 관심 영역을 검출한 후 해당 관심 영역에 대해 분할된 영역별로 수행하는 제2방식, A second method of first detecting a region of interest in the entire region and then performing the divided regions for the region of interest;제1방식과 제2방식을 결합하여 상기 분할된 영역별로 수행하되 상기 관심 영역에 더 많은 가중치를 주는 제3방식, 또는A third method combining the first method and the second method and performing each segmented area to give more weight to the ROI; or상기 정지영상 캡쳐 요청이 발생할 당시에 상기 영상 버퍼에 저장된 정지 영상과 해당 정지영상 캡쳐 요청이 있기 이전에 상기 영상 버퍼에 저장된 하나 이상의 정지 영상을 참조하여, 시간적으로 인접한 영상들을 정합하고 비교하는 제4방식A fourth method of matching and comparing temporally adjacent images by referring to a still image stored in the image buffer when the still image capture request occurs and at least one still image stored in the image buffer before the corresponding still image capture request is received;중 어느 하나 이상을 이용하는 것을 특징으로 하는 영상 제공 장치.Image providing apparatus, characterized in that using any one or more.
- 제1항에 있어서,The method of claim 1,상기 영상 처리 장치는, The image processing apparatus,제공될 정지 영상이 블러가 없는 정상 영상인지, 또는 제공될 정지 영상이 블러가 있는 블러 영상인지 여부를 영상의 가장자리 색상을 다르게 표시하는 방법 또는 하이라이트하는 방법으로 시각적 알람을 제공하거나,Provide a visual alarm by displaying or highlighting the edge color of the image differently whether the still image to be provided is a normal image without blur, or whether the still image to be provided is a blur image with blur,제공될 정지 영상이 블러 영상인 경우, 전체 동영상 중 해당 정지 영상의 위치과 함께 해당 정지 영상 내에서 블러가 검출된 위치에 대한 영역을 소정의 색상으로 표시하여 블러 위치에 대해 시각적 알람을 제공하는 것을 특징으로 하는 영상 제공 장치.When the still image to be provided is a blur image, a visual alarm is provided for the blur position by displaying a region of a blur detected position in the still image in a predetermined color together with the position of the still image of the entire video. Image providing apparatus.
- 제1항에 있어서,The method of claim 1,상기 영상 처리 장치는, The image processing apparatus,연속적으로 블러 검출에 의해 재촬영이 이루어지고, 재촬영 요청 횟수 또는 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 정지 영상의 수가, 미리 결정된 수 이상인 경우, 알람 모드를 종료하고 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 영상 중 가장 블러가 적은 깨끗한 영상을 선택하여 상기 캡쳐 정지 영상으로 제공될 영상으로 상기 저장 장치에 저장하는 것을 특징으로 하는 영상 제공 장치.When the reshooting is continuously performed by blur detection, and the number of re-shooting requests or the number of the still images stored in the storage device after the still image capturing request is more than a predetermined number, the alarm mode is terminated and the still image capturing request is performed. And a clean image having the least blur among the images stored in the storage device is selected and stored in the storage device as an image to be provided as the captured still image.
- 제7항에 있어서,The method of claim 7, wherein상기 영상 처리 장치는, The image processing apparatus,연속적으로 블러 검출에 의해 재촬영이 이루어지고, 재촬영 요청 횟수 또는 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 정지 영상의 수가, 미리 결정된 수 이상인 경우, 알람 모드를 종료하고, 사용자 요청에 따라 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 상기 캡쳐 정지 영상으로 제공될 복수의 영상을 하나의 그룹으로 식별하여 제공하는 것을 특징으로 하는 영상 제공 장치.When re-shooting is performed continuously by blur detection, and the number of re-photographing requests or the number of still images stored in the storage device after the still image capturing request is more than a predetermined number, the alarm mode is terminated, and And a plurality of images to be provided as the captured still image stored in the storage device as one group after the still image capture request is provided.
- 제1항에 있어서,The method of claim 1,상기 영상 처리 장치는, 의학적 가치 판단 장치의 의료 영상 데이터베이스를 참조하여 해당 영상이 의학적으로 유익한 정보를 포함하고 있는지 여부의 의학적 가치 판단을 수행하여, 의학적으로 유익한 정보를 포함한다는 알람을 제공하는 것을 특징으로 하는 영상 제공 장치.The image processing apparatus may refer to the medical image database of the medical value determination device to perform a medical value determination of whether the corresponding image includes medically beneficial information, and provide an alarm indicating that the image includes medically beneficial information. Image providing apparatus.
- 제9항에 있어서,The method of claim 9,상기 의학적 가치 판단은, 상기 블러 유무 또는 블러 위치에 대한 판단 후에 또는 그 전에 이루어지는 것을 특징으로 하는 영상 제공 장치.The medical value determination is performed after or before the determination of the presence or absence of the blur position.
- 제10항에 있어서,The method of claim 10,상기 의학적 가치 판단이 상기 블러 유무 또는 블러 위치에 대한 판단 전에 이루어진 경우, 상기 블러 유무 또는 블러 위치에 대한 검출 후에 또는 상기 블러 유무 또는 블러 위치에 대한 검출 없이 바로, 상기 의학적으로 유익한 정보를 포함한다는 알람을 제공하는 것을 특징으로 하는 영상 제공 장치.If the medical value determination is made prior to the determination of the presence or absence of the blur, an alarm that includes the medically beneficial information immediately after detection of the presence or absence of the blur or without detection of the presence or absence of the blur Image providing apparatus, characterized in that for providing.
- 제9항에 있어서,The method of claim 9,상기 의학적 가치 판단 장치는 소정의 학습 알고리즘에 따라 상기 의학적으로 유익한 정보에 대한 학습된 데이터를 상기 의료 영상 데이터베이스에 축적하여 유지하는 것을 특징으로 하는 영상 제공 장치.And the medical value determining apparatus accumulates and maintains the learned data on the medically beneficial information in the medical image database according to a predetermined learning algorithm.
- 동영상 촬영 중 영상 처리 장치에서 캡쳐 정지 영상을 제공하는 영상 제공 방법에 있어서,In the image providing method for providing a still image captured by the image processing apparatus during video recording,영상 획득 장치에서 동영상 촬영 중 정지 영상 캡쳐 요청에 대하여, 상기 영상 처리 장치가 영상 버퍼에 저장된 하나 이상의 정지 영상 중 블러가 적다고 판단되는 하나 이상의 영상을 캡쳐 정지 영상으로 제공될 영상으로 선택하여 저장 장치에 저장하는 단계; 및 Responding to a still image capture request during video recording by the image capturing apparatus, the image processing apparatus selects one or more images determined to be less blurry among the one or more still images stored in the image buffer as the image to be provided as the captured still image, and the storage device. Storing in; And상기 영상 처리 장치가 상기 캡쳐 정지 영상으로 제공될 영상에 대하여, 블러 유무 또는 블러 위치에 대한 판단 결과에 대한 알람 정보를 시각적 또는 청각적으로 제공하여 사용자가 재촬영 여부를 결정할 수 있도록 보조하는 단계Assisting the user in determining whether to retake the image by providing visual or audio information on the image to be provided as the captured still image, alarm information regarding a result of the blur or the blur position를 포함하는 것을 특징으로 하는 영상 제공 방법.Image providing method comprising a.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2016-0174249 | 2016-12-20 | ||
KR1020160174249A KR102669621B1 (en) | 2016-12-20 | 2016-12-20 | Method and Apparatus for Capturing and Storing High Resolution Endoscope Image |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018117468A1 true WO2018117468A1 (en) | 2018-06-28 |
Family
ID=62626543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2017/013898 WO2018117468A1 (en) | 2016-12-20 | 2017-11-30 | Image providing method and device for acquiring and storing intelligent high resolution endoscopic image |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102669621B1 (en) |
WO (1) | WO2018117468A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113642555B (en) * | 2021-07-29 | 2022-08-05 | 深圳市芯成像科技有限公司 | Image processing method, computer readable medium and system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010029481A (en) * | 2008-07-29 | 2010-02-12 | Univ Of Tsukuba | Diagnostic supporting system for automatically creating follow-up observation report on tumor |
JP2013013569A (en) * | 2011-07-04 | 2013-01-24 | Hoya Corp | Image processor, image processing method, and image processing software |
JP2013188244A (en) * | 2012-03-12 | 2013-09-26 | Fujifilm Corp | Endoscope system, processor device therefor, and method for displaying endoscopic video image |
KR20140027750A (en) * | 2012-08-27 | 2014-03-07 | 한국디지털병원수출사업협동조합 | Images from three-dimensional ultrasound scans to determine the devices and methods |
JP2015221095A (en) * | 2014-05-22 | 2015-12-10 | オリンパス株式会社 | Wireless endoscope system, endoscope, display device, image transmission method, image display method and program |
-
2016
- 2016-12-20 KR KR1020160174249A patent/KR102669621B1/en active IP Right Grant
-
2017
- 2017-11-30 WO PCT/KR2017/013898 patent/WO2018117468A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010029481A (en) * | 2008-07-29 | 2010-02-12 | Univ Of Tsukuba | Diagnostic supporting system for automatically creating follow-up observation report on tumor |
JP2013013569A (en) * | 2011-07-04 | 2013-01-24 | Hoya Corp | Image processor, image processing method, and image processing software |
JP2013188244A (en) * | 2012-03-12 | 2013-09-26 | Fujifilm Corp | Endoscope system, processor device therefor, and method for displaying endoscopic video image |
KR20140027750A (en) * | 2012-08-27 | 2014-03-07 | 한국디지털병원수출사업협동조합 | Images from three-dimensional ultrasound scans to determine the devices and methods |
JP2015221095A (en) * | 2014-05-22 | 2015-12-10 | オリンパス株式会社 | Wireless endoscope system, endoscope, display device, image transmission method, image display method and program |
Also Published As
Publication number | Publication date |
---|---|
KR102669621B1 (en) | 2024-05-28 |
KR20180071532A (en) | 2018-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10758119B2 (en) | Automatic fundus image capture system | |
US20190069757A1 (en) | Endoscopic image processing apparatus | |
US20190034800A1 (en) | Learning method, image recognition device, and computer-readable storage medium | |
JP4512834B2 (en) | Capsule endoscope image display control device | |
EP2979607A1 (en) | Image processing device, endoscopic device, program and image processing method | |
EP3651457B1 (en) | Pupillary distance measurement method, wearable eye equipment and storage medium | |
US20080111889A1 (en) | Camera shake correction device, camera shake correction method and imaging device | |
EP3308702B1 (en) | Pulse estimation device, and pulse estimation method | |
WO2020171379A1 (en) | Capturing a photo using a mobile device | |
WO2019098415A1 (en) | Method for determining whether subject has developed cervical cancer, and device using same | |
JP2010114752A (en) | Device and method of imaging and program | |
JP4821355B2 (en) | Person tracking device, person tracking method, and person tracking program | |
KR20200102961A (en) | Method and system for diagnosing lesion using deep learning | |
WO2018117468A1 (en) | Image providing method and device for acquiring and storing intelligent high resolution endoscopic image | |
KR102034648B1 (en) | Medical Image Management System, Method and Computer Readable Recording Medium | |
CN106611417B (en) | Method and device for classifying visual elements into foreground or background | |
US11120554B2 (en) | Image diagnosis apparatus, image diagnosis method, and program | |
CN116385340A (en) | Medical endoscope image rapid defogging method and system | |
CN113744266B (en) | Method and device for displaying focus detection frame, electronic equipment and storage medium | |
KR102386673B1 (en) | Method and Apparatus for Detecting Object | |
JP5029573B2 (en) | Imaging apparatus and imaging method | |
JP2009089910A (en) | Photographing direction discriminating apparatus, photographing direction discriminating method, photographing direction discriminating program, and computer-readable recording medium on which photographing direction discriminating program is recorded | |
CN111582243B (en) | Countercurrent detection method, countercurrent detection device, electronic equipment and storage medium | |
CN117974440B (en) | Method and system for stitching endoscope images | |
US20220296082A1 (en) | Surgical information processing apparatus, surgical information processing method, and surgical information processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17884738 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17884738 Country of ref document: EP Kind code of ref document: A1 |