KR101341065B1 - Method for processing image of tongue using three band image - Google Patents

Abstract

본 발명은 설진 영상 처리 방법에 관한 것으로, 가시광선, 자외선, 적외선 3가지 광원을 이용하여 설질 색상, 설태 및 혀 색상 등의 설진을 위한 진단 정보를 영상 처리에 의해서 결과로 표시하여 한의사의 설진 진단의 객관성 있는 지표 정보를 제공할 수 있는 3파장 영상을 이용한 설진 영상 처리 방법에 관한 것으로, 본 발명 3파장 영상을 이용한 설진 영상 처리 방법은 설진 영상을 처리하는 메인 소프트웨어 로딩 단계(S110)와 설진촬영을 판단하는 단계(S120) 및 설진 촬영 기기 대기(Standby) 단계(S130)로 구성되는 설진 소프트웨어 로딩 단계(S100); 설진 촬영 준비를 판단하는 단계(S210)와 촬영준비가 되었다면 영상 획득 단계(S220)와 이미지 신호 처리(ISP) 사용을 판단하는 단계(S230)와, 상기 ISP를 사용한다면 ISP를 설정하는 단계(S240)로 구성되는 설진영상 획득단계(S200); 및 상기 설진 촬영 단계(S120)에서 촬영이 아닌 경우와 상기 ISP 사용이 아닌 경우(S230)와, 기존 파일 로드 단계(S320) 중 하나인 파일 관리 단계(S310)와, 상기 파일 로드를 판단하는 단계(S320)와, 영상을 조절하거나(S430) 서로 다른 3가지 파장의 조명에 의해 획득된 혀의 설진 영상 및 면적을 분석하는 설진영상 분석단계(S300);를 포함하여 이루어지는 것을 특징으로 한다.The present invention relates to a method for processing seoljin image, using the three light sources, visible light, ultraviolet ray, infrared light diagnostic information for the diagnosis of tongue, lingual, tongue, tongue color, etc. as a result by image processing to diagnose the diagnosis of Chinese medicine The present invention relates to a seoljin image processing method using a three-wavelength image that can provide objective indicator information of the present invention, the seoljin image processing method using the three-wavelength image of the present invention loading the main software loading step (S110) and seoljin photographing A snowy software loading step (S100) comprising a step (S120) and a stand-by photographing device standby (Sandby) step (S130); Determining preparation for seoljin photographing (S210) and if the preparation is ready step (S220) and determining the use of the image signal processing (ISP) (S230), and if using the ISP setting the ISP (S240) Seoljin image acquisition step consisting of (S200); And determining if the file is not taken in the seoljin photographing step (S120) and when not using the ISP (S230), the file management step (S310) which is one of the existing file loading step (S320), and the file load. And a snowy image analysis step (S300) of adjusting the image (S430) or analyzing the snowy image and the area of the tongue obtained by illumination of three different wavelengths (S430).

Description

3파장 영상을 이용한 설진 영상 처리 방법{Method for processing image of tongue using three band image}Method for processing image of tongue using three band image}

본 발명은 설진 영상 처리 방법에 관한 것으로, 더욱 상세하게는 가시광선, 자외선, 적외선 3가지 광원을 이용하여 설질 색상, 설태 및 혀 색상 등의 설진을 위한 진단 정보를 영상 처리에 의해서 결과로 표시하여 한의사의 설진 진단의 객관성 있는 지표 정보를 제공할 수 있는 3파장 영상을 이용한 설진 영상 처리 방법에 관한 것이다.The present invention relates to a method for processing seoljin image, and more specifically, by using three kinds of visible light, ultraviolet light, infrared light source diagnostic information for the diagnosis of tongue, tongue, tongue color, etc. The present invention relates to a method for processing seoljin using a three-wavelength image that can provide objective indicator information of the diagnosis of diagnosis of Chinese medicine.

통상적으로 설진(舌診)이란 피검사자의 혀와 태(苔)의 색상과 형태 등을 관찰하고 피검사자의 건강상태를 진단하는 한의학의 건강 진단방법이다. Typically, a tongue diagnosis is a medical examination method of oriental medicine which observes the color and shape of the tongue and moss of a testee and diagnoses the health condition of the testee.

설진은 현재 한국, 중국, 일본, 미국 등 전 세계적으로 이용되고 있는 건강진단 방법으로서, 혀의 색상과 형태를 이용해 피검사자의 건강 상태를 진단하므로 비교적 간단하고 저렴하게 피검사자의 건강을 진단할 수 있다는 장점을 가진다. Seoljin is currently being used worldwide in Korea, China, Japan, USA, etc. It is a simple and inexpensive way of diagnosing the health of a subject by using the color and shape of his tongue. Has

정확한 설진을 위해 먼저 일관된 조명에서 일정한 형태로 피검사자의 혀를 관찰하는 것이 중요하다.To ensure accurate diagnosis, it is important to first observe the subject's tongue in a consistent form under consistent illumination.

도 1을 참조하면, 피검사자(1)를 설진하기 위해 검사자는 피검사자(1)의 입을 벌리고 혀를 내놓도록 한다. 검사자는 피검사자의 혀를 잘 관찰할 수 있는 위치에서 혀로 빛을 비추어 혀와 태의 색상과 형태 등을 검사한다.Referring to FIG. 1, to examine the examinee 1, the examiner opens the mouth of the examinee 1 and puts out his tongue. The examiner examines the color and shape of the tongue and the fetus by shining light with the tongue in a position where the subject's tongue can be observed.

이와 같이 설진은 피검사자의 혀와 태의 색상과 형태 등을 관찰하여 비교적 간단하고 저렴하게 피검사자의 건강상태를 진단할 수 있는 진단 방법 중 하나이다. 이러한 설진은 맥진과 함께 한의학의 대표적인 진단 방법으로 지금까지는 숙련된 한의사들의 육안 관찰에 의존하여 이루어져 왔다. 이러한 설진은 수천 년 이상 전해져 내려온 한의학의 진단 방법으로 서양에서도 그 효능을 인정받고 있다. 그러나, 설진은 한의사들의 경험으로 진단하는 것이기 때문에 관찰자의 눈으로 파악할 수 있는 것 이상의 정보를 제공하지 못한다는 문제점을 갖는다.As described above, seoljin is one of the diagnostic methods that can examine the health and condition of the examinee relatively simply and inexpensively by observing the color and shape of the examinee's tongue and fetus. This is a representative diagnostic method of Oriental medicine together with the pulse, and so far, it has been done by relying on visual observation of skilled oriental medicine. Such a diagnosis has been recognized in the West as a diagnostic method of oriental medicine that has been passed down for thousands of years. However, because seoljin is diagnosed by the experience of oriental medical doctors, it does not provide more information than can be seen by the observer's eyes.

또한, 설진은 관찰자의 주관적인 판단으로 설진과 설태의 색에 대하여 진단하는 것이므로 객관적인 진단기준 및 진단의 표준화가 요구되고 있다.In addition, since the diagnosis of the diagnosis of the tongue and the color of the tongue is performed by the observer's subjective judgment, objective diagnosis criteria and standardization of diagnosis are required.

이러한 요구에 의해 중국의 연구진은 1990년대 중의설진 자동식별 시스템을 완성한 바 있고, 이후 디지털 중의 설상 분석기를 제작하여 혀와 설태의 색깔, 두께 및 습윤도를 평가할 수 있는 시스템을 제작하였다.In response to these demands, the Chinese researchers completed the automatic identification system in the mid-1990s, and then built a digital on-snow analyzer to evaluate the color, thickness and wetness of the tongue and tongue.

한편, 대만의 연구진도 전산화 중의 설진 시스템을 완성한바 있고, 영상을 푸리에 변환(Fourier transformation)하여 설태의 두께에 대한 간접적 추정 값을 제시하는 알고리즘을 제출한바 있다. 국내 역시 여러 연구기관에서 설진 시스템의 외형 디자인과 조명 기구 설계, 설색의 전산 분석 등이 이루어진바 있고, 이에 따라 설진 시스템이 개발되었다.Meanwhile, Taiwanese researchers have also completed a computerized snow-covering system, and have submitted an algorithm that provides an indirect estimate of the thickness of the tongue by Fourier transformation of the image. In Korea, various research institutes have been designed for the appearance design of the seismic system, the design of lighting fixtures, and the computerized analysis of the color scheme.

이러한 종래 기술에 따른 설진 영상의 촬영방법의 일례가 도 2에 도시되어 있다. 도 2은 종래 기술에 따른 설진 영상의 촬영방법을 도시한 흐름도이다.An example of a method of photographing a snowy image according to the related art is shown in FIG. 2. 2 is a flowchart illustrating a method of photographing a snowy image according to the prior art.

도 2를 참조하면, 먼저 피검사자는 설진기를 통해 자신의 설진 영상을 촬영한다(S1).Referring to FIG. 2, first, the examinee photographs his / her tongue image through a tongue tongue (S1).

촬영된 설진 영상은 설진기에 구비되어 있는 디스플레이부에 표시되며, 피검사자는 디스플레이된 설진 영상을 통해 촬영한 설진 영상이 혀의 상태를 진단하기에 적합하게 촬영되었는지 여부를 검사한다(S3). The photographed tongue image is displayed on a display unit provided in the tongue-extractor, and the examinee examines whether the tongue-eye image photographed through the displayed tongue image is appropriate to diagnose the condition of the tongue (S3).

설진 영상이 정확하게 촬영되었다고 판단되는 경우, 설진기는 유선/무선 네트워크를 통해 검사 서버로 촬영한 설진 영상을 송신한다(S5).If it is determined that the tongue image is captured correctly, the tongue is transmitted to the inspection server photographed to the inspection server via the wired / wireless network (S5).

한편, 검사자는 단말기를 이용하여 검사 서버에 접속하여 피검사자의 설진 영상을 수신하고, 수신된 설진 영상을 통해 피검사자의 혀 상태를 설진한다. 검사자는 설진 결과를 다시 검사 서버로 송신하며 피검사자는 설진기를 통해 검사 서버에 접속하여 설진 결과를 수신한다(S7). On the other hand, the examiner accesses the inspection server using the terminal to receive the subject's tongue image, and the tongue of the subject's tongue through the received tongue image. The inspector transmits the results of the diagnosis again to the inspection server, and the examinee accesses the inspection server through the tongue sewer to receive the results of the diagnosis.

이 경우, 설진기와 단말기는 유선/무선 네트워크에 접속하여 검사 서버에 접속할 수 있는 통신 기능을 구비한다. 수신된 설진 결과는 설진기의 디스플레이부에 표시되며, 피검사자는 설진 결과를 통해 자신의 건강상태를 확인할 수 있다(S9).In this case, the device and the terminal are provided with a communication function that can be connected to the test server by connecting to the wired / wireless network. The received tongue diagnosis result is displayed on the display unit of the tongue isolator, the examinee can check their health state through the tongue diagnosis result (S9).

그러나, 종래의 설진 촬영방법은 혀와 설태의 색깔에 대해서는 신뢰할 만한 결과를 보여주고 있지만, 혀의 두께, 설태의 두께 및 습윤도 등의 특징에 대해서는 2차원 영상에 기반한 간접적 추정 값을 출력할 수밖에 없어 데이터의 신뢰성에 문제점이 있었다.However, although the conventional tongue photographing method shows reliable results for the color of tongue and tongue, it has no choice but to output indirect estimates based on two-dimensional images for features such as tongue thickness, tongue thickness, and wetness. There was a problem with the reliability of the data.

또한, 종래의 설진 촬영방법은 가시광선 영상만을 촬영 및 기록함으로써 눈으로 관찰가능한 것만을 보존하고 재생하므로 육안으로 관찰 불가능한 혀의 상태를 검사하기 힘들다는 문제점도 있었다. In addition, the conventional seoljin photographing method has a problem that it is difficult to inspect the state of the tongue that can not be observed with the naked eye because only the visible light image is taken and recorded to preserve and reproduce only what can be observed by the eye.

이에 더하여, 종래의 설진 촬영방법은 설진 영상을 촬영한 후에 피검사자 직접 촬영의 정확성 여부를 판단하는 것이기 때문에 한의사 등의 검사자가 설진하기에 적합한 영상이 촬영되었는지 여부를 판단하기에 힘들다는 문제점도 있었다.In addition, the conventional seoljin photographing method has a problem that it is difficult to determine whether the image suitable for the inspector, such as oriental medicine doctor was taken because it is to determine the accuracy of the direct examination of the subject after taking the seoljin image.

따라서, 본 발명은 이러한 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 본 발명은 가시광선, 자외선, 적외선 3가지 광원을 이용하여 설질 색상, 설태 및 혀 색상 등의 설진을 위한 진단 정보를 영상 처리에 의해서 결과로 표시하여 한의사의 설진 진단의 객관성 있는 지표 정보를 제공할 수 있는 3파장 영상을 이용한 설진 영상 처리 방법을 제공하는 것에 그 목적이 있다.Accordingly, the present invention is to solve the above-mentioned disadvantages and problems of the prior art, the present invention by using the three light sources, visible light, ultraviolet light, infrared light, diagnostic information for the diagnosis of tongue, tongue, tongue color, etc. It is an object of the present invention to provide a method for processing a snow-collected image using a three-wavelength image which can be displayed as a result by the treatment and can provide objective indicator information of the diagnosis of the diagnosis of a Chinese medicine.

또한, 본 발명은 혀 영상 파일에 대한 진료 히스토리를 저장 및 관리할 수 있는 설진 영상 처리 방법을 제공하는 것에 다른 목적이 있다.In addition, another object of the present invention is to provide a seoljin image processing method that can store and manage the medical history for the tongue image file.

상기와 같은 목적을 달성하기 위한 본 발명 3파장 영상을 이용한 설진 영상 처리 방법은, 본체 후면의 외부 스위치(버튼)로부터 온 또는 오프 신호를 입력받는 외부 스위치 신호 입력부(10); 서로 다른 3가지 파장의 조명을 출력하는 조명부(14)(16)(18); 상기 서로 다른 3가지 파장에 따른 혀의 설진 영상을 획득하는 카메라부(20); 상기 카메라부(20)에서 획득한 설진 영상을 분석하는 분석부(22); 상기 분석부(22)에서 분석한 설진 영상을 저장하는 저장부(24); 및 상기 외부 스위치 신호 입력부(10), 조명부(14)(16)(18), 카메라부(20), 분석부(22) 및 저장부(24)를 제어하는 제어부(28);를 포함하여 구성되는 3파장 영상을 이용한 설진 영상 처리 장치를 사용함을 특징으로 한다.To achieve the above object, a seoljin image processing method using a three-wavelength image of the present invention, the external switch signal input unit 10 for receiving an on or off signal from an external switch (button) on the rear of the main body; Illumination units 14, 16 and 18 for outputting illumination of three different wavelengths; A camera unit 20 for acquiring tongue tongue images according to the three different wavelengths; An analysis unit 22 for analyzing a snowy image obtained by the camera unit 20; A storage unit 24 for storing a snowy image analyzed by the analysis unit 22; And a controller 28 that controls the external switch signal input unit 10, the lighting unit 14, 16, 18, the camera unit 20, the analysis unit 22, and the storage unit 24. A snowy image processing apparatus using the 3 wavelength image is used.

여기서, 상기 3파장 영상을 이용한 설진 영상 처리 장치는, 혀가 삽입되는 부위를 살균하는 살균 조명부(12)를 더 포함하여 구성됨이 바람직하다.Here, the seoljin image processing apparatus using the three-wavelength image is preferably configured to further include a sterilization lighting unit 12 for sterilizing the portion where the tongue is inserted.

그리고 상기 3파장 영상을 이용한 설진 영상 처리 장치는, 설진 영상을 모니터(31) 및 PC(32)로 인터페이싱하는 인터페이스부(30)를 더 포함하여 구성됨이 바람직하다.In addition, the seoljin image processing apparatus using the three-wavelength image is preferably configured to further include an interface unit 30 for interfacing the seoljin image to the monitor 31 and the PC (32).

또한, 조명부는 가시광선을 출력하는 가시광선 조명부(14)와, 자외선을 출력하는 자외선 조명부(16) 및 적외선을 출력하는 적외선 조명부(18)로 구성됨이 바람직하다.In addition, the illumination unit is preferably composed of a visible light illumination unit 14 for outputting visible light, an ultraviolet light illumination unit 16 for outputting ultraviolet light and an infrared illumination unit 18 for outputting infrared light.

상기한 목적을 달성하기 위한 본 발명은 설진 영상을 처리하는 메인 소프트웨어 로딩 단계(S110)와 설진촬영을 판단하는 단계(S120) 및 설진 촬영 기기 대기(Standby) 단계(S130)로 구성되는 설진 소프트웨어 로딩 단계(S100); 설진 촬영 준비를 판단하는 단계(S210)와 촬영준비가 되었다면 영상 획득 단계(S220)와 이미지 신호 처리(ISP) 사용을 판단하는 단계(S230)와, 상기 ISP를 사용한다면 ISP를 설정하는 단계(S240)로 구성되는 설진영상 획득단계(S200); 및 상기 설진 촬영 단계(S120)에서 촬영이 아닌 경우와 상기 ISP 사용이 아닌 경우(S230)와, 기존 파일 로드 단계(S320) 중 하나인 파일 관리 단계(S310)와, 상기 파일 로드를 판단하는 단계(S320)와, 영상을 조절하거나(S430) 서로 다른 3가지 파장의 조명에 의해 획득된 혀의 설진 영상 및 면적을 분석하는 설진영상 분석단계(S300);를 포함하여 이루어지는 것을 특징으로 한다.In order to achieve the above object, the present invention provides a snowy software loading process comprising a main software loading step (S110) for processing a snowy image (S110), a step of determining photographing of a snowy snow (S120), and a standby of the snowy imaging device (Standby) (S130). Step S100; Determining preparation for seoljin photographing (S210) and if the preparation is ready step (S220) and determining the use of the image signal processing (ISP) (S230), and if using the ISP setting the ISP (S240) Seoljin image acquisition step consisting of (S200); And determining if the file is not taken in the seoljin photographing step (S120) and when not using the ISP (S230), the file management step (S310) which is one of the existing file loading step (S320), and the file load. And a snowy image analysis step (S300) of adjusting the image (S430) or analyzing the snowy image and the area of the tongue obtained by illumination of three different wavelengths (S430).

여기서, 상기 설진영상 분석단계(S300)는, 상기 혀의 설질을 검출하는 단계(S440)와, 상기 혀의 설태를 검출하는 단계(S450)와, 상기 혀의 면적을 계산하는 단계(S460)와, 상기 혀의 색정보를 획득하는 단계(S470)와, 상기 색정보가 획득되었다면 결과를 표시하는 단계(S380); 및 저장하는 단계(S390)를 포함하여 이루어지는 것이 바람직하다.Here, the tongue image analysis step (S300), the step of detecting the tongue of the tongue (S440), the step of detecting the tongue of the tongue (S450), the step of calculating the area of the tongue (S460) and Obtaining color information of the tongue (S470), and displaying the result if the color information is obtained (S380); And storing (S390).

여기서, 상기 혀의 설질은 상기 3가지 서로 다른 파장의 조명 중 적외선 조명을 이용하여 검출하고, 상기 혀의 설태는 상기 3가지 서로 다른 파장의 조명 중 자외선 조명을 이용하여 검출하며, 상기 혀의 색정보는 상기 3가지 서로 다른 파장의 조명 중 가시광선을 이용하여 획득하는 것이 바람직하다.Here, the tongue of the tongue is detected using infrared illumination of the illumination of the three different wavelengths, the tongue of the tongue is detected using ultraviolet light of the illumination of the three different wavelengths, the color of the tongue Information is preferably obtained by using visible light among the illumination of the three different wavelengths.

그리고 설진영상 획득 단계는, 메인 소프트웨어에서 사용자의 요청에 의해 실행되어 상기 영상을 획득하기 위한 카메라를 점검(S201)하고, 영상출력을 통해 영상을 획득할 수 있는 상태로 대기하는 단계(S204)와, 각각 색상과 노출을 설정하는 과정(P1, P2)과, 설진 영상을 촬영하면(S206), 촬영하려는 영상의 프레임이 영상 저장 단계(S207)에서 이미지 파일로 관리 및 저장되는 단계를 포함하는 것이 바람직하다.In addition, the acquisition of the photographic image may be executed at a request of a user in main software to check a camera for acquiring the image (S201), and wait for the image to be acquired through image output (S204); , The process of setting the color and exposure (P1, P2), and when the photographed image is taken (S206), the step of managing and storing the frame of the image to be captured as an image file in the image storage step (S207) desirable.

여기서, 상기 설진 영상에서 설질 영역을 검출하는 방법은, 적외선 조명을 통해 적외선 영상(S331)이 색상 변환을 통해 그레이 레벨 영상으로 변환되는 단계(S332)와, 상기 변환된 그레이 레벨 영상은 이진화에 의해 이진 영상이 되는 단계(S333)와. 상기 이진화된 영상에서 윤곽 성분을 검출하는 단계(S334)와, 상기 윤곽 성분에서 윤곽영상을 완료하는 단계(S335)와, 상기 설질 영역 설정이 완료될 때까지 윤곽조절영상을 통해(S337) 윤곽형태를 조절하여 설질 영역 설정을 완료하면(S336), 적외선 영상과 합성되어 사용자에게 시각적으로 보여주고(S338), 면적 계산 함수를 호출하여 면적에 대한 검출 데이터를 결과 테이블에 출력하는 단계를 포함하는 것이 바람직하다.Here, the method of detecting the tongue quality area in the tongue-in image, the step of converting the infrared image (S331) to a gray level image through color conversion (S332) through the infrared illumination, and the converted gray level image by binarization Step (S333) and become a binary image. Detecting the contour component in the binarized image (S334), Completing the contour image from the contour component (S335), and contour configuration image through the contour adjustment image (S337) until the snow area setting is completed (S337). Completion of setting the snow area by adjusting the (S336), and synthesized with the infrared image to visually show to the user (S338), and calling the area calculation function to output the detection data for the area to the result table desirable.

그리고 상기 윤곽 성분 검출 단계는 케니-에지 검출 알고리즘을 사용하여 상기 설질 영역 추출을 위한 윤곽 도형을 생성하는 것이 바람직하다.In the step of detecting the contour component, it is preferable to generate a contour figure for extracting the tongue quality region using a Kenny-edge detection algorithm.

한편, 상기 설진영상에서 설태 영역을 검출하는 방법은, 입력된 자외선 영상(S351)에서 단일 채널 영상을 사용하여(S352) 상기 설태 검출 목적에 맞는 채널을 선택(S353)하면 이진화하는 단계(S354)와, 원하는 영역의 설태 성분 영상(S355)에서 설태 영역을 선택하여 이진화하면 이진 영상과 병합을 수행할 설질 영역의 검출 여부를 확인하는 단계(S357)와, 상기 검출된 설질 영역은 자외선 영상과 합성되어 면적 계산 함수를 호출하여 설질에 대한 설태의 면적과 설질과의 비율, 설태의 설질 상에서의 분포율의 설진 진단 지표를 계산하여 프로그램 화면에 설태 영역 영상 결과로서 나타내는 단계(S358)를 포함하여 이루어지는 것이 바람직하다.On the other hand, the method for detecting the tongue area in the tongue image, the step of binarizing (S354) using a single channel image from the input ultraviolet image (S351) to select a channel suitable for the purpose of the tongue detection (S353) and When the tongue region is selected and binarized in the tongue component image (S355) of the desired region, a step (S357) of detecting a tongue region to be merged with a binary image is detected, and the detected tongue region is synthesized with an ultraviolet image. It is preferable to include the step of calculating the diagnosing diagnosis index of the area of the tongue with respect to the tongue, the ratio of the tongue to the tongue, and the distribution ratio on the tongue of the tongue, and presenting the results of the tongue zone image on the program screen (S358). Do.

한편, 상기 설진영상에서 설질 색상 정보를 획득하는 방법은, 설태 영역과 설질 영역과 가시광선 영상과 병합하여 일치하는 위치의 화소값을 누적하여 평균값을 산출하여 사용자에게 설질 색상 정보를 제공하는 자동화 방법과, 사용자가 가시광선의 혀 영상에서 임의지 위치를 선정하여 해당하는 위치의 화소값을 제공하는 매뉴얼 방법을 제공하여 각 영역의 RGB 색상 데이터가 결과로 표시됨이 바람직하다.On the other hand, the method for obtaining tongue quality information from the tongue image, an automatic method for merging tongue tongue area, tongue tongue area and visible light image, accumulating pixel values of matching positions and calculating average value to provide tongue quality color information to the user; In addition, it is preferable that the user selects an arbitrary position in the tongue image of the visible light and provides a manual method of providing pixel values of the corresponding position so that the RGB color data of each region is displayed as a result.

상기와 같이 이루어진 본 발명은 다음과 같은 효과가 있다.The present invention as described above has the following effects.

첫째, 설진을 진단함에 있어 가시광선, 자외선, 적외선 3가지 광원을 이용하여 설질 색상, 설태 및 혀 색상 등의 설진을 위한 진단 정보를 영상 처리에 의해서 결과로 표시하여 한의사의 설진 진단의 객관성 있는 지표 정보를 제공할 수 있는 효과가 있다.First, in diagnosing tongue diagnosis, the diagnostic information for tongue diagnosis, such as tongue color, tongue and tongue color, is displayed as a result by image processing by using three kinds of light sources such as visible light, ultraviolet ray, and infrared ray. It has the effect of providing information.

둘째, 혀 영상 파일에 대한 진료 히스토리를 저장 및 관리함으로써 보다 정확한 설진 데이터를 축적 및 데이터베이스화하여 정확한 설진 데이터를 구축함으로써 보다 향상된 설진 진단 서비스를 제공할 수 있는 효과가 있다.Secondly, by storing and managing the medical history of the tongue image file, it is possible to accumulate and database more accurate tongue data and to build accurate tongue data to provide more improved tongue diagnosis service.

도 1은 종래 기술에 따른 설진 방법을 설명하기 위한 참고도,
도 2는 종래 기술에 따른 설진 방법을 설명하기 위한 흐름도,
도 3 내지 도 9는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 설진 영상 촬영 및 저장장치를 설명하기 위한 도면,
도 10은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 이미지 분석 프로그램의 디스플레이 예시도,
도 11은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 설명하기 위한 블록 구성도,
도 12는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법을 설명하기 위한 흐름도,
도 13은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설진 획득 방법을 설명하기 위한 흐름도,
도 14는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 영역 검출 방법을 설명하기 위한 흐름도,
도 15는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설태 영역 검출 방법을 설명하기 위한 흐름도,
도 16은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 색상 정보 획득 방법을 설명하기 위한 흐름도,
도 17 내지 도 19는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설질 영역 검출을 설명하기 위한 도면,
도 20 내지 도 22은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 적색 채널을 사용한 경우를 설명하기 위한 도면,
도 23 내지 도 25는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 명도 채널을 사용한 경우를 설명하기 위한 도면,
도 26 내지 도 28은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 녹색 채널을 사용한 경우를 설명하기 위한 도면,
도 29는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 색상 정보 획득을 설명하기 위한 도면,
도 30 및 도 31은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 진료 히스토리 저장 및 관리 기능을 설명하기 위한 도면이다.1 is a reference diagram for explaining a snow-covering method according to the prior art,
2 is a flow chart for explaining a snow removal method according to the prior art;
3 to 9 are diagrams for explaining a snowy image capturing and storage device used in a snowy image processing method using a three-wavelength image according to the present invention;
FIG. 10 is an exemplary view of an image analysis program used in a seoljin image processing method using a three-wavelength image according to the present invention; FIG.
11 is a block diagram illustrating an apparatus for processing a seoljin image using a three-wavelength image according to the present invention;
12 is a flowchart illustrating a method for processing a snowy image using a three-wavelength image according to the present invention;
13 is a flowchart illustrating a method of acquiring a seoljin in a seoljin image processing method using a three-wavelength image according to the present invention;
FIG. 14 is a flowchart illustrating a method for detecting a lingual region in a lingual image processing method using a three-wavelength image according to the present invention; FIG.
15 is a flowchart illustrating a method for detecting a tongue area in a snow-covered image processing method using a three-wavelength image according to the present invention;
16 is a flowchart illustrating a method of obtaining tongue quality color information in a tongue isolation image processing method using a three-wavelength image according to the present invention;
17 to 19 are diagrams for explaining the detection of the lingual region using the suljin image processing apparatus using a three-wavelength image according to the present invention;
20 to 22 are views illustrating a case where a red channel is used during detection of a tongue region using a snow-covered image processing apparatus using a three-wavelength image according to the present invention;
23 to 25 are diagrams for explaining the case of using the brightness channel during detection of the tongue region using the snow-covered image processing apparatus using a three-wavelength image according to the present invention,
26 to 28 are views illustrating a case where a green channel is used during detection of a tongue region using a snow-covered image processing apparatus using a three-wavelength image according to the present invention;
29 is a view for explaining color information acquisition using a snow-covered image processing apparatus using a three-wavelength image according to the present invention;
30 and 31 are diagrams for explaining a medical history storage and management function using a seoljin image processing apparatus using a three-wavelength image according to the present invention.

본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다. In addition, although the term used in the present invention is selected as a general term that is widely used at present, there are some terms selected arbitrarily by the applicant in a specific case. In this case, since the meaning is described in detail in the description of the relevant invention, It is to be understood that the present invention should be grasped as a meaning of a term that is not a name of the present invention. Further, in describing the embodiments, descriptions of technical contents which are well known in the technical field to which the present invention belongs and which are not directly related to the present invention will be omitted. This is for the sake of clarity of the present invention without omitting the unnecessary explanation.

도 3 내지 도 9는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 설진 영상 촬영 및 저장장치의 일 예를 설명하기 위한 도면이다.3 to 9 are diagrams for explaining an example of a snow image capture and storage device used in the snow image processing method using a three-wavelength image according to the present invention.

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 설진 영상 촬영 및 저장장치의 일 예는 도 3 내지 도 9에 나타낸 바와 같다. An example of a seoljin image capturing and storage device used in the seoljin image processing method using a three-wavelength image according to the present invention is shown in Figs.

우선, 도 3은 설진 영상 촬영 및 저장장치 본체의 사진이고, 도 4는 도 3에 나타낸 본체의 정면 사진이고, 도 5는 도 3에 나타낸 본체의 접안부 덮개를 나타낸 사진이며, 도 6은 도 3에 나타낸 본체 후면을 설명하기 위한 사진이고, 도 7은 도 3에 나타낸 본체 좌측면을 설명하기 위한 사진이며, 도 8은 도 3에 나타낸 본체 우측면을 설명하기 위한 사진이고, 도 9는 도 3에 나타낸 본체의 조명 및 카메라부를 설명하기 위한 사진이다.First, Figure 3 is a photograph of the main body image capture and storage device, Figure 4 is a front photograph of the main body shown in Figure 3, Figure 5 is a photograph showing the eyepiece cover of the main body shown in Figure 3, Figure 6 is Figure 3 7 is a photograph for explaining the main body left side shown in FIG. 3, FIG. 8 is a photograph for explaining the main body right side shown in FIG. 3, and FIG. It is a photograph for demonstrating the illumination and camera part of the main body which were shown.

도 5 내지 도 7을 참조하면, 도 5에 도시된 바와 같이, 본체의 후면에는 적외선 ON/OFF 버튼(111), 자외선 ON/OFF 버튼(112), 가시광선 ON/OFF 버튼(113), 살균 ON/OFF 버튼(114), 조도 down 버튼(115), 조도 up 버튼(116), 손잡이(120), 스위치(130), 어댑터 연결단자(140), 전원 버튼(150), USB 연결단자(160) 등이 설치된다. 여기서, 조도 down 버튼(115)은 조도를 1~8단계로 조정하는 기능을 하며, 사용자는 버튼의 깜박임 수로 몇 단계인지를 확인할 수 있다.5 to 7, as shown in FIG. 5, the rear surface of the main body has an infrared ON / OFF button 111, an ultraviolet ON / OFF button 112, a visible light ON / OFF button 113, and sterilization. ON / OFF button 114, illuminance down button 115, illuminance up button 116, knob 120, switch 130, adapter connector 140, power button 150, USB connector 160 ) Is installed. Here, the illuminance down button 115 serves to adjust the illuminance in 1 to 8 steps, and the user can check how many steps the number of flashes of the button is.

그리고, 도 6에 도시된 바와 같이, 본체의 좌측면에는 연결나사(170), 카메라 전·후 이동나사(181), 덮개-본체 연결 벨크로 테이프(201) 등이 설치되고, 도 7에 도시된 바와 같이, 본체의 우측면에는 덮개-본체 연결 벨크로 테이프(202), 연결나사(170), 카메라 주시각 상·하 이동나사(182) 등이 설치된다. 미설명부호 190은 접안부를 나타낸 것이다. And, as shown in Figure 6, on the left side of the main body is provided with a connection screw 170, the front and rear movement screw 181, the cover-body connection Velcro tape 201, etc., shown in FIG. As described above, a cover-body connecting velcro tape 202, a connecting screw 170, a camera tilt up and down screw 182, and the like are provided on the right side of the main body. Reference numeral 190 denotes the eyepiece.

또한, 도 9에 도시된 바와 같이, 조명 및 카메라부에는 가시광선LED(210), 자외선LED(220), 적외선LED(230), 카메라 CMOS(240) 등이 설치된다.In addition, as shown in FIG. 9, the visible light LED 210, the ultraviolet LED 220, the infrared LED 230, and the camera CMOS 240 are installed in the illumination and camera unit.

이와 같은 본 발명은 가시광선, 근자외선, 근적외선 LED를 광원으로 사용하고, 카메라를 이용하여 혀를 촬영하는 것이다.In the present invention, visible light, near-ultraviolet and near-infrared LEDs are used as a light source, and a tongue is photographed using a camera.

한편 본체의 조명 및 카메라부는 도 9에 나타낸 바와 같은 가시광선 LED 광원 하에서 촬영된 혀 영상을 통해 혀와 설태의 관심부위 색을 분석하고, 근자외선 LED 광원 하에서 촬영된 혀 영상을 통해 혀의 설태 분포를 분석하며, 근적외선 LED 광원 하에서 촬영된 혀 영상을 통해 의료인이 혀의 모양을 용이하게 파악할 수 있도록 한다. On the other hand, the illumination and camera unit of the main body analyzes the color of the region of interest of the tongue and tongue through the tongue image taken under the visible light LED light source as shown in FIG. 9, and distributes tongue tongue through the tongue image taken under the near ultraviolet LED light source. The image of the tongue taken under the near-infrared LED light source allows medical personnel to easily grasp the shape of the tongue.

여기서, 혀의 배면 상에 이끼처럼 끼어있는 설태는 혀의 상피세포와 음식물 찌꺼기, 그리고 이들을 분해하기 위한 각종 세균과 그 대사물질의 혼합체이다. 이 중 세균과 그 대사물질 등은 근자외선 광원을 조사했을 때, 형광현상이 일어나 가시광선 영역대의 빛을 발산하게 된다. 이 형광현상을 이용하여 설태의 분포를 평가할 수 있다.Here, the tongue is like a moss on the back of the tongue is a mixture of the epithelial cells and food waste of the tongue, and various bacteria and metabolites to break them down. Among them, bacteria and their metabolites, when irradiated with near-ultraviolet light sources, cause fluorescence to emit light in the visible region. This fluorescence can be used to evaluate the distribution of tongues.

우선, 혀 영상처리에 따른 평가 지표 및 진단 목적은 [표 1]과 같다.First, the evaluation index and the diagnostic purpose according to the tongue image processing is shown in [Table 1].

입력영상Input video 영상처리 방법Image processing method 평가지표Evaluation index 진단목적Diagnostic purpose 가시광선Visible ray 색정보처리Color Information Processing 혀 색Tongue color 트루칼라 색상값True color value 적외선infrared ray 혀 윤곽처리Tongue contouring 혀의 모양Shape of tongue 열문/망자/치흔Feverish / Dead / Scared 혀의 동태(x)Tongue dynamics (x) 자외선UV-rays 설태영역 추출
Extract area
설태 색Tongue color 설태 양/분포Tongue volume / distribution 설태 상태(x)Status state (x)

즉 각 파장대 별로 서로 다른 영상을 처리하는 것을 알 수 있다.In other words, it can be seen that different images are processed for each wavelength band.

도 10은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 이미지 분석 프로그램의 디스플레이 예시도이다.10 is an exemplary view of an image analysis program used in a snow-covered image processing method using a three-wavelength image according to the present invention.

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 이미지 분석 프로그램의 일예는 도 10에 나타낸 바와 같이 ① Personal Information은 개인 정보 입/출력하는 영역이다.An example of an image analysis program used in a seoljin image processing method using a three-wavelength image according to the present invention is as shown in Figure 10 ① Personal Information is an area for inputting / outputting personal information.

② File Control은 히스토리 또는 현재 이미지를 저장하는 영역이다.② File Control is the area to save history or current image.

③ Color Data은 관심영역, 설질, 설태 영역의 색 정보를 획득하는 영역이다.(3) Color Data is an area for obtaining color information of the ROI, snow quality and tongue area.

④ Tongue Region은 설질 윤곽을 자동 또는 수동으로 설정 및 면적을 획득하는 영역이다.④ Tongue Region is the area to set the area of sulcus automatically or manually.

⑤ Coated Tongue Region은 설태 영역을 자동 또는 수동추출 및 면적계산하는 영역이다.⑤ Coated Tongue Region is the area for automatic or manual extraction and area calculation.

⑥ Color Data은 관심영역, 설질, 설태 영역의 색 정보(샘플모델, RGB)를 표시하는 영역이다.⑥ Color Data is the area that displays the color information (sample model, RGB) of the area of interest, snow quality, and setting area.

⑦ Total Region Ratio는 설질과 설태의 총 면적 및 비율을 표시하는 영역이다.⑦ Total Region Ratio is the area to display total area and ratio of tongue quality and tongue.

⑧ Ratio for Multi-Region은 설태 분포율을 표시하는 영역이다.⑧ Ratio for Multi-Region is the area to display the distribution rate of the condition.

⑨ Display는 현재 분석에 사용 중인 이미지에 대한 처리 결과 표시하는 영역이다.⑨ Display is the area to display the processing result for the image currently being used for analysis.

⑩ History는 Display에 표시된 이미지를 저장하거나 저장된 이미지를 로드하는 영역이다.⑩ History is the area to save the image displayed on the display or to load the saved image.

⑪ Doctor's Comment는 의사 소견을 입력 가능한 텍스트 박스 영역이다.Doctor's Comment is a text box area where you can enter your doctor's opinion.

그리고, 설진 소프트웨어에서 기능 수행 시 필요한 입력 영상과 가능 수행 결과에 따른 출력에 대한 세부적인 상세 내용은 [표 2]와 같다.[Table 2] shows the details of the input image and the output according to the possible execution result required for function execution in the seoljin software.

이와 같은 [표 2]의 구성은 입력파장, 입력, 기능 버튼, 표시 정보, 출력 결과로 구성되었으며, 각 구성에 대한 정보는 다음과 같다.The configuration of Table 2 is composed of input wavelength, input, function button, display information, and output result. Information on each configuration is as follows.

우선, 입력 파장은 소프트웨어의 입력이되는 영상을 획득하는데 사용한 파장을 표시한다.First, the input wavelength indicates the wavelength used to acquire the image that is the input of the software.

그리고, 입력은 설진 소프트웨어 기능에 사용되는 입력 영상을 표시한다.And, the input displays the input image used for the snowy software function.

기능 버튼은 사용자가 원하는 결과를 얻기 위해 사용하는 기능들의 명칭이다.The function buttons are the names of the functions you use to get the results you want.

표시 정보는 원하는 기능을 수행했을 시 설진 소프트웨어에서 표시되는 수치적인 정보이다.The display information is the numerical information displayed by the software when the desired function is performed.

출력 결과는 표시 정보에 나타난 수치들을 적용한 실제 영상 또는 파일이다.The output result is an actual image or file to which the numerical values indicated in the display information are applied.

도 11은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 설명하기 위한 블록 구성도이다.11 is a block diagram illustrating a snow-covered image processing apparatus using a three-wavelength image according to the present invention.

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치는 도 11에 나타낸 바와 같이, 외부 스위치 신호 입력부(10), 살균 조명부(12), 가시광선 조명부(14), 자외선 조명부(16), 적외선 조명부(18), 카메라부(20), 분석부(22), 저장부(24), 데이터베이스(26), 제어부(28) 및 인터페이스부(30)로 구성된다.As illustrated in FIG. 11, a snow-covered image processing apparatus using a three-wavelength image according to the present invention includes an external switch signal input unit 10, a germicidal light unit 12, a visible light unit 14, an ultraviolet light unit 16, and an infrared light unit. 18, the camera unit 20, the analysis unit 22, the storage unit 24, the database 26, the control unit 28 and the interface unit 30.

여기서, 인터페이스부(30)는 모니터(31) 및 PC(32)로 구성된다.Here, the interface unit 30 is composed of a monitor 31 and a PC 32.

외부 스위치 신호 입력부(10)는 본체 후면의 적외선 온/오프 버튼, 자외선 온/오프 버튼, 가시광선 온/오프 버튼, 본체 전원 온/오프 버튼, 살균 온/오프 버튼, 조도 업/다운 버튼, 메인 전원 온/오프 스위치의 신호를 입력받는다.The external switch signal input unit 10 includes an infrared on / off button, ultraviolet on / off button, visible light on / off button, main body power on / off button, sterilization on / off button, illuminance up / down button, main Receives a signal from the power on / off switch.

살균 조명부(12)는 본체의 접안부를 살균 소독하는 조명이다.The sterilization lighting unit 12 is illumination for sterilizing and disinfecting the eyepiece of the main body.

가시광선 조명부(14), 자외선 조명부(16) 및 적외선 조명부(18)는 각각 가시광선 LED, 자외선 LED 및 적외선 LED로 구성할 수 있다.The visible light unit 14, the ultraviolet light unit 16 and the infrared light unit 18 may be composed of a visible light LED, an ultraviolet LED and an infrared LED, respectively.

카메라부(20)는 영상을 획득한다.The camera unit 20 acquires an image.

분석부(22)는 카메라부(20)에서 획득한 설진 영상을 분석한다.The analysis unit 22 analyzes the snowy image obtained by the camera unit 20.

저장부(24)는 획득한 설진 영상을 저장한다.The storage unit 24 stores the acquired snowy image.

데이터베이스(26)는 획득한 설진 영상을 데이터베이스화한다.The database 26 is a database of the acquired tongue image.

제어부(28)는 외부 스위치 신호 입력부(10), 살균 조명부(12), 가시광선 조명부(14), 자외선 조명부(16), 적외선 조명부(18), 카메라부(20), 분석부(22), 저장부(24), 데이터베이스(26) 및 인터페이스부(30)를 제어한다.The control unit 28 is an external switch signal input unit 10, germicidal light unit 12, visible light unit 14, ultraviolet light unit 16, infrared light unit 18, camera unit 20, analysis unit 22, The storage unit 24, the database 26 and the interface unit 30 are controlled.

인터페이스부(30)는 본체로부터의 영상 데이터를 모니터(31) 및 PC(32)와 인터페이싱한다.The interface unit 30 interfaces the image data from the main body with the monitor 31 and the PC 32.

도 12는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법을 설명하기 위한 흐름도이다.12 is a flowchart illustrating a snowy image processing method using a three-wavelength image according to the present invention.

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법은 설질 소프트웨어의 실제 사용과 관련한 순서를 표기한 것으로, 크게 설진 소프트웨어 로딩 단계(S100), 설진영상 획득단계(S200) 및 설진영상 분석단계(S300)의 3단계로 나눌 수 있다. 여기서, 설진 소프트웨어는 설진 영상을 획득하거나 분석을 할 수 있는 소프트웨어를 로딩하는 것을 의미한다.The seoljin image processing method using the three-wavelength image according to the present invention indicates the order related to the actual use of the sulsil software, largely the seoljin software loading step (S100), seoljin image acquisition step (S200) and seoljin image analysis step (S300) Can be divided into three steps. Here, the seoljin software means loading the software for acquiring or analyzing the tongue image.

설진 소프트웨어 로딩 단계(S100)는 메인 소프트웨어 로딩 단계(S110), 설진촬영 판단 단계(S120) 및 설진 촬영 기기 대기(Standby) 단계(S130)로 구성된다.The seoljin software loading step (S100) is composed of a main software loading step (S110), a seoljin photographing determination step (S120) and a seoljin photographing device standby (Sandby) step (S130).

그리고, 설진영상 획득단계(S200)는 설진 촬영 준비를 판단하는 단계(S210), 촬영준비가 되었다면 영상 획득 단계(S220), 이미지 신호 처리(이하, ISP라 약칭 함) 사용을 판단하는 단계(S230), ISP를 사용한다면 ISP를 설정하는 단계(S240)로 구성된다.Then, in the seoljin image acquisition step (S200) is a step of determining the preparation for seoljin shooting (S210), if it is ready to shoot the image acquisition step (S220), determining the use of image signal processing (hereinafter, abbreviated as ISP) (S230) If the ISP is used, it is configured to set an ISP (S240).

한편, 설진영상 분석단계(S300)는 설진 촬영 단계(S120)에서 촬영이 아닌 경우와 ISP 사용이 아닌 경우(S230)와, 기존 파일 로드(S320) 단계 중 하나인 파일 관리 단계(S310)와, 파일 로드를 판단하는 단계(S320)와, 영상 조절을 판단하는 단계(S330)와, 영상 조절이라면 영상을 조절하는 단계(S430)와, 영상 조절이 아니라면 설질이 검출되었는지 판단하는 단계(S340)와, 설질이 검출되지 않았다면 설질을 검출하는 단계(S440)와, 설질이 검출되었다면 설태가 검출되었는지 판단하는 단계(S350)와, 설태가 검출되지 않았다면 설태를 검출하는 단계(S450)와, 설태가 검출되었다면 면적이 계산되었는지 판단하는 단계(S360)와, 면적이 계산되지 않았다면 면적을 계산하는 단계(S460)와, 면적이 계산되었다면 색정보가 획득되었는지 판단하는 단계(S370)와, 색정보가 획득되지 않았다면 색정보를 획득하는 단계(S470)와, 색정보까지 획득되었다면 결과를 표시하는 단계(S380) 및 완료 및 저장하는 단계(S390)로 구성된다.On the other hand, the seoljin image analysis step (S300) is not photographed in the seoljin photographing step (S120) and when not using the ISP (S230), and the file management step (S310), which is one of the existing file load (S320) step, Determining a file load (S320), determining an image adjustment (S330), adjusting the image if the image is adjusted (S430), determining if the snow quality is detected (S340) if the image is not adjusted, and If the tongue is not detected, the step of detecting the tongue (S440), if the tongue is detected step (S350), if the tongue is not detected, if the tongue is not detected (S450), and the tongue is detected If the area is calculated (S360), if the area is not calculated (S460), if the area is calculated (S370) and if the color information is obtained, and the color information is not obtained If not Acquiring the color information (S470), and if the color information is obtained, the step of displaying the result (S380) and the step of completing and storing (S390).

도 13은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설진 영상 획득 방법을 설명하기 위한 흐름도이다.13 is a flowchart illustrating a method of acquiring a snowy image in the snowy image processing method using a three-wavelength image according to the present invention.

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설진 획득 방법은 도 13에 나타낸 바와 같이 설진 영상 획득 소프트웨어는 실제 설진 획득 기기와 연결되어 동작하는 소프트웨어로 설진 획득 기기에서 영상을 획득하며 사용자의 요구에 따라 노출 값이나 색상 보정 값을 입력하여 획득도 가능한 것으로, 설진 획득 소프트웨어는 메인 소프트웨어(S100)에서 사용자의 요청에 의해 실행되어 카메라를 점검(S201)하여 설진 획득 기기 즉 본체와의 연결 상태를 확인한다. According to the present invention, in the seoljin image processing method using a three-wavelength image according to the present invention, the seoljin image acquisition software is software that operates in conjunction with the actual seismic acquisition device as shown in FIG. Acquisition is possible by inputting an exposure value or color correction value according to a request. The seismic acquisition software is executed at the request of the user in the main software S100 to check the camera (S201) to connect the seismic acquisition device, that is, the main body. Check.

우선, 카메라가 USB와 이미지 센서와의 연결을 점검(S202)(S203)하여 연결된 상태가 확인이 되면 영상출력을 통해 영상을 획득할 수 있는 상태로 대기한다(S204). 사용자가 ISP를 사용할 경우(S204) ISP 설정(208)에서 P1과 P2 과정을 수행한다. 여기서, P1과 P2는 각각 색상과 노출을 설정하는 과정으로 실제 기계적인 움직임을 제어하는 것이 아닌 이미지 프로세서에서 영상에 보정 값을 적용하여 나타나는 단계이다. First, when the camera checks the connection between the USB and the image sensor (S202) (S203) and checks the connected state, the camera waits in a state capable of acquiring an image through image output (S204). When the user uses the ISP (S204), the ISP setup 208 performs P1 and P2 processes. Here, P1 and P2 are colors and exposures, respectively, and are steps of appearing by applying correction values to an image in an image processor rather than controlling actual mechanical movement.

그리고 ISP 설정이 아니면(S205), 그에 따라서 설진 영상을 촬영하면(S206) 촬영하려는 영상의 프레임이 영상 저장 단계(S207)에서 이미지 파일로 관리, 저장된다.If the ISP image is not set (S205), and accordingly, when the photographed image is taken (S206), the frame of the image to be captured is managed and stored as an image file in the image storing step (S207).

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 영역 검출 방법은 설진 획득 소프트웨어로부터 획득한 영상을 입력으로 사용하여 사용자에게 필요한 정보를 제공하고 저장하는 기능을 제공하는 것으로, 제공되는 정보는 영상 획득시 사용한 파장에 따라 분류되며, 적외선 영상을 이용한 설질 영역 검출(도 14), 자외선 영상을 이용한 설태 분석(도 15) 및 가시광선 영상을 이용한 설질 색상 정보 획득(도 16)으로 구분할 수 있다.In the method of processing snow-collected images using a three-wavelength image according to the present invention, the method of detecting the quality of snow area provides a function of providing and storing necessary information for a user by using an image acquired from the snow-collecting acquisition software as an input. It is classified according to the wavelength used to acquire an image, and may be classified into a lingual area detection using an infrared image (FIG. 14), a lingual analysis using an ultraviolet image (FIG. 15), and a lingual color information obtained using a visible light image (FIG. 16). .

도 14는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 영역 검출 방법을 설명하기 위한 흐름도이다.14 is a flowchart illustrating a method for detecting a lingual region in a tongue-in-glass image processing method using a three-wavelength image according to the present invention.

설질 분석은 적외선 파장을 사용하여 획득한 영상을 이용하여 검출된다. 검출된 설질 영역은 설질의 색상 정보를 획득하고 설태 검출 시 혀에 분포율 및 면적 비율을 산출하는데 기준 정보가 된다. Snow quality analysis is detected using images acquired using infrared wavelengths. The detected tongue area becomes reference information for acquiring color information of the tongue and calculating the distribution ratio and the area ratio on the tongue when the tongue is detected.

우선, 적외선 조명부 온에 의해 적외선 영상(S331)은 P1과정에 해당하는 색상 변환을 통해 그레이 레벨 영상으로 변환된다(S332). 설질 영역 검출에 적외선을 사용하면 설질 영역이 다른 부위에 비해 상대적으로 붉은색을 띄고 열을 많이 내기 때문에 다른 부분에 비해 설질 영역이 밝게 나타나게 된다. 따라서 영상의 명암 정보를 강조하기 위해서 그레이 레벨로 변환하면 설질 영역 검출에 효과적인 영상 획득이 가능하다. First, the infrared image S331 is converted into a gray level image through color conversion corresponding to the P1 process by turning on the infrared lighting unit (S332). When infrared rays are used to detect the lingual area, the lingual area is more red than other parts and emits a lot of heat, so the lingual area appears brighter than other areas. Therefore, in order to emphasize the contrast information of the image, it is possible to obtain an image that is effective in detecting the quality of the area by converting to gray level.

그리고 변환된 그레이 레벨 영상은 P2과정을 통해 이진화되어 이진 영상이 된다(S333). 이진화 과정은 적절한 임계값을 설정하여 이를 기준으로 해당하는 픽셀 값을 0 또는 1로 변환하여 영상을 간략화하는 과정으로 흑백 영상으로 표시된다. 표시된 이진 영상은 설질 부분이 나타나며 이 영상을 사용하여 윤곽을 검출하며, 이진화 연산에 사용된 임계값의 설정은 통계적인 방법인 OTSU 이진화 방법에 따라 설정할 수 있다. The converted gray level image is binarized through the P2 process (S333). The binarization process is a process of simplifying an image by setting an appropriate threshold value and converting a corresponding pixel value to 0 or 1 based on the threshold value, which is displayed as a black and white image. The displayed binary image appears in the tongue and the contour is detected using this image. The threshold value used in the binarization operation can be set according to the statistical method of OTSU binarization.

이진화된 영상은 P3 과정에 해당하는 윤곽 성분 검출과정을 거친다(S334). 여기서 성분 검출 과정은 케니-에지 검출 알고리즘을 사용하는데, 케니-에지 알고리즘은 잡음에 민감한 에지 추출의 단점을 보완하는 알고리즘으로 1차 미분 에지 추출 마스크를 적용한 뒤 이중 임계값을 적용하여 에지를 검출해 에지에 대한 3가지 기준인 탐지성과 국부성, 응답성을 만족하는 알고리즘이다. 케니-에지 알고리즘을 적용하면 윤곽 성분이 획득이 가능하며, 이 정보를 기반으로 초기 메뉴얼 방식의 설질 영역 추출을 위한 윤곽 도형을 생성한다. The binarized image is subjected to a contour component detection process corresponding to the P3 process (S334). Here, the component detection process uses a Kenny-edge detection algorithm. The Kenny-edge algorithm compensates for the drawbacks of noise-sensitive edge extraction by applying a first-order differential edge extraction mask and then applying a double threshold to detect edges. It is an algorithm that satisfies three criteria for edges: detectability, locality, and responsiveness. By applying the Kenny-edge algorithm, the contour component can be obtained, and based on this information, a contour figure for the extraction of the lingual region of the initial manual method is generated.

P4과정에 해당하는 윤곽 도형 생성 과정은 검출된 에지를 단순화하여 생성한 다각형을 의미하며, 내부를 채우는 필링(filling) 연산을 이용하여 설질 면적 계산 및 설태 분포율의 기준 영역, 설질 영역을 제외한 영역의 제거에 유용하게 적용된다. 생성 방법은 먼저 화면 중앙에서 상단의 에지 성분을 찾아 이를 기준으로 설질 영역의 넓이만큼 선분을 생성한다. 이 선분을 필요한 수만큼 등분하여 수선을 내려 만나는 에지 성분들을 전부 도형화를 위한 기준 포인트로 설정한다. 설정된 포인트는 서로 직선으로 연결되어 폐곡선 형태로 나타나 16각형의 도형이 되어 도형화가 윤곽영상이 완료된다(S335). The process of generating the contour figure corresponding to the P4 process refers to a polygon generated by simplifying the detected edges. This is useful for removal. The method first finds the edge component at the top in the center of the screen and creates segments based on the width of the snow area. By dividing the line segments as many times as necessary, the edge components that meet the water line are set as reference points for the graphic. The set points are connected in a straight line to each other in the form of closed curves to form a hexagonal figure, and the contour image is completed (S335).

도형화된 설질 영역은 P5과정에 해당하는 채움 연산을 사용하여 내부를 채운다. 채워진 설질 영역을 강조하기 위하여 채워진 영역을 제외한 부분은 전부 0값으로 설정하는 블랙아웃(Black-out) 연산을 적용한다. The shaped snow area is filled using the fill operation corresponding to the P5 process. In order to emphasize the filled snow area, black-out operation is applied to all parts except the filled area to 0.

설질 영역 설정이 완료될 때까지 윤곽조절영상을 통해(S337), P7과정을 통해 윤곽형태를 조절한다.The contour shape is controlled through the contour adjustment image (S337) and the P7 process until the tongue area setting is completed.

설질 영역 설정을 완료하면(S336), P6과정을 통해 적외선 영상과 합성되어 사용자에게 시각적으로 보여주고(S338), 면적 계산 함수를 호출하면 면적에 대한 검출 데이터가 결과 테이블에 나타나게 된다.When the snow area setting is completed (S336), it is synthesized with the infrared image through the process P6 and visually displayed to the user (S338). When the area calculation function is called, the detection data for the area is displayed in the result table.

사용자가 필요에 따라 수동적으로 영역을 조절할 수 있는 기능 또한 제공하는데, 제공되는 방법은 사용자가 자동 영역 설정을 완료한 시점에서 면적 계산함수를 호출하지 않은 상태에서 수동 설정을 선택하여 조절이 가능하다.The user can also manually adjust the area as needed. The method can be adjusted by selecting a manual setting without calling the area calculation function when the user completes the auto area setting.

자동 설정을 통해 화면에 나타난 폐곡선에 16개의 조절점이 생성되는데, 이 조절점은 P4의 성분 도형화 과정에서 설정된 포인트들로 마우스 이벤트를 통해 조절점을 조절하면 이동한 위치에 새롭게 포인트가 설정이 되고 영상에 바로 적용되어 화면에 표시한다. 16 control points are created on the closed curve displayed on the screen through automatic setting. These control points are the points set during P4 component rendering process. It is immediately applied to the image and displayed on the screen.

표시된 화면을 확인하면서 사용자가 임의로 조절한 후 면적 계산 함수를 호출하면 조절한 영역에 맞추어 P5 과정인 채움 연산을 수행해 이를 적외선 영상과 합성하고 면적을 계산하여 화면에 표시한다. 설정된 설질 영역 이외의 부분은 검은색으로 블랙아웃 처리가 된다.When the user arbitrarily adjusts while checking the displayed screen and calls the area calculation function, the fill operation, which is the P5 process, is performed according to the adjusted area, synthesized with the infrared image, and the area is calculated and displayed on the screen. Portions other than the set snow area are blacked out.

도 15는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설태 영역 검출 방법을 설명하기 위한 흐름도이다.15 is a flowchart illustrating a method for detecting a tongue area in a tongue-in-glass image processing method using a three-wavelength image according to the present invention.

본 발명에 따른 설태 영역 검출은 적외선 영상을 사용하여 설질 영역이 검출 된 후에 적용되는 알고리즘으로 자외선 영상을 사용하여 분석에 사용된다. 자외선 파장은 설태의 박테리아의 형광 특성을 이용하여 기존의 설태 검출 방법보다 객관성을 높이는데 효율적인 방법이다. The tongue area detection according to the present invention is an algorithm applied after the tongue area is detected using an infrared image and is used for analysis using an ultraviolet image. Ultraviolet wavelength is an efficient method to increase objectivity by using the fluorescence characteristics of bacterium of tongue.

우선 입력된 자외선 영상(S351)은 P1과정인 채널 분리 과정을 통해서 변환된 단일 채널 영상을 사용한다(S352). First, the input UV image S351 uses a single channel image converted through a channel separation process, which is a P1 process (S352).

일반적인 영상은 모두 3개 이상의 채널을 가진 다채널 영상으로 각 단일 채널에 입력된 화소값을 조합하여 화면에 표시하는 방법이다. The general image is a multi-channel image having three or more channels. The general image is a combination of pixel values input to each single channel and displayed on the screen.

단일 채널로 분리된 영상에서 설태 영역 검출에 사용되는 영상은 적색 채널과 녹색 채널을 사용하며, 별도로 HSV 컬러모델로 변환하여 V 채널에 해당하는 명도 채널을 사용한다. The image used for detection of the area region in the image separated into a single channel uses a red channel and a green channel, and a brightness channel corresponding to the V channel is converted to the HSV color model separately.

이 3가지 채널을 사용하는 이유는 설태의 박테리아 성분이 자외선에 반응하여 나타나는 형광 현상이 박테리아의 종류에 따라 색상의 변화가 있어 이를 구분하여 분석하는데 유용하기 때문이며, 명도 채널의 경우 설태에 끼인 박테리아의 성분과 상관없이 전체 설태 영역의 면적 및 분포도를 확인하기 위함이다. The reason for using these three channels is that the fluorescence phenomena caused by the bacterium component of the tongue in response to ultraviolet rays are useful for distinguishing and analyzing the color changes according to the type of bacteria. This is to check the area and distribution of the entire tongue area regardless of the components.

따라서 설태 검출을 하기 전에 목적에 맞는 채널을 미리 선택하여 검출을 수행하는데 이 과정은 P2 과정에 따라 수행된다.Therefore, before performing the detection of the state, a channel suitable for the purpose is selected in advance, and the detection is performed according to the P2 process.

설태 검출 목적에 맞는 채널을 선택(S353)하면 이를 P3 과정에서 이진화를 한다(S354). 이진화 방법은 설질 영역 검출 방법과 동일하게 OTSU 이진화 방법에 따라 임계값을 설정하여 이를 적용하여 화면에 보여준다. When the channel suitable for the purpose of detecting the condition is selected (S353), it is binarized during the P3 process (S354). In the binarization method, the threshold value is set according to the OTSU binarization method in the same manner as the snow quality area detection method, and the result is displayed on the screen.

사용자는 적용된 화면을 확인하여 필요 시 슬라이더 바 또는 직접 임계값을 입력하여 원하는 영역의 설태 성분 영상(S355)에서 설태 영역을 선택할 수 있으며(S356), 이 과정은 P4 과정에 해당한다. The user may check the applied screen and, if necessary, input a slider bar or a threshold value directly to select the tongue area from the tongue component image S355 of the desired area (S356). This process corresponds to the P4 process.

사용자가 필요한 설태 영역을 선택하여 이진화하면 이진 영상과 병합을 수행할 설질 영역의 검출 여부를 확인한다(S357). 만일 설질 영역이 검출되지 않았을 경우 도 14의 방법으로 이동하여 설질 영역을 검출하고 이미 존재할 경우 설질 영역과 병합하여 실제 설질 상에서 설태의 정보를 획득하는 과정을 수행한다. 설질 영역과 병합하는 과정은 P6 과정에 해당한다.When the user selects and binarizes the required tongue area, it is checked whether the tongue area to be merged with the binary image is detected (S357). If the lingual area is not detected, the method moves to the method of FIG. 14 to detect the lingual area, and if it already exists, merges with the lingual area to acquire the information on the actual tongue. The process of merging with the lingual area corresponds to the P6 process.

검출된 설질 영역은 자외선 영상과 합성되어 나타나는데, 면적 계산 함수를 호출하여 설질에 대한 설태의 면적과 설질과의 비율, 설태의 설질 상에서의 분포율 등의 설진 진단 지표를 계산하여 프로그램 화면에 설태 영역 영상 결과로서 나타낸다(S358). The detected lingual area is synthesized with the ultraviolet image, and the area calculation function is called to calculate the diagnosis of lingual diagnosis such as the area of lingual tongue and the ratio of lingual lingual tongue, and the distribution ratio of lingual tongue in the tongue. It shows as a result (S358).

설태 분포율의 평가는 임상에서 많이 사용되는 설태 평가 방법인 WTCI 평가 방법에 따라 검출되어 나타난 비율이다. The evaluation of the tongue distribution rate is a rate detected by the WTCI evaluation method, which is widely used in clinical practice.

WTCI 평가 방법은 Winkel EG 등이 고안한 방법으로 설질의 영역을 설첨부에서 설근부까지 2등분하고 횡으로 3등분하여 총 6가지 구역에 대한 설태 정도에 대한 점수를 부여하여 합산한 결과를 통해 설태의 많고 적음을 평가하는 방법이다. 이 평가 방법에서 점수를 부여하는 기준은 설태가 없을 경우가 0, 설태가 약간 있는 경우를 1, 설태가 많이 있는 경우를 2로 설정되어 있다. The WTCI evaluation method is a method devised by Winkel EG, which divides the area of the tongue into two parts from the tongue to the root of the tongue and then divides it into three sections laterally. How to evaluate the lot and less. In this evaluation method, the criteria for assigning a score are set to 0 for no tongue, 1 for a slight tongue, and 2 for a lot of tongues.

객관성 있는 점수 부여를 위해 사용자에게 제공되는 검출 정보는 6등분된 각 영역에 대한 백분율이며, 제공된 백분율은 각 구역의 설질 영역에 대한 설태의 면적 비율을 의미한다.The detection information provided to the user for objective scoring is a percentage for each area divided into six, and the percentage provided represents the area ratio of tongues to the lingual area of each zone.

도 16은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 색상 정보 획득 방법을 설명하기 위한 흐름도이다.16 is a flowchart illustrating a method of acquiring quality information of snow quality in a snowy image processing method using a three-wavelength image according to the present invention.

설질 색상 정보 획득은 가시광선 광원에 의해서 촬영된 혀 영상을 이용하여 색상에 대한 정보를 획득한다. 획득하는 정보는 각각 도 14와 도 15의 방법을 통해 검출된 설태 영역과 설질 영역과 가시광선 영상과 병합하여 일치하는 위치의 화소값을 누적하여 평균값을 산출하여 사용자에게 설질 색상 정보를 제공하는 자동화 방법과, 사용자가 가시광선의 혀 영상에서 임의지 위치를 선정하여 해당하는 위치의 화소값을 제공하는 매뉴얼 방법을 제공한다. 이때, 프로그램에 표시되는 진단 데이터는 각 영역의 RGB 색상 데이터가 결과로 표시된다.Acquiring color quality information acquires color information by using a tongue image photographed by a visible light source. The acquired information is merged with the lingual area, the lingual area, and the visible light image detected through the method of FIGS. 14 and 15, respectively, accumulating pixel values at the matching positions, calculating an average value, and providing automation of lingual color information to the user. The present invention provides a method and a manual method in which a user selects an arbitrary position in a tongue image of visible light and provides pixel values at a corresponding position. At this time, the diagnostic data displayed in the program is displayed as the RGB color data of each area as a result.

도 16에서 가시광선 영상(S371)은 P1과정에 해당하는 채널 분리 과정을 통해 적색, 녹색, 청색의 색상 채널 영상으로 분리되어(S372), 색상 정보 진단 지표 산출에 사용한다. In FIG. 16, the visible light image S371 is divided into red, green, and blue color channel images through a channel separation process corresponding to the P1 process (S372), and used to calculate a color information diagnostic index.

사용자에게 설질 영역(S373), 설태 영역(S374) 또는 관심 영역(S375)을 선택받아 P2과정에 따라 색상을 획득할 영역이 검출되었는지 확인한다(S376). The user selects the tongue area S373, the tongue area S374, or the area of interest S375 and checks whether an area to acquire color is detected according to the P2 process (S376).

여기서 관심 영역을 제외한 영역들에 대해서 도 14 및 도 15의 방법을 적용하여 설태 및 설질 영역 검출을 수행하고 관심 영역의 경우 사용자가 입력 장치를 통해서 직접 획득하고 싶은 색상 영역을 선택한다.Here, the method of FIG. 14 and FIG. 15 is applied to regions except for the ROI, and in the case of the ROI, a user selects a color region to be directly acquired through the input device.

검출된 영역은 분리된 색상 채널 영상으로부터 각각의 색상 정보는 산출한다. 검출된 영역에 해당하는 화소값을 누적한 값에 색상 채널 별로 평균을 내어 산출하며, 영역 병합과 색상 정보 산출 과정은 P3, P4과정에 해당한다.The detected region calculates respective color information from the separated color channel image. The average of each color channel is calculated by accumulating pixel values corresponding to the detected region, and the region merging and color information calculating processes correspond to P3 and P4 processes.

산출된 색상 정보는 P5과정에 따라 결과 테이블에 획득한 색상 정보를 프로그램에 표시하고 사용자의 입력을 기다린다. 이때, 화면에 가시광선 영상에는 아무런 변화가 없다.The calculated color information displays the color information acquired in the result table in the program according to the P5 process and waits for a user input. At this time, there is no change in the visible light image on the screen.

한편 이러한 도 14 내지 도 16에서의 방법에 따른 결과 데이터를 저장하거나 별도로 파일로 관리할 수 있는 기능을 제공할 수 있다. On the other hand, it is possible to provide a function that can store the result data according to the method shown in Figs. 14 to 16 or manage separately as a file.

히스토리 또는 파일로 저장되는 영상은 메인 화면에 띄워진 영상이며, 분석 과정을 세분화하거나 다른 검출 방법을 적용하고자 할 때, 또는 분석 완료된 영상을 별도의 파일로 저장하여 환자 데이터 관리에 사용하고자 할 때 이용한다. The image saved in the history or file is the image displayed on the main screen.It is used to subdivide the analysis process or to apply other detection methods, or to save the analyzed image as a separate file for use in patient data management. .

히스토리에 저장할 경우 비어있는 슬롯을 찾아 자동으로 저장되며, 히스토리에 존재하는 영상을 메인 화면에 불러올 때는 히스토리의 필요한 영상을 클릭하는 것으로 불러오는 것이 가능하다. If you save it in the history, it finds an empty slot and saves it automatically. When you import the image in the history to the main screen, you can load it by clicking the required image in the history.

히스토리에 저장된 영상 데이터는 소프트웨어가 종료되거나, 다른 영상 데이터가 입력되는 경우를 제외하고 유지되며, 별도로 파일로 저장되지는 않는다.Image data stored in the history is maintained except when the software is terminated or other image data is input, and is not separately stored as a file.

분석이 완료되었거나 별도로 관리가 필요한 영상의 경우 파일 저장기능을 사용하여 저장가능하며, 메인 화면에 띄워진 영상에 대해 파일 저장 버튼을 사용하여 저장가능하다. Images that have been analyzed or need to be managed separately can be saved using the file save function, and can be saved using the file save button for the image displayed on the main screen.

파일로 저장되는 데이터는 사용자가 임의로 파일명을 설정하거나 포맷을 결정할 수 있는데, 사용가능한 저장 포맷은 jpg, bmp, png, tif 중 하나로 저장된다.The data saved as a file can be arbitrarily set by the user or the format can be determined. The available storage formats are stored in one of jpg, bmp, png, and tif.

도 17 내지 도 19는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설질 영역 검출을 설명하기 위한 도면이다.17 to 19 are diagrams for explaining the detection of a lingual region using a seoljin image processing apparatus using a three-wavelength image according to the present invention.

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설질 영역 검출은 도 17 내지 도 19에 나타낸 바와 같은데, 도 17은 자동 설질 영역 추출에 대한 예시 사진이고, 도 18은 수동 설정 영역 추출에 대한 예시 사진이며, 도 19는 수동 설정 영역 추출에 의한 설질 면적 계산 시의 예시 사진이다.The detection of the lingual region using the seismic image processing apparatus using the three-wavelength image according to the present invention is shown in FIGS. 17 to 19. FIG. 17 is an exemplary photograph for automatic lingual region extraction, and FIG. 19 is an exemplary photograph at the time of calculating the snow area by manual setting region extraction.

도 20 내지 도 22 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 적색 채널을 사용한 경우를 설명하기 위한 도면이다.20 to 22 illustrate a case in which a red channel is used during detection of a tongue region by using a snow-covered image processing apparatus using a three-wavelength image according to the present invention.

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 적색 채널을 사용한 경우는 도 20 내지 도 22에 나타낸 바와 같은데, 여기서 도 20은 적색 채널에 의한 설태 자동 추출에 대한 예시 사진이고, 도 21은 적색 채널에 의한 설태 수동 추출에 대한 예시 사진이며, 도 22는 적색채널에 의한 설태 수동 추출 시의 설태 면적 계산 예시 사진이다.When the red channel is used during the detection of the tongue region by using the seismic image processing apparatus using the three-wavelength image according to the present invention, as shown in FIGS. 20 to 22, where FIG. 20 is an example of automatic extraction of the tongue by the red channel. 21 is an exemplary photograph for the manual extraction of the tongue by the red channel, and FIG. 22 is an exemplary photograph of the tongue area calculation when the tongue is manually extracted by the red channel.

도 23 내지 도 25는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 명도 채널을 사용한 경우를 설명하기 위한 도면이다.23 to 25 are diagrams for describing a case in which a brightness channel is used during detection of a tongue region using a snow-covered image processing apparatus using a three-wavelength image according to the present invention.

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 명도 채널을 사용한 경우는 도 23 내지 도 25에 나타낸 바와 같은데, 여기서 도 23은 명도에 의한 설태 자동 추출에 대한 예시 사진이고, 도 24는 명도에 의한 설태 수동 추출에 대한 예시 사진이며, 도 25는 명도에 의한 설태 수동 추출 시의 설태 면적 계산 예시 사진이다.When the brightness channel is used during the detection of the tongue region using the snow-wave image processing apparatus using the three-wavelength image according to the present invention, as shown in FIGS. 23 to 25, FIG. 23 is an example of automatic extraction of the tongue by the brightness. FIG. 24 is an example photograph for manually extracting tongues by lightness, and FIG. 25 is an example photograph of tongue area calculations when manually extracting tongues by lightness.

도 26 내지 도 28은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 녹색 채널을 사용한 경우를 설명하기 위한 도면이다.26 to 28 are diagrams for describing a case in which a green channel is used during detection of a tongue region using a snow-covered image processing apparatus using a three-wavelength image according to the present invention.

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 녹색 채널을 사용한 경우로써 녹색 반응 설태 성분이 없는 경우에 대한 것으로, 도 26은 녹색 채널에 의한 설태 자동 추출에 대한 예시 사진이고, 도 27은 녹색 채널에 의한 설태 수동 추출에 대한 예시 사진이며, 도 28은 녹색 채널에 의한 설태 수동 추출 시의 설태 면적 계산 예시 사진이다.The case where the green channel is used during the detection of the tongue region using the snow imaging image processing apparatus using the three-wavelength image according to the present invention is a case where there is no green reaction tongue component, and FIG. 26 is an example of automatic extraction of the tongue by the green channel. And FIG. 27 is an example photograph for the manual extraction of the tongue by the green channel, and FIG. 28 is an example photograph of the tongue area calculation when the tongue is manually extracted by the green channel.

도 29는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 색상 정보 획득을 설명하기 위한 도면이다.29 is a diagram for describing color information acquisition using a snow-covered image processing apparatus using a three-wavelength image according to the present invention.

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 색상 정보 획득은 도 29에 나타낸 바와 같이 사진 우측에서 R, G, B 칼라 데이터를 획득한 것을 나타내고 있다.Acquiring color information using a snow-covered image processing apparatus using a three-wavelength image according to the present invention indicates that R, G, and B color data are obtained from the right side of the picture as shown in FIG. 29.

도 30 및 도 31은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 진료 히스토리 저장 및 관리 기능을 설명하기 위한 도면이다.30 and 31 are diagrams for explaining a medical history storage and management function using a seoljin image processing apparatus using a three-wavelength image according to the present invention.

본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 진료 히스토리 저장 및 관리 기능은 우선 도 30에서는 히스토리 저장 예시 사진으로써 우측에 나타낸 바와 같이 다수의 사진(9장)을 저장할 수 있는 것을 나타내었고, 도 31에 나타낸 바와 같이, 적외선, 자외선, 가시광선에 대한 사진을 .bmp방식으로 파일 이름을 붙여 저장한 것을 나타내고 있다. 물론 사용가능한 저장 포맷은 bmp 외에도 jpg, png, tif 중 하나로 저장할 수 있다.Medical history storage and management function using a seoljin image processing apparatus using a three-wavelength image according to the present invention was shown in Figure 30 can store a plurality of pictures (9) as shown on the right as an example of the history storage in FIG. As shown in Fig. 31, pictures of infrared rays, ultraviolet rays, and visible rays are stored with file names in the .bmp method. Of course, the available storage formats can be saved in jpg, png, or tif as well as bmp.

이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.While the present invention has been described with reference to the exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. Therefore, the examples disclosed in the present invention are not intended to limit the scope of the present invention and are not intended to limit the scope of the present invention. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

10 : 외부 스위치 신호 입력부 12 : 살균조명부
14 : 가시광선 조명부 16 : 자외선 조명부
18 : 적외선 조명부 20 : 카메라부
22 : 분석부 24 : 저장부
26 : 데이터베이스 28 : 제어부
30 : 인터페이스부 31 : 모니터
32 : PC10: external switch signal input unit 12: sterile lighting unit
14 visible light illuminator 16: ultraviolet light illuminator
18: infrared light unit 20: camera unit
22: analysis unit 24: storage unit
26: database 28: control unit
30: interface unit 31: monitor
32: PC

Claims (12)

설진 영상을 처리하는 메인 소프트웨어 로딩 단계(S110)와 설진촬영을 판단하는 단계(S120) 및 설진 촬영 기기 대기(Standby) 단계(S130)로 구성되는 설진 소프트웨어 로딩 단계(S100);
설진 촬영 준비를 판단하는 단계(S210)와 촬영준비가 되었다면 영상 획득 단계(S220)와 이미지 신호 처리(ISP) 사용을 판단하는 단계(S230)와, 상기 ISP를 사용한다면 ISP를 설정하는 단계(S240)로 구성되는 설진영상 획득단계(S200); 및
상기 설진 촬영 단계(S120)에서 촬영이 아닌 경우와 상기 ISP 사용이 아닌 경우(S230)와, 기존 파일 로드 단계(S320) 중 하나인 파일 관리 단계(S310)와, 상기 파일 로드를 판단하는 단계(S320)와, 영상을 조절하거나(S430) 서로 다른 3가지 파장의 조명에 의해 획득된 혀의 설진 영상 및 면적을 분석하는 설진영상 분석단계(S300);를 포함하여 이루어지는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.A snowy software loading step (S100) comprising a main software loading step (S110) for processing a snowy image, a step of determining a snowy shooting (S120), and a standby of a snowy photographing device (Sandby) (S130);
Determining preparation for seoljin photographing (S210) and if the preparation is ready step (S220) and determining the use of the image signal processing (ISP) (S230), and if using the ISP setting the ISP (S240) Seoljin image acquisition step consisting of (S200); And
In the seoljin photographing step (S120) and the case of not photographing and not using the ISP (S230), the file management step (S310) which is one of the existing file loading step (S320), and determining the file load ( S320), and a snowy image analysis step (S300) for adjusting the image (S430) or analyzing the snowy image and the area of the tongue obtained by illumination of three different wavelengths (S300). Snowy image processing method using. 제1항에 있어서,
상기 설진영상 분석단계(S300)는,
상기 혀의 설질을 검출하는 단계(S440)와,
상기 혀의 설태를 검출하는 단계(S450)와,
상기 혀의 면적을 계산하는 단계(S460)와,
상기 혀의 색정보를 획득하는 단계(S470)와,
상기 색정보가 획득되었다면 결과를 표시하는 단계(S380); 및
저장하는 단계(S390)를 포함하여 이루어지는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.The method of claim 1,
The seoljin image analysis step (S300),
Detecting the tongue of the tongue (S440);
Detecting the tongue tongue (S450);
Calculating an area of the tongue (S460);
Acquiring color information of the tongue (S470);
If the color information is obtained, displaying a result (S380); And
Snowy image processing method using a three-wavelength image characterized in that it comprises a step of storing (S390). 제2항에 있어서,
상기 혀의 설질은 3가지 서로 다른 파장의 조명 중 적외선 조명을 이용하여 검출하고,
상기 혀의 설태는 3가지 서로 다른 파장의 조명 중 자외선 조명을 이용하여 검출하며,
상기 혀의 색정보는 3가지 서로 다른 파장의 조명 중 가시광선을 이용하여 획득하는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.3. The method of claim 2,
The tongue quality of the tongue is detected by using infrared illumination of three different wavelengths of illumination,
The tongue tongue is detected using ultraviolet light among three different wavelengths of illumination,
The tongue information processing method using the three-wavelength image, characterized in that the obtained by using visible light of the illumination of three different wavelengths. 제1항에 있어서,
상기 설진영상 획득 단계(S200)는,
상기 메인 소프트웨어에서 사용자의 요청에 의해 실행되어 상기 영상을 획득하기 위한 카메라를 점검(S201)하고, 영상출력을 통해 영상을 획득할 수 있는 상태로 대기하는 단계(S204)와,
각각 색상과 노출을 설정하는 과정(P1, P2)과,
상기 설진 영상을 촬영하면(S206), 촬영하려는 영상의 프레임이 영상 저장 단계(S207)에서 이미지 파일로 관리 및 저장되는 단계를 포함하는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.The method of claim 1,
The snowy image acquisition step (S200),
Checking the camera for acquiring the image by executing the user's request in the main software (S201), and waiting for the image to be acquired through image output (S204);
Setting the color and exposure (P1, P2),
The photographing of the snowy image (S206), the frame of the image to be photographed snowy image processing method using a three-wavelength image comprising the step of managing and storing as an image file in the image storage step (S207). 제1항에 있어서,
상기 설진 영상에서 설질 영역을 검출하는 방법은,
적외선 조명을 통해 적외선 영상(S331)이 색상 변환을 통해 그레이 레벨 영상으로 변환되는 단계(S332)와,
상기 변환된 그레이 레벨 영상은 이진화에 의해 이진 영상이 되는 단계(S333)와.
상기 이진화된 영상에서 윤곽 성분을 검출하는 단계(S334)와,
상기 윤곽 성분에서 윤곽영상을 완료하는 단계(S335)와,
상기 설질 영역 설정이 완료될 때까지 윤곽조절영상을 통해(S337) 윤곽형태를 조절하여 설질 영역 설정을 완료하면(S336), 적외선 영상과 합성되어 사용자에게 시각적으로 보여주고(S338), 면적 계산 함수를 호출하여 면적에 대한 검출 데이터를 결과 테이블에 출력하는 단계를 포함하는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.The method of claim 1,
The method for detecting the tongue quality area in the tongue diagnosis image,
In step S332, the infrared image S331 is converted into a gray level image through color conversion through infrared illumination,
And converting the converted gray level image into a binary image by binarization (S333).
Detecting an outline component in the binarized image (S334);
Completing the contour image in the contour component (S335),
When the snow shape area is completed by adjusting the contour shape through the contour adjustment image (S337) until the snow area setting is completed (S336), it is synthesized with an infrared image and visually shown to the user (S338), and the area calculation function is performed. And outputting the detection data of the area to a result table by calling. 제5항에 있어서,
상기 윤곽 성분 검출 단계는 케니-에지 검출 알고리즘을 사용하여 상기 설질 영역 추출을 위한 윤곽 도형을 생성하는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.The method of claim 5,
In the detecting of the contour component, a snow wave image processing method using a three-wavelength image is generated by using a Kenny-edge detection algorithm. 제1항에 있어서,
상기 설진영상에서 설태 영역을 검출하는 방법은,
입력된 자외선 영상(S351)에서 단일 채널 영상을 사용하여(S352) 상기 설태 검출 목적에 맞는 채널을 선택(S353)하면 이진화하는 단계(S354)와,
원하는 영역의 설태 성분 영상(S355)에서 설태 영역을 선택하여 이진화하면 이진 영상과 병합을 수행할 설질 영역의 검출 여부를 확인하는 단계(S357)와,
상기 검출된 설질 영역은 자외선 영상과 합성되어 면적 계산 함수를 호출하여 설질에 대한 설태의 면적과 설질과의 비율, 설태의 설질 상에서의 분포율의 설진 진단 지표를 계산하여 프로그램 화면에 설태 영역 영상 결과로서 나타내는 단계(S358)를 포함하여 이루어지는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.The method of claim 1,
Method for detecting a tongue area in the tongue image,
Binarizing (S354) using a single channel image from the input ultraviolet image (S351) (S352) when selecting a channel suitable for the purpose of detecting the condition (S353);
Checking whether or not the lingual region to be merged with the binary image is detected when the lingual region is selected and binarized from the lingual component image (S355) of the desired region (S357);
The detected lingual area is synthesized with an ultraviolet image to call the area calculation function to calculate the diagnosis of lingual diagnosis of the lingual area, the ratio of the lingual area and the lingual area, and the distribution rate on the lingual area of the tongue. Snowy image processing method using a three-wavelength image characterized in that it comprises a step (S358). 제1항에 있어서,
상기 설진영상에서 설질 색상 정보를 획득하는 방법은,
설태 영역과 설질 영역과 가시광선 영상과 병합하여 일치하는 위치의 화소값을 누적하여 평균값을 산출하여 사용자에게 설질 색상 정보를 제공하는 자동화 방법과, 사용자가 가시광선의 혀 영상에서 임의지 위치를 선정하여 해당하는 위치의 화소값을 제공하는 매뉴얼 방법을 제공하여 각 영역의 RGB 색상 데이터가 결과로 표시됨을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.The method of claim 1,
The method of acquiring tongue quality color information from the tongue diagnosis image may include:
Automated method to provide the user with color information of tongue quality by merging the tongue area, tongue area and visible light image by accumulating pixel values of matching positions, and providing the user with color information of tongue quality in the visible light tongue image. A method for processing a snow-collected image using a three-wavelength image, by providing a manual method of providing a pixel value of a corresponding position to display the RGB color data of each region as a result. 제1항에 있어서,
상기 설진 소프트웨어 로딩 단계(S100), 설진영상 획득단계(S200) 및 설진영상 분석단계(S300)를 포함하여 이루어지되,
본체 후면의 외부 스위치(버튼)로부터 온 또는 오프 신호를 입력받는 외부 스위치 신호 입력부(10);
서로 다른 3가지 파장의 조명을 출력하는 조명부(14)(16)(18);
상기 서로 다른 3가지 파장에 따른 혀의 설진 영상을 획득하는 카메라부(20);
상기 카메라부(20)에서 획득한 설진 영상을 분석하는 분석부(22);
상기 분석부(22)에서 분석한 설진 영상을 저장하는 저장부(24); 및
상기 외부 스위치 신호 입력부(10), 조명부(14)(16)(18), 카메라부(20), 분석부(22) 및 저장부(24)를 제어하는 제어부(28);를 포함하여 구성되는 3파장 영상을 이용한 설진 영상 처리 장치를 사용함을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.The method of claim 1,
The snowy software loading step (S100), the snowy image acquisition step (S200) and the snowy image analysis step (S300) is made,
An external switch signal input unit 10 receiving an on or off signal from an external switch (button) on the rear of the main body;
Illumination units 14, 16 and 18 for outputting illumination of three different wavelengths;
A camera unit 20 for acquiring tongue tongue images according to the three different wavelengths;
An analysis unit 22 for analyzing a snowy image obtained by the camera unit 20;
A storage unit 24 for storing a snowy image analyzed by the analysis unit 22; And
And a controller 28 for controlling the external switch signal input unit 10, the lighting unit 14, 16, 18, the camera unit 20, the analysis unit 22, and the storage unit 24. A seoljin image processing method using a three-wavelength image characterized by using a seoljin image processing apparatus using a three-wavelength image. 제9항에 있어서,
상기 3파장 영상을 이용한 설진 영상 처리 장치는,
상기 혀가 삽입되는 부위를 살균하는 살균 조명부(12)를 더 포함하여 구성됨을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.10. The method of claim 9,
The seoljin image processing apparatus using the three-wavelength image,
The seoljin image processing method using a three-wavelength image, characterized in that it further comprises a sterilization lighting unit 12 for sterilizing the portion into which the tongue is inserted. 제9항에 있어서,
상기 3파장 영상을 이용한 설진 영상 처리 장치는,
상기 설진 영상을 모니터(31) 및 PC(32)로 인터페이싱하는 인터페이스부(30)를 더 포함하여 구성됨을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.10. The method of claim 9,
The seoljin image processing apparatus using the three-wavelength image,
And a interface unit (30) for interfacing the tongue image to the monitor (31) and the PC (32). 제9항에 있어서,
상기 조명부는 가시광선을 출력하는 가시광선 조명부(14)와, 자외선을 출력하는 자외선 조명부(16) 및 적외선을 출력하는 적외선 조명부(18)로 구성됨을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.10. The method of claim 9,
The lighting unit comprises a visible light illuminator 14 for outputting visible light, an ultraviolet light emitter 16 for outputting ultraviolet light, and an infrared illuminator 18 for outputting infrared light. .

Images