KR20210142042A - Method and system for inputting acupoint to electronic medical record for oriental medicine hospital based patient's images - Google Patents
Method and system for inputting acupoint to electronic medical record for oriental medicine hospital based patient's images Download PDFInfo
- Publication number
- KR20210142042A KR20210142042A KR1020200058286A KR20200058286A KR20210142042A KR 20210142042 A KR20210142042 A KR 20210142042A KR 1020200058286 A KR1020200058286 A KR 1020200058286A KR 20200058286 A KR20200058286 A KR 20200058286A KR 20210142042 A KR20210142042 A KR 20210142042A
- Authority
- KR
- South Korea
- Prior art keywords
- acupoint
- image
- patient
- chart
- needle
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
- A61H39/02—Devices for locating such points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
- A61H39/08—Devices for applying needles to such points, i.e. for acupuncture ; Acupuncture needles or accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5023—Interfaces to the user
Abstract
Description
본 발명은 한의원용 혈자리 차트 입력 방법에 관한 것으로, 보다 특정하게는 한의원에서 시술자에 의해 침이 놓이는 혈자리(Acupoint)를 영상 기반의 인식을 통한 환자의 전자차트(EMR)로의 입력 자동화에 연관된다.The present invention relates to a method of inputting an acupoint chart for oriental clinics, and more particularly, related to the automation of input into an electronic chart (EMR) of a patient through image-based recognition of an acupoint, where acupuncture is placed by an operator in an oriental clinic do.
종래의 침 치료를 실시하는 한의원에서는 침을 놓는 혈자리를 환자의 차트에 입력하기 위해 시술자가 자침한 혈자리를 수기로 입력하는 방법을 사용하고 있다.Conventional oriental clinics that perform acupuncture treatment use a method of manually inputting the acupuncture points inserted by the operator in order to input the acupuncture points on the patient's chart.
하지만 이 방법은 환자에게 많은 수의 침을 사용한 경우 환자의 수가 많을수록, 혈자리 입력을 위한 시간이 많이 소요되며 정확도 또한 떨어질 수 있다.However, in this method, when a large number of needles are used for a patient, as the number of patients increases, it takes a lot of time to input acupuncture points and the accuracy may also decrease.
이로 인해 혈자리 또는 침 시술한 횟수 등에 따라 환자에게 진료비를 청구하게 되는 한의원에서는 매출을 정확히 산정하는 데에도 어려움이 있다.For this reason, it is difficult to accurately calculate sales at oriental clinics that charge patients according to the number of acupuncture or acupuncture procedures.
뿐만 아니라, 임상 연구 시 발견된 침 치료의 주의점 등 지침이 실제 침 치료에 반영되고 있는지, 개별 한의원에서 이루어지는 침 치료를 모니터링할 수 있는 종래에는 없기 때문에, 침 치료로 인한 부작용이 환자에게 발생할 경우 정확한 원인 파악에 어려움이 있을 수 있다.In addition, since there is no prior art that can monitor acupuncture treatment performed at individual oriental clinics and whether guidelines such as precautions for acupuncture found during clinical research are being reflected in actual acupuncture treatment, it is possible to accurately It may be difficult to determine the cause.
이에 따라, 침 시술을 받고 있는 환자의 자세를 고려해 침이 놓이는 혈자리를 영상 기반으로 정확히 인식하여, 혈자리를 손쉽고 정확하게 탐색할 수 있도록 하는 기술이 요구되고 있다.Accordingly, there is a need for a technology that accurately recognizes an acupuncture point based on an image in consideration of the posture of a patient undergoing acupuncture, so that the acupuncture point can be easily and accurately searched for.
본 발명의 실시예는 침 치료를 받고 있는 환자의 영상을 실시간으로 촬영하여, 영상으로부터 환자의 신체부위 상에 침이 놓이는 혈자리를 인식하고, 인식한 혈자리에 관한 정보(혈자리명, 자침 순서, 혈자리 조합 등)를 환자의 전자차트(EMR)에 자동화하여 입력하는 것을 목적으로 한다.An embodiment of the present invention captures an image of a patient undergoing acupuncture treatment in real time, recognizes an acupoint where acupuncture is placed on a patient's body part from the image, and recognizes information on the recognized acupuncture point (name of acupuncture point, needle needle) order, combination of acupoints, etc.) is automatically entered into the patient's electronic chart (EMR).
본 발명의 실시예는 신경망 기반으로 CNN 분류 모델을 구축하고, 구축한 CNN 분류 모델에 따라, 영상 내 복수의 자침 지점에 대한 혈자리 조합을 파악하여, 혈자리 조합 내 각각의 혈자리 인식의 정확도를 높이는 것을 목적으로 한다.An embodiment of the present invention builds a CNN classification model based on a neural network, and according to the built CNN classification model, grasps the combination of acupoints for a plurality of needle points in the image, and the accuracy of recognizing each acupoint in the combination of acupuncture points aims to increase
본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 방법은, 침 치료의 개시에 연동하여, 카메라 모듈을 통해, 상기 침 치료를 받고 있는 환자를 촬영하여 환자 영상을 획득하는 단계와, 화면에 표시되는 상기 환자 영상으로부터, 상기 환자의 신체부위 상에 침이 꽂히는 자침 지점을 식별하는 단계와, 상기 자침 지점을 이용하여 혈자리를 인식하는 단계와, 상기 혈자리에 대한 혈자리명을, 상기 화면에 출력하는 단계, 및 상기 혈자리명에 대한 시술자의 확인에 따라, 상기 혈자리명을, 상기 환자에 관한 전자차트에 기록하는 단계를 포함할 수 있다.An image-based acupoint chart input method according to an embodiment of the present invention comprises the steps of: acquiring an image of a patient by photographing a patient undergoing acupuncture treatment through a camera module in conjunction with the start of acupuncture treatment; identifying, from the displayed patient image, a needle point where a needle is inserted on the body part of the patient; recognizing an acupoint using the needle point; The method may include outputting the name on a screen, and recording the name of the acupoint in an electronic chart relating to the patient according to the operator's confirmation of the name of the acupoint.
또한, 본 발명의 실시예에 따른 영상 기반 혈자리 차트 입력 시스템은, 침 치료의 개시에 연동하여, 카메라 모듈을 통해, 상기 침 치료를 받고 있는 환자를 촬영하여 환자 영상을 획득하는 영상 획득부와, 화면에 표시되는 상기 환자 영상으로부터, 상기 환자의 신체부위 상에 침이 꽂히는 자침 지점을 식별하고, 상기 자침 지점을 이용하여 혈자리를 인식하는 혈자리 인식부, 및 상기 혈자리에 대한 혈자리명을, 상기 화면에 출력하고, 상기 혈자리명에 대한 시술자의 확인에 따라, 상기 혈자리명을, 상기 환자에 관한 전자차트에 기록하는 차트 처리부를 포함할 수 있다.In addition, the image-based acupoint chart input system according to an embodiment of the present invention includes an image acquisition unit that captures a patient undergoing acupuncture treatment and acquires an image of the patient through a camera module in conjunction with the start of acupuncture treatment; , an acupoint recognition unit for identifying a needle point where a needle is inserted on a body part of the patient from the patient image displayed on the screen, and recognizing an acupoint using the needle point, and an acupoint for the acupoint It may include a chart processing unit that outputs the name to the screen, and records the name of the acupoint in an electronic chart relating to the patient according to the operator's confirmation of the name of the acupoint.
본 발명의 일실시예에 따르면, 침 치료를 받고 있는 환자의 영상을 실시간으로 촬영하여, 영상으로부터 환자의 신체부위 상에 침이 놓이는 혈자리를 인식하고, 인식한 혈자리에 관한 정보(혈자리명, 자침 순서, 혈자리 조합 등)를 환자의 전자차트(EMR)에 자동화하여 입력할 수 있다.According to an embodiment of the present invention, an image of a patient undergoing acupuncture treatment is captured in real time, and an acupuncture point where acupuncture is placed on a patient's body part is recognized from the image, and information about the recognized acupoint (acupoint site) name, needle sequence, acupoint combination, etc.) can be automatically entered into the patient's electronic chart (EMR).
본 발명의 일실시예에 따르면, 신경망 기반으로 구축한 CNN 분류 모델을 이용하여 영상 내의 복수의 자침 지점에 대한 혈자리 조합을 파악하고, 이를 통해 혈자리 조합 내 각각의 혈자리 인식의 정확도를 높일 수 있다.According to an embodiment of the present invention, a combination of acupuncture points for a plurality of needle points in an image is identified using a CNN classification model built on the basis of a neural network, and through this, the accuracy of recognition of each acupoint in the acupoint combination is increased. can
본 발명의 일실시예에 따르면, 환자 영상에서 침이 꽂히는 지점(자침 지점)의 영상 내 위치값을 이용하여, 매칭되는 혈자리 및 각각의 혈자리에 대한 자침 순서를 손쉽게 인식할 수 있다.According to an embodiment of the present invention, a matching acupuncture point and a needle needle sequence for each acupuncture point can be easily recognized by using the position value in the image of the point where the needle is inserted (the needle point) in the patient image.
본 발명의 일실시예에 따르면, 환자에 관해 사전 입력된 정보(예, 체격, 체형, 1촌 길이 등을 고려하여 환자의 신체 비율 정보를 산출하고, 산출한 신체 비율 정보를 고려해서 혈자리를 보다 정확히 인식할 수 있다.According to an embodiment of the present invention, the patient's body proportion information is calculated in consideration of the information previously input about the patient (eg, physique, body type, first-cun length, etc.), and the acupoint is determined in consideration of the calculated body proportion information. can be recognized more accurately.
본 발명의 일실시예에 따르면, 침 치료를 받고 있는 환자의 자세에 따라, 주요 신체부위를 나타내는 표지자를 환자 영상 위에 시각화하여, 시술자에 의한 화면 내 자침 지점의 터치 입력의 정확도를 높일 수 있다.According to an embodiment of the present invention, according to the posture of the patient receiving acupuncture treatment, markers representing major body parts are visualized on the patient image, so that the accuracy of the touch input of the needle point in the screen by the operator can be increased.
본 발명의 일실시예에 따르면, 기존에 혈자리를 전자차트에 일일이 수동으로 입력해야 하는 번거로움 및 낮은 정확도를 개선하여, 영상 기반으로 침 치료가 이루어진 혈자리에 관한 정보를 신속 정확하게 환자의 전자차트에 기록할 수 있으며, 환자로의 진료비 내역서의 청구를 빠르게 처리하여 한의원 업무 효율을 높일 수 있다.According to an embodiment of the present invention, by improving the inconvenience and low accuracy of manually inputting acupoints into the electronic chart, information on acupuncture points on which acupuncture treatment has been performed based on an image can be quickly and accurately transferred to the patient's electronic device. It can be recorded on the chart, and it is possible to increase the work efficiency of the oriental clinic by quickly processing the claim of the medical expense statement to the patient.
본 발명의 일실시예에 따르면, 한의원이나 병원에서 실제로 침 치료에 사용되는 혈자리에 관한 정보를 영상 기반으로 손쉽게 획득할 수 있으며, 실제로 침 시술이 지침에 맞게 이루어졌는지를 평가할 수 있어 한의학 교육에도 활용이 가능해진다.According to an embodiment of the present invention, information on acupuncture points actually used for acupuncture treatment in oriental clinics or hospitals can be easily obtained based on images, and it can be evaluated whether acupuncture is actually performed according to the guidelines, so that it can be used in oriental medicine education as well. utilization becomes possible.
본 발명의 일실시예에 따르면, 환자의 자세에 따른 체격과 체형을 인식하여 혈자리를 손쉽고 정확하게 탐색하여 차트 입력에 이용할 수 있도록 자침된 혈을 자동으로 탐색할 수 있다.According to an embodiment of the present invention, it is possible to automatically search for acupuncture points so that the acupuncture points can be easily and accurately searched for by recognizing the physique and body type according to the patient's posture and used for chart input.
본 발명의 일실시예에 따르면, 침 시술을 받고 있는 환자의 사진 또는 영상 입력 시 침의 위치 및 자침 순서를 확인하여 혈자리명을 출력, 차트에 자동 입력해 줄 수 있다.According to an embodiment of the present invention, when a picture or image of a patient undergoing acupuncture is input, the position of the needle and the order of the needle are checked, the name of the acupuncture point can be output and automatically input into the chart.
도 1은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템을 포함한 네트워크를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템의 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, 침 치료가 실시되는 혈자리의 정보를 환자의 전자차트에 자동화하여 입력하는 과정을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, CNN 분류 모델을 통해 분류한 침 자극 위치의 조합을 전자차트에 기록하는 과정을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, 환자 영상으로부터 식별한 자침 지점의 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, 2차원 확률 행렬에 의해 표현되는 이진화 영상의 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, CNN 분류 모델을 통해 혈자리 조합을 분류하는 과정을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, 혈자리 조합의 일례를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, CNN 분류 모델을 통해 분류한 혈자리 조합의 정확도(Accuracy) 및 손실(Loss)를 검증한 결과를 도시한 그래프이다.
도 10은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 방법의 순서를 도시한 흐름도이다.1 is a diagram illustrating a network including an image-based acupoint chart input system according to an embodiment of the present invention.
2 is a block diagram illustrating the configuration of an image-based acupoint chart input system according to an embodiment of the present invention.
3 is a diagram illustrating a process of automatically inputting information on acupuncture points on a patient's electronic chart in an image-based acupoint chart input system according to an embodiment of the present invention.
4 is a diagram illustrating a process of recording a combination of needle stimulation positions classified through a CNN classification model on an electronic chart in an image-based acupoint chart input system according to an embodiment of the present invention.
5 is a diagram illustrating an example of a needle point identified from a patient image in an image-based acupoint chart input system according to an embodiment of the present invention.
6 is a diagram illustrating an example of a binarized image represented by a two-dimensional random matrix in an image-based acupoint chart input system according to an embodiment of the present invention.
7 is a diagram illustrating a process of classifying acupoint combinations through a CNN classification model in an image-based acupoint chart input system according to an embodiment of the present invention.
8 is a diagram illustrating an example of an acupoint combination in an image-based acupoint chart input system according to an embodiment of the present invention.
9 is a graph showing the results of verifying the accuracy (Accuracy) and loss (Loss) of the combination of acupoints classified through the CNN classification model in the image-based acupoint chart input system according to an embodiment of the present invention.
10 is a flowchart illustrating an image-based acupoint chart input method according to an embodiment of the present invention.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all modifications, equivalents and substitutes for the embodiments are included in the scope of the rights.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for description purposes only, and should not be construed as limiting. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are given the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In the description of the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.
본 발명에 따른 영상 기반 혈자리 차트 입력 시스템은, 침 시술을 받고 있는 환자의 사진 또는 영상 입력 시 침의 위치 및 자침 순서를 확인하여 한의원용 환자의 전자차트(EMR)에 침이 놓인 혈자리명을 자동 입력해 줄 수 있다.The image-based acupoint chart input system according to the present invention confirms the position of the needle and the needle sequence when inputting a picture or image of a patient undergoing acupuncture, and the name of the acupuncture point where the needle is placed on the electronic chart (EMR) of a patient for oriental clinics can be entered automatically.
구체적으로, 본 발명에 따른 영상 기반 혈자리 차트 입력 시스템은 환자의 영상에서 획득한 침이 꽂히는 자침 지점의 위치를 기반으로 2차원 확률 행렬을 계산하고, 이를 CNN(콘볼루션 신경망) 분류 모델에 입력하여, 다양한 혈자리의 조합으로 분류하여, 환자의 전자차트에 기록할 혈자리 정보를 제공할 수 있다.Specifically, the image-based acupoint chart input system according to the present invention calculates a two-dimensional probability matrix based on the position of the needle point where the needle is inserted, obtained from the patient's image, and inputs it to the CNN (Convolutional Neural Network) classification model. Thus, it is possible to provide acupoint information to be recorded in the patient's electronic chart by classifying it into a combination of various acupoints.
본 명세서에서, 혈자리(acupoint)란, 한의학 분야에서 치료를 위해 침을 놓아야 하는 좁은 신체부위를 말하며, 혈자리에 침을 꽂는 의료행위를 자침(刺針, pricking)이라고 부른다.As used herein, the acupoint refers to a narrow body part where acupuncture is to be placed for treatment in the field of oriental medicine, and the medical practice of inserting acupuncture in the acupoint is called acupuncture (刺針, pricking).
도 1은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템을 포함한 네트워크를 도시한 도면이다.1 is a diagram illustrating a network including an image-based acupoint chart input system according to an embodiment of the present invention.
도 1을 참조하면, 네트워크(100)는, 본 발명의 영상 기반 혈자리 차트 입력 시스템(110)과, 카메라 모듈(120), 터치 스크린(130) 및 전자차트(140)를 포함하여 구성할 수 있다.Referring to FIG. 1 , the
영상 기반 혈자리 차트 입력 시스템(110)은, 도 1에 도시된 것처럼, 카메라 모듈(120) 및 터치 스크린(130)을 포함하는 전자 단말기와 네트워크(100)로 연결되는 서버의 형태로 구현될 수 있으나, 실시예에 따라, 상기 전자 단말기의 내부에 어플리케이션 형태로 포함되어 구현될 수도 있다.The image-based acupoint
환자에게 침 치료를 실시하는 시술자가 사용하는 상기 전자 단말기에는, 상기 환자의 전자차트(140)가 실행되어 터치 스크린(130)에 표시될 수 있다.In the electronic terminal used by the operator performing acupuncture treatment on the patient, the patient's
영상 기반 혈자리 차트 입력 시스템(110)은, 침 치료의 개시에 연동하여, 카메라 모듈(120)을 통해, 침 치료를 받고 있는 환자를 촬영하여 환자 영상을 획득하고, 획득한 환자 영상을 터치 스크린(130)에 표시할 수 있다(1. 환자 영상).The image-based acupoint
여기서 카메라 모듈(120)은, 도 3에 도시된 것처럼, 환자의 신체부위 상에 침이 꽂히는 지점까지 촬영이 가능하도록 침 치료용 침대 부근에 설치되어, 환자 영상을 실시간으로 촬영할 수 있다.Here, the
일례로 영상 기반 혈자리 차트 입력 시스템(110)은, 촬영 범위 내에서 움직임이 감지되거나, 전자차트(140)를 통해 시술자에 의해 침 치료의 개시가 입력될 경우, 카메라 모듈(120)을 통해 환자 영상을 획득할 수 있다.For example, in the image-based acupoint
영상 기반 혈자리 차트 입력 시스템(110)은 침 치료를 받는 환자의 자세(앙와위, 복와위, 측와위 등)에 따라, 환자를 촬영 가능한 위치에 설치된 카메라 모듈(120)을 제어하여, 환자 영상을 획득할 수 있다.The image-based acupoint
예를 들어, 영상 기반 혈자리 차트 입력 시스템(110)은 환자가 등을 아래쪽으로 하고 가슴을 위쪽으로 하여 엎드리는 앙와위를 취한 상태에서 침 치료를 받고 있을 때에는, 침대에 대향하는 천장에 설치된 카메라 모듈(120)을 통해 환자 영상을 획득할 수 있고, 그 상태에서 환자가 우측으로 돌려 측와위로 자세를 전환하면, 침대의 우측면에 설치된 카메라 모듈(120)을 통해 환자 영상을 획득할 수 있다.For example, the image-based acupoint
실시예에 따라 영상 기반 혈자리 차트 입력 시스템(110)은 침대 부근에 설치된 모든 카메라 모듈(120)을 통해 환자 영상을 획득할 수도 있고, 시술자가 소지한 휴대용 카메라 모듈(120)을 통해 환자 영상을 획득할 수도 있다.According to an embodiment, the image-based acupoint
영상 기반 혈자리 차트 입력 시스템(110)은, 환자 영상을 표시한 터치 스크린(130)을 통해, 환자의 신체부위에 침을 꽂은 시술자로부터 자침 지점을 터치 입력받을 수 있다(2. 터치 입력).The image-based acupoint
여기서 터치 스크린(130)은 시술자가 소지한 전자 단말기의 화면일 수 있다.Here, the
영상 기반 혈자리 차트 입력 시스템(110)은 상기 환자 영상 내의 터치 입력된 지점을, 자침 지점으로 식별하고, 자침 지점으로부터 설정된 반경 영역(예, 반경 1cm)과 겹치는 혈자리를 인식할 수 있다(3. 혈자리 인식).The image-based acupoint
실시예에 따라, 영상 기반 혈자리 차트 입력 시스템(110)은 상술한 것처럼 상기 자침 지점을 시술자로부터 터치 입력 받는 대신에, 환자 영상을 이미지 처리 기법으로 처리하여, 환자 영상 내에서 침에 해당하는 오브젝트가 고정되어 위치하는 지점을, 자침 지점으로서 식별할 수도 있다.According to an embodiment, the image-based acupoint
영상 기반 혈자리 차트 입력 시스템(110)은 상기 혈자리에 대한 혈자리명을 터치 스크린(130)에 출력하여, 인식 오류 여부를 확인할 수 있다.(4. 혈자리명 출력)The image-based acupoint
영상 기반 혈자리 차트 입력 시스템(110)은 시술자에 의해 혈자리명(예, '풍부')이 확인되면(5. 확인), 환자에 관한 전자차트(140)에 혈자리명을 기록할 수 있다(6. 혈자리명 기록).The image-based acupoint
또한 영상 기반 혈자리 차트 입력 시스템(110)은 환자 영상으로부터 복수의 자침 지점이 식별되는 경우에는, 각각의 자침 지점에 대한 혈자리명의 조합을 전자차트(140)에 기록함으로써, 차기의 침 치료 시 활용되도록 할 수 있다.In addition, the image-based acupoint
이와 같이 본 발명에 따르면, 침 치료를 받고 있는 환자의 영상을 실시간으로 촬영하여, 영상으로부터 환자의 신체부위 상에 침이 놓이는 혈자리를 인식하고, 인식한 혈자리에 관한 정보(혈자리명, 자침 순서, 혈자리 조합 등)를 환자의 전자차트(EMR)에 자동화하여 입력할 수 있다.As described above, according to the present invention, an image of a patient undergoing acupuncture treatment is captured in real time, and an acupoint where acupuncture is placed on a patient's body part is recognized from the image, and information about the recognized acupoint (name of the acupuncture point, Needle sequence, acupoint combination, etc.) can be automatically entered into the patient's electronic chart (EMR).
도 2는 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템의 구성을 도시한 블록도이다.2 is a block diagram illustrating the configuration of an image-based acupoint chart input system according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템(200)은 영상 획득부(210), 혈자리 인식부(220) 및 차트 처리부(230)를 포함하여 구성할 수 있다. 또한, 실시예에 따라 영상 기반 혈자리 차트 입력 시스템(200)은 화면 표시부(240), 테이블 관리부(250), 비율 산출부(260) 및 모델 구축부(270)를 각각 추가하여 구성할 수 있다.Referring to FIG. 2 , an image-based acupoint
영상 획득부(210)는 침 치료의 개시에 연동하여, 카메라 모듈을 통해, 상기 침 치료를 받고 있는 환자를 촬영하여 환자 영상을 획득한다.The
일례로 영상 획득부(210)는 상기 침 치료를 받을 때의 상기 환자의 자세 정보(예, 앙와위, 복와위, 측와위 등)를 사전에 입력 받고, 상기 자세 정보에 따라, 환자를 촬영 가능한 위치에 설치된 카메라 모듈을 제어하여, 환자 영상을 획득할 수 있다.For example, the
예를 들어, 영상 획득부(210)는 환자가 등을 아래쪽으로 하고 가슴을 위쪽으로 하여 엎드리는 앙와위를 취한 상태에서 침 치료를 받고 있을 때에는, 침대에 대향하는 천장에 설치된 카메라 모듈을 통해 환자 영상을 획득하고, 그 상태에서 환자가 우측으로 돌려 측와위로 자세를 전환하면, 침대의 우측면에 설치된 카메라 모듈을 통해 환자 영상을 획득할 수 있다.For example, when the patient is receiving acupuncture treatment in a state in which the patient is in a supine position with the back down and the chest up, the
혈자리 인식부(220)는 화면에 표시되는 상기 환자 영상으로부터, 환자의 신체부위 상에 침이 꽂히는 자침 지점을 식별하고, 상기 자침 지점을 이용하여 혈자리를 인식한다.The
실시예에 따라, 영상 기반 혈자리 차트 입력 시스템(200)은 테이블 관리부(250) 및 화면 표시부(240)를 더 포함하여 구성할 수 있다.According to an embodiment, the image-based acupoint
테이블 관리부(250)는 상기 침 치료를 받을 때의 환자의 자세와 연관되는 하나 이상의 주요 신체부위를, 표지자로서, 자세 정보에 대응시켜 기록한 표지자 테이블을 마련한다.The
화면 표시부(240)는 상기 표지자 테이블로부터, 환자 영상에서 식별된 자세 정보에 대응되는 표지자를 추출하고, 상기 표지자를, 상기 환자 영상과 함께 상기 화면에 표시한다.The
일례로 영상 기반 혈자리 차트 입력 시스템(200)은 이미지 처리 기법에 의해 상기 환자 영상에서 앙와위, 복와위 및 측와위 중 어느 하나의 자세 정보를 식별할 수 있다. 또는 환자의 자세 정보는 시술자에 의해 사전에 입력될 수도 있다.For example, the image-based acupoint
예를 들어, 화면 표시부(240)는 침 치료를 받고 있는 환자의 자세 정보가 측와위로 식별되면, 측와위에 대응되는 표지자 '대퇴골두' 및 '견봉'을 표 1에서 추출하고, 추출한 표지자들을 환자 영상 위에 표시함으로써, 화면 터치를 통해 자침 지점을 입력하려는 시술자가 정확한 지점을 터치할 수 있도록 하나의 기준점으로서 안내할 수 있다.For example, when the posture information of the patient receiving acupuncture treatment is identified as lateral position, the
혈자리 인식부(220)는 상기 시술자에 의해, 상기 화면이 터치 입력될 경우, 터치 입력되는 상기 환자 영상 내의 지점을, 상기 자침 지점으로서 식별할 수 있다.When the screen is touched by the operator, the
이처럼 본 발명에 따르면, 침 치료를 받고 있는 환자의 자세에 따라, 주요 신체부위를 나타내는 표지자를 환자 영상 위에 시각화하여, 시술자에 의한 화면 내 자침 지점의 터치 입력의 정확도를 높일 수 있다.As described above, according to the present invention, according to the posture of the patient receiving acupuncture treatment, markers representing major body parts are visualized on the patient image, so that the accuracy of the touch input of the needle point in the screen by the operator can be increased.
환자 영상에서 자침 지점을 식별하는 다른 일례로, 혈자리 인식부(220)는 이미지 처리 기법에 의해, 상기 환자 영상으로부터 상기 침에 해당하는 오브젝트를 식별하고, 일정 시간(예, '3초') 동안 상기 오브젝트가 고정되어 위치하는 상기 환자 영상 내 지점을, 상기 자침 지점으로서 식별할 수도 있다.As another example of identifying the needle point in the patient image, the
예를 들어 혈자리 인식부(220)는 침 치료의 개시 전에 사용할 침과 사용할 침의 개수를 사전에 입력 받고, 상기 침과 같은 색상, 길이 또는 형태를 가지는 오브젝트를 상기 개수 만큼 환자 영상에서 찾아내서, 자침 지점으로서 식별할 수 있다.For example, the
만일 일정 시간 이내에 오브젝트의 위치가 변경될 경우에는, 혈자리 인식부(220)는 아직 자침되지 않은 상태로 보고, 해당 오브젝트를 자침 지점으로 식별하지 않을 수 있다. If the position of the object is changed within a certain period of time, the
혈자리 인식부(220)는 상기 환자 영상 내에서의, 상기 식별된 자침 지점을 중심으로 설정된 반경 영역(예, 반경 1cm의 원 영역)과, 적어도 일부가 겹치는 혈자리를 인식할 수 있다.The
실시예에 따라, 영상 기반 혈자리 차트 입력 시스템(200)은 비율 산출부(260)를 더 포함하여 구성할 수 있다.According to an embodiment, the image-based acupoint
비율 산출부(260)는 키와 체중, 복부 둘레 길이 및 1촌 길이 중 적어도 하나의 사전에 입력된 환자 신체 정보를, 성별 및 연령에 따라 설정된 기준치와 각각 비교하여, 상기 환자에 대하여 신체 비율 정보를 산출한다.The
여기서 1촌은 중지 손가락의 가운데 마디에 나타나는 가로무늬 사이의 길이이고, 키와 몸무게는 환자의 체격을 나타내고, 복부 둘레는 환자의 비만도를 나타낼 수 있다.Here, 1 cun is the length between the horizontal stripes appearing on the middle node of the middle finger, height and weight may represent the patient's physique, and the abdominal circumference may represent the patient's degree of obesity.
혈자리 인식부(220)는 상기 신체 비율 정보에 따라, 상기 반경 영역의 위치 또는 크기를 조정할 수 있다.The
일례로, 비율 산출부(260)는 '환자 신체 정보' 중 '키', '체중', '복부 둘레 길이' '1촌 길이'를 '기준치'로 나누어서 환자의 신체 비율 정보를 산출할 수 있고, 신체 비율 정보가 '1'에 가까울 경우 혈자리 인식부(220)는 상기 반경 영역의 위치를 조정하지 않고 유지할 수 있다.As an example, the
혈자리 인식부(220)는 환자의 키를 기준치로 나누어 산출된 신체 비율 정보가 '1' 보다 클 경우, 환자의 체격이 동일 연령대의 다른 환자 보다 거대한 것으로 볼 수 있으므로, 상기 반경 영역을 신체 비율 정보 만큼 위치를 조정할 수 있다.When the body ratio information calculated by dividing the patient's height by the reference value is greater than '1', the
또한 혈자리 인식부(220)는 환자의 복부 둘레 길이를 기준치로 나누어 산출된 신체 비율 정보가 '1' 보다 클 경우, 환자의 비만도가 동일 연령대의 다른 환자 보다 높은 것으로 볼 수 있으므로, 기존에 '1' cm로 설정된 반경 영역을, 신체 비율 정보가 커진 정도에 비례해서 예컨대 '2 cm', '3 cm'로 크기를 키우는 조정을 할 수도 있다.In addition, when the body ratio information calculated by dividing the abdominal circumference of the patient by the reference value is greater than '1', the
또한 혈자리 인식부(220)는 "환자 신체 정보 / 기준치"에 의해 산출된 신체 비율 정보가 '1' 보다 작을 경우에는, 환자의 체격 또는 비만도가 동일 연령대의 다른 환자 보다 왜소하거나 낮은 것으로 볼 수 있으므로, 신체 비율 정보에 따라 반경 영역의 크기를 더 작게 하거나 위치를 조정할 수 있다.In addition, when the body ratio information calculated by the "patient body information / reference value" is less than '1', the
이처럼 본 발명에 따르면, 환자에 관해 사전 입력된 정보(예, 체격, 체형, 1촌 길이 등을 고려하여 환자의 신체 비율 정보를 산출하고, 산출한 신체 비율 정보를 고려해서 혈자리를 보다 정확히 인식할 수 있다.As described above, according to the present invention, the patient's body proportion information is calculated in consideration of the patient's pre-entered information (eg, physique, body type, length of 1 cun, etc.), and the acupoint is more accurately recognized in consideration of the calculated body proportion information. can do.
다른 일례로, 테이블 관리부(250)는 성별 및 연령에 따른 인체 모형의 표준 혈자리를 기록한 혈자리 테이블을 마련할 수 있다.As another example, the
혈자리 인식부(220)는 상기 혈자리 테이블로부터, 상기 식별된 자침 지점과 가장 근접하여 위치하는 표준 혈자리를 상기 혈자리로서 인식할 수 있다.The
이때 혈자리 인식부(220)는 상기 혈자리로 인식된 표준 혈자리를, 상기 인체 모형에서 마킹하여 상기 화면으로 시각화할 수 있다.In this case, the
차트 처리부(230)는 상기 혈자리에 대한 혈자리명을, 상기 화면에 출력하고, 상기 혈자리명에 대한 시술자의 확인에 따라, 상기 혈자리명을, 상기 환자에 관한 전자차트에 기록한다.The
이때 차트 처리부(230)는 상기 혈자리명에 대한 시술자의 수정 요청이 있을 경우, 상기 화면을 통해 수기로 입력되는 혈자리명을, 상기 전자차트에 기록하여, 혈자리의 인식 오류를 즉시 바로잡을 수 있다.At this time, when there is a request for correction of the acupoint name by the operator, the
실시예에 따라 상기 환자 영상으로부터 복수의 자침 지점이 식별될 경우, 차트 처리부(230)는 상기 복수의 자침 지점에 대한 혈자리명 각각을, 화면에 출력하고, 상기 혈자리명 각각에 대한 시술자의 확인이 이루어지면, 각각의 혈자리명으로 구성된 혈자리 조합을, 상기 전자차트에 기록하고, 상기 복수의 자침 지점이 상기 환자 영상으로부터 식별되는 순서를, 상기 혈자리 조합에 대한 자침 순서로서, 상기 전자차트에 더 기록할 수도 있다.According to an embodiment, when a plurality of needle points are identified from the patient image, the
예를 들어 차트 처리부(230)는 환자의 영상에서 4개의 자침 지점이 식별되어 혈자리명이 '풍부', '풍지', '아문' 및 '대추'로 확인되면, 각각의 혈자리명으로 구성된 혈자리 조합 '제1 조합'을, 도 8에 도시된 혈자리 조합(810)으로부터 리드하여 전자차트에 기록할 수 있다.For example, the
이때 차트 처리부(230)는 환자의 전자차트에 '제1 조합'을 기록 시, 자침 순서(풍부→풍지→아문→대추)를 함께 기록할 수 있다.In this case, the
혈자리 인식부(220)는 상기 침 치료의 종료 후, 상기 환자에 대한 차기의 침 치료에서, 상기 복수의 자침 지점 중 일부의 자침 지점에 대한 혈자리명이 인식될 경우, 상기 전자차트에 기록한 상기 혈자리 조합을 리드하고, 상기 혈자리 조합을 이용하여, 상기 복수의 자침 지점 중 나머지 일부의 자침 지점에 대한 혈자리명을 인식할 수 있다.After completion of the acupuncture treatment, when the acupuncture points for some of the plurality of acupuncture points are recognized in the next acupuncture treatment for the patient, the
예를 들어, 환자의 차기의 침 치료에서 식별된 4개의 자침 지점 중, 3개의 자침 지점의 혈자리명이 각각 '풍부', '풍지', '아문'으로 확인된 경우, 혈자리 인식부(220)는 환자의 전자차트에 기록된 제1 조합을 이용하여, 나머지 하나의 혈자리명을 '대추'로 확인할 수 있다. 또한, 나머지 하나의 혈자리명이 '중완'으로 잘못 확인된 경우, 혈자리 인식부(220)는 상기 '중완'을, 환자의 전자차트에 기록된 제1 조합에 의해 확인 가능한 '대추'로 자동 수정할 수도 있다.For example, among the four needle points identified in the patient's next acupuncture treatment, when the acupoint names of three needle points are identified as 'rich', 'pungji', and 'amun', respectively, the acupoint recognition unit 220 ), using the first combination recorded in the patient's electronic chart, the other acupoint name can be identified as 'jujube'. In addition, when the other acupoint name is erroneously identified as 'Jungwan', the
이와 같이 본 발명에 따르면, 환자 영상에서 식별되는 침이 꽂히는 자침 지점을 이용하여, 혈자리와 자침 순서의 빠르고 정확한 인식이 가능해진다.As described above, according to the present invention, it is possible to quickly and accurately recognize the acupoint and the order of the needle by using the needle point where the needle is identified in the patient image.
또한 본 발명에 의하면, 신경망 기반으로 구축한 CNN 분류 모델을 이용하여 영상 내의 복수의 자침 지점에 대한 혈자리 조합을 파악하고, 이를 통해 혈자리 조합 내 각각의 혈자리 인식의 정확도를 높일 수도 있다. 이를 위해 영상 기반 혈자리 차트 입력 시스템(200)은 모델 구축부(270)를 더 포함하여 구성할 수 있다.Also, according to the present invention, the combination of acupuncture points for a plurality of needle points in an image can be identified using a CNN classification model built on the basis of a neural network, and thus, the accuracy of recognizing each acupoint in the acupuncture point combination can be increased. To this end, the image-based acupoint
모델 구축부(270)는 상기 침 치료의 개시 이전에, 획득되는 학습용 데이터를 신경망에 의해 머신러닝하여 상기 CNN 분류 모델을 구축하는 단계로서, 상기 학습용 데이터 내의, 2차원 확률 행렬 및 혈자리 조합 각각을, 입력과 출력으로 하는 상기 CNN 분류 모델을 구축한다.The
모델 구축부(270)는 상기 2차원 확률 행렬에 의해 표현되는 이진화 영상(610 내지 630)이 도 6에 예시되어 있으며, 이 같은 이진화 영상을 신경망에 의해 학습하여 CNN 분류 모델을 구축할 수도 있다.The
혈자리 인식부(220)는 상기 환자 영상으로부터 복수 개의 자침 지점이 식별될 경우, 복수 개의 자침 지점에 대한 상기 환자 영상 내 위치값을 각각 계산하고, 각각의 위치값에 2차원 가우시안 필터를 적용하여, 2차원 확률 행렬을 계산할 수 있다.When a plurality of magnetic needle points are identified from the patient image, the
혈자리 인식부(220)는 상기 2차원 확률 행렬을, 신경망에 의해 구축된 CNN 분류 모델에 입력하고, 상기 CNN 분류 모델로부터 출력되는 혈자리 조합을 이용하여, 복수 개의 자침 지점 각각에 대한 혈자리를 인식할 수 있다.The
이 경우 차트 처리부(230)는 CNN 분류 모델을 통해 분류된 혈자리 조합 또는 상기 혈자리 조합 내 각각의 혈자리의 이름과 자침 순서를, 상기 전자차트와 연동해 자동으로 기록할 수 있다.In this case, the
상기 침 치료의 종료에 연동하여, 차트 처리부(230)는 상기 침 치료 동안 식별된 자침 지점의 개수 및 혈자리명/혈자리 조합에 따라, 환자에게 청구할 진료비 내역서를 손쉽게 작성할 수 있다.In conjunction with the end of the acupuncture treatment, the
이처럼 본 발명에 의하면, 침 치료가 실시되는 혈자리를 영상 기반으로 빠르게 인식할 수 있고, 혈자리의 인식 오류를 즉시 바로 잡을 수 있으며, 한의원용 전자차트와 연동하여, 침 치료가 실시된 혈자리의 입력을 자동화할 수 있어, 환자로의 진료비 내역서의 청구를 손쉽게 처리해 한의원 업무 효율을 높일 수 있다.As such, according to the present invention, it is possible to quickly recognize the acupoint of acupuncture treatment based on the image, correct the recognition error of the acupuncture point immediately, and link with the electronic chart for oriental medical clinic, the acupuncture point where the acupuncture treatment is performed. By automating the input of medical records, it is possible to increase the efficiency of the oriental clinic's work by easily processing the billing statement to the patient.
도 3은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, 침 치료가 실시되는 혈자리의 정보를 환자의 전자차트에 자동화하여 입력하는 과정을 도시한 도면이다.FIG. 3 is a diagram illustrating a process of automatically inputting information on acupuncture points in which acupuncture treatment is performed into an electronic chart of a patient in an image-based acupoint chart input system according to an embodiment of the present invention.
도 3을 참조하여 구체적으로 설명하면, 단계(301)에서 영상 기반 혈자리 차트 입력 시스템은 한의사(시술자)로부터 특이적 혈자리를 사전에 등록 받는다.3, in
단계(302)에서 영상 기반 혈자리 차트 입력 시스템은 키, 몸무게, 복부 둘레, 1촌 및 환자의 자세 중 적어도 하나의 환자 신체 정보를 침 치료의 개시 전에 입력 받는다.In
여기서 1촌은 중지 손가락의 가운데 마디에 나타나는 가로무늬 사이의 길이이고, 키와 몸무게는 환자의 체격을 나타내고, 복부 둘레는 환자의 비만도를 나타낼 수 있다.Here, 1 cun is the length between the horizontal stripes appearing on the middle node of the middle finger, height and weight may represent the patient's physique, and the abdominal circumference may represent the patient's degree of obesity.
영상 기반 혈자리 차트 입력 시스템은 상기 환자 신체 정보를, 성별 및 연령에 따라 설정된 기준치와 각각 비교하여, 환자에 대하여 신체 비율 정보를 산출해 두고, 산출한 신체 비율 정보를 단계(306)에서 혈자리 인식할 때 사용할 수 있다.The image-based acupoint chart input system compares the patient body information with reference values set according to gender and age, respectively, calculates body proportion information for the patient, and uses the calculated body proportion information in
단계(303)에서 영상 기반 혈자리 차트 입력 시스템은, 도 3의 300에 도시된 것처럼, 침 치료를 받고 있는 환자를 카메라를 통해 촬영하고, 촬영한 사진이나 영상을 입력 받는다.In
단계(304)에서 영상 기반 혈자리 차트 입력 시스템은 캡쳐된 영상에서 표지자를 선택한다.In
여기서 표지자는, 침 치료를 받을 때의 환자의 자세와 연관되는 주요 신체부위를 말하며, 예를 들어 표지자는 표 1에 도시한 것과 같다.Here, the marker refers to a major body part related to the posture of the patient when receiving acupuncture treatment, for example, the marker is as shown in Table 1.
표 1에 도시한 것처럼 상기 표지자는 환자 영상 내에서 환자가 취한 자세에 따라 다르게 선택될 수 있다.As shown in Table 1, the marker may be selected differently depending on the posture taken by the patient in the patient image.
단계(305)에서 영상 기반 혈자리 차트 입력 시스템은, 환자를 촬영한 영상에서 침을 인식하여, 침이 꽂혀 있는 자침 지점을 식별한다.In
단계(306)에서 영상 기반 혈자리 차트 입력 시스템은, 상기 자침 지점을 이용하여 혈자리를 인식한다. 이때 영상 기반 혈자리 차트 입력 시스템은 환자의 신체 비율 정보를 고려해서 혈자리를 정확히 인식할 수 있다.In
본 단계(306)는 자침된 혈자리를 정확히 인식하기 위한 단계로서, 영상 기반 혈자리 차트 입력 시스템은 환자의 피부에 부착된 침의 위치와, 환자의 신체 비율 정보에 따라 침이 놓인 혈자리를 인식할 수 있다. 예를 들어 영상 기반 혈자리 차트 입력 시스템은 비율에 따라 추정된 혈의 위치로부터 반경 1 cm 이내를 해당 혈로 인식할 수 있다.This
단계(307)에서 영상 기반 혈자리 차트 입력 시스템은 혈자리에 대한 혈자리명 및 각각의 혈자리에 침이 꽂힌 자침 순서를 1차적으로 시술자 단말에 출력한다.In
단계(308, 309)에서 영상 기반 혈자리 차트 입력 시스템은, 시술자 단말에 의해 혈자리명 및 자침 순서가 확인되면, 최종적으로 혈자리명 및 자침 순서를 시술자 단말에 출력한다.In
또한 영상 기반 혈자리 차트 입력 시스템은 시술자 단말에 의해 오류로 확인될 경우, 혈자리명 및 자침 순서를 수정하여 최종적으로 시술자 단말에 출력한다.In addition, when the image-based acupoint chart input system is identified as an error by the operator's terminal, the name of the acupoint and the order of the needles are corrected and finally output to the operator's terminal.
단계(310)에서 영상 기반 혈자리 차트 입력 시스템은 최종적으로 확인된 혈자리명과 자침 순서를, 환자의 전자차트와 연동하여 기록한다.In
이와 같이 본 발명에 의하면, 환자의 자세에 따른 체격과 체형을 인식하여 혈자리를 손쉽고 정확하게 탐색하여 차트 입력에 이용할 수 있도록 자침된 혈을 자동으로 탐색할 수 있다. 또한 본 발명에 의하면, 침 시술을 받고 있는 환자의 사진 또는 영상 입력 시 침의 위치 및 자침 순서를 확인하여 혈자리명을 출력, 차트에 자동 입력해 줄 수 있다.As described above, according to the present invention, by recognizing the physique and body type according to the patient's posture, it is possible to easily and accurately search for acupoints and automatically search for acupuncture points so that they can be used for chart input. In addition, according to the present invention, when inputting a picture or image of a patient undergoing acupuncture, the position of the needle and the order of the needle can be checked, and the name of the acupuncture point can be output and automatically input into the chart.
이하에서는 도 5 내지 도 8을 참조하여 도 4를 설명한다.Hereinafter, FIG. 4 will be described with reference to FIGS. 5 to 8 .
도 4는 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, CNN 분류 모델을 통해 분류한 침 자극 위치의 조합을 전자차트에 기록하는 과정을 도시한 도면이다.4 is a diagram illustrating a process of recording a combination of needle stimulation positions classified through a CNN classification model on an electronic chart in an image-based acupoint chart input system according to an embodiment of the present invention.
도 5는 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, 환자 영상으로부터 식별한 자침 지점의 일례를 도시한 도면이다.5 is a diagram illustrating an example of a needle point identified from a patient image in an image-based acupoint chart input system according to an embodiment of the present invention.
도 6은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, 2차원 확률 행렬에 의해 표현되는 이진화 영상의 일례를 도시한 도면이다.6 is a diagram illustrating an example of a binarized image represented by a two-dimensional random matrix in an image-based acupoint chart input system according to an embodiment of the present invention.
도 7은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, CNN 분류 모델을 통해 혈자리 조합을 분류하는 과정을 도시한 도면이다.7 is a diagram illustrating a process of classifying acupoint combinations through a CNN classification model in an image-based acupoint chart input system according to an embodiment of the present invention.
도 8은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, 혈자리 조합의 일례를 도시한 도면이다.8 is a diagram illustrating an example of an acupoint combination in an image-based acupoint chart input system according to an embodiment of the present invention.
도 4를 참조하면, 단계(410 내지 420)에서 영상 기반 혈자리 차트 입력 시스템은 침 치료 영상을 획득하고, 다수의 침 자극 위치의 좌표를 수동으로 획득한다(획득 영상 기준).Referring to FIG. 4 , in
예를 들어 영상 기반 혈자리 차트 입력 시스템은 도 5에 도시된 것처럼 침 치료를 받고 있는 환자 영상(510, 520)을 실시간으로 획득하고, 환자 영상(510, 520)에서 침이 꽂히는 자침 지점의 위치값을, 획득 영상 기준으로 계산한다.For example, the image-based acupoint chart input system acquires
영상 기반 혈자리 차트 입력 시스템은 치료 중인 자침 지점이 모두 포함되는 특정 신체 방향, 예컨대, 환자의 머리가 상측이 되고 환자의 다리가 하측이 되는 신체 방향으로, 영상을 획득할 수 있으며, 수동으로 영상 기준의 대략적 상대적 좌표를 획득할 수 있다.The image-based acupoint chart input system can acquire an image in a specific body direction that includes all the needle points under treatment, for example, the body direction in which the patient's head is on the top and the patient's legs are on the bottom, and manually Approximate relative coordinates of the reference can be obtained.
일례로 영상 기반 혈자리 차트 입력 시스템은 태블릿 PC, 스마트폰과 같은 시술자가 소지한 전자 단말기를 통해 영상을 표시하고, 영상에서 시술자에 의해 터치 입력된 지점의 상대적인 위치값을, 계산할 수 있다.For example, the image-based acupoint chart input system may display an image through an electronic terminal possessed by the operator, such as a tablet PC or a smartphone, and calculate the relative position value of a point touched by the operator in the image.
단계(430)에서 영상 기반 혈자리 차트 입력 시스템은 침 자극 위치의 2차원 확률 행렬을 계산한다. 영상 기반 혈자리 차트 입력 시스템은 수동 좌표 검출의 오차를 고려하여 이차원 가우시안 필터 등을 통해 2차원 확률 행렬을 계산할 수 있다.In
예를 들어 영상 기반 혈자리 차트 입력 시스템은 도 6에 도시된 것처럼 수동으로 획득한 혈위의 좌표정보를 기반으로 침 자극 위치를 나타내는 이진화 영상(610 내지 630)을 생성할 수 있다.For example, the image-based acupoint chart input system may generate the
단계(440)에서 영상 기반 혈자리 차트 입력 시스템은 CNN 분류 모델을 통한 침 자극 위치의 조합을 분류한다.In
예를 들어 영상 기반 혈자리 차트 입력 시스템은 도 7에 도시된 것처럼, 생성된 2차원 확률 행렬을 입력으로 하는 콘볼루션 신경망(CNN) 분류 모델(700)을 통해 임상에서 사용하는 다양한 혈위 조합의 패턴을 분류할 수 있다.For example, as shown in FIG. 7 , the image-based acupoint chart input system uses a convolutional neural network (CNN) classification model 700 that uses the generated two-dimensional random matrix as an input to form patterns of various combinations of acupoints used in clinical practice. can be classified.
단계(450)에서 영상 기반 혈자리 차트 입력 시스템은 분류된 침 자극 위치의 조합을 기준으로 침 치료에 사용한 침 자극 위치들을 전자차트에 기록한다.In
영상 기반 혈자리 차트 입력 시스템은 CNN 분류 모델에서 분류된 혈자리 조합을 기준으로 전자차트에 혈자리 조합을 입력할 수 있다.The image-based acupoint chart input system can input the acupoint combination into the electronic chart based on the acupoint combination classified in the CNN classification model.
예를 들어 영상 기반 혈자리 차트 입력 시스템은, 단계(430)에서 생성한 2차원 확률 행렬을 CNN 분류 모델에 입력했을 때 제2 조합으로 분류된 경우, 환자의 전자차트에 제2 조합을 기록할 수도 있고, 도 8에 도시한 혈자리 조합(810)으로부터, 제2 조합 내의 각각의 혈자리 '풍지' '백회'를 기록할 수도 있다.For example, if the image-based acupoint chart input system is classified as the second combination when the two-dimensional probability matrix generated in
도 9는 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 시스템에서, CNN 분류 모델을 통해 분류한 혈자리 조합의 정확도(Accuracy) 및 손실(Loss)를 검증한 결과를 도시한 그래프이다.9 is a graph showing the results of verifying the accuracy (Accuracy) and loss (Loss) of the combination of acupoints classified through the CNN classification model in the image-based acupoint chart input system according to an embodiment of the present invention.
도 9를 참조하면, 영상 기반 혈자리 차트 입력 시스템은 임상에서 사용되는 머리, 복부, 하부 등 신체 부위의 12개의 다른 혈위 조합을 다수의 다른 영상 획득 조건 하에서 획득하고, 획득한 영상을 기반으로 다양한 조건(위치, 각도 등) 하에서 획득한 영상의 혈위 좌표를 생성하여 대략 2400개(혈위 조합당 200개)의 영상을 확보하고, 이중 2000개의 영상으로 CNN 분류 모델을 학습하고 나머지 400개의 영상으로 정확도를 검증한 결과, 도 9의 그래프(900)에 도시된 것처럼, 대략 98.17%의 정확도를 나타내는 것으로 확인되었다.Referring to FIG. 9 , the image-based acupoint chart input system acquires 12 different acupoint combinations of body parts such as the head, abdomen, and lower part used in clinical practice under a number of different image acquisition conditions, and provides various By generating the acupoint coordinates of the images acquired under conditions (position, angle, etc.), approximately 2400 images (200 per blood position combination) are obtained, and the CNN classification model is trained with 2000 images, and the accuracy is obtained with the remaining 400 images. As a result of verifying , as shown in the
이로부터 본 발명에 따라 구축되는 CNN 분류 모델에 의해, 다수 혈위 조합 패턴의 상대적 위치를 기반으로 임상에서 사용되는 혈위를 정확하게 분류 가능하며 이는 서로 다른 신체부위를 포함하는 경우에도 분류 가능함을 알 수 있다.From this, it can be seen that, by the CNN classification model constructed according to the present invention, it is possible to accurately classify acupoints used in clinical practice based on the relative positions of multiple acupoint combination patterns, which can be classified even when different body parts are included. .
도 10은 본 발명의 일실시예에 따른 영상 기반 혈자리 차트 입력 방법의 순서를 도시한 흐름도이다.10 is a flowchart illustrating a sequence of an image-based acupoint chart input method according to an embodiment of the present invention.
본 실시예에 따른 영상 기반 혈자리 차트 입력 방법은 상술한 영상 기반 혈자리 차트 입력 시스템(200)에 의해 수행될 수 있다.The image-based acupoint chart input method according to the present embodiment may be performed by the above-described image-based acupoint
도 10을 참조하면, 단계(1010 내지 1020)에서 영상 기반 혈자리 차트 입력 시스템(200)은 침 치료의 개시에 연동하여, 카메라 모듈을 통해, 침 치료를 받고 있는 환자를 촬영하여 환자 영상을 획득한다.Referring to FIG. 10 , in
단계(1030 내지 1040)에서 영상 기반 혈자리 차트 입력 시스템(200)은 환자 영상에서 침이 꽂히는 자침 지점을 식별하고, 자침 지점을 중심으로 대략 1cm로 설정된 반경 영역과 적어도 일부가 겹치는 혈자리를 확인한다.In
단계(1050 내지 1060)에서 영상 기반 혈자리 차트 입력 시스템(200)은 상기 혈자리에 대한 혈자리명을 화면에 출력하고, 시술자로부터 오인식 여부를 확인한다.In
단계(1060)에서의 확인 결과, 환자 영상에서 인식한 혈자리의 이름이 시술자에 의해 정확한 것으로 확인되면, 단계(1070)에서 영상 기반 혈자리 차트 입력 시스템(200)은 혈자리명을 환자의 전자차트에 기록한다.As a result of the confirmation in
또는 단계(1060)에서의 확인 결과, 환자 영상에서 인식한 혈자리의 이름이 시술자에 의해 틀린 것으로 확인되면, 단계(1080, 1070)에서 영상 기반 혈자리 차트 입력 시스템(200)은 시술자에 의해 수기로 입력되는 혈자리명을, 전자차트에 대신 기록한다.Alternatively, as a result of the confirmation in
이처럼 본 발명에 의하면, 기존에 혈자리를 전자차트에 일일이 수동으로 입력해야 하는 번거로움 및 낮은 정확도를 개선하여, 영상 기반으로 침 치료가 이루어진 혈자리에 관한 정보를 신속 정확하게 환자의 전자차트에 기록할 수 있으며, 환자로의 진료비 내역서의 청구를 빠르게 처리하여 한의원 업무 효율을 높일 수 있다.As described above, according to the present invention, the inconvenience and low accuracy of manually inputting acupoints into the electronic chart are improved, and information on the acupuncture points on which acupuncture treatment has been performed based on an image is quickly and accurately recorded in the patient's electronic chart. It is possible to increase the work efficiency of the oriental clinic by quickly processing the claims for the medical expenses statement to the patient.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
200: 영상 기반 혈자리 차트 입력 시스템
210: 영상 획득부
220: 혈자리 인식부
230: 차트 처리부
240: 화면 표시부
250: 테이블 관리부
260: 비율 산출부
270: 모델 구축부200: image-based acupoint chart input system
210: image acquisition unit
220: acupoint recognition unit
230: chart processing unit
240: screen display unit
250: table management unit
260: ratio calculator
270: model building unit
Claims (18)
카메라 모듈을 통해, 상기 침 치료를 받고 있는 환자를 촬영하여 환자 영상을 획득하는 단계;
화면에 표시되는 상기 환자 영상으로부터, 상기 환자의 신체부위 상에 침이 꽂히는 자침 지점을 식별하는 단계;
상기 자침 지점을 이용하여 혈자리를 인식하는 단계;
상기 혈자리에 대한 혈자리명을, 상기 화면에 출력하는 단계; 및
상기 혈자리명에 대한 시술자의 확인에 따라, 상기 혈자리명을, 상기 환자에 관한 전자차트에 기록하는 단계
를 포함하는 영상 기반 혈자리 차트 입력 방법.In conjunction with the initiation of acupuncture treatment,
acquiring an image of the patient by photographing the patient receiving the acupuncture treatment through the camera module;
identifying, from the patient image displayed on the screen, a needle point where the needle is inserted on the patient's body part;
recognizing an acupoint using the needle point;
outputting the name of the acupoint for the acupoint on the screen; and
Recording the name of the acupoint in the electronic chart for the patient according to the operator's confirmation of the name of the acupoint
An image-based acupoint chart input method comprising a.
상기 침 치료를 받을 때의 환자의 자세와 연관되는 하나 이상의 신체부위를, 표지자로서, 자세 정보에 대응시켜 기록한 표지자 테이블을 마련하는 단계;
상기 환자 영상으로부터, 앙와위, 복와위 및 측와위 중 어느 하나의 자세 정보를 식별하는 단계;
상기 표지자 테이블로부터, 상기 식별된 자세 정보에 대응되는 표지자를 추출하는 단계; 및
상기 표지자를, 상기 환자 영상과 함께 상기 화면에 표시하는 단계
를 더 포함하고,
상기 자침 지점을 식별하는 단계는,
상기 시술자에 의해, 상기 화면이 터치 입력될 경우,
터치 입력되는 상기 환자 영상 내의 지점을, 상기 자침 지점으로서 식별하는 단계
를 포함하는 영상 기반 혈자리 차트 입력 방법.According to claim 1,
providing a marker table in which one or more body parts related to a patient's posture when receiving the acupuncture treatment are recorded as a marker in correspondence with the posture information;
identifying, from the patient image, the posture information of any one of a supine position, a supine position, and a lateral position;
extracting a marker corresponding to the identified posture information from the marker table; and
displaying the marker on the screen together with the patient image
further comprising,
The step of identifying the magnetic needle point includes:
When the screen is touched by the operator,
Identifying a point in the patient image that is touch-input as the needle point
An image-based acupoint chart input method comprising a.
상기 자침 지점을 식별하는 단계는,
이미지 처리 기법에 의해, 상기 환자 영상으로부터 상기 침에 해당하는 오브젝트를 식별하는 단계; 및
일정 시간 동안 상기 오브젝트가 고정되어 위치하는 상기 환자 영상 내 지점을, 상기 자침 지점으로서 식별하는 단계
를 포함하는 영상 기반 혈자리 차트 입력 방법.According to claim 1,
The step of identifying the magnetic needle point includes:
identifying an object corresponding to the needle from the patient image by an image processing technique; and
Identifying a point in the patient image at which the object is fixed and positioned for a predetermined time as the needle point
An image-based acupoint chart input method comprising a.
상기 혈자리를 인식하는 단계는,
상기 환자 영상 내에서의, 상기 식별된 자침 지점을 중심으로 설정된 반경 영역과, 적어도 일부가 겹치는 혈자리를 인식하는 단계
를 포함하는 영상 기반 혈자리 차트 입력 방법.According to claim 1,
The step of recognizing the acupoint is,
Recognizing an acupoint in which at least a part of a radius area set around the identified magnetic needle point and an acupoint overlap in the patient image
An image-based acupoint chart input method comprising a.
상기 혈자리를 인식하는 단계는,
키와 체중, 복부 둘레 길이 및 1촌 길이 중 적어도 하나의 사전에 입력된 환자 신체 정보를, 성별 및 연령에 따라 설정된 기준치와 각각 비교하여, 상기 환자에 대하여 신체 비율 정보를 산출하는 단계; 및
상기 신체 비율 정보에 따라, 상기 반경 영역의 위치 또는 크기를 조정하는 단계
를 더 포함하는 영상 기반 혈자리 차트 입력 방법.5. The method of claim 4,
The step of recognizing the acupoint is,
calculating body proportion information for the patient by comparing the patient's body information input in advance of at least one of height and weight, abdominal circumference length, and 1 cun length with reference values set according to gender and age, respectively; and
adjusting the position or size of the radius area according to the body proportion information
An image-based acupoint chart input method further comprising a.
성별 및 연령에 따른 인체 모형의 표준 혈자리를 기록한 혈자리 테이블을 마련하는 단계
를 더 포함하고,
상기 혈자리를 인식하는 단계는,
상기 혈자리 테이블로부터, 상기 식별된 자침 지점과 가장 근접하여 위치하는 표준 혈자리를 상기 혈자리로서 인식하는 단계
를 더 포함하는 영상 기반 혈자리 차트 입력 방법.According to claim 1,
Step of preparing an acupoint table that records the standard acupoints of the human body model according to gender and age
further comprising,
The step of recognizing the acupoint is,
Recognizing, from the acupoint table, a standard acupoint located closest to the identified needle point as the acupoint.
An image-based acupoint chart input method further comprising a.
상기 혈자리를 인식하는 단계는,
상기 혈자리로 인식된 표준 혈자리를, 상기 인체 모형에서 마킹하여 상기 화면으로 시각화하는 단계
를 더 포함하는 영상 기반 혈자리 차트 입력 방법.7. The method of claim 6,
The step of recognizing the acupoint is,
Marking the standard acupoint recognized as the acupoint in the human body model and visualizing it on the screen
An image-based acupoint chart input method further comprising a.
상기 환자 영상으로부터 복수의 자침 지점이 식별될 경우,
상기 복수의 자침 지점에 대한 혈자리명 각각을, 화면에 출력하는 단계;
상기 혈자리명 각각에 대한 시술자의 확인이 이루어지면,
각각의 혈자리명으로 구성된 혈자리 조합을, 상기 전자차트에 기록하는 단계; 및
상기 복수의 자침 지점이 상기 환자 영상으로부터 식별되는 순서를, 상기 혈자리 조합에 대한 자침 순서로서, 상기 전자차트에 더 기록하는 단계
를 더 포함하는 영상 기반 혈자리 차트 입력 방법.According to claim 1,
When a plurality of needle points are identified from the patient image,
outputting each of the acupoint names for the plurality of magnetic needle points on a screen;
When the operator confirms each of the acupoint names,
recording an acupoint combination consisting of each acupoint name on the electronic chart; and
further recording the order in which the plurality of needle points are identified from the patient image, as the order of needle needles for the combination of acupuncture points, on the electronic chart;
An image-based acupoint chart input method further comprising a.
상기 침 치료의 종료 후, 상기 환자에 대한 차기의 침 치료에서, 상기 복수의 자침 지점 중 일부의 자침 지점에 대한 혈자리명이 인식될 경우,
상기 전자차트에 기록한 상기 혈자리 조합을 리드하는 단계; 및
상기 혈자리 조합을 이용하여, 상기 복수의 자침 지점 중 나머지 일부의 자침 지점에 대한 혈자리명을 인식하는 단계
를 더 포함하는 영상 기반 혈자리 차트 입력 방법.9. The method of claim 8,
After completion of the acupuncture treatment, when the acupuncture points for some of the plurality of needle points are recognized in the next acupuncture treatment for the patient,
reading the combination of acupoints recorded on the electronic chart; and
Recognizing the names of the acupoints of the remaining part of the magnetic needle points among the plurality of magnetic needle points by using the acupoint combination
An image-based acupoint chart input method further comprising a.
상기 침 치료를 받을 때의 상기 환자의 자세 정보를 사전에 입력 받는 단계; 및
상기 자세 정보에 따라, 상기 환자를 촬영 가능한 위치에 설치된 카메라 모듈을 제어하여, 상기 환자 영상을 획득하는 단계
를 더 포함하는 영상 기반 혈자리 차트 입력 방법.According to claim 1,
receiving the patient's posture information when receiving the acupuncture treatment in advance; and
Acquiring the patient image by controlling a camera module installed at a position capable of photographing the patient according to the posture information
An image-based acupoint chart input method further comprising a.
상기 환자 영상으로부터 식별되는 복수 개의 자침 지점에 대한 상기 환자 영상 내 위치값을 각각 계산하는 단계;
각각의 위치값에 2차원 가우시안 필터를 적용하여, 2차원 확률 행렬을 계산하는 단계;
상기 2차원 확률 행렬을, 신경망에 의해 구축된 CNN 분류 모델에 입력하는 단계; 및
상기 CNN 분류 모델로부터 출력되는 혈자리 조합에 포함되는 혈자리명을, 상기 전자차트에 기록하는 단계
를 더 포함하는 영상 기반 혈자리 차트 입력 방법.According to claim 1,
calculating position values in the patient image for a plurality of needle points identified from the patient image;
calculating a two-dimensional probability matrix by applying a two-dimensional Gaussian filter to each position value;
inputting the two-dimensional random matrix into a CNN classification model built by a neural network; and
Recording the name of the acupoint included in the acupoint combination output from the CNN classification model on the electronic chart
An image-based acupoint chart input method further comprising a.
상기 침 치료의 개시 이전에,
2차원 확률 행렬 및 혈자리 조합을 포함하는 학습용 데이터를 신경망에 의해 머신러닝하여 상기 CNN 분류 모델을 구축하는 단계
를 더 포함하는 영상 기반 혈자리 차트 입력 방법.12. The method of claim 11,
Prior to initiation of the acupuncture treatment,
Building the CNN classification model by machine learning by a neural network on training data including a two-dimensional probability matrix and acupoint combination
An image-based acupoint chart input method further comprising a.
카메라 모듈을 통해, 상기 침 치료를 받고 있는 환자를 촬영하여 환자 영상을 획득하는 영상 획득부;
화면에 표시되는 상기 환자 영상으로부터, 상기 환자의 신체부위 상에 침이 꽂히는 자침 지점을 식별하고, 상기 자침 지점을 이용하여 혈자리를 인식하는 혈자리 인식부; 및
상기 혈자리에 대한 혈자리명을, 상기 화면에 출력하고, 상기 혈자리명에 대한 시술자의 확인에 따라, 상기 혈자리명을, 상기 환자에 관한 전자차트에 기록하는 차트 처리부
를 포함하는 영상 기반 혈자리 차트 입력 시스템.In conjunction with the initiation of acupuncture treatment,
an image acquisition unit for acquiring an image of the patient by photographing the patient receiving the acupuncture treatment through the camera module;
an acupoint recognition unit for identifying a needle point where a needle is inserted on a body part of the patient from the patient image displayed on the screen, and recognizing an acupoint using the needle point; and
A chart processing unit that outputs the name of the acupoint for the acupoint on the screen, and records the name of the acupoint on the electronic chart related to the patient according to the operator's confirmation of the name of the acupoint.
An image-based acupoint chart input system comprising a.
상기 침 치료를 받을 때의 환자의 자세와 연관되는 하나 이상의 신체부위를, 표지자로서, 자세 정보에 대응시켜 기록한 표지자 테이블을 마련하는 테이블 관리부; 및
상기 환자 영상으로부터, 앙와위, 복와위 및 측와위 중 어느 하나의 자세 정보가 식별되면, 상기 표지자 테이블로부터, 상기 식별된 자세 정보에 대응되는 표지자를 추출하고, 상기 표지자를, 상기 환자 영상과 함께 상기 화면에 표시하는 화면 표시부
를 더 포함하고,
상기 혈자리 인식부는,
상기 시술자에 의해, 상기 화면이 터치 입력될 경우, 터치 입력되는 상기 환자 영상 내의 지점을, 상기 자침 지점으로서 식별하는
영상 기반 혈자리 차트 입력 시스템.14. The method of claim 13,
a table management unit configured to provide a marker table in which one or more body parts related to the patient's posture when receiving the acupuncture treatment are recorded as markers in correspondence with the posture information; and
When posture information of any one of supine, supine, and lateral position is identified from the patient image, a marker corresponding to the identified posture information is extracted from the marker table, and the marker is displayed on the screen together with the patient image. on the screen display
further comprising,
The acupoint recognition unit,
When the screen is touch-input by the operator, a point in the patient image that is touch-input is identified as the needle point
Image-based acupoint chart input system.
상기 혈자리 인식부는,
상기 환자 영상 내에서의, 상기 식별된 자침 지점을 중심으로 설정된 반경 영역과, 적어도 일부가 겹치는 혈자리를 인식하는
영상 기반 혈자리 차트 입력 시스템.14. The method of claim 13,
The acupoint recognition unit,
Recognizing an acupoint that at least partially overlaps with a radius area set around the identified magnetic needle point in the patient image
Image-based acupoint chart input system.
키와 체중, 복부 둘레 길이 및 1촌 길이 중 적어도 하나의 사전에 입력된 환자 신체 정보를, 성별 및 연령에 따라 설정된 기준치와 각각 비교하여, 상기 환자에 대하여 신체 비율 정보를 산출하는 비율 산출부
를 더 포함하고,
상기 혈자리 인식부는,
상기 신체 비율 정보에 따라, 상기 반경 영역의 위치 또는 크기를 조정하는
영상 기반 혈자리 차트 입력 시스템.16. The method of claim 15,
A ratio calculation unit for calculating body ratio information for the patient by comparing the patient's body information input in advance of at least one of height and weight, abdominal circumference length, and 1 cun length with reference values set according to gender and age, respectively
further comprising,
The acupoint recognition unit,
Adjusting the position or size of the radius area according to the body proportion information
Image-based acupoint chart input system.
상기 환자 영상으로부터 복수의 자침 지점이 식별될 경우,
상기 차트 처리부는,
상기 복수의 자침 지점에 대한 혈자리명 각각을, 화면에 출력하고,
상기 혈자리명 각각에 대한 시술자의 확인이 이루어지면,
각각의 혈자리명으로 구성된 혈자리 조합을, 상기 전자차트에 기록하고,
상기 복수의 자침 지점이 상기 환자 영상으로부터 식별되는 순서를, 상기 혈자리 조합에 대한 자침 순서로서, 상기 전자차트에 더 기록하는
영상 기반 혈자리 차트 입력 시스템.14. The method of claim 13,
When a plurality of needle points are identified from the patient image,
The chart processing unit,
Each of the acupuncture names for the plurality of magnetic needle points is output on the screen,
When the operator confirms each of the acupoint names,
Record the combination of acupoints composed of each acupoint name in the electronic chart,
The order in which the plurality of needle points are identified from the patient image is further recorded in the electronic chart as the order of needle needles for the acupoint combination.
Image-based acupoint chart input system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200058286A KR20210142042A (en) | 2020-05-15 | 2020-05-15 | Method and system for inputting acupoint to electronic medical record for oriental medicine hospital based patient's images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200058286A KR20210142042A (en) | 2020-05-15 | 2020-05-15 | Method and system for inputting acupoint to electronic medical record for oriental medicine hospital based patient's images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210142042A true KR20210142042A (en) | 2021-11-24 |
Family
ID=78748169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200058286A KR20210142042A (en) | 2020-05-15 | 2020-05-15 | Method and system for inputting acupoint to electronic medical record for oriental medicine hospital based patient's images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210142042A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023068838A1 (en) | 2021-10-22 | 2023-04-27 | 주식회사 엘지에너지솔루션 | Anode composition, lithium secondary battery anode comprising same, lithium secondary battery comprising anode, and method for preparing anode composition |
| KR20230141175A (en) | 2022-03-31 | 2023-10-10 | 부경대학교 산학협력단 | Location of the acupuncture point recognition system based on machine learning and the method thereof |
| KR20230142059A (en) | 2022-03-31 | 2023-10-11 | 부경대학교 산학협력단 | The guiding system for location of the acupuncture point and the method thereof |
-
2020
- 2020-05-15 KR KR1020200058286A patent/KR20210142042A/en active Search and Examination
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023068838A1 (en) | 2021-10-22 | 2023-04-27 | 주식회사 엘지에너지솔루션 | Anode composition, lithium secondary battery anode comprising same, lithium secondary battery comprising anode, and method for preparing anode composition |
| KR20230141175A (en) | 2022-03-31 | 2023-10-10 | 부경대학교 산학협력단 | Location of the acupuncture point recognition system based on machine learning and the method thereof |
| KR20230142059A (en) | 2022-03-31 | 2023-10-11 | 부경대학교 산학협력단 | The guiding system for location of the acupuncture point and the method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210142042A (en) | Method and system for inputting acupoint to electronic medical record for oriental medicine hospital based patient's images | |
| JP6240226B2 (en) | Scan range determination device | |
| EP2919194B1 (en) | Image data processing device and transcranial magnetic stimulation apparatus | |
| US8150132B2 (en) | Image analysis apparatus, image analysis method, and computer-readable recording medium storing image analysis program | |
| US20170265806A1 (en) | Methods and systems for electrode placement | |
| US11636940B2 (en) | Method and program for providing feedback on surgical outcome | |
| CN109091380B (en) | Traditional Chinese medicine system and method for realizing acupoint visualization by AR technology | |
| US11660142B2 (en) | Method for generating surgical simulation information and program | |
| US20140233788A1 (en) | System, method, and software for optical device recognition association | |
| KR102146672B1 (en) | Program and method for providing feedback about result of surgery | |
| CN105405101B (en) | Radioscopic image treating method and apparatus | |
| CN111053530B (en) | Method and system for locating position in human body | |
| US20210068695A1 (en) | Method Providing ECG Analysis Interface and System | |
| CN109934798A (en) | Internal object information labeling method and device, electronic equipment, storage medium | |
| Chinnaiah et al. | A new deliberation of embedded based assistive system for Yoga | |
| KR101463681B1 (en) | System for inducing respiration using biofeedback principle | |
| US20190192252A1 (en) | Surgical Instrument Positioning System and Positioning Method Thereof | |
| Putzer et al. | The use of time-of-flight camera for navigating robots in computer-aided surgery: Monitoring the soft tissue envelope of minimally invasive hip approach in a cadaver study | |
| KR101670133B1 (en) | Tumor tracking method and apparatus | |
| KR102598233B1 (en) | System and method for providing medical information based on deep learning targeting medical images | |
| TW201905851A (en) | Method for visualizing acupuncture points by AR technology capable of assisting different users in finding positions of acupuncture points easily and quickly | |
| US20210118134A1 (en) | Method and system for postural analysis and measuring anatomical dimensions from a radiographic image using machine learning | |
| WO2023179876A1 (en) | System configured to aid in training a patient's breathing in preparation for a radiotherapy treatment | |
| Silverstein | Investigation of the Microsoft Kinect V2 sensor as a multi-purpose device for a radiation oncology clinic | |
| Vitali et al. | Quantitative assessment of upper limb rehabilitation through digital motion acquisition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |