KR20210083478A - Mobile based self-oral examination device - Google Patents
Mobile based self-oral examination device Download PDFInfo
- Publication number
- KR20210083478A KR20210083478A KR1020190175638A KR20190175638A KR20210083478A KR 20210083478 A KR20210083478 A KR 20210083478A KR 1020190175638 A KR1020190175638 A KR 1020190175638A KR 20190175638 A KR20190175638 A KR 20190175638A KR 20210083478 A KR20210083478 A KR 20210083478A
- Authority
- KR
- South Korea
- Prior art keywords
- oral
- examination
- information
- user
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4542—Evaluating the mouth, e.g. the jaw
- A61B5/4547—Evaluating teeth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Dentistry (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Rheumatology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physical Education & Sports Medicine (AREA)
- Nursing (AREA)
- Physiology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
Abstract
Description
본 발명은 모바일기반 자가 구강검진장치에 관한 것으로, 더욱 상세하게는 모바일 애플리케이션을 통해 사용자가 쉽게 자가 구강검진을 하여 구강 상태를 점검할 수 있도록 하고, 가족 모두의 구강도 관리할 수 있도록 한 모바일기반 자가 구강검진장치에 관한 것이다.The present invention relates to a mobile-based self-oral examination device, and more particularly, to a mobile-based self-examination device that allows a user to easily self-examine the oral cavity through a mobile application to check the oral condition, and to manage the oral cavity of all family members. It relates to a self-examination device.
구강 질환은 적절한 예방 치료 및 꾸준한 관리를 통해서 높은 예방 효과를 얻을 수 있지만, 많은 구강 질환 환자들은 구강 건강에 문제가 발생하지 않으면 의사에게 진단을 받거나 치료를 의뢰하지 않는 등 아직까지는 구강 예방에 대해 인식이 부족한 실정이다.Although oral diseases can be highly preventable through proper preventive treatment and continuous management, many patients with oral diseases are still aware of oral prevention, such as not receiving a diagnosis or referral to a doctor unless there is a problem with oral health. This is insufficient.
또한, 환자의 현재 구강 상태를 예측함에 있어 치과 의사나 치위생사의 주관적 견해가 아닌, 정확한 검사 및 진단 결과와 그에 따른 객관적 수치 정보가 필요하지만 구강의 건강 상태를 객관적으로 산출하는 시스템이 부재한 상황이다.In addition, in predicting the patient's current oral condition, accurate examination and diagnosis results and objective numerical information are required, not the subjective opinion of a dentist or dental hygienist, but there is no system for objectively calculating the oral health condition. .
구강의 2대 질환은 충치(치아우식), 치주질환을 의미한다. 특히, 치주염과 치은염을 의미하는 치주질환은 초기에는 동통도 없고 만성적으로 진행하기 때문에 발견이 늦어져, 치주질환을 사전에 예방하는 것은 매우 어려운 상황이다.The two major diseases of the oral cavity are tooth decay (dental caries) and periodontal disease. In particular, periodontal disease, which means periodontitis and gingivitis, is difficult to prevent in advance because there is no pain in the initial stage and is delayed because it progresses chronically.
따라서 이러한 구강 질환의 상태를 사전에 진단하고, 이를 기반으로 구강건강 증진 및 구강질환 예방을 위한 다양한 방법들이 연구 및 제안되고 있으며, 이러한 연구를 토대로 종래에 제안된 기술이 하기의 <특허문헌 1> 내지 <특허문헌 3> 에 개시되어 있다.Therefore, various methods for diagnosing the condition of oral diseases in advance, and based on this, various methods for improving oral health and preventing oral diseases have been studied and proposed, and the conventionally proposed technology based on these studies is described in the following <
<특허문헌 1> 은 사용자 단말기로부터 사용자의 성별, 나이, 치주질환 및 목표 설정 정보 중 적어도 하나에 대한 정보를 포함하는 사용자 조건 정보와 사용자의 가맹 의료기관에서의 치료 정보를 입력받는다. 아울러 구강 관리 용품 가맹점으로부터 구강 관리 용품에 대한 정보를 입력받는다. 이후, 사용자의 조건 정보 및 치료 정보에 대응하는 특정 카테고리에 포함되는 특정 구강 관리 용품의 정보를 사용자 단말기에 제공하여, 사용자 맞춤형 구강 관리 서비스를 제공한다.<
또한, <특허문헌 2> 는 환자의 구강 상태를 검진하고, 환자의 구강 검진 자료를 포함하는 구강 검진 지수 산정 기준 데이터, 거주 지역 및 연령 정보를 빅데이터화한 후, 이를 분석하여 현재 시점에서 환자의 거주 지역 및 연령에 따라 구강 검진 지수 산정 기준 데이터가 구강 건강에 미치는 영향력을 판단한다. 이어, 구강 검진 지수 산정 기준데이터에 가중치를 부여하여 구강 검진 지수 산정을 위한 기준 데이터를 수치화하여 구강 건강을 관리하도록 한다.In addition, <Patent Document 2> examines the oral condition of the patient, converts the oral examination index calculation standard data including the oral examination data of the patient into big data, and analyzes it and analyzes the patient's oral examination index data including the patient's oral examination data at the present time. The influence of the oral examination index calculation standard data on oral health is determined according to the region of residence and age. Then, weight is given to the oral examination index calculation standard data to digitize the reference data for oral examination index calculation to manage oral health.
또한, <특허문헌 3> 은 사용자의 개인정보, 사용자의 구강 위생 행동 데이터 및 구강 문진 데이터, 사용자가 전문 의료기관을 방문하여 생성된 구강검진 데이터를 수집한다. 이렇게 수집한 각각의 정보들을 통합 분석하여 사용자의 구강질환 위험도를 평가하고, 개인별 맞춤 서비스를 제공한다.In addition, <
그러나 상기와 같은 종래의 구강 질환 관리 시스템들은 사용자의 개인 정보나 구강 데이터 및 문진 데이터, 전문 의료기관을 통해 생성된 구강검진 데이터를 분석하여 구강 질환 관리정보를 생성하는 방식으로서, 실시간성이 떨어지고 현재 사용자의 구강 이미지를 분석하는 방식이 아니므로 구강 질환의 분석에 정확성이 결여되는 단점이 있다.However, the conventional oral disease management systems as described above are a method of generating oral disease management information by analyzing the user's personal information, oral data and questionnaire data, and oral examination data generated through a specialized medical institution. Since it is not a method to analyze oral images, there is a disadvantage in that it lacks accuracy in the analysis of oral diseases.
또한, 종래의 기술들은 사용자가 실시간으로 자신의 치주질환 상태를 인지하는 것도 어려운 단점이 있다.In addition, conventional techniques have a disadvantage in that it is difficult for a user to recognize his or her periodontal disease state in real time.
또한, 종래의 기술들은 가족의 구강 관리를 통합적으로 관리할 수 없는 단점이 있다.In addition, conventional techniques have a disadvantage in that the oral care of the family cannot be managed integrally.
따라서 본 발명은 상기와 같은 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 모바일 애플리케이션을 통해 사용자가 쉽게 자가 구강검진을 하여 구강 상태를 점검할 수 있도록 하고, 가족 모두의 구강도 관리할 수 있도록 한 모바일기반 자가 구강검진장치를 제공하는 데 그 목적이 있다.Therefore, the present invention has been proposed to solve all the problems occurring in the prior art as described above, and through a mobile application, a user can easily self-examine the oral cavity to check the oral condition, and to manage the oral cavity of all family members. The purpose is to provide a mobile-based self-examination device that allows
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 "모바일기반 자가 구강검진장치"는, 사용자의 구강 이미지를 보정한 후 보정한 구강 이미지를 제공하고 구강검진 진단을 요청하는 사용자 단말; 상기 사용자 단말로부터 제공되는 구강이미지를 전송하여 구강검진 진단을 요청하고, 구강검진 진단결과를 사용자에게 전송하는 구강관리 서비스서버; 상기 구강관리 서비스서버로부터 전송된 구강이미지를 진단하여 구강건강정보를 생성하고, 생성한 구강건강정보를 암호화하여 구강검진 진단결과로 상기 구강관리 서비스서버에 전송하는 구강건강 관리서버를 포함하는 것을 특징으로 한다.In order to achieve the above object, the "mobile-based self-oral examination apparatus" according to the present invention provides a user terminal for providing a corrected oral image after correcting the user's oral image and requesting an oral examination diagnosis; an oral care service server for requesting an oral examination diagnosis by transmitting an oral image provided from the user terminal, and transmitting an oral examination diagnosis result to the user; An oral health management server that generates oral health information by diagnosing the oral image transmitted from the oral care service server, and encrypts the generated oral health information to transmit the oral health checkup diagnosis result to the oral care service server do it with
상기에서 사용자 단말과 구강관리 서비스서버 및 구강건강 관리서버는 암호화된 구강검진 진단결과의 송수신을 통해 해킹에 의한 자료 누출시에도 보안성을 향상하는 것을 특징으로 한다.In the above, the user terminal, the oral care service server, and the oral health management server improve security even when data is leaked by hacking through the transmission and reception of the encrypted oral examination diagnosis result.
상기에서 구강건강 관리서버는 구강검진 진단결과 전송시 사용자 단말 ID와 사용자 정보를 이용한 접근 토큰(access token)을 이용하여 접근 대상의 권한을 제한하여 보안성을 향상하는 것을 특징으로 한다.In the above, the oral health management server is characterized in that it improves security by limiting the authority of the access target by using an access token using the user terminal ID and user information when transmitting the oral examination diagnosis result.
상기에서 사용자 단말은 촬영된 구강 이미지의 사진을 구강건강 검진대상 이미지로 입력하는 사진 입력부; 상기 사진 입력부에서 입력된 구강 이미지를 보정하여 선명도를 높이는 사진 보정부; 상기 사진 보정부에 의해 보정된 구강 이미지를 구강관리 서비스서버로 전송하여 구강검진 진단을 요청하고, 수신한 구강검진 진단결과를 화면에 표출하며, 사용자의 키 입력을 통한 요청에 따라 병원 예약 또는 가족 구강관리를 서비스해주는 구강관리 서비스 처리부를 포함하는 것을 특징으로 한다.In the above, the user terminal includes: a photo input unit for inputting a photograph of the taken oral image as an oral health examination target image; a photo correction unit for increasing the sharpness by correcting the oral image input from the photo input unit; The oral image corrected by the photo correction unit is transmitted to the oral care service server to request an oral examination diagnosis, and the received oral examination diagnosis result is displayed on the screen, and according to the request through the user's key input, a hospital reservation or family It is characterized in that it includes an oral care service processing unit that provides oral care services.
상기에서 사용자 단말은 구강검진 문진에 대한 사용자의 답변 정보를 이용하여 문진 응답 정보를 생성하는 문진 응답부를 더 포함하는 것을 특징으로 한다.In the above, the user terminal is characterized in that it further comprises a questionnaire response unit for generating the questionnaire response information by using the user's answer information to the oral examination questionnaire.
상기에서 구강관리 서비스 처리부는 사용자가 검진 모드 중 간편 검진을 선택하면 상기 사진 보정부에 의해 보정된 구강 이미지와 사용자 개인정보만을 이용하여 구강건강 검진을 요청하고, 상기 사용자가 검진 모드 중 일반 검진을 선택하면 상기 사진 보정부에 의해 보정된 구강 이미지와 상기 문진 응답부에서 생성한 문진 응답 정보 및 사용자 개인정보를 이용하여 구강건강 검진을 요청하는 것을 특징으로 한다.In the above, the oral care service processing unit requests an oral health checkup using only the oral image corrected by the photo correction unit and user personal information when the user selects a simple checkup in the checkup mode, and the user performs a general checkup in the checkup mode When selected, the oral health examination is requested using the oral image corrected by the photo correction unit, the questionnaire response information generated by the questionnaire response unit, and the user's personal information.
상기에서 구강건강 관리서버는 수신한 구강사진을 인공지능 알고리즘인 CNN(Convolutional Neural Network) 알고리즘으로 학습하여 사진의 분석 가능 여부와 교정 여부 및 발치 여부를 판단하고, 판단한 결과 정보를 개체 탐지(Object Detection)로 분석하여 치아우식 상태 정보 및 보철물 상태정보를 획득하고, 획득한 치아우식 상태정보 및 보철물 상태정보를 ANN(Artificial Neural Network) 알고리즘으로 학습하여 구강건강 상태를 판정하는 구강건강 연산부; 상기 구강건강 연산부에서 판정한 구강건강정보를 구강검진 진단결과로 생성하고, 생성한 구강검진 진단결과를 암호화하여 사용자 단말에 전송하는 구강건강정보 제공부를 포함하는 것을 특징으로 한다.In the above, the oral health management server learns the received oral photograph with a CNN (Convolutional Neural Network) algorithm, which is an artificial intelligence algorithm, determines whether the photograph can be analyzed, whether or not to correct it, and whether or not to extract it, and uses the determined result information to detect objects (Object Detection). ) to obtain dental caries state information and prosthesis state information, and an oral health calculation unit for learning the acquired dental caries state information and prosthesis state information with an Artificial Neural Network (ANN) algorithm to determine the oral health state; and an oral health information providing unit that generates the oral health information determined by the oral health calculation unit as an oral examination diagnosis result, and encrypts the generated oral examination diagnosis result and transmits it to the user terminal.
상기에서 구강건강 연산부는 사용자 단말로부터 전송된 구강 사진을 구강건강 예측대상으로 등록하는 사진 등록부; 상기 사진 등록부에 등록된 이미지를 CNN(Convolutional Neural Network) 알고리즘으로 학습하여 사진의 분석 가능 여부와 교정 여부 및 발치 여부를 판단하고, 판단한 결과 정보를 개체 탐지(Object Detection)로 분석하여 치아우식 상태 정보 및 보철물 상태정보를 획득하며, 획득한 교정 여부 정보 및 발치 여부 정보와 치아우식 상태정보 및 보철물 상태정보를 ANN(Artificial Neural Network) 알고리즘으로 학습하여 구강건강 상태를 판정하는 구강 진단부를 포함하는 것을 특징으로 한다.The oral health calculation unit includes: a photo registration unit for registering an oral photograph transmitted from the user terminal as an oral health prediction target; The image registered in the photo register is learned with a CNN (Convolutional Neural Network) algorithm to determine whether the photo can be analyzed, whether to correct or not, and whether or not to extract, and analyze the determined result information by object detection to obtain dental caries status information. and an oral diagnostic unit that acquires prosthesis status information and determines oral health status by learning the acquired orthodontic status information, tooth extraction status information, dental caries status information, and prosthesis status information with an Artificial Neural Network (ANN) algorithm. do it with
본 발명에 따르면 사용자가 모바일 애플리케이션을 통해 구강사진을 업-로드하는 것만으로 실시간으로 구강상태를 진단하여 구강검진 진단결과를 제공해줌으로써, 사용자가 실시간으로 구강 건강에 대해 자가 진단을 수행할 수 있도록 도모해주는 장점이 있다.According to the present invention, the user can diagnose the oral condition in real time only by uploading an oral picture through the mobile application and provide the oral examination diagnosis result, so that the user can self-diagnose the oral health in real time. There are advantages to doing
또한, 본 발명에 따르면 모바일 애플리케이션을 통해 가족의 구강건강 관리도 통합적으로 수행하도록 도모해주며, 병원 예약 등도 편리하게 수행할 수 있도록 도모해주는 효과가 있다.In addition, according to the present invention, it promotes the oral health management of the family through the mobile application in an integrated manner, and there is an effect that the hospital reservation can be conveniently performed.
도 1은 본 발명에 따른 모바일기반 자가 구강검진장치의 전체 구성도,
도 2는 도 1의 사용자 단말의 실시 예 구성도,
도 3은 도 1의 구강건강 연산부의 실시 예 구성도,
도 4 내지 도 7은 본 발명에서 구강 이미지를 분석하기 위한 인공지능 알고리즘 예시도,
도 8 내지 도 12는 본 발명에서 모바일 애플리케이션을 통해 자가 구강검진과 병원 예약, 가족 건강관리를 수행하는 과정 예시 도이다.1 is an overall configuration diagram of a mobile-based self-oral examination device according to the present invention;
Figure 2 is a configuration diagram of an embodiment of the user terminal of Figure 1;
3 is a block diagram of an embodiment of the oral health calculation unit of FIG. 1;
4 to 7 is an example of an artificial intelligence algorithm for analyzing an oral image in the present invention;
8 to 12 are diagrams illustrating a process of performing self-oral examination, hospital reservation, and family health management through a mobile application in the present invention.
이하 본 발명의 바람직한 실시 예에 따른 모바일기반 자가 구강검진장치를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, a mobile-based self-oral examination device according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
이하에서 설명되는 본 발명에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present invention described below should not be construed as being limited to conventional or dictionary meanings, and the inventor may appropriately define the concept of terms in order to best describe his invention. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention, so various equivalents and It should be understood that there may be variations.
도 1은 본 발명의 바람직한 실시 예에 따른 모바일기반 자가 구강검진장치의 전체 구성도로서, 사용자 단말(100), 구강관리 서비스서버(200) 및 구강건강 관리서버(300)를 포함할 수 있다.1 is an overall configuration diagram of a mobile-based self-oral examination apparatus according to a preferred embodiment of the present invention, and may include a
상기 사용자 단말(100)과 구강관리 서비스서버(200) 및 구강건강 관리서버(300)는 암호화된 구강검진 진단결과의 송수신을 통해 해킹에 의한 자료 누출시에도 보안성을 향상한다.The
아울러 상기 구강건강 관리서버(300)는 구강검진 진단결과 전송시 사용자 단말 ID와 사용자 정보를 이용한 웹 접근 토큰(access token)을 이용하여 접근 대상의 권한을 제한하여 보안성을 향상할 수 있다.In addition, the oral
사용자 단말(100)과 구강건강 서비스서버(200)는 다양한 유무선 네트워크로 연결될 수 있으며, 실시간성을 갖고 통신 인터페이스가 이루어질 수 있다. 구강관리 서비스서버(200)와 구강건강 관리서버(300)로 서버를 복수로 구현한 이유는 진단 결과의 보안성을 높여 개인정보의 유출을 방지하고자 한 것이다. 실제 건강관리 및 개인정보는 구강건강 관리서버(300)에서 모두 관리하되 웹 토큰을 통해 정보를 전송하여 보안성을 향상하고, 구강관리 서비스 서버(200)는 단순히 정보의 인터페이스와 병원 예약 등의 단순 서비스만을 처리하도록 하여, 신속한 서비스가 이루어지도록 하였다.The
사용자 단말(100)은 사용자의 구강 이미지를 보정한 후 보정한 구강 이미지를 제공하고 구강검진 진단을 요청하는 역할을 한다. 여기서 사용자는 사용자 단말(100)을 이용하여 사용자 개인정보, 문진 데이터와 같은 일반 데이터 등을 제공할 수 있다. 구강 검진의 형태는 간편 검진과 일반 검진이 있으며, 간편 검진일 경우에는 단순히 사용자 개인 정보(기기 ID, 사용자 정보)와 구강 이미지만을 제공하면 되고, 일반 검진일 경우에는 사용자 개인 정보와 문진 데이터와 구강 이미지를 제공하면 된다.The
사용자는 사용자 단말(100)을 통해 구강검진 진단결과를 수신하고, 이를 통해 자신의 구강건강 상태를 인지하며, 구강건강 상태가 좋지 않은 것으로 예측되면 치과병원 등을 방문하여 후속 조치를 취하여 구강건강을 관리하는 것이 바람직하다. 이러한 사용자 단말(100)은 스마트폰 및 스마트 패드와 같은 모바일 기기, 인터넷이 가능한 퍼스널컴퓨터 및 노트북 컴퓨터 등으로 구현할 수 있으며, 본 발명에서는 실시 예로 모바일 애플리케이션을 이용하는 스마트폰으로 구현된 것으로 가정한다.The user receives the oral examination diagnosis result through the
이러한 사용자 단말(100)은 촬영된 구강 이미지의 사진을 구강건강 검진대상 이미지로 입력하는 사진 입력부(101), 상기 사진 입력부(101)에서 입력된 구강 이미지를 보정하여 선명도를 높이는 사진 보정부(102), 상기 사진 보정부(102)에 의해 보정된 구강 이미지를 구강관리 서비스서버(200)로 전송하여 구강건강 진단을 요청하고, 수신한 구강검진 진단결과를 화면에 표출하며, 사용자의 키 입력을 통한 요청에 따라 병원 예약 또는 가족 구강관리를 서비스해주는 구강관리 서비스 처리부(103)를 포함할 수 있다.The
또한, 상기 사용자 단말(100)은 구강검진 문진에 대한 사용자의 답변 정보를 이용하여 문진 응답 정보를 생성하는 문진 응답부(103)를 더 포함할 수 있다.In addition, the
상기 구강관리 서비스 처리부(103)는 사용자가 검진 모드 중 간편 검진을 선택하면 상기 사진 보정부(102)에 의해 보정된 구강 이미지와 사용자 개인정보만을 이용하여 구강검진을 요청하고, 상기 사용자가 검진 모드 중 일반 검진을 선택하면 상기 사진 보정부(102)에 의해 보정된 구강 이미지와 상기 문진 응답부(103)에서 생성한 문진 응답 정보와 사용자 개인정보를 이용하여 구강 검진을 요청한다. 여기서 사용자 개인정보에는 사용자 정보와 기기 ID 정보를 포함할 수 있다. 이러한 사용자 개인정보는 추후 구강검진 결과정보의 전송시 보안을 위한 웹 토큰(접근 토큰)의 발행 정보로 활용될 수 있다.The oral care
구강관리 서비스 서버(200)는 상기 사용자 단말(100)로부터 제공되는 구강이미지를 전송하여 구강검진 진단결과를 요청하고, 구강검진 진단결과를 사용자에게 전송하는 역할을 한다.The oral
구강건강 관리서버(300)는 상기 구강관리 서비스서버(200)로부터 전송된 구강이미지를 진단하여 구강건강정보를 생성하고, 생성한 구강건강정보를 암호화하여 구강검진 진단결과로 상기 구강관리 서비스서버(200)에 전송하는 역할을 한다.The oral
상기 구강건강 관리서버(300)는 수신한 구강사진을 인공지능 알고리즘인 CNN(Convolutional Neural Network) 알고리즘으로 학습하여 사진의 분석 가능 여부와 교정 여부 및 발치 여부를 판단하고, 판단한 결과 정보를 개체 탐지(Object Detection)로 분석하여 치아우식 상태 정보 및 보철물 상태정보를 획득하고, 획득한 치아우식 상태정보 및 보철물 상태정보를 ANN(Artificial Neural Network) 알고리즘으로 학습하여 구강건강 상태를 판정하는 구강건강 연산부(310), 상기 구강건강 연산부(310)에서 판정한 구강건강정보를 구강검진 진단결과로 생성하고, 생성한 구강검진 진단결과를 암호화하여 사용자 단말(100)에 전송하는 구강건강정보 제공부(320), 구강진단을 위한 빅 데이터, 개인 정보, 암호화 알고리즘 등이 저장된 데이터베이스(330)를 포함할 수 있다.The oral
상기 구강건강 연산부(310)는 도 3에 도시한 바와 같이, 사용자 단말(100)로부터 전송된 구강 사진을 구강건강 예측대상으로 등록하는 사진 등록부(311), 상기 사진 등록부(311)에 등록된 이미지를 CNN(Convolutional Neural Network) 알고리즘으로 학습하여 사진의 분석 가능 여부와 교정 여부 및 발치 여부를 판단하고, 판단한 결과 정보를 개체 탐지(Object Detection)로 분석하여 치아우식 상태 정보 및 보철물 상태정보를 획득하며, 획득한 교정 여부 정보 및 발치 여부 정보와 치아우식 상태정보 및 보철물 상태정보를 ANN(Artificial Neural Network) 알고리즘으로 학습하여 구강건강 상태를 판정하는 구강 진단부(312)를 포함할 수 있다.The oral
이와 같이 구성된 본 발명에 따른 모바일기반 자가 구강검진장치의 동작을 구체적으로 설명하면 다음과 같다.The operation of the mobile-based self-oral examination apparatus according to the present invention configured as described above will be described in detail as follows.
먼저, 사용자는 자신의 구강건강 상태를 자가 검진하고 관리하며, 가족 모두의 구강건강을 통합 관리하기 위한 모바일기반의 구강검진 애플리케이션을 상기 구강관리 서비스 서버(200)로부터 다운-로드 받아 사용자 단말(100)에 저장한다.First, the user self-examines and manages his or her oral health state, and downloads a mobile-based oral examination application for integrated management of the oral health of all family members from the oral
여기서 구강검진 애플리케이션은 인공지능(AI) 기반 구강 자가진단 애플리케이션으로서, 언제, 어디서든 혼자서 쉽게 구강검진을 하여 자신의 구강상태를 점검하는 것이 가능한 애플리케이션이다. 주기적인 구강검진을 통해 구강질환을 예방하여 전신질환 예방에도 도움이 되며, 이 모든 것을 하나의 애플리케이션인 구강검진 애플리케이션을 단순히 스마트폰인 사용자 단말(100)에 설치하여 자신은 물론 가족 모두의 구강건강을 관리할 수 있게 되는 것이다.Here, the oral examination application is an artificial intelligence (AI)-based oral self-diagnosis application, which allows you to easily check your oral health by yourself at any time, anywhere. By preventing oral diseases through periodic oral examinations, it is also helpful in preventing systemic diseases, and by simply installing the oral examination application, which is one application, on the
사용자는 구강건강 상태를 확인하기 위해서, 상기 구강검진 애플리케이션을 실행하고, 구강관리 서비스 서버(200)에 로그인을 한다. 로그인을 위해 통상의 회원가입을 통해 ID, PW 와 같은 정보를 등록한다. 이때, 가족 추가하기와 같은 항목을 통해 자신 이외에 구강건강을 관리하고자 하는 가족 정보를 등록한다.The user executes the oral examination application to check the oral health state, and logs in to the oral
여기서 로그인을 위해 기본적은 사용자 개인 정보(이름, 성별, 생년월일, 혈액형, 기타)와 병력사항이나 복약중인 약 또는 신체의 특이 사항(고혈압, 저혈압, 당뇨, 심장질환, 변비, 임신, 기타) 등을 등록한다. 프로필 사진 등을 등록할 수도 있다.Here, for login, basic personal information of the user (name, gender, date of birth, blood type, etc.) and medical history, medications being taken, or body specific information (high blood pressure, low blood pressure, diabetes, heart disease, constipation, pregnancy, etc.) Register. You can also register your profile picture, etc.
로그인이 이루어지면, 도 8과 같은 메인 화면이 디스플레이되며, 이러한 메인 화면을 통해 설정 가족 치과 예약 현황이나 복약 정보 등을 확인할 수 있으며, 예약 상세보기나 복약체크를 진행할 수 있다.When the login is made, the main screen as shown in FIG. 8 is displayed, and through the main screen, the setting family dentistry reservation status or medication information can be checked, and the reservation details view or medication check can be performed.
예컨대, 가족 선택 항목을 통해 예약 및 복약 정보를 가족별로 필터링하여 확인할 수 있다. 도 9는 가족별 일정 확인하기 중 예약 확인에 대한 화면 예시이고, 도 10은 복약에 대한 화면 예시이다. 가족별 상세 메뉴를 통해 가족별 진료예약현황 및 처방전 목록을 확인할 수 있고, 인공지능 기반 구강 자가 검진을 진행할 수 있다. 아울러 캘린더 확인을 통해 선택된 날짜의 예약정보 및 복약 사항을 확인할 수 있으며, 클릭을 통해 상세 정보 확인할 수 있다. 메인 메뉴의 선택을 통해 홈, 치과찾기, 단골 치과, 내 정보 페이지로 이동할 수 있다.For example, reservation and medication information can be checked by filtering by family through the family selection item. 9 is an example of a screen for confirming a reservation while checking a schedule for each family, and FIG. 10 is an example of a screen for taking medication. Through the detailed menu for each family, you can check the medical appointment status and prescription list for each family, and you can proceed with an artificial intelligence-based oral self-examination. In addition, you can check the reservation information and medication for the selected date by checking the calendar, and you can check detailed information by clicking on it. By selecting the main menu, you can go to Home, Find a dentist, your regular dentist, and My Information page.
또한, 상기 메인 메뉴에서 새로운 가족 추가하기 항목을 통해 가족을 추가하는 것도 가능하다. 도 11은 새로운 가족 추가하기의 예시를 보인 화면이다.In addition, it is also possible to add a family through the Add New Family item in the main menu. 11 is a screen showing an example of adding a new family.
다음으로, 사용자는 구강검진을 위해 메인 메뉴에서 구강검진 대상을 선택하고, 문진하기 항목을 선택한다. 여기서 구강검진 대상이 가족이면 등록된 가족 중 검진 대상 가족을 지정 선택하면 되고, 자신일 경우에는 바로 문진하기 항목을 선택하면 된다. 가족이나 자신의 구강검진 모두 동일한 방식으로 이루어지므로, 이하, 설명의 편의를 위해 자신이 구강검진 대상으로 지정된 것으로 가정한다. 문진하기 항목이 선택되면 상세 화면으로 검진 목록이 디스플레이되고, 이러한 상세 화면에서 사용자는 검진 모드를 선택한다. 여기서 검진 목록은 간편 검진과 일반 검진 모드가 있다.Next, the user selects an oral examination target from the main menu for oral examination, and selects an item to ask a question. Here, if the target for oral examination is a family, you can designate and select a family member to be examined from among the registered family members, and in the case of yourself, simply select the option to ask questions. Since both family members and their own oral examinations are performed in the same way, it is assumed that the person is designated as the target for oral examinations for convenience of explanation below. When the item to ask a question is selected, a checkup list is displayed on a detailed screen, and the user selects a checkup mode on this detailed screen. Here, the checkup list includes a simple checkup and a general checkup mode.
간편 검진은 사용자의 개인 정보와 진단하고자 하는 구강 사진만을 제공하고, 자가 검진을 요청하는 모드이며, 일반 검진은 사용자의 개인 정보와 구강 사진 및 문진 정보를 제공하고 자가 점진을 요청하는 모드이다. 여기서 자가 검진을 요청할 때 사용자 단말(100)의 기기 ID 정보를 제공하거나, 사용자 회원 등록 시 사용자 기기의 ID 정보를 확인하여 이를 사용자 개인정보에 매칭해 놓을 수 있다.The simple check-up is a mode that provides only the user's personal information and a picture of the oral cavity to be diagnosed, and requests a self-examination, and the general check-up is a mode that provides the user's personal information, an oral picture and questionnaire information and requests a self-examination. Here, device ID information of the
자가 검진 요청시 사용자는 구강검진 애플리케이션을 통해 안내되는 촬영 가이드 정보를 이용하여 구강을 촬영하거나 미리 촬영해 놓은 구강 이미지를 선택한다. 즉, 사용자가 사용자 단말을 통해 촬영을 하여 구강 이미지를 획득하거나 미리 등록된 구강 이미지를 선택하면 사진 입력부(101)에서 선택된 사진 또는 촬영된 사진을 구강검진 대상 이미지로 설정한다. 이어, 사진 보정부(102)는 설정된 구강 이미지를 보정하여 선명도를 높인다. 즉, 입력된 구강 사진은 비정형화된 사진으로서, 카메라나 촬영자에 의해 화질이나 촬영 위치 등이 달라져 검진 결과가 달라질 수 있다.When a self-examination is requested, the user uses the photographing guide information guided through the oral examination application to photograph the oral cavity or selects a pre-photographed oral image. That is, when the user acquires an oral image by taking a picture through the user terminal or selects a pre-registered oral image, the selected photo or the photographed photo in the
따라서 비정형화된 사진에 대하여 보정이 필요하다.Therefore, correction is necessary for atypical photos.
비정형화된 사진의 보정을 위해, 입력된 사진 이미지를 미리 설정된 크기로 분할하고, 방향 조절을 하여 정면 이미지가 되도록 한다. 방향 조절은 구강 구조를 통해 위치를 인식하는 방법으로 인식하여 정면으로 조절을 할 수 있다. 이어, 방향이 조절된 분할 이미지를 이미지 샤핀 필터(Image Sharpen Filter)로 필터링 처리하여 선명도를 높인다. 여기서 이미지 샤핀 필터로 사진의 선명도를 높이는 기법은 이미 영상 처리분야에 알려진 공지의 기술이므로, 그에 대한 구체적인 설명은 생략하기로 한다.In order to correct an atypical photo, the input photo image is divided into a preset size, and the direction is adjusted to become a front image. Directional control is recognized as a method of recognizing the position through the oral structure and can be adjusted in the front. Then, the image sharpen filter (Image Sharpen Filter) to filter the direction-adjusted segmented image to increase the sharpness. Here, since the technique of increasing the sharpness of a picture with an image chaffine filter is a known technique in the image processing field, a detailed description thereof will be omitted.
비정형화된 사진에 대하여 이미지 보정이 이루어진 상태에서, 구강관리 서비스 처리부(104)는 사용자가 선택한 진단 항목을 확인하여, 간편 진단을 선택한 상태이면 상기 보정된 이미지와 사용자 개인정보만을 이용하여 구강 검진을 요청한다. 이와는 달리 사용자가 선택한 진단 항목을 확인하여, 일반 진단을 선택한 상태이면 상기 보정된 이미지와 사용자 개인정보 및 문진 응답 정보를 이용하여 구강 검진을 요청한다. 여기서 문진 응답 정보는 사용자가 설치한 구강검진 애플리케이션의 실행 시 메인 화면에 표시된 메뉴 항목에 연결된 문진표를 보고, 키 입력부를 통해 항목별로 응답(체크)을 한다. 문진표에 대해 응답이 완료되면 문진 응답부(103)는 응답이 포함된 문진표를 이용하여 문진 응답 정보를 생성한다.In a state where the image correction is made for the atypical photo, the oral care
구강관리 서비스 서버(200)는 네트워크를 통해 접속한 사용자 단말(100)로부터 구강 사진과 개인 정보 및/또는 문진 응답 정보가 수신되면 이를 구강건강 관리서버(300)로 전송한다.When the oral
구강건강 관리서버(300)의 구강건강 연산부(310)의 사진 등록부(311)는 전송된 구강 사진을 구강건강 검진대상 이미지로 내부 데이터베이스에 등록한다. 여기서 구강이미지는, 개인이 직접 촬영하기에 촬영 환경이 각각 달라 실제 촬영 이미지 색상의 기준이 없다. 따라서 기준점을 잡아서 모든 사진들이 기준점과 동일하도록 색상 보정을 자동으로 진행한 후 저장한다.The
이어, 구강 진단부(312)는 구강 사진(이미지)을 CNN(Convolutional Neural Network) 알고리즘으로 학습하여 사진의 분석 가능 여부와 교정 여부 및 발치 여부를 판단하고, 판단한 결과 정보를 개체 탐지(Object Detection)로 분석하여 치아우식 상태 정보, 치주염 상태 정보, 보철물 상태정보를 획득하고, 획득한 치아우식 상태정보 및 보철물 상태정보를 ANN(Artificial Neural Network) 알고리즘으로 학습하여 구강건강 상태를 판정한다.Next, the
예컨대, 구강 이미지를 CNN(Convolutional Neural Network) 알고리즘으로 학습하여 구강 사진 유무를 판단한다. 구강 이미지를 CNN 알고리즘으로 학습하여 구강 사진 유무를 판단하는 과정이 도 4에 도시되어 있다. 이를 위해 사전에 촬영되어 등록 요청된 사진이 구강 사진인지 판정하는 CNN 모델이 구축된 것으로 가정한다. 사전 훈련된 CNN 모델은 VGG16(https://neurohive.io/en/popular-networks/vgg16/), ResNet50 등과 같이 이미 알려진 CNN 모델에 구강 사진 범주를 추가하여 사용하는 것이 바람직하다. 학습 데이터로는 구강 사진 데이터, 추가할 범주의 사진 데이터일 수 있다.For example, by learning an oral image with a Convolutional Neural Network (CNN) algorithm, it is determined whether there is an oral photograph. The process of determining the presence or absence of an oral photograph by learning an oral image with a CNN algorithm is shown in FIG. For this purpose, it is assumed that a CNN model that determines whether a photo taken in advance and requested to be registered is an oral photo is built. It is preferable to use the pre-trained CNN model by adding the oral picture category to the already known CNN models such as VGG16 (https://neurohive.io/en/popular-networks/vgg16/) and ResNet50. The training data may be oral photo data or photo data of a category to be added.
이러한 구강 사진 데이터를 이용하여 CNN 모델로 학습을 하여 구강 사진 유무를 판단할 수 있으나, 이 경우 추가되는 학습 데이터의 양에 따라 학습시간이 많이 소요되는 단점을 유발할 수 있다.The presence or absence of an oral photograph can be determined by learning with a CNN model using this oral photograph data, but in this case, it may cause a disadvantage in that it takes a lot of learning time depending on the amount of added learning data.
따라서 구강 사진 유무를 판정하는 다른 방법으로서, CNN 알고리즘을 이용하는 대신에 상기 구강검진 애플리케이션을 이용하여 사용자가 구강 사진 이외의 이미지는 등록하지 말도록 유도하여, 구강 사진 유무를 판단하는 과정을 생략할 수 있다. 여기서 구강 사진 이외의 이미지는 등록하지 말도록 유도하는 방법으로서, 안내 문구를 이용할 수 있다.Therefore, as another method of determining the presence or absence of an oral photograph, the process of determining the presence or absence of an oral photograph can be omitted by inducing the user not to register an image other than an oral photograph by using the oral examination application instead of using the CNN algorithm. have. Here, as a method of inducing not to register an image other than an oral photograph, a guide phrase may be used.
구강 사진 유무를 확인한 결과, 구강 이미지로 판정이 되면, 구강 이미지를 도 5에 도시한 CNN(Convolutional Neural Network) 알고리즘으로 학습하여 교정 여부를 판단한다. 여기서 도 5는 입력된 구강 이미지로부터 교정 여부를 판정하는 CNN 모델의 예시이다. 이러한 CNN 모델은 AutoKeras를 이용하여 CNN 모델을 구축할 수 있다. 사전 훈련된 VGG16, ResNet50 등을 이용한 전이학습(transfer learning 가능)을 이용할 수도 있다. 필요 데이터는 교정기 착용/미착용 구강 사진 데이터이며, CNN 모델에 구강 사진 범주 2가지(교정기 착용/미착용)를 추가함으로써, 간단하게 교정 여부를 판단할 수 있다. As a result of checking the presence of an oral photograph, if it is determined as an oral image, the oral image is learned by a CNN (Convolutional Neural Network) algorithm shown in FIG. 5 to determine whether or not correction is made. Here, Figure 5 is an example of a CNN model that determines whether or not correction from the input oral image. These CNN models can be built using AutoKeras. Transfer learning using pre-trained VGG16, ResNet50, etc. can also be used. Required data is oral photo data with/without braces, and by adding two categories of oral photos (with/without braces) to the CNN model, it is possible to simply determine whether or not correction is made.
이러한 CNN 모델을 이용하여 교정 여부를 판정할 수 있으나, 이 또한 충분한 학습 시간 및 데이터가 필요하고, 학습 데이터의 증가는 결과적으로 계산량 증가를 유발한다. 따라서 사용자의 문진표 작성을 통해 교정 여부를 선택하도록 유도하여, 교정 여부를 판단하기 위한 CNN(Convolutional Neural Network) 알고리즘의 학습 과정을 생략할 수도 있다.Correction can be determined using this CNN model, but this also requires sufficient learning time and data, and an increase in the training data results in an increase in the amount of computation. Therefore, the learning process of a CNN (Convolutional Neural Network) algorithm for determining whether to calibrate may be omitted by inducing the user to select whether to calibrate by writing a questionnaire.
문진표 작성을 통해 문진 정보가 제공된 경우, 문진 정보를 FFNN(Feed Forward Neural Network) 알고리즘으로 분류한다. 여기서 FFNN 알고리즘은 설문 응답(사용자 정보)이 입력이고, 진단 결과가 출력이 되는 기계학습 알고리즘이다. Tensorflow, Keras 등의 Python 기반 라이브러리를 사용하여 입출력 구조에 적합한 FFNN를 설계하여 사용하는 것이 바람직하다. 활성화 함수, 손실 함수, 최적화 방법, 병렬 컴퓨팅 구조, 과적합 문제 등에 대해서는 최근 연구 및 분석된 FFNN 알고리즘을 이용할 수 있다. 입력 데이터(설문 응답)를 전처리하고, 전처리 데이터를 학습 데이터와 검증 데이터로 분할한다. 이어, 학습 데이터는 신경 회로망 학습을 통해 학습이 이루어지고, 검증 데이터와 학습 결과 데이터를 검증 및 보완 절차를 통해 새롭게 설계된 신경 회로망으로 학습 된다. 그리고 검증 및 보완이 완료되면 최종 모델이 설문 진단 결과로 출력된다.When the questionnaire information is provided through the preparation of the questionnaire, the questionnaire information is classified by the FFNN (Feed Forward Neural Network) algorithm. Here, the FFNN algorithm is a machine learning algorithm in which a questionnaire response (user information) is an input and a diagnosis result is an output. It is desirable to design and use an FFNN suitable for the input/output structure using a Python-based library such as Tensorflow or Keras. For activation function, loss function, optimization method, parallel computing structure, overfitting problem, etc., FFNN algorithms that have been recently studied and analyzed can be used. The input data (survey response) is preprocessed, and the preprocessed data is divided into training data and verification data. Then, learning data is learned through neural network learning, and the validation data and learning result data are verified and supplemented through a newly designed neural network. And when verification and supplementation are completed, the final model is output as a questionnaire diagnosis result.
여기서 구축된 CNN 모델을 이용하여 교정 여부를 판정하는 것도 가능하나, 부가적으로 동일한 CNN 모델을 이용하여 발치 여부도 판정할 수 있다. CNN 모델에 발치 구강 사진 범주를 추가하면, 간단하게 발치 여부도 판정할 수 있다.It is also possible to determine whether or not correction is made using the CNN model constructed here, but it is also possible to determine whether tooth extraction is performed using the same CNN model in addition. By adding the category of extracted oral photos to the CNN model, it is also possible to simply determine whether or not tooth extraction has occurred.
다음으로, 판단한 교정 여부 정보와 발치 여부 정보를 개체 탐지(Object Detection)로 분석하여 치아우식 상태 정보 및 보철물 상태정보를 획득한다. 이를 위해 도 6과 같은 입력된 구간 사진(이미지)으로부터 구강질환(치아우식) 및 보철물 탐지를 판정하는 개체 탐지(Object Detection) 알고리즘을 구축한다. 구강질환 및 보철물 탐지를 판정하는 개체 탐지 알고리즘은 기개발된 Faster R-CNN, SSD, YOLO(W.Liu et al., 2015, arXiv(http://arxiv.org/abs/1512.02325)) 등을 이용할 수 있다. 상기 개체 탐지 알고리즘으로 치아우식 상태정보 및 보철물 상태 정보를 획득하기 위한 필요 데이터로는 구강질환 및 보철물이 표시된 사진 데이터를 이용할 수 있다. 교정기 착용 여부를 구분하여 학습함으로써 정확도를 향상시킬 수 있다. 하나의 알고리즘으로 치아우식과 보철물을 모두 탐지할 수 있는 장점이 있다. 여기서 치아우식 상태정보는 치아우식의 존재 유무 정보와 치아우식이 존재할 경우 치아우식 개수정보를 포함할 수 있으며, 상기 보철물 상태정보는 보철물 존재 유무 정보와 보철물이 존재할 경우 보철물 개수정보를 포함할 수 있다. 치아우식 이미지 학습은 사용자가 제공한 구강 사진이 전체 구강 부위의 어느 부위인지를 확인하고, 구강 부위 이미지의 위치를 확인한 후 이미지 학습을 수행하고, 이를 통해 치아우식 존재 유무와 치아우식 개수를 추출한다. 동일한 방법으로, 보철물 존재 유무와 보철물 개수도 추출한다.Next, the determined orthodontic information and tooth extraction information are analyzed by object detection to obtain dental caries status information and prosthesis status information. To this end, an object detection algorithm for determining oral disease (dental caries) and prosthesis detection from the input section photo (image) as shown in FIG. 6 is constructed. The object detection algorithm that determines the detection of oral diseases and prostheses uses the previously developed Faster R-CNN, SSD, YOLO (W.Liu et al., 2015, arXiv (http://arxiv.org/abs/1512.02325)), etc. Available. As data required for obtaining dental caries status information and prosthesis status information with the object detection algorithm, photo data showing oral diseases and prostheses may be used. Accuracy can be improved by classifying whether or not to wear braces and learning. It has the advantage of being able to detect both dental caries and prostheses with one algorithm. Here, the dental caries status information may include information on the presence or absence of dental caries and information on the number of dental caries when there is dental caries, and the prosthesis status information includes information on the presence or absence of a prosthesis and information on the number of prostheses when there is a prosthesis. . Dental caries image learning checks which part of the entire oral region the oral photo provided by the user is, and performs image learning after confirming the position of the oral region image, and through this, the presence or absence of dental caries and the number of dental caries are extracted. . In the same way, the presence or absence of the prosthesis and the number of prostheses are also extracted.
이어, 상기 교정 여부 정보 및 발치 여부 정보와 치아우식 상태정보 및 보철물 상태정보를 도 7과 같은 ANN(Artificial Neural Network) 알고리즘(2019년 NIMS 산업수학 문제해결 워크숍 제안 모델)으로 학습하여 구강건강 상태를 판정한다. 여기서 인공지능 알고리즘인 ANN 알고리즘은 상기 교정 여부 정보와 발치 여부 정보와 치아우식 상태정보 및 보철물 상태정보를 입력(input)으로 하여, 구강 건강상태(구강건강도)를 판정한다. 이를 위해 전문의 또는 전공의로부터 획득한 신뢰할 수 있는 사진 데이터에 해당하는 환자의 구강건강도 판정 자료를 이용할 수 있다. 상기 구강 건강 상태 판정이 완료되면 구강건강 예측정보를 생성하여 내부 데이터베이스에 저장한다.Then, the oral health status by learning the orthodontic information, tooth extraction information, dental caries status information, and prosthesis status information with the ANN (Artificial Neural Network) algorithm (2019 NIMS industrial math problem solving workshop proposal model) as shown in FIG. judge Here, the ANN algorithm, which is an artificial intelligence algorithm, determines an oral health state (oral health) by inputting the correction information, tooth extraction information, dental caries state information, and prosthesis state information as inputs. For this purpose, the patient's oral health evaluation data corresponding to reliable photographic data obtained from a specialist or a specialist may be used. When the oral health state determination is completed, oral health prediction information is generated and stored in an internal database.
다음으로, 구강건강정보 제공부(320)는 상기 판정을 통해 획득한 구강검진 진단결과를 사용자 단말(100)로 전송한다. 이때, 구강검진 진단결과의 무단 유출을 방지하기 위해서, 암호화 모듈을 이용하여 구강검진 진단결과를 암호화한다. 암호화는 전달받거나 미리 등록된 사용자 단말의 기기 ID와 사용자 정보를 이용하여 256비트의 웹 접근 토큰을 발생하는 방식을 이용한다.Next, the oral health
이렇게 암호화된 구강검진 진단결과는 구강관리 서비스 서버(200)를 통해 사용자 단말(100)로 전송된다. 여기서 구강검진 진단결과는 구강 검진 보고서 형태일 수 있다.The encrypted oral examination diagnosis result is transmitted to the
구강건강 관리서버(300)에서 구강검진 진단결과가 사용자 단말(100)까지 전송되기 이전에 해킹 등과 같은 방식에 의해 무단으로 허가받지 않은 자에게 유출되어도, 사용자 기기 ID와 사용자 정보로 웹 토큰이 암호화되어 있어서, 사용자 기기 ID와 사용자 정보를 모르는 타인은 구강검진 결과정보를 확인할 수 없어, 보안성 향상을 도모할 수 있게 된다.Even if the oral
사용자 단말(100)의 구강관리 서비스 처리부(104)는 구강검진 진단결과 정보인 구강검진 진단결과가 도래하면, 복호화 모듈을 이용하여 등록된 사용자 기기 ID와 사용자 정보를 이용하여 웹 접근 토큰을 복호화한다. 복호화하는 암호화의 역순이 된다.When the oral examination diagnosis result, which is the oral examination diagnosis result information, arrives, the oral care
사용자 기기 ID와 사용자 정보가 일치하는 경우에는 암호화된 구강검진 결과를 열어볼 수 있다.If the user device ID and user information match, the encrypted oral examination result can be opened.
이렇게 웹 토큰 발행 시 암호화정보를 이용함으로써, 허가받지 않은 사용자가 구강검진 진단결과에 접근하는 것을 원천적으로 방지할 수 있다.By using encryption information when issuing web tokens in this way, it is possible to fundamentally prevent unauthorized users from accessing the oral examination diagnosis results.
구강관리 서비스 처리부(104)는 복호화한 구강검진 결과정보를 내부 메모리에 저장하고, 이를 화면에 표출하여 사용자가 실시간으로 구강진단 결과를 확인할 수 있도록 한다.The oral care
구강진단 결과를 토대로 구강상태가 위험 상황이면 구강검진 결과인 검진 보고서의 화면에 치과 예약하기가 표시된다. 도 12는 구강검진 진단 결과 화면의 예시이다. 치과 예약하기가 선택되면, 현재 위치를 기반으로 지도 검색을 통해 치과정보를 화면에 표출해준다. 지도 검색 기반의 치과정보 찾기는 현재 위치로부터 거리가 가장 가까운 순서대로 치과 정보를 표출해줄 수 있다. 만약, 사용자가 특정 위치(서울을 기준으로 구나 동을 선택)를 선택하면, 현재 위치 기반 선택한 특정 위치의 거리 순으로 치과 정보를 화면에 표출해준다.Based on the oral diagnosis result, if the oral condition is in a dangerous situation, a dental appointment is displayed on the screen of the examination report, which is the oral examination result. 12 is an example of an oral examination diagnosis result screen. When the dental appointment is selected, dental information is displayed on the screen through a map search based on the current location. Searching for dental information based on a map search may display dental information in the order of the nearest distance from the current location. If the user selects a specific location (selecting a district or a dong based on Seoul), dental information is displayed on the screen in order of the distance of the selected specific location based on the current location.
이러한 본 발명에 따르면 사용자가 자신의 구강을 촬영하여 업-로드하면, 인공지능 알고리즘을 이용하여 구강건강 상태를 진단하고, 진단 결과를 암호화하여 구강건강 보고서를 실시간으로 사용자에게 제공함으로써, 사용자가 자신의 구강건강을 용이하게 관리하고, 구강건강 악화를 사전에 예방할 수 있게 되는 것이다.According to the present invention, when a user uploads a photograph of his/her own oral cavity, the user diagnoses the oral health condition using an artificial intelligence algorithm and provides an oral health report to the user in real time by encrypting the diagnosis result. You can easily manage your oral health and prevent deterioration of your oral health in advance.
또한, 등록된 가족에 대해서도 동일한 방식으로 구강관리가 가능하므로, 하나의 모바일기반 애플리케이션으로 자신은 물론 가곡 모두의 구강관리를 통합적으로 편리하게 수행할 수 있게 되는 것이다.In addition, since oral care is possible for a registered family in the same way, it is possible to conveniently perform oral care not only for oneself but also for all songs and songs with one mobile-based application.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.Although the invention made by the present inventor has been described in detail according to the above embodiment, the present invention is not limited to the above embodiment, and it is common knowledge in the art that various changes can be made without departing from the gist of the present invention. self-evident to those who have
100: 사용자 단말
101: 사진 입력부
102: 사진 보정부
103: 문진 응답부
104: 구강관리 서비스 처리부
200: 구강건강 서비스 서버
300: 구강건강 관리서버
310: 구강건강 연산부
311: 사진 등록부
312: 구강 진단부
320: 구강건강정보 제공부
330: 데이터베이스100: user terminal
101: photo input unit
102: photo retouching unit
103: Questionnaire response unit
104: Oral care service processing department
200: oral health service server
300: oral health management server
310: oral health calculation unit
311: photo register
312: oral diagnostic unit
320: oral health information provider
330: database
Claims (8)
사용자의 구강 이미지를 보정한 후 보정한 구강 이미지를 제공하고 구강검진 진단을 요청하는 사용자 단말;
상기 사용자 단말로부터 제공되는 구강이미지를 전송하여 구강검진 진단을 요청하고, 구강검진 진단결과를 사용자에게 전송하는 구강관리 서비스서버; 및
상기 구강관리 서비스서버로부터 전송된 구강이미지를 진단하여 구강건강정보를 생성하고, 생성한 구강건강정보를 암호화하여 구강검진 진단결과로 상기 구강관리 서비스서버에 전송하는 구강건강 관리서버를 포함하는 것을 특징으로 하는 모바일기반 자가 구강검진장치.
As a device for diagnosing oral health by analyzing oral photos with an artificial intelligence algorithm,
a user terminal providing a corrected oral image after correcting the user's oral image and requesting an oral examination diagnosis;
an oral care service server that transmits an oral image provided from the user terminal to request an oral examination diagnosis, and transmits an oral examination diagnosis result to the user; and
An oral health management server that generates oral health information by diagnosing the oral image transmitted from the oral care service server, and encrypts the generated oral health information to transmit the oral health checkup diagnosis result to the oral care service server A mobile-based self-examination device.
The method according to claim 1, The user terminal, oral care service server and oral health management server through the transmission and reception of the encrypted oral examination diagnosis result, mobile-based self-examination device characterized in that it improves security even in case of data leakage due to hacking. .
The mobile device of claim 1, wherein the oral health management server improves security by limiting the authority of an access target using an access token using a user terminal ID and user information when transmitting an oral examination diagnosis result. Based self-oral examination device.
The method according to claim 1, The user terminal is a photo input unit for inputting the photograph of the oral health examination target image as a photographed oral image; a photo correction unit for increasing the sharpness by correcting the oral image input from the photo input unit; The oral health examination is requested by sending the oral image corrected by the photo corrector to the oral care service server, the received oral examination diagnosis result is displayed on the screen, and the hospital reservation or family member according to the request through the user's key input A mobile-based self-examination device comprising an oral care service processing unit that provides oral care services.
The mobile-based self-oral examination apparatus of claim 4, wherein the user terminal further comprises a questionnaire response unit for generating questionnaire response information by using the user's response information to the oral examination questionnaire.
The method according to claim 4, The oral care service processing unit, when the user selects a simple checkup in the checkup mode, requests an oral checkup diagnosis using only the oral image corrected by the photo corrector and the user's personal information, and the user selects a simple checkup in the checkup mode. When a general examination is selected, an oral examination diagnosis is requested using the oral image corrected by the photo correction unit, the questionnaire response information generated by the questionnaire response unit, and the user's personal information.
The method according to claim 1, wherein the oral health management server is an artificial intelligence algorithm CNN (Convolutional Neural Network) algorithm by learning the received oral photograph to determine whether the photograph can be analyzed, whether or not to correct and whether to extract, and detects the determined result information An oral health calculation unit that obtains dental caries status information and prosthesis status information by analyzing (Object Detection), and determines oral health status by learning the acquired dental caries status information and prosthesis status information with an Artificial Neural Network (ANN) algorithm; Mobile-based self-oral examination device, characterized in that it generates the oral health information determined by the oral health calculation unit as an oral examination diagnosis result, and an oral health information providing unit that encrypts the generated oral examination diagnosis result and transmits it to the user terminal. .
The method according to claim 7, wherein the oral health calculation unit is a photo registration unit for registering the oral photograph transmitted from the user terminal as an oral examination diagnosis target; The image registered in the photo register is learned with a CNN (Convolutional Neural Network) algorithm to determine whether the photo can be analyzed, whether to correct or not, and whether or not to extract, and analyze the determined result information by object detection to obtain dental caries status information. and an oral diagnostic unit that acquires the prosthesis status information and determines the oral health status by learning the acquired orthodontic status information and tooth extraction status information, dental caries status information, and prosthesis status information with an Artificial Neural Network (ANN) algorithm. A mobile-based self-examination device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190175638A KR102311398B1 (en) | 2019-12-26 | 2019-12-26 | Mobile based self-oral examination device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190175638A KR102311398B1 (en) | 2019-12-26 | 2019-12-26 | Mobile based self-oral examination device |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210083478A true KR20210083478A (en) | 2021-07-07 |
KR102311398B1 KR102311398B1 (en) | 2021-10-14 |
Family
ID=76862140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190175638A KR102311398B1 (en) | 2019-12-26 | 2019-12-26 | Mobile based self-oral examination device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102311398B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102388763B1 (en) * | 2021-10-27 | 2022-04-20 | 임시원 | Hospital reception relay system and operation method thereof |
KR20230045871A (en) * | 2021-09-29 | 2023-04-05 | 주식회사 큐티티 | Oral examination method using oral examination booth |
JP2023099273A (en) * | 2021-12-30 | 2023-07-12 | キュウティーティー カンパニー | Oral cavity image learning/classification device and method of the same |
KR102657776B1 (en) * | 2023-03-02 | 2024-04-16 | 구민경 | A system for designing dental restorations |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102535571B1 (en) | 2022-03-18 | 2023-05-26 | 임우진 | toothpaste set with detecting punction of periodontal disease risk |
KR102665272B1 (en) * | 2022-11-30 | 2024-05-09 | 주식회사 리얼라이너 | Orthodontics care system and method for orthodontics care |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150057674A (en) * | 2013-11-20 | 2015-05-28 | 주식회사 유비케어 | Apparatus and method for managing health examination information |
KR20160145448A (en) * | 2015-06-10 | 2016-12-20 | 주식회사 레메디 | The diagnostic imaging apparatus and method for transmitting a diagnostic image to external system thereby |
KR20170050467A (en) | 2015-10-30 | 2017-05-11 | 동의대학교 산학협력단 | Method and server for providing user-costomized oral care service and |
KR101788030B1 (en) | 2016-06-15 | 2017-11-15 | 주식회사 카이아이컴퍼니 | System and method for risk diagnosis on oral disease and oral care |
KR20180068703A (en) * | 2016-12-14 | 2018-06-22 | 최성숙 | Self oral care service system and Method thereof |
KR101868979B1 (en) | 2016-05-31 | 2018-07-23 | (주)이너웨이브 | A system and method for managing of oral care using deep learning |
-
2019
- 2019-12-26 KR KR1020190175638A patent/KR102311398B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150057674A (en) * | 2013-11-20 | 2015-05-28 | 주식회사 유비케어 | Apparatus and method for managing health examination information |
KR20160145448A (en) * | 2015-06-10 | 2016-12-20 | 주식회사 레메디 | The diagnostic imaging apparatus and method for transmitting a diagnostic image to external system thereby |
KR20170050467A (en) | 2015-10-30 | 2017-05-11 | 동의대학교 산학협력단 | Method and server for providing user-costomized oral care service and |
KR101868979B1 (en) | 2016-05-31 | 2018-07-23 | (주)이너웨이브 | A system and method for managing of oral care using deep learning |
KR101788030B1 (en) | 2016-06-15 | 2017-11-15 | 주식회사 카이아이컴퍼니 | System and method for risk diagnosis on oral disease and oral care |
KR20180068703A (en) * | 2016-12-14 | 2018-06-22 | 최성숙 | Self oral care service system and Method thereof |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230045871A (en) * | 2021-09-29 | 2023-04-05 | 주식회사 큐티티 | Oral examination method using oral examination booth |
KR102388763B1 (en) * | 2021-10-27 | 2022-04-20 | 임시원 | Hospital reception relay system and operation method thereof |
JP2023099273A (en) * | 2021-12-30 | 2023-07-12 | キュウティーティー カンパニー | Oral cavity image learning/classification device and method of the same |
KR102657776B1 (en) * | 2023-03-02 | 2024-04-16 | 구민경 | A system for designing dental restorations |
Also Published As
Publication number | Publication date |
---|---|
KR102311398B1 (en) | 2021-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102311398B1 (en) | Mobile based self-oral examination device | |
US11961620B2 (en) | Method and apparatus for determining health status | |
KR102311385B1 (en) | Oral Health Prediction Device and Method Using Dental Caries Detection | |
US20210398275A1 (en) | Oral health prediction apparatus and method using machine learning algorithm | |
CN109310317A (en) | System and method for automated medicine diagnosis | |
US11275757B2 (en) | Systems and methods for capturing data, creating billable information and outputting billable information | |
CN105612551A (en) | Electronic delivery of information in personalized medicine | |
US10937160B1 (en) | Dental images processed with artificial intelligence | |
KR20200046162A (en) | Periodontal disease management system using deep running and big data | |
US20140100878A1 (en) | System and method of integrating mobile medical data into a database centric analytical process, and clinical workflow | |
US11114208B1 (en) | Methods and systems for predicting a diagnosis of musculoskeletal pathologies | |
US11200967B1 (en) | Medical patient synergistic treatment application | |
CN113707253A (en) | Medical scheme recommendation method, device, equipment and medium | |
KR20200109666A (en) | System for recommending health care provider using smart device and method therefor | |
KR102041888B1 (en) | Dental care system | |
KR20170022007A (en) | System and computer readable recording medium for management health information | |
KR20200143012A (en) | A method and an apparatus for providing healthcare services using health examination data | |
JP7382741B2 (en) | Medical institution selection support device | |
KR102311395B1 (en) | Oral Health Prediction Device and Method Using Periodontitis Detection | |
KR102111063B1 (en) | Method for diagnosing oral health status using internet and server thereof | |
WO2008033010A1 (en) | Device and method for positioning recording means for recording images relative to an object | |
KR102392912B1 (en) | Booth based self-oral examination device | |
JP2023065876A (en) | Mobile-based self oral cavity medical examination apparatus | |
KR102392916B1 (en) | Oral examination apparatus using examination booth | |
KR102334346B1 (en) | Healthcare platform for analyzing captured ear images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |