KR20230134785A - Inspection tool inserting system and method for inserting inspection tool using the same - Google Patents
Inspection tool inserting system and method for inserting inspection tool using the same Download PDFInfo
- Publication number
- KR20230134785A KR20230134785A KR1020220031992A KR20220031992A KR20230134785A KR 20230134785 A KR20230134785 A KR 20230134785A KR 1020220031992 A KR1020220031992 A KR 1020220031992A KR 20220031992 A KR20220031992 A KR 20220031992A KR 20230134785 A KR20230134785 A KR 20230134785A
- Authority
- KR
- South Korea
- Prior art keywords
- examination tool
- swab tip
- subject
- camera
- examination
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000007689 inspection Methods 0.000 title 2
- 238000003780 insertion Methods 0.000 claims abstract description 236
- 230000037431 insertion Effects 0.000 claims abstract description 236
- 238000012966 insertion method Methods 0.000 claims abstract description 5
- 229920000742 Cotton Polymers 0.000 claims description 50
- 238000004364 calculation method Methods 0.000 claims description 9
- 210000005069 ears Anatomy 0.000 claims description 7
- 210000001331 nose Anatomy 0.000 description 57
- 238000010586 diagram Methods 0.000 description 16
- 239000013598 vector Substances 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 6
- 210000002345 respiratory system Anatomy 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 238000009530 blood pressure measurement Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/0045—Devices for taking samples of body liquids
- A61B10/0051—Devices for taking samples of body liquids for taking saliva or sputum samples
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B50/00—Containers, covers, furniture or holders specially adapted for surgical or diagnostic appliances or instruments, e.g. sterile covers
- A61B50/20—Holders specially adapted for surgical or diagnostic appliances or instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0247—Pressure sensors
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pulmonology (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Hematology (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Endoscopes (AREA)
Abstract
검진도구 삽입 시스템 및 이를 이용한 검진도구 삽입방법에서, 상기 검진도구 삽입 시스템은 검진도구, 제1 카메라, 제2 카메라 및 제어부를 포함한다. 상기 검진도구는 피검자의 삽입부로 삽입되어 검체를 채취한다. 상기 제1 카메라는 제1 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득한다. 상기 제2 카메라는 상기 제1 방향과 다른 제2 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득한다. 상기 제어부는 상기 제1 및 제2 카메라들로부터 획득된 이미지들을 바탕으로 상기 삽입부로 삽입되는 상기 검진도구의 삽입을 제어한다. In the examination tool insertion system and the examination tool insertion method using the same, the examination tool insertion system includes an examination tool, a first camera, a second camera, and a control unit. The examination tool is inserted into the subject's insertion area to collect a sample. The first camera acquires an image of the examination tool or the insertion unit toward a first direction. The second camera acquires an image of the examination tool or the insertion unit toward a second direction different from the first direction. The control unit controls insertion of the examination tool into the insertion unit based on images acquired from the first and second cameras.
Description
본 발명은 검진도구 삽입 시스템 및 이를 이용한 검진도구 삽입방법에 관한 것으로, 더욱 상세하게는 피검자의 얼굴에 대한 특징 인식을 통해 영상을 분석하고 이를 바탕으로 피검자의 검체를 채취하는 검진도구를 피검자의 상기도로 자동으로 삽입하기 위한 검진도구 삽입 시스템 및 이를 이용한 검진도구 삽입방법에 관한 것이다. The present invention relates to a system for inserting an examination tool and a method for inserting an examination tool using the same. More specifically, the present invention relates to an examination tool that analyzes images through recognition of features of the subject's face and collects a sample from the subject based on this. It relates to an examination tool insertion system for automatically inserting a examination tool and a method of inserting an examination tool using the same.
최근 상기도 감염병이 전세계적으로 유행하면서, 감염 여부의 확인을 위한 정확하고 빠른 검체 채취의 중요성이 증가하고 있다. 현재까지는, 이러한 검체 채취는 전문적인 의료인이 수작업으로 수행하고 있으며, 이러한 수작업의 경우 의료인들의 노동력이 증가하는 문제도 있으나, 특히 검체 채취 과정에서의 감염의 위험이 증가하는 문제를 야기하고 있다. As upper respiratory infectious diseases have recently become prevalent worldwide, the importance of accurate and rapid sample collection to confirm infection is increasing. To date, such sample collection is performed manually by professional medical personnel. This manual work has the problem of increasing the labor of medical personnel, but in particular, increases the risk of infection during the sample collection process.
이에, 비대면 또는 원격 구동으로 검체 채취를 수행할 수 있는 기술이 개발되고 있으며, 대한민국 등록특허 제10-2350049호에서는, 상기도 검체 채취를 위한 다자유도 원격 검진 장치를 개시하여, 의료인이 직접 환자와 대면하여 검체를 채취하지 않고, 원격으로 검진 장치를 제어하여 검체 채취를 수행하는 기술을 개시하고 있다. Accordingly, technology that can perform sample collection non-face-to-face or remotely operated is being developed, and in Republic of Korea Patent No. 10-2350049, a multi-degree-of-freedom remote examination device for upper respiratory sample collection is disclosed, allowing medical personnel to directly A technology is being disclosed to perform sample collection by remotely controlling an examination device without collecting the sample face-to-face with the patient.
또한, 대한민국 등록특허 제10-2343396호를 통해서도, 스왑의 장착 및 수거가 가능한 검진장치 및 이를 이용한 검체 채취방법을 개시하여, 원격으로 검진 장치를 제어하는 기술을 개시하고 있다. In addition, through Republic of Korea Patent No. 10-2343396, an examination device capable of mounting and collecting swabs and a sample collection method using the same are disclosed, and a technology for controlling the examination device remotely is disclosed.
그러나, 이러한 원격 검진 장치 제어 기술의 경우, 원격 제어자의 경험이나 조작술이 중요하여 미세한 검진 장치의 제어가 용이하지 않은 한계가 있다. 특히, 상기도로 스왑과 같은 검진도구를 삽입하는 경우, 상기도의 입구가 좁은 문제로 검진도구 삽입 방향을 제어하는 것이 어려운 문제가 있다. However, in the case of such remote examination device control technology, there is a limitation in that it is not easy to control fine examination devices because the remote controller's experience or operating skills are important. In particular, when inserting an examination tool such as a swab into the upper airway, it is difficult to control the direction of insertion of the examination tool due to the narrow entrance to the upper airway.
이에, 검진도구를 상기도로 삽입하는 삽입 과정을 자동화하려는 노력이 경주되고 있으나, 관련 기술의 개발은 미흡한 상황이다. Accordingly, efforts are being made to automate the insertion process of inserting the examination tool into the upper airway, but the development of related technology is insufficient.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 피검자의 얼굴에 대한 특징 인식을 통해 영상을 분석하고 이를 바탕으로 피검자의 검체를 채취하는 검진도구를 피검자의 상기도로 자동으로 삽입함으로써, 보다 정확하고 효율적인 삽입이 가능하여 피검자의 편의성을 향상시키고 삽입시간을 최소화할 수 있는 검진도구 삽입 시스템을 제공하는 것이다. Accordingly, the technical problem of the present invention was conceived in this regard, and the purpose of the present invention is to analyze the image through recognition of the characteristics of the subject's face, and based on this, to automatically analyze the image through the subject's upper respiratory tract to collect the subject's sample. By inserting, more accurate and efficient insertion is possible, thereby improving the convenience of the subject and providing an examination tool insertion system that can minimize insertion time.
또한, 본 발명의 다른 목적은 상기 검진도구 삽입 시스템을 이용한 검진도구 삽입방법을 제공하는 것이다. In addition, another object of the present invention is to provide a method of inserting an examination tool using the examination tool insertion system.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 의한 검진도구 삽입 시스템은 검진도구, 제1 카메라, 제2 카메라 및 제어부를 포함한다. 상기 검진도구는 피검자의 삽입부로 삽입되어 검체를 채취한다. 상기 제1 카메라는 제1 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득한다. 상기 제2 카메라는 상기 제1 방향과 다른 제2 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득한다. 상기 제어부는 상기 제1 및 제2 카메라들로부터 획득된 이미지들을 바탕으로 상기 삽입부로 삽입되는 상기 검진도구의 삽입을 제어한다. An examination tool insertion system according to an embodiment for realizing the object of the present invention described above includes an examination tool, a first camera, a second camera, and a control unit. The examination tool is inserted into the subject's insertion area to collect a sample. The first camera acquires an image of the examination tool or the insertion unit toward a first direction. The second camera acquires an image of the examination tool or the insertion unit toward a second direction different from the first direction. The control unit controls insertion of the examination tool into the insertion unit based on images acquired from the first and second cameras.
일 실시예에서, 상기 제1 카메라는 피검자의 얼굴의 정면부를 향하도록 배치되며, 상기 제2 카메라는 피검자의 얼굴의 측면부를 향하도록 배치될 수 있다. In one embodiment, the first camera may be arranged to face the front part of the subject's face, and the second camera may be arranged to face the side part of the subject's face.
일 실시예에서, 상기 제1 카메라는, 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose)의 이미지를 획득하고, 상기 제2 카메라는, 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose) 및 귀(ear)의 이미지를 획득할 수 있다. In one embodiment, the first camera acquires an image of the subject's nose using the swab tip of the examination tool and the insertion part, and the second camera acquires an image of the subject's nose using the swab tip of the examination tool and the insertion part. As a result, images of the subject's nose and ears can be obtained.
일 실시예에서, 상기 제1 카메라에서 획득된 이미지를 학습하여 상기 제1 카메라가 위치하는 좌표에서 면봉 팁 및 피검자의 코를 식별하고, 상기 제2 카메라에서 획득된 이미지를 학습하여 상기 제2 카메라가 위치하는 좌표에서 면봉 팁 및 피검자의 코와 귀를 식별하는 학습부를 더 포함할 수 있다. In one embodiment, the image acquired from the first camera is learned to identify the cotton swab tip and the subject's nose at the coordinates where the first camera is located, and the image acquired from the second camera is learned to identify the second camera It may further include a learning unit that identifies the cotton swab tip and the subject's nose and ears at the coordinates where is located.
일 실시예에서, 상기 식별된 면봉 팁, 및 상기 식별된 피검자의 삽입부 정보를 바탕으로, 상기 면봉 팁의 이동량과 삽입 방향을 연산하는 연산부를 더 포함할 수 있다. In one embodiment, the device may further include a calculation unit that calculates a movement amount and insertion direction of the swab tip based on the identified swab tip and information on the inserted part of the identified subject.
일 실시예에서, 상기 제어부는, 상기 면봉 팁이 상기 피검자의 코로 삽입되는 경우, 상기 면봉 팁이 상기 코와 상기 귀를 연결하는 선(line)을 따라 진행하도록 상기 검진도구의 삽입을 제어할 수 있다. In one embodiment, the control unit may control the insertion of the examination tool so that when the swab tip is inserted into the subject's nose, the swab tip proceeds along a line connecting the nose and the ear. there is.
일 실시예에서, 상기 검진도구의 삽입시 상기 검진도구의 압력을 측정하는 압력센서를 더 포함하고, 상기 압력센서에서 측정되는 압력을 바탕으로 상기 검진도구가 검체 채취 위치에 도달하였는가의 여부가 판단될 수 있다. In one embodiment, it further includes a pressure sensor that measures the pressure of the examination tool when the examination tool is inserted, and whether the examination tool has reached the sample collection position is determined based on the pressure measured by the pressure sensor. It can be.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 의한 검진도구를 피검자의 삽입부로 삽입하여 검체를 채취하는 검진도구 삽입방법에서, 상기 삽입부에 대한 상기 검진도구의 초기 삽입 방향을 설정한다. 상기 검진도구의 면봉 팁의 이미지를 바탕으로, 상기 면봉 팁이 상기 삽입부로 삽입되기 전의 위치를 확인한다. 상기 면봉 팁의 이미지와 상기 삽입부의 이미지를 바탕으로, 상기 면봉 팁을 삽입 위치로 이동시킨다. 상기 면봉 팁의 이미지와 상기 삽입부의 이미지를 바탕으로, 상기 면봉 팁의 상기 삽입부로의 삽입 각도를 결정한다. 상기 결정된 삽입각도로 상기 검진도구를 삽입한다. In the examination tool insertion method of collecting a sample by inserting the examination tool into the insertion part of the subject according to an embodiment for realizing another object of the present invention described above, the initial insertion direction of the examination tool with respect to the insertion part is set. . Based on the image of the swab tip of the examination tool, the position of the swab tip before being inserted into the insertion portion is confirmed. Based on the image of the swab tip and the image of the insertion portion, the swab tip is moved to the insertion position. Based on the image of the swab tip and the image of the insertion portion, the insertion angle of the swab tip into the insertion portion is determined. The examination tool is inserted at the determined insertion angle.
일 실시예에서, 상기 초기 삽입 방향을 설정하는 단계는, 상기 삽입부가 코인 경우, 상기 검진도구가 상기 코의 왼쪽 및 오른쪽 중 어느 한쪽 비공으로 삽입되는가의 여부를 판단하는 단계, 및 상기 어느 한쪽 비공으로 삽입되는 경우, 해당 방향으로 소정의 삽입각도를 형성하도록 상기 검진도구의 삽입 방향을 설정하는 단계를 포함할 수 있다. In one embodiment, the step of setting the initial insertion direction includes, when the insertion portion is a nose, determining whether the examination tool is inserted into either the left or right nostril of the nose, and the step of determining whether the examination tool is inserted into either the left or right nostril of the nose. When inserted, it may include setting the insertion direction of the examination tool to form a predetermined insertion angle in the corresponding direction.
일 실시예에서, 상기 삽입부는 피검자의 얼굴의 정면부를 향하도록 배치된 제1 카메라 또는 피검자의 얼굴의 측면부를 향하도록 배치된 제2 카메라에서 획득된 이미지로부터 학습으로 식별될 수 있다. In one embodiment, the insertion portion may be identified by learning from an image acquired from a first camera disposed to face the front portion of the subject's face or a second camera disposed to face the side portion of the subject's face.
일 실시예에서, 상기 면봉 팁이 상기 삽입부로 삽입되기 전의 위치를 확인하는 단계는, 상기 식별된 면봉 팁을 인식하는 단계, 및 상기 면봉 팁이 기 설정된 초기 삽입 범위 이내에 위치하는 가의 여부를 판단하는 단계를 포함할 수 있다. In one embodiment, the step of confirming the position of the swab tip before it is inserted into the insertion unit includes recognizing the identified swab tip, and determining whether the swab tip is located within a preset initial insertion range. May include steps.
일 실시예에서, 상기 면봉 팁을 삽입 위치로 이동시키는 단계는, 상기 삽입부 및 상기 면봉 팁을 인식하는 단계, 상기 면봉 팁의 이동량을 연산하는 단계, 및 상기 연산된 이동량만큼 상기 면봉 팁을 이동시키는 단계를 포함할 수 있다. In one embodiment, the step of moving the cotton swab tip to the insertion position includes recognizing the insertion portion and the cotton swab tip, calculating a movement amount of the cotton swab tip, and moving the cotton swab tip by the calculated movement amount. It may include the step of asking.
일 실시예에서, 상기 면봉 팁의 상기 삽입부로의 삽입 각도를 결정하는 단계는, 상기 삽입부를 인식하는 단계, 상기 면봉 팁의 삽입 방향을 연산하는 단계, 및 상기 면봉 팁의 삽입각도를 결정하는 단계를 포함할 수 있다. In one embodiment, the step of determining the insertion angle of the cotton swab tip into the insertion part includes recognizing the insertion part, calculating the insertion direction of the cotton swab tip, and determining the insertion angle of the cotton swab tip. may include.
일 실시예에서, 상기 삽입부를 인식하는 단계에서, 상기 제1 카메라를 통해 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose)의 이미지를 획득하여 인식하고, 상기 제2 카메라를 통해 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose) 및 귀(ear)의 이미지를 획득하여 인식할 수 있다. In one embodiment, in the step of recognizing the insertion part, an image of the swab tip of the examination tool and the subject's nose as the insertion part is acquired and recognized through the first camera, and the image of the subject's nose as the insertion part is acquired and recognized through the second camera. Images of the subject's nose and ears can be obtained and recognized using the swab tip and the insertion part of the examination tool.
일 실시예에서, 상기 면봉 팁의 삽입각도를 결정하는 단계에서, 상기 면봉 팁의 삽입 방향과, 상기 피검자의 코와 상기 피검자의 귀를 연결하는 방향이 형성하는 각이 기 설정된 범위 이내가 되도록, 상기 면봉 팁의 삽입각도를 결정할 수 있다. In one embodiment, in the step of determining the insertion angle of the cotton swab tip, the angle formed between the insertion direction of the cotton swab tip and the direction connecting the subject's nose and the subject's ear is within a preset range, The insertion angle of the swab tip can be determined.
일 실시예에서, 상기 검진도구를 삽입하는 단계에서, 상기 면봉 팁의 삽입 방향과, 상기 피검자의 코와 상기 피검자의 귀를 연결하는 방향이 서로 일치하도록 상기 검진도구의 삽입 각도를 변경할 수 있다. In one embodiment, in the step of inserting the examination tool, the insertion angle of the examination tool may be changed so that the insertion direction of the cotton swab tip and the direction connecting the subject's nose and the subject's ear match each other.
일 실시예에서, 상기 검진도구를 삽입하는 단계에서, 상기 검진도구의 압력이 기 설정된 범위에 도달하는 경우, 상기 검진도구의 삽입을 중단하고 검체를 채취할 수 있다. In one embodiment, in the step of inserting the examination tool, when the pressure of the examination tool reaches a preset range, insertion of the examination tool may be stopped and a sample may be collected.
본 발명의 실시예들에 의하면, 검진도구에 대한 이미지 및 피검자의 삽입부에 대한 이미지를 통해 학습으로 필요한 특징을 추출하고, 상기 검진도구가 상기 삽입부로 정확하게 삽입되도록 자동으로 제어함으로써, 종래 수동으로 수행하던 검진 방법을 자동화할 수 있으며, 나아가 원격으로 검진을 수행하는 경우 자동 삽입이 부가됨으로써 보다 정확하고 효율적인 검진 및 검체 채취가 가능할 수 있다. According to embodiments of the present invention, necessary features are extracted through learning through images of the examination tool and images of the subject's insertion part, and the examination tool is automatically controlled to be accurately inserted into the insertion part, compared to the conventional manual method. The examination method being performed can be automated, and furthermore, when performing the examination remotely, automatic insertion can be added, allowing for more accurate and efficient examination and sample collection.
특히, 검진도구와 삽입부로서 코의 상호 위치 및 방향을 정확하게 식별하기 위해, 2개의 카메라를 서로 다른 방향을 향하도록 배치하여 이미지를 획득하는 것으로, 이를 통해 별도의 3차원 카메라를 사용하지 않으면서도 검진도구를 삽입부로 정확하게 삽입 가이드를 수행할 수 있다. In particular, in order to accurately identify the mutual position and direction of the nose as an examination tool and insertion part, images are acquired by arranging two cameras to face different directions, thereby enabling imaging without using a separate 3D camera. You can accurately guide the insertion of the examination tool into the insertion area.
이 경우, 검진도구와 삽입부의 식별을 이미지 학습을 통해 수행함으로써, 특징부의 학습 및 식별로 보다 용이하게 검진도구와 삽입부의 위치 및 방향 정보를 획득하여 상기 삽입 가이드의 신속성 및 효율성을 향상시킬 수 있다. In this case, by identifying the examination tool and the insertion part through image learning, the location and direction information of the examination tool and the insertion part can be obtained more easily through learning and identification of the features, thereby improving the speed and efficiency of the insertion guide. .
또한, 삽입 방향 및 위치를 제어함에 있어, 검진도구의 면봉 팁이 피검자의 코로 삽입되는 경우, 상기 면봉 팁과 상기 코와 귀를 연결하는 선을 따라 상기 면봉 팁을 삽입시킴으로써, 실제 피검자의 상기도의 내측을 따라 최소의 통증으로 정확하게 검체 채취가 가능한 영역으로 위치할 수 있다. In addition, in controlling the insertion direction and position, when the cotton swab tip of the examination tool is inserted into the subject's nose, the cotton swab tip is inserted along the line connecting the nose and the ear, so that the actual subject's upper airway It can be located along the medial side in an area where specimen collection can be performed accurately with minimal pain.
즉, 이미지를 통해 식별되는 주요 특징들에 대한 정보만으로, 검진도구를 통한 검체 채취에 있어서의 최적의 위치로 용이하게 제어할 수 있으므로, 피검자의 편의성을 향상시키는 것은 물론, 검체 채취의 효율성 및 신속성을 향상시킬 수 있다. In other words, it is possible to easily control the optimal location for sample collection using an examination tool using only information about the main features identified through the image, thereby improving the convenience of the subject as well as improving the efficiency and speed of sample collection. can be improved.
추가로, 압력센서의 센싱 정보를 통해 면봉 팁이 상기도 끝단, 즉 검체 채취 위치에 정확하게 도달하였는가를 센싱할 수 있으므로, 검체 채취의 자동화를 완전하게 구현할 수 있다. Additionally, since it is possible to sense whether the swab tip has accurately reached the end of the upper respiratory tract, that is, the sample collection location, through the sensing information of the pressure sensor, automation of sample collection can be completely implemented.
도 1은 본 발명의 일 실시예에 의한 검진도구 삽입시스템을 도시한 측면 모식도이다.
도 2는 도 1의 검진도구 삽입시스템을 도시한 평면 모식도이다.
도 3은 도 1의 검진도구 삽입시스템을 통해 검진도구가 삽입되는 상태에서, 제1 카메라를 통해 촬영되는 영상의 예를 도시한 모식도이다.
도 4는 도 1의 검진도구 삽입시스템을 통해 검진도구가 삽입되는 상태에서, 제2 카메라를 통해 촬영되는 영상의 예를 도시한 모식도이다.
도 5는 도 1의 검진도구 삽입시스템을 이용한 검진도구 삽입방법을 도시한 흐름도이다.
도 6a 및 도 6b는 도 5의 검진도구 삽입방법을 상세하게 도시한 흐름도이다.
도 7a 및 도 7b는 도 5의 면봉의 초기 삽입 방향 설정의 예를 도시한 평면 모식도들이다.
도 8은 도 5의 면봉 팁을 삽입 위치로 이동하는 단계를 도시한 측면 모식도이다.
도 9는 도 5의 면봉 팁의 삽입 각도 결정 단계를 도시한 측면 모식도이다.
도 10은 도 5의 면봉 삽입 단계를 도시한 측면 모식도이다. Figure 1 is a side schematic diagram showing an examination tool insertion system according to an embodiment of the present invention.
Figure 2 is a plan schematic diagram showing the examination tool insertion system of Figure 1.
FIG. 3 is a schematic diagram illustrating an example of an image captured through a first camera in a state in which an examination tool is inserted through the examination tool insertion system of FIG. 1.
FIG. 4 is a schematic diagram illustrating an example of an image captured by a second camera while a examination tool is inserted through the examination tool insertion system of FIG. 1.
Figure 5 is a flowchart showing a method of inserting an examination tool using the examination tool insertion system of Figure 1.
FIGS. 6A and 6B are flowcharts showing the method of inserting the examination tool of FIG. 5 in detail.
FIGS. 7A and 7B are plan schematic diagrams showing an example of setting the initial insertion direction of the cotton swab of FIG. 5.
Figure 8 is a side schematic diagram showing the steps of moving the swab tip of Figure 5 to the insertion position.
Figure 9 is a side schematic diagram showing the step of determining the insertion angle of the cotton swab tip in Figure 5.
Figure 10 is a side schematic diagram showing the cotton swab insertion step of Figure 5.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. Since the present invention can be subject to various changes and can have various forms, embodiments will be described in detail in the text. However, this is not intended to limit the present invention to a specific disclosed form, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. While describing each drawing, similar reference numerals are used for similar components. Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The above terms are used only for the purpose of distinguishing one component from another. The terms used in this application are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.
본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. In this application, terms such as “comprise” or “consist of” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as generally understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless explicitly defined in the present application, should not be interpreted in an ideal or excessively formal sense. No.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the attached drawings.
도 1은 본 발명의 일 실시예에 의한 검진도구 삽입시스템을 도시한 측면 모식도이다. 도 2는 도 1의 검진도구 삽입시스템을 도시한 평면 모식도이다. 도 3은 도 1의 검진도구 삽입시스템을 통해 검진도구가 삽입되는 상태에서, 제1 카메라를 통해 촬영되는 영상의 예를 도시한 모식도이다. 도 4는 도 1의 검진도구 삽입시스템을 통해 검진도구가 삽입되는 상태에서, 제2 카메라를 통해 촬영되는 영상의 예를 도시한 모식도이다.Figure 1 is a side schematic diagram showing an examination tool insertion system according to an embodiment of the present invention. Figure 2 is a plan schematic diagram showing the examination tool insertion system of Figure 1. FIG. 3 is a schematic diagram illustrating an example of an image captured through a first camera in a state in which an examination tool is inserted through the examination tool insertion system of FIG. 1. FIG. 4 is a schematic diagram illustrating an example of an image captured by a second camera while a examination tool is inserted through the examination tool insertion system of FIG. 1.
우선, 도 1 및 도 2를 참조하면, 본 실시예에 의한 검진도구 삽입시스템(10)은 몸체부(100), 검진도구(200), 제1 카메라(300), 제2 카메라(400), 학습부(500), 연산부(600) 및 제어부(700)를 포함한다. First, referring to FIGS. 1 and 2, the examination
상기 검진도구 삽입시스템(10)은 피검자(20)의 삽입부, 예를 들어 피검자의 코(nose) 또는 입(lips)의 내부로 상기 검진도구(200)를 삽입하는 것으로, 이렇게 삽입된 상기 검진도구(200)는 끝단에 형성되는 면봉 팀(220)이 상기도 내측의 검체 채취 위치에 위치하여 필요한 검체를 채취한다. The examination
구체적으로, 상기 몸체부(100)는 상기 검진도구 삽입시스템(10)의 프레임 및 구조체를 형성하는 것으로, 제3 방향(Z)으로 수직으로 연장되는 수직 프레임(110), 상기 수직 프레임(110)에 결합되며 상기 제3 방향(Z)에 수직인 제1 방향(X)을 따라 연장되는 수평 프레임(120), 및 상기 수평 프레임(120)의 일 측으로부터 연장되어 상기 피검자(20)가 위치하는 측으로 연장되는 측면 프레임(130)을 포함한다. Specifically, the
또한, 상기 몸체부(100)는 별도로 형성되며 피검자(20)의 턱을 지지하는 지지프레임(140)을 더 포함한다. 즉, 피검자(20)는 검체가 채취되는 과정에서 턱을 상기 지지프레임(140) 상에 위치시키게 된다. In addition, the
나아가, 상기 몸체부(100)는 상기 수직 프레임(110)의 전단, 즉 피검자(20)를 향하는 방향으로 고정되며, 상기 수직 프레임(110)의 연장 방향에 대하여 소정의 각도(ψ) 기울어진 면을 형성하는 경사프레임(150)을 포함한다. Furthermore, the
한편, 도 1 및 도 2에서는 상기 몸체부(100)의 구조체를 예시하여 도시하였으나, 이에 한정되지는 않으며, 다양한 구조체의 형상을 가지도록 구성될 수 있음은 자명하다. Meanwhile, in Figures 1 and 2, the structure of the
상기 검진도구(200)는 피검자(20)의 코(21) 또는 입(23)을 통해 삽입되어 상기도의 내측에서 필요한 검체를 채취하는 것으로, 면봉(210)과 같이 일 방향으로 바(bar) 형상을 가지며 연장되고, 상기 면봉(210)의 끝단에는 면봉 팁(220)이 형성된다. 즉, 상기 면봉 팁(220)이 상기 상기도의 내측으로 위치하여 실제 검체를 채취하게 된다. The
이 경우, 상기 검진도구(200)는 상기 수평 프레임(120)에 고정될 수 있으며, 후술되는 상기 제어부(700)의 제어에 따라 상기 검진도구(200)의 이동 위치나 이동 방향이 제어될 수 있다. In this case, the
상기 제1 카메라(300)는 상기 경사 프레임(150) 상에 고정되며, 앞서 설명한 바와 같이 상기 경사 프레임(150)이 상기 제3 방향(Z)에 대하여 소정의 각도(ψ)만큼 기울어진 면을 형성하므로, 이에 따라 상기 제1 카메라(300)는 소정의 경사각을 형성하며 위치하게 된다. The
이 때, 상기 제1 카메라(300)는 상기 검진도구(200)의 하부에 위치할 수 있으며, 상기 소정의 경사각을 형성함에 따라, 상기 제1 카메라(300)가 향하는 방향은 상기 피검자(20)의 얼굴의 정면부일 수 있다. At this time, the
물론, 상기 제1 카메라(300)가 향하는 방향은 상기 피검자(20)의 얼굴에 대하여 다소 하측에서 얼굴 중심을 향하는 방향일 수는 있으며, 이러한 상기 제1 카메라(300)가 향하는 방향은 상기 소정의 각도(ψ)에 따라 다양하게 가변될 수 있다. Of course, the direction in which the
나아가, 상기 제1 카메라(300)는 상기 수평 프레임(120) 상에 상기 검진도구(200)와 평행한 방향으로 구비될 수도 있으며, 이 경우는 상기 제1 카메라(300)는 별도의 경사각을 형성하지 않으면서 피검자(20)의 얼굴을 향하도록 배치될 수 있다. Furthermore, the
더 나아가, 상기 제1 카메라(300)는 상기 검진도구(200)의 상부에서, 하부를 향하는 방향으로 경사각을 형성하며 상기 피검자(20)의 얼굴을 향하도록 배치될 수도 있다. Furthermore, the
다만, 상기 제1 카메라(300)가 상기 어느 위치에 구비되는 경우라 하더라도, 상기 제1 카메라(300)는 상기 피검자(20)의 얼굴의 정면부를 향하도록 배치되어야 하며, 이에 따라 상기 제1 카메라(300)를 통해 획득되는 이미지는 얼굴의 정면부가 포함되어야 한다. However, even if the
나아가, 상기 제1 카메라(300)는 2차원 카메라일 수 있다. Furthermore, the
이상과 같이, 상기 제1 카메라(300)에 의해 촬영되는 이미지의 예는 도 3에 도시된 바와 같다. As described above, an example of an image captured by the
즉, 도 3을 참조하면, 상기 제1 카메라(300)가 상기 피검자(20)의 얼굴의 정면부를 향하도록 배치되며 이미지를 촬영하므로, 상기 제1 카메라(300)를 통해 촬영된 이미지에는, 피검자(20)의 한 쌍의 코(21), 피검자(20)의 입(23), 및 상기 검진도구(200)가 포함된다. That is, referring to FIG. 3, the
이 경우, 상기 제1 카메라(300)는 보다 정확하게는, 상기 피검자(20)의 한 쌍의 콧구멍을 촬영하는 것이나, 이하에서는 설명의 편의상 한 쌍의 코(21)를 촬영하는 것으로 설명한다. In this case, the
이와 달리, 상기 제2 카메라(400)는 상기 측면 프레임(130)의 끝단에 고정되며, 피검자(20)의 얼굴의 측면부를 향하도록, 즉 상기 제1 및 제3 방향들(X, Z)에 모두 수직인 제2 방향(Y)을 향하도록 배치된다. In contrast, the
이 때, 상기 제2 카메라(400)는 상기 피검자(20)의 얼굴의 측면부 중 중앙을 향하도록 위치할 수 있으나, 그 정확한 위치는 가변될 수 있으며 얼굴의 측면부에 대한 이미지를 획득할 수 있으면 충분하다. At this time, the
따라서, 상기 제2 카메라(400)를 통해 획득되는 이미지는 얼굴의 측면부가 포함되어야 하며, 상기 제2 카메라(400) 역시 상기 제1 카메라(300)와 같은 2차원 카메라일 수 있다. Therefore, the image acquired through the
이상과 같이, 상기 제2 카메라(400)에 의해 촬영되는 이미지의 예는 도 4에 도시된 바와 같다. As described above, an example of an image captured by the
즉, 도 4를 참조하면, 상기 제2 카메라(400)가 상기 피검자(20)의 얼굴의 측면부를 향하도록 배치되어 이미지를 촬영하므로, 상기 제2 카메라(400)를 통해 촬영된 이미지에는, 피검자(20)의 일 측의 코(21), 피검자(20)의 입(23), 피검자(20)의 일 측 귀(22), 및 상기 검진도구(200)가 포함된다. That is, referring to FIG. 4, since the
이 경우, 상기 제2 카메라(400)는 보다 정확하게는, 상기 피검자(20)의 일 측의 코의 측면 형상을 촬영하는 것이나, 이하에서는 설명의 편의상 일 측의 코(21)를 촬영하는 것으로 설명한다. In this case, the
상기 학습부(500)는 상기 제1 카메라(300) 및 상기 제2 카메라(400)로부터 획득된 이미지들을 바탕으로 학습을 수행하여, 이미지로부터 필요한 특징부들을 추출하여 식별한다. The
이 경우, 상기 학습부(500)는 다양한 피검자 및 검진도구에 대한 이미지를 통해 머신러닝 또는 기계학습을 수행하며, 이를 바탕으로 소정의 패턴을 인식하여 상기 검진도구(200)의 삽입을 위해 필요한 특징들을 추출하고 이를 식별한다. In this case, the
한편, 상기 학습부(500)는 상기 제1 카메라(300)로부터 획득된 이미지들과, 상기 제2 카메라(400)로부터 획득된 이미지들을 서로 구분하여 각각의 이미지들에 대하여 별도로 학습을 수행한다. Meanwhile, the
예를 들어, 도 3을 다시 참조하면, 상기 학습부(500)는 상기 제1 카메라(300)에서 촬영되는 피검자(20)의 얼굴의 정면부에 대한 이미지들을 학습하여, 삽입부로서 피검자(20)의 한 쌍의 코(21)가 위치하는 영역들(B1, B2), 및 검진도구(200)의 면봉 팁(220)의 위치하는 영역(A)을 특징부로 추출하여 이를 식별할 수 있다. For example, referring again to FIG. 3, the
이 경우, 도 3에서는 삽입부로서 코(21)를 식별하는 것을 예시하였으나, 상기 면봉 팁(220)이 삽입되는 삽입부는 피검자(20)의 입(23)일 수도 있으며, 이에 따라 상기 학습부(500)에서는 피검자(20)의 얼굴의 정면부에 대한 이미지들을 학습하여, 삽입부로서 피검자(20)의 입(23)이 위치하는 영역을 식별할 수도 있다. In this case, FIG. 3 illustrates identifying the
또한, 상기 제1 카메라(300)에서 촬영되는 상기 이미지는 도 3에 도시된 바와 같이 상기 제1 카메라(300)에서 촬영되는 이미지에 대한 픽셀좌표인 (u, v)의 2차원 좌표로 표시될 수 있다. 이 경우, 상기 제1 카메라(300)에서 촬영되는 이미지에 대한 2차원 좌표(u, v)는 도 1 및 도 2에서 정의된 검진도구 삽입시스템(10)에 대한 3차원 좌표(X, Y, Z)와는 구분된다. 또한, 상기 3차원 좌표(X, Y, Z) 중, (Y, Z) 평면 좌표는 상기 제1 카메라(300)에서 촬영된 이미지에 대한 (u, v)좌표와 소정의 변환 관계를 가질 수 있다. In addition, the image captured by the
이 때, 상기 (Y, Z) 평면 좌표와 상기 이미지 좌표(u, v)는 상기 제1 카메라(300)의 위치 등을 고려하여 소정의 변환 행렬로 정의될 수 있으며, 이에 대한 상세한 설명은 생략한다. At this time, the (Y, Z) plane coordinates and the image coordinates (u, v) may be defined as a predetermined transformation matrix in consideration of the position of the
나아가, 도 4를 다시 참조하면, 상기 학습부(500)는 상기 제2 카메라(400)에서 촬영되는 피검자(20)의 얼굴의 측면부에 대한 이미지들을 학습하여, 삽입부로서 피검자(20)의 일 측 코(21)가 위치하는 영역(B1 또는 B2), 피검자의 일 측 귀(22)가 위치하는 영역(C), 및 검진도구(200)의 면봉 팁(220)의 위치하는 영역(A)을 특징부로 추출하여 이를 식별할 수 있다. Furthermore, referring again to FIG. 4, the
이 경우, 도 4에서는 삽입부로서 코(21)를 식별하는 것을 예시하였으나, 상기 면봉 팁(220)이 삽입되는 삽입부는 피검자(20)의 입(23)일 수도 있으며, 이에 따라 상기 학습부(500)에서는 피검자(20)의 얼굴의 측면부에 대한 이미지들을 학습하여, 삽입부로서 피검자(20)의 입(23)이 위치하는 영역을 식별할 수도 있다. In this case, FIG. 4 illustrates identifying the
마찬가지로, 상기 제2 카메라(400)에서 촬영되는 상기 이미지는 도 4에 도시된 바와 같이 상기 제2 카메라(400)에서 촬영되는 이미지에 대한 픽셀좌표인 (u´, v´)의 2차원 좌표로 표시될 수 있다. 이 경우, 상기 제2 카메라(400)에서 촬영되는 이미지에 대한 2차원 좌표(u´, v´)는 도 1 및 도 2에서 정의된 검진도구 삽입시스템(10)에 대한 3차원 좌표(X, Y, Z)와는 구분되며, 상기 3차원 좌표(X, Y, Z) 중, (X, Z) 평면 좌표는 상기 제2 카메라(400)에서 촬영된 이미지에 대한 (u´, v´)좌표와 소정의 변환 관계를 가질 수 있음은 앞서 설명한 바와 같다. Likewise, the image captured by the
이 때, 상기 (X, Z) 평면 좌표와 상기 이미지 좌표(u´, v´)는 상기 제2 카메라(400)의 위치 등을 고려하여 소정의 변환 행렬로 정의될 수 있으며, 이에 대한 상세한 설명은 생략한다. At this time, the (X, Z) plane coordinates and the image coordinates (u´, v´) may be defined as a predetermined transformation matrix in consideration of the position of the
이상과 같이, 본 실시예에서는, 상기 학습부(500)에서 이미지에 대한 학습을 수행하여, 상기 검진도구(200)를 피검자(20)의 삽입부에 삽입하기 위해 필요한 특징부들을 식별할 수 있으며, 이렇게 식별된 특징부들을 바탕으로 상기 검진도구(200)를 삽입하게 된다. As described above, in this embodiment, the
이 경우, 상기 연산부(600)는 상기 학습부(500)의 학습의 결과로 추출된 특징부들의 위치를 바탕으로, 상기 검진도구(200)가 삽입부로 삽입하기 위해 필요한 인자들을 연산한다. In this case, the
예를 들어, 상기 연산부(600)에서는, 상기 면봉 팁(220)이 상기 삽입부, 즉 피검자의 코(21) 또는 피검자의 입(23)으로 삽입하기 위해 필요한 상기 면봉 팁(220)의 이동량과 삽입 방향을 연산할 수 있다. For example, in the
이 경우, 상기 연산부(600)에서 연산되는 상기 면봉 팁(220)의 이동량과 삽입 방향은, 상기 이미지 상에서 상기 면봉 팁(220)의 위치와 상기 삽입부(21, 23)의 위치를 도출함으로써 벡터(vector)의 도출을 통해 용이하게 연산할 수 있다. In this case, the movement amount and insertion direction of the
특히, 본 실시예의 경우, 서로 다른 방향으로 촬영되는 이미지들이 획득되므로, 이러한 이미지들을 바탕으로 벡터를 도출하여 상기 면봉 팁(220)의 이동량과 삽입 방향을 용이하게 연산할 수 있다. In particular, in the case of this embodiment, since images taken in different directions are obtained, the movement amount and insertion direction of the
상기 제어부(700)는 상기 연산부(600)에서의 연산결과를 바탕으로, 상기 면봉 팁(220)을 포함하는 상기 검진도구(200)의 이동량 및 삽입 방향을 제어한다. 이 때, 도시하지는 않았으나, 상기 제어부(700)는 상기 수평 프레임(120) 및 상기 수직 프레임(110)의 내부에 구비되는 구동부의 구동을 제어함으로써, 상기 검진도구(200)의 이동량과 삽입 방향을 제어할 수 있다. The
한편, 상기 검진도구 삽입시스템(10)은 압력센서(160, 도 10 참조)를 더 포함할 수 있다. Meanwhile, the examination
상기 압력센서(160)는 상기 면봉(210)의 후단 끝단에 구비되며, 상기 면봉 팁(220)으로부터 전달되는 압력을 측정한다. The
실제 검체를 채취하기 위해서는, 상기 면봉 팁(220)은 피검자(20)의 코나 입과 같은 삽입부로부터 상기도로 인입되어 상기도의 끝부분에 위치하여야 하는데, 상기 면봉 팁(220)이 상기도의 끝부분에 위치하여 더 이상 진입되지 않은 경우 상기 면봉 팁(220)을 통해 소정의 압력이 전달된다. In order to collect an actual sample, the
따라서, 상기 압력센서(160)는 이러한 압력을 측정하여, 상기 면봉 팁(220)이 상기도 끝부분에 위치하여 더 이상 진입되지 않고, 이에 따라 검체의 채취를 수행하기 시작하여도 되는 위치에 대한 센싱을 수행할 수 있다. Accordingly, the
즉, 상기 압력센서(160)를 통해 상기 압력이 측정되면, 상기 제어부(700)는 상기 면봉 팁(220)의 이동을 중단시키며, 이 후 검체 채취 동작을 수행하도록 제어하게 된다. That is, when the pressure is measured through the
이하에서는 상기 검진도구 삽입시스템(10)을 이용한 검진도구 삽입방법에 대하여 상세히 설명한다. Hereinafter, a method of inserting an examination tool using the examination
도 5는 도 1의 검진도구 삽입시스템을 이용한 검진도구 삽입방법을 도시한 흐름도이다. 도 6a 및 도 6b는 도 5의 검진도구 삽입방법을 상세하게 도시한 흐름도이다. 도 7a 및 도 7b는 도 5의 면봉의 초기 삽입 방향 설정의 예를 도시한 평면 모식도들이다. 도 8은 도 5의 면봉 팁을 삽입 위치로 이동하는 단계를 도시한 측면 모식도이다. 도 9는 도 5의 면봉 팁의 삽입 각도 결정 단계를 도시한 측면 모식도이다. 도 10은 도 5의 면봉 삽입 단계를 도시한 측면 모식도이다. Figure 5 is a flowchart showing a method of inserting an examination tool using the examination tool insertion system of Figure 1. FIGS. 6A and 6B are flowcharts showing the method of inserting the examination tool of FIG. 5 in detail. FIGS. 7A and 7B are plan schematic diagrams showing an example of setting the initial insertion direction of the cotton swab of FIG. 5. Figure 8 is a side schematic diagram showing the steps of moving the swab tip of Figure 5 to the insertion position. Figure 9 is a side schematic diagram showing the step of determining the insertion angle of the cotton swab tip in Figure 5. Figure 10 is a side schematic diagram showing the cotton swab insertion step of Figure 5.
도 5, 도 6a 및 도 6b를 참조하면, 상기 검진도구 삽입방법에서는, 우선, 상기 삽입부에 대한 상기 검진도구(200)의 초기 삽입 방향을 설정한다(단계 S100). Referring to FIGS. 5, 6A, and 6B, in the method of inserting the examination tool, first, the initial insertion direction of the
앞서 설명한 바와 같이, 상기 검진도구(200)의 면봉 팁(220)은 피검자(20)의 삽입부로서, 코(21) 또는 입(23)으로 삽입되는데, 이러한 삽입을 수행하기 전에 상기 검진도구(200)의 초기 삽입 방향을 설정한다. As described above, the
한편, 이하에서는 설명의 편의상, 상기 피검자(20)의 삽입부로서 코(21)로 삽입되는 경우를 도면을 참조하여 예시하며, 입(23)으로 삽입되는 경우도 동일한 방법이 적용되므로 반복되는 설명은 생략한다. Meanwhile, hereinafter, for convenience of explanation, the case where the insertion part of the subject 20 is inserted into the
이러한 상기 검진도구(200)의 초기 삽입 방향을 설정하는 단계(단계 S100)에서는, 상기 코(21)로 삽입되는 경우, 상기 코(21)는 한 쌍으로 왼쪽 또는 오른쪽의 어느 한 쪽으로만 삽입되어야 하므로, 우선, 상기 검진도구(200)가 왼쪽 코(21, B1) 또는 오른쪽 코(21, B2)로 삽입될지의 여부를 결정한다(단계 S110). In the step of setting the initial insertion direction of the examination tool 200 (step S100), when inserted into the
그리하여, 도 7a에 도시된 바와 같이, 상기 검진도구(200)가 왼쪽 코(21, B1)로 삽입되는 경우라면, 상기 검진도구(200)의 삽입각도를 제1 양의 각(+φ)만큼 상기 제1 방향(X)에 대하여 기울어지도록 수정한다(단계 S120). Therefore, as shown in FIG. 7A, if the
이 경우, 상기 제1 방향(X)은 상기 코(21)의 중앙을 따라 연장되는 방향이며, 초기 상태에서 상기 검진도구(200)가 연장되는 방향이다. In this case, the first direction (X) is a direction extending along the center of the
이와 달리, 도 7b에 도시된 바와 같이, 상기 검진도구(200)가 오른쪽 코(21, B2)로 삽입되는 경우라면, 상기 검진도구(200)의 삽입각도를 제1 음의 각(-φ)만큼 상기 제1 방향(X)에 대하여 기울어지도록 수정한다(단계 S130). On the other hand, as shown in FIG. 7B, when the
즉, 이상과 같이, 상기 삽입부가 코(21)인 경우라면, 어느 쪽 코로 삽입할 것인지에 대항 결정하여 해당 코가 위치하는 방향으로 상기 검진도구(200)를 기울어지도록 위치시켜, 초기 삽입 방향을 설정한다. That is, as described above, if the insertion part is the
이 때, 상기 제1 양의 각(+φ) 또는 제1 음의 각(-φ)은, 상기 특징부로 추출되는 이미지 상에서 피검자의 코의 위치상의 특징을 고려하여 다양하게 선택될 수 있다. At this time, the first positive angle (+ϕ) or the first negative angle (-ϕ) may be selected in various ways by considering the locational characteristics of the subject's nose in the image extracted with the feature.
이 후, 도 5, 도 6a 및 도 6b를 다시 참조하면, 이상과 같이 상기 검진도구(200)의 초기 삽입 방향이 설정된 이 후(단계 S100), 상기 면봉 팁(220)의 이미지를 바탕으로 상기 면봉 팁(220)의 삽입 전의 위치를 우선 확인한다(단계 S200). Afterwards, referring again to FIGS. 5, 6A, and 6B, after the initial insertion direction of the
보다 구체적으로, 도 8을 동시에 참조하면, 상기 제2 카메라(400)로 촬영되는 피검자(20)의 얼굴 측면부 이미지로부터, 앞서 설명한 상기 학습부(500)의 학습을 통해 상기 면봉 팁(220)을 인식한다(단계 S210). More specifically, referring to FIG. 8 at the same time, the
그리하여, 상기 면봉 팁(220)의 위치를 상기 이미지 상에서 제1 좌표(t(u´, v´))로 표시할 수 있다. 이 경우, 상기 이미지는 상기 제2 카메라(400)로부터 촬영된 이미지로서, 상기 제2 카메라(400)의 이미지에 대한 픽셀 좌표인 (u´, v´)로 표시한다. Thus, the location of the
이 후, 상기 도출된 면봉 팁(220)의 위치가 기 설정된 초기 삽입 범위(umin, umax) 이내에 위치하는 가의 여부를 판단한다(단계 S220). 즉, 상기 도출된 제1 좌표(t(u´, v´))가 하기 식 (1)을 만족시키는 가의 여부를 판단한다. Afterwards, it is determined whether the derived position of the
식 (1) Equation (1)
이 경우, umin은 상기 기 설정된 초기 삽입 범위의 최소값이며, umax은 상기 기 설정된 초기 삽입 범위의 최대값이다. In this case, u min is the minimum value of the preset initial insertion range, and u max is the maximum value of the preset initial insertion range.
또한, 상기 초기 삽입 범위는 상기 면봉 팁(220)이 상기 삽입부(21)에 삽입되지 않은 위치와 상기 삽입부(21)로부터 너무 멀리 이격되어 방향이나 이동거리 제어가 어렵지 않은 위치의 범위로서, 도 8에 도시된 바와 같이 정의될 수 있다. In addition, the initial insertion range is a range of positions where the
나아가, 상기 도출된 면봉 팁(220)의 위치가 기 설정된 초기 삽입 범위(umin, umax) 이내에 위치하지 않는 경우라면(단계 S220), 상기 면봉 팁(220)을 피검자(20)의 얼굴이 향하는 방향으로 이동시키며(단계 S230), 이를 통해 상기 기 설정된 초기 삽입 범위 내에 상기 면봉 팁(220)이 위치하도록 제어한다. Furthermore, if the derived position of the
이 때, 상기 면봉 팁(220)의 위치가 피검자의 얼굴을 기준으로 umin 보다 먼 위치라면, 상기 면봉 팁(220)을 상기 피검자(20)의 얼굴이 향하는 방향으로 전진 이동시키고, 이와 달리 상기 면봉 팁(220)의 위치가 피검자의 얼굴을 기준으로 umax 보다 가까운 위치라면, 상기 면봉 팁(220)을 상기 피검자(20)의 얼굴이 향하는 방향의 반대측으로 후진 이동시킨다. At this time, if the position of the
이 후, 도 5, 도 6a 및 도 6b를 참조하면, 상기 면봉 팁(220)의 위치(t(u´, v´))가 상기 기 설정된 초기 삽입 범위(umin, umax) 이내에 위치하는 경우, 비로소 상기 면봉 팁(220)을 삽입 위치로 이동시킨다(단계 S300). Afterwards, referring to FIGS. 5, 6A and 6B, the position (t(u´, v´)) of the
보다 구체적으로, 도 3을 동시에 참조하면, 상기 제1 카메라(300)를 통해 촬영된 이미지로부터 코(21)와 같은 상기 삽입부를 인식하고(단계 S310), 상기 제1 카메라(300)를 통해 촬영된 이미지로부터 상기 면봉 팁(220)을 인식한다(단계 S320). More specifically, referring to FIG. 3 at the same time, the insertion part, such as the
즉, 상기 제1 카메라(300)를 촬영되는 피검자(20)의 얼굴 정면부 이미지로부터, 앞서 설명한 상기 학습부(500)의 학습을 통해 상기 삽입부, 즉, 코(21)를 인식한다(단계 S310). That is, from the image of the front face of the subject 20 captured by the
그리하여, 상기 삽입부(21)의 위치를 상기 이미지 상에서 제2 좌표(s(u, v))로 표시할 수 있다. 이 경우, 상기 이미지는 상기 제1 카메라(300)로부터 촬영된 이미지로서, 상기 제1 카메라(300)의 이미지에 대한 픽셀 좌표인 (u, v)로 표시한다. Thus, the position of the
한편, 상기 면봉 팁(220)이 상기 삽입 전 위치 확인 단계(단계 S200)를 통해 그 위치가 가변되었을 수 있으므로, 상기 제1 카메라(300)를 통해 다시 이미지를 촬영하고 이로부터 상기 면봉 팁(220)의 위치를 상기 이미지 상에서 상기 제3 좌표(t(u, v))로 인식한다(단계 S320). Meanwhile, since the position of the
그리하여, 상기 면봉 팁(220)이 상기 삽입부(21)로 삽입이 시작되기 위해 상기 면봉 팁(220)이 이동하여야 하는 이동량(ΔY, ΔZ)을 계산한다(단계 S330). 이 경우, 상기 제1 카메라(300)로 촬영되는 이미지, 즉 도 3은 검진도구 삽입시스템(10)에 대한 3차원 좌표(X, Y, Z) 중 (Y, Z) 좌표로 표현되는 2차원 좌표 상에 위치하기 때문에, 상기 이동량은 (ΔY, ΔZ)로 정의된다. Thus, the movement amounts (ΔY, ΔZ) that the
이러한 상기 이동량은 앞서 설명한 상기 연산부(600)를 통해 연산될 수 있다. 이 때, 상기 이동량(ΔY, ΔZ)은 하기 식 (2)를 통해 계산될 수 있다. This movement amount can be calculated through the
식 (2) Equation (2)
즉, 상기 이동량(ΔY, ΔZ)은 현재의 상기 면봉 팁(220)의 제3 좌표와 상기 삽입부(21)의 제2 좌표 사이의 차이를 통해 벡터로 도출될 수 있다. That is, the movement amount (ΔY, ΔZ) can be derived as a vector through the difference between the current third coordinate of the
이와 같이, 상기 면봉 팁(220)이 이동하여야 하는 이동량(ΔY, ΔZ)이 계산되면(단계 S330), 상기 제어부(700)는 상기 면봉 팁(220)을 이동시켜, 상기 면봉 팁(220)은 삽입 위치에 위치하게 된다(단계 S340). In this way, when the movement amount (ΔY, ΔZ) by which the
이상과 같이, 상기 면봉 팁(220)이 상기 삽입부(21)에 대하여 삽입 위치에 위치하게 되면(단계 S300), 도 5, 도 6a 및 도 6b를 참조하면, 상기 면봉 팁(220)의 상기 삽입부(21)로의 삽입 각도를 결정한다(단계 S400). As described above, when the
보다 구체적으로, 도 8을 동시에 참조하면, 상기 제2 카메라(400)로 촬영되는 피검자(20)의 얼굴 측면부 이미지로부터, 앞서 설명한 상기 학습부(500)의 학습을 통해 상기 삽입부로서 코(21)를 다시 인식한다(단계 S410). More specifically, referring to FIG. 8 at the same time, from the face side image of the subject 20 captured by the
그리하여, 상기 삽입부(21)의 위치를 상기 이미지 상에서 제4 좌표(f(u´, v´))로 표시할 수 있다. 이 경우, 상기 이미지는 상기 제2 카메라(400)로부터 촬영된 이미지로서, 상기 제2 카메라(400)의 이미지에 대한 픽셀 좌표인 (u´, v´)로 표시함은 앞서 설명한 바와 같다. Thus, the position of the
또한, 상기 제2 카메라(400)로 촬영되는 피검자(20)의 얼굴 측면부 이미지로부터, 앞서 설명한 상기 학습부(500)의 학습을 통해 상기 피검자(20)의 귀(22)를 인식한다(단계 S420). In addition, from the face side image of the subject 20 captured by the
그리하여, 상기 귀(22)의 위치를 상기 이미지 상에서 제5 좌표(e(u´, v´))로 표시할 수 있다. Thus, the position of the
한편, 앞선 상기 면봉 팁을 삽입 위치로 이동하는 단계(단계 S300)를 통해, 상기 면봉 팁(220)은 소정의 삽입 위치로 이동된 상태이며, 이에 따라, 상기 제2 카메라(400)를 통해 인식된 면봉 팁(220)의 위치도 가변된다. 이에, 상기 제2 카메라(400)에서는 상기 가변된 상기 면봉 팁(220)에 대한 식별을 수행한다. Meanwhile, through the previous step of moving the swab tip to the insertion position (step S300), the
이와 같이, 상기 제2 카메라(400)를 통해 상기 면봉 팁(220)에 대한 식별이 수행되면, 상기 면봉 팁(220)이 연장되는 방향에 대한 정보가 획득되며, 이를 통해 상기 면봉 팁(220)의 삽입 방향을 연산하여 도출할 수 있다(단계 S430). In this way, when the
즉, 도 8에서와 같이, 상기 면봉 팁(220)의 삽입 방향으로서, 상기 이미지 상에서의 제1 벡터()를 도출할 수 있다. 이 경우, 상기 제1 벡터는 상기 면봉 팁(220)의 연장 방향에 해당되는 것으로, 이미지로부터 연장 방향 벡터를 도출함으로서 획득된다. That is, as shown in FIG. 8, as the insertion direction of the
또한, 앞서 설명한 바와 같이, 상기 제4 좌표(f(u´, v´))와 제5 좌표(e(u´, v´))를 바탕으로, 상기 삽입부(21)와 상기 귀(22) 사이에서 연장되는 제2 벡터()도 도출될 수 있다. 즉, 상기 제2 벡터()는 하기 식 (3)으로 도출될 수 있다. In addition, as described above, based on the fourth coordinates (f(u´, v´)) and the fifth coordinates (e(u´, v´)), the
식 (3) Equation (3)
이에, 상기 제1 벡터() 및 상기 제2 벡터()를 바탕으로 상기 면봉 팁(220)의 삽입 각도(Δθ)를 하기 식 (4)와 같이 결정한다(단계 S440). Accordingly, the first vector ( ) and the second vector ( ) Based on this, the insertion angle (Δθ) of the
식 (4) Equation (4)
이 경우, 상기 최소각은 예를 들어, 30˚이고, 상기 최대각은 예를 들어 50˚일 수는 있으나, 이에 제한되는 것은 아니며 피검자(20)의 안면부의 특징이나 구조, 검진도구(200)의 특징이나 구조 등을 고려하여 다양하게 가변될 수 있다. In this case, the minimum angle may be, for example, 30°, and the maximum angle may be, for example, 50°, but are not limited thereto and may include the characteristics or structure of the facial part of the subject 20 and the
즉, 상기 면봉 팁(220)의 삽입 각도가 상기 설정된 범위 내에 위치하도록 상기 면봉 팁(220)의 삽입 각도를 결정한다. That is, the insertion angle of the
이 후, 도 5, 도 6a 및 도 6b를 참조하면, 상기 결정된 면봉 팁(220)의 삽입 각도를 바탕으로 상기 검진도구(200)를 삽입한다(단계 S500). Afterwards, referring to FIGS. 5, 6A, and 6B, the
구체적으로, 도 9 및 도 10을 동시에 참조하면, 상기 검진도구(200)를 삽입하는 단계(단계 S500)에서는, 우선, 상기 면봉 팁(220)을 앞서 결정된 삽입각도(Δθ)로 상기 면봉 팁(220)을 상기 삽입부인 코(21)로 삽입시킨다(단계 S510). Specifically, referring to FIGS. 9 and 10 simultaneously, in the step of inserting the examination tool 200 (step S500), first, the
이 때, 상기 압력센서(160)에서 측정되는 상기 검진도구(200)의 압력 측정값이 기 설정된 값(threshold)보다 증가하는 가의 여부를 지속적으로 모니터링하면서(단계 S520), 상기 면봉 팁(220)을 상기 코(21)로 삽입시킨다. At this time, while continuously monitoring whether the pressure measurement value of the
즉, 앞서 설명한 바와 같이, 상기 면봉 팁(220)이 상기 상기도의 끝단에 도달하게 되면, 상기 면봉 팁(220)을 통해 전달되는 압력이 기 설정된 값(threshold)에 이르게 되므로, 상기 검진도구(200)를 더 이상 삽입할 필요가 없다. 따라서, 상기 압력센서(160)를 통해 상기 검진도구(200)의 압력 측정값을 모니터링하여, 상기 면봉 팁(220)의 추가 삽입 여부에 대하여 판단한다. That is, as described above, when the
한편, 이러한 삽입 과정에서, 상기 면봉 팁(220)의 삽입각도(Δθ)를 변경하며 상기 검진도구(200)를 삽입한다(단계 S530). Meanwhile, during this insertion process, the
일반적으로, 상기도의 구조상, 상기 코(21)의 비공으로 삽입된 상기 면봉 팁(220)은 상부 방향으로 삽입된 이후에는 수평 방향으로 진행하여야 상기도의 끝단에 위치하여 검체를 채취할 수 있다. 이 때, 상기 수평 방향은 곧 상기 코(21)의 비공과 상기 귀(22)를 연장하는 선(line)의 연장 방향과 실질적으로 동일하다. Generally, due to the structure of the upper airway, the
이에, 본 실시예에서도, 이러한 상기도의 구조를 따라 상기 면봉 팁(220)이 삽입될 수 있도록, 상기 삽입 과정에서, 상기 면봉 팁(220)의 삽입각도(Δθ)를 변경하며 상기 검진도구(200)를 삽입한다. Therefore, in this embodiment as well, during the insertion process, the insertion angle (Δθ) of the
즉, 도 9 및 도 10에 도시된 바와 같이, 초기 삽입시 상기 식 (4)의 범위를 만족하는 상기 면봉 팁(220)의 삽입각도(Δθ)가 '0˚'에 근접하도록, 상기 면봉 팁(220)의 삽입 각도를 변경시키며 삽입을 수행한다. 물론, 이 경우, 상기 삽입각도(Δθ)가 근접해야하는 각은 0˚ 외에, 피검자(20)의 안면부의 특징이나 구조, 검진도구(200)의 특징이나 구조 등을 고려하여 다양하게 가변될 수 있다. That is, as shown in FIGS. 9 and 10, the insertion angle (Δθ) of the
이를 통해, 상기 면봉 팁(220)의 삽입 방향을 의미하는 상기 제1 벡터()는 상기 코(21, 비공) 상기 귀(22) 사이에서 연장되는 제2 벡터()와 실질적으로 일렬로 형성되도록 방향이 변경된다. Through this, the first vector indicating the insertion direction of the swab tip 220 ( ) is a second vector extending between the
이상과 같이, 상기 면봉 팁(220)의 삽입 방향을 변경하면서 삽입을 수행하여, 최종적으로 상기 압력 센서(160)에서 센싱되는 압력이 기 설정된 값(threshold)보다 크게 측정되는 경우, 상기 면봉 팁(220)의 삽입을 중단한다(단계 S520). As described above, when insertion is performed while changing the insertion direction of the
이 때, 상기 기 설정된 값(threshold)은, 상기 면봉 팁(220)이 상기도의 끝단에 위치하는 경우에 상기 검진도구(200)에 인가되는 압력으로 기 입력되어 저장될 수 있다. At this time, the preset value (threshold) may be input and stored as the pressure applied to the
그리하여, 상기 검진도구(200)가 상기 상기도의 끝단에 위치한다고 판단되면, 도 5, 도 6a 및 도 6b에 도시된 바와 같이, 상기 면봉 팁(220)을 이용하여 검체를 채취한다(단계 S600). Therefore, when it is determined that the
이상과 같이, 본 실시예에 의한 검진도구 삽입방법을 통해서는, 카메라부들을 통해 획득되는 이미지를 통해서 검진도구가 삽입되어야 하는 방향과 이동량에 대한 정보가 연산되며, 이에 따라 자동으로 검진도구를 상기도의 내측으로 삽입하여 검체를 채취할 수 있다.As described above, through the examination tool insertion method according to this embodiment, information on the direction in which the examination tool should be inserted and the amount of movement is calculated through images acquired through the camera units, and accordingly, the examination tool is automatically recalled. A sample can be collected by inserting it into the inside of the device.
즉, 검체 채취를 위한 검진도구의 삽입을 자동화로 구현할 수 있다. 물론, 실시예에 따라 원격으로 상기 검진도구 삽입시스템을 제어하는 경우에도, 원격 제어를 통해 대략적인 위치로만 상기 검진도구를 위치시킨 후, 보다 정확한 삽입의 제어는 본 실시예에 의한 검진도구 삽입방법에서와 같이 자동화로 구현할 수도 있다. In other words, the insertion of examination tools for sample collection can be automated. Of course, even when controlling the examination tool insertion system remotely according to the embodiment, after positioning the examination tool only at an approximate location through remote control, more accurate insertion control can be performed using the examination tool insertion method according to the present embodiment. As in, it can also be implemented through automation.
상기와 같은 본 발명의 실시예들에 의하면, 검진도구에 대한 이미지 및 피검자의 삽입부에 대한 이미지를 통해 학습으로 필요한 특징을 추출하고, 상기 검진도구가 상기 삽입부로 정확하게 삽입되도록 자동으로 제어함으로써, 종래 수동으로 수행하던 검진 방법을 자동화할 수 있으며, 나아가 원격으로 검진을 수행하는 경우 자동 삽입이 부가됨으로써 보다 정확하고 효율적인 검진 및 검체 채취가 가능할 수 있다. According to the embodiments of the present invention as described above, necessary features are extracted through learning through images of the examination tool and images of the subject's insertion part, and the examination tool is automatically controlled to be accurately inserted into the insertion part, The conventional manual examination method can be automated, and furthermore, when the examination is performed remotely, automatic insertion can be added to enable more accurate and efficient examination and sample collection.
특히, 검진도구와 삽입부로서 코의 상호 위치 및 방향을 정확하게 식별하기 위해, 2개의 카메라를 서로 다른 방향을 향하도록 배치하여 이미지를 획득하는 것으로, 이를 통해 별도의 3차원 카메라를 사용하지 않으면서도 검진도구를 삽입부로 정확하게 삽입 가이드를 수행할 수 있다. In particular, in order to accurately identify the mutual position and direction of the nose as an examination tool and insertion part, images are acquired by arranging two cameras to face different directions, thereby enabling imaging without using a separate 3D camera. You can accurately guide the insertion of the examination tool into the insertion area.
이 경우, 검진도구와 삽입부의 식별을 이미지 학습을 통해 수행함으로써, 특징부의 학습 및 식별로 보다 용이하게 검진도구와 삽입부의 위치 및 방향 정보를 획득하여 상기 삽입 가이드의 신속성 및 효율성을 향상시킬 수 있다. In this case, by identifying the examination tool and the insertion part through image learning, the location and direction information of the examination tool and the insertion part can be obtained more easily through learning and identification of the features, thereby improving the speed and efficiency of the insertion guide. .
또한, 삽입 방향 및 위치를 제어함에 있어, 검진도구의 면봉 팁이 피검자의 코로 삽입되는 경우, 상기 면봉 팁과 상기 코와 귀를 연결하는 선을 따라 상기 면봉 팁을 삽입시킴으로써, 실제 피검자의 상기도의 내측을 따라 최소의 통증으로 정확하게 검체 채취가 가능한 영역으로 위치할 수 있다. In addition, in controlling the insertion direction and position, when the cotton swab tip of the examination tool is inserted into the subject's nose, the cotton swab tip is inserted along the line connecting the nose and the ear, so that the actual subject's upper airway It can be located along the medial side in an area where specimen collection can be performed accurately with minimal pain.
즉, 이미지를 통해 식별되는 주요 특징들에 대한 정보만으로, 검진도구를 통한 검체 채취에 있어서의 최적의 위치로 용이하게 제어할 수 있으므로, 피검자의 편의성을 향상시키는 것은 물론, 검체 채취의 효율성 및 신속성을 향상시킬 수 있다. In other words, it is possible to easily control the optimal location for sample collection using an examination tool using only information about the main features identified through the image, thereby improving the convenience of the subject as well as improving the efficiency and speed of sample collection. can be improved.
추가로, 압력센서의 센싱 정보를 통해 면봉 팁이 상기도 끝단, 즉 검체 채취 위치에 정확하게 도달하였는가를 센싱할 수 있으므로, 검체 채취의 자동화를 완전하게 구현할 수 있다. Additionally, since it is possible to sense whether the swab tip has accurately reached the end of the upper respiratory tract, that is, the sample collection location, through the sensing information of the pressure sensor, automation of sample collection can be completely implemented.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described above with reference to preferred embodiments, those skilled in the art can make various modifications and changes to the present invention without departing from the spirit and scope of the present invention as set forth in the following patent claims. You will understand that it is possible.
10 : 검진도구 삽입 시스템
20 : 피검자
21 : 코
22 : 귀
23 : 입
100 : 몸체부
150 : 경사프레임
200 : 검진도구
210 : 면봉
220 : 면봉팁
300 : 제1 카메라
400 : 제2 카메라
500 : 학습부
600 : 연산부
700 : 제어부10: Examination tool insertion system 20: Subject
21: nose 22: ears
23: mouth 100: body
150: Inclined frame 200: Examination tool
210: Cotton swab 220: Cotton swab tip
300: first camera 400: second camera
500: Learning unit 600: Computation unit
700: Control unit
Claims (17)
제1 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득하는 제1 카메라;
상기 제1 방향과 다른 제2 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득하는 제2 카메라; 및
상기 제1 및 제2 카메라들로부터 획득된 이미지들을 바탕으로 상기 삽입부로 삽입되는 상기 검진도구의 삽입을 제어하는 제어부를 포함하는 검진도구 삽입시스템.An examination tool that is inserted into the subject's insertion area to collect a sample;
a first camera that acquires an image of the examination tool or the insertion unit in a first direction;
a second camera that acquires an image of the examination tool or the insertion unit toward a second direction different from the first direction; and
An examination tool insertion system comprising a control unit that controls insertion of the examination tool inserted into the insertion unit based on images acquired from the first and second cameras.
상기 제1 카메라는 피검자의 얼굴의 정면부를 향하도록 배치되며,
상기 제2 카메라는 피검자의 얼굴의 측면부를 향하도록 배치되는 것을 특징으로 하는 검진도구 삽입시스템. According to paragraph 1,
The first camera is arranged to face the front part of the subject's face,
An examination tool insertion system, wherein the second camera is arranged to face the side of the subject's face.
상기 제1 카메라는, 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose)의 이미지를 획득하고,
상기 제2 카메라는, 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose) 및 귀(ear)의 이미지를 획득하는 것을 특징으로 하는 검진도구 삽입시스템. According to paragraph 1,
The first camera acquires an image of the subject's nose using the swab tip and the insertion part of the examination tool,
The second camera is a swab tip of the examination tool and the insertion part, and is characterized in that it acquires images of the nose and ears of the subject.
상기 제1 카메라에서 획득된 이미지를 학습하여 상기 제1 카메라가 위치하는 좌표에서 면봉 팁 및 피검자의 코를 식별하고, 상기 제2 카메라에서 획득된 이미지를 학습하여 상기 제2 카메라가 위치하는 좌표에서 면봉 팁 및 피검자의 코와 귀를 식별하는 학습부를 더 포함하는 검진도구 삽입시스템. According to paragraph 3,
By learning the image acquired from the first camera, the cotton swab tip and the subject's nose are identified at the coordinates where the first camera is located, and by learning the image acquired from the second camera at the coordinates where the second camera is located. An examination tool insertion system further comprising a cotton swab tip and a learning unit for identifying the subject's nose and ears.
상기 식별된 면봉 팁, 및 상기 식별된 피검자의 삽입부 정보를 바탕으로, 상기 면봉 팁의 이동량과 삽입 방향을 연산하는 연산부를 더 포함하는 검진도구 삽입시스템. According to paragraph 4,
An examination tool insertion system further comprising a calculation unit that calculates a movement amount and insertion direction of the swab tip based on the identified swab tip and the identified insertion part information of the subject.
상기 면봉 팁이 상기 피검자의 코로 삽입되는 경우,
상기 면봉 팁이 상기 코와 상기 귀를 연결하는 선(line)을 따라 진행하도록 상기 검진도구의 삽입을 제어하는 것을 특징으로 하는 검진도구 삽입시스템. The method of claim 5, wherein the control unit,
When the swab tip is inserted into the subject's nose,
An examination tool insertion system, characterized in that the insertion of the examination tool is controlled so that the swab tip proceeds along a line connecting the nose and the ear.
상기 검진도구의 삽입시 상기 검진도구의 압력을 측정하는 압력센서를 더 포함하고,
상기 압력센서에서 측정되는 압력을 바탕으로 상기 검진도구가 검체 채취 위치에 도달하였는가의 여부가 판단되는 것을 특징으로 하는 검진도구 삽입시스템. According to paragraph 1,
It further includes a pressure sensor that measures the pressure of the examination tool when the examination tool is inserted,
An examination tool insertion system characterized in that it is determined whether the examination tool has reached the sample collection position based on the pressure measured by the pressure sensor.
상기 삽입부에 대한 상기 검진도구의 초기 삽입 방향을 설정하는 단계;
상기 검진도구의 면봉 팁의 이미지를 바탕으로, 상기 면봉 팁이 상기 삽입부로 삽입되기 전의 위치를 확인하는 단계;
상기 면봉 팁의 이미지와 상기 삽입부의 이미지를 바탕으로, 상기 면봉 팁을 삽입 위치로 이동시키는 단계;
상기 면봉 팁의 이미지와 상기 삽입부의 이미지를 바탕으로, 상기 면봉 팁의 상기 삽입부로의 삽입 각도를 결정하는 단계; 및
상기 결정된 삽입각도로 상기 검진도구를 삽입하는 단계를 포함하는 검진도구 삽입방법. In the examination tool insertion method of collecting a sample by inserting the examination tool into the insertion part of the subject,
Setting an initial insertion direction of the examination tool with respect to the insertion portion;
Confirming the position of the swab tip before it is inserted into the insertion unit, based on the image of the swab tip of the examination tool;
moving the swab tip to an insertion position based on the image of the swab tip and the image of the insertion portion;
determining an insertion angle of the swab tip into the insertion portion based on the image of the swab tip and the image of the insertion portion; and
A method of inserting an examination tool comprising the step of inserting the examination tool at the determined insertion angle.
상기 삽입부가 코인 경우,
상기 검진도구가 상기 코의 왼쪽 및 오른쪽 중 어느 한쪽 비공으로 삽입되는가의 여부를 판단하는 단계; 및
상기 어느 한쪽 비공으로 삽입되는 경우, 해당 방향으로 소정의 삽입각도를 형성하도록 상기 검진도구의 삽입 방향을 설정하는 단계를 포함하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 8, wherein setting the initial insertion direction comprises:
If the insertion part is a coin,
determining whether the examination tool is inserted into either the left or right nostril of the nose; and
A method of inserting an examination tool, comprising setting an insertion direction of the examination tool to form a predetermined insertion angle in the corresponding direction when inserted into either nostril.
상기 삽입부는 피검자의 얼굴의 정면부를 향하도록 배치된 제1 카메라 또는 피검자의 얼굴의 측면부를 향하도록 배치된 제2 카메라에서 획득된 이미지로부터 학습으로 식별되는 것을 특징으로 하는 검진도구 삽입방법. According to clause 8,
A method of inserting an examination tool, characterized in that the insertion part is identified by learning from an image acquired from a first camera arranged to face the front part of the subject's face or a second camera arranged to face the side part of the subject's face.
상기 식별된 면봉 팁을 인식하는 단계; 및
상기 면봉 팁이 기 설정된 초기 삽입 범위 이내에 위치하는 가의 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 10, wherein the step of checking the position of the swab tip before inserting it into the insertion unit includes:
Recognizing the identified swab tip; and
A method of inserting an examination tool, comprising the step of determining whether the swab tip is located within a preset initial insertion range.
상기 삽입부 및 상기 면봉 팁을 인식하는 단계;
상기 면봉 팁의 이동량을 연산하는 단계; 및
상기 연산된 이동량만큼 상기 면봉 팁을 이동시키는 단계를 포함하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 10, wherein moving the swab tip to the insertion position comprises:
Recognizing the insertion portion and the swab tip;
calculating a movement amount of the swab tip; and
A method of inserting an examination tool, comprising the step of moving the swab tip by the calculated movement amount.
상기 삽입부를 인식하는 단계;
상기 면봉 팁의 삽입 방향을 연산하는 단계; 및
상기 면봉 팁의 삽입각도를 결정하는 단계를 포함하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 10, wherein the step of determining the insertion angle of the swab tip into the insertion portion comprises:
Recognizing the insertion portion;
calculating the insertion direction of the swab tip; and
A method of inserting an examination tool, comprising the step of determining an insertion angle of the swab tip.
상기 제1 카메라를 통해 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose)의 이미지를 획득하여 인식하고,
상기 제2 카메라를 통해 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose) 및 귀(ear)의 이미지를 획득하여 인식하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 13, wherein in the step of recognizing the insertion part,
Obtaining and recognizing an image of the subject's nose as the swab tip and the insertion part of the examination tool through the first camera,
A method of inserting an examination tool, characterized in that the image of the subject's nose and ears as the swab tip and the insertion part of the examination tool is acquired and recognized through the second camera.
상기 면봉 팁의 삽입 방향과, 상기 피검자의 코와 상기 피검자의 귀를 연결하는 방향이 형성하는 각이 기 설정된 범위 이내가 되도록, 상기 면봉 팁의 삽입각도를 결정하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 13, wherein in determining the insertion angle of the swab tip,
A method of inserting an examination tool, characterized in that the insertion angle of the swab tip is determined so that the angle formed between the insertion direction of the swab tip and the direction connecting the subject's nose and the subject's ear is within a preset range. .
상기 면봉 팁의 삽입 방향과, 상기 피검자의 코와 상기 피검자의 귀를 연결하는 방향이 서로 일치하도록 상기 검진도구의 삽입 각도를 변경하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 15, wherein in the step of inserting the examination tool,
A method of inserting an examination tool, characterized in that changing the insertion angle of the examination tool so that the insertion direction of the cotton swab tip and the direction connecting the subject's nose and the subject's ear are consistent with each other.
상기 검진도구의 압력이 기 설정된 범위에 도달하는 경우, 상기 검진도구의 삽입을 중단하고 검체를 채취하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 10, wherein in the step of inserting the examination tool,
A method of inserting an examination tool, characterized in that when the pressure of the examination tool reaches a preset range, insertion of the examination tool is stopped and a sample is collected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220031992A KR20230134785A (en) | 2022-03-15 | 2022-03-15 | Inspection tool inserting system and method for inserting inspection tool using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220031992A KR20230134785A (en) | 2022-03-15 | 2022-03-15 | Inspection tool inserting system and method for inserting inspection tool using the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230134785A true KR20230134785A (en) | 2023-09-22 |
Family
ID=88190266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220031992A KR20230134785A (en) | 2022-03-15 | 2022-03-15 | Inspection tool inserting system and method for inserting inspection tool using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230134785A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102343396B1 (en) | 2020-10-08 | 2021-12-27 | 한국기계연구원 | Sample collecting apparatus installing and removing swab and method for obtaining sample using the same |
KR102350049B1 (en) | 2020-04-21 | 2022-01-12 | 한국기계연구원 | Remote respiratory sample collecting apparatus driven with multiple degree of freedom |
-
2022
- 2022-03-15 KR KR1020220031992A patent/KR20230134785A/en not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102350049B1 (en) | 2020-04-21 | 2022-01-12 | 한국기계연구원 | Remote respiratory sample collecting apparatus driven with multiple degree of freedom |
KR102343396B1 (en) | 2020-10-08 | 2021-12-27 | 한국기계연구원 | Sample collecting apparatus installing and removing swab and method for obtaining sample using the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12029853B2 (en) | Imaging device and data management system for medical device | |
KR100408366B1 (en) | Apparatus for Photographing a Face Image and Method Therefor | |
JP6800091B2 (en) | Line-of-sight measuring device and program | |
KR102336170B1 (en) | X-ray imaging apparatus and control method for the same | |
JP6955369B2 (en) | Information processing equipment, control methods and programs for information processing equipment | |
TW200414074A (en) | Individual recognizing apparatus and individual recognizing method | |
CN113842172B (en) | Pharyngeal rear wall visual touch recognition device based on template matching and arithmetic averaging | |
CN111839600A (en) | Full-automatic nasopharynx swab collecting method and device | |
EP3689287B1 (en) | System for proposing and visualizing dental treatments | |
KR20230134785A (en) | Inspection tool inserting system and method for inserting inspection tool using the same | |
JP5796523B2 (en) | Biological information acquisition apparatus, biological information acquisition method, and biological information acquisition control program | |
CN111183389B (en) | Method and system for determining fitting parameters of an optical device by manual identification | |
CN110874585B (en) | Peeping cheating behavior identification method based on attention area | |
JP7264246B2 (en) | ophthalmic equipment | |
JP6403058B2 (en) | Reaction range measuring apparatus and program | |
JP2011118767A (en) | Facial expression monitoring method and facial expression monitoring apparatus | |
CN115641646B (en) | CPR automatic detection quality control method and system | |
KR20230134784A (en) | Inserting decision system for swab, swab guide system having the same, and method for guiding the swab using the swab guide system | |
JP2007096480A (en) | Object tracking apparatus and object tracking method | |
JP2023004601A (en) | Position estimation device, automatic injection device, position estimation method and program | |
CN117582290B (en) | Novel hair follicle microneedle planting control system | |
CN115830121A (en) | Intelligent recognition device and positioning method for oral nucleic acid sampling part | |
KR102598858B1 (en) | Method and apparatus for generating coordinate data of hair transplanting area | |
CN117017173A (en) | Capsule endoscope control method and capsule endoscope system | |
CN110710950B (en) | Method and device for judging left and right lumens of bronchus of endoscope and endoscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |