KR20230134785A

KR20230134785A - Inspection tool inserting system and method for inserting inspection tool using the same

Info

Publication number: KR20230134785A
Application number: KR1020220031992A
Authority: KR
Inventors: 서준호; 심성보; 주수빈; 차효정
Original assignee: 한국기계연구원
Priority date: 2022-03-15
Filing date: 2022-03-15
Publication date: 2023-09-22

Abstract

검진도구 삽입 시스템 및 이를 이용한 검진도구 삽입방법에서, 상기 검진도구 삽입 시스템은 검진도구, 제1 카메라, 제2 카메라 및 제어부를 포함한다. 상기 검진도구는 피검자의 삽입부로 삽입되어 검체를 채취한다. 상기 제1 카메라는 제1 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득한다. 상기 제2 카메라는 상기 제1 방향과 다른 제2 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득한다. 상기 제어부는 상기 제1 및 제2 카메라들로부터 획득된 이미지들을 바탕으로 상기 삽입부로 삽입되는 상기 검진도구의 삽입을 제어한다. In the examination tool insertion system and the examination tool insertion method using the same, the examination tool insertion system includes an examination tool, a first camera, a second camera, and a control unit. The examination tool is inserted into the subject's insertion area to collect a sample. The first camera acquires an image of the examination tool or the insertion unit toward a first direction. The second camera acquires an image of the examination tool or the insertion unit toward a second direction different from the first direction. The control unit controls insertion of the examination tool into the insertion unit based on images acquired from the first and second cameras.

Description

검진도구 삽입 시스템 및 이를 이용한 검진도구 삽입방법{INSPECTION TOOL INSERTING SYSTEM AND METHOD FOR INSERTING INSPECTION TOOL USING THE SAME}Examination tool insertion system and examination tool insertion method using the same {INSPECTION TOOL INSERTING SYSTEM AND METHOD FOR INSERTING INSPECTION TOOL USING THE SAME}

본 발명은 검진도구 삽입 시스템 및 이를 이용한 검진도구 삽입방법에 관한 것으로, 더욱 상세하게는 피검자의 얼굴에 대한 특징 인식을 통해 영상을 분석하고 이를 바탕으로 피검자의 검체를 채취하는 검진도구를 피검자의 상기도로 자동으로 삽입하기 위한 검진도구 삽입 시스템 및 이를 이용한 검진도구 삽입방법에 관한 것이다. The present invention relates to a system for inserting an examination tool and a method for inserting an examination tool using the same. More specifically, the present invention relates to an examination tool that analyzes images through recognition of features of the subject's face and collects a sample from the subject based on this. It relates to an examination tool insertion system for automatically inserting a examination tool and a method of inserting an examination tool using the same.

최근 상기도 감염병이 전세계적으로 유행하면서, 감염 여부의 확인을 위한 정확하고 빠른 검체 채취의 중요성이 증가하고 있다. 현재까지는, 이러한 검체 채취는 전문적인 의료인이 수작업으로 수행하고 있으며, 이러한 수작업의 경우 의료인들의 노동력이 증가하는 문제도 있으나, 특히 검체 채취 과정에서의 감염의 위험이 증가하는 문제를 야기하고 있다. As upper respiratory infectious diseases have recently become prevalent worldwide, the importance of accurate and rapid sample collection to confirm infection is increasing. To date, such sample collection is performed manually by professional medical personnel. This manual work has the problem of increasing the labor of medical personnel, but in particular, increases the risk of infection during the sample collection process.

이에, 비대면 또는 원격 구동으로 검체 채취를 수행할 수 있는 기술이 개발되고 있으며, 대한민국 등록특허 제10-2350049호에서는, 상기도 검체 채취를 위한 다자유도 원격 검진 장치를 개시하여, 의료인이 직접 환자와 대면하여 검체를 채취하지 않고, 원격으로 검진 장치를 제어하여 검체 채취를 수행하는 기술을 개시하고 있다. Accordingly, technology that can perform sample collection non-face-to-face or remotely operated is being developed, and in Republic of Korea Patent No. 10-2350049, a multi-degree-of-freedom remote examination device for upper respiratory sample collection is disclosed, allowing medical personnel to directly A technology is being disclosed to perform sample collection by remotely controlling an examination device without collecting the sample face-to-face with the patient.

또한, 대한민국 등록특허 제10-2343396호를 통해서도, 스왑의 장착 및 수거가 가능한 검진장치 및 이를 이용한 검체 채취방법을 개시하여, 원격으로 검진 장치를 제어하는 기술을 개시하고 있다. In addition, through Republic of Korea Patent No. 10-2343396, an examination device capable of mounting and collecting swabs and a sample collection method using the same are disclosed, and a technology for controlling the examination device remotely is disclosed.

그러나, 이러한 원격 검진 장치 제어 기술의 경우, 원격 제어자의 경험이나 조작술이 중요하여 미세한 검진 장치의 제어가 용이하지 않은 한계가 있다. 특히, 상기도로 스왑과 같은 검진도구를 삽입하는 경우, 상기도의 입구가 좁은 문제로 검진도구 삽입 방향을 제어하는 것이 어려운 문제가 있다. However, in the case of such remote examination device control technology, there is a limitation in that it is not easy to control fine examination devices because the remote controller's experience or operating skills are important. In particular, when inserting an examination tool such as a swab into the upper airway, it is difficult to control the direction of insertion of the examination tool due to the narrow entrance to the upper airway.

이에, 검진도구를 상기도로 삽입하는 삽입 과정을 자동화하려는 노력이 경주되고 있으나, 관련 기술의 개발은 미흡한 상황이다. Accordingly, efforts are being made to automate the insertion process of inserting the examination tool into the upper airway, but the development of related technology is insufficient.

대한민국 등록특허 제10-2350049호Republic of Korea Patent No. 10-2350049 대한민국 등록특허 제10-2343396호Republic of Korea Patent No. 10-2343396

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 피검자의 얼굴에 대한 특징 인식을 통해 영상을 분석하고 이를 바탕으로 피검자의 검체를 채취하는 검진도구를 피검자의 상기도로 자동으로 삽입함으로써, 보다 정확하고 효율적인 삽입이 가능하여 피검자의 편의성을 향상시키고 삽입시간을 최소화할 수 있는 검진도구 삽입 시스템을 제공하는 것이다. Accordingly, the technical problem of the present invention was conceived in this regard, and the purpose of the present invention is to analyze the image through recognition of the characteristics of the subject's face, and based on this, to automatically analyze the image through the subject's upper respiratory tract to collect the subject's sample. By inserting, more accurate and efficient insertion is possible, thereby improving the convenience of the subject and providing an examination tool insertion system that can minimize insertion time.

또한, 본 발명의 다른 목적은 상기 검진도구 삽입 시스템을 이용한 검진도구 삽입방법을 제공하는 것이다. In addition, another object of the present invention is to provide a method of inserting an examination tool using the examination tool insertion system.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 의한 검진도구 삽입 시스템은 검진도구, 제1 카메라, 제2 카메라 및 제어부를 포함한다. 상기 검진도구는 피검자의 삽입부로 삽입되어 검체를 채취한다. 상기 제1 카메라는 제1 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득한다. 상기 제2 카메라는 상기 제1 방향과 다른 제2 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득한다. 상기 제어부는 상기 제1 및 제2 카메라들로부터 획득된 이미지들을 바탕으로 상기 삽입부로 삽입되는 상기 검진도구의 삽입을 제어한다. An examination tool insertion system according to an embodiment for realizing the object of the present invention described above includes an examination tool, a first camera, a second camera, and a control unit. The examination tool is inserted into the subject's insertion area to collect a sample. The first camera acquires an image of the examination tool or the insertion unit toward a first direction. The second camera acquires an image of the examination tool or the insertion unit toward a second direction different from the first direction. The control unit controls insertion of the examination tool into the insertion unit based on images acquired from the first and second cameras.

일 실시예에서, 상기 제1 카메라는 피검자의 얼굴의 정면부를 향하도록 배치되며, 상기 제2 카메라는 피검자의 얼굴의 측면부를 향하도록 배치될 수 있다. In one embodiment, the first camera may be arranged to face the front part of the subject's face, and the second camera may be arranged to face the side part of the subject's face.

일 실시예에서, 상기 제1 카메라는, 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose)의 이미지를 획득하고, 상기 제2 카메라는, 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose) 및 귀(ear)의 이미지를 획득할 수 있다. In one embodiment, the first camera acquires an image of the subject's nose using the swab tip of the examination tool and the insertion part, and the second camera acquires an image of the subject's nose using the swab tip of the examination tool and the insertion part. As a result, images of the subject's nose and ears can be obtained.

일 실시예에서, 상기 제1 카메라에서 획득된 이미지를 학습하여 상기 제1 카메라가 위치하는 좌표에서 면봉 팁 및 피검자의 코를 식별하고, 상기 제2 카메라에서 획득된 이미지를 학습하여 상기 제2 카메라가 위치하는 좌표에서 면봉 팁 및 피검자의 코와 귀를 식별하는 학습부를 더 포함할 수 있다. In one embodiment, the image acquired from the first camera is learned to identify the cotton swab tip and the subject's nose at the coordinates where the first camera is located, and the image acquired from the second camera is learned to identify the second camera It may further include a learning unit that identifies the cotton swab tip and the subject's nose and ears at the coordinates where is located.

일 실시예에서, 상기 식별된 면봉 팁, 및 상기 식별된 피검자의 삽입부 정보를 바탕으로, 상기 면봉 팁의 이동량과 삽입 방향을 연산하는 연산부를 더 포함할 수 있다. In one embodiment, the device may further include a calculation unit that calculates a movement amount and insertion direction of the swab tip based on the identified swab tip and information on the inserted part of the identified subject.

일 실시예에서, 상기 제어부는, 상기 면봉 팁이 상기 피검자의 코로 삽입되는 경우, 상기 면봉 팁이 상기 코와 상기 귀를 연결하는 선(line)을 따라 진행하도록 상기 검진도구의 삽입을 제어할 수 있다. In one embodiment, the control unit may control the insertion of the examination tool so that when the swab tip is inserted into the subject's nose, the swab tip proceeds along a line connecting the nose and the ear. there is.

일 실시예에서, 상기 검진도구의 삽입시 상기 검진도구의 압력을 측정하는 압력센서를 더 포함하고, 상기 압력센서에서 측정되는 압력을 바탕으로 상기 검진도구가 검체 채취 위치에 도달하였는가의 여부가 판단될 수 있다. In one embodiment, it further includes a pressure sensor that measures the pressure of the examination tool when the examination tool is inserted, and whether the examination tool has reached the sample collection position is determined based on the pressure measured by the pressure sensor. It can be.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 의한 검진도구를 피검자의 삽입부로 삽입하여 검체를 채취하는 검진도구 삽입방법에서, 상기 삽입부에 대한 상기 검진도구의 초기 삽입 방향을 설정한다. 상기 검진도구의 면봉 팁의 이미지를 바탕으로, 상기 면봉 팁이 상기 삽입부로 삽입되기 전의 위치를 확인한다. 상기 면봉 팁의 이미지와 상기 삽입부의 이미지를 바탕으로, 상기 면봉 팁을 삽입 위치로 이동시킨다. 상기 면봉 팁의 이미지와 상기 삽입부의 이미지를 바탕으로, 상기 면봉 팁의 상기 삽입부로의 삽입 각도를 결정한다. 상기 결정된 삽입각도로 상기 검진도구를 삽입한다. In the examination tool insertion method of collecting a sample by inserting the examination tool into the insertion part of the subject according to an embodiment for realizing another object of the present invention described above, the initial insertion direction of the examination tool with respect to the insertion part is set. . Based on the image of the swab tip of the examination tool, the position of the swab tip before being inserted into the insertion portion is confirmed. Based on the image of the swab tip and the image of the insertion portion, the swab tip is moved to the insertion position. Based on the image of the swab tip and the image of the insertion portion, the insertion angle of the swab tip into the insertion portion is determined. The examination tool is inserted at the determined insertion angle.

일 실시예에서, 상기 초기 삽입 방향을 설정하는 단계는, 상기 삽입부가 코인 경우, 상기 검진도구가 상기 코의 왼쪽 및 오른쪽 중 어느 한쪽 비공으로 삽입되는가의 여부를 판단하는 단계, 및 상기 어느 한쪽 비공으로 삽입되는 경우, 해당 방향으로 소정의 삽입각도를 형성하도록 상기 검진도구의 삽입 방향을 설정하는 단계를 포함할 수 있다. In one embodiment, the step of setting the initial insertion direction includes, when the insertion portion is a nose, determining whether the examination tool is inserted into either the left or right nostril of the nose, and the step of determining whether the examination tool is inserted into either the left or right nostril of the nose. When inserted, it may include setting the insertion direction of the examination tool to form a predetermined insertion angle in the corresponding direction.

일 실시예에서, 상기 삽입부는 피검자의 얼굴의 정면부를 향하도록 배치된 제1 카메라 또는 피검자의 얼굴의 측면부를 향하도록 배치된 제2 카메라에서 획득된 이미지로부터 학습으로 식별될 수 있다. In one embodiment, the insertion portion may be identified by learning from an image acquired from a first camera disposed to face the front portion of the subject's face or a second camera disposed to face the side portion of the subject's face.

일 실시예에서, 상기 면봉 팁이 상기 삽입부로 삽입되기 전의 위치를 확인하는 단계는, 상기 식별된 면봉 팁을 인식하는 단계, 및 상기 면봉 팁이 기 설정된 초기 삽입 범위 이내에 위치하는 가의 여부를 판단하는 단계를 포함할 수 있다. In one embodiment, the step of confirming the position of the swab tip before it is inserted into the insertion unit includes recognizing the identified swab tip, and determining whether the swab tip is located within a preset initial insertion range. May include steps.

일 실시예에서, 상기 면봉 팁을 삽입 위치로 이동시키는 단계는, 상기 삽입부 및 상기 면봉 팁을 인식하는 단계, 상기 면봉 팁의 이동량을 연산하는 단계, 및 상기 연산된 이동량만큼 상기 면봉 팁을 이동시키는 단계를 포함할 수 있다. In one embodiment, the step of moving the cotton swab tip to the insertion position includes recognizing the insertion portion and the cotton swab tip, calculating a movement amount of the cotton swab tip, and moving the cotton swab tip by the calculated movement amount. It may include the step of asking.

일 실시예에서, 상기 면봉 팁의 상기 삽입부로의 삽입 각도를 결정하는 단계는, 상기 삽입부를 인식하는 단계, 상기 면봉 팁의 삽입 방향을 연산하는 단계, 및 상기 면봉 팁의 삽입각도를 결정하는 단계를 포함할 수 있다. In one embodiment, the step of determining the insertion angle of the cotton swab tip into the insertion part includes recognizing the insertion part, calculating the insertion direction of the cotton swab tip, and determining the insertion angle of the cotton swab tip. may include.

일 실시예에서, 상기 삽입부를 인식하는 단계에서, 상기 제1 카메라를 통해 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose)의 이미지를 획득하여 인식하고, 상기 제2 카메라를 통해 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose) 및 귀(ear)의 이미지를 획득하여 인식할 수 있다. In one embodiment, in the step of recognizing the insertion part, an image of the swab tip of the examination tool and the subject's nose as the insertion part is acquired and recognized through the first camera, and the image of the subject's nose as the insertion part is acquired and recognized through the second camera. Images of the subject's nose and ears can be obtained and recognized using the swab tip and the insertion part of the examination tool.

일 실시예에서, 상기 면봉 팁의 삽입각도를 결정하는 단계에서, 상기 면봉 팁의 삽입 방향과, 상기 피검자의 코와 상기 피검자의 귀를 연결하는 방향이 형성하는 각이 기 설정된 범위 이내가 되도록, 상기 면봉 팁의 삽입각도를 결정할 수 있다. In one embodiment, in the step of determining the insertion angle of the cotton swab tip, the angle formed between the insertion direction of the cotton swab tip and the direction connecting the subject's nose and the subject's ear is within a preset range, The insertion angle of the swab tip can be determined.

일 실시예에서, 상기 검진도구를 삽입하는 단계에서, 상기 면봉 팁의 삽입 방향과, 상기 피검자의 코와 상기 피검자의 귀를 연결하는 방향이 서로 일치하도록 상기 검진도구의 삽입 각도를 변경할 수 있다. In one embodiment, in the step of inserting the examination tool, the insertion angle of the examination tool may be changed so that the insertion direction of the cotton swab tip and the direction connecting the subject's nose and the subject's ear match each other.

일 실시예에서, 상기 검진도구를 삽입하는 단계에서, 상기 검진도구의 압력이 기 설정된 범위에 도달하는 경우, 상기 검진도구의 삽입을 중단하고 검체를 채취할 수 있다. In one embodiment, in the step of inserting the examination tool, when the pressure of the examination tool reaches a preset range, insertion of the examination tool may be stopped and a sample may be collected.

본 발명의 실시예들에 의하면, 검진도구에 대한 이미지 및 피검자의 삽입부에 대한 이미지를 통해 학습으로 필요한 특징을 추출하고, 상기 검진도구가 상기 삽입부로 정확하게 삽입되도록 자동으로 제어함으로써, 종래 수동으로 수행하던 검진 방법을 자동화할 수 있으며, 나아가 원격으로 검진을 수행하는 경우 자동 삽입이 부가됨으로써 보다 정확하고 효율적인 검진 및 검체 채취가 가능할 수 있다. According to embodiments of the present invention, necessary features are extracted through learning through images of the examination tool and images of the subject's insertion part, and the examination tool is automatically controlled to be accurately inserted into the insertion part, compared to the conventional manual method. The examination method being performed can be automated, and furthermore, when performing the examination remotely, automatic insertion can be added, allowing for more accurate and efficient examination and sample collection.

특히, 검진도구와 삽입부로서 코의 상호 위치 및 방향을 정확하게 식별하기 위해, 2개의 카메라를 서로 다른 방향을 향하도록 배치하여 이미지를 획득하는 것으로, 이를 통해 별도의 3차원 카메라를 사용하지 않으면서도 검진도구를 삽입부로 정확하게 삽입 가이드를 수행할 수 있다. In particular, in order to accurately identify the mutual position and direction of the nose as an examination tool and insertion part, images are acquired by arranging two cameras to face different directions, thereby enabling imaging without using a separate 3D camera. You can accurately guide the insertion of the examination tool into the insertion area.

이 경우, 검진도구와 삽입부의 식별을 이미지 학습을 통해 수행함으로써, 특징부의 학습 및 식별로 보다 용이하게 검진도구와 삽입부의 위치 및 방향 정보를 획득하여 상기 삽입 가이드의 신속성 및 효율성을 향상시킬 수 있다. In this case, by identifying the examination tool and the insertion part through image learning, the location and direction information of the examination tool and the insertion part can be obtained more easily through learning and identification of the features, thereby improving the speed and efficiency of the insertion guide. .

또한, 삽입 방향 및 위치를 제어함에 있어, 검진도구의 면봉 팁이 피검자의 코로 삽입되는 경우, 상기 면봉 팁과 상기 코와 귀를 연결하는 선을 따라 상기 면봉 팁을 삽입시킴으로써, 실제 피검자의 상기도의 내측을 따라 최소의 통증으로 정확하게 검체 채취가 가능한 영역으로 위치할 수 있다. In addition, in controlling the insertion direction and position, when the cotton swab tip of the examination tool is inserted into the subject's nose, the cotton swab tip is inserted along the line connecting the nose and the ear, so that the actual subject's upper airway It can be located along the medial side in an area where specimen collection can be performed accurately with minimal pain.

즉, 이미지를 통해 식별되는 주요 특징들에 대한 정보만으로, 검진도구를 통한 검체 채취에 있어서의 최적의 위치로 용이하게 제어할 수 있으므로, 피검자의 편의성을 향상시키는 것은 물론, 검체 채취의 효율성 및 신속성을 향상시킬 수 있다. In other words, it is possible to easily control the optimal location for sample collection using an examination tool using only information about the main features identified through the image, thereby improving the convenience of the subject as well as improving the efficiency and speed of sample collection. can be improved.

추가로, 압력센서의 센싱 정보를 통해 면봉 팁이 상기도 끝단, 즉 검체 채취 위치에 정확하게 도달하였는가를 센싱할 수 있으므로, 검체 채취의 자동화를 완전하게 구현할 수 있다. Additionally, since it is possible to sense whether the swab tip has accurately reached the end of the upper respiratory tract, that is, the sample collection location, through the sensing information of the pressure sensor, automation of sample collection can be completely implemented.

도 1은 본 발명의 일 실시예에 의한 검진도구 삽입시스템을 도시한 측면 모식도이다.
도 2는 도 1의 검진도구 삽입시스템을 도시한 평면 모식도이다.
도 3은 도 1의 검진도구 삽입시스템을 통해 검진도구가 삽입되는 상태에서, 제1 카메라를 통해 촬영되는 영상의 예를 도시한 모식도이다.
도 4는 도 1의 검진도구 삽입시스템을 통해 검진도구가 삽입되는 상태에서, 제2 카메라를 통해 촬영되는 영상의 예를 도시한 모식도이다.
도 5는 도 1의 검진도구 삽입시스템을 이용한 검진도구 삽입방법을 도시한 흐름도이다.
도 6a 및 도 6b는 도 5의 검진도구 삽입방법을 상세하게 도시한 흐름도이다.
도 7a 및 도 7b는 도 5의 면봉의 초기 삽입 방향 설정의 예를 도시한 평면 모식도들이다.
도 8은 도 5의 면봉 팁을 삽입 위치로 이동하는 단계를 도시한 측면 모식도이다.
도 9는 도 5의 면봉 팁의 삽입 각도 결정 단계를 도시한 측면 모식도이다.
도 10은 도 5의 면봉 삽입 단계를 도시한 측면 모식도이다. Figure 1 is a side schematic diagram showing an examination tool insertion system according to an embodiment of the present invention.
Figure 2 is a plan schematic diagram showing the examination tool insertion system of Figure 1.
FIG. 3 is a schematic diagram illustrating an example of an image captured through a first camera in a state in which an examination tool is inserted through the examination tool insertion system of FIG. 1.
FIG. 4 is a schematic diagram illustrating an example of an image captured by a second camera while a examination tool is inserted through the examination tool insertion system of FIG. 1.
Figure 5 is a flowchart showing a method of inserting an examination tool using the examination tool insertion system of Figure 1.
FIGS. 6A and 6B are flowcharts showing the method of inserting the examination tool of FIG. 5 in detail.
FIGS. 7A and 7B are plan schematic diagrams showing an example of setting the initial insertion direction of the cotton swab of FIG. 5.
Figure 8 is a side schematic diagram showing the steps of moving the swab tip of Figure 5 to the insertion position.
Figure 9 is a side schematic diagram showing the step of determining the insertion angle of the cotton swab tip in Figure 5.
Figure 10 is a side schematic diagram showing the cotton swab insertion step of Figure 5.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. Since the present invention can be subject to various changes and can have various forms, embodiments will be described in detail in the text. However, this is not intended to limit the present invention to a specific disclosed form, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. While describing each drawing, similar reference numerals are used for similar components. Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The above terms are used only for the purpose of distinguishing one component from another. The terms used in this application are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. In this application, terms such as “comprise” or “consist of” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as generally understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless explicitly defined in the present application, should not be interpreted in an ideal or excessively formal sense. No.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the attached drawings.

도 1은 본 발명의 일 실시예에 의한 검진도구 삽입시스템을 도시한 측면 모식도이다. 도 2는 도 1의 검진도구 삽입시스템을 도시한 평면 모식도이다. 도 3은 도 1의 검진도구 삽입시스템을 통해 검진도구가 삽입되는 상태에서, 제1 카메라를 통해 촬영되는 영상의 예를 도시한 모식도이다. 도 4는 도 1의 검진도구 삽입시스템을 통해 검진도구가 삽입되는 상태에서, 제2 카메라를 통해 촬영되는 영상의 예를 도시한 모식도이다.Figure 1 is a side schematic diagram showing an examination tool insertion system according to an embodiment of the present invention. Figure 2 is a plan schematic diagram showing the examination tool insertion system of Figure 1. FIG. 3 is a schematic diagram illustrating an example of an image captured through a first camera in a state in which an examination tool is inserted through the examination tool insertion system of FIG. 1. FIG. 4 is a schematic diagram illustrating an example of an image captured by a second camera while a examination tool is inserted through the examination tool insertion system of FIG. 1.

우선, 도 1 및 도 2를 참조하면, 본 실시예에 의한 검진도구 삽입시스템(10)은 몸체부(100), 검진도구(200), 제1 카메라(300), 제2 카메라(400), 학습부(500), 연산부(600) 및 제어부(700)를 포함한다. First, referring to FIGS. 1 and 2, the examination tool insertion system 10 according to this embodiment includes a body 100, an examination tool 200, a first camera 300, a second camera 400, It includes a learning unit 500, a calculation unit 600, and a control unit 700.

상기 검진도구 삽입시스템(10)은 피검자(20)의 삽입부, 예를 들어 피검자의 코(nose) 또는 입(lips)의 내부로 상기 검진도구(200)를 삽입하는 것으로, 이렇게 삽입된 상기 검진도구(200)는 끝단에 형성되는 면봉 팀(220)이 상기도 내측의 검체 채취 위치에 위치하여 필요한 검체를 채취한다. The examination tool insertion system 10 inserts the examination tool 200 into the insertion part of the subject 20, for example, the inside of the subject's nose or mouth, and the inserted examination tool 200 The tool 200 has a swab team 220 formed at the end located at the sample collection location inside the upper respiratory tract to collect the necessary sample.

구체적으로, 상기 몸체부(100)는 상기 검진도구 삽입시스템(10)의 프레임 및 구조체를 형성하는 것으로, 제3 방향(Z)으로 수직으로 연장되는 수직 프레임(110), 상기 수직 프레임(110)에 결합되며 상기 제3 방향(Z)에 수직인 제1 방향(X)을 따라 연장되는 수평 프레임(120), 및 상기 수평 프레임(120)의 일 측으로부터 연장되어 상기 피검자(20)가 위치하는 측으로 연장되는 측면 프레임(130)을 포함한다. Specifically, the body portion 100 forms the frame and structure of the examination tool insertion system 10, and includes a vertical frame 110 extending vertically in the third direction (Z), and the vertical frame 110. A horizontal frame 120 coupled to and extending along a first direction (X) perpendicular to the third direction (Z), and extending from one side of the horizontal frame 120 where the subject 20 is located. It includes a side frame 130 extending laterally.

또한, 상기 몸체부(100)는 별도로 형성되며 피검자(20)의 턱을 지지하는 지지프레임(140)을 더 포함한다. 즉, 피검자(20)는 검체가 채취되는 과정에서 턱을 상기 지지프레임(140) 상에 위치시키게 된다. In addition, the body portion 100 is formed separately and further includes a support frame 140 that supports the chin of the subject 20. That is, the subject 20 positions the chin on the support frame 140 during the process of collecting the sample.

나아가, 상기 몸체부(100)는 상기 수직 프레임(110)의 전단, 즉 피검자(20)를 향하는 방향으로 고정되며, 상기 수직 프레임(110)의 연장 방향에 대하여 소정의 각도(ψ) 기울어진 면을 형성하는 경사프레임(150)을 포함한다. Furthermore, the body portion 100 is fixed at the front end of the vertical frame 110, that is, in the direction toward the subject 20, and has a surface inclined at a predetermined angle (ψ) with respect to the extension direction of the vertical frame 110. It includes an inclined frame 150 forming a .

한편, 도 1 및 도 2에서는 상기 몸체부(100)의 구조체를 예시하여 도시하였으나, 이에 한정되지는 않으며, 다양한 구조체의 형상을 가지도록 구성될 수 있음은 자명하다. Meanwhile, in Figures 1 and 2, the structure of the body portion 100 is shown as an example, but it is not limited thereto, and it is obvious that it can be configured to have various structural shapes.

상기 검진도구(200)는 피검자(20)의 코(21) 또는 입(23)을 통해 삽입되어 상기도의 내측에서 필요한 검체를 채취하는 것으로, 면봉(210)과 같이 일 방향으로 바(bar) 형상을 가지며 연장되고, 상기 면봉(210)의 끝단에는 면봉 팁(220)이 형성된다. 즉, 상기 면봉 팁(220)이 상기 상기도의 내측으로 위치하여 실제 검체를 채취하게 된다. The examination tool 200 is inserted through the nose 21 or mouth 23 of the subject 20 to collect the necessary sample from the inside of the upper respiratory tract, and has a bar shape in one direction like a cotton swab 210. and extends, and a cotton swab tip 220 is formed at the end of the cotton swab 210. That is, the swab tip 220 is positioned inside the upper airway to collect an actual sample.

이 경우, 상기 검진도구(200)는 상기 수평 프레임(120)에 고정될 수 있으며, 후술되는 상기 제어부(700)의 제어에 따라 상기 검진도구(200)의 이동 위치나 이동 방향이 제어될 수 있다. In this case, the examination tool 200 may be fixed to the horizontal frame 120, and the moving position or direction of movement of the examination tool 200 may be controlled according to the control of the control unit 700, which will be described later. .

상기 제1 카메라(300)는 상기 경사 프레임(150) 상에 고정되며, 앞서 설명한 바와 같이 상기 경사 프레임(150)이 상기 제3 방향(Z)에 대하여 소정의 각도(ψ)만큼 기울어진 면을 형성하므로, 이에 따라 상기 제1 카메라(300)는 소정의 경사각을 형성하며 위치하게 된다. The first camera 300 is fixed on the inclined frame 150, and as described above, the inclined frame 150 has a surface inclined by a predetermined angle ψ with respect to the third direction Z. Therefore, the first camera 300 is positioned at a predetermined inclination angle.

이 때, 상기 제1 카메라(300)는 상기 검진도구(200)의 하부에 위치할 수 있으며, 상기 소정의 경사각을 형성함에 따라, 상기 제1 카메라(300)가 향하는 방향은 상기 피검자(20)의 얼굴의 정면부일 수 있다. At this time, the first camera 300 may be located below the examination tool 200, and as the predetermined inclination angle is formed, the direction in which the first camera 300 faces is toward the subject 20. It may be the front part of the face.

물론, 상기 제1 카메라(300)가 향하는 방향은 상기 피검자(20)의 얼굴에 대하여 다소 하측에서 얼굴 중심을 향하는 방향일 수는 있으며, 이러한 상기 제1 카메라(300)가 향하는 방향은 상기 소정의 각도(ψ)에 따라 다양하게 가변될 수 있다. Of course, the direction in which the first camera 300 faces may be from slightly below the face of the subject 20 toward the center of the face, and the direction in which the first camera 300 faces is the predetermined direction. It can vary widely depending on the angle (ψ).

나아가, 상기 제1 카메라(300)는 상기 수평 프레임(120) 상에 상기 검진도구(200)와 평행한 방향으로 구비될 수도 있으며, 이 경우는 상기 제1 카메라(300)는 별도의 경사각을 형성하지 않으면서 피검자(20)의 얼굴을 향하도록 배치될 수 있다. Furthermore, the first camera 300 may be provided on the horizontal frame 120 in a direction parallel to the examination tool 200, in which case the first camera 300 forms a separate inclination angle. It can be arranged to face the face of the subject 20 without doing so.

더 나아가, 상기 제1 카메라(300)는 상기 검진도구(200)의 상부에서, 하부를 향하는 방향으로 경사각을 형성하며 상기 피검자(20)의 얼굴을 향하도록 배치될 수도 있다. Furthermore, the first camera 300 may be arranged to form an inclination angle in a downward direction from the top of the examination tool 200 and face the face of the subject 20.

다만, 상기 제1 카메라(300)가 상기 어느 위치에 구비되는 경우라 하더라도, 상기 제1 카메라(300)는 상기 피검자(20)의 얼굴의 정면부를 향하도록 배치되어야 하며, 이에 따라 상기 제1 카메라(300)를 통해 획득되는 이미지는 얼굴의 정면부가 포함되어야 한다. However, even if the first camera 300 is provided at any of the above positions, the first camera 300 must be placed to face the front part of the face of the subject 20, and accordingly, the first camera 300 must be positioned to face the front part of the face of the subject 20. The image acquired through 300 must include the front part of the face.

나아가, 상기 제1 카메라(300)는 2차원 카메라일 수 있다. Furthermore, the first camera 300 may be a two-dimensional camera.

이상과 같이, 상기 제1 카메라(300)에 의해 촬영되는 이미지의 예는 도 3에 도시된 바와 같다. As described above, an example of an image captured by the first camera 300 is as shown in FIG. 3.

즉, 도 3을 참조하면, 상기 제1 카메라(300)가 상기 피검자(20)의 얼굴의 정면부를 향하도록 배치되며 이미지를 촬영하므로, 상기 제1 카메라(300)를 통해 촬영된 이미지에는, 피검자(20)의 한 쌍의 코(21), 피검자(20)의 입(23), 및 상기 검진도구(200)가 포함된다. That is, referring to FIG. 3, the first camera 300 is positioned to face the front part of the subject 20 and captures an image, so the image captured through the first camera 300 includes the subject. It includes a pair of noses 21 of (20), a mouth 23 of the subject 20, and the examination tool 200.

이 경우, 상기 제1 카메라(300)는 보다 정확하게는, 상기 피검자(20)의 한 쌍의 콧구멍을 촬영하는 것이나, 이하에서는 설명의 편의상 한 쌍의 코(21)를 촬영하는 것으로 설명한다. In this case, the first camera 300 more precisely photographs a pair of nostrils of the subject 20, but hereinafter, for convenience of explanation, it will be described as photographing a pair of noses 21.

이와 달리, 상기 제2 카메라(400)는 상기 측면 프레임(130)의 끝단에 고정되며, 피검자(20)의 얼굴의 측면부를 향하도록, 즉 상기 제1 및 제3 방향들(X, Z)에 모두 수직인 제2 방향(Y)을 향하도록 배치된다. In contrast, the second camera 400 is fixed to the end of the side frame 130 and is directed toward the side of the face of the subject 20, that is, in the first and third directions (X, Z). They are all arranged to face the second vertical direction (Y).

이 때, 상기 제2 카메라(400)는 상기 피검자(20)의 얼굴의 측면부 중 중앙을 향하도록 위치할 수 있으나, 그 정확한 위치는 가변될 수 있으며 얼굴의 측면부에 대한 이미지를 획득할 수 있으면 충분하다. At this time, the second camera 400 may be positioned to face the center of the side part of the face of the subject 20, but its exact location may vary, and it is sufficient to obtain an image of the side part of the face. do.

따라서, 상기 제2 카메라(400)를 통해 획득되는 이미지는 얼굴의 측면부가 포함되어야 하며, 상기 제2 카메라(400) 역시 상기 제1 카메라(300)와 같은 2차원 카메라일 수 있다. Therefore, the image acquired through the second camera 400 must include the side part of the face, and the second camera 400 may also be a two-dimensional camera like the first camera 300.

이상과 같이, 상기 제2 카메라(400)에 의해 촬영되는 이미지의 예는 도 4에 도시된 바와 같다. As described above, an example of an image captured by the second camera 400 is as shown in FIG. 4.

즉, 도 4를 참조하면, 상기 제2 카메라(400)가 상기 피검자(20)의 얼굴의 측면부를 향하도록 배치되어 이미지를 촬영하므로, 상기 제2 카메라(400)를 통해 촬영된 이미지에는, 피검자(20)의 일 측의 코(21), 피검자(20)의 입(23), 피검자(20)의 일 측 귀(22), 및 상기 검진도구(200)가 포함된다. That is, referring to FIG. 4, since the second camera 400 is arranged to face the side part of the subject 20 and captures an image, the image captured through the second camera 400 includes the subject. It includes the nose 21 on one side of (20), the mouth 23 on one side of the subject 20, the ear 22 on one side of the subject 20, and the examination tool 200.

이 경우, 상기 제2 카메라(400)는 보다 정확하게는, 상기 피검자(20)의 일 측의 코의 측면 형상을 촬영하는 것이나, 이하에서는 설명의 편의상 일 측의 코(21)를 촬영하는 것으로 설명한다. In this case, the second camera 400 more accurately photographs the side shape of the nose on one side of the subject 20, but hereinafter, for convenience of explanation, it will be described as photographing the nose 21 on one side. do.

상기 학습부(500)는 상기 제1 카메라(300) 및 상기 제2 카메라(400)로부터 획득된 이미지들을 바탕으로 학습을 수행하여, 이미지로부터 필요한 특징부들을 추출하여 식별한다. The learning unit 500 performs learning based on images acquired from the first camera 300 and the second camera 400, and extracts and identifies necessary features from the images.

이 경우, 상기 학습부(500)는 다양한 피검자 및 검진도구에 대한 이미지를 통해 머신러닝 또는 기계학습을 수행하며, 이를 바탕으로 소정의 패턴을 인식하여 상기 검진도구(200)의 삽입을 위해 필요한 특징들을 추출하고 이를 식별한다. In this case, the learning unit 500 performs machine learning or machine learning through images of various subjects and examination tools, and based on this, recognizes a predetermined pattern and features necessary for insertion of the examination tool 200. Extract them and identify them.

한편, 상기 학습부(500)는 상기 제1 카메라(300)로부터 획득된 이미지들과, 상기 제2 카메라(400)로부터 획득된 이미지들을 서로 구분하여 각각의 이미지들에 대하여 별도로 학습을 수행한다. Meanwhile, the learning unit 500 separates images acquired from the first camera 300 and images acquired from the second camera 400 and performs learning on each image separately.

예를 들어, 도 3을 다시 참조하면, 상기 학습부(500)는 상기 제1 카메라(300)에서 촬영되는 피검자(20)의 얼굴의 정면부에 대한 이미지들을 학습하여, 삽입부로서 피검자(20)의 한 쌍의 코(21)가 위치하는 영역들(B1, B2), 및 검진도구(200)의 면봉 팁(220)의 위치하는 영역(A)을 특징부로 추출하여 이를 식별할 수 있다. For example, referring again to FIG. 3, the learning unit 500 learns images of the front part of the face of the subject 20 captured by the first camera 300 and uses the subject 20 as an insertion unit. ), the areas B1 and B2 where the pair of noses 21 are located, and the area A where the swab tip 220 of the examination tool 200 is located can be extracted and identified as features.

이 경우, 도 3에서는 삽입부로서 코(21)를 식별하는 것을 예시하였으나, 상기 면봉 팁(220)이 삽입되는 삽입부는 피검자(20)의 입(23)일 수도 있으며, 이에 따라 상기 학습부(500)에서는 피검자(20)의 얼굴의 정면부에 대한 이미지들을 학습하여, 삽입부로서 피검자(20)의 입(23)이 위치하는 영역을 식별할 수도 있다. In this case, FIG. 3 illustrates identifying the nose 21 as the insertion part, but the insertion part into which the cotton swab tip 220 is inserted may be the mouth 23 of the subject 20, and accordingly, the learning unit ( In 500), images of the front part of the subject's 20 face may be learned to identify the area where the mouth 23 of the subject 20 is located as an insertion part.

또한, 상기 제1 카메라(300)에서 촬영되는 상기 이미지는 도 3에 도시된 바와 같이 상기 제1 카메라(300)에서 촬영되는 이미지에 대한 픽셀좌표인 (u, v)의 2차원 좌표로 표시될 수 있다. 이 경우, 상기 제1 카메라(300)에서 촬영되는 이미지에 대한 2차원 좌표(u, v)는 도 1 및 도 2에서 정의된 검진도구 삽입시스템(10)에 대한 3차원 좌표(X, Y, Z)와는 구분된다. 또한, 상기 3차원 좌표(X, Y, Z) 중, (Y, Z) 평면 좌표는 상기 제1 카메라(300)에서 촬영된 이미지에 대한 (u, v)좌표와 소정의 변환 관계를 가질 수 있다. In addition, the image captured by the first camera 300 will be displayed as two-dimensional coordinates of (u, v), which are pixel coordinates for the image captured by the first camera 300, as shown in FIG. You can. In this case, the two-dimensional coordinates (u, v) for the image captured by the first camera 300 are the three-dimensional coordinates (X, Y, It is distinguished from Z). In addition, among the three-dimensional coordinates (X, Y, Z), the (Y, Z) plane coordinates may have a predetermined transformation relationship with the (u, v) coordinates for the image captured by the first camera 300. there is.

이 때, 상기 (Y, Z) 평면 좌표와 상기 이미지 좌표(u, v)는 상기 제1 카메라(300)의 위치 등을 고려하여 소정의 변환 행렬로 정의될 수 있으며, 이에 대한 상세한 설명은 생략한다. At this time, the (Y, Z) plane coordinates and the image coordinates (u, v) may be defined as a predetermined transformation matrix in consideration of the position of the first camera 300, etc., and detailed description thereof is omitted. do.

나아가, 도 4를 다시 참조하면, 상기 학습부(500)는 상기 제2 카메라(400)에서 촬영되는 피검자(20)의 얼굴의 측면부에 대한 이미지들을 학습하여, 삽입부로서 피검자(20)의 일 측 코(21)가 위치하는 영역(B1 또는 B2), 피검자의 일 측 귀(22)가 위치하는 영역(C), 및 검진도구(200)의 면봉 팁(220)의 위치하는 영역(A)을 특징부로 추출하여 이를 식별할 수 있다. Furthermore, referring again to FIG. 4, the learning unit 500 learns images of the side part of the face of the subject 20 captured by the second camera 400 and uses the part of the subject 20 as an insertion unit. The area where the side nose 21 is located (B1 or B2), the area where the subject's one ear 22 is located (C), and the area where the swab tip 220 of the examination tool 200 is located (A) This can be identified by extracting it as a feature.

이 경우, 도 4에서는 삽입부로서 코(21)를 식별하는 것을 예시하였으나, 상기 면봉 팁(220)이 삽입되는 삽입부는 피검자(20)의 입(23)일 수도 있으며, 이에 따라 상기 학습부(500)에서는 피검자(20)의 얼굴의 측면부에 대한 이미지들을 학습하여, 삽입부로서 피검자(20)의 입(23)이 위치하는 영역을 식별할 수도 있다. In this case, FIG. 4 illustrates identifying the nose 21 as the insertion part, but the insertion part into which the cotton swab tip 220 is inserted may be the mouth 23 of the subject 20, and accordingly, the learning unit ( In 500), images of the side part of the face of the subject 20 may be learned to identify the area where the mouth 23 of the subject 20 is located as an insertion part.

마찬가지로, 상기 제2 카메라(400)에서 촬영되는 상기 이미지는 도 4에 도시된 바와 같이 상기 제2 카메라(400)에서 촬영되는 이미지에 대한 픽셀좌표인 (u´, v´)의 2차원 좌표로 표시될 수 있다. 이 경우, 상기 제2 카메라(400)에서 촬영되는 이미지에 대한 2차원 좌표(u´, v´)는 도 1 및 도 2에서 정의된 검진도구 삽입시스템(10)에 대한 3차원 좌표(X, Y, Z)와는 구분되며, 상기 3차원 좌표(X, Y, Z) 중, (X, Z) 평면 좌표는 상기 제2 카메라(400)에서 촬영된 이미지에 대한 (u´, v´)좌표와 소정의 변환 관계를 가질 수 있음은 앞서 설명한 바와 같다. Likewise, the image captured by the second camera 400 is expressed as two-dimensional coordinates of (u′, v′), which are pixel coordinates for the image captured by the second camera 400, as shown in FIG. 4. can be displayed. In this case, the two-dimensional coordinates (u´, v´) for the image captured by the second camera 400 are the three-dimensional coordinates (X, Y, Z), and among the three-dimensional coordinates (X, Y, Z), the (X, Z) plane coordinates are the (u´, v´) coordinates for the image captured by the second camera 400. As explained previously, it can have a predetermined transformation relationship with .

이 때, 상기 (X, Z) 평면 좌표와 상기 이미지 좌표(u´, v´)는 상기 제2 카메라(400)의 위치 등을 고려하여 소정의 변환 행렬로 정의될 수 있으며, 이에 대한 상세한 설명은 생략한다. At this time, the (X, Z) plane coordinates and the image coordinates (u´, v´) may be defined as a predetermined transformation matrix in consideration of the position of the second camera 400, etc., a detailed description of which is omitted.

이상과 같이, 본 실시예에서는, 상기 학습부(500)에서 이미지에 대한 학습을 수행하여, 상기 검진도구(200)를 피검자(20)의 삽입부에 삽입하기 위해 필요한 특징부들을 식별할 수 있으며, 이렇게 식별된 특징부들을 바탕으로 상기 검진도구(200)를 삽입하게 된다. As described above, in this embodiment, the learning unit 500 performs learning on the image to identify the features necessary to insert the examination tool 200 into the insertion part of the subject 20. , the examination tool 200 is inserted based on the features identified in this way.

이 경우, 상기 연산부(600)는 상기 학습부(500)의 학습의 결과로 추출된 특징부들의 위치를 바탕으로, 상기 검진도구(200)가 삽입부로 삽입하기 위해 필요한 인자들을 연산한다. In this case, the calculation unit 600 calculates the factors necessary for the examination tool 200 to insert into the insertion unit, based on the positions of the features extracted as a result of learning by the learning unit 500.

예를 들어, 상기 연산부(600)에서는, 상기 면봉 팁(220)이 상기 삽입부, 즉 피검자의 코(21) 또는 피검자의 입(23)으로 삽입하기 위해 필요한 상기 면봉 팁(220)의 이동량과 삽입 방향을 연산할 수 있다. For example, in the calculation unit 600, the movement amount of the swab tip 220 required to insert the swab tip 220 into the insertion unit, that is, the subject's nose 21 or the subject's mouth 23, and The insertion direction can be calculated.

이 경우, 상기 연산부(600)에서 연산되는 상기 면봉 팁(220)의 이동량과 삽입 방향은, 상기 이미지 상에서 상기 면봉 팁(220)의 위치와 상기 삽입부(21, 23)의 위치를 도출함으로써 벡터(vector)의 도출을 통해 용이하게 연산할 수 있다. In this case, the movement amount and insertion direction of the cotton swab tip 220 calculated by the calculation unit 600 are vectors by deriving the position of the cotton swab tip 220 and the positions of the insertion parts 21 and 23 on the image. It can be easily calculated through the derivation of (vector).

특히, 본 실시예의 경우, 서로 다른 방향으로 촬영되는 이미지들이 획득되므로, 이러한 이미지들을 바탕으로 벡터를 도출하여 상기 면봉 팁(220)의 이동량과 삽입 방향을 용이하게 연산할 수 있다. In particular, in the case of this embodiment, since images taken in different directions are obtained, the movement amount and insertion direction of the swab tip 220 can be easily calculated by deriving vectors based on these images.

상기 제어부(700)는 상기 연산부(600)에서의 연산결과를 바탕으로, 상기 면봉 팁(220)을 포함하는 상기 검진도구(200)의 이동량 및 삽입 방향을 제어한다. 이 때, 도시하지는 않았으나, 상기 제어부(700)는 상기 수평 프레임(120) 및 상기 수직 프레임(110)의 내부에 구비되는 구동부의 구동을 제어함으로써, 상기 검진도구(200)의 이동량과 삽입 방향을 제어할 수 있다. The control unit 700 controls the movement amount and insertion direction of the examination tool 200 including the cotton swab tip 220, based on the calculation result from the calculation unit 600. At this time, although not shown, the control unit 700 controls the driving of the driving unit provided inside the horizontal frame 120 and the vertical frame 110 to determine the movement amount and insertion direction of the examination tool 200. You can control it.

한편, 상기 검진도구 삽입시스템(10)은 압력센서(160, 도 10 참조)를 더 포함할 수 있다. Meanwhile, the examination tool insertion system 10 may further include a pressure sensor 160 (see FIG. 10).

상기 압력센서(160)는 상기 면봉(210)의 후단 끝단에 구비되며, 상기 면봉 팁(220)으로부터 전달되는 압력을 측정한다. The pressure sensor 160 is provided at the rear end of the cotton swab 210 and measures the pressure transmitted from the cotton swab tip 220.

실제 검체를 채취하기 위해서는, 상기 면봉 팁(220)은 피검자(20)의 코나 입과 같은 삽입부로부터 상기도로 인입되어 상기도의 끝부분에 위치하여야 하는데, 상기 면봉 팁(220)이 상기도의 끝부분에 위치하여 더 이상 진입되지 않은 경우 상기 면봉 팁(220)을 통해 소정의 압력이 전달된다. In order to collect an actual sample, the swab tip 220 must be inserted into the upper airway from an insertion point such as the nose or mouth of the subject 20 and positioned at the end of the upper airway. When it is located and no longer enters, a predetermined pressure is transmitted through the swab tip 220.

따라서, 상기 압력센서(160)는 이러한 압력을 측정하여, 상기 면봉 팁(220)이 상기도 끝부분에 위치하여 더 이상 진입되지 않고, 이에 따라 검체의 채취를 수행하기 시작하여도 되는 위치에 대한 센싱을 수행할 수 있다. Accordingly, the pressure sensor 160 measures this pressure so that the swab tip 220 is located at the end of the upper airway and no longer enters, and thus determines the position at which sample collection can begin. Sensing can be performed.

즉, 상기 압력센서(160)를 통해 상기 압력이 측정되면, 상기 제어부(700)는 상기 면봉 팁(220)의 이동을 중단시키며, 이 후 검체 채취 동작을 수행하도록 제어하게 된다. That is, when the pressure is measured through the pressure sensor 160, the control unit 700 stops the movement of the swab tip 220 and then controls the sample collection operation.

이하에서는 상기 검진도구 삽입시스템(10)을 이용한 검진도구 삽입방법에 대하여 상세히 설명한다. Hereinafter, a method of inserting an examination tool using the examination tool insertion system 10 will be described in detail.

도 5는 도 1의 검진도구 삽입시스템을 이용한 검진도구 삽입방법을 도시한 흐름도이다. 도 6a 및 도 6b는 도 5의 검진도구 삽입방법을 상세하게 도시한 흐름도이다. 도 7a 및 도 7b는 도 5의 면봉의 초기 삽입 방향 설정의 예를 도시한 평면 모식도들이다. 도 8은 도 5의 면봉 팁을 삽입 위치로 이동하는 단계를 도시한 측면 모식도이다. 도 9는 도 5의 면봉 팁의 삽입 각도 결정 단계를 도시한 측면 모식도이다. 도 10은 도 5의 면봉 삽입 단계를 도시한 측면 모식도이다. Figure 5 is a flowchart showing a method of inserting an examination tool using the examination tool insertion system of Figure 1. FIGS. 6A and 6B are flowcharts showing the method of inserting the examination tool of FIG. 5 in detail. FIGS. 7A and 7B are plan schematic diagrams showing an example of setting the initial insertion direction of the cotton swab of FIG. 5. Figure 8 is a side schematic diagram showing the steps of moving the swab tip of Figure 5 to the insertion position. Figure 9 is a side schematic diagram showing the step of determining the insertion angle of the cotton swab tip in Figure 5. Figure 10 is a side schematic diagram showing the cotton swab insertion step of Figure 5.

도 5, 도 6a 및 도 6b를 참조하면, 상기 검진도구 삽입방법에서는, 우선, 상기 삽입부에 대한 상기 검진도구(200)의 초기 삽입 방향을 설정한다(단계 S100). Referring to FIGS. 5, 6A, and 6B, in the method of inserting the examination tool, first, the initial insertion direction of the examination tool 200 with respect to the insertion part is set (step S100).

앞서 설명한 바와 같이, 상기 검진도구(200)의 면봉 팁(220)은 피검자(20)의 삽입부로서, 코(21) 또는 입(23)으로 삽입되는데, 이러한 삽입을 수행하기 전에 상기 검진도구(200)의 초기 삽입 방향을 설정한다. As described above, the swab tip 220 of the examination tool 200 is an insertion part of the subject 20 and is inserted into the nose 21 or the mouth 23. Before performing such insertion, the examination tool ( 200) sets the initial insertion direction.

한편, 이하에서는 설명의 편의상, 상기 피검자(20)의 삽입부로서 코(21)로 삽입되는 경우를 도면을 참조하여 예시하며, 입(23)으로 삽입되는 경우도 동일한 방법이 적용되므로 반복되는 설명은 생략한다. Meanwhile, hereinafter, for convenience of explanation, the case where the insertion part of the subject 20 is inserted into the nose 21 is illustrated with reference to the drawings, and the same method is applied in the case of insertion into the mouth 23, so the description is repeated. is omitted.

이러한 상기 검진도구(200)의 초기 삽입 방향을 설정하는 단계(단계 S100)에서는, 상기 코(21)로 삽입되는 경우, 상기 코(21)는 한 쌍으로 왼쪽 또는 오른쪽의 어느 한 쪽으로만 삽입되어야 하므로, 우선, 상기 검진도구(200)가 왼쪽 코(21, B1) 또는 오른쪽 코(21, B2)로 삽입될지의 여부를 결정한다(단계 S110). In the step of setting the initial insertion direction of the examination tool 200 (step S100), when inserted into the nose 21, the nose 21 must be inserted as a pair only on either the left or the right side. Therefore, first, it is determined whether the examination tool 200 will be inserted into the left nose 21, B1 or the right nose 21, B2 (step S110).

그리하여, 도 7a에 도시된 바와 같이, 상기 검진도구(200)가 왼쪽 코(21, B1)로 삽입되는 경우라면, 상기 검진도구(200)의 삽입각도를 제1 양의 각(+φ)만큼 상기 제1 방향(X)에 대하여 기울어지도록 수정한다(단계 S120). Therefore, as shown in FIG. 7A, if the examination tool 200 is inserted into the left nose (21, B1), the insertion angle of the examination tool 200 is increased by the first positive angle (+ϕ). It is corrected to be tilted with respect to the first direction (X) (step S120).

이 경우, 상기 제1 방향(X)은 상기 코(21)의 중앙을 따라 연장되는 방향이며, 초기 상태에서 상기 검진도구(200)가 연장되는 방향이다. In this case, the first direction (X) is a direction extending along the center of the nose 21, and is a direction in which the examination tool 200 extends in the initial state.

이와 달리, 도 7b에 도시된 바와 같이, 상기 검진도구(200)가 오른쪽 코(21, B2)로 삽입되는 경우라면, 상기 검진도구(200)의 삽입각도를 제1 음의 각(-φ)만큼 상기 제1 방향(X)에 대하여 기울어지도록 수정한다(단계 S130). On the other hand, as shown in FIG. 7B, when the examination tool 200 is inserted into the right nose (21, B2), the insertion angle of the examination tool 200 is set to the first negative angle (-ϕ). It is corrected to be tilted with respect to the first direction (X) (step S130).

즉, 이상과 같이, 상기 삽입부가 코(21)인 경우라면, 어느 쪽 코로 삽입할 것인지에 대항 결정하여 해당 코가 위치하는 방향으로 상기 검진도구(200)를 기울어지도록 위치시켜, 초기 삽입 방향을 설정한다. That is, as described above, if the insertion part is the nose 21, determine which nose to insert into, tilt the examination tool 200 in the direction of the nose, and set the initial insertion direction. do.

이 때, 상기 제1 양의 각(+φ) 또는 제1 음의 각(-φ)은, 상기 특징부로 추출되는 이미지 상에서 피검자의 코의 위치상의 특징을 고려하여 다양하게 선택될 수 있다. At this time, the first positive angle (+ϕ) or the first negative angle (-ϕ) may be selected in various ways by considering the locational characteristics of the subject's nose in the image extracted with the feature.

이 후, 도 5, 도 6a 및 도 6b를 다시 참조하면, 이상과 같이 상기 검진도구(200)의 초기 삽입 방향이 설정된 이 후(단계 S100), 상기 면봉 팁(220)의 이미지를 바탕으로 상기 면봉 팁(220)의 삽입 전의 위치를 우선 확인한다(단계 S200). Afterwards, referring again to FIGS. 5, 6A, and 6B, after the initial insertion direction of the examination tool 200 is set as described above (step S100), the First, check the position of the swab tip 220 before insertion (step S200).

보다 구체적으로, 도 8을 동시에 참조하면, 상기 제2 카메라(400)로 촬영되는 피검자(20)의 얼굴 측면부 이미지로부터, 앞서 설명한 상기 학습부(500)의 학습을 통해 상기 면봉 팁(220)을 인식한다(단계 S210). More specifically, referring to FIG. 8 at the same time, the cotton swab tip 220 is generated through learning by the learning unit 500 described above from the image of the side face of the subject 20 captured by the second camera 400. Recognize (step S210).

그리하여, 상기 면봉 팁(220)의 위치를 상기 이미지 상에서 제1 좌표(t(u´, v´))로 표시할 수 있다. 이 경우, 상기 이미지는 상기 제2 카메라(400)로부터 촬영된 이미지로서, 상기 제2 카메라(400)의 이미지에 대한 픽셀 좌표인 (u´, v´)로 표시한다. Thus, the location of the swab tip 220 can be displayed as first coordinates (t(u´, v´)) on the image. In this case, the image is an image captured from the second camera 400, and is expressed as (u′, v′), which are pixel coordinates for the image of the second camera 400.

이 후, 상기 도출된 면봉 팁(220)의 위치가 기 설정된 초기 삽입 범위(u_min, u_max) 이내에 위치하는 가의 여부를 판단한다(단계 S220). 즉, 상기 도출된 제1 좌표(t(u´, v´))가 하기 식 (1)을 만족시키는 가의 여부를 판단한다. Afterwards, it is determined whether the derived position of the swab tip 220 is within the preset initial insertion range (u _min , u _max ) (step S220). That is, it is determined whether the derived first coordinates (t(u´, v´)) satisfy the following equation (1).

식 (1) Equation (1)

이 경우, u_min은 상기 기 설정된 초기 삽입 범위의 최소값이며, u_max은 상기 기 설정된 초기 삽입 범위의 최대값이다. In this case, u _min is the minimum value of the preset initial insertion range, and u _max is the maximum value of the preset initial insertion range.

또한, 상기 초기 삽입 범위는 상기 면봉 팁(220)이 상기 삽입부(21)에 삽입되지 않은 위치와 상기 삽입부(21)로부터 너무 멀리 이격되어 방향이나 이동거리 제어가 어렵지 않은 위치의 범위로서, 도 8에 도시된 바와 같이 정의될 수 있다. In addition, the initial insertion range is a range of positions where the swab tip 220 is not inserted into the insertion part 21 and a position where it is not difficult to control the direction or movement distance because it is spaced too far from the insertion part 21, It can be defined as shown in FIG. 8.

나아가, 상기 도출된 면봉 팁(220)의 위치가 기 설정된 초기 삽입 범위(u_min, u_max) 이내에 위치하지 않는 경우라면(단계 S220), 상기 면봉 팁(220)을 피검자(20)의 얼굴이 향하는 방향으로 이동시키며(단계 S230), 이를 통해 상기 기 설정된 초기 삽입 범위 내에 상기 면봉 팁(220)이 위치하도록 제어한다. Furthermore, if the derived position of the swab tip 220 is not located within the preset initial insertion range (u _min , u _max ) (step S220), the swab tip 220 is placed on the face of the subject 20. It is moved in the facing direction (step S230), and through this, the swab tip 220 is controlled to be located within the preset initial insertion range.

이 때, 상기 면봉 팁(220)의 위치가 피검자의 얼굴을 기준으로 u_min보다 먼 위치라면, 상기 면봉 팁(220)을 상기 피검자(20)의 얼굴이 향하는 방향으로 전진 이동시키고, 이와 달리 상기 면봉 팁(220)의 위치가 피검자의 얼굴을 기준으로 u_max 보다 가까운 위치라면, 상기 면봉 팁(220)을 상기 피검자(20)의 얼굴이 향하는 방향의 반대측으로 후진 이동시킨다. At this time, if the position of the cotton swab tip 220 is farther than u _min based on the subject's face, the cotton swab tip 220 is moved forward in the direction toward the face of the subject 20. If the position of the cotton swab tip 220 is closer than u _max based on the subject's face, the cotton swab tip 220 is moved backward to the side opposite to the direction in which the subject's face is facing.

이 후, 도 5, 도 6a 및 도 6b를 참조하면, 상기 면봉 팁(220)의 위치(t(u´, v´))가 상기 기 설정된 초기 삽입 범위(u_min, u_max) 이내에 위치하는 경우, 비로소 상기 면봉 팁(220)을 삽입 위치로 이동시킨다(단계 S300). Afterwards, referring to FIGS. 5, 6A and 6B, the position (t(u´, v´)) of the swab tip 220 is located within the preset initial insertion range (u _min , u _max ). In this case, the swab tip 220 is finally moved to the insertion position (step S300).

보다 구체적으로, 도 3을 동시에 참조하면, 상기 제1 카메라(300)를 통해 촬영된 이미지로부터 코(21)와 같은 상기 삽입부를 인식하고(단계 S310), 상기 제1 카메라(300)를 통해 촬영된 이미지로부터 상기 면봉 팁(220)을 인식한다(단계 S320). More specifically, referring to FIG. 3 at the same time, the insertion part, such as the nose 21, is recognized from the image captured through the first camera 300 (step S310), and the inserted portion such as the nose 21 is recognized (step S310) and captured through the first camera 300. The swab tip 220 is recognized from the image (step S320).

즉, 상기 제1 카메라(300)를 촬영되는 피검자(20)의 얼굴 정면부 이미지로부터, 앞서 설명한 상기 학습부(500)의 학습을 통해 상기 삽입부, 즉, 코(21)를 인식한다(단계 S310). That is, from the image of the front face of the subject 20 captured by the first camera 300, the insertion part, that is, the nose 21, is recognized through learning by the learning unit 500 described above (step S310).

그리하여, 상기 삽입부(21)의 위치를 상기 이미지 상에서 제2 좌표(s(u, v))로 표시할 수 있다. 이 경우, 상기 이미지는 상기 제1 카메라(300)로부터 촬영된 이미지로서, 상기 제1 카메라(300)의 이미지에 대한 픽셀 좌표인 (u, v)로 표시한다. Thus, the position of the insertion part 21 can be displayed as second coordinates (s(u, v)) on the image. In this case, the image is an image captured from the first camera 300, and is expressed as (u, v), which are pixel coordinates for the image of the first camera 300.

한편, 상기 면봉 팁(220)이 상기 삽입 전 위치 확인 단계(단계 S200)를 통해 그 위치가 가변되었을 수 있으므로, 상기 제1 카메라(300)를 통해 다시 이미지를 촬영하고 이로부터 상기 면봉 팁(220)의 위치를 상기 이미지 상에서 상기 제3 좌표(t(u, v))로 인식한다(단계 S320). Meanwhile, since the position of the cotton swab tip 220 may have changed through the pre-insertion position confirmation step (step S200), an image is taken again through the first camera 300 and from this, the cotton swab tip 220 ) is recognized as the third coordinate (t(u, v)) on the image (step S320).

그리하여, 상기 면봉 팁(220)이 상기 삽입부(21)로 삽입이 시작되기 위해 상기 면봉 팁(220)이 이동하여야 하는 이동량(ΔY, ΔZ)을 계산한다(단계 S330). 이 경우, 상기 제1 카메라(300)로 촬영되는 이미지, 즉 도 3은 검진도구 삽입시스템(10)에 대한 3차원 좌표(X, Y, Z) 중 (Y, Z) 좌표로 표현되는 2차원 좌표 상에 위치하기 때문에, 상기 이동량은 (ΔY, ΔZ)로 정의된다. Thus, the movement amounts (ΔY, ΔZ) that the swab tip 220 must move to begin insertion into the insertion unit 21 are calculated (step S330). In this case, the image captured by the first camera 300, that is, Figure 3, is a two-dimensional image expressed as (Y, Z) coordinates among the three-dimensional coordinates (X, Y, Z) for the examination tool insertion system 10. Because it is located on coordinates, the movement amount is defined as (ΔY, ΔZ).

이러한 상기 이동량은 앞서 설명한 상기 연산부(600)를 통해 연산될 수 있다. 이 때, 상기 이동량(ΔY, ΔZ)은 하기 식 (2)를 통해 계산될 수 있다. This movement amount can be calculated through the calculation unit 600 described above. At this time, the movement amount (ΔY, ΔZ) can be calculated through the following equation (2).

식 (2) Equation (2)

즉, 상기 이동량(ΔY, ΔZ)은 현재의 상기 면봉 팁(220)의 제3 좌표와 상기 삽입부(21)의 제2 좌표 사이의 차이를 통해 벡터로 도출될 수 있다. That is, the movement amount (ΔY, ΔZ) can be derived as a vector through the difference between the current third coordinate of the swab tip 220 and the second coordinate of the insertion portion 21.

이와 같이, 상기 면봉 팁(220)이 이동하여야 하는 이동량(ΔY, ΔZ)이 계산되면(단계 S330), 상기 제어부(700)는 상기 면봉 팁(220)을 이동시켜, 상기 면봉 팁(220)은 삽입 위치에 위치하게 된다(단계 S340). In this way, when the movement amount (ΔY, ΔZ) by which the cotton swab tip 220 must move is calculated (step S330), the control unit 700 moves the cotton swab tip 220 so that the cotton swab tip 220 It is located at the insertion position (step S340).

이상과 같이, 상기 면봉 팁(220)이 상기 삽입부(21)에 대하여 삽입 위치에 위치하게 되면(단계 S300), 도 5, 도 6a 및 도 6b를 참조하면, 상기 면봉 팁(220)의 상기 삽입부(21)로의 삽입 각도를 결정한다(단계 S400). As described above, when the swab tip 220 is positioned at the insertion position with respect to the insertion portion 21 (step S300), referring to FIGS. 5, 6A, and 6B, the swab tip 220 The insertion angle into the insertion portion 21 is determined (step S400).

보다 구체적으로, 도 8을 동시에 참조하면, 상기 제2 카메라(400)로 촬영되는 피검자(20)의 얼굴 측면부 이미지로부터, 앞서 설명한 상기 학습부(500)의 학습을 통해 상기 삽입부로서 코(21)를 다시 인식한다(단계 S410). More specifically, referring to FIG. 8 at the same time, from the face side image of the subject 20 captured by the second camera 400, the nose 21 as the insertion part is obtained through learning by the learning unit 500 described above. ) is recognized again (step S410).

그리하여, 상기 삽입부(21)의 위치를 상기 이미지 상에서 제4 좌표(f(u´, v´))로 표시할 수 있다. 이 경우, 상기 이미지는 상기 제2 카메라(400)로부터 촬영된 이미지로서, 상기 제2 카메라(400)의 이미지에 대한 픽셀 좌표인 (u´, v´)로 표시함은 앞서 설명한 바와 같다. Thus, the position of the insertion part 21 can be displayed as fourth coordinates (f(u′, v′)) on the image. In this case, the image is an image captured from the second camera 400, and is expressed as (u′, v′), which is the pixel coordinates for the image of the second camera 400, as described above.

또한, 상기 제2 카메라(400)로 촬영되는 피검자(20)의 얼굴 측면부 이미지로부터, 앞서 설명한 상기 학습부(500)의 학습을 통해 상기 피검자(20)의 귀(22)를 인식한다(단계 S420). In addition, from the face side image of the subject 20 captured by the second camera 400, the ear 22 of the subject 20 is recognized through learning by the learning unit 500 described above (step S420) ).

그리하여, 상기 귀(22)의 위치를 상기 이미지 상에서 제5 좌표(e(u´, v´))로 표시할 수 있다. Thus, the position of the ear 22 can be displayed as the fifth coordinate (e(u′, v′)) on the image.

한편, 앞선 상기 면봉 팁을 삽입 위치로 이동하는 단계(단계 S300)를 통해, 상기 면봉 팁(220)은 소정의 삽입 위치로 이동된 상태이며, 이에 따라, 상기 제2 카메라(400)를 통해 인식된 면봉 팁(220)의 위치도 가변된다. 이에, 상기 제2 카메라(400)에서는 상기 가변된 상기 면봉 팁(220)에 대한 식별을 수행한다. Meanwhile, through the previous step of moving the swab tip to the insertion position (step S300), the swab tip 220 is moved to a predetermined insertion position, and is thus recognized through the second camera 400. The position of the swab tip 220 is also variable. Accordingly, the second camera 400 performs identification of the changed swab tip 220.

이와 같이, 상기 제2 카메라(400)를 통해 상기 면봉 팁(220)에 대한 식별이 수행되면, 상기 면봉 팁(220)이 연장되는 방향에 대한 정보가 획득되며, 이를 통해 상기 면봉 팁(220)의 삽입 방향을 연산하여 도출할 수 있다(단계 S430). In this way, when the cotton swab tip 220 is identified through the second camera 400, information about the direction in which the cotton swab tip 220 extends is obtained, and through this, the cotton swab tip 220 The insertion direction of can be calculated and derived (step S430).

즉, 도 8에서와 같이, 상기 면봉 팁(220)의 삽입 방향으로서, 상기 이미지 상에서의 제1 벡터()를 도출할 수 있다. 이 경우, 상기 제1 벡터는 상기 면봉 팁(220)의 연장 방향에 해당되는 것으로, 이미지로부터 연장 방향 벡터를 도출함으로서 획득된다. That is, as shown in FIG. 8, as the insertion direction of the swab tip 220, the first vector ( ) can be derived. In this case, the first vector corresponds to the extension direction of the swab tip 220 and is obtained by deriving the extension direction vector from the image.

또한, 앞서 설명한 바와 같이, 상기 제4 좌표(f(u´, v´))와 제5 좌표(e(u´, v´))를 바탕으로, 상기 삽입부(21)와 상기 귀(22) 사이에서 연장되는 제2 벡터()도 도출될 수 있다. 즉, 상기 제2 벡터()는 하기 식 (3)으로 도출될 수 있다. In addition, as described above, based on the fourth coordinates (f(u´, v´)) and the fifth coordinates (e(u´, v´)), the insertion part 21 and the ear 22 ) A second vector extending between ( ) can also be derived. That is, the second vector ( ) can be derived from equation (3) below.

식 (3) Equation (3)

이에, 상기 제1 벡터() 및 상기 제2 벡터()를 바탕으로 상기 면봉 팁(220)의 삽입 각도(Δθ)를 하기 식 (4)와 같이 결정한다(단계 S440). Accordingly, the first vector ( ) and the second vector ( ) Based on this, the insertion angle (Δθ) of the swab tip 220 is determined as in the following equation (4) (step S440).

식 (4) Equation (4)

이 경우, 상기 최소각은 예를 들어, 30˚이고, 상기 최대각은 예를 들어 50˚일 수는 있으나, 이에 제한되는 것은 아니며 피검자(20)의 안면부의 특징이나 구조, 검진도구(200)의 특징이나 구조 등을 고려하여 다양하게 가변될 수 있다. In this case, the minimum angle may be, for example, 30°, and the maximum angle may be, for example, 50°, but are not limited thereto and may include the characteristics or structure of the facial part of the subject 20 and the examination tool 200. It can be varied in various ways considering the characteristics or structure of the.

즉, 상기 면봉 팁(220)의 삽입 각도가 상기 설정된 범위 내에 위치하도록 상기 면봉 팁(220)의 삽입 각도를 결정한다. That is, the insertion angle of the swab tip 220 is determined so that the insertion angle of the swab tip 220 is within the set range.

이 후, 도 5, 도 6a 및 도 6b를 참조하면, 상기 결정된 면봉 팁(220)의 삽입 각도를 바탕으로 상기 검진도구(200)를 삽입한다(단계 S500). Afterwards, referring to FIGS. 5, 6A, and 6B, the examination tool 200 is inserted based on the determined insertion angle of the swab tip 220 (step S500).

구체적으로, 도 9 및 도 10을 동시에 참조하면, 상기 검진도구(200)를 삽입하는 단계(단계 S500)에서는, 우선, 상기 면봉 팁(220)을 앞서 결정된 삽입각도(Δθ)로 상기 면봉 팁(220)을 상기 삽입부인 코(21)로 삽입시킨다(단계 S510). Specifically, referring to FIGS. 9 and 10 simultaneously, in the step of inserting the examination tool 200 (step S500), first, the swab tip 220 is inserted at a previously determined insertion angle Δθ. 220) is inserted into the nose 21, which is the insertion part (step S510).

이 때, 상기 압력센서(160)에서 측정되는 상기 검진도구(200)의 압력 측정값이 기 설정된 값(threshold)보다 증가하는 가의 여부를 지속적으로 모니터링하면서(단계 S520), 상기 면봉 팁(220)을 상기 코(21)로 삽입시킨다. At this time, while continuously monitoring whether the pressure measurement value of the examination tool 200 measured by the pressure sensor 160 increases more than a preset value (threshold) (step S520), the swab tip 220 is inserted into the nose (21).

즉, 앞서 설명한 바와 같이, 상기 면봉 팁(220)이 상기 상기도의 끝단에 도달하게 되면, 상기 면봉 팁(220)을 통해 전달되는 압력이 기 설정된 값(threshold)에 이르게 되므로, 상기 검진도구(200)를 더 이상 삽입할 필요가 없다. 따라서, 상기 압력센서(160)를 통해 상기 검진도구(200)의 압력 측정값을 모니터링하여, 상기 면봉 팁(220)의 추가 삽입 여부에 대하여 판단한다. That is, as described above, when the swab tip 220 reaches the end of the upper respiratory tract, the pressure transmitted through the swab tip 220 reaches a preset value (threshold), so the examination tool 200 ) is no longer needed. Accordingly, the pressure measurement value of the examination tool 200 is monitored through the pressure sensor 160 to determine whether to insert the swab tip 220 additionally.

한편, 이러한 삽입 과정에서, 상기 면봉 팁(220)의 삽입각도(Δθ)를 변경하며 상기 검진도구(200)를 삽입한다(단계 S530). Meanwhile, during this insertion process, the examination tool 200 is inserted while changing the insertion angle Δθ of the swab tip 220 (step S530).

일반적으로, 상기도의 구조상, 상기 코(21)의 비공으로 삽입된 상기 면봉 팁(220)은 상부 방향으로 삽입된 이후에는 수평 방향으로 진행하여야 상기도의 끝단에 위치하여 검체를 채취할 수 있다. 이 때, 상기 수평 방향은 곧 상기 코(21)의 비공과 상기 귀(22)를 연장하는 선(line)의 연장 방향과 실질적으로 동일하다. Generally, due to the structure of the upper airway, the swab tip 220 inserted into the nostril of the nose 21 must proceed in a horizontal direction after being inserted upward to be located at the end of the upper airway to collect a sample. At this time, the horizontal direction is substantially the same as the extension direction of the line extending the nostril of the nose 21 and the ear 22.

이에, 본 실시예에서도, 이러한 상기도의 구조를 따라 상기 면봉 팁(220)이 삽입될 수 있도록, 상기 삽입 과정에서, 상기 면봉 팁(220)의 삽입각도(Δθ)를 변경하며 상기 검진도구(200)를 삽입한다. Therefore, in this embodiment as well, during the insertion process, the insertion angle (Δθ) of the swab tip 220 is changed so that the swab tip 220 can be inserted along the structure of the upper airway, and the examination tool 200 ) is inserted.

즉, 도 9 및 도 10에 도시된 바와 같이, 초기 삽입시 상기 식 (4)의 범위를 만족하는 상기 면봉 팁(220)의 삽입각도(Δθ)가 '0˚'에 근접하도록, 상기 면봉 팁(220)의 삽입 각도를 변경시키며 삽입을 수행한다. 물론, 이 경우, 상기 삽입각도(Δθ)가 근접해야하는 각은 0˚ 외에, 피검자(20)의 안면부의 특징이나 구조, 검진도구(200)의 특징이나 구조 등을 고려하여 다양하게 가변될 수 있다. That is, as shown in FIGS. 9 and 10, the insertion angle (Δθ) of the swab tip 220 that satisfies the range of equation (4) upon initial insertion is close to ‘0˚’. Insertion is performed by changing the insertion angle of (220). Of course, in this case, the angle at which the insertion angle (Δθ) must be close can be varied in various ways, taking into account, in addition to 0°, the characteristics or structure of the facial part of the subject 20, the characteristics or structure of the examination tool 200, etc. .

이를 통해, 상기 면봉 팁(220)의 삽입 방향을 의미하는 상기 제1 벡터()는 상기 코(21, 비공) 상기 귀(22) 사이에서 연장되는 제2 벡터()와 실질적으로 일렬로 형성되도록 방향이 변경된다. Through this, the first vector indicating the insertion direction of the swab tip 220 ( ) is a second vector extending between the nose 21 and the ear 22 ( ) and the direction is changed so that it is formed substantially in line with the

이상과 같이, 상기 면봉 팁(220)의 삽입 방향을 변경하면서 삽입을 수행하여, 최종적으로 상기 압력 센서(160)에서 센싱되는 압력이 기 설정된 값(threshold)보다 크게 측정되는 경우, 상기 면봉 팁(220)의 삽입을 중단한다(단계 S520). As described above, when insertion is performed while changing the insertion direction of the swab tip 220, and the pressure finally sensed by the pressure sensor 160 is measured to be greater than a preset value (threshold), the swab tip ( 220) is stopped (step S520).

이 때, 상기 기 설정된 값(threshold)은, 상기 면봉 팁(220)이 상기도의 끝단에 위치하는 경우에 상기 검진도구(200)에 인가되는 압력으로 기 입력되어 저장될 수 있다. At this time, the preset value (threshold) may be input and stored as the pressure applied to the examination tool 200 when the swab tip 220 is located at the end of the upper airway.

그리하여, 상기 검진도구(200)가 상기 상기도의 끝단에 위치한다고 판단되면, 도 5, 도 6a 및 도 6b에 도시된 바와 같이, 상기 면봉 팁(220)을 이용하여 검체를 채취한다(단계 S600). Therefore, when it is determined that the examination tool 200 is located at the end of the upper airway, a sample is collected using the swab tip 220, as shown in FIGS. 5, 6A, and 6B (step S600). .

이상과 같이, 본 실시예에 의한 검진도구 삽입방법을 통해서는, 카메라부들을 통해 획득되는 이미지를 통해서 검진도구가 삽입되어야 하는 방향과 이동량에 대한 정보가 연산되며, 이에 따라 자동으로 검진도구를 상기도의 내측으로 삽입하여 검체를 채취할 수 있다.As described above, through the examination tool insertion method according to this embodiment, information on the direction in which the examination tool should be inserted and the amount of movement is calculated through images acquired through the camera units, and accordingly, the examination tool is automatically recalled. A sample can be collected by inserting it into the inside of the device.

즉, 검체 채취를 위한 검진도구의 삽입을 자동화로 구현할 수 있다. 물론, 실시예에 따라 원격으로 상기 검진도구 삽입시스템을 제어하는 경우에도, 원격 제어를 통해 대략적인 위치로만 상기 검진도구를 위치시킨 후, 보다 정확한 삽입의 제어는 본 실시예에 의한 검진도구 삽입방법에서와 같이 자동화로 구현할 수도 있다. In other words, the insertion of examination tools for sample collection can be automated. Of course, even when controlling the examination tool insertion system remotely according to the embodiment, after positioning the examination tool only at an approximate location through remote control, more accurate insertion control can be performed using the examination tool insertion method according to the present embodiment. As in, it can also be implemented through automation.

상기와 같은 본 발명의 실시예들에 의하면, 검진도구에 대한 이미지 및 피검자의 삽입부에 대한 이미지를 통해 학습으로 필요한 특징을 추출하고, 상기 검진도구가 상기 삽입부로 정확하게 삽입되도록 자동으로 제어함으로써, 종래 수동으로 수행하던 검진 방법을 자동화할 수 있으며, 나아가 원격으로 검진을 수행하는 경우 자동 삽입이 부가됨으로써 보다 정확하고 효율적인 검진 및 검체 채취가 가능할 수 있다. According to the embodiments of the present invention as described above, necessary features are extracted through learning through images of the examination tool and images of the subject's insertion part, and the examination tool is automatically controlled to be accurately inserted into the insertion part, The conventional manual examination method can be automated, and furthermore, when the examination is performed remotely, automatic insertion can be added to enable more accurate and efficient examination and sample collection.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described above with reference to preferred embodiments, those skilled in the art can make various modifications and changes to the present invention without departing from the spirit and scope of the present invention as set forth in the following patent claims. You will understand that it is possible.

10 : 검진도구 삽입 시스템 20 : 피검자
21 : 코 22 : 귀
23 : 입 100 : 몸체부
150 : 경사프레임 200 : 검진도구
210 : 면봉 220 : 면봉팁
300 : 제1 카메라 400 : 제2 카메라
500 : 학습부 600 : 연산부
700 : 제어부10: Examination tool insertion system 20: Subject
21: nose 22: ears
23: mouth 100: body
150: Inclined frame 200: Examination tool
210: Cotton swab 220: Cotton swab tip
300: first camera 400: second camera
500: Learning unit 600: Computation unit
700: Control unit

Claims

피검자의 삽입부로 삽입되어 검체를 채취하는 검진도구;
제1 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득하는 제1 카메라;
상기 제1 방향과 다른 제2 방향을 향하여 상기 검진도구 또는 상기 삽입부의 이미지를 획득하는 제2 카메라; 및
상기 제1 및 제2 카메라들로부터 획득된 이미지들을 바탕으로 상기 삽입부로 삽입되는 상기 검진도구의 삽입을 제어하는 제어부를 포함하는 검진도구 삽입시스템.An examination tool that is inserted into the subject's insertion area to collect a sample;
a first camera that acquires an image of the examination tool or the insertion unit in a first direction;
a second camera that acquires an image of the examination tool or the insertion unit toward a second direction different from the first direction; and
An examination tool insertion system comprising a control unit that controls insertion of the examination tool inserted into the insertion unit based on images acquired from the first and second cameras.

제1항에 있어서,
상기 제1 카메라는 피검자의 얼굴의 정면부를 향하도록 배치되며,
상기 제2 카메라는 피검자의 얼굴의 측면부를 향하도록 배치되는 것을 특징으로 하는 검진도구 삽입시스템. According to paragraph 1,
The first camera is arranged to face the front part of the subject's face,
An examination tool insertion system, wherein the second camera is arranged to face the side of the subject's face.

제1항에 있어서,
상기 제1 카메라는, 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose)의 이미지를 획득하고,
상기 제2 카메라는, 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose) 및 귀(ear)의 이미지를 획득하는 것을 특징으로 하는 검진도구 삽입시스템. According to paragraph 1,
The first camera acquires an image of the subject's nose using the swab tip and the insertion part of the examination tool,
The second camera is a swab tip of the examination tool and the insertion part, and is characterized in that it acquires images of the nose and ears of the subject.

제3항에 있어서,
상기 제1 카메라에서 획득된 이미지를 학습하여 상기 제1 카메라가 위치하는 좌표에서 면봉 팁 및 피검자의 코를 식별하고, 상기 제2 카메라에서 획득된 이미지를 학습하여 상기 제2 카메라가 위치하는 좌표에서 면봉 팁 및 피검자의 코와 귀를 식별하는 학습부를 더 포함하는 검진도구 삽입시스템. According to paragraph 3,
By learning the image acquired from the first camera, the cotton swab tip and the subject's nose are identified at the coordinates where the first camera is located, and by learning the image acquired from the second camera at the coordinates where the second camera is located. An examination tool insertion system further comprising a cotton swab tip and a learning unit for identifying the subject's nose and ears.

제4항에 있어서,
상기 식별된 면봉 팁, 및 상기 식별된 피검자의 삽입부 정보를 바탕으로, 상기 면봉 팁의 이동량과 삽입 방향을 연산하는 연산부를 더 포함하는 검진도구 삽입시스템. According to paragraph 4,
An examination tool insertion system further comprising a calculation unit that calculates a movement amount and insertion direction of the swab tip based on the identified swab tip and the identified insertion part information of the subject.

제5항에 있어서, 상기 제어부는,
상기 면봉 팁이 상기 피검자의 코로 삽입되는 경우,
상기 면봉 팁이 상기 코와 상기 귀를 연결하는 선(line)을 따라 진행하도록 상기 검진도구의 삽입을 제어하는 것을 특징으로 하는 검진도구 삽입시스템. The method of claim 5, wherein the control unit,
When the swab tip is inserted into the subject's nose,
An examination tool insertion system, characterized in that the insertion of the examination tool is controlled so that the swab tip proceeds along a line connecting the nose and the ear.

제1항에 있어서,
상기 검진도구의 삽입시 상기 검진도구의 압력을 측정하는 압력센서를 더 포함하고,
상기 압력센서에서 측정되는 압력을 바탕으로 상기 검진도구가 검체 채취 위치에 도달하였는가의 여부가 판단되는 것을 특징으로 하는 검진도구 삽입시스템. According to paragraph 1,
It further includes a pressure sensor that measures the pressure of the examination tool when the examination tool is inserted,
An examination tool insertion system characterized in that it is determined whether the examination tool has reached the sample collection position based on the pressure measured by the pressure sensor.

검진도구를 피검자의 삽입부로 삽입하여 검체를 채취하는 검진도구 삽입방법에서,
상기 삽입부에 대한 상기 검진도구의 초기 삽입 방향을 설정하는 단계;
상기 검진도구의 면봉 팁의 이미지를 바탕으로, 상기 면봉 팁이 상기 삽입부로 삽입되기 전의 위치를 확인하는 단계;
상기 면봉 팁의 이미지와 상기 삽입부의 이미지를 바탕으로, 상기 면봉 팁을 삽입 위치로 이동시키는 단계;
상기 면봉 팁의 이미지와 상기 삽입부의 이미지를 바탕으로, 상기 면봉 팁의 상기 삽입부로의 삽입 각도를 결정하는 단계; 및
상기 결정된 삽입각도로 상기 검진도구를 삽입하는 단계를 포함하는 검진도구 삽입방법. In the examination tool insertion method of collecting a sample by inserting the examination tool into the insertion part of the subject,
Setting an initial insertion direction of the examination tool with respect to the insertion portion;
Confirming the position of the swab tip before it is inserted into the insertion unit, based on the image of the swab tip of the examination tool;
moving the swab tip to an insertion position based on the image of the swab tip and the image of the insertion portion;
determining an insertion angle of the swab tip into the insertion portion based on the image of the swab tip and the image of the insertion portion; and
A method of inserting an examination tool comprising the step of inserting the examination tool at the determined insertion angle.

제8항에 있어서, 상기 초기 삽입 방향을 설정하는 단계는,
상기 삽입부가 코인 경우,
상기 검진도구가 상기 코의 왼쪽 및 오른쪽 중 어느 한쪽 비공으로 삽입되는가의 여부를 판단하는 단계; 및
상기 어느 한쪽 비공으로 삽입되는 경우, 해당 방향으로 소정의 삽입각도를 형성하도록 상기 검진도구의 삽입 방향을 설정하는 단계를 포함하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 8, wherein setting the initial insertion direction comprises:
If the insertion part is a coin,
determining whether the examination tool is inserted into either the left or right nostril of the nose; and
A method of inserting an examination tool, comprising setting an insertion direction of the examination tool to form a predetermined insertion angle in the corresponding direction when inserted into either nostril.

제8항에 있어서,
상기 삽입부는 피검자의 얼굴의 정면부를 향하도록 배치된 제1 카메라 또는 피검자의 얼굴의 측면부를 향하도록 배치된 제2 카메라에서 획득된 이미지로부터 학습으로 식별되는 것을 특징으로 하는 검진도구 삽입방법. According to clause 8,
A method of inserting an examination tool, characterized in that the insertion part is identified by learning from an image acquired from a first camera arranged to face the front part of the subject's face or a second camera arranged to face the side part of the subject's face.

제10항에 있어서, 상기 면봉 팁이 상기 삽입부로 삽입되기 전의 위치를 확인하는 단계는,
상기 식별된 면봉 팁을 인식하는 단계; 및
상기 면봉 팁이 기 설정된 초기 삽입 범위 이내에 위치하는 가의 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 10, wherein the step of checking the position of the swab tip before inserting it into the insertion unit includes:
Recognizing the identified swab tip; and
A method of inserting an examination tool, comprising the step of determining whether the swab tip is located within a preset initial insertion range.

제10항에 있어서, 상기 면봉 팁을 삽입 위치로 이동시키는 단계는,
상기 삽입부 및 상기 면봉 팁을 인식하는 단계;
상기 면봉 팁의 이동량을 연산하는 단계; 및
상기 연산된 이동량만큼 상기 면봉 팁을 이동시키는 단계를 포함하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 10, wherein moving the swab tip to the insertion position comprises:
Recognizing the insertion portion and the swab tip;
calculating a movement amount of the swab tip; and
A method of inserting an examination tool, comprising the step of moving the swab tip by the calculated movement amount.

제10항에 있어서, 상기 면봉 팁의 상기 삽입부로의 삽입 각도를 결정하는 단계는,
상기 삽입부를 인식하는 단계;
상기 면봉 팁의 삽입 방향을 연산하는 단계; 및
상기 면봉 팁의 삽입각도를 결정하는 단계를 포함하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 10, wherein the step of determining the insertion angle of the swab tip into the insertion portion comprises:
Recognizing the insertion portion;
calculating the insertion direction of the swab tip; and
A method of inserting an examination tool, comprising the step of determining an insertion angle of the swab tip.

제13항에 있어서, 상기 삽입부를 인식하는 단계에서,
상기 제1 카메라를 통해 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose)의 이미지를 획득하여 인식하고,
상기 제2 카메라를 통해 상기 검진도구의 면봉 팁 및 상기 삽입부로서 피검자의 코(nose) 및 귀(ear)의 이미지를 획득하여 인식하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 13, wherein in the step of recognizing the insertion part,
Obtaining and recognizing an image of the subject's nose as the swab tip and the insertion part of the examination tool through the first camera,
A method of inserting an examination tool, characterized in that the image of the subject's nose and ears as the swab tip and the insertion part of the examination tool is acquired and recognized through the second camera.

제13항에 있어서, 상기 면봉 팁의 삽입각도를 결정하는 단계에서,
상기 면봉 팁의 삽입 방향과, 상기 피검자의 코와 상기 피검자의 귀를 연결하는 방향이 형성하는 각이 기 설정된 범위 이내가 되도록, 상기 면봉 팁의 삽입각도를 결정하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 13, wherein in determining the insertion angle of the swab tip,
A method of inserting an examination tool, characterized in that the insertion angle of the swab tip is determined so that the angle formed between the insertion direction of the swab tip and the direction connecting the subject's nose and the subject's ear is within a preset range. .

제15항에 있어서, 상기 검진도구를 삽입하는 단계에서,
상기 면봉 팁의 삽입 방향과, 상기 피검자의 코와 상기 피검자의 귀를 연결하는 방향이 서로 일치하도록 상기 검진도구의 삽입 각도를 변경하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 15, wherein in the step of inserting the examination tool,
A method of inserting an examination tool, characterized in that changing the insertion angle of the examination tool so that the insertion direction of the cotton swab tip and the direction connecting the subject's nose and the subject's ear are consistent with each other.

제10항에 있어서, 상기 검진도구를 삽입하는 단계에서,
상기 검진도구의 압력이 기 설정된 범위에 도달하는 경우, 상기 검진도구의 삽입을 중단하고 검체를 채취하는 것을 특징으로 하는 검진도구 삽입방법. The method of claim 10, wherein in the step of inserting the examination tool,
A method of inserting an examination tool, characterized in that when the pressure of the examination tool reaches a preset range, insertion of the examination tool is stopped and a sample is collected.