KR102542363B1

KR102542363B1 - Method for recognizing object in 3 dimentional space

Info

Publication number: KR102542363B1
Application number: KR1020200175543A
Authority: KR
Inventors: 김명환; 황민; 이후경; 박성혁; 강필도; 신윤섭; 이승희
Original assignee: (주)심스리얼리티
Priority date: 2020-12-15
Filing date: 2020-12-15
Publication date: 2023-06-13
Also published as: KR20220085461A

Abstract

본 발명은 3차원 공간에 위치하고 있는 객체를 인식하는 방법에 관한 것으로, 보다 구체적으로 3차원 공간에 대해 생성한 3차원 지도를 다수의 섹터로 구분하여 분할하고 섹터 단위로 각 섹터에 존재하는 객체 정보를 생성함으로써 현재 위치하고 있는 섹터에서 객체를 인식하는 경우 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 객체를 빠르게 인식하거나 인식한 객체의 상세정보를 신속하게 제공할 수 있는 객체 인식 방법에 관한 것이다.The present invention relates to a method for recognizing an object located in a 3D space, and more specifically, to divide a 3D map generated in the 3D space into a plurality of sectors, and to segment object information present in each sector on a sector-by-sector basis. When recognizing an object in a sector currently located, the present invention relates to an object recognition method capable of quickly recognizing an object based on an object list mapped to the current sector or providing detailed information of the recognized object quickly.

Description

3차원 공간에서 객체를 인식하는 방법{Method for recognizing object in 3 dimentional space}Method for recognizing object in 3 dimensional space {Method for recognizing object in 3 dimentional space}

본 발명은 3차원 공간에 존재하는 객체를 인식하는 방법에 관한 것으로, 보다 구체적으로 3차원 공간에서 생성한 3차원 지도를 다수의 섹터로 구분하여 분할하고 섹터 단위로 각 섹터에 존재하는 객체들의 객체 리스트를 생성함으로써 현재 위치하고 있는 섹터에서 객체를 인식하는 경우 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 객체를 빠르게 인식하거나 인식한 객체의 상세정보를 신속하게 제공할 수 있는 객체 인식 방법에 관한 것이다.The present invention relates to a method for recognizing an object existing in a 3D space, and more specifically, to divide a 3D map generated in the 3D space into a plurality of sectors, and to divide the object into a plurality of sectors, and object of the objects existing in each sector on a sector-by-sector basis. An object recognition method capable of quickly recognizing an object based on an object list mapped to the current sector or quickly providing detailed information of a recognized object when recognizing an object in a sector currently located by generating a list.

비전기술을 이용하여 실시간으로 객체를 검출하고 인식하는 일은 어려운 일임에도 불구하고 영상처리 기법의 발전과 더불어 컴퓨터, 카메라 등의 하드웨어의 성능 향상으로 인하여 이에 대한 연구가 활발히 진행되고 있다.Although it is difficult to detect and recognize objects in real time using vision technology, research on this is being actively conducted due to the development of image processing techniques and the improvement of hardware such as computers and cameras.

슬램(SLAM, Simultaneous Localization And Mapping)은 1986년 랜들C. 스미스와 피터 치즈맨의 로봇공한 논문에 처음 등장한 개념으로 정보가 주어지지 않는 임의의 3차원 공간을 이동하며 3차원 공간을 카메라로 촬영하고 촬영한 영상으로부터 지도를 작성하고 현재 위치를 추정할 수 있는 기술을 의미한다.SLAM (Simultaneous Localization And Mapping) was founded in 1986 by Randall C. It is a concept that first appeared in Smith and Peter Cheeseman's paper on robotics. It moves in an arbitrary 3D space where information is not given, shoots the 3D space with a camera, creates a map from the captured image, and estimates the current location. means technology.

이 방식은 증강현실 등 다양한 분야에서도 그대로 적용할 수 있는데, 기본적으로 주변 환경에 대한 정보가 없는 상태에서 슬램 기술을 적용하면 카메라와 관성센서의 정보를 이용하여 주변 환경을 인식해 자신의 위치와 주변 공간구조를 파악할 수 있다.This method can be applied as it is in various fields such as augmented reality. Basically, if SLAM technology is applied in a state where there is no information about the surrounding environment, it recognizes the surrounding environment using information from the camera and inertial sensor, and recognizes one's location and surroundings. spatial structure can be identified.

3차원 공간에는 다양한 종류의 객체들이 존재하는데 특정 공간에 위치하는 객체에 대한 정보를 검색하기 위해서는 먼저 3차원 공간에서 객체를 인식하여야 한다. There are various types of objects in the 3D space, and in order to retrieve information about an object located in a specific space, the object must be recognized in the 3D space first.

슬램 기반의 기술이 주변환경을 인식하고 이를 토대로 가상의 사물을 현실과 결합하는 것이라면 객체 인식 기술(Object Recognition)은 현실 세계에 존재하는 특정 객체를 인식하고 이를 토대로 현실 세계와 가상 세계를 정합시키는 방식이다.If SLAM-based technology recognizes the surrounding environment and combines virtual objects with reality based on this, object recognition technology recognizes a specific object that exists in the real world and matches the real world and virtual world based on this. am.

객체 인식 기술은 현실 세계에 존재하는 특정 객체의 3D 모델 데이터로부터 추출한 특징점, 윤곽선 등의 정보를 이용하여 해당 객체가 어디에, 어떤 포즈로 놓여 있는지 검색하게 된다. Object recognition technology uses information such as feature points and outlines extracted from 3D model data of a specific object existing in the real world to search where and in what pose the object is placed.

객체 인식 가능성을 높이기 위하여 3차원 공간에 존재하는 객체에 대한 기준 객체 정보를 데이터베이스화하는데, 예를 들어 객체를 모든 방향에서 촬영하여 객체의 특징점들을 미리 추출해두고 실제 객체를 인식하는데 이 정보를 활용하는 방법이다. 이 방식은 사전 작업이 필요하긴 하지만 높은 컴퓨팅 파워가 필요하지 않고 사전에 객체 인식만 제대로 해놓으면 성능이 매우 뛰어나다는 장점을 가진다.In order to increase the possibility of object recognition, the database of reference object information for objects existing in the 3D space is created. way. Although this method requires preliminary work, it does not require high computing power and has the advantage that performance is excellent if only object recognition is done properly in advance.

그러나 3차원 공간에는 위치에 따라 다양한 종류의 객체가 존재하며 3차원 공간에 존재하는 모든 객체에 대한 기준 객체 정보로부터 특정 공간에 위치하는 객체를 인식하거나 모든 객체에 대한 기준 객체 정보로부터 인식한 객체에 대한 상세 정보를 추출하여 사용자에 제공하는 경우 오랜 시간이 소요되거나 객체 인식 오류가 발생할 가능성이 높다는 문제점을 가진다. However, in the 3D space, there are various types of objects depending on their location, and an object located in a specific space is recognized from the reference object information for all objects existing in the 3D space, or an object recognized from the reference object information for all objects. When extracting detailed information about the object and providing it to the user, it takes a long time or has a high possibility of object recognition error.

본 발명은 위에서 언급한 종래 3차원 공간에서 객체를 인식하는 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 3차원 공간에 대해 생성한 3차원 지도를 다수의 섹터로 구분하여 분할하고 섹터 단위로 각 섹터에 존재하는 객체 정보를 생성하는 객체 인식 방법을 제공하는 것이다.The present invention is to solve the problems of the above-mentioned method of recognizing an object in a conventional 3D space, and an object of the present invention is to divide and divide a 3D map generated in a 3D space into a plurality of sectors. It is to provide an object recognition method for generating object information existing in each sector on a sector-by-sector basis.

본 발명이 이루고자 하는 다른 목적은 현재 위치하고 있는 섹터에서 객체를 인식하는 경우 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 객체를 빠르게 인식하거나 인식한 객체의 상세정보를 신속하게 제공할 수 있는 객체 인식 방법을 제공하는 것이다. Another object to be achieved by the present invention is an object recognition method capable of quickly recognizing an object based on an object list mapped to the current sector or quickly providing detailed information of the recognized object when recognizing an object in a currently located sector. is to provide

본 발명이 이루고자 하는 또 다른 목적은 현재 위치하고 있는 섹터에 매핑되어 있는 객체 리스트에 기초하여 인식하지 못한 비인식 객체가 존재하는지 판단하며 비인식 객체에 대한 정보를 객체 리스트에 추가하여 용이하게 갱신할 수 있는 객체 인식 방법을 제공하는 것이다.Another object to be achieved by the present invention is to determine whether an unrecognized unrecognized object exists based on an object list mapped to a currently located sector, and to easily update information on the unrecognized object by adding it to the object list. It is to provide a method for object recognition.

본 발명의 목적을 달성하기 위하여, 본 발명에 따른 객체 인식 방법은 3차원 지도를 생성하고자 하는 3차원 공간을 촬영하고 촬영한 영상에서 3차원 공간의 특징점을 추출하여 3차원 공간에 대한 3차원 지도를 생성하는 단계와, 생성한 3차원 지도를 다수의 섹터로 분할하고 분할한 섹터 단위로 각 섹터에 존재하는 객체의 객체 정보와 객체 데이터베이스에 저장되어 있는 기준 객체 정보를 비교하여 각 섹터에 존재하는 객체를 판단하는 단계와, 판단한 객체에 기초하여 각 섹터에 존재하는 객체들의 객체 리스트를 각 섹터의 하위 항목으로 생성하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the object of the present invention, the object recognition method according to the present invention captures a 3D space to generate a 3D map and extracts feature points of the 3D space from the captured image to create a 3D map of the 3D space. and generating a 3D map by dividing the generated 3D map into a plurality of sectors, and comparing object information of objects existing in each sector with reference object information stored in an object database in units of the divided sectors to obtain data present in each sector. It is characterized by including the step of determining an object, and the step of creating an object list of objects existing in each sector as a sub-item of each sector based on the determined object.

바람직하게, 본 바렴에 따른 객체 인식 방법은 판단한 객체에 대한 객체 상세 정보가 입력되는 단계를 더 포함하며, 객체 리스트에는 객체별 상세 정보가 매핑되어 생성되는 것을 특징으로 한다.Preferably, the object recognition method according to the present invention further includes inputting detailed object information about the determined object, and the object list is characterized in that detailed information for each object is mapped and generated.

바람직하게, 본 발명의 일 실시예에 따른 객체를 판단하는 단계는 생성한 3차원 지도를 서로 동일한 또는 서로 상이한 크기로 구분하여 다수의 섹터로 분할하는 단계와, 각 섹터에 존재하는 객체로부터 추출한 특징점과 객체 데이터베이스에 저장되어 있는 기준 객체 정보를 비교하여 일치하는 객체를 판단하는 단계와, 일치하는 객체에 기초하여 각 섹터에 존재하는 객체를 판단하는 단계를 포함하는 것을 특징으로 한다.Preferably, the step of determining an object according to an embodiment of the present invention includes dividing the generated 3D map into a plurality of sectors by dividing the generated 3D map into equal or different sizes, and feature points extracted from objects present in each sector. and determining a matching object by comparing the reference object information stored in the object database, and determining an object existing in each sector based on the matching object.

여기서 객체 정보 또는 기준 객체 정보는 객체로부터 추출한 객체의 특징점인 것을 특징으로 한다.Here, the object information or reference object information is characterized in that the feature points of the object extracted from the object.

여기서 객체 정보 또는 상기 기준 객체 정보는 객체의 크기 또는 색상 중 적어도 어느 하나를 더 포함하는 것을 특징으로 한다.Here, the object information or the reference object information may further include at least one of the size or color of the object.

바람직하게, 본 발명에 따른 객체 인식 방법은 각 섹터에 존재하는 객체 중 객체 정보가 객체 데이터베이스의 기준 객체 정보와 불일치하는 객체가 존재하는지 판단하는 단계와, 기준 객체 정보와 불일치하는 객체가 존재하는 경우 비인식 객체가 존재함을 알리는 단계를 더 포함하는 것을 특징으로 한다.Preferably, the object recognition method according to the present invention includes the steps of determining whether there exists an object whose object information does not match the reference object information of an object database among objects existing in each sector, and if there exists an object that does not match the reference object information It is characterized in that it further comprises the step of notifying that an unrecognized object exists.

바람직하게, 본 발명에 따른 객체 인식 방법은 3차원 공간에서 현재 위치하고 있는 현재 섹터를 판단하는 단계와, 판단한 현재 섹터의 하위 항목으로 생성된 현재 객체 리스트를 판단하는 단계와, 현재 섹터에 존재하는 객체와 일치하는 객체를 현재 객체 리스트에서 검색하여 객체를 인식하는 단계와, 인식한 객체들의 객체 상세 정보를 객체 리스트에서 검색하여 사용자에 제공하는 단계를 더 포함하는 것을 특징으로 한다. Preferably, the object recognition method according to the present invention comprises the steps of determining a current sector currently located in a 3D space, determining a current object list created as a sub-item of the determined current sector, and an object existing in the current sector. Recognizing the object by searching for an object matching the current object list, and searching for detailed object information of the recognized objects in the object list and providing the object information to the user.

본 발명에 따른 객체 인식 방법은 다음과 같은 효과를 가진다.The object recognition method according to the present invention has the following effects.

본 발명에 따른 객체 인식 방법은 3차원 공간에 대해 생성한 3차원 지도를 다수의 섹터로 구분하여 분할하고 섹터 단위로 각 섹터에 존재하는 객체 정보를 생성함으로써, 현재 위치하고 있는 현재 섹터에서 객체를 인식하는 경우 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 객체를 빠르게 인식하거나 인식한 객체의 상세정보를 신속하게 제공할 수 있다. The object recognition method according to the present invention divides and divides a 3D map generated in a 3D space into a plurality of sectors and generates object information existing in each sector by sector, thereby recognizing an object in the current sector where it is currently located. In this case, an object may be quickly recognized based on an object list mapped to the current sector, or detailed information of the recognized object may be rapidly provided.

본 발명에 따른 객체 인식 방법은 현재 위치하고 있는 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 인식하지 못한 비인식 객체가 존재하는지 판단하여 사용자에 알람을 제공함으로써, 비인식 객체에 대한 정보를 객체 리스트에 추가하여 용이하게 갱신할 수 있다.An object recognition method according to the present invention determines whether an unrecognized object exists based on an object list mapped to a current sector in which it is currently located, and provides an alarm to the user, thereby providing information on the unrecognized object to the object list. It can be easily updated by adding.

도 1은 본 발명에 따른 3차원 공간에서 객체를 인식하는 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따라 객체를 인식하는 장치를 설명하기 위한 기능 블록도이다.
도 3은 본 발명에 따른 객체 리스트 생성부의 일 예를 설명하기 위한 기능 블록도이다.
도 4는 본 발명에 따른 객체 인식부의 일 예를 설명하기 위한 기능 블록도이다.
도 5는 본 발명에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
도 6은 3차원 공간에 대한 3차원 지도를 생성하는 일 예를 설명하기 위한 도면이다.
도 7은 생성한 3차원 지도에서 섹터를 분할하는 일 예를 설명하기 위한 도면이다
도 8은 객체 리스트를 생성하는 일 예를 설명하기 위한 흐름도이다.
도 9는 기준 객체 정보를 생성하는 일 예를 설명하고 있다.
도 10은 본 발명에서 생성된 객체 리스트의 일 예를 설명하기 위한 도면이다.
도 11은 사용자에 인식한 객체의 상세 정보를 제공하는 일 예를 설명하기 위한 도면이다.1 is a diagram for explaining a system for recognizing an object in a 3D space according to the present invention.
2 is a functional block diagram illustrating an apparatus for recognizing an object according to the present invention.
3 is a functional block diagram for explaining an example of an object list generator according to the present invention.
4 is a functional block diagram for explaining an example of an object recognition unit according to the present invention.
5 is a flowchart illustrating an object recognition method according to the present invention.
6 is a diagram for explaining an example of generating a 3D map of a 3D space.
7 is a diagram for explaining an example of dividing a sector in a generated 3D map;
8 is a flowchart illustrating an example of generating an object list.
9 illustrates an example of generating reference object information.
10 is a diagram for explaining an example of an object list created in the present invention.
11 is a diagram for explaining an example of providing detailed information on a recognized object to a user.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.It should be noted that technical terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. In addition, technical terms used in the present invention should be interpreted in terms commonly understood by those of ordinary skill in the art to which the present invention belongs, unless specifically defined otherwise in the present invention, and are excessively inclusive. It should not be interpreted in a positive sense or in an excessively reduced sense. In addition, when the technical terms used in the present invention are incorrect technical terms that do not accurately express the spirit of the present invention, they should be replaced with technical terms that those skilled in the art can correctly understand.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, singular expressions used in the present invention include plural expressions unless the context clearly dictates otherwise. In the present invention, terms such as "consisting of" or "comprising" should not be construed as necessarily including all of the various elements or steps described in the invention, and some of the elements or steps are included. It should be construed that it may not be, or may further include additional components or steps.

또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, it should be noted that the accompanying drawings are only for easily understanding the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the accompanying drawings.

이하 첨부한 도면을 참고로 본 발명에 따른 객체 인식 방법에 대해 보다 구체적으로 설명한다.Hereinafter, the object recognition method according to the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 3차원 공간에서 객체를 인식하는 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining a system for recognizing an object in a 3D space according to the present invention.

도 1을 참고로 보다 구체적으로 살펴보면, 먼저 3차원 공간에 대한 3차원 지도를 작성하여야 하는데, 사용자는 영상 장비(11)와 통신 장비(13)를 착용 후 3차원 지도를 작성하고자 하는 공간을 이동한다. 여기서 영상 장비(11)는 3차원 공간을 촬영하여 영상 정보를 생성하는 모노 카메라, 스트레오 카메라, 깊이 카메라 등을 포함하거나, 사용자의 이동 경로를 측정하기 위한 관성센서를 포함할 수 있다.Looking more specifically with reference to FIG. 1 , a 3D map of a 3D space must first be created. After wearing the imaging equipment 11 and the communication equipment 13, the user moves the space where the 3D map is to be created. do. Here, the imaging equipment 11 may include a mono camera, a stereo camera, a depth camera, etc. that generate image information by photographing a 3D space, or may include an inertial sensor for measuring a user's movement path.

한편 통신 장비(13)는 생성한 영상 정보를 네트워크(30)를 통해 서버(50)로 송신하는 장비로, 통신 장비(13)는 와이파이, 5G 통신 등의 무선 통신 방식으로 영상 정보와 관성 측정값을 서버(50)로 송신할 수 있거나 유선 통신 방식으로 영상 정보와 관성 측정값을 서버(50)로 송신할 수 있는 다양한 통신 모듈을 구비하고 있다. 네트워크(30)는 통신 장비(13)와 서버(50) 사이의 통신 방식에 따라 유선 또는 무선으로 영상 정보 또는 관성 측정값을 송신하는 다양한 종류의 네트워크가 사용될 수있다.On the other hand, the communication equipment 13 is a device that transmits the generated video information to the server 50 through the network 30, and the communication equipment 13 uses a wireless communication method such as Wi-Fi or 5G communication to obtain video information and inertial measurement values. It is provided with various communication modules capable of transmitting to the server 50 or transmitting image information and inertial measurement values to the server 50 in a wired communication method. The network 30 may use various types of networks that transmit image information or inertial measurement values wired or wirelessly according to a communication method between the communication equipment 13 and the server 50 .

본 발명이 적용되는 분야에 따라 서버(50)에서 3차원 지도를 작성하는 대신 통신 장비(13)에서 직접 영상 정보와 관성 측정값으로부터 3차원 지도를 생성하고 생성한 3차원 지도를 네트워크(30)를 통해 서버(50)로 송신할 수 있다.According to the field to which the present invention is applied, instead of creating a 3D map in the server 50, a 3D map is generated directly from image information and inertial measurement values in the communication equipment 13, and the generated 3D map is connected to the network 30. It can be transmitted to the server 50 through.

3차원 공간에 대한 3차원 지도를 작성시, 3차원 공간에 존재하는 객체의 고유 객체 정보를 추출하며 추출한 객체 정보와 객체 데이터베이스에 저장되어 있는 기준 객체 정보를 비교하여 3차원 공간에 존재하는 객체를 자동 인식한다.When creating a 3D map of a 3D space, the unique object information of an object existing in the 3D space is extracted, and the object existing in the 3D space is identified by comparing the extracted object information with the reference object information stored in the object database. automatically recognize

바람직하게, 작성한 3차원 지도를 다수의 섹터로 구분하여 분할하며, 섹터 단위로 각 섹터에 존재하는 객체들과 객체들의 상세 정보로 이루어진 객체 리스트를 각 섹터의 하위 항목으로 생성한다. Preferably, the created 3D map is divided into a plurality of sectors, and an object list consisting of objects existing in each sector and detailed information of the objects is generated as sub-items of each sector.

한편 3차원 지도가 완성된 후 사용자가 3차원 공간을 이동하는 과정에서 특정 공간에 존재하는 객체에 대한 정보를 3차원 지도를 이용하여 획득할 수 있는데, 보다 구체적으로 살펴보면 사용자는 스마트폰 등과 같이 카메라를 구비하는 사용자 단말(70)을 이용하여 3차원 공간을 촬영하며 이동하는데 사용자 단말(70)은 촬영한 영상 정보를 네트워크(30)를 통해 서버(50)로 송신한다.On the other hand, after the 3D map is completed, information on objects existing in a specific space can be acquired using the 3D map while the user moves in the 3D space. Using the user terminal 70 having a photographing and moving in the 3D space, the user terminal 70 transmits the captured image information to the server 50 through the network 30.

서버(50)는 수신한 영상 정보에 기초하여 3차원 공간의 다수 섹터들 중 사용자가 현재 위치하고 있는 현재 섹터를 판단한다. 현재 섹터의 하위 항목으로 매핑되어 있는 객체 리스트에 기초하여 섹터 단위로 현재 섹터에 존재하는 객체를 인식하며 사용자 요청에 의해 인식한 객체의 상세 정보를 객체 리스트에서 추출하여 사용자 단말(70)로 제공한다.The server 50 determines a current sector in which the user is currently located among a plurality of sectors in the 3D space based on the received image information. Objects existing in the current sector are recognized on a sector-by-sector basis based on the object list mapped to a sub-item of the current sector, and detailed information of the recognized object is extracted from the object list and provided to the user terminal 70 at the request of the user. .

3차원 공간에 다양한 객체들이 존재할 수 있는데 3차원 공간이 넓을수록 또는 3차원 공간에 존재하는 객체들의 수가 많을수록 3차원 공간의 특정 공간에 위치하는 객체를 인식하는데 많은 시간과 소요된다. 본 발명과 같이 3차원 공간 중 현재 위치하고 있는 현재 섹터를 판단하며, 현재 섹터에 위치하는 객체를 섹터 단위로 구분하여 현재 섹터에 매핑된 객체 리스트를 기준으로 객체를 인식함으로써 빠르고 정확하게 객체를 인식하고 인식한 객체에 대한 정보를 제공할 수 있다.Various objects may exist in the 3D space. As the 3D space is wider or the number of objects existing in the 3D space increases, it takes a lot of time and time to recognize an object located in a specific space of the 3D space. As in the present invention, the current sector currently located in the 3D space is determined, and the object located in the current sector is divided into sector units and the object is recognized based on the object list mapped to the current sector, thereby quickly and accurately recognizing and recognizing the object. Information about an object can be provided.

본 발명이 적용되는 분야에 따라 서버에서 객체를 인식하고 객체에 대한 상세정보를 제공하는 것으로 설명하였으나, 본 발명이 적용되는 분야에 따라 객체 데이터베이스는 사용자 단말(70)에 저장되어 있으며 사용자 단말(70)에서 직접 촬영한 영상에 기초하여 객체를 인식하고 객체에 대한 상세 정보를 제공할 수 있다. Although it has been described that the server recognizes an object and provides detailed information about the object according to the field to which the present invention is applied, the object database is stored in the user terminal 70 and the user terminal 70 according to the field to which the present invention is applied. ), it is possible to recognize an object based on an image taken directly and provide detailed information about the object.

도 2는 본 발명에 따라 객체를 인식하는 장치를 설명하기 위한 기능 블록도이다.2 is a functional block diagram illustrating an apparatus for recognizing an object according to the present invention.

도 2를 참고로 살펴보면, 영상 획득부(105)는 3차원 공간을 촬영하여 3차원 공간에 대한 영상 정보를 획득하고, 획득한 영상 정보를 지도 생성부(110)로 제공한다. 지도 생성부(110)는 획득한 영상에서 특징점을 추출하여 3차원 공간에 대한 3차원 지도을 생성한다. Referring to FIG. 2 , the image acquisition unit 105 acquires image information about the 3D space by photographing a 3D space, and provides the obtained image information to the map generator 110 . The map generator 110 extracts feature points from the acquired image and generates a 3D map of the 3D space.

영상 획득부(105)는 모노 카메라, 스트레오 카메라, 깊이 카메라 또는 이들의 조합이 사용될 수 있다. 한편 카메라는 CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor) 이미지 센서와, 이미지 센서의 출력을 수신하여 2D 이미지를 생성하는 영상처리모듈 등을 구비하고 있다.The image acquisition unit 105 may use a mono camera, a stereo camera, a depth camera, or a combination thereof. Meanwhile, the camera includes a charge coupled device (CCD) or complementary metal oxide semiconductor (CMOS) image sensor, and an image processing module generating a 2D image by receiving an output of the image sensor.

객체 리스트 생성부(120)는 생성한 3차원 지도를 서로 동일하거나 서로 상이한 크기를 가지는 섹터로 구분하여 분할하고 각 섹터 단위로 각 섹터에 존재하는 객체의 객체 정보와 객체 데이터베이스부(130)에 저장되어 있는 객체의 기준 객체 정보를 비교하여 각 섹터에 존재하는 객체를 인식한다. 이후 인식한 객체의 객체 정보와 사용자 인터페이스부(150)를 통해 추가 입력되는 객체의 상세 정보로 이루어진 객체 리스트를 섹터 단위로 생성하고 생성한 객체 리스트를 객체 리스트 저장부(180)에 저장한다. 여기서 객체의 객체 정보 또는 기준 객체 정보는 객체를 식별할 수 있는 객체의 고유 특징으로 객체에서 추출하는 특징점, 객체의 크기, 객체의 색상 등일 수 있다.The object list creation unit 120 divides the generated 3D map into sectors having the same or different sizes, and stores object information and object information of objects existing in each sector in each sector in the object database unit 130. Objects present in each sector are recognized by comparing the reference object information of the objects in each sector. Then, an object list composed of object information of the recognized object and detailed information of the object additionally input through the user interface unit 150 is generated in units of sectors, and the generated object list is stored in the object list storage unit 180. Here, the object information or reference object information of the object is a unique feature of the object capable of identifying the object and may include a feature point extracted from the object, the size of the object, the color of the object, and the like.

여기서 객체 데이터베이스부(140)에는 사전에 객체별 모든 방향에서 촬영하여 추출한 객체의 특징점, 객체별 크기, 객체의 색상 등의 기준 객체 정보가 저장되어 있다. 즉 객체 데이터베이스부(140)에는 3차원 공간에 존재하거나 존재할 것으로 예상되는 모든 객체별 기준 객체 정보가 저장되어 있으며, 이후 3차원 지도를 생성시 3차원 공간 중 특정 공간에 존재하는 객체로부터 추출되는 객체의 객체 정보와 기준 객체 정보를 비교하여 특정 공간에 존재하는 객체를 인식하는데 이용될 수 있다.Here, the object database unit 140 stores standard object information, such as feature points of objects extracted by photographing in all directions for each object in advance, size for each object, color of the object, and the like. That is, the object database unit 140 stores reference object information for all objects that exist or are expected to exist in the 3D space, and objects extracted from objects existing in a specific space among the 3D space when a 3D map is created thereafter. It can be used to recognize an object existing in a specific space by comparing object information of and reference object information.

한편 섹터별 객체 리스트를 구비하는 3차원 지도가 완성되는 경우 사용자는 3차원 공간을 이동하며 3차원 공간에 존재하는 객체에 대한 정보를 제공받을 수 있는데, 객체 인식부(170)는 영상 획득부(105)를 통해 획득한 영상에서 특징점을 추출하여 추출한 특징점에 기초하여 3차원 지도를 구성하는 다수의 섹터 중 현재 사용자가 위치하고 있는 현재 섹터를 판단하며, 객체 리스트 저장부(180)에 저장되어 있는 객체 리스트 중 현재 섹터에 매핑되어 있는 객체 리스트를 검색하여 추출한다. On the other hand, when a 3D map having an object list for each sector is completed, the user may be provided with information on objects existing in the 3D space while moving in the 3D space. 105) extracts feature points from the acquired image, determines the current sector where the current user is located among a plurality of sectors constituting the 3D map based on the extracted feature points, and determines the object stored in the object list storage unit 180 Among the lists, an object list mapped to the current sector is searched and extracted.

객체 인식부(170)는 현재 섹터에 매핑되어 있는 객체 리스트에서 현재 섹터에 존재하는 객체의 객체 정보와 일치하는 객체를 판단하여 섹터 단위로 3차원 공간의 특정 공간에 존재하는 객체를 인식한다. 객체 인식부(170)는 인식한 객체에 대한 간략 정보를 출력부(190)를 통해 출력하는데, 사용자 인터페이스부(150)를 통해 인식한 객체에 대한 상세 정보의 요청이 입력되는 경우, 현재 섹터에 매핑되어 있는 객체 리스트에서 인식한 객체에 매핑되어 있는 상세 정보를 검색하여 출력부(190)를 통해 사용자에 제공한다.The object recognizing unit 170 recognizes an object existing in a specific space of the 3D space in units of sectors by determining an object matching object information of an object existing in the current sector from the object list mapped to the current sector. The object recognition unit 170 outputs brief information on the recognized object through the output unit 190. When a request for detailed information on the recognized object is input through the user interface unit 150, the current sector Detailed information mapped to the recognized object is retrieved from the mapped object list and provided to the user through the output unit 190 .

도 3은 본 발명에 따른 객체 리스트 생성부의 일 예를 설명하기 위한 기능 블록도이다. 3 is a functional block diagram for explaining an example of an object list generator according to the present invention.

도 3을 참고로 보다 구체적으로 살펴보면, 섹터 생성부(121)는 3차원 지도가 생성되는 시점과 동시에 또는 3차원 지도가 완성된 후 3차원 지도를 서로 상이한 크기 또는 서로 동일한 크기를 가지는 다수의 영역으로 구분하여 섹터를 생성한다.Looking more specifically with reference to FIG. 3 , the sector generator 121 converts the 3D map into a plurality of regions having different sizes or the same size at the same time as when the 3D map is generated or after the 3D map is completed. to create sectors.

객체 판단부(123)는 각 섹터에 존재하는 객체의 객체 정보와 객체 데이터베이스부에 저장되어 있는 기준 객체 정보를 비교하여 섹터 단위로 각 섹터에 존재하는 객체를 판단한다.The object determination unit 123 compares object information of objects present in each sector with reference object information stored in the object database unit, and determines objects present in each sector on a sector-by-sector basis.

리스트 편집부(125)는 섹터 단위로 각 섹터에 존재하는 객체에 대한 상세 정보가 입력되는 경우, 객체의 객체 정보와 상세 정보를 편집하여 섹터의 하위 항목으로 객체별 객체 리스트를 생성한다.When detailed information on an object existing in each sector is input, the list editing unit 125 edits the object information and detailed information of the object to create an object list for each object as a sub-item of the sector.

도 4는 본 발명에 따른 객체 인식부의 일 예를 설명하기 위한 기능 블록도이다.4 is a functional block diagram for explaining an example of an object recognition unit according to the present invention.

도 4를 참고로 보다 구체적으로 살펴보면, 특징점 추출부(171)는 영상 획득부에서 획득한 영상에서 특징점을 추출한다. 현재 섹터 판단부(173)는 추출한 특징점에 기초하여 3차원 공간에서 현재 위치를 추정하고, 현재 위치에 기초하여 사용자가 위치하고 있는 현재 섹터를 판단한다. 즉, 추출한 특징점로부터 판단된 3차원 좌표로부터 현재 위치를 추정하고 현재 위치가 속하는 섹터를 판단하여 현재 위치하고 있는 현재 섹터를 판단한다.Looking more specifically with reference to FIG. 4 , the feature point extractor 171 extracts feature points from an image acquired by the image acquirer. The current sector determination unit 173 estimates a current location in the 3D space based on the extracted feature points, and determines a current sector where the user is located based on the current location. That is, the current location is estimated from the three-dimensional coordinates determined from the extracted feature points, and the sector to which the current location belongs is determined to determine the current sector currently located.

객체 리스트 검색부(175)는 현재 섹터에 하위 항목으로 매핑되어 있는 객체 리스트를 검색하며, 객체 식별부(177)는 검색한 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 현재 섹터에 존재하는 객체를 인식한다.The object list search unit 175 searches for an object list mapped to the current sector as a sub-item, and the object identification unit 177 searches for an object existing in the current sector based on the searched object list mapped to the current sector. Recognize.

상세정보 제공부(179)는 사용자 인터페이스부를 통해 인식한 객체에 대한 상세 정보의 요청이 있는 경우, 검색한 현재 섹터에 매핑되어 있는 객체 리스트에서 인식한 객체에 대한 상세 정보를 추출하여 출력부를 통해 사용자에 제공한다.When there is a request for detailed information on the object recognized through the user interface, the detailed information providing unit 179 extracts detailed information on the recognized object from the list of objects mapped to the searched current sector, and outputs the detailed information to the user. provided to

도 5는 본 발명에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating an object recognition method according to the present invention.

도 5를 참고로 보다 구체적으로 살펴보면, 3차원 지도를 작성하고자 하는 공간을 이동하며 3차원 공간을 촬영하여 3차원 공간에 대한 3차원 지도를 생성한다(S110). 3차원 공간의 영상으로부터 특징점을 추출하고 추출한 특징점을 3차원 좌표로 변환하여 3차원 지도를 생성한다.Looking more specifically with reference to FIG. 5 , a 3D map of the 3D space is created by moving a space where a 3D map is to be created and photographing the 3D space (S110). A 3D map is created by extracting feature points from an image in a 3D space and converting the extracted feature points into 3D coordinates.

특징점은 객체의 형상을 대표하는 요소로서 객체를 묘사하고 모델링할 수 있는 중요한 점이며, 명확하게 식별이 가능한 특이점(interest point)으로서 모서리(corner), 정점(apex) 및 꼭지점(vertex)이 특징점에 해당된다. 영상에서 특징점을 추출하는 방법은 CSS(Curvature Scale Space), FAST-ER(FAST-Enhanced Repeatability)등의 알고리즘을 사용하거나, Harris corner detection 기법을 사용하여 특정한 "점"을 추출하거나, Canny edgy detection 기법을 사용하여 특정한 "선"을 추출하는 것이 가능하다. 다양한 방식으로 특징점을 추출할 수 있으며 이에 대한 상세한 설명은 생략한다.As an element representing the shape of an object, a feature point is an important point that can describe and model an object, and as a clearly identifiable interest point, a corner, apex, and vertex are included in the feature point. applicable Methods for extracting feature points from images use algorithms such as Curvature Scale Space (CSS) and FAST-Enhanced Repeatability (FAST-ER), extract specific "points" using the Harris corner detection technique, or use the Canny edge detection technique. It is possible to extract specific "lines" using Feature points can be extracted in various ways, and a detailed description thereof will be omitted.

사용자가 이동하며 촬영한 영상에서 추출한 특징점을 추적하며 특징점을 3차원 좌표로 변환하여 포인트 클라우드를 생성하고, 생성한 포인트 클라우드를 조합하여 3차원 공간에 대한 3차원 지도를 생성한다. 촬영한 영상에서 추출한 특징점의 좌표는 2차원 좌표이며 특징점을 계속해서 추적하며 깊이정보를 구비하는 3차원 좌표로 변환한다. 촬영한 영상에서 깊이 정보를 획득하기 위하여 모노 카메라를 통해 촬영한 현재 영상 프레임을 기준으로 전/후 영상 프레임을 이용하여 깊이 정보를 획득하거나, 스트레오 카메라를 통해 촬영한 영상 프레임의 시차를 이용하여 깊이 정보를 획득하거나, 깊이 카메라를 이용하여 깊이 정보를 획득할 수 있다.It tracks the feature points extracted from the image taken while moving by the user, converts the feature points into 3D coordinates to create a point cloud, and creates a 3D map of the 3D space by combining the created point clouds. The coordinates of feature points extracted from the captured image are 2-dimensional coordinates, and the feature points are continuously tracked and converted into 3-dimensional coordinates having depth information. In order to obtain depth information from the captured image, depth information is acquired using the previous/posterior image frame based on the current image frame captured through a mono camera, or depth information is obtained using the parallax of the image frame captured through a stereo camera. Information may be obtained or depth information may be obtained using a depth camera.

여기서 3차원 좌표는 글로벌 좌표로, 통상적으로 3차원 지도를 생성하기 시작하는 위치를 기준점(0,0,0)으로 각 특징점을 3차원 좌표로 변환하여 포인트 클라우드를 생성한다. 2차원의 특징점을 3차원 좌표로 변환하는 다양한 공지된 기술들이 존재하며, 이에 대한 상세한 설명을 생략한다.Here, the 3D coordinates are global coordinates. Typically, a point cloud is created by converting each feature point into 3D coordinates using a reference point (0,0,0) as a starting point for generating a 3D map. There are various known techniques for converting 2D feature points into 3D coordinates, and a detailed description thereof will be omitted.

3차원 지도가 생성되는 시점과 동시에 또는 3차원 지도가 생성된 이후 3차원 지도를 다수의 영역으로 구분하여 3차원 공간을 다수의 섹터로 분할한다(S130). 3차원 지도를 생성하는 시점과 동시에 3차원 공간을 정해진 크기로 구분하여 다수의 섹터로 분할하거나 3차원 지도가 완성된 후 3차원 지도를 정해진 크기로 구분하여 다수의 섹터로 분할할 수 있다. 즉, 3차원 지도를 작성시 카메라의 뷰 영역으로 구분하여 다수의 섹터로 분할하거나 3차원 지도를 작성시 관성센서를 이용하여 3차원 공간을 정해진 크기로 구분하여 다수의 섹터로 분할하거나 작성자가 생성된 3차원 지도에서 직접 정해진 크기로 구분하여 3차원 공간을 다수의 섹터로 분할할 수 있다.At the same time as the 3D map is generated or after the 3D map is generated, the 3D map is divided into a plurality of regions to divide the 3D space into a plurality of sectors (S130). At the time of generating the 3D map, the 3D space may be divided into a predetermined size and divided into a plurality of sectors, or after the 3D map is completed, the 3D map may be divided into a predetermined size and divided into a plurality of sectors. That is, when creating a 3D map, it is divided into a number of sectors by dividing it into the camera's view area, or when creating a 3D map, it is divided into a number of sectors by dividing the 3D space into a predetermined size using an inertial sensor, or created by the author. The 3D space can be divided into a number of sectors by directly dividing them into predetermined sizes in the 3D map.

섹터 단위로 각 섹터에 존재하는 객체의 객체 정보와 객체 데이터베이스부에 저장되어 있는 기준 객체 정보를 비교하여 각 섹터에 존재하는 객체를 인식하며, 인식한 객체에 대한 상세 정보와 객체 정보를 조합하여 각 섹터에 대한 객체 리스트를 객체의 하위 항목으로 생성한다(S150). By comparing the object information of an object existing in each sector with the reference object information stored in the object database unit, an object existing in each sector is recognized, and the detailed information of the recognized object is combined with the object information. The object list for the sector is created as a sub-item of the object (S150).

차후 객체 리스트를 구비하는 3차원 지도가 완성된 후, 사용자가 3차원 공간을 이동하며 영상을 촬영하는 경우 영상으로부터 추출한 특징점으로부터 사용자의 현재 위치를 추정하여 사용자가 현재 위치하고 있는 현재 섹터를 판단하며, 판단한 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 섹터 단위로 현재 섹터에 존재하는 객체를 인식한다(S170). After the 3D map having the object list is completed, when the user moves in the 3D space and takes an image, the user's current location is estimated from feature points extracted from the image to determine the current sector in which the user is currently located, Based on the object list mapped to the determined current sector, an object existing in the current sector is recognized on a sector-by-sector basis (S170).

도 6은 3차원 공간에 대한 3차원 지도를 생성하는 일 예를 설명하기 위한 도면이며, 도 7은 생성한 3차원 지도에서 섹터를 분할하는 일 예를 설명하기 위한 도면이다6 is a diagram for explaining an example of generating a 3D map of a 3D space, and FIG. 7 is a diagram for explaining an example of dividing sectors in the generated 3D map.

도 6에 도시되어 있는 바와 같이, 사용자는 카메라(C)로 3차원 공간(S)을 촬영하며 이동하는데, 촬영항 영상에서 특징점을 추출하여 3차원 지도를 생성한다. 3차원 지도를 작성 시작하는 위치가 절대좌표(0,0,0)으로 설정된다.As shown in FIG. 6 , a user moves while taking a picture of a 3D space S with a camera C, and a 3D map is created by extracting feature points from a photographed term image. The starting position of the 3D map is set to absolute coordinates (0,0,0).

도 7에 도시되어 있는 바와 같이, 3차원 지도가 생성되는 시점과 동시에 또는 3차원 지도가 작성된 후 3차원 공간을 다수의 영역으로 구분하여 3차원 지도를 다수의 섹터(S1 내지 S8)로 분할한다.As shown in FIG. 7, at the same time as when the 3D map is created or after the 3D map is created, the 3D space is divided into a plurality of regions and the 3D map is divided into a plurality of sectors (S1 to S8). .

도 8은 객체 리스트를 생성하는 일 예를 설명하기 위한 흐름도이다.8 is a flowchart illustrating an example of generating an object list.

도 8을 참고로 보다 구체적으로 살펴보면, 섹터별로 각 섹터에 위치하는 객체로부터 생성한 객체 정보와 객체 데이터베이스부에 저장되어 있는 기준 객체 정보를 비교하여 객체 정보와 일치하는 기준 객체 정보가 존재하는지 판단한다(S151). 기준 객체 정보는 지도 생성 전에 생성되는데, 도 9는 기준 객체 정보를 생성하는 일 예를 설명하고 있다. 도 9(a)에 도시되어 있는 바와 같이 제1 객체(O1)를 여러 방향으로 촬영하여 제1 객체(O1)에 대한 기준 객체 정보, 예를 들어 특징점을 추출하여 제1 객체(O1)에 대한 기준 객체 정보를 생성하고, 도 9(b)에 도시되어 있는 바와 같이 제2 객체(O2)를 여러 방향으로 촬영하여 제2 객체(O2)에 대한 기준 객체 정보, 예를 들어 특징점을 추출하여 제2 객체(O2)에 대한 기준 객체 정보를 생성한다. 3차원 공간에 존재하는 모든 객체에 대한 기준 객체 정보를 생성하고 생성한 기준 객체 정보를 객체 데이터베이스부에 저장한다.Looking more specifically with reference to FIG. 8 , object information generated from objects located in each sector for each sector is compared with reference object information stored in the object database unit to determine whether reference object information matching the object information exists. (S151). Reference object information is generated before map creation, and FIG. 9 illustrates an example of generating reference object information. As shown in FIG. 9(a) , reference object information about the first object O1 , for example, feature points, is extracted by photographing the first object O1 in various directions, and Reference object information is generated, and as shown in FIG. 9(b), the second object O2 is photographed in various directions, and reference object information about the second object O2, for example, feature points, is extracted and 2 Generate reference object information for object O2. Reference object information for all objects existing in the 3D space is created and the generated reference object information is stored in the object database unit.

다시 도 8을 참고로 살펴보면, 객체 정보와 일치하는 기준 객체 정보가 객체 데이터베이스부에 존재하는 경우, 일치하는 기준 객체 정보로 해당 객체를 인식하며 인식한 객체에 대한 상세 정보를 입력받는다(S154). 예를 들어, 기준 객체 정보에 일치하는 객체가 노트북으로 인식되는 경우 해당 노트북의 소유자, 사용기간 등의 상세 정보가 입력된다. Referring again to FIG. 8 as a reference, when reference object information matching the object information exists in the object database unit, the corresponding object is recognized with the matching reference object information, and detailed information on the recognized object is input (S154). For example, when an object matching reference object information is recognized as a notebook, detailed information such as the owner of the notebook and the period of use is input.

인식한 객체의 객체 정보와 상세 정보를 편집하여 현재 섹터에 존재하는 객체들로 이루어진 객체 리스트를 섹터 단위로 생성한다(S155). 3차원 공간의 다른 섹터에 대해서도 앞서 설명한 S151, S153, S154, S155 단계를 반복하여 3차원 공간을 구성하는 모든 섹터에 대한 객체 리스트를 완성한다(S156).Object information and detailed information of the recognized object are edited to create an object list consisting of objects existing in the current sector in units of sectors (S155). For other sectors of the 3D space, the above-described steps S151, S153, S154, and S155 are repeated to complete the object list for all sectors constituting the 3D space (S156).

한편, 섹터에 위치하는 객체로부터 생성한 객체 정보와 객체 데이터베이스부에 저장되어 있는 기준 객체 정보를 비교하여 객체 데이터베이스부에 일치하는 기준 객체 정보가 존재하지 않는 경우, 인식할 수 있는 없는 객체가 존재함을 알리기 위한 알림 메시지를 출력한다(S157).On the other hand, if the object information generated from the object located in the sector is compared with the reference object information stored in the object database unit and there is no matching reference object information in the object database unit, there is an unrecognizable object. A notification message for informing is output (S157).

사용자는 알림 메시지에 기초하여 객체 데이터베이스부에 해당 객체에 대한 기준 객체 정보가 존재하지 않는 경우 해당 객체에 대한 기준 객체 정보를 추가 생성하여 객체 데이터베이스부를 갱신할 수 있다(S159).Based on the notification message, the user may update the object database unit by additionally generating reference object information on the corresponding object when the reference object information on the corresponding object does not exist in the object database unit (S159).

도 10은 본 발명에서 생성된 객체 리스트의 일 예를 설명하기 위한 도면이다.10 is a diagram for explaining an example of an object list created in the present invention.

도 10에 도시되어 있는 바와 같이, 3차원 공간은 다수의 섹터로 분할되며, 각 섹터에는 하위 항목으로 객체 리스트가 매핑되어 있다. 각 섹터의 객체 리스트에는 각 섹터에 존재하는 객체의 이름 또는 식별자, 객체의 상세정보가 나열되어 있다.As shown in FIG. 10, the 3D space is divided into a plurality of sectors, and an object list is mapped as a subitem to each sector. In the object list of each sector, names or identifiers of objects existing in each sector and detailed information of the objects are listed.

도 11은 사용자에 인식한 객체의 상세 정보를 제공하는 일 예를 설명하기 위한 도면이다.11 is a diagram for explaining an example of providing detailed information on a recognized object to a user.

도 11에 도시되어 있는 바와 같이, 사용자 단말을 통해 촬영된 영상에는 현재 섹터에 존재하는 객체가 디스플레이되는데, 사용자가 현재 위치하고 있는 현재 섹터에서 인식된 객체 중 사용자가 특정 객체를 선택하는 경우 선택한 객체의 상세 정보를 현재 섹터에 매핑되어 있는 객체 리스트에서 검색하며, 검색한 상세 정보를 사용자 단말에 출력할 수 있다.As shown in FIG. 11, an object existing in a current sector is displayed in an image captured through a user terminal. When a user selects a specific object among recognized objects in the current sector where the user is currently located, the selected object Detailed information may be searched in the object list mapped to the current sector, and the searched detailed information may be output to the user terminal.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.On the other hand, the above-described embodiments of the present invention can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.

상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.The computer-readable recording medium includes a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.), an optical reading medium (eg, CD-ROM, DVD, etc.), and a carrier wave (eg, Internet transmission through).

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다. Although the present invention has been described with reference to the embodiments shown in the drawings, this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the attached claims.

105: 영상 획득부 110: 지도 생성부
120: 객체 리스트 생성부 130: 객체 데이터베이스부
150: 사용자 인터페이스부 170: 객체 인식부
180: 객체 리스트 저장부 190: 출력부
121: 섹터 생성부 123: 객체 판단부
125: 리스트 편집부 171: 특징점 추출부
173: 현재 섹터 판단부 175: 객체 리스트 검색부
177: 객체 식별부 179: 상세 정보 제공부105: image acquisition unit 110: map generation unit
120: object list generation unit 130: object database unit
150: user interface unit 170: object recognition unit
180: object list storage unit 190: output unit
121: sector creation unit 123: object determination unit
125: list editing unit 171: feature point extraction unit
173: current sector determination unit 175: object list search unit
177: object identification unit 179: detailed information providing unit

Claims

3차원 지도를 생성하고자 하는 3차원 공간을 촬영하고 촬영한 영상에서 상기 3차원 공간의 특징점을 추출하여 상기 3차원 공간에 대한 3차원 지도를 생성하는 단계;
생성한 상기 3차원 지도를 다수의 섹터로 분할하고 분할한 섹터 단위로 각 섹터에 존재하는 객체의 객체 정보 중 객체로부터 추출한 특징점과 객체 데이터베이스에 저장되어 있는 기준 객체 정보 중 기준 객체의 특징점을 비교하여 각 섹터에 존재하는 객체를 판단하는 단계;
판단한 객체에 기초하여 각 섹터에 존재하는 객체들의 객체 리스트를 각 섹터의 하위 항목으로 생성하는 단계;
상기 3차원 공간의 현재 위치에서 추출되는 특징점에 기초하여 현재 섹터를 판단하는 단계;
판단한 현재 섹터의 하위 항목으로 생성된 현재 객체 리스트를 판단하는 단계;
상기 현재 섹터에 존재하는 객체와 일치하는 객체를 상기 현재 객체 리스트에서 검색하여 객체를 인식하는 단계; 및
인식한 객체들의 객체 상세 정보를 상기 현재 객체 리스트에서 검색하여 사용자에 제공하는 단계를 포함하는 것을 특징으로 하는 객체 인식 방법.
generating a 3D map of the 3D space by capturing a 3D space to generate a 3D map and extracting feature points of the 3D space from the captured image;
The generated 3D map is divided into a plurality of sectors, and the characteristic points extracted from the object among the object information of the object existing in each sector are compared with the characteristic points of the reference object among the reference object information stored in the object database. determining objects present in each sector;
generating an object list of objects existing in each sector as sub-items of each sector based on the determined object;
determining a current sector based on feature points extracted from the current location in the 3D space;
determining a current object list created as a sub-item of the determined current sector;
recognizing an object by searching the current object list for an object identical to an object existing in the current sector; and
and searching detailed object information of recognized objects from the current object list and providing the object information to a user.

제 1 항에 있어서, 상기 객체 인식 방법은
판단한 객체에 대한 객체 상세 정보가 입력되는 단계를 더 포함하며,
상기 객체 리스트에는 객체별 상세 정보가 매핑되어 생성되는 것을 특징으로 하는 객체 인식 방법.
The method of claim 1, wherein the object recognition method
Further comprising the step of inputting detailed object information about the determined object,
The object recognition method, characterized in that the detailed information for each object is mapped and generated in the object list.

제 2 항에 있어서, 상기 객체를 판단하는 단계는
생성한 상기 3차원 지도를 서로 동일한 또는 서로 상이한 크기로 구분하여 다수의 섹터로 분할하는 단계;
각 섹터에 존재하는 객체로부터 추출한 특징점과 객체 데이터베이스에 저장되어 있는 기준 객체의 특징점을 비교하여 일치하는 객체를 판단하는 단계; 및
일치하는 객체에 기초하여 각 섹터에 존재하는 객체를 판단하는 단계를 포함하는 것을 특징으로 하는 객체 인식 방법.
3. The method of claim 2, wherein determining the object
dividing the generated 3D map into a plurality of sectors by dividing the generated 3D map into equal or different sizes;
comparing feature points extracted from objects existing in each sector with feature points of a reference object stored in an object database to determine matching objects; and
and determining objects present in each sector based on matching objects.

삭제delete

제 3 항에 있어서, 상기 객체 정보 또는 상기 기준 객체 정보는
객체의 크기 또는 색상 중 적어도 어느 하나를 더 포함하는 것을 특징으로 하는 객체 인식 방법.
The method of claim 3, wherein the object information or the reference object information
An object recognition method further comprising at least one of the size or color of the object.

제 3 항에 있어서, 상기 객체 인식 방법은
각 섹터에 존재하는 객체 중 객체 정보가 객체 데이터베이스의 기준 객체 정보와 불일치하는 객체가 존재하는지 판단하는 단계; 및
기준 객체 정보와 불일치하는 객체가 존재하는 경우, 비인식 객체가 존재함을 알리는 단계를 더 포함하는 것을 특징으로 하는 객체 인식 방법.
The method of claim 3, wherein the object recognition method
determining whether there exists an object whose object information is inconsistent with reference object information of an object database among objects existing in each sector; and
The object recognition method further comprising notifying that an unrecognized object exists when an object that does not match the reference object information exists.

삭제delete