KR102662130B1 - 3D Object Detection Method using Point Cloud Context and Compressed Deep Learning Model - Google Patents

3D Object Detection Method using Point Cloud Context and Compressed Deep Learning Model Download PDF

Info

Publication number
KR102662130B1
KR102662130B1 KR1020210129883A KR20210129883A KR102662130B1 KR 102662130 B1 KR102662130 B1 KR 102662130B1 KR 1020210129883 A KR1020210129883 A KR 1020210129883A KR 20210129883 A KR20210129883 A KR 20210129883A KR 102662130 B1 KR102662130 B1 KR 102662130B1
Authority
KR
South Korea
Prior art keywords
image
object recognition
context
objects
features
Prior art date
Application number
KR1020210129883A
Other languages
Korean (ko)
Other versions
KR20230046652A (en
Inventor
최충재
성낙명
이석준
정성욱
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210129883A priority Critical patent/KR102662130B1/en
Priority to PCT/KR2021/013560 priority patent/WO2023054779A1/en
Publication of KR20230046652A publication Critical patent/KR20230046652A/en
Application granted granted Critical
Publication of KR102662130B1 publication Critical patent/KR102662130B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법이 제공된다. 본 발명의 실시예에 따른 객체 인지 방법은, 3차원 영상 데이터를 입력받고, 입력된 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하며, 추출한 특징들을 기초로 3차원 영상의 컨텍스트를 추정하고, 추정된 컨텍스트에 매칭되는 객체 인지 모델을 선택하며, 선택한 객체 인지 모델을 이용하여 3차원 영상의 객체들을 인지한다. 이에 의해, 경량화 딥러닝 모델 기반으로 향상된 성능의 3차원 객체 인지가 가능하므로, 트레이드 오프 관계에 있는 정확도와 인식 속도 모두를 향상시킬 수 있게 된다.A 3D object recognition method based on point cloud context and lightweight deep learning is provided. The object recognition method according to an embodiment of the present invention includes receiving 3D image data, extracting features of the 3D image from the input 3D image data, and estimating the context of the 3D image based on the extracted features. An object recognition model matching the estimated context is selected, and objects in the 3D image are recognized using the selected object recognition model. As a result, 3D object recognition with improved performance is possible based on a lightweight deep learning model, thereby improving both accuracy and recognition speed, which are trade-offs.

Description

포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법{3D Object Detection Method using Point Cloud Context and Compressed Deep Learning Model}3D Object Detection Method using Point Cloud Context and Compressed Deep Learning Model}

본 발명은 인공지능 기술에 관한 것으로, 더욱 상세하게는 경량화 딥러닝 기반으로 포인트 클라우드 데이터로부터 3차원 객체를 빠르고 정확하게 인지하는 방법에 관한 것이다.The present invention relates to artificial intelligence technology, and more specifically, to a method for quickly and accurately recognizing 3D objects from point cloud data based on lightweight deep learning.

차량이나 로봇의 자율주행을 위해, 3D 센서, 이를 테면, LiDAR를 통해 수집된 포인트 클라우드 데이터에 대해, 도 1에 도시된 바와 같이, 딥러닝 기반으로 3D 객체를 인지하고, 객체의 3D 좌표(position, depth)를 추정하는 기술이 이용된다.For autonomous driving of a vehicle or robot, point cloud data collected through a 3D sensor, such as LiDAR, is recognized based on deep learning, as shown in Figure 1, and the 3D coordinates (position) of the object are recognized. , depth) estimation technology is used.

문제는 딥러닝의 높은 복잡도이다. 이는, 대용량의 3차원 포인트 클라우드 데이터를 처리하는 과정에서 과다한 연산시간이 발생한다는 점에서 서비스 제공자 측면에서 비효율적이다. 특히, 연산자원의 제약이 있는 임베디드 및 모바일 기기에서 신속한 서비스 이용에 지연이 발생한다는 점에서 서비스 이용자 측면에서도 비효율적이다.The problem is the high complexity of deep learning. This is inefficient from the service provider perspective in that excessive computation time occurs in the process of processing large amounts of 3D point cloud data. In particular, it is inefficient for service users in that delays occur in rapid service use in embedded and mobile devices with limited computing resources.

나아가, 이미지에 비해 객체 인지 정확도가 낮다는 문제도 있다. 작은 객체 (사람 등) 및 멀리 있는 객체의 경우 인지가 어렵다. 3차원 포인트 클라우드 데이터는 인지하려는 객체의 거리가 멀수록, 다른 객체와의 겹침(occlusion)이 높을수록 희미(sparse)해지기 때문이다. 이와 같은 정확도 문제는 임베디드 및 모바일 기기에서 요구되는 경량화 딥러닝 모델의 경우에 더욱 심각하다.Furthermore, there is a problem that object recognition accuracy is low compared to images. It is difficult to recognize small objects (such as people) and distant objects. This is because 3D point cloud data becomes sparse as the distance between the object to be recognized is greater and its overlap with other objects is higher. This accuracy problem is more serious in the case of lightweight deep learning models required for embedded and mobile devices.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 실시간성을 향상시키기 위해 경량화된 딥러닝 모델을 이용하는 경우에도, 향상된 정확도를 갖는 3D 객체 인지 방법을 제공함에 있다.The present invention was created to solve the above problems, and the purpose of the present invention is to provide a 3D object recognition method with improved accuracy even when using a lightweight deep learning model to improve real-time.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 인지 방법은, 3차원 영상 데이터를 입력받는 단계; 입력된 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 단계; 추출한 특징들을 기초로, 3차원 영상의 컨텍스트를 추정하는 단계; 추정된 컨텍스트에 매칭되는 객체 인지 모델을 선택하는 단계; 선택한 객체 인지 모델을 이용하여, 3차원 영상의 객체들을 인지하는 단계;를 포함한다.In order to achieve the above object, an object recognition method according to an embodiment of the present invention includes receiving three-dimensional image data; Extracting features of a 3D image from input 3D image data; Estimating the context of a 3D image based on the extracted features; selecting an object recognition model matching the estimated context; It includes: recognizing objects in a 3D image using the selected object recognition model.

3차원 영상의 특징들은, 3차원 영상에 등장하는 객체들의 기하학적 특징들일 수 있다. 기하학적 특징들은, 객체들의 평균 높이, 평균 강도, 평균 법선 벡터 및 평균 엣지 길이 중 적어도 하나를 포함할 수 있다.Features of a 3D image may be geometric characteristics of objects that appear in the 3D image. The geometric features may include at least one of the average height, average intensity, average normal vector, and average edge length of the objects.

추정 단계는, 3차원 영상에 등장하는 객체들의 기하학적 특징들을 DB에 저장된 다수의 컨텍스트들에 각각 매핑되어 있는 3차원 기하학적 특징들과 비교하여, 하나의 컨텍스트를 선택할 수 있다.In the estimation step, one context may be selected by comparing the geometric features of objects appearing in the 3D image with the 3D geometric features each mapped to multiple contexts stored in the DB.

컨텍스트는, 3차원 영상이 촬영된 환경을 나타낼 수 있다.The context may represent the environment in which the 3D image was captured.

객체 인지 모델은, 3차원 영상 데이터가 입력되면 3차원 영상의 객체들을 인지하여 출력하도록 학습된 인공지능 모델일 수 있다. 그리고, 객체 인지 모델은, 해당 컨텍스트에서 획득한 3차원 영상 데이터를 이용하여 학습될 수 있다.The object recognition model may be an artificial intelligence model learned to recognize and output objects in a 3D image when 3D image data is input. And, the object recognition model can be learned using 3D image data acquired in the corresponding context.

인지 단계는, 선택한 객체 인지 모델에 3차원 영상 데이터를 입력하여, 3차원 영상의 객체들을 인지할 수 있다. 그리고, 3차원 영상 데이터는, 포인트 클라우드 데이터일 수 있다.In the recognition step, objects in the 3D image can be recognized by inputting 3D image data into the selected object recognition model. And, the 3D image data may be point cloud data.

한편, 본 발명의 다른 실시예에 따른, 객체 인지 시스템은, 3차원 영상 데이터를 입력받는 입력부; 입력부를 통해 입력된 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 추출부; 및 추출부에서 추출한 특징들을 기초로 3차원 영상의 컨텍스트를 추정하고, 추정된 컨텍스트에 매칭되는 객체 인지 모델을 선택하며, 선택한 객체 인지 모델을 이용하여 3차원 영상의 객체들을 인지하는 프로세서;를 포함한다.Meanwhile, according to another embodiment of the present invention, an object recognition system includes an input unit that receives three-dimensional image data; an extraction unit that extracts features of a 3D image from 3D image data input through an input unit; And a processor that estimates the context of the 3D image based on the features extracted from the extraction unit, selects an object recognition model matching the estimated context, and recognizes objects in the 3D image using the selected object recognition model. do.

한편, 본 발명의 다른 실시예에 따른, 3차원 영상 분석 방법은, 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 단계; 추출한 특징들을 기초로, 3차원 영상의 컨텍스트를 추정하는 단계; 추정된 컨텍스트에 매칭된 인공지능 모델을 선택하는 단계; 및 선택한 인공지능 모델을 이용하여, 3차원 영상을 분석하는 단계;를 포함한다.Meanwhile, according to another embodiment of the present invention, a 3D image analysis method includes extracting features of a 3D image from 3D image data; Estimating the context of a 3D image based on the extracted features; Selecting an artificial intelligence model matching the estimated context; and analyzing the 3D image using the selected artificial intelligence model.

한편, 본 발명의 다른 실시예에 따른, 3차원 영상 분석 시스템은, 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 추출부; 및 추출한 특징들을 기초로 3차원 영상의 컨텍스트를 추정하고, 추정된 컨텍스트에 매칭된 인공지능 모델을 선택하며, 선택한 인공지능 모델을 이용하여 3차원 영상을 분석하는 프로세서;를 포함한다.Meanwhile, according to another embodiment of the present invention, a 3D image analysis system includes: an extraction unit for extracting features of a 3D image from 3D image data; and a processor that estimates the context of the 3D image based on the extracted features, selects an artificial intelligence model matching the estimated context, and analyzes the 3D image using the selected artificial intelligence model.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 경량화 딥러닝 모델 기반으로 향상된 성능의 3차원 객체 인지가 가능하므로, 트레이드 오프 관계에 있는 정확도와 인식 속도 모두를 향상시킬 수 있게 된다.As described above, according to embodiments of the present invention, 3D object recognition with improved performance is possible based on a lightweight deep learning model, thereby improving both accuracy and recognition speed, which are in a trade-off relationship.

이는, 서비스 제공자 측면에서 데이터 처리시간의 단축(신속한 서비스 제공)과 연산자원과 저장공간의 감소(비용절감)를 기대할 수 있도록 하고, 서비스 이용자 측면에서 모바일/임베디드 기기에서 신속한 서비스를 가능하게 하고 자율주행차 및 로봇의 실시간 객체인식 연산을 가능하게 한다.From the service provider's perspective, this can be expected to reduce data processing time (rapid service provision) and reduce computational resources and storage space (cost reduction), and from the service user's perspective, it enables rapid service on mobile/embedded devices and provides autonomous It enables real-time object recognition calculations for driving vehicles and robots.

도 1은 딥러닝 기반 객체 3D 좌표 인지 기술을 예시한 도면,
도 2는 본 발명의 일 실시예에 따른 3차원 객체 인지 방법의 개념도,
도 3은 본 발명의 일 실시예에 따른 3차원 객체 인지 방법의 순서도, 그리고,
도 4는 본 발명의 다른 실시예에 따른 3D 객체 인지 시스템의 블럭도이다.Figure 1 is a diagram illustrating a deep learning-based object 3D coordinate recognition technology;
Figure 2 is a conceptual diagram of a 3D object recognition method according to an embodiment of the present invention;
Figure 3 is a flowchart of a 3D object recognition method according to an embodiment of the present invention, and
Figure 4 is a block diagram of a 3D object recognition system according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

본 발명의 실시예에서는 포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반으로 3차원 객체를 인지하는 방법을 제시한다.An embodiment of the present invention presents a method for recognizing 3D objects based on point cloud context and lightweight deep learning.

본 발명의 실시예에서는 딥러닝 모델 압축(Compression) 기법을 통해 3D 객체 인지를 위한 딥러닝 모델의 크기 압축을 수행하여, 경량화된 다수의 딥러닝 모델을 생성한다. 구체적으로, 각 영상이 촬영된 환경/장소를 나타내는 컨텍스트 별로 최적의 경량화 딥러닝 모델을 생성한다. 자원이 한정된 임베디드/모바일 기기에서의 인지 속도를 향상시키기 위함이다.In an embodiment of the present invention, the size of a deep learning model for 3D object recognition is compressed using a deep learning model compression technique to generate a number of lightweight deep learning models. Specifically, an optimal lightweight deep learning model is created for each context representing the environment/place where each video was filmed. This is to improve recognition speed in embedded/mobile devices with limited resources.

또한, 본 발명의 실시예에서는 다양한 환경/장소, 이를 테면, 공장, 공원, 도로 등에 따라 달라지는 포인트 클라우드의 컨텍스트를 분석하고 이를 포인트 클라우드 컨텍스트 맵 형태로 DB에 저장한다.Additionally, in an embodiment of the present invention, the context of a point cloud that varies depending on various environments/places, such as factories, parks, roads, etc., is analyzed and stored in the DB in the form of a point cloud context map.

그리고, 현재 로봇이 주행중인 환경의 컨텍스트와 DB의 컨텍스트를 매칭하여 환경에 맞는 최적의 경량화된 딥러닝 모델을 선택하고, 선택한 모델을 이용하여 3D 객체 인지를 수행한다.Then, the optimal lightweight deep learning model suitable for the environment is selected by matching the context of the environment in which the robot is currently running and the context of the DB, and 3D object recognition is performed using the selected model.

도 2는 본 발명의 일 실시예에 따른 3차원 객체 인지 방법의 개념도이고, 도 3은 본 발명의 일 실시예에 따른 3차원 객체 인지 방법의 순서도이다.FIG. 2 is a conceptual diagram of a 3D object recognition method according to an embodiment of the present invention, and FIG. 3 is a flowchart of a 3D object recognition method according to an embodiment of the present invention.

도시된 바와 같이, 먼저, 3차원 객체를 인지하고자 하는 포인트 클라우드 데이터를 입력받는다. 도 2의 (1)과 도 3의 S110단계가 이에 해당한다.As shown, first, point cloud data for recognizing a 3D object is input. Steps (1) in FIG. 2 and S110 in FIG. 3 correspond to this.

다음, 입력된 포인트 클라우드 데이터로부터 3차원 영상의 특징들을 추출한다. 도 2의 (2)와 도 3의 S120단계가 이에 해당한다. 도 3의 우측 상부에 나타난 바와 같이, 3차원 영상의 특징들은, 3차원 영상에 등장하는 객체들의 기하학적 특징들을 의미한다.Next, features of the 3D image are extracted from the input point cloud data. Steps (2) in Figure 2 and S120 in Figure 3 correspond to this. As shown in the upper right corner of FIG. 3, the characteristics of a 3D image refer to the geometric characteristics of objects that appear in the 3D image.

궁극적으로 추출하는 기하학적 특징들은, 3차원 영상에 등장하는 객체들의 평균 높이(Height), 평균 강도(Intensity), 평균 법선 벡터(Normal vector), 평균 엣지 길이(Edge length)를 포함한다.Geometrical features that are ultimately extracted include the average height, average intensity, average normal vector, and average edge length of objects appearing in the 3D image.

구체적으로, 평균 높이는 3차원 영상에 등장하는 객체들의 높이들의 평균이고, 평균 강도는 3차원 영상에 등장하는 객체들의 강도들의 평균이며, 평균 법선 벡터는 3차원 영상에 등장하는 객체들의 법선 벡터들의 평균이고, 평균 엣지 길이는 3차원 영상에 등장하는 객체들의 엣지 길이들의 평균이다.Specifically, the average height is the average of the heights of objects appearing in the 3D image, the average intensity is the average of the intensities of the objects appearing in the 3D image, and the average normal vector is the average of the normal vectors of the objects appearing in the 3D image. , and the average edge length is the average of the edge lengths of objects that appear in the 3D image.

이후, 추출한 특징들을 기초로, 3차원 영상의 컨텍스트를 추정하는데, 이를 위해, 먼저, 추출한 특징들을 컨텍스트 맵 DB에 수록된 다수의 컨텍스트들에 각각 매핑되어 있는 3차원 기하학적 특징들에 매칭시키면서, 가장 잘 매칭되는 컨텍스트 하나를 선택한다. 도 2의 (3)와 도 3의 S130단계 및 S140단계가 이에 해당한다.Afterwards, the context of the 3D image is estimated based on the extracted features. To this end, first, the extracted features are matched to the 3D geometric features each mapped to multiple contexts contained in the context map DB, and the best Select one matching context. Steps S130 and S140 in (3) of FIG. 2 and FIG. 3 correspond to this.

컨텍스트는 3차원 영상이 촬영된 환경/장소를 나타낸다. 도 2의 우측 상부를 참조하면, 컨텍스트 맵 DB에는 공장, 공원 및 도로의 컨텍스트들이 수록되어 있고, 이들의 3차원 기하학적 특징들이 매핑되어 있다.The context represents the environment/place where the 3D image was captured. Referring to the upper right of FIG. 2, the context map DB contains the contexts of factories, parks, and roads, and their three-dimensional geometric features are mapped.

이를 테면, 공장 컨텍스트의 경우, 평균 높이는 0.3이고, 평균 강도는 0.2이며, 평균 엣지 길이는 0.07이고, 공원 컨텍스트의 경우, 평균 높이는 0.7이고, 평균 강도는 0.1이며, 평균 엣지 길이는 0.13이며, 도로 컨텍스트의 경우, 평균 높이는 1.2이고, 평균 강도는 0.7이며, 평균 엣지 길이는 0.03임을 확인할 수 있다.For example, for the factory context, the average height is 0.3, the average strength is 0.2, the average edge length is 0.07, and for the park context, the average height is 0.7, the average strength is 0.1, the average edge length is 0.13, and the average edge length is 0.13. For the context, we can see that the average height is 1.2, the average intensity is 0.7, and the average edge length is 0.03.

만약, 입력된 포인트 클라우드 데이터로부터 추출한 3차원 기하학적 특징들이, 평균 높이 0.6, 평균 강도 0.1, 평균 엣지 길이 0.15라면, 이와 가장 유사한 기하학적 특징들을 갖는 공원 컨텍스트가 선택될 것이다. 이는, 입력된 포인트 클라우드 데이터의 컨텍스트를 공원 컨텍스트로 추정하는 것을 의미한다고 할 수 있다.If the 3D geometric features extracted from the input point cloud data are average height 0.6, average intensity 0.1, and average edge length 0.15, the park context with the most similar geometric features will be selected. This can be said to mean estimating the context of the input point cloud data as the park context.

다음, 추정된 컨텍스트에 매칭된 객체 인지 모델을 선택한다. 도 2의 (4)와 도 3의 S150단계 및 S160단계가 이에 해당한다.Next, select the object recognition model that matches the estimated context. Steps S150 and S160 in (4) of FIG. 2 and FIG. 3 correspond to this.

객체 인지 모델은, 3차원 포인트 클라우드 데이터가 입력되면, 이를 분석하여 3차원 영상에 존재하는 객체들을 인지하여 출력하도록 학습된 경량화된 딥러닝 모델이다.The object recognition model is a lightweight deep learning model that analyzes 3D point cloud data when it is input and learns to recognize and output objects present in 3D images.

객체 인지 모델은 컨텍스트 마다 구비되어 있다. 즉, 공장 컨텍스트를 위한 객체 인지 모델, 공원 컨텍스트를 위한 객체 인지 모델, 도로 컨텍스트를 위한 객체 인지 모델이 각각 구비되어 있다.An object recognition model is provided for each context. That is, an object recognition model for the factory context, an object recognition model for the park context, and an object recognition model for the road context are provided.

각각의 객체 인지 모델은 해당 컨텍스트에서 획득한 3차원 영상 데이터를 이용하여 학습된다. 즉, 공장 컨텍스트를 위한 객체 인지 모델은 공장에서 획득한 3차원 영상 데이터로 학습되고, 공원 컨텍스트를 위한 객체 인지 모델은 공원에서 획득한 3차원 영상 데이터로 학습되며, 도로 컨텍스트를 위한 객체 인지 모델은 도로에서 획득한 3차원 영상 데이터로 학습된다.Each object recognition model is learned using 3D image data obtained from the corresponding context. That is, the object recognition model for the factory context is learned with 3D image data acquired from the factory, the object recognition model for the park context is learned with 3D image data acquired from the park, and the object recognition model for the road context is learned with 3D image data obtained from the park. It is learned from 3D image data obtained from the road.

추정된 컨텍스트에 매칭된 객체 인지 모델이 선택되므로, 이를 테면, 추정된 컨텍스트가 공장 컨텍스트라면 공장 컨텍스트를 위한 객체 인지 모델이 선택되고, 추정된 컨텍스트가 도로 컨텍스트라면 도로 컨텍스트를 위한 객체 인지 모델이 선택된다.The object recognition model matching the estimated context is selected, so for example, if the estimated context is a factory context, the object recognition model for the factory context is selected, and if the estimated context is a road context, the object recognition model for the road context is selected. do.

이후, 선택한 객체 인지 모델에 포인트 클라우드 데이터를 입력하여 3차원 영상의 객체들을 인지한다. 도 2의 (5)와 도 3의 S170단계가 이에 해당한다.Afterwards, point cloud data is input into the selected object recognition model to recognize objects in the 3D image. Steps (5) in Figure 2 and S170 in Figure 3 correspond to this.

도 4는 본 발명의 다른 실시예에 따른 3D 객체 인지 시스템의 블럭도이다. 본 발명의 실시예에 따른 3D 객체 인지 시스템은, 입력부(210), 특징 추출부(220), 컨텍스트 맵 DB(230), 프로세서(240), 객체 인지 모델 DB(250) 및 출력부(260)를 포함하여 구성된다.Figure 4 is a block diagram of a 3D object recognition system according to another embodiment of the present invention. The 3D object recognition system according to an embodiment of the present invention includes an input unit 210, a feature extraction unit 220, a context map DB 230, a processor 240, an object recognition model DB 250, and an output unit 260. It is composed including.

입력부(210)는 3D 센서(라이다, 다시점 카메라, RGB/Depth 카메라 등)로부터 생성된 포인트 클라우드 데이터를 입력받는다.The input unit 210 receives point cloud data generated from a 3D sensor (LIDAR, multi-view camera, RGB/Depth camera, etc.).

특징 추출부(220)는 입력부(210)를 통해 입력된 포인트 클라우드 데이터로부터 3차원 영상의 기하학적 특징들을 추출한다.The feature extraction unit 220 extracts geometric features of the 3D image from point cloud data input through the input unit 210.

프로세서(240)는 특징 추출부(220)에 의해 추출된 기하학적 특징들을 컨텍스트 맵 DB(230)에 수록된 컨텍스트들의 기하학적 특징들에 매칭시키면서, 가장 잘 매칭되는 컨텍스트 하나를 선택한다.The processor 240 matches the geometric features extracted by the feature extractor 220 with the geometric features of the contexts included in the context map DB 230 and selects one context that matches best.

그리고, 프로세서(240)는 선택한 컨텍스트를 위한 객체 인지 모델을 객체 인지 모델 DB(250)에서 선택하여, 선택한 객체 인지 모델로 3D 객체 인지를 수행하고, 출력부(260)를 통해 객체 인지 결과를 출력한다.Then, the processor 240 selects an object recognition model for the selected context from the object recognition model DB 250, performs 3D object recognition with the selected object recognition model, and outputs the object recognition result through the output unit 260. do.

지금까지, 포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, the point cloud context and lightweight deep learning-based 3D object recognition method have been described in detail with preferred embodiments.

위 실시예에서는, 다양한 환경에서 수집되는 포인트 클라우드 데이터의 특징 값들을 컨텍스트 맵 형태 DB로 구축하고, 포인트 클라우드 데이터의 컨텍스트를 추정하여 1개의 딥러닝 모델을 적응적으로 선택하여 객체 인지를 수행한다.In the above embodiment, feature values of point cloud data collected in various environments are constructed in a context map-type DB, the context of the point cloud data is estimated, and one deep learning model is adaptively selected to perform object recognition.

본 발명의 실시예에 따르면, 경량화 딥러닝 모델 기반으로 향상된 성능의 3차원 객체 인지가 가능하므로, 트레이드 오프 관계에 있는 정확도와 인식 속도 모두를 향상시킬 수 있게 된다.According to an embodiment of the present invention, 3D object recognition with improved performance is possible based on a lightweight deep learning model, thereby improving both accuracy and recognition speed, which are in a trade-off relationship.

이는, 서비스 제공자 측면에서 데이터 처리시간의 단축(신속한 서비스 제공)과 연산자원과 저장공간의 감소(비용절감)를 기대할 수 있도록 하고, 서비스 이용자 측면에서 모바일/임베디드 기기에서 신속한 서비스를 가능하게 하고 자율주행차 및 로봇의 실시간 객체인식 연산을 가능하게 한다.From the service provider's perspective, this can be expected to reduce data processing time (quick service provision) and reduce computational resources and storage space (cost reduction), and from the service user's perspective, it enables rapid service on mobile/embedded devices and autonomous It enables real-time object recognition calculations for driving vehicles and robots.

그리고, 위 실시예에서, 객체 인식 모델은 포인트 클라우드 데이터로부터 객체를 인지하는 것을 상정하였는데, 변형이 가능하다. 예를 들어, 객체 인식 모델이 포인트 클라우드 데이터로부터 추출한 특징들을 입력 받아 객체를 인지하는 것으로 구현하는 것이 가능하다.And, in the above embodiment, the object recognition model is assumed to recognize objects from point cloud data, but modifications are possible. For example, it is possible to implement an object recognition model that recognizes objects by receiving features extracted from point cloud data.

또한, 위 실시예에서, 인공지능 모델은 3D 객체 인지를 수행하는 인공지능 모델을 상정하였는데, 그 밖의 다른 모델로 대체하는 것이 가능하며, 이 경우에도 본 발명의 기술적 사상이 적용될 수 있다.Additionally, in the above embodiment, the artificial intelligence model was assumed to be an artificial intelligence model that performs 3D object recognition, but it is possible to replace it with another model, and even in this case, the technical idea of the present invention can be applied.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, of course, the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs the functions of the device and method according to this embodiment. Additionally, the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable code recorded on a computer-readable recording medium. A computer-readable recording medium can be any data storage device that can be read by a computer and store data. For example, of course, computer-readable recording media can be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, etc. Additionally, computer-readable codes or programs stored on a computer-readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the invention pertains without departing from the gist of the present invention as claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be understood individually from the technical idea or perspective of the present invention.

210 : 입력부
220 : 특징 추출부
230 : 컨텍스트 맵 DB
240 : 프로세서
250 : 객체 인지 모델 DB
260 : 출력부210: input unit
220: feature extraction unit
230: Context Map DB
240: processor
250: Object recognition model DB
260: output unit

Claims (12)

객체 인지 시스템이, 3차원 영상 데이터를 입력받는 단계;
객체 인지 시스템이, 입력된 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 단계;
객체 인지 시스템이, 추출한 특징들을 기초로, 3차원 영상의 컨텍스트를 추정하는 단계;
객체 인지 시스템이, 추정된 컨텍스트에 매칭되는 객체 인지 모델을 선택하는 단계;
객체 인지 시스템이, 선택한 객체 인지 모델을 이용하여, 3차원 영상의 객체들을 인지하는 단계;를 포함하고,
3차원 영상의 특징들은,
3차원 영상에 등장하는 객체들의 기하학적 특징들이며,
추정 단계는,
3차원 영상에 등장하는 객체들의 기하학적 특징들을 DB에 저장된 다수의 컨텍스트들에 각각 매핑되어 있는 3차원 기하학적 특징들과 비교하여, 하나의 컨텍스트를 선택하는 것을 특징으로 하는 객체 인지 방법.
An object recognition system receiving 3D image data;
Extracting, by an object recognition system, features of a 3D image from input 3D image data;
an object recognition system estimating the context of a 3D image based on the extracted features;
selecting, by an object recognition system, an object recognition model matching the estimated context;
An object recognition system comprising: recognizing objects in a 3D image using a selected object recognition model,
The characteristics of 3D images are:
These are the geometric characteristics of objects that appear in 3D images.
The estimation step is,
An object recognition method characterized by selecting one context by comparing the geometric features of objects appearing in a 3D image with 3D geometric features each mapped to a plurality of contexts stored in a DB.
 삭제delete 청구항 1에 있어서,
기하학적 특징들은,
객체들의 평균 높이, 평균 강도, 평균 법선 벡터 및 평균 엣지 길이 중 적어도 하나를 포함하는 것을 특징으로 하는 객체 인지 방법.
In claim 1,
The geometric features are,
An object recognition method comprising at least one of average height, average intensity, average normal vector, and average edge length of objects.
 삭제delete 청구항 1에 있어서,
컨텍스트는,
3차원 영상이 촬영된 환경을 나타내는 것을 특징으로 하는 객체 인지 방법.
In claim 1,
The context is,
An object recognition method characterized by representing the environment in which a 3D image was captured.
 청구항 5에 있어서,
객체 인지 모델은,
3차원 영상 데이터가 입력되면 3차원 영상의 객체들을 인지하여 출력하도록 학습된 인공지능 모델인 것을 특징으로 하는 객체 인지 방법.
In claim 5,
The object recognition model is,
An object recognition method characterized by being an artificial intelligence model trained to recognize and output objects in a 3D image when 3D image data is input.
 청구항 6에 있어서,
객체 인지 모델은,
해당 컨텍스트에서 획득한 3차원 영상 데이터를 이용하여 학습된 것을 특징으로 하는 객체 인지 방법.
In claim 6,
The object recognition model is,
An object recognition method characterized by learning using 3D image data acquired in the corresponding context.
 청구항 1에 있어서,
인지 단계는,
선택한 객체 인지 모델에 3차원 영상 데이터를 입력하여, 3차원 영상의 객체들을 인지하는 것을 특징으로 하는 객체 인지 방법.
In claim 1,
The cognitive stage is,
An object recognition method characterized by recognizing objects in a 3D image by inputting 3D image data into a selected object recognition model.
 청구항 1에 있어서,
3차원 영상 데이터는,
포인트 클라우드 데이터인 것을 특징으로 하는 객체 인지 방법.
In claim 1,
3D image data is,
An object recognition method characterized by point cloud data.
 3차원 영상 데이터를 입력받는 입력부;
입력부를 통해 입력된 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 추출부; 및
추출부에서 추출한 특징들을 기초로 3차원 영상의 컨텍스트를 추정하고, 추정된 컨텍스트에 매칭되는 객체 인지 모델을 선택하며, 선택한 객체 인지 모델을 이용하여 3차원 영상의 객체들을 인지하는 프로세서;를 포함하고,
3차원 영상의 특징들은,
3차원 영상에 등장하는 객체들의 기하학적 특징들이며,
프로세서는,
3차원 영상에 등장하는 객체들의 기하학적 특징들을 DB에 저장된 다수의 컨텍스트들에 각각 매핑되어 있는 3차원 기하학적 특징들과 비교하여, 하나의 컨텍스트를 선택하는 것을 특징으로 하는 객체 인지 시스템.
An input unit that receives 3D image data;
an extraction unit that extracts features of a 3D image from 3D image data input through an input unit; and
A processor that estimates the context of the 3D image based on the features extracted from the extraction unit, selects an object recognition model matching the estimated context, and recognizes objects in the 3D image using the selected object recognition model; ,
The characteristics of 3D images are:
These are the geometric characteristics of objects that appear in 3D images,
The processor is,
An object recognition system that compares the geometric features of objects appearing in a 3D image with the 3D geometric features each mapped to multiple contexts stored in a DB and selects one context.
 3차원 영상 분석 시스템이, 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 단계;
3차원 영상 분석 시스템이, 추출한 특징들을 기초로, 3차원 영상의 컨텍스트를 추정하는 단계;
3차원 영상 분석 시스템이, 추정된 컨텍스트에 매칭된 인공지능 모델을 선택하는 단계; 및
3차원 영상 분석 시스템이, 선택한 인공지능 모델을 이용하여, 3차원 영상을 분석하는 단계;를 포함하고,
3차원 영상의 특징들은,
3차원 영상에 등장하는 객체들의 기하학적 특징들이며,
추정 단계는,
3차원 영상에 등장하는 객체들의 기하학적 특징들을 DB에 저장된 다수의 컨텍스트들에 각각 매핑되어 있는 3차원 기하학적 특징들과 비교하여, 하나의 컨텍스트를 선택하는 것을 특징으로 하는 3차원 영상 분석 방법.
A 3D image analysis system comprising: extracting features of a 3D image from 3D image data;
A step of the 3D image analysis system estimating the context of the 3D image based on the extracted features;
A 3D image analysis system selecting an artificial intelligence model matching the estimated context; and
A 3D image analysis system includes analyzing a 3D image using a selected artificial intelligence model,
The characteristics of 3D images are:
These are the geometric characteristics of objects that appear in 3D images.
The estimation step is,
A 3D image analysis method characterized by selecting one context by comparing the geometric features of objects appearing in a 3D image with 3D geometric features each mapped to a plurality of contexts stored in a DB.
 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 추출부; 및
추출한 특징들을 기초로 3차원 영상의 컨텍스트를 추정하고, 추정된 컨텍스트에 매칭된 인공지능 모델을 선택하며, 선택한 인공지능 모델을 이용하여 3차원 영상을 분석하는 프로세서;를 포함하고,
3차원 영상의 특징들은,
3차원 영상에 등장하는 객체들의 기하학적 특징들이며,
프로세서는,
3차원 영상에 등장하는 객체들의 기하학적 특징들을 DB에 저장된 다수의 컨텍스트들에 각각 매핑되어 있는 3차원 기하학적 특징들과 비교하여, 하나의 컨텍스트를 선택하는 것을 특징으로 하는 3차원 영상 분석 시스템.
An extraction unit that extracts 3D image features from 3D image data; and
A processor that estimates the context of the 3D image based on the extracted features, selects an artificial intelligence model matching the estimated context, and analyzes the 3D image using the selected artificial intelligence model;
The characteristics of 3D images are:
These are the geometric characteristics of objects that appear in 3D images,
The processor is,
A 3D image analysis system that compares the geometric features of objects appearing in a 3D image with 3D geometric features each mapped to multiple contexts stored in a DB and selects one context.
KR1020210129883A 2021-09-30 2021-09-30 3D Object Detection Method using Point Cloud Context and Compressed Deep Learning Model KR102662130B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210129883A KR102662130B1 (en) 2021-09-30 2021-09-30 3D Object Detection Method using Point Cloud Context and Compressed Deep Learning Model
PCT/KR2021/013560 WO2023054779A1 (en) 2021-09-30 2021-10-05 Method for recognizing 3d object on basis of point cloud context and lightweight deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210129883A KR102662130B1 (en) 2021-09-30 2021-09-30 3D Object Detection Method using Point Cloud Context and Compressed Deep Learning Model

Publications (2)

Publication Number Publication Date
KR20230046652A KR20230046652A (en) 2023-04-06
KR102662130B1 true KR102662130B1 (en) 2024-04-30

Family

ID=85783005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210129883A KR102662130B1 (en) 2021-09-30 2021-09-30 3D Object Detection Method using Point Cloud Context and Compressed Deep Learning Model

Country Status (2)

Country Link
KR (1) KR102662130B1 (en)
WO (1) WO2023054779A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021041921A1 (en) * 2019-08-29 2021-03-04 Here Global B.V. Method, apparatus, and system for dynamic model or model parameter switching for object detection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380767B2 (en) * 2016-08-01 2019-08-13 Cognex Corporation System and method for automatic selection of 3D alignment algorithms in a vision system
KR102029852B1 (en) * 2019-04-09 2019-10-08 세종대학교 산학협력단 Object recognition apparatus for selecting neural network models according to environment and method thereof
JP7025372B2 (en) * 2019-06-11 2022-02-24 Kddi株式会社 Object identification device, method and system
JP7071316B2 (en) * 2019-07-19 2022-05-18 株式会社日立製作所 Information processing equipment for vehicles
JP7209657B2 (en) * 2020-02-28 2023-01-20 株式会社日立製作所 Information processing device and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021041921A1 (en) * 2019-08-29 2021-03-04 Here Global B.V. Method, apparatus, and system for dynamic model or model parameter switching for object detection

Also Published As

Publication number Publication date
KR20230046652A (en) 2023-04-06
WO2023054779A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
US20220114750A1 (en) Map constructing method, positioning method and wireless communication terminal
US8269722B2 (en) Gesture recognition system and method thereof
US8744168B2 (en) Target analysis apparatus, method and computer-readable medium
KR101479387B1 (en) Methods and apparatuses for face detection
CN111666921A (en) Vehicle control method, apparatus, computer device, and computer-readable storage medium
US10554957B2 (en) Learning-based matching for active stereo systems
CN111062263B (en) Method, apparatus, computer apparatus and storage medium for hand gesture estimation
WO2021103868A1 (en) Method for structuring pedestrian information, device, apparatus and storage medium
US9280703B2 (en) Apparatus and method for tracking hand
CN112818925A (en) Urban building and crown identification method
CN112581446A (en) Method, device and equipment for detecting salient object of image and storage medium
CN110598771A (en) Visual target identification method and device based on deep semantic segmentation network
CN104067295A (en) A gesture recognition method, an apparatus and a computer program for the same
WO2023015938A1 (en) Three-dimensional point detection method and apparatus, electronic device, and storage medium
Harakeh et al. Ground segmentation and occupancy grid generation using probability fields
KR100526018B1 (en) Method for recognizing and tracking an object
KR102662130B1 (en) 3D Object Detection Method using Point Cloud Context and Compressed Deep Learning Model
CN112580438A (en) Point cloud identification method in three-dimensional scene
Xia et al. A novel method for generation of motion saliency
CN113284221B (en) Target detection method and device and electronic equipment
KR101178015B1 (en) Generating method for disparity map
KR20180082739A (en) Moving Object Detection Method and System with Single Camera
KR101437228B1 (en) Obstacle detection device and method using boundary weighting
Zhou et al. An anti-occlusion tracking system for UAV imagery based on Discriminative Scale Space Tracker and Optical Flow
KR20230093592A (en) Context specific training method for point cloud-based 3D object recognition model

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant