KR101907081B1 - 3차원 점군의 물체 분리 방법 - Google Patents

3차원 점군의 물체 분리 방법 Download PDF

Info

Publication number
KR101907081B1
KR101907081B1 KR1020110083285A KR20110083285A KR101907081B1 KR 101907081 B1 KR101907081 B1 KR 101907081B1 KR 1020110083285 A KR1020110083285 A KR 1020110083285A KR 20110083285 A KR20110083285 A KR 20110083285A KR 101907081 B1 KR101907081 B1 KR 101907081B1
Authority
KR
South Korea
Prior art keywords
points
point
point cloud
cloud image
distance
Prior art date
Application number
KR1020110083285A
Other languages
English (en)
Other versions
KR20130021018A (ko
Inventor
황효석
노경식
윤석준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110083285A priority Critical patent/KR101907081B1/ko
Priority to US13/585,282 priority patent/US9251399B2/en
Priority to EP12181090.7A priority patent/EP2562688B1/en
Publication of KR20130021018A publication Critical patent/KR20130021018A/ko
Application granted granted Critical
Publication of KR101907081B1 publication Critical patent/KR101907081B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 3차원 점군의 물체 분리 방법은 영상획득부가 물체에 관한 3차원 점군(point cloud) 영상을 획득하는 단계, 제어부가 상기 3차원 점군 영상에서 이상점(outlier)을 제거하는 단계, 상기 제어부가 상기 이상점을 제거한 3차원 점군 영상에서 평면 영역을 제거하는 단계, 및 상기 제어부가 상기 평면 영역을 제거한 3차원 점군 영상에서 개별 물체의 점을 군집화하는 단계를 포함한다.

Description

3차원 점군의 물체 분리 방법{METHOD FOR SEPARATING OBJECT IN THREE DIMENSION POINT CLOUDS}
본 발명은 3차원 점군의 물체 분리 방법에 관한 것으로, 로봇의 물체 인식을 위해 3차원 점군 영상에서 개별 물체의 점을 군집화하는 3차원 점군의 물체 분리 방법에 관한 것이다.
로봇의 물체 인식 및 자세 추정 방법에는 칼라 영상을 이용하는 방법 외에 3차원 점군(point clouds)을 이용하는 방법이 있다. 이와 같이 3차원 점군을 이용한 물체 인식 및 자세 추정 방법은 데이터 베이스 상의 특정 물체의 점군과 입력 점군의 기하학적 위치 관계 등을 이용하여 수행된다.
여기서 물체의 인식 및 자세 추정 과정에 앞서서 중요한 과정이 물체에 관한 3차원 점군 영상에서 개별 물체라고 판단되는 점군 영역을 분리하여 각각 군집화하는 과정이다. 이와 같은 과정은 로봇의 물체 인식 및 자세 추정의 전처리 과정으로서, 전처리 과정 결과는 로봇의 물체 인식 속도 및 정확도에 큰 영향을 미친다.
종래에는 3차원 점군 영상에서 이상점을 제거하여 물체를 추적하는 기술 및 3차원 점군을 라벨링(labeling)하여 라벨링된 점군을 개별 물체로 인식하는 기술 등이 시도되었다.
본 발명의 일측면은 3차원 점군 영상에서 불필요한 정보를 담고 있는 이상점 및 개별 물체가 놓여 있는 평면 영역을 제거하고, 라벨 할당을 통해 개별 물체의 점을 군집화하는 3차원 점군의 물체 분리 방법을 제공한다.
이를 위한 본 발명의 일 실시예에 따른 3차원 점군의 물체 분리 방법은 영상획득부가 물체에 관한 3차원 점군(point cloud) 영상을 획득하는 단계, 제어부가 상기 3차원 점군 영상에서 이상점(outlier)을 제거하는 단계, 상기 제어부가 상기 이상점을 제거한 3차원 점군 영상에서 평면 영역을 제거하는 단계 및 상기 제어부가 상기 평면 영역을 제거한 3차원 점군 영상에서 개별 물체의 점을 군집화하는 단계를 포함한다.
상기 영상획득부는 스테레오 카메라, TOF 카메라, LRF 센서 또는 키넥트 센서이다.
상기 이상점을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상을 사전에 설정된 비율로 다운 샘플링을 하고, 상기 다운 샘플링된 3차원 점군 영상에서 이상점을 제거한다.
상기 이상점을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점과 근접점들간 거리가 임계값 이상인지를 판단하여 이상점을 제거한다.
상기 이상점을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점에 대하여 사전에 설정된 개수의 최근접점을 추출하는 단계, 상기 제어부가 상기 각 점과 상기 최근접점들간 평균 거리를 측정하는 단계 및 상기 제어부가 상기 평균 거리가 임계값 이상인 경우 상기 각 점 및 상기 최근접점들을 제거하는 단계를 포함한다.
상기 이상점을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점과 상기 물체에 관한 3차원 점군 영상을 획득한 위치간 거리가 사전에 설정된 거리 이상인 경우 상기 각 점을 제거한다.
상기 평면 영역을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점과 평면간 거리가 임계값 이하인지를 판단하여 평면 영역을 제거한다.
상기 평면 영역을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상에서 임의의 세 점을 지나는 평면을 사전에 설정된 개수로 추출하고, 상기 3차원 점군 영상에서 상기 평면과 거리가 임계값 이하인 점의 개수를 상기 평면마다 측정하는 단계, 상기 제어부가 상기 평면과 거리가 임계값 이하인 점의 개수가 가장 많은 평면을 선택하는 단계 및 상기 제어부가 상기 3차원 점군 영상의 각 점과 상기 선택한 평면간 거리가 임계값 이하인 경우 상기 각 점을 제거하는 단계를 포함한다.
상기 개별 물체의 점을 군집화하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점에 라벨을 할당하는 단계 및 상기 제어부가 동일한 라벨을 할당받은 각 점군 세그먼트를 정합하여 개별 물체의 점군으로 보정하는 단계를 포함한다.
상기 각 점에 라벨을 할당하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점과 사전에 설정된 거리 이하의 인접한 점을 추출하는 단계 및 상기 제어부가 상기 인접한 점의 개수가 임계값 이상이면, 상기 각 점과 상기 인접한 점에 동일한 라벨을 할당하는 단계를 포함한다.
상기 개별 물체의 점군으로 보정하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점이 상기 각 점과 사전에 설정된 거리 이하의 인접한 점과 라벨이 다른 경우 동일한 라벨을 할당하여 개별 물체의 점군으로 보정한다.
상술한 본 발명의 일측면에 의하면 3차원 점군 영상에서 불필요한 정보를 담고 있는 이상점을 제거하기 때문에 군집화 성능에 영향을 미치지 않고 군집화 수행 시간을 단축시킬 수 있다. 또한, 개별 물체가 놓여 있는 평면 영역을 제거하여 개별 물체만을 분리해냄으로써 개별 물체와 평면 영역이 하나의 물체로 군집화 되는 것을 방지한다. 또한, 라벨 할당을 통해 개별 물체의 점을 군집화하하고 분리함으로써 데이터 베이스상의 특정 물체의 점군과 비교하여 물체 인식의 정확도를 높이고 인식 속도를 개선할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 점군의 물체 분리 방법의 개략적인 순서도
도 2a는 본 발명의 일 실시예에 따른 물체에 관한 2차원 영상을 개략적으로 나타내는 도면
도 2b는 본 발명의 일 실시예에 따른 물체에 관한 3차원 점군 영상을 개략적으로 나타내는 도면
도 3은 본 발명의 일 실시예에 따른 이상점 제거 과정의 개략적인 순서도
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 이상점 제거 과정의 개략적인 설명을 위한 도면
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 이상점 제거 결과의 개략적인 설명을 위한 도면
도 6a 및 도 6b는 본 발명의 다른 일 실시예에 따른 이상점 제거 과정의 개략적인 설명을 위한 도면
도 7은 본 발명의 일 실시예에 따른 평면 영역 제거 과정의 개략적인 순서도
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 평면 영역 제거 결과의 개략적인 설명을 위한 도면
도 9는 본 발명의 일 실시예에 따른 개별 물체 점의 군집화 과정의 개략적인 순서도
도 10은 본 발명의 일 실시예에 따른 라벨 할당 과정의 개략적인 순서도
도 11a 내지 도 11d는 본 발명의 일 실시예에 따른 라벨 할당 과정의 개략적인 설명을 위한 도면
도 12는 본 발명의 일 실시예에 따른 개별 물체의 점군 보정 과정의 개략적인 순서도
도 13a 및 도 13b는 본 발명의 일 실시예에 따른 개별 물체의 점군 보정 결과의 개략적인 설명을 위한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 3차원 점군의 물체 분리 방법의 개략적인 순서도이다.
도 1을 참조하면, 영상획득부가 3차원 점군의 물체 분리 방법은 먼저 물체에 관한 3차원 점군 영상을 획득한다(S11). 3차원 점군 영상의 획득 방법의 구체적인 내용은 도 2에서 보다 상세하게 설명한다.
다음으로 제어부가 획득한 3차원 점군 영상에서 이상점(outlier)을 제거한다(S12). 이상점을 제거하는 단계는 3차원 점군 영상에서 불필요한 부분을 제거하는 과정으로, 여기서 이상점이란 3차원 점군 영상의 획득시에 전기적 잡음 또는 적외선의 난반사 등으로 인해 발생하여 실제 물체의 인식 과정에서 불필요한 정보를 담고 있는 점을 나타낸다.
한편, 3차원 점군 영상의 모든 점들에 대해서 군집화 연산을 수행하는 것은 계산적 또는 시간적 비용이 크기 때문에, 이상점 제거 과정에 앞서서 다운 샘플링을 통해 군집화 연산을 수행할 점들의 개수를 줄인 후에 군집화 연산을 수행할 수 있다. 이 때 독자적으로 존재하는 이상점은 많지 않으며, 독자적으로 존재하여 이상점 제거 과정에서 제거되지 않는 이상점들도 이후의 군집화 과정에서 제거되므로, 다운 샘플링으로 인한 군집화 성능의 저하는 크지 않다.
3차원 점군 영상의 다운 샘플링 과정은 다음의 [수학식1] 및 [수학식2]에 의해서 수행된다.
[수학식1]
Figure 112011064718732-pat00001
[수학식1]에서 P는 3차원 점군 영상의 모든 점들의 집합을 나타내며, n은 점들의 개수를 나타낸다.
[수학식2]
Figure 112011064718732-pat00002
[수학식2]에서 P*는 다운 샘플링을 수행한 점들의 집합을 나타내며, m은 다운 샘플링한 점들의 개수를 나타내고, 일예로 10%의 비율로 다운 샘플링 할 수 있다.
따라서, [수학식1] 및 [수학식2]에 의하면, 3차원 점군 영상을 사전에 설정된 비율로 다운 샘플링을 할 수 있고, 다운 샘플링된 3차원 점군 영상에서 이상점을 제거하는 과정을 수행하게 된다.
그리고 제어부가 이상점을 제거한 3차원 점군 영상에서 평면 영역을 제거한다(S13). 일반적으로 3차원 점군 영상에서 물체는 특정한 평면 영역, 예를 들어 바닥 또는 테이블 위에 놓이는 경우가 많다. 따라서, 개별 물체의 군집화 과정을 수행하기에 앞서 반드시 3차원 점군 영상으로부터 바닥 또는 테이블 영역을 제거해야 한다. 본 발명의 일 실시예에 따른 평면 영역 제거 과정은 최적 평면을 추출하고, 이를 이용하여 바닥 또는 테이블 영역을 제거한다. 평면 영역 제거 과정의 구체적인 내용은 도 7에서 보다 상세하게 설명한다.
마지막으로 제어부가 평면 영역을 제거한 3차원 점군 영상에서 개별 물체의 점을 군집화한다(S14). 일반적인 물체 인식 과정은 3차원 점군 영상 상의 점군과 데이터 베이스 상의 특정 물체의 점군을 비교하여 일치하는 경우 특정 물체로 인식한다. 따라서 물체 인식을 위해서는 개별 물체를 나타내는 점을 분리하고 군집화하는 과정이 요구된다. 본 발명의 일 실시예에 따른 개별 물체 점의 군집화 과정은 3차원 점군 영상의 각 점들에 라벨을 할당하는 방식을 통해서 이루어진다. 즉, 동일한 물체를 나타내는 점들은 동일한 라벨을 갖게 되는 것이다. 개별 물체 군집화 과정의 구체적인 내용은 도 9에서 보다 상세하게 설명한다.
도 2a는 본 발명의 일 실시예에 따른 물체에 관한 2차원 영상을 개략적으로 나타내는 도면, 도 2b는 본 발명의 일 실시예에 따른 물체에 관한 3차원 점군 영상을 개략적으로 나타내는 도면이다.
도 2a 및 도 2b를 참조하면, 물체에 관한 2차원 영상은 개별 물체가 테이블 상에 놓여진 형태이다. 이와 같은 2차원 영상에서는 물체에 관한 xy좌표 정보는 알 수 있으나, 물체와 물체의 영상을 획득한 위치간 거리 정보는 알 수 없다.
이와 달리, 3차원 점군 영상은 물체에 관한 xy좌표 정보 외에 거리 또는 깊이를 나타내는 z좌표 정보를 더 포함하며, 이같은 3차원 점군 영상을 획득하는 방법은 스테레오 카메라, TOF 카메라, LRF 센서 또는 키넥트 센서를 통해 이루어질 수 있다.
예를 들어, 일반적인 스테레오 카메라의 기하학적인 모델은 두 대의 카메라가 하나의 물체를 바라보고 있는 구조를 가진다. 스테레오 영상은 이와 같이 공간상의 한 점을 여러 시점에서 촬영한 영상을 의미하며, 이와 같은 영상의 좌표는 스테레오 정합에 의해서 대응하는 3차원 공간의 좌표로 변환된다.
물체와 스테레오 카메라와의 거리는 삼각측량법에 의해서 구해질 수 있으며, 이 거리를 통해 물체의 z 좌표를 구할 수 있다. 여기서, 영상 좌표계의 xy평면과 공간 좌표계의 xy평면은 나란하다고 가정한다.
한편, 스테레오 정합은 정합 요소에 따라 크게 특징 기반법과 영역 기반법으로 나눌 수 있다. 특징 기반법에 사용되는 정합 요소는 영 교차점, 경계선, 모서리, 마루, 골, 및 원추 곡성 등이 있으며, 영역 기반법에서 사용되는 정합 요소는 밝기 정보가 동일한 영역의 모양, 평균 밝기 및 면적 등이 있다.
이외에, TOF 카메라는 발신기로부터 투사된 초음파가 물체에 의해 반사되어 수신기에 도달하는 시간차를 초음파의 진행 속도로 나누어 거리를 계산함으로써 거리 정보를 획득하는 방식이며, LRF 센서는 물체에 레이저를 조사한 뒤 반사되어 돌아오는 레이저를 검출하여 거리를 측정하는 방식이고, 키넥트 센서는 컬러 영상을 획득하는 RGB 카메라와 깊이 영상을 획득하는 적외선 카메라로 구성된 방식이다.
도 3은 본 발명의 일 실시예에 따른 이상점 제거 과정의 개략적인 순서도이다.
도 3을 참조하면, 이상점의 제거 과정은 크게 3차원 점군 영상의 각 점과 근접점들 간 거리가 임계값 이상인지를 판단하여 이상점을 제거하는 과정과 3차원 점군 영상의 각 점과 물체에 관한 3차원 점군 영상을 획득한 위치간 거리가 사전에 설정된 거리 이상인 경우 각 점을 제거하는 과정(미도시)을 포함하여 구성된다.
먼저 이상점 제거 과정은 제어부가 3차원 점군 영상의 모든 점을 탐색하면서, 해당 점에 대하여 사전에 설정된 개수의 최근접점을 추출한다(S31). 최근접점의 추출 과정은 다음의 [수학식3] 및 [수학식4]에 의한다.
[수학식3]
Figure 112011064718732-pat00003
[수학식4]
Figure 112011064718732-pat00004
[수학식3] 및 [수학식4]에서 Pi K는 점 Pi에 대하여 사전에 설정된 개수의 최근접점들의 집합을 나타내고, K는 점 Pi의 최근접점들의 인덱스 k의 집합이다. 여기서, 최근접점이란 각 점에 대하여 가장 가까운 점을 나타내며, 최근접을 의미하는 각 점과 최근접점간 거리는 사전에 설정된 최근접점의 개수에 따라 달라질 수 있다.
다음으로 제어부가 해당 점과 최근접점들간 평균 거리를 측정한다(S32). 측정 결과 평균 거리가 임계값 이상인 경우 제어부가 해당 점 및 최근접점들을 이상점으로 판단하여 3차원 점군 영상에서 제거한다(S33, S34). 즉, 해당 점을 기준으로 최근접점들이 멀리 떨어져 있으면 이상점으로 판단하며, 이상점으로 판단된 해당 점뿐만 아니라 최근접점을 모두 제거한다.
그리고, 3차원 점군 영상의 모든 점을 탐색할 때까지 위 과정을 반복한다(S35).
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 이상점 제거 과정의 개략적인 설명을 위한 도면이다.
도 4a 및 도 4b를 참조하면, 해당 점 및 최근접점의 개수를 10개로 설정하여 추출된 최근접점이 도시되어 있다. 도 4a 및 도 4b상에서 녹색 점은 해당 점을 나타내며, 황색 점은 최근접점을 나타낸다.
도 4a에 도시된 해당 점 및 최근접점은 해당 점과 최근접점들간 평균 거리가 임계값보다 작은 경우를 나타낸다고 가정하고, 도 4b에 도시된 해당 점 및 최근접점은 해당 점과 최근접점들간 평균 거리가 임계값 이상인 경우를 나타낸다고 가정한다.
즉, 본 발명의 일 실시예에 따른 이상점 제거 과정에 의하면, 도 4b에 도시된 바와 같이 근접점들간 거리가 멀어서 점군의 형태가 조밀하지 않은 경우 이상점으로 판단하여 제거하는 것이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 이상점 제거 결과의 개략적인 설명을 위한 도면이다.
도 5a 및 도 5b를 참조하면, 도 5a에는 이상점 제거 전 3차원 점군 영상이 도시되어 있으며, 도 5b에는 이상점 제거 후 3차원 점군 영상이 도시되어 있다. 도 5a의 이상점 제거 전 영상은 영상의 대부분을 차지하고 있는 점군에서 따로 떨어져 있는 일부 이상점들의 점군이 있으나, 도 5b의 이상점 제거 후 영상은 본 발명의 일 실시예에 따른 이상점 제거 과정을 통해 이상점이 제거되어 하나의 점군만이 나타나 있다.
도 6a 및 도 6b는 본 발명의 다른 일 실시예에 따른 이상점 제거 과정의 개략적인 설명을 위한 도면이다.
도 6a 및 도 6b를 참조하면, 도 6a에 이상점 제거 전 3차원 점군 영상이 도시되어 있으며, 도 6b에 이상점 제거 후 3차원 점군 영상이 도시되어 있다. 본 발명의 다른 일 실시예에 따른 이상점 제거 과정은 3차원 점군 영상의 각 점과 물체에 관한 3차원 점군 영상을 획득한 위치간 거리가 사전에 설정된 거리 이상인 경우 각 점을 제거하여 수행된다.
일반적으로 물체에 관한 3차원 점군 영상을 획득함에 있어서, 대부분의 방식은 50 cm 내지 5 m 내의 거리를 측정할 수 있다. 한편, 물체의 인식을 위해서 의미 있는 거리는 이 중 일부 범위에 불과하며, 이와 같이 일정 거리 이상의 점들을 제거하여 군집화 과정을 수행하는 경우 군집화 수행 시간을 크게 감축할 수 있다.
각 점의 거리 정보는 각 점의 z좌표에 해당하므로, z좌표가 사전에 설정된 값보다 작은 점들은 남겨두고, z좌표가 사전에 설정된 값 이상인 점들을 3차원 점군 영상으로부터 제거한다.
도 6b의 이상점 제거 후 3차원 점군 영상을 이상점 제거 전 3차원 점군 영상과 비교하면, 좌측의 점군이 사전에 설정된 거리 이상으로 멀리 위치한다고 판단하여 이를 제거한 영상을 나타내고 있다.
도 7은 본 발명의 일 실시예에 따른 평면 영역 제거 과정의 개략적인 순서도이다.
도 7을 참조하면, 먼저 제어부가 3차원 점군 영상에서 임의의 세 점을 지나는 평면을 추출한다(S71). 모든 점들에 대해서 평면 영역 제거 과정을 연산하는 것은 연산 시간이 길게 소모되므로, 이상점 제거 과정과 마찬가지로 다운 샘플링된 점군 집한 Psd를 사용할 수 있다.
본 발명의 일 실시예에 따른 평면 영역 제거 과정은 기본적으로 3차원 점군 영상의 각 점과 평면간 거리가 임계값 이하인지를 판단하여 평면 영역을 제거하는 방식을 채택한다.
이를 위해 다운 샘플링을 한 점군 집합에서 임의의 세 점을 추출한 후 세 점을 지나는 하나의 평면 방정식을 산출한다. 평면 방정식의 산출은 다음의 [수학식5] 내지 [수학식8]에 의한다.
[수학식5]
Figure 112011064718732-pat00005
[수학식6]
Figure 112011064718732-pat00006
[수학식7]
Figure 112011064718732-pat00007
[수학식8]
Figure 112011064718732-pat00008
[수학식5] 내지 [수학식8]에서 Psd는 다운 샘플링을 한 점군 집합을 나타내며, Pr1, Pr2, Pr3는 평면을 지나는 임의의 세 점을 나타낸다. Li는 임의의 세점이 지나는 평면을 나타내며, a, b, c, d는 평면의 방정식의 계수를 나타낸다.
다음으로 제어부가 평면과 거리가 임계값 이하인 점의 개수를 측정한다(S72). 제어부는 평면의 개수를 사전에 설정된 개수만큼 추출하는데, 여기서는 일 예로 평면을 N개 추출하는 것으로 하였다(S73). 즉, 임의의 세 점을 지나는 평면을 사전에 설정된 개수만큼 추출한 후, 제어부가 평면과 거리가 임계값 이하인 점의 개수가 가장 많은 평면을 최적 평면으로 선택한다(S74). 이와 같은 과정은 [수학식9] 내지 [수학식11]에 의한다.
[수학식9]
Figure 112011064718732-pat00009
[수학식10]
Figure 112011064718732-pat00010
[수학식11]
Figure 112011064718732-pat00011
[수학식9]에서 L은 평면과 거리가 임계값 이하인 점의 개수가 가장 많은 최적 평면을 나타내며, n(sd)는 다운 샘플링한 점의 개수를 나타낸다. [수학식10]은 평면과 거리가 임계값 즉, threshold 이하인 점의 점의 개수를 측정하는 계산 과정을 나타내고 있다. 한편, [수학식11]은 3차원 점군 영상에서 각 점과 평면간 거리를 측정하는 계산 과정을 나타내고 있다.
그리고, 제어부가 3차원 점군 영상에서 최적 평면과 거리가 임계값 이하인 점을 제거한다(S75). 이와 같이 최적 평면 L을 구한 후에 3차원 점군 영상의 모든 점을 대상으로 최적 평면 L과 일정한 거리 이하에 있는 점을 제거함으로써, 3차원 점군 영상의 개별 물체가 놓여져 있는 테이블 또는 바닥 영역을 제거할 수 있다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 평면 영역 제거 결과의 개략적인 설명을 위한 도면이다.
도 8a 내지 도 8c를 참조하면, 도 8a는 평면 영역이 제거되지 않은 상태의 3차원 점군 영상을 도시하고 있다. 이와 같은 3차원 점군 영상에 본 발명의 일 실시예에 따른 평면 영역 제거 과정을 수행하면, 도 8b와 같이 평면과 거리가 임계값 이하인 점의 개수가 가장 많은 최적 평면이 선택되어 진다. 또한, 이와 같은 과정에 의해 선택되는 최적 평면 영역은 도 8b에 도시된 바와 같이 개별 물체가 놓여져 있는 테이블 영역과 일치한다.
도 8c는 평면 영역을 제거한 3차원 점군 영상을 도시하고 있다. 이와 같이 본 발명의 일 실시예에 따른 평면 영역 제거 과정을 수행하면, 개별 물체가 놓여져 있는 테이블 영역이 제거되어 실제 물체 인식이 보다 용이하게 이루어질 수 있다.
도 9는 본 발명의 일 실시예에 따른 개별 물체 점의 군집화 과정의 개략적인 순서도이다.
도 9를 참조하면, 제어부가 개별 물체 점의 군집화 과정은 먼저 3차원 점군 영상의 각 점에 라벨을 할당함으로써 초기 군집화 과정을 수행한다(S91). 초기 군집화 과정은 3차원 점군 영상의 모든 점을 탐색하며, 사전에 설정된 거리 이하의 일정 범위 내의 인접한 점들에 동일한 라벨을 할당함으로써 군집화 한다. 초기 군집화 과정의 구체적인 내용은 도 10에서 보다 상세하게 설명한다.
초기 군집화 과정 결과 대부분의 개별 물체의 점군은 동일한 라벨로 군집화가 이루어지나 특정 물체의 경우 하나의 물체가 복수의 물체로 즉, 동일한 라벨을 할당받은 복수 개의 세그먼트로 군집화가 이루어지는 경우가 발생한다. 이는 점군의 순서가 초기 군집화 과정의 진행 방향과 일치하여 인접하는 점 간의 거리가 먼 경우 하나의 물체임에도 불구하고 다른 라벨을 할당하기 때문이다.
이를 개선하기 위해서 제어부가 동일한 라벨을 할당받은 각 점군 세그먼트를 정합하여 하나의 개별 물체의 점군으로 보정하는 과정이 필요하다(S92). 개별 물체의 점군으로 보정하는 과정의 구체적인 내용은 도 12에서 보다 상세하게 설명한다.
도 10은 본 발명의 일 실시예에 따른 라벨 할당 과정의 개략적인 순서도이다.
도 10을 참조하면, 먼저 3차원 점군 영상의 점의 개수와 동일한 개수의 원소를 갖는 점군 라벨 배열을 생성한다. 점군 라벨 배열은 해당 점이 어떠한 라벨에 속하는지 나타내는 것으로, 다음의 [수학식12]와 같이 생성한다.
[수학식12]
Figure 112011064718732-pat00012
여기서, Pi는 평면 영역 제거 과정 후 남아있는 점군의 집합을 나타내며, Bi는 각 점의 라벨을 원소로 하는 집합을 나타낸다.
먼저 제어부가 모든 점의 라벨을 0으로 초기화하고, label index를 0으로 초기화 한다(S101, S102).
그리고, 제어부가 3차원 점군 영상의 모든 점을 탐색하면서, 해당 점에 이미 라벨이 할당되었는지 판단하기 위해 해당 점의 라벨이 0인지 확인한다(S103). 해당 점에 아직 라벨이 할당되지 않은 경우라면 제어부는 해당 점과 인접한 점을 추출한다(S104). 각 점과 인접한 점은 사전에 설정된 거리 이하의 점들을 나타내며, 이와 같은 거리는 군집화 정도에 따라 달리 설정할 수 있다. 해당 점에 이미 라벨이 할당되어 있는 경우라면 라벨을 재할당하지 않고 다음 점을 탐색한다.
제어부가 인접한 점에 라벨이 할당되어 있는지 판단하기 위해 인접한 점의 라벨이 0인지 확인한다(S105). 인접한 점의 라벨이 0인 경우 제어부가 label index를 1만큼 증가하고, 해당 점 및 인접한 점의 라벨에 label index에 해당하는 라벨을 할당한다(S106). 이와 달리 인접한 점의 라벨이 0이 아니고 이미 라벨을 할당 받은 경우라면, 제어부가 해당 점의 라벨을 인접한 점의 라벨과 동일하게 할당한다(S107). 이는 해당 점과 사전에 설정된 거리 이하의 인접한 점은 동일한 물체를 나타낸다고 판단하여, 동일한 라벨을 할당하는 것이다.
그리고, 제어부가 3차원 점군 영상의 모든 점을 탐색했는지 판단하여, 모든 점을 탐색하지 않은 경우 다음 점의 라벨 할당 과정을 수행한다(S108). 한편, 인접한 점의 개수가 임계값 이하인 경우에는 라벨을 할당하지 않을 수 있다.
종래의 2차원 영상의 라벨 할당 방식은 각 픽셀을 둘러싸고 있는 여덟 개의 픽셀을 참조하여 동일한 라벨을 할당하는 것이 일반적이었다. 즉, 해당 픽셀의 xy좌표를 기준으로 각 좌표를 1 증가 또는 1 감소함으로써 주변 픽셀의 정보를 참조하였다. 하지만, 이와 같은 방식은 3차원 점군 영상에서 동일하게 적용될 수 없어, 본 발명의 일 실시예에 따른 라벨 할당 과정은 해당 점과 인접한 점의 거리를 기준으로, 동일한 물체를 나타내는 것으로 추정되는 인접점의 정보를 참조한다.
도 11a 내지 도 11d는 본 발명의 일 실시예에 따른 라벨 할당 과정의 개략적인 설명을 위한 도면이다.
도 11a 내지 도 11d를 참조하면, 해당 점은 붉은 색 테두리로 도시되어 있으며, 해당 점을 기준으로 사전에 설정된 거리 이하의 인접한 점의 범위는 녹색 영역으로 도시되어 있다.
도 11a에 도시된 바와 같이 해당 점 및 인접한 점의 라벨이 모두 0으로 라벨이 할당되어 있지 않은 경우, 도 11b와 같이 해당 점 및 인접한 점에 label index에 해당하는 라벨을 할당한다. 여기서, label index에 해당하는 라벨을 할당 받은 점은 황색으로 도시하였다.
도 11c에 도시된 바와 같이 해당 점의 라벨은 0으로 라벨이 할당되어 있지 않으나, 인접한 점은 이미 라벨이 할당되어 파란색으로 도시되어 있다. 이 경우 도 11d에 도시된 바와 같이 해당 점 및 라벨이 할당되지 않은 인접한 점을 이미 라벨이 할당된 인접한 점과 동일한 라벨로 할당한다. 인접한 점의 범위인 녹색 영역 내의 모든 점들은 동일한 라벨을 할당받아 파란색으로 도시되어 있다. 한편, 각 점이 나타내는 색은 각 점이 동일한 라벨을 할당받은 것을 도식적으로 나타내기 위한 것이다.
도 12는 본 발명의 일 실시예에 따른 개별 물체의 점군 보정 과정의 개략적인 순서도이다.
도 12를 참조하면, 먼저 제어부가 3차원 점군 영상의 모든 점을 탐색하면서, 해당 점과 인접한 점의 라벨이 동일한지 확인한다(S121). 여기서 인접한 점을 선택하기 위한 해당 점과 인접한 점의 거리는 사전에 설정된 바에 따른다. 이 거리는 인접한 점군이 복수 개의 세그먼트로 이루어져 있지만, 하나의 물체를 나타낸다고 추정하기 위한 것으로 상황에 따라 다르게 설정될 수 있다.
해당 점과 인접한 점의 라벨이 다른 경우라면 제어부가 하나의 개별 물체의 점군으로 보정하기 위해서 어느 하나의 라벨로 동일하게 할당한다(S122). 즉, 해당 점의 라벨 또는 인접한 점의 라벨 중 어느 하나의 라벨로 할당할 수 있으며, 새로운 라벨을 동일하게 할당할 수도 있다. 이에 따라 동일한 라벨을 할당받은 각 점군 세그먼트가 정합되어 하나의 개별 물체를 나타낼 수 있다.
제어부가 3차원 점군 영상의 모든 점을 탐색하였는지 판단하고, 모든 점을 탐색하지 않은 경우 다음 점의 보정 과정을 수행한다(S123).
도 13a 및 도 13b는 본 발명의 일 실시예에 따른 개별 물체의 점군 보정 결과의 개략적인 설명을 위한 도면이다.
도 13a 및 도 13b를 참조하면, 도 13a는 보정 과정을 수행하지 않은 3차원 점군 영상을 도시하고 있다. 즉, 초기 군집화 과정을 수행하여 개별 물체를 나타내는 점군은 동일한 라벨을 할당받아 동일한 색상으로 도시되어 있으나, 일부 물체는 노란색, 하늘색, 분홍색, 붉은색, 녹색과 같이 동일한 라벨을 할당받은 복수 개의 세그먼트로 분리되어 있음을 알 수 있다.
도 13b는 본 발명의 일 실시예에 따른 개별 물체의 점군 보정 과정을 통해 각 점군 세그먼트를 정합하여 개별 물체의 점군으로 보정한 결과를 도시하고 있다. 도시된 바와 같이 인접한 하늘색, 분홍색, 붉은색, 녹색으로 도시된 점군에 노란색으로 도시된 점군과 동일한 라벨을 할당함으로써 하나의 개별 물체의 점군으로 보정되어 있다.

Claims (11)

  1. 영상획득부가 물체에 관한 3차원 점군(point cloud) 영상을 획득하는 단계;
    제어부가 상기 3차원 점군 영상에서 이상점(outlier)을 제거하는 단계;
    상기 제어부가 상기 이상점을 제거한 3차원 점군 영상에서 평면 영역을 제거하는 단계; 및
    상기 제어부가 상기 평면 영역을 제거한 3차원 점군 영상에서 개별 물체의 점을 군집화하는 단계; 를 포함하는 3차원 점군의 물체 분리 방법.
  2. 제1항에 있어서,
    상기 영상획득부는 스테레오 카메라, TOF 카메라, LRF 센서 또는 키넥트 센서인 3차원 점군의 물체 분리 방법.
  3. 제1항에 있어서,
    상기 이상점을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상을 사전에 설정된 비율로 다운 샘플링을 하고, 상기 다운 샘플링된 3차원 점군 영상에서 이상점을 제거하는 3차원 점군의 물체 분리 방법.
  4. 제1항 또는 제3항 중 어느 하나의 항에 있어서,
    상기 이상점을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점과 근접점들간 거리가 임계값 이상인지를 판단하여 이상점을 제거하는 3차원 점군의 물체 분리 방법.
  5. 제4항에 있어서,
    상기 이상점을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점에 대하여 사전에 설정된 개수의 최근접점을 추출하는 단계;
    상기 제어부가 상기 각 점과 상기 최근접점들간 평균 거리를 측정하는 단계; 및
    상기 제어부가 상기 평균 거리가 임계값 이상인 경우 상기 각 점 및 상기 최근접점들을 제거하는 단계; 를 포함하는 3차원 점군의 물체 분리 방법.
  6. 제1항 또는 제3항 중 어느 하나의 항에 있어서,
    상기 이상점을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점과 상기 물체에 관한 3차원 점군 영상을 획득한 위치간 거리가 사전에 설정된 거리 이상인 경우 상기 각 점을 제거하는 3차원 점군의 물체 분리 방법.
  7. 제1항 또는 제3항 중 어느 하나의 항에 있어서,
    상기 평면 영역을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점과 평면간 거리가 임계값 이하인지를 판단하여 평면 영역을 제거하는 3차원 점군의 물체 분리 방법.
  8. 제7항에 있어서,
    상기 평면 영역을 제거하는 단계는 상기 제어부가 상기 3차원 점군 영상에서 임의의 세 점을 지나는 평면을 사전에 설정된 개수로 추출하고, 상기 3차원 점군 영상에서 상기 평면과 거리가 임계값 이하인 점의 개수를 상기 평면마다 측정하는 단계;
    상기 제어부가 상기 평면과 거리가 임계값 이하인 점의 개수가 가장 많은 평면을 선택하는 단계; 및
    상기 제어부가 상기 3차원 점군 영상의 각 점과 상기 선택한 평면간 거리가 임계값 이하인 경우 상기 각 점을 제거하는 단계; 를 포함하는 3차원 점군의 물체 분리 방법.
  9. 제1항 또는 제3항 중 어느 하나의 항에 있어서,
    상기 개별 물체의 점을 군집화하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점에 라벨을 할당하는 단계; 및
    상기 제어부가 동일한 라벨을 할당받은 각 점군 세그먼트를 정합하여 개별 물체의 점군으로 보정하는 단계; 를 포함하는 3차원 점군의 물체 분리 방법.
  10. 제9항에 있어서,
    상기 각 점에 라벨을 할당하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점과 사전에 설정된 거리 이하의 인접한 점을 추출하는 단계; 및
    상기 제어부가 상기 인접한 점의 개수가 임계값 이상이면, 상기 각 점과 상기 인접한 점에 동일한 라벨을 할당하는 단계; 를 포함하는 3차원 점군의 물체 분리 방법.
  11. 제9항에 있어서,
    상기 개별 물체의 점군으로 보정하는 단계는 상기 제어부가 상기 3차원 점군 영상의 각 점이 상기 각 점과 사전에 설정된 거리 이하의 인접한 점과 라벨이 다른 경우 동일한 라벨을 할당하여 개별 물체의 점군으로 보정하는 3차원 점군의 물체 분리 방법.
KR1020110083285A 2011-08-22 2011-08-22 3차원 점군의 물체 분리 방법 KR101907081B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110083285A KR101907081B1 (ko) 2011-08-22 2011-08-22 3차원 점군의 물체 분리 방법
US13/585,282 US9251399B2 (en) 2011-08-22 2012-08-14 Method of separating object in three dimension point cloud
EP12181090.7A EP2562688B1 (en) 2011-08-22 2012-08-20 Method of Separating Object in Three Dimensional Point Cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110083285A KR101907081B1 (ko) 2011-08-22 2011-08-22 3차원 점군의 물체 분리 방법

Publications (2)

Publication Number Publication Date
KR20130021018A KR20130021018A (ko) 2013-03-05
KR101907081B1 true KR101907081B1 (ko) 2018-10-11

Family

ID=47216025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110083285A KR101907081B1 (ko) 2011-08-22 2011-08-22 3차원 점군의 물체 분리 방법

Country Status (3)

Country Link
US (1) US9251399B2 (ko)
EP (1) EP2562688B1 (ko)
KR (1) KR101907081B1 (ko)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710493B2 (en) * 2013-03-08 2017-07-18 Microsoft Technology Licensing, Llc Approximate K-means via cluster closures
US9280825B2 (en) * 2014-03-10 2016-03-08 Sony Corporation Image processing system with registration mechanism and method of operation thereof
WO2015148824A1 (en) * 2014-03-27 2015-10-01 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
EP2960906A1 (en) * 2014-06-26 2015-12-30 Thomson Licensing Method for processing a video scene and corresponding device
WO2016068869A1 (en) * 2014-10-28 2016-05-06 Hewlett-Packard Development Company, L.P. Three dimensional object recognition
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
WO2016138501A1 (en) * 2015-02-26 2016-09-01 Clearedge3D, Inc. Apparatus and method for rejecting erroneous objects of extrusion in point cloud data
CN104796616A (zh) * 2015-04-27 2015-07-22 惠州Tcl移动通信有限公司 一种基于移动终端距离传感器的对焦方法及对焦***
US10451407B2 (en) * 2015-11-23 2019-10-22 The Boeing Company System and method of analyzing a curved surface
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US9805240B1 (en) 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
CN107818288B (zh) * 2016-09-13 2019-04-09 腾讯科技（深圳）有限公司 标志牌信息获取方法及装置
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10304256B2 (en) * 2016-12-13 2019-05-28 Indoor Reality Inc. Point cloud cleaning method
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
JP6717425B2 (ja) * 2017-04-03 2020-07-01 富士通株式会社 距離情報処理装置、距離情報処理方法および距離情報処理プログラム
CN107093210B (zh) * 2017-04-20 2021-07-16 北京图森智途科技有限公司 一种激光点云标注方法及装置
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
CN107247926B (zh) * 2017-05-19 2019-09-17 浙江大华技术股份有限公司 一种人体检测方法及装置
CN107274423B (zh) * 2017-05-26 2020-06-26 中北大学 一种基于协方差矩阵和投影映射的点云特征曲线提取方法
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
CN108280886A (zh) * 2018-01-25 2018-07-13 北京小马智行科技有限公司 激光点云标注方法、装置及可读存储介质
CN108549084B (zh) * 2018-01-30 2020-06-02 西安交通大学 一种基于稀疏二维激光雷达的目标检测与姿态估计方法
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10853946B2 (en) 2018-05-18 2020-12-01 Ebay Inc. Physical object boundary detection techniques and systems
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11887342B2 (en) 2018-10-05 2024-01-30 Samsung Electronics Co., Ltd. Method and device for encoding three-dimensional image, and method and device for decoding three-dimensional image
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
KR102172543B1 (ko) * 2018-11-14 2020-11-03 한국전력공사 송전선로 이도 추정 장치
CN109740628A (zh) * 2018-12-03 2019-05-10 深圳市华讯方舟太赫兹科技有限公司 点云聚类方法、图像处理设备及具有存储功能的装置
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
WO2020179065A1 (ja) * 2019-03-07 2020-09-10 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体
CN111967484B (zh) * 2019-05-20 2024-06-11 长沙智能驾驶研究院有限公司 点云聚类方法、装置、计算机设备和存储介质
WO2020235079A1 (ja) * 2019-05-23 2020-11-26 日本電信電話株式会社 ３次元点群ラベル学習推定装置、３次元点群ラベル学習推定方法、及び３次元点群ラベル学習推定プログラム
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
KR102063845B1 (ko) * 2019-06-21 2020-01-08 국방과학연구소 영상 기반 계측 장치 및 그 방법
JP7313998B2 (ja) * 2019-09-18 2023-07-25 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
US11724401B2 (en) * 2019-11-13 2023-08-15 Nvidia Corporation Grasp determination for an object in clutter
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11100702B2 (en) * 2019-12-27 2021-08-24 Industrial Technology Research Institute 3D image labeling method based on labeling information of 2D image and 3D image labeling device
CN113051986A (zh) * 2019-12-27 2021-06-29 财团法人工业技术研究院 基于2d图像标记信息的3d图像标记方法及3d图像标记装置
KR102354359B1 (ko) 2020-02-11 2022-01-21 한국전자통신연구원 포인트 클라우드 이상치 제거 방법 및 이를 구현하는 장치
CN115176175A (zh) * 2020-02-18 2022-10-11 株式会社电装 物体检测装置
JP7501398B2 (ja) 2020-02-18 2024-06-18 株式会社デンソー 物体検出装置
US11341650B2 (en) 2020-03-19 2022-05-24 At&T Intellectual Property I, L.P. Method for accelerating three-dimensional object segmentation with point cloud simplifications
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11210845B2 (en) 2020-04-22 2021-12-28 Pony Ai Inc. Point cloud data reformatting
WO2021212477A1 (zh) * 2020-04-24 2021-10-28 华为技术有限公司 校正点云数据的方法和相关装置
KR102303727B1 (ko) * 2020-04-28 2021-09-27 주식회사 딥인스펙션 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템
US11425324B2 (en) * 2020-06-22 2022-08-23 Samsung Electronics Co., Ltd. Time-of-flight down-up sampling using a compressed guide
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11605173B2 (en) 2020-12-29 2023-03-14 Waymo Llc Three-dimensional point cloud labeling using distance field data
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN113689504B (zh) * 2021-10-25 2022-01-25 上海仙工智能科技有限公司 基于可描述形状的点云精准定位方法、装置及存储介质
KR102405818B1 (ko) * 2021-11-15 2022-06-07 국방과학연구소 노이즈 제거 방법, 노이즈 제거 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
CN116931557A (zh) * 2022-04-08 2023-10-24 追觅创新科技(苏州)有限公司 机器人的移动控制方法和装置、存储介质及电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067461A1 (en) * 2001-09-24 2003-04-10 Fletcher G. Yates Methods, apparatus and computer program products that reconstruct surfaces from data point sets
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US8872851B2 (en) * 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067461A1 (en) * 2001-09-24 2003-04-10 Fletcher G. Yates Methods, apparatus and computer program products that reconstruct surfaces from data point sets
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム

Also Published As

Publication number Publication date
EP2562688A3 (en) 2014-06-18
KR20130021018A (ko) 2013-03-05
US20130051658A1 (en) 2013-02-28
EP2562688B1 (en) 2018-06-06
EP2562688A2 (en) 2013-02-27
US9251399B2 (en) 2016-02-02

Similar Documents

Publication Publication Date Title
KR101907081B1 (ko) 3차원 점군의 물체 분리 방법
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
US6701005B1 (en) Method and apparatus for three-dimensional object segmentation
US8379969B2 (en) Method for matching an object model to a three-dimensional point cloud
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
US9165211B2 (en) Image processing apparatus and method
EP4086846A1 (en) Automatic detection of a calibration standard in unstructured lidar point clouds
US20140072205A1 (en) Image processing device, imaging device, and image processing method
CN108475429B (zh) 三维显微镜图像的分割的***和方法
JP2012168592A (ja) 環境認識装置
JP6817742B2 (ja) 情報処理装置およびその制御方法
JP2013185905A (ja) 情報処理装置及び方法、並びにプログラム
CN110207702B (zh) 目标定位的方法及装置
Hernández et al. Stairway detection based on single camera by motion stereo
JP7178803B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
WO2021131990A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230376106A1 (en) Depth information based pose determination for mobile platforms, and associated systems and methods
WO2017032096A1 (en) Method for predicting stereoscopic depth and apparatus thereof
KR20080001794A (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
KR20160052256A (ko) 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법
JP7456521B2 (ja) 物体認識装置、物体認識方法、プログラム
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법
JP5509441B1 (ja) 対応点検出装置および対応点検出方法
WO2019116518A1 (ja) 物体検出装置及び物体検出方法
KR101747350B1 (ko) 비주얼 서보잉을 위한 객체의 좌표 인식 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant