KR102079121B1 - 이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체 - Google Patents

이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체 Download PDF

Info

Publication number
KR102079121B1
KR102079121B1 KR1020190136620A KR20190136620A KR102079121B1 KR 102079121 B1 KR102079121 B1 KR 102079121B1 KR 1020190136620 A KR1020190136620 A KR 1020190136620A KR 20190136620 A KR20190136620 A KR 20190136620A KR 102079121 B1 KR102079121 B1 KR 102079121B1
Authority
KR
South Korea
Prior art keywords
score
objects
corner
assumptions
image
Prior art date
Application number
KR1020190136620A
Other languages
English (en)
Inventor
박종훈
강준수
Original Assignee
주식회사 뉴로메카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뉴로메카 filed Critical 주식회사 뉴로메카
Priority to KR1020190136620A priority Critical patent/KR102079121B1/ko
Priority to KR1020200016453A priority patent/KR102333882B1/ko
Application granted granted Critical
Publication of KR102079121B1 publication Critical patent/KR102079121B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06K9/20—
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

이미지로부터 복수의 물체를 식별하기 위한 방법이 제공된다. 방법은, 학습된 심층 신경망을 이용하여, 이미지로부터 복수의 물체 중 적어도 하나에 대한 꼭지점 영역들과 모서리 영역들을 추출하는 단계와, 추출된 꼭지점 영역들을 기반으로, 꼭지점들 간의 모든 조합에 대해 모서리 가정을 추출하고 모서리 가정들 각각에 대한 연결 점수를 계산하는 단계, 그리고 연결 점수를 기반으로 결정된 복수의 모서리들 중 연결 가능한 모서리들을 조합하여 적어도 하나 이상의 객체 가정을 생성하고, 하나 이상의 객체 가정들 각각에 대해 객체 점수를 계산하는 단계를 포함한다.

Description

이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체{AN APPARATUS FOR IDENTIFYING A PLURALITY OF OBJECT FROM AN IMAGE AND METHOD THEREOF, AND COMPUTER READABLE STORAGE MEDIUM}
본 발명은 객채 식별에 관한 것으로서, 보다 구체적으로는 이미지로부터 복수의 물체를 식별하고 위치 및 자세 인식을 수행하기 위한 장치 및 방법에 관한 것이다.
2차원 이미지에서 물체의 3차원 위치를 인식하는 방법으로서, 특정한 특징점들의 2차원 위치를 추정하고 이를 3차원으로 투사하는 것은 매우 보편적인 접근법이다. 하지만, 하나의 이미지 내에 복수의 물체가 포함된, 다 물체 이미지의 경우에는 동일한 종류의 특징점이 물체의 수 만큼 이미지상에 분포하기 때문에, 이를 서로 구분하기 위한 별도의 방법이 필요하다.
한국 공개특허공보 제2014-0134154호 ("이미지에서 객체를 추출하기 위한 방법 및 단말기", 주식회사 브이플랩)
전술한 문제점을 해결하기 위한 본 발명의 목적은 상대적으로 적은 연산 자원으로 다 물체 이미지상에서 객체의 구분을 수행하고, 결과적으로 물체 위치 및 자세 추정의 정확도까지 향상 시킬 수 있는, 이미지로부터 복수의 물체를 식별하는 방법을 제공하는 것이다.
전술한 문제점을 해결하기 위한 본 발명의 다른 목적은 상대적으로 적은 연산 자원으로 다 물체 이미지상에서 객체의 구분을 수행하고, 결과적으로 물체 위치 및 자세 추정의 정확도까지 향상 시킬 수 있는, 이미지로부터 복수의 물체를 식별하는 장치를 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하기 위한 방법은, 컴퓨팅 디바이스에 의해 수행되고, 상기 방법은, 학습된 심층 신경망을 이용하여, 이미지로부터 복수의 물체 중 적어도 하나에 대한 꼭지점 영역들과 모서리 영역들을 추출하는 단계; 상기 추출된 꼭지점 영역들을 기반으로, 꼭지점들 간의 모든 조합에 대해 모서리 가정을 추출하고 상기 모서리 가정들 각각에 대한 연결 점수를 계산하는 단계; 및 상기 연결 점수를 기반으로 결정된 복수의 모서리들 중 연결 가능한 모서리들을 조합하여 적어도 하나 이상의 객체 가정을 생성하고, 상기 하나 이상의 객체 가정들 각각에 대해 객체 점수를 계산하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 심층 신경망은, 복수의 물체를 포함하는 이미지를 입력으로, 상기 복수의 물체에 대한 꼭지점들과 모서리들에 대한 위치 정보를 출력으로 가지는 학습 데이터들을 기반으로 학습된 것일 수 있다.
일 측면에 따르면, 상기 추출된 꼭지점 영역 및 모서리 영역은, 꼭지점 또는 모서리로 추정되는 영역을 추정의 강도에 따라 더 높은 명도를 가지도록 결정된 것일 수 있다.
일 측면에 따르면, 상기 연결 점수는, 상기 모서리 가정들 각각이 지나는 픽셀 명도의 평균 값으로서 결정될 수 있다.
일 측면에 따르면, 상기 연결 점수는, 제 1 모서리 가정이 미리 결정한 제 1 임계값 이하의 명도를 가지는 픽셀을 지난다는 결정에 응답하여, 상기 제 1 모서리 가정의 연결 점수에 대해 미리 결정한 감점을 적용하여 결정되는 것일 수 있다.
일 측면에 따르면, 상기 객체 가정들 각각에 대한 객체 점수는, 상기 객체 가정들 각각에 포함된 복수의 모서리들의 연결 점수의 합으로서 결정될 수 있다.
일 측면에 따르면, 상기 객체 점수를 계산하는 단계는, 상기 적어도 하나 이상의 객체 가정들 각각에 대한 객체 점수 순서에 따라 객체 가정 테이블을 생성하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 하나 이상의 객체 가정들 중 상기 객체 점수가 높은 객체 가정 순서대로, 물체의 자세 추정을 시행하는 단계를 더 포함할 수 있다.
일 측면에 따르면, 상기 물체의 자세 추정은 Perspective N point 알고리즘을 기반으로 수행될 수 있다.
일 측면에 따르면, 상기 물체의 자세 추정 이후, 추정된 물체 자세를 기반으로 각 꼭지점의 위치를 계산하고, 상기 꼭지점 영역을 기반으로 추정된 꼭지점과의 비교를 기반으로 계산된 에러율이 미리 결정된 에러 임계값 기준을 만족한다는 결정에 응답하여 물체 인식 완료를 결정하는 단계를 더 포함할 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른 이미지로부터 복수의 물체를 식별하기 위한 장치는, 프로세서 및 메모리를 포함하고, 상기 프로세서는, 학습된 심층 신경망을 이용하여, 이미지로부터 복수의 물체 중 적어도 하나에 대한 꼭지점 영역들과 모서리 영역들을 추출하고; 상기 추출된 꼭지점 영역들을 기반으로, 꼭지점들 간의 모든 조합에 대해 모서리 가정을 추출하고 상기 모서리 가정들 각각에 대한 연결 점수를 계산하고; 상기 연결 점수를 기반으로 결정된 복수의 모서리들 중 연결 가능한 모서리들을 조합하여 적어도 하나 이상의 객체 가정을 생성하고, 상기 하나 이상의 객체 가정들 각각에 대해 객체 점수를 계산하도록 구성될 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른 컴퓨터 판독 가능한 저장 매체는, 프로세서에 의해 실행 가능한 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체로서, 상기 명령어들은 이미지로부터 복수의 물체를 식별하기 위한 명령어들이고, 상기 명령어들은 상기 프로세서에 의해 수행되었을 때 상기 프로세서로 하여금, 학습된 심층 신경망을 이용하여, 이미지로부터 복수의 물체 중 적어도 하나에 대한 꼭지점 영역들과 모서리 영역들을 추출하고; 상기 추출된 꼭지점 영역들을 기반으로, 꼭지점들 간의 모든 조합에 대해 모서리 가정을 추출하고 상기 모서리 가정들 각각에 대한 연결 점수를 계산하고; 그리고 상기 연결 점수를 기반으로 결정된 복수의 모서리들 중 연결 가능한 모서리들을 조합하여 적어도 하나 이상의 객체 가정을 생성하고, 상기 하나 이상의 객체 가정들 각각에 대해 객체 점수를 계산하게 하도록 구성될 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
전술한 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하기 위한 장치 및 방법에 따르면, 다 물체 이미지에서 특징점이 중복으로 추출되었을 때, 이들 특징점이 각자 어떤 물체로부터 비롯된 것인지 구분할 수 있는 간소한 알고리즘을 제공할 수 있다.
따라서, 상대적으로 적은 연산 자원으로 다 물체 이미지상에서 객체의 구분을 수행하고, 결과적으로 물체 위치 및 자세 추정의 정확도까지 향상시킬 수 있다.
또한, 다 물체 이미지상에서 객체를 픽셀 단위로 구별하기 위해서는 객체 구별 알고리즘이 필요하고, 대표적 예로 딥러닝 객체 감지 알고리즘인 Mask R-CNN 등이 있는데, 이들은 딥러닝을 위한 GPU 장비가 필수적이며 딥러닝 네트워크 중에서도 상대적으로 많은 연산량을 필요로 했던 반면, 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하는 방법에 따르면, 매우 간소한 방식의 알고리즘이기 때문에 일반적인 어떤 연산 장치에서도 빠르게 객체의 구분 및 이어지는 물체의 자세 추정을 수행할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하는 방법의 흐름도이다.
도 2 는 복수의 객체를 포함하는 이미지에 대한 꼭지점 마스크 및 모서리 마스크 추출의 예시도이다.
도 3 은 심층 신경망을 이용한 꼭지점 및 모서리 추출의 예시도이다.
도 4 는 모서리 점수 및 객체 점수 계산의 예시도이다.
도 5 는 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하는 장치로서 구현될 수 있는 컴퓨팅 시스템의 구성을 나타내는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
앞서 살핀 바와 같이, 종래에 2차원 이미지에서 물체의 3차원 위치를 인식하는 방법으로서, 특정한 특징점들의 2차원 위치를 추정하고 이를 3차원으로 투사하는 것은 매우 보편적인 접근법이었다. 하지만 하나의 이미지 내에 복수의 물체가 포함된, 다 물체 이미지의 경우에는 동일한 종류의 특징점이 물체의 수 만큼 이미지상에 분포하기 때문에, 이를 서로 구분하기 위한 별도의 방법이 필요하다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 다 물체 이미지상에서 다면체의 구분 및 위치 및 자세 인식을 수행하는 꼭지점 및 모서리 추출 기반 알고리즘을 제공한다. 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하기 위한 장치 및 방법에 따르면, 다 물체 이미지에서 특징점이 중복으로 추출되었을 때, 이들 특징점이 각자 어떤 물체로부터 비롯된 것인지 구분할 수 있는 간소한 알고리즘을 제공할 수 있다.
따라서, 상대적으로 적은 연산 자원으로 다 물체 이미지상에서 객체의 구분을 수행하고, 결과적으로 물체 위치 및 자세 추정의 정확도까지 향상시킬 수 있다.
또한, 다 물체 이미지상에서 객체를 픽셀 단위로 구별하기 위해서는 객체 구별 알고리즘이 필요하고, 대표적 예로 딥러닝 객체 감지 알고리즘인 Mask R-CNN 등이 있는데, 이들은 딥러닝을 위한 GPU 장비가 필수적이며 딥러닝 네트워크 중에서도 상대적으로 많은 연산량을 필요로 하는 반면, 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하는 방법에 따르면, 매우 간소한 방식의 알고리즘이기 때문에 일반적인 어떤 연산 장치에서도 빠르게 객체의 구분 및 이어지는 물체의 자세 추정을 수행할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하는 방법의 흐름도이다. 이하, 도 1 을 참조하여, 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하는 방법에 대해서 보다 구체적으로 설명한다. 전술한 바와 같이, 본 발명은 여러 다면체가 있는 이미지에서 각 객체를 구분 짓고 각 객체의 위치 및 자세를 추정하기 위해 꼭짓점과 모서리를 추출하는 심층 신경망 기반의 알고리즘을 다룬다.
도 1 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 복수의 물체를 식별하는 방법은, 이미지로부터 복수의 물체를 식별하기 위한 방법으로서, 학습된 심층 신경망을 이용하여, 이미지로부터 복수의 물체 중 적어도 하나에 대한 꼭지점 영역들과 모서리 영역들을 추출하는 단계 (단계 110), 상기 추출된 꼭지점 영역들을 기반으로, 꼭지점들 간의 모든 조합에 대해 모서리 가정을 추출하고 상기 모서리 가정들 각각에 대한 연결 점수를 계산하는 단계 (단계 120), 상기 연결 점수를 기반으로 결정된 복수의 모서리들 중 연결 가능한 모서리들을 조합하여 적어도 하나 이상의 객체 가정을 생성하고, 상기 하나 이상의 객체 가정들 각각에 대해 객체 점수를 계산하는 단계 (단계 130), 상기 하나 이상의 객체 가정들 중 상기 객체 점수가 높은 객체 가정 순서대로, 물체의 자세 추정을 시행하는 단계 (단계 140) 를 포함할 수 있다. 상기와 같은 방법은 예를 들어 프로세서 및 메모리를 구비하는 컴퓨팅 디바이스에 의해 수행될 수 있으며, 이하 각 단계에 대해서 보다 구체적으로 설명한다.
꼭지점 및 모서리 영역 추출
도 1 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 방법은, 학습된 심층 신경망을 이용하여, 이미지로부터 복수의 물체 중 적어도 하나에 대한 꼭지점 영역들과 모서리 영역들을 추출 (단계 110) 할 수 있다. 심층 신경망은, 복수의 물체를 포함하는 이미지를 입력으로, 상기 복수의 물체에 대한 꼭지점들과 모서리들에 대한 위치 정보를 출력으로 가지는 학습 데이터들을 기반으로 학습된 것일 수 있다.
보다 구체적으로, 우선 대상 다면체의 3D 점군 모델에서, 추출 대상이 될 꼭지점과 각 꼭지점을 잇는 모서리를 지정하고, 물체의 이미지와 실제 위치 정보로 이루어진 학습 데이터를 수집한다. 이후 실제 위치 정보에 따라 각 이미지 (210) 에서 꼭지점과 모서리를 표시한 마스크를 렌더링함으로써 심층 신경망 (320) 이 꼭지점 마스크 (220) 및 모서리 마스크 (230) 를 출력할 수 있도록 학습할 수 있다 (도 2 내지 도 3 참조). 심층 신경망 (320) 의 구조는 제약되지 않고, 다양한 형태로 구성할 수 있다. 신경망이 한번 학습되고 난 뒤, 새로운 이미지 (310) 를 입력하면 꼭지점과 모서리를 추정한 마스크 (330) 를 얻을 수 있다. 도 3 에서, 가시성을 위해 모시리 마스크는 표시가 생략되었다. 여기서, 추출된 꼭지점 영역 및 모서리 영역은, 예를 들어 도 2 에 도시된 바와 같이, 꼭지점 또는 모서리로 추정되는 영역을 추정의 강도에 따라 더 높은 명도를 가지도록 결정된 것일 수 있다.
특징점 간 연결 관계에 따라 모서리 가정 추출 및 연결 점수 계산
다시 도 1 을 참조하면, 추출된 꼭지점 영역들을 기반으로, 꼭지점들 간의 모든 조합에 대해 모서리 가정을 추출 (410 내지 420 참조) 하고 상기 모서리 가정들 각각에 대한 연결 점수를 계산 (430 내지 440 참조) (단계 120) 할 수 있다. 예를 들어, 얻어진 마스크에서 명도 극댓값점들을 각 꼭지점의 위치로 추론할 수 있다. 여기서, 모서리를 통해 서로 연결되는 모든 꼭지점의 조합에 대해, 서로를 잇는 가상의 모서리 선분을 그린다 (410). 추출된 모서리 마스크 (420) 에서 각 선분이 지나는 픽셀 명도의 평균 값으로, 각 모서리의 점수 (sl)를 계산할 수 있다. 즉, 연결 점수는, 모서리 가정들 각각이 지나는 픽셀 명도의 평균 값으로 정의될 수 있다. 명도가 일정 수준 이하인 픽셀을 지나는 경우, 잘못된 모서리일 가능성이 높으므로 감점을 부여 (430) 해 오답 검출률을 높일 수 있다. 즉, 상기 연결 점수는, 제 1 모서리 가정이 미리 결정한 제 1 임계값 이하의 명도를 가지는 픽셀을 지난다는 결정에 응답하여, 상기 제 1 모서리 가정의 연결 점수에 대해 미리 결정한 감점을 적용하여 결정되는 것일 수 있다.
모서리 간 연결 관계에 따라 객체 가정 추출 및 객체 점수 계산
다시 도 1을 참조하면, 연결 점수를 기반으로 결정된 복수의 모서리들 중 연결 가능한 모서리들을 조합하여 적어도 하나 이상의 객체 가정을 생성하고, 상기 하나 이상의 객체 가정들 각각에 대해 객체 점수를 계산 (단계 130) 할 수 있다.
즉, 미리 모델에서 정의된 꼭지점 연결 정보에 따라, 연결될 수 있는 모서리 만을 무리 지어 하나의 객체 가정을 생성할 수 있다. 각 객체 가정의 객체 점수 (sh)는 포함된 모서리들의 점수의 합으로 계산할 수 있다. 즉, 객체 가정들 각각에 대한 객체 점수는, 상기 객체 가정들 각각에 포함된 복수의 모서리들의 연결 점수의 합으로서 결정할 수 있다. 모든 가능한 객체 가정의 점수를 계산 (450 내지 460 참조) 하고 기록해 객체 가정 테이블을 생성할 수 있다. 즉, 객체 점수를 계산하는 단계 (단계 130) 는, 적어도 하나 이상의 객체 가정들 각각에 대한 객체 점수 순서에 따라 객체 가정 테이블을 생성하는 단계를 포함할 수 있다.
점수가 높은 객체 가정으로부터 순차적으로 물체 자세 추정
다시 도 1 을 참조하면, 각각의 객체 가정에 대한 객체 점수 결정 이후에, 하나 이상의 객체 가정들 중 상기 객체 점수가 높은 객체 가정 순서대로, 물체의 자세 추정을 시행 (단계 140) 할 수 있다.
즉, 객체 가정 테이블에서, 점수가 높은 가정으로부터 물체 자세 추정을 시행할 수 있다. 물체 자세 추정에는 일반적인 Perspective N Point 알고리즘이 사용될 수 있다. 추정된 물체 자세로 각 꼭지점의 위치를 다시 계산하고, 추정된 결과와 비교해 에러율 e 를 계산할 수 있다. 미리 정해둔 에러 임계값 ec 을 넘길 경우, 물체를 인식한 것으로 처리하고, 여기에 소속된 꼭지점들은 객체 가정 테이블에서 제거할 수 있다. 즉, 물체의 자세 추정 이후, 추정된 물체 자세를 기반으로 각 꼭지점의 위치를 계산하고, 상기 꼭지점 영역을 기반으로 추정된 꼭지점과의 비교를 기반으로 계산된 에러율이 미리 결정된 에러 임계값 기준을 만족한다는 결정에 응답하여 물체 인식 완료를 결정할 수 있다. 이후, 남아있는 객체 가정 중 가장 점수가 높은 가정으로부터 물체 자세 추정을 반복할 수 있다.
도 5 는 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하는 장치로서 구현될 수 있는 컴퓨팅 시스템의 구성을 나타내는 블록도이다. 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하기 위한 장치는, 예를 들어 도 5 에 도시된 바와 같이 프로세서 및 메모리를 포함하는 컴퓨팅 디바이스 (800) 에 의해 구현될 수 있다. 여기서, 프로세서는, 학습된 심층 신경망을 이용하여, 이미지로부터 복수의 물체 중 적어도 하나에 대한 꼭지점 영역들과 모서리 영역들을 추출하고, 상기 추출된 꼭지점 영역들을 기반으로, 꼭지점들 간의 모든 조합에 대해 모서리 가정을 추출하고 상기 모서리 가정들 각각에 대한 연결 점수를 계산하고, 그리고 상기 연결 점수를 기반으로 결정된 복수의 모서리들 중 연결 가능한 모서리들을 조합하여 적어도 하나 이상의 객체 가정을 생성하고, 상기 하나 이상의 객체 가정들 각각에 대해 객체 점수를 계산하도록 구성될 수 있다. 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하기 위한 장치의 구체적인 동작은, 전술한 본 발명의 일 실시예에 따른 이미지로부터 복수의 물체를 식별하기 위한 방법에 따를 수 있다.
다시 도 5 를 참조하면, 컴퓨팅 시스템 (800) 은 플래시 스토리지 (810) , 프로세서 (820), RAM (830), 입출력 장치 (840) 및 전원 장치 (850) 를 포함할 수 있다. 또한, 플래시 스토리지 (810) 는 메모리 장치 (811) 및 메모리 컨트롤러 (812) 를 포함할 수 있다. 한편, 도 8에는 도시되지 않았지만, 컴퓨팅 시스템 (800) 은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트 (port) 들을 더 포함할 수 있다.
컴퓨팅 시스템 (800) 은 퍼스널 컴퓨터로 구현되거나, 노트북 컴퓨터, 휴대폰, PDA (personal digital assistant) 및 카메라 등과 같은 휴대용 전자 장치로 구현될 수 있다.
프로세서 (820) 는 특정 계산들 또는 태스크 (task) 들을 수행할 수 있다. 실시예에 따라, 프로세서 (820) 는 마이크로프로세서 (micro-processor), 중앙 처리 장치 (Central Processing Unit, CPU)일 수 있다. 프로세서 (820) 는 어드레스 버스 (address bus), 제어 버스 (control bus) 및 데이터 버스 (data bus) 등과 같은 버스 (860) 를 통하여 RAM (830), 입출력 장치 (840) 및 플래시 스토리지 (810) 와 통신을 수행할 수 있다. 플래시 스토리지 (810) 는 도 5 내지 7에 도시된 실시예들의 플래시 스토리지를 이용하여 구현될 수 있다.
일 실시예에 따라, 프로세서 (820) 는 주변 구성요소 상호연결 (Peripheral Component Interconnect, PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
RAM (830) 는 컴퓨팅 시스템 (800) 의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 디램 (DRAM), 모바일 디램, 에스램 (SRAM), 피램 (PRAM), 에프램 (FRAM), 엠램 (MRAM), 알램 (RRAM) 을 포함하는 임의의 유형의 랜덤 액세스 메모리가 RAM (830)으로 이용될 수 있다.
입출력 장치 (840) 는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 전원 장치 (850) 는 컴퓨팅 시스템 (800) 의 동작에 필요한 동작 전압을 공급할 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상, 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
구체적으로, 설명된 특징들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 또는 그들의 조합들 내에서 실행될 수 있다. 특징들은 예컨대, 프로그래밍 가능한 프로세서에 의한 실행을 위해, 기계 판독 가능한 저장 디바이스 내의 저장장치 내에서 구현되는 컴퓨터 프로그램 제품에서 실행될 수 있다. 그리고 특징들은 입력 데이터 상에서 동작하고 출력을 생성함으로써 설명된 실시예들의 함수들을 수행하기 위한 지시어들의 프로그램을 실행하는 프로그래밍 가능한 프로세서에 의해 수행될 수 있다. 설명된 특징들은, 데이터 저장 시스템으로부터 데이터 및 지시어들을 수신하기 위해, 및 데이터 저장 시스템으로 데이터 및 지시어들을 전송하기 위해 결합된 적어도 하나의 프로그래밍 가능한 프로세서, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함하는 프로그래밍 가능한 시스템 상에서 실행될 수 있는 하나 이상의 컴퓨터 프로그램들 내에서 실행될 수 있다. 컴퓨터 프로그램은 소정 결과에 대해 특정 동작을 수행하기 위해 컴퓨터 내에서 직접 또는 간접적으로 사용될 수 있는 지시어들의 집합을 포함한다. 컴퓨터 프로그램은 컴파일된 또는 해석된 언어들을 포함하는 프로그래밍 언어 중 어느 형태로 쓰여지고, 모듈, 소자, 서브루틴(subroutine), 또는 다른 컴퓨터 환경에서 사용을 위해 적합한 다른 유닛으로서, 또는 독립 조작 가능한 프로그램으로서 포함하는 어느 형태로도 사용될 수 있다.
지시어들의 프로그램의 실행을 위한 적합한 프로세서들은, 예를 들어, 범용 및 특수 용도 마이크로프로세서들 둘 모두, 및 단독 프로세서 또는 다른 종류의 컴퓨터의 다중 프로세서들 중 하나를 포함한다. 또한 설명된 특징들을 구현하는 컴퓨터 프로그램 지시어들 및 데이터를 구현하기 적합한 저장 디바이스들은 예컨대, EPROM, EEPROM, 및 플래쉬 메모리 디바이스들과 같은 반도체 메모리 디바이스들, 내부 하드 디스크들 및 제거 가능한 디스크들과 같은 자기 디바이스들, 광자기 디스크들 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 비휘발성 메모리의 모든 형태들을 포함한다. 프로세서 및 메모리는 ASIC들(application-specific integrated circuits) 내에서 통합되거나 또는 ASIC들에 의해 추가되어질 수 있다.
이상에서 설명한 본 발명은 일련의 기능 블록들을 기초로 설명되고 있지만, 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
전술한 실시 예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시예들 뿐 아니라 다양한 형태의 조합이 제공될 수 있다.
전술한 실시 예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
전술한 실시 예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (12)

  1. 이미지로부터 복수의 물체를 식별하기 위한 방법으로서, 상기 방법은 컴퓨팅 디바이스에 의해 수행되고, 상기 방법은,
    학습된 심층 신경망을 이용하여, 이미지로부터 복수의 물체 중 적어도 하나에 대한 꼭지점 영역들과 모서리 영역들을 추출하는 단계;
    상기 추출된 꼭지점 영역들을 기반으로, 꼭지점들 간의 모든 조합에 대해 모서리 가정을 추출하고 상기 모서리 가정들 각각에 대한 연결 점수를 계산하는 단계;
    상기 연결 점수를 기반으로 결정된 복수의 모서리들 중 연결 가능한 모서리들을 조합하여 적어도 하나 이상의 객체 가정을 생성하고, 상기 하나 이상의 객체 가정들 각각에 대해 객체 점수를 계산하는 단계;
    상기 하나 이상의 객체 가정들 중 상기 객체 점수가 높은 객체 가정 순서대로, 물체의 자세 추정을 시행하는 단계; 및
    상기 물체의 자세 추정 이후, 추정된 물체 자세를 기반으로 각 꼭지점의 위치를 계산하고, 상기 꼭지점 영역을 기반으로 추정된 꼭지점과의 비교를 기반으로 계산된 에러율이 미리 결정된 에러 임계값 기준을 만족한다는 결정에 응답하여 물체 인식 완료를 결정하는 단계를 포함하고,
    상기 심층 신경망은,
    복수의 물체를 포함하는 이미지를 입력으로, 상기 복수의 물체에 대한 꼭지점들과 모서리들에 대한 위치 정보를 출력으로 가지는 학습 데이터들을 기반으로 학습된 것이고,
    상기 추출된 꼭지점 영역 및 모서리 영역은,
    꼭지점 또는 모서리로 추정되는 영역을 추정의 강도에 따라 더 높은 명도를 가지도록 결정된 것이고,
    상기 연결 점수는,
    상기 모서리 가정들 각각이 지나는 픽셀 명도의 평균 값이고, 제 1 모서리 가정이 미리 결정한 제 1 임계값 이하의 명도를 가지는 픽셀을 지난다는 결정에 응답하여, 상기 제 1 모서리 가정의 연결 점수에 대해 미리 결정한 감점을 적용하여 결정되는 것이며,
    상기 객체 가정들 각각에 대한 객체 점수는,
    상기 객체 가정들 각각에 포함된 복수의 모서리들의 연결 점수의 합으로서 결정되고,
    상기 객체 점수를 계산하는 단계는,
    상기 적어도 하나 이상의 객체 가정들 각각에 대한 객체 점수 순서에 따라 객체 가정 테이블을 생성하는 단계를 포함하고,
    상기 물체의 자세 추정은 Perspective N point 알고리즘을 기반으로 수행되는, 이미지로부터 복수의 물체를 식별하기 위한 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020190136620A 2019-10-30 2019-10-30 이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체 KR102079121B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190136620A KR102079121B1 (ko) 2019-10-30 2019-10-30 이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체
KR1020200016453A KR102333882B1 (ko) 2019-10-30 2020-02-11 이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190136620A KR102079121B1 (ko) 2019-10-30 2019-10-30 이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200016453A Division KR102333882B1 (ko) 2019-10-30 2020-02-11 이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체

Publications (1)

Publication Number Publication Date
KR102079121B1 true KR102079121B1 (ko) 2020-02-19

Family

ID=69669725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190136620A KR102079121B1 (ko) 2019-10-30 2019-10-30 이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체

Country Status (1)

Country Link
KR (1) KR102079121B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132163A (zh) * 2020-09-21 2020-12-25 杭州睿琪软件有限公司 识别对象边缘的方法、***及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140134154A (ko) 2013-05-13 2014-11-21 주식회사 브이플랩 이미지에서 객체를 추출하기 위한 방법 및 단말기
KR101513431B1 (ko) * 2013-10-17 2015-04-23 (주)다하미 커뮤니케이션즈 매체 이미지의 테두리 자동 검출 방법, 이를 이용한 매체 이미지 처리 시스템 및 처리 방법
KR20160055005A (ko) * 2014-11-07 2016-05-17 삼성전자주식회사 적어도 하나의 객체를 포함하는 영상에서 객체를 추출하여 보정한 영상을 제공하는 장치 및 방법
KR20190009006A (ko) * 2017-07-10 2019-01-28 한국전자통신연구원 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140134154A (ko) 2013-05-13 2014-11-21 주식회사 브이플랩 이미지에서 객체를 추출하기 위한 방법 및 단말기
KR101513431B1 (ko) * 2013-10-17 2015-04-23 (주)다하미 커뮤니케이션즈 매체 이미지의 테두리 자동 검출 방법, 이를 이용한 매체 이미지 처리 시스템 및 처리 방법
KR20160055005A (ko) * 2014-11-07 2016-05-17 삼성전자주식회사 적어도 하나의 객체를 포함하는 영상에서 객체를 추출하여 보정한 영상을 제공하는 장치 및 방법
KR20190009006A (ko) * 2017-07-10 2019-01-28 한국전자통신연구원 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132163A (zh) * 2020-09-21 2020-12-25 杭州睿琪软件有限公司 识别对象边缘的方法、***及计算机可读存储介质
CN112132163B (zh) * 2020-09-21 2024-04-02 杭州睿琪软件有限公司 识别对象边缘的方法、***及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US10083343B2 (en) Method and apparatus for facial recognition
CN106358444B (zh) 用于面部验证的方法和***
WO2019099095A1 (en) Pose estimation and model retrieval for objects in images
US9652861B2 (en) Estimating device and estimation method
US20230033052A1 (en) Method, apparatus, device, and storage medium for training image processing model
US20120087575A1 (en) Recognizing hand poses and/or object classes
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
US11138464B2 (en) Image processing device, image processing method, and image processing program
JP6492746B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
CN109544516B (zh) 图像检测方法及装置
KR20220042335A (ko) 자동 수어 인식 방법 및 시스템
Hofer et al. Importance of different facial parts for face detection networks
KR102509823B1 (ko) 그리드 기반의 평면 추정 방법 및 장치
KR102079121B1 (ko) 이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체
JP2019220014A (ja) 画像解析装置、画像解析方法及びプログラム
US9940718B2 (en) Apparatus and method for extracting peak image from continuously photographed images
Kang et al. Combining random forest with multi-block local binary pattern feature selection for multiclass head pose estimation
KR102333882B1 (ko) 이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체
US20220392107A1 (en) Image processing apparatus, image processing method, image capturing apparatus, and non-transitory computer-readable storage medium
KR102080145B1 (ko) 오토 엔코더의 잠재 변수 사전을 이용한 물체 자세 추정 방법 장치
WO2023273227A1 (zh) 指甲识别方法、装置、设备及存储介质
KR20150094108A (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
US12026909B2 (en) Weakly supervised object localization apparatus and method
KR20210079138A (ko) 사용자 동작 인식 시스템 및 그 방법
US11620479B2 (en) System for determining diverting availability of object recognition model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant