KR20190067409A - 깊이값을 이용하는 객체인식장치 및 객체인식방법 - Google Patents

깊이값을 이용하는 객체인식장치 및 객체인식방법 Download PDF

Info

Publication number
KR20190067409A
KR20190067409A KR1020170167323A KR20170167323A KR20190067409A KR 20190067409 A KR20190067409 A KR 20190067409A KR 1020170167323 A KR1020170167323 A KR 1020170167323A KR 20170167323 A KR20170167323 A KR 20170167323A KR 20190067409 A KR20190067409 A KR 20190067409A
Authority
KR
South Korea
Prior art keywords
depth value
depth
image
value
unit
Prior art date
Application number
KR1020170167323A
Other languages
English (en)
Other versions
KR102388654B1 (ko
Inventor
박은식
안영샘
주성수
김원진
김주환
유상현
이종원
Original Assignee
안영샘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안영샘 filed Critical 안영샘
Priority to KR1020170167323A priority Critical patent/KR102388654B1/ko
Publication of KR20190067409A publication Critical patent/KR20190067409A/ko
Application granted granted Critical
Publication of KR102388654B1 publication Critical patent/KR102388654B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06K9/20—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G06K9/40—
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

깊이값을 이용하는 객체인식장치는, 소정 객체의 깊이값을 센싱하고, 상기 센싱된 깊이값에 기초하여 깊이 이미지를 생성하는 깊이 이미지 생성부와; 상기 깊이 이미지 생성부와 상기 객체 사이의 거리에 대응하는 기준 깊이값을 설정하고, 상기 기준 깊이값을 기준으로 상기 깊이 이미지에 매핑될 색조를 조정하는 이미지 조정부와; 상기 깊이값에 상기 조정된 색조를 매핑하는 색조 매핑부와; 그리고, 상기 깊이값을 이용하여 물결 모양의 레이어를 생성하고, 레이어의 간격을 조정하여 상기 객체의 입체 영상을 생성하는 입체 영상 생성부를 포함할 수 있다. 이로써, 간편하게 모아레 무늬를 얻을 수 있으면서 객체와 관련된 측정 정보를 정량화할 수 있고, 측정 오차를 줄일 수 있는 객체인식장치 및 객체인식방법이 제공될 수 있다.

Description

깊이값을 이용하는 객체인식장치 및 객체인식방법{OBJECT SESING APPARATUS AND OBJECT SESING METHOD USING DEPTH VALUE}
본 발명은 객체인식장치 및 객체인식방법에 관한 것으로, 보다 구체적으로 깊이값을 이용하는 객체인식장치 및 객체인식방법에 관한 것이다.
모아레 측정 방법은 주파수 간섭으로 발생하는 물결 무늬 현상, 즉 모아레 현상을 이용하여 피부의 처짐이나 윤곽, 체형 등의 변화를 측정하는 것으로, 체형 또는 관절 측정에 널리 사용되는 기술 중의 하나이다.
모아레 무늬는 일정한 간격을 갖는 무늬가 반복해 겹쳐져서 나타나는 무늬로써 물결 모양을 만들어 물체에 쪼이면 물체의 굴곡에 따라 모아레 무늬가 나타나게 된다. 이 때 발생하는 모아레 무늬는 등고선처럼 나타나기 때문에 물체의 편평도를 쉽게 파악 할 수 있다.
이러한 현상을 이용하는 모아레 측정기는 얼굴이나 인체와 같은 객체에 모아레 패턴을 투사하고 이를 카메라로 촬영하여 모아레 패턴의 변화를 분석한다. 모아레 무늬를 사용하여 객체를 측정하는 경우, 모아레 무늬의 변화가 실제 물체의 움직임을 상당히 증폭해서 나타낼 수 있다는 것과 모아레 무늬의 형성 과정에 따라 객체에 대한 3차원 정보를 얻을 수 있다는 특징이 있다.
하지만, 측정 기기가 광학기기다 보니 외부 충격에 민감하며 제품 가격이 고가이다. 또한, 빛의 간섭을 이용하기 때문에 측정 기기 세팅이 조금만 어긋나더라도 오차가 크게 발생하는 문제가 발생한다.
따라서, 객체 측정이 용이하고 오차 발생이 적은 객체 인식 장치가 필요하고, 더 나아가 측정 결과를 정량화 할 수 있는 방법이 요구된다.
본 발명이 해결하고자 하는 과제는, 간편하게 모아레 무늬를 얻을 수 있는 객체인식장치 및 객체인식방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는, 객체와 관련된 측정 정보를 정량화할 수 있고, 측정 오차를 줄일 수 있는 객체인식장치 및 객체인식방법을 제공하는 것이다.
본 발명의 일 실시예인 깊이값을 이용하는 객체인식장치는 소정 객체의 깊이값을 센싱하고, 상기 센싱된 깊이값에 기초하여 깊이 이미지를 생성하는 깊이 이미지 생성부와; 상기 깊이 이미지 생성부와 상기 객체 사이의 거리에 대응하는 기준 깊이값을 설정하고, 상기 기준 깊이값을 기준으로 상기 깊이 이미지에 매핑될 색조를 조정하는 이미지 조정부와; 상기 깊이값에 상기 조정된 색조를 매핑하는 색조 매핑부와; 그리고, 상기 깊이값을 이용하여 물결 모양의 레이어를 생성하고, 레이어의 간격을 조정하여 상기 객체의 입체 영상을 생성하는 입체 영상 생성부를 포함할 수 있다.
상기 깊이 이미지의 노이즈를 제거하는 필터링부를 더 포할 수 있고, 상기 필터링부는 너비우선방식에 따라 노이즈를 제거할 수 있다.
상기 이미지 조정부는, 상기 센싱된 깊이값의 평균값을 실시간으로 연산하여 상기 기준 깊이값으로 설정하고, 상기 기준 깊이값으로부터 전체 색조의 중간값까지의 거리에 대응하는 오프셋을 설정하고, 그리고, 상기 전체 색조의 간격을 조정할 수 있다.
상기 오프셋 또는 상기 전체 색조의 간격을 설정할 수 있는 사용자 인터페이스부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 깊이값을 이용하는 객체인식방법은, 소정 객체의 깊이값을 센싱하고, 상기 센싱된 깊이값에 기초하여 깊이 이미지를 생성하는 단계와; 상기 객체의 기준 깊이값을 설정하는 단계와; 상기 기준 깊이값을 기준으로 상기 깊이 이미지에 매핑될 색조를 조정하는 단계와; 상기 깊이값에 상기 조정된 색조를 매핑하는 단계와; 그리고, 상기 깊이값을 이용하여 물결 모양의 레이어를 생성하고, 레이어의 간격을 조정하여 상기 객체의 입체 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 간편하게 모아레 무늬를 얻을 수 있는 객체인식장치 및 객체인식방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 객체와 관련된 측정 정보를 정량화할 수 있고, 측정 오차를 줄일 수 있는 객체인식장치 및 객체인식방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 객체 측정 중에 사용자가 다양한 옵션을 설정하여 다양한 객체 인식 결과를 획득할 수 있는 객체인식장치 및 객체인식방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 측정 장소의 민감도를 감소시킬 수 있는 객체인식장치 및 객체인식방법이 제공될 수 있다.
도 1은 본 발명의 실시예에 따른 객체인식장치의 개념도를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 객체인식장치의 제어블럭도를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 필터링 전후의 이미지를 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 이미지 조정을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 이미지 조정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 색조 조정 이미지와 사용자 인터페이스를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 레이어 생성을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 3D 단층 이미지를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 객체인식방법을 설명하기 위한 제어 흐름도이다.
도 10은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 객체인식장치의 개념도를 도시한 도면이다.
도시된 바와 같이, 본 실시예에 따른 객체인식장치는 객체를 촬상하여 객체 깊이 이미지를 생성하는 깊이 이미지 생성부(100)와 생성된 깊이 이미지를 이용하여 모아레 무늬를 포함하는 입체 영상을 생성하는 영상처리모듈(200)을 포함한다. 본 실시예에 따른 객체는 사람 또는 동물과 같은 생물일 수 있으며, 예를 들면, 객체인식장치는 인체의 윤곽, 체형의 변화, 피부 처짐 등을 측정할 수 있다.
깊이 이미지 생성부(100)는 객체의 깊이갚(depth value)을 센싱하고 센싱된 깊이값과, 특정 객체를 식별하는 사용자 인덱스 이미지(user index image)를 이용하여 특정 객체에 대한 깊이 이미지를 생성한다. 이를 위하여 깊이 이미지 생성부(100)는 도시하지 않은 적외선 송출부와 적외선 센서를 포함할 수 있다. 적외선 송출부에서 객체를 향하여 픽셀 단위의 수많은 적외선을 송출하고, 송출된 적외선이 객체에서 반사되는 패턴을 이용하여 객체의 깊이 정보, 즉 적외선 센서와 객체 간의 거리를 추출할 수 있다.
사용자 인덱스 이미지는 촬상된 깊이 이미지에 포함되어 있는 각 객체들을 개별적으로 식별하는 것으로, 깊이값과 함께 깊이 이미지 생성부(100)에서 생성되는 정보이다.
깊이갚과 사용자 인덱스 이미지에 대한 정보에 기초하여 특정 객체에 대한 깊이 이미지가 생성될 수 있다. 즉, 인식의 대상이 되는 해당 객체에 대해서만 모아레 패턴을 획득할 수 있도록 객체가 특정된 깊이 이미지가 생성된다.
깊이 이미지 생성부(100)에서 생성된 깊이 이미지는 초당 30번씩 갱신될 수 있으며 512*424와 같은 해상도를 가질 수 있다. 깊이 이미지 생성부(100)에서 생성된 깊이 이미지를 통하여 객체의 윤곽 및 형태를 인식할 수 있음은 물론이고 객체의 움직임 역시 용이하게 파악할 수 있다.
이처럼 본 실시예에 따를 경우, 객체를 인식하는 깊이 이미지 생성부(100)는 빛의 간섭과 같은 광학적 측정이 아닌 빛의 이동 시간(time of flight, TOP)에 기초한 깊이 정보를 이용함으로써 기존의 모아레 측정기에서 발생하는 측정 오류를 감소시킬 수 있다. 또한, 센싱된 깊이값은 수치화 될 수 있으므로 체형 관련 정보를 정량화하는 것이 가능하고, 정량화된 정보를 다양하게 변형 또는 활용할 수 있다.
다른 실시예에 따르면, 깊이 이미지 생성부(100)는 객체의 컬러 영상을 획득하기 위한 RGB 카메라를 더 포함할 수 있다. 또는 객체의 이미지뿐만 아니라 사운드 정보를 획득하기 위한 마이크를 더 포함할 수도 있다.
깊이 이미지 생성부(100)에서 생성된 깊이 이미지는 영상처리모듈(200)로 입력되어 모아레 패턴을 포함하는 이미지로 생성된다. 도 2는 본 발명의 실시예에 따른 객체인식장치의 제어블럭도를 도시한 도면으로, 이를 참조하여 영상처리모듈(200)을 구체적으로 설명하면 다음과 같다.
도 2와 같이, 영상처리모듈(200)은 필터링부(210), 이미지 조정부(220), 색조 매핑부(230), 사용자 인터페이스부(240) 및 입체 영상 생성부(250)를 포함할 수 있다. 영상처리모듈(200)은 사용자가 이미지를 확인할 수 있는 모니터를 포함하는 컴퓨터일 수 있고, 깊이 이미지 생성부(100)와 유선 또는 무선으로 통신할 수 있는 데스크탑 컴퓨터, 노트북, 테블렛 PC 또는 영상 관리를 위한 서버로 구현될 수도 있다.
필터링부(210)는 깊이 이미지에 나타나는 노이즈를 제거할 수 있다. 필터링부(210)는 노이즈 제거하기 위하여 너비우선방식(Breadth First Search, BFS) 알고리즘을 사용할 수 있다. 필터링부(210)는 이미지의 픽셀들을 한 번씩 순회하면서 너비, 즉 가로 방향으로 인접한 픽셀의 존재 여부를 검사하여 일종의 픽셀 그룹을 검출하게 된다. 이 때, 각 픽셀 그룹이 포함하는 픽셀의 수가 일정 수 이하이면 해당 픽셀은 제거될 수 있다. 즉, 객체에 대한 깊이 이미지와 무관하다고 판단되는 픽셀은 노이즈로 판단되고, 이러한 픽셀이 삭제되는 방식으로 노이즈가 제거된다.
필터링은 깊이 이미지에 적용될 수도 있고, 깊이값 및 색조가 조정된 후의 이미지에 적용될 수도 있다.
도 3은 본 발명의 실시예에 따른 필터링 전후의 이미지를 도시한 도면이다.
도시된 바와 같이, 노이즈 필터링 전에는 사람의 팔과 다리 사이의 외곽선에서 적외선 난반사로 인해 노이즈(Ⅰ)가 발생하고 있다. 노이즈 필터링 후, 이러한 노이즈(Ⅰ)는 필터링부(210)의 스무딩 필터링에 의하여 제거되는 것이 확인될 수 잇다.
필터링부(210)의 스무딩 필터링 방식은 상술한 것에 한정되지 않으며 영상의 필터링으로 알려진 다양한 방법이 적용될 수 있다. 예를 들어, 객체의 외곽선에 나타나는 고주파를 제거하거나, 평균값으로 필터링하는 방식 등이 사용될 수 있다.
또는, 본 발명의 다른 실시예에 따르면, 사용자는 필터링부(210)의 동작을 온/오프하는 선택을 통하여 필터링부(210)의 필터링 과정을 생략할 수도 있다.
이미지 조정부(220)는 깊이 이미지 생성부(100)와 객체 사이의 거리에 대응하는 기준 깊이값을 설정하고, 기준 깊이값을 기준으로 깊이 이미지에 매핑될 색조(hue)를 조정할 수 있다. 도 4 및 도 5를 참조하여 본 발명에 따른 이미지 조정을 설명하면 다음과 같다.
도 4는 본 발명의 일 실시예에 따른 이미지 조정을 설명하기 위한 도면이다.
이미지 조정부(220)는 객체에 대한 센싱된 깊이값의 평균값(mean depth value)을 실시간으로 연산하여 객체의 중앙점을 찾을 수 있고, 도시된 바와 같이, 깊이 이미지 생성부(100)와 객체 중앙점 사이의 거리가 기준 깊이값으로 설정될 수 있다.
예컨대, 깊이값으로 이루어진 512 * 424의 해상도의 깊이 이미지에서 인체의 몸에 해당하는 부분만 추출하고, 몸에 해당하는 깊이값의 평균을 연산하면 깊이 이미지 생성부(100)로부터 인체의 중심점까지의 거리를 도출할 수 있고, 이 값이 기준 깊이값이 될 수 있다.
이미지 조정부(220)는 기준 깊이값으로부터 전체 색조의 중간값까지의 거리에 대응하는 오프셋을 설정하고, 전체 색조의 간격을 조정할 수 있다. 즉, 이미지 조정부(220)는 후술될 사용자 인터페이스부(240)를 통하여 사용자에 의하여 조절된 옵션에 대응하여 색조를 매핑하는 수식을 조정하고, 이러한 수식에 따라 특정 깊이값을 특정 색조에 일대일로 매칭할 수 있다.
오프셋은 매핑될 막대 형태의 전체 색조를 앞 또는 뒤로 이동시키며, 색조의 중앙값을 기준 깊이값으로부터 몇 mm 이동시킬지를 나타내는 값이다. 오프셋에 따라 깊이값에 매핑되는 색깔이 변경될 수 있다.
빨간색부터 보라색까지로 표시되는 색조는 0부터 360까지의 색조값으로 대응될 수 있고, 빨간색 끝은 0으로 보라색 끝은 360로 매핑될 수 있다. 전체 색조의 간격이란 빨간색부터 보라색까지의 전체 색조의 길이, 즉 색조값 0부터 색조값 360까지의 색조로 매핑되는 전체 깊이값의 범위를 나타낸다.. 전체 색조의 간격이 좁아지면 매핑될 깊이값이 작아지므로 깊이값의 작은 차이를 색으로 구분하기 쉬워진다. 이러한 전체 색조의 간격을 조절하면서 오프셋 설정을 함께 제어하면 객체의 특정 부위를 자세히 관할하고자 할 때 효과적이다.
기준 깊이값에 대응하는 전체 색조에 중앙점은 "평균값+오프셋"으로 설정되고, 색조값 0은 "평균값+오프셋-전체 색조 간격/2"의 깊이값에, 색조값 360은 "평균값+오프셋+전체 색조 간격/2"의 깊이값에 매핑될 수 있다.
또한, 이미지 조정부(220)는 깊이가 깊은 깊이값(보라색 쪽)부터 색조의 표시를 제거할 수 있으며, 이러한 제거는 사용자 인터페이스부(240)의 최대 깊이 조절 옵션을 통하여 제어될 수 있다. 깊은 곳의 색조를 제거하기 때문에 해당 깊이의 윤곽선이 뚜렷하게 구분될 수 있다.
도 4에 도시된 것처럼, 깊이값에 스팩트럼과 같은 색조가 매핑되는 컬러 모드의 경우, 색조 범위의 바깥 부분은 검은색으로 처리될 수 있다. 이는 외곽선을 표시하거나 표시하지 않는 "실루엣 온/오프" 옵션으로 검게 처리하거나 투명하게 처리할 수 있다.
본 실시예의 경우 빛의 간섭이 아닌 측정된 기준 깊이값을 기준으로 색조를 매핑하기 때문에 깊이 이미지 생성부(100)의 센서 인식 범위 내라면 객체가 어느 곳에 위치하든 일정한 데이터를 얻을 수 있다. 즉, 색조값의 데이터를 정량화 하거나 조절된 오프셋이나 전체 색조 길이에 대한 데이터의 관리가 용이하고 데이터의 활용이 가능해진다.
도 5는 본 발명의 다른 실시예에 따른 이미지 조정을 설명하기 위한 도면이다.
도시된 바와 같이, 본 실시예에 따르면 객체의 깊이 이미지에 매핑되는 색조는 연속적인 값을 갖는 컬러가 아닌 불연속적인 흑백일 수 있다. 이와 같은 흑백 모드인 경우, 깊이값은 흰색, 회색, 검은 색의 3 가지 색으로 이루어진 불연속적인 등고선으로 표시될 수 있다.
흑백 모드로 깊이 이미지를 처리할 때도 도 4의 컬러 모드일 때의 이미지 조정 및 색조 매핑과 유사하게 이미지가 처리된다. 컬러 모드일 때는 특정 깊이값이 하나의 색으로 매핑되어 깊이값 마다 이에 대응하는 서로 다른 색이 매핑되지만 흑백 모드에서는 깊이값의 범위에 따라 흰색, 회색, 검은색이 순차적으로 구획되고, 특정 깊이값이 해당 구획에 속하면 해당 색으로 매핑된다.
사용자 인터페이스부(240)는 사용자가 오프셋 또는 전체 색조의 간격을 설정할 수 있도록 하거나 색조의 최대 깊이를 조절하거나 실루엣 온/오프를 설정할 수 있도록 한다. 사용자는 디스플레이모듈(미도시)를 통하여 깊이 이미지나 색조가 매핑되기 전의 이미지를 보면서 오프셋 또는 전체 색조의 간격을 조정할 수 있고 이를 통하여 최종적인 이미지를 생성하기 전에 색조 데이터를 조정할 수 있다. 이러한 사용자 인터페이스부(240)는 디스플레이모듈의 그래픽 조절 기능으로 구현될 수 있다.
도 6은 본 발명의 실시예에 따른 색조 조정 이미지와 사용자 인터페이스를 설명하기 위한 도면이다. 도시된 바와 같이, 사용자는 촬상된 깊이 이미지에 색조를 매핑하기 위하여 색조의 종류인 컬러 모드 또는 흑백 모드를 선택할 수 있고, 실루엣을 표시할지 여부도 선택할 수 있다. 또한, 앞서 설명된 오프셋이나 전체 색조의 간격을 조절할 수도 있다.
사용자는 이러한 인터페이스를 통하여 실시간으로 설정되는 기준 깊이값에 따라 깊이값에 매핑되는 색조값을 조정할 수 있고, 조정된 색조값에 따라 디스플레이되는 깊이 이미지가 변경될 수 있다. 사용자의 선택에 따라 조정 또는 설정된 색조값은 데이터로 저장되어 정량화 될 수 있다.
도 6과 같이 색조값이 조정되면, 색조 매핑부(230)는 깊이값에 조정된 색조를 매핑한다. 색조 매핑부(230)의 색조 매핑이 완료되면, 깊이 이미지에는 깊이값에 따라 서로 다른 색으로 표시되는 모아레 무늬와 유사한 영상으로 변경된다.
입체 영상 생성부(250)는 깊이값을 이용하여 물결 모양의 레이어를 생성하고, 레이어의 간격을 조정하여 상기 객체의 입체 영상을 생성할 수 있다.
도 7은 본 발명의 실시예에 따른 레이어 생성을 설명하기 위한 도면이고, 도 8은 본 발명의 실시예에 따른 3D 단층 이미지를 설명하기 위한 도면이다.
입체 영상 생성부(250)는 입체 영상의 생성에 대한 요청 신호가 수신되면 최종적으로 설정된 깊이 이미지의 깊이값을 저장하고, 저장된 깊이값을 분석하여 유사한 깊이값들에 대한 레이어를 생성한다. 이미지 조정부(220)에서 조정된 색조 매칭 식을 통하여 각 레이어의 색이 결정되고, 오프셋 조절 또는 전체 색조의 간격 조절을 통하여 레이어의 색조를 변경할 수 있다.
예를 들면, 특정 범위의 깊이값들은 노란색 레이어로, 다른 범위의 깊이값들은 빨간 레이어로 표시될 수 있다. 레이어 데이터를 이미지화하여 간격을 조정하면 도 7과 같은 물결 모양의 레이어가 생성될 수 있다. 이러한 물결 모양 레이어는 빛의 간섭을 이용하여 등고선 형태로 인체를 표시하는 모아레 측정기의 결과물과 유사한 형태를 지니며 각 레이어는 유사한 범위에 속하는 깊이값을 대표하므로 인체의 높낮이를 표현할 수 있다.
도시된 바와 같이, 레이어의 수는 10 또는 31과 같이 그 수가 조정될 수 있으며, 레이어수에 따라 레이어의 간격이 조정될 수 있다. 레이어의 수가 증가할 수록 깊이값의 범위가 세분화되어 보다 세밀한 깊이 이미지를 얻을 수 있다.
레이어의 간격이 조절된 깊이 이미지는 도 8과 같이 3D 입체 영상으로 생성될 수 있다. 3D 단층 영상은 깊이값에 따라 다양한 색조로 시각화되기 때문에 사용자는 객체의 입체감 또는 움직임을 보다 직관적으로 인식할 수 있다. 또한, 사용자는 3D 입체 영상을 보면서 레이어의 수를 조정함으로써 레이어의 간격을 조정할 수도 있다.
도 9는 본 발명의 실시예에 따른 객체인식방법을 설명하기 위한 제어 흐름도이다. 도 9를 참조하여 본 발명에 따른 객체인식방법을 정리하면 다음과 같다.
우선, 깊이 이미지 생성부(100)는 소정 객체의 깊이값을 센싱하고, 센싱된 깊이값에 기초하여 깊이 이미지를 생성할 수 있다(S910).
특정 객체만을 선택하여 깊이 이미지를 생성하기 위하여 사용자 인덱스 이미지 정보가 사용될 수 있다.
그런 다음, 필터링부(210)의 의하여 깊이 이미지의 노이즈가 제거될 수 있다(S920).
노이즈는 너비우선방식에 따라 제거될 수 있다. 이러한 필터링 단계는 깊이 이미지에 색조가 매칭된 단계(S950)에 수행될 수도 있고, 사용자의 선택에 따라 필터링 과정이 생략될 수도 있다.
이미지 조정부(220)는 센싱된 깊이값의 평균값을 실시간으로 연산하여 기준 깊이값을 설정할 수 있다(S930).
기준 깊이값은 깊이 이미지 생성부(100)로부터 객체 사이의 깊이값으로 객체의 중앙점에 대응할 수 있다. 이러한 기준 깊이값을 기준으로 객체의 물결 무늬의 기초가 되는 색조가 매핑되므로 객체의 움직임이나 작은 변화에도 일정한 색조 데이터를 얻을 수 있다. 이를 통해 신뢰성 있는 인체 인식 데이터를 정량화할 수 있다.
깊이값의 평균값이 연산되면, 이미지 조정부(220)는 이러한 기준 깊이값으로부터 전체 색조의 중간값까지의 거리에 대응하는 오프셋을 설정하고, 전체 색조의 간격을 조정함으로써 깊이 이미지에 매핑될 색조를 결정할 수 있다(S940).
오프셋과 전체 색조의 간격은 도 6과 같은 사용자 인터페이스를 통하여 설정될 수 있다. 오프셋 조정으로 깊이 이미지에 매핑되는 색조의 범위를 선택하고, 색조의 간격을 조절함으로써 하나의 색깔에 매핑되는 깊이값의 범위를 설정할 수 있다. 사용자는
색조가 결정되면, 색조 매핑부(230)에 의하여 깊이값에 대응하는 색조가 매핑될 수 있다(S950).
그런 후, 입체 영상 생성부(250)는 깊이값의 범위를 정하여 물결 모양의 레이어를 생성하고, 레이어의 간격을 조정하여 객체의 입체 영상을 생성할 수 있다(S960).
이렇게 생성된 입체 영상은 가상 공간에서 3D로 표현될 수 있고, 사용자는 레이어 간격을 조절하면서 최종 이미지를 생성할 수 있다.
이와 같이, 본 발명에 따르면, 기기 조정에 민감하고 오차 발생률이 낮은 모아레 측정이 아니라도 객체의 굴곡, 높낮이를 표현할 수 있는 모아레 무늬를 깊이값을 이용하여 생성할 수 있고, 이를 통해 객체를 용이하고 효과적으로 인식할 수 있다.
도 10은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 도 10의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 영상처리모듈, 객체인식장치 등)일 수 있다.
도 10의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (7)

  1. 깊이값을 이용하는 객체인식장치에 있어서,
    소정 객체의 깊이값을 센싱하고, 상기 센싱된 깊이값에 기초하여 깊이 이미지를 생성하는 깊이 이미지 생성부와;
    상기 깊이 이미지 생성부와 상기 객체 사이의 거리에 대응하는 기준 깊이값을 설정하고, 상기 기준 깊이값을 기준으로 상기 깊이 이미지에 매핑될 색조를 조정하는 이미지 조정부와;
    상기 깊이값에 상기 조정된 색조를 매핑하는 색조 매핑부와; 그리고,
    상기 깊이값을 이용하여 물결 모양의 레이어를 생성하고, 레이어의 간격을 조정하여 상기 객체의 입체 영상을 생성하는 입체 영상 생성부를 포함하는 것을 특징으로 하는 객체인식장치.
  2. 제1항에 있어서,
    상기 깊이 이미지의 노이즈를 제거하는 필터링부를 더 포함하고,
    상기 필터링부는 너비우선방식에 따라 노이즈를 제거하는 것을 특징으로 하는 객체인식장치.
  3. 제1항에 있어서,
    상기 이미지 조정부는,
    상기 센싱된 깊이값의 평균값을 실시간으로 연산하여 상기 기준 깊이값으로 설정하고,
    상기 기준 깊이값으로부터 전체 색조의 중간값까지의 거리에 대응하는 오프셋을 설정하고,
    상기 전체 색조의 간격을 조정하는 것을 특징으로 하는 객체인식장치.
  4. 제3항에 있어서,
    상기 오프셋 또는 상기 전체 색조의 간격을 설정할 수 있는 사용자 인터페이스부를 더 포함하는 것을 특징으로 객체인식장치.
  5. 깊이값을 이용하는 객체인식방법에 있어서,
    소정 객체의 깊이값을 센싱하고, 상기 센싱된 깊이값에 기초하여 깊이 이미지를 생성하는 단계와;
    상기 객체의 기준 깊이값을 설정하는 단계와;
    상기 기준 깊이값을 기준으로 상기 깊이 이미지에 매핑될 색조를 조정하는 단계와;
    상기 깊이값에 상기 조정된 색조를 매핑하는 단계와; 그리고,
    상기 깊이값을 이용하여 물결 모양의 레이어를 생성하고, 레이어의 간격을 조정하여 상기 객체의 입체 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 객체인식방법.
  6. 제5항에 있어서,
    너비우선방식에 따라 상기 깊이 이미지의 노이즈를 제거하는 단계를 더 포함하는 것을 특징으로 하는 객체인식방법.
  7. 제5항에 있어서,
    상기 기준 깊이값을 설정하는 단계는, 상기 센싱된 깊이값의 평균값을 실시간으로 연산하고, 그리고,
    상기 매핑될 색조를 조정하는 단계는,
    상기 기준 깊이값으로부터 전체 색조의 중간값까지의 거리에 대응하는 오프셋을 설정하는 단계와;
    상기 전체 색조의 간격을 조정하는 단계를 포함하는 것을 특징으로 하는 객체인식방법.
KR1020170167323A 2017-12-07 2017-12-07 깊이값을 이용하는 객체인식장치 및 객체인식방법 KR102388654B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170167323A KR102388654B1 (ko) 2017-12-07 2017-12-07 깊이값을 이용하는 객체인식장치 및 객체인식방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170167323A KR102388654B1 (ko) 2017-12-07 2017-12-07 깊이값을 이용하는 객체인식장치 및 객체인식방법

Publications (2)

Publication Number Publication Date
KR20190067409A true KR20190067409A (ko) 2019-06-17
KR102388654B1 KR102388654B1 (ko) 2022-04-20

Family

ID=67064800

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170167323A KR102388654B1 (ko) 2017-12-07 2017-12-07 깊이값을 이용하는 객체인식장치 및 객체인식방법

Country Status (1)

Country Link
KR (1) KR102388654B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100839167B1 (ko) 2007-09-18 2008-06-17 주식회사 엔씨비네트웍스 모아레 무늬 발생기를 적용한 위상천이 영사식 3차원형상측정장치 및 그 방법
KR20110022898A (ko) * 2009-08-28 2011-03-08 (주)엘리드 피부탄력도 측정을 위한 모아레 영상 처리 및 평가방법
KR20140035244A (ko) * 2012-09-10 2014-03-21 한국전자통신연구원 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100839167B1 (ko) 2007-09-18 2008-06-17 주식회사 엔씨비네트웍스 모아레 무늬 발생기를 적용한 위상천이 영사식 3차원형상측정장치 및 그 방법
KR20110022898A (ko) * 2009-08-28 2011-03-08 (주)엘리드 피부탄력도 측정을 위한 모아레 영상 처리 및 평가방법
KR20140035244A (ko) * 2012-09-10 2014-03-21 한국전자통신연구원 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치

Also Published As

Publication number Publication date
KR102388654B1 (ko) 2022-04-20

Similar Documents

Publication Publication Date Title
EP3000386B1 (en) Skin function evaluation device and skin evaluation method
WO2019228473A1 (zh) 人脸图像的美化方法和装置
WO2018161877A1 (zh) 处理方法、处理装置、电子装置和计算机可读存储介质
US9750326B2 (en) Transparency evaluation device, transparency evaluation method and transparency evaluation program
JP6793325B2 (ja) 肌診断装置および肌診断方法
JP2006145405A (ja) 三次元計測装置および三次元計測方法並びに三次元計測プログラム
WO2016206004A1 (zh) 一种获取深度信息的拍照设备和方法
US11967094B2 (en) Detecting device, information processing device, detecting method, and information processing program
KR20160144971A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN113128376B (zh) 基于图像处理的皱纹识别方法、皱纹识别装置及终端设备
US11527026B2 (en) Body measurement device and method for controlling the same
CN107438161A (zh) 拍摄画面处理方法、装置和终端
CN107592490A (zh) 视频背景替换方法、装置和移动终端
US11151783B2 (en) Image pickup device, information processing device, and image pickup system
JP4193342B2 (ja) ３次元データ生成装置
CN107493452A (zh) 视频画面处理方法、装置和终端
US11756281B1 (en) Systems and methods for splat filling a three-dimensional image using semi-measured data
KR102388654B1 (ko) 깊이값을 이용하는 객체인식장치 및 객체인식방법
JP7392262B2 (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
CN107831921B (zh) 一种手柄空间位置与编码对应关系的确定方法、装置及***
JP7099506B2 (ja) 検出装置、検出方法、情報処理装置、及び処理プログラム
JP2005084012A (ja) 肌形状計測方法及び肌形状計測装置
EP4220074A1 (en) Determining a parameter map for a region of a subject's body
US11461957B2 (en) Information processing device, information processing method, and program
JP6787389B2 (ja) 検出装置、検出システム、検出方法、情報処理装置、及び処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right