KR102582349B1 - 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법 - Google Patents

공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법 Download PDF

Info

Publication number
KR102582349B1
KR102582349B1 KR1020160020013A KR20160020013A KR102582349B1 KR 102582349 B1 KR102582349 B1 KR 102582349B1 KR 1020160020013 A KR1020160020013 A KR 1020160020013A KR 20160020013 A KR20160020013 A KR 20160020013A KR 102582349 B1 KR102582349 B1 KR 102582349B1
Authority
KR
South Korea
Prior art keywords
overlap
unit
information
augmented reality
image
Prior art date
Application number
KR1020160020013A
Other languages
English (en)
Other versions
KR20170098388A (ko
Inventor
이재영
Original Assignee
주식회사 케이쓰리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이쓰리아이 filed Critical 주식회사 케이쓰리아이
Priority to KR1020160020013A priority Critical patent/KR102582349B1/ko
Publication of KR20170098388A publication Critical patent/KR20170098388A/ko
Application granted granted Critical
Publication of KR102582349B1 publication Critical patent/KR102582349B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)

Abstract

본 발명의 일 실시예에 따른 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치는 객체가 포함된 영상을 획득하기 위한 영상 획득부, 획득된 영상에서 객체를 식별하기 위한 객체 식별부, 식별된 객체에 대하여 생성된 아이디를 할당하는 아이디 할당부, 식별된 객체에 대한 골격 정보를 추출하기 위한 골격정보 추출부, 추출된 골격 정보에 기초하여 객체에 대한 움직임을 실시간으로 추적하기 위한 객체 추적부, 획득된 영상에 포함된 복수개의 객체들 간의 중첩도를 추정하기 위한 중첩도 추정부, 추정된 중첩도에 기초하여 객체의 중첩 부위에 대한 골격 정보의 오차를 보정하기 위한 보정부 및 보정부를 통하여 보정된 골격 정보를 이용하여 객체를 복원하기 위한 객체 복원부를 포함할 수 있다. 또한, 복원된 객체에 대하여는 할당된 아이디가 유지될 수 있다.

Description

공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법{THE APPARATUS AND METHOD FOR CORRECTING ERROR BE CAUSED BY OVERLAP OF OBJECT IN SPATIAL AUGMENTED REALITY}
본 발명은 인식된 객체의 추적 처리 기술에 관한 것으로, 더욱 상세하게는 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법에 관한 것이다.
근래 들어, 공간 증강 현실 분야에서 사람을 인식 및 추적하는데 발생되는 중첩처리 기술에 대해 많은 연구가 진행되고 있다. 사람을 인식 및 추적하는데 발생되는 중첩처리 기술은 사람-기계 상호 작용 및 교육 보조 등 많은 영역에 적용할 수 있다.
현재 사용된 사람 인식 및 추적하는데 발생되는 중첩현상 처리 기술은 중첩되었을 때 오류로 처리하는 방법, 입력데이터를 초기화 하는 방법, 중첩된 사람을 새로 생성하는 방법으로 구분되어있다.
오류로 처리하는 방법은 사람은 한 명만이 나와야 하고 2명 이상이 인지되었을 때는 오류를 발생시켜 사용자에게 한 명만 앞에 있도록 하여 2인 이상의 참여가 불가능하다.
입력데이터를 초기화하는 방법은 입력되는 데이터의 초기화를 하여 안정적인 사람 골격의 정보를 제공할 수 있으나, 어떤 상황에서 초기화를 해야되는지 여부를 판단해야 한다는 점에서 번거롭다.
중첩된 사람을 새로 생성하는 방법은 사람 추적에는 유효하나 고유 식별번호가 새로 부여되어 객체의 연속적인 추적이 어렵다는 단점이 있다.
본 발명은 전술한 문제점에 대한 대응 방안으로써, 복수개의 객체를 정확하게 인식하고 객체들 간에 중첩이 이루어지더라도 연속적이고 안정적으로 객체를 추적하기 위한 중첩되는 부분에 대한 효과적인 처리 기술을 제공하고자 한다.
본 발명의 일 실시예로써, 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 그 방법이 제공될 수 있다.
본 발명의 일 실시예에 따른 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치는 객체가 포함된 영상을 획득하기 위한 영상 획득부, 획득된 영상에서 객체를 식별하기 위한 객체 식별부, 식별된 객체에 대하여 생성된 아이디를 할당하는 아이디 할당부, 식별된 객체에 대한 골격 정보를 추출하기 위한 골격정보 추출부, 추출된 골격 정보에 기초하여 객체에 대한 움직임을 실시간으로 추적하기 위한 객체 추적부, 획득된 영상에 포함된 복수개의 객체들 간의 중첩도를 추정하기 위한 중첩도 추정부, 추정된 중첩도에 기초하여 객체의 중첩 부위에 대한 골격 정보의 오차를 보정하기 위한 보정부 및 보정부를 통하여 보정된 골격 정보를 이용하여 객체를 복원하기 위한 객체 복원부를 포함할 수 있다. 또한, 복원된 객체에 대하여는 할당된 아이디가 유지될 수 있다.
본 발명의 일 실시예에 따른 영상에는 적어도 하나의 객체가 포함될 수 있고, 객체 식별부에서는 객체의 심도(depth) 정보에 기초하여 영상으로부터 객체를 식별할 수 있다.
본 발명의 일 실시예에 따른 객체는 사람이고, 골격 정보는 객체의 골격의 시작점과 끝점의 좌표를 쌍으로 하여 추출될 수 있다.
본 발명의 일 실시예에 따른 중첩도는 객체가 타 객체와 중첩되기 이전의 골격 정보와 중첩된 이후의 골격 정보간이 차이값에 기초하여 추정될 수 있다.
본 발명의 일 실시예에 따른 중첩도는 객체의 전체의 골격 정보 대비 중첩 시 추출된 골격 정보 비율에 기초하여 추정될 수 있다.
또한, 보정부에서는 추정된 중첩도에 기초하여 보정의 대상이 될 객체의 골격 정보를 결정하고 결정된 골격 정보의 오차를 보정하며, 골격 정보의 오차는 중첩으로 인한 객체의 위치 값 오차일 수 있다.
본 발명의 일 실시예에 따른 공간 증강 현실에서의 객체 중첩에 따른 오류를 보정하기 위한 방법은, 객체가 포함된 영상을 획득하는 단계, 획득된 영상에서 객체를 식별하는 단계, 식별된 객체에 대하여 생성된 아이디를 할당하는 단계, 식별된 객체에 대한 골격 정보를 추출하는 단계, 추출된 골격 정보에 기초하여 객체에 대한 움직임을 실시간으로 추적하는 단계, 획득된 영상에 포함된 복수개의 객체들 간의 중첩도를 추정하는 단계, 추정된 중첩도에 기초하여 객체의 중첩 부위에 대한 골격 정보의 오차를 보정하는 단계 및 보정된 골격 정보를 이용하여 객체를 복원하는 단계를 포함하고, 복원된 객체에 대하여는 할당된 아이디가 유지될 수 있다.
한편, 본 발명의 일 실시예로써, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 발명의 일 실시예에 따른 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 그 방법을 이용하면, 다수의 사람들이 참여한 공간 증강 현실 환경에도 멀티미디어 컨텐츠의 안정적인 제공을 실현할 수 있으며 객체에 대한 데이터 처리 시 높은 정확도를 달성할 수 있다.
또한, 객체의 중첩 등에 따른 오류 메시지 처리나 멀티미디어 컨텐츠의 왜곡, 손실 등을 효과적으로 방지할 수 있다.
본 발명의 일 실시예에 따른 공간 증강 현실 기반에서 인식된 객체의 중첩 현상에 대한 오류 보정 방법은 객체(예컨대, 사람)과 중첩되는 영상 정보를 분석하여 멀티미디어 컨텐츠(예컨대, 캐릭터 등)와 매핑하여 처리되는 영상 처리 기법에서 캐릭터의 부자연스러운 동작 등과 같은 오류 현상의 발생을 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 아이디 할당부를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 중첩도 추정부를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 객체 복원부를 나타낸다.
도 5는 제 1 객체와 제 2 객체가 중첩되지 않은 경우를 나타낸다.
도 6은 제 1 객체와 제 2 객체의 팔과 허리 부분이 중첩된 경우를 나타낸다.
도 7은 제 1 객체와 제 2 객체의 팔과 다리 부분이 중첩된 경우를 나타낸다.
도 8은 제 1 객체와 제 2 객체가 90 퍼센트(%)이상 중첩된 경우를 나타낸다.
도 9는 제 2 객체의 일부가 제 1 객체와 중첩되는 경우를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 공간 증강 현실에서의 객체 중첩에 따른 오류를 보정하기 위한 방법을 나타낸 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다.
본 명세서에서의 "객체"는 영상에 포함된 사람, 동물, 물건 등으로써 영상 처리 시의 일 기준 요소가 될 수 있는 대상을 의미할 수 있다. 영상에 포함된 객체는 유사한 색이나 질감으로 구성된 경우도 있지만, 상이한 색과 질감으로 구성되는 경우도 많다. 또한, 복잡한 배경에 객체가 포함되는 경우도 있다. 이와 같이 영상에서는 배경과 객체가 혼재할 수 있고, 배경과 구분지어 객체를 명확히 추출해내고, 추적하는 기법은 영상 처리에 있어서 대단히 중요할 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치의 블록도이고, 도 2는 본 발명의 일 실시예에 따른 아이디 할당부를 나타낸다.
본 발명의 일 실시예에 따른 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치(1000)는 객체가 포함된 영상을 획득하기 위한 영상 획득부(1100), 획득된 영상에서 객체를 식별하기 위한 객체 식별부(1200), 식별된 객체에 대하여 생성된 아이디를 할당하는 아이디 할당부(1300), 식별된 객체에 대한 골격 정보를 추출하기 위한 골격정보 추출부(1400), 추출된 골격 정보에 기초하여 객체에 대한 움직임을 실시간으로 추적하기 위한 객체 추적부(1500), 획득된 영상에 포함된 복수개의 객체들 간의 중첩도를 추정하기 위한 중첩도 추정부(1600), 추정된 중첩도에 기초하여 객체의 중첩 부위에 대한 골격 정보의 오차를 보정하기 위한 보정부(1700) 및 보정부를 통하여 보정된 골격 정보를 이용하여 객체를 복원하기 위한 객체 복원부(1800)를 포함할 수 있다. 또한, 복원된 객체에 대하여는 할당된 아이디가 유지될 수 있다.
본 발명의 일 실시에에 따른 영상 획득부(1100)에서는 RGB-D 카메라 등과 같은 촬영 장치를 이용하여 객체에 대한 영상을 획득할 수 있다. 획득된 영상은 실(real)영상으로 지칭될 수 있다.
본 발명의 일 실시예에 따른 영상에는 적어도 하나의 객체가 포함될 수 있고, 객체 식별부(1200)에서는 객체의 심도(depth) 정보에 기초하여 영상으로부터 객체를 식별할 수 있다. 다시 말해서, 실영상에 대한 심도 정보는 영상 획득부(1100)에서 이미 획득되어 있을 수 있고, 객체 식별부(1200)에서는 획득된 심도 정보에 기초하여 객체와 배경 또는 객체와 타 객체를 식별할 수 있다. 예를 들어, 객체 식별부(1200)에서는 배경 또는 사물과 사람을 나타내는 객체를 각각 식별하여 사람을 나타내는 객체만을 인식할 수 있다.
본 발명의 일 실시예에 따른 아이디 할당부(1300)는 객체구조 식별부(1310), 객체 계수부(1320) 및 아이디 분배부(1330)를 포함할 수 있다. 객체구조 식별부(1310)에서는 식별된 객체 각각에 대하여 객체의 구조를 나타내기 위한 기본값을 생성할 수 있고, 생성된 기본값에 기초하여 객체의 구조를 식별할 수 있다. 예를 들어, 사람을 나타내는 객체에서 하복부 부근 또는 경추의 일 골격 지점을 기준으로 나타낸 객체의 전체 골격에 대한 정보에 기초하여 객체 구조를 식별할 수 있다. 객체 구조는 객체의 심도 정보 등을 이용하여 객체의 골격(skeleton)을 추출함으로써 파악될 수 있다.
객체 계수부(1320)에서는 영상에서 객체구조가 식별된 객체의 개수를 계수할 수 있다. 계수된 객체에 따라 중첩 여부의 판단 및 중첩도 등이 추정될 수 있다. 아이디 분배부(1330)에서는 식별된 객체 각각에 대하여 부여될 아이디를 생성하고, 생성된 아이디를 각각의 객체에 부여함으로써 부여된 아이디로 하여금 객체의 움직임 추적, 중첩여부 판단 등에 사용되게 할 수 있다. 객체에 부여된 아이디는 해당 영상에서 객체마다 고유값을 갖도록 설정될 수 있다. 따라서, 영상에 복수개의 객체들이 포함되어 있더라도, 객체마다 부여된 아이디를 통하여 각각 식별될 수 있다.
도 3은 본 발명의 일 실시예에 따른 중첩도 추정부를 나타낸다.
본 발명의 일 실시예에 따른 중첩도 추정부(1600)는 골격정보 수집부(1610), 중첩여부 판단기준 생성부(1620), 중첩골격 계수부(1630) 및 중첩비율 추정부(1640)를 포함할 수 있다.
본 발명의 일 실시예에 따른 객체는 사람이고, 골격 정보는 객체의 골격의 시작점과 끝점의 좌표를 쌍으로 하여 25개의 좌표쌍으로 추출될 수 있다. 예를 들어, 객체의 골격 정보는 전술한 하복부 부근 또는 경추의 일 골격 지점을 기준으로 뻗어나간 골격의 좌표 정보 쌍으로써 표현될 수 있다. 영상 또는 공간 증강 현실에서 객체의 움직임에 의하여 복수개의 객체들은 상호 중첩될 수 있다. 본 발명의 일 실시예에 따르면 중첩 여부를 판단하기 위한 일 기준으로써 중첩여부 판단기준 생성부(1620)에서는 객체의 수집된 전체 골격 개수에서 타 객체 등과 중첩됨으로써 계수에서 제외된 나머지 골격 개수를 전술한 기준으로 설정(생성)할 수 있다. 다시 말해서, 객체의 중첩 여부는 중첩에 따른 골격 정보의 손실에 기초하여 판단될 수 있다. 예를 들면, 전체 골격 개수 중 중첩이 되지 않은 잔여 골격의 개수가 24개 이하라면 객체는 중첩된 것으로 판단될 수 있다. 다시 말해서, 중첩되지 않은 골격의 개수가 24개 이상인지 이하인지 여부에 따라 객체의 전부 또는 일부 중첩 여부가 결정될 수 있다.
중첩골격 계수부(1630)는 중첩된 골격의 개수를 파악하기 위하여 전체 골격 개수와 현재 식별된 골격의 개수(예컨대, 중첩이 되지 않은 잔여 골격 개수)의 차를 이용하여 중첩된 골격의 개수를 파악할 수 있다.
중첩비율 추정부(1640)에서는 전체 골격 개수에 대한 중첩된 골격의 개수의 비율을 추정할 수 있다. 추정된 비율은 중첩에 따른 위치 값 보정 등을 위하여 사용될 수 있다.
본 발명의 일 실시예에 따른 중첩도는 객체가 타 객체와 중첩되기 이전의 골격 정보와 중첩된 이후의 골격 정보간이 차이값에 기초하여 추정될 수 있다. 또한, 본 발명의 일 실시예에 따른 중첩도는 객체의 전체의 골격 정보 대비 중첩 시 추출된 골격 정보 비율에 기초하여 추정될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 보정부(1700)에서는 추정된 중첩도에 기초하여 보정의 대상이 될 객체의 골격 정보를 결정하고 결정된 골격 정보의 오차를 보정하며, 골격 정보의 오차는 중첩으로 인한 객체의 위치 값 오차일 수 있다. 골격 정보는 중첩되는 골격 부위, 개수, 위치 값 등일 수 있다.
본 발명의 일 실시예에 따르면 중첩에 따라 손실되는 골격의 위치를 파악해두고, 이미 획득되어 있는 객체의 골격 정보(예컨대, 골격 기본 정보)를 이용하여 전술한 손실된 골격의 위치가 추정될 수 있다. 객체의 골격 정보는 골격정보 수집부(1610)에 의하여 수집되어 있으므로, 객체의 이동 등에 따라 타 객체와 중첩되더라도 객체의 골격 정보가 임의로 변경되는 것을 방지할 수 있다. 다시 말해서, 복수개의 객체들이 상호 중첩되어 심도 정보를 이용하더라도 객체의 골격 정보를 정확하게 추출해내기 어려운 경우라도 객체에 대하여 이미 획득된 골격 기본 정보를 이용하여 위치 값 등을 추정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 객체 복원부를 나타낸다.
본 발명의 일 실시예에 따른 객체 복원부(1800)에는 보정값 수신부(1810), 보정대상 결정부(1820) 및 연산부(1830)를 포함할 수 있다. 보정값 수신부(1810)는 중첩도에 기초하여 보정부(1700)에 의하여 생성된 위치 값 등의 보정을 위한 데이터를 수집(수신)할 수 있다. 또한, 보정값 수신부(1810)에서는 객체구조 식별부(1310), 골격정보 수집부(1610) 등으로부터 객체구조 파악을 위한 기준 정보, 골격 정보 등을 수신할 수도 있다.
보정대상 결정부(1820)에서는 중첩되는 골격 부위, 개수, 위치 값에 기초하여 보정의 대상이 될 영역(예컨대, 중첩 골격 위치)을 결정할 수 있다. 연산부(1830)에서는 보정값 수신부(1810)를 통하여 수신된 보정값을 이용하여 중첩 골격 위치 값을 보정하고, 보정된 위치 값에 기초하여 객체를 복원하기 위한 연산을 수행할 수 있다. 다시 말해서, 보정된 위치 값을 이용하여 객체에 대한 복원을 수행할 수 있고, 본 발명의 일 실시예에 따르면 공간 증강 현실에서 종래 대비 객체의 왜곡(예컨대, 일그러짐 등)을 최소화할 수 있다.
도 5는 제 1 객체와 제 2 객체가 중첩되지 않은 경우를 나타내고, 도 6은 제 1 객체와 제 2 객체의 팔과 허리 부분이 중첩(예컨대, 녹색 점선 부분)된 경우를 나타낸다. 또한, 도 7은 제 1 객체와 제 2 객체의 팔과 다리 부분이 중첩(예컨대, 녹색 점선 부분)된 경우를 나타내며, 도 8은 제 1 객체와 제 2 객체가 90 퍼센트(%)이상 중첩(예컨대, 녹색 점선 부분)된 경우를 나타낸다. 도 9는 제 2 객체의 일부가 제 1 객체와 중첩(예컨대, 녹색 점선 부분)되는 경우를 나타낸다.
도 5에서와 같이 객체들이 상호 중첩되지 않는 경우에는 공간 증강 현실에서 객체에 대한 영상 처리 과정에서 오류가 거의 발생되지 않는다. 이에 비하여 도 6 내지 도 9와 같이 객체가 중첩(예컨대, 녹색 점선 부분)되는 경우에는 객체에 대한 영상 처리 시 객체 식별, 변환 매핑 등에서 오차가 발생될 수 있다. 본 발명의 일 실시예에 따르면, 객체가 중첩되는 정도, 중첩되는 부위(예컨대, 위치 값) 등을 파악하고, 이러한 중첩에 의하여 발생될 수 있는 위치 값 등의 오차를 보정하여 객체를 복원해냄으로써 종래 대비 자연스럽고 정확하게 객체를 표현해낼 수 있다.
도 10은 본 발명의 일 실시예에 따른 공간 증강 현실에서의 객체 중첩에 따른 오류를 보정하기 위한 방법을 나타낸 순서도이다.
본 발명의 일 실시예에 따른 공간 증강 현실에서의 객체 중첩에 따른 오류를 보정하기 위한 방법은, 객체가 포함된 영상을 획득하는 단계(S100), 획득된 영상에서 객체를 식별하는 단계(S200), 식별된 객체에 대하여 생성된 아이디를 할당하는 단계(S300), 식별된 객체에 대한 골격 정보를 추출하는 단계(S400), 추출된 골격 정보에 기초하여 객체에 대한 움직임을 실시간으로 추적하는 단계(S500), 획득된 영상에 포함된 복수개의 객체들 간의 중첩도를 추정하는 단계(S600), 추정된 중첩도에 기초하여 객체의 중첩 부위에 대한 골격 정보의 오차를 보정하는 단계(S700) 및 보정된 골격 정보를 이용하여 객체를 복원하는 단계(S800)를 포함하고, 복원된 객체에 대하여는 할당된 아이디가 유지될 수 있다.
본 발명의 일 실시예에 따른 방법과 관련하여서는 전술한 장치에 대한 내용이 적용될 수 있다. 따라서, 방법과 관련하여, 전술한 장치에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다.
한편, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다.
여기서, 컴퓨터 판독 가능 매체는 컴퓨터 기록 매체 및 통신 매체를 포함할 수 있다.
상기 기록 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
상기 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 제 1 객체 20: 제 2 객체
1000: 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치
1100: 영상 획득부 1200: 객체 식별부
1300: 아이디 할당부
1310: 객체구조 식별부 1320: 객체 계수부
1330: 아이디 분배부
1400: 골격정보 추출부 1500: 객체 추적부
1600: 중첩도 추정부
1610: 골격정보 수집부 1620: 중첩여부 판단기준 생성부
1630: 중첩골격 계수부 1640: 중첩비율 추정부
1700: 보정부
1800: 객체 복원부
1810: 보정값 수신부 1820: 보정대상 결정부
1830: 연산부

Claims (8)

  1. 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치에 있어서,
    객체가 포함된 영상을 획득하기 위한 영상 획득부;
    상기 획득된 영상에서 상기 객체를 식별하기 위한 객체 식별부;
    상기 식별된 객체에 대하여 생성된 아이디를 할당하는 아이디 할당부;
    상기 식별된 객체에 대한 골격 정보를 추출하기 위한 골격정보 추출부;
    상기 추출된 골격 정보에 기초하여 상기 객체에 대한 움직임을 실시간으로 추적하기 위한 객체 추적부;
    상기 획득된 영상에 포함된 복수개의 객체들 간의 중첩도를 추정하기 위한 중첩도 추정부;
    상기 추정된 중첩도에 기초하여 상기 객체의 중첩 부위에 대한 골격 정보의 오차를 보정하기 위한 보정부; 및
    상기 보정부를 통하여 보정된 골격 정보를 이용하여 상기 객체를 복원하기 위한 객체 복원부를 포함하고,
    상기 복원된 객체에 대하여는 상기 할당된 아이디가 유지되는 것을 특징으로 하는 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치.
  2. 제 1 항에 있어서,
    상기 영상에는 적어도 하나의 객체가 포함될 수 있고,
    상기 객체 식별부에서는 상기 객체의 심도(depth) 정보에 기초하여 상기 영상으로부터 객체를 식별하는 것을 특징으로 하는 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치.
  3. 제 1 항에 있어서,
    상기 객체는 사람이고,
    상기 골격 정보는 상기 객체의 골격의 시작점과 끝점의 좌표를 쌍으로 하여 추출되는 것을 특징으로 하는 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치.
  4. 제 1 항에 있어서,
    상기 중첩도는 상기 객체가 타 객체와 중첩되기 이전의 골격 정보와 중첩된 이후의 골격 정보간이 차이값에 기초하여 추정되는 것을 특징으로 하는 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치.
  5. 제 4 항에 있어서,
    상기 중첩도는 상기 객체의 전체의 골격 정보 대비 중첩 시 추출된 골격 정보 비율에 기초하여 추정되는 것을 특징으로 하는 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치.
  6. 제 4 항에 있어서,
    상기 보정부에서는 상기 추정된 중첩도에 기초하여 보정의 대상이 될 상기 객체의 골격 정보를 결정하고 상기 결정된 골격 정보의 오차를 보정하며, 상기 골격 정보의 오차는 상기 중첩으로 인한 상기 객체의 위치 값 오차인 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치.
  7. 공간 증강 현실에서의 객체 중첩에 따른 오류를 보정하기 위한 방법에 있어서,
    객체가 포함된 영상을 획득하는 단계;
    상기 획득된 영상에서 상기 객체를 식별하는 단계;
    상기 식별된 객체에 대하여 생성된 아이디를 할당하는 단계;
    상기 식별된 객체에 대한 골격 정보를 추출하는 단계;
    상기 추출된 골격 정보에 기초하여 상기 객체에 대한 움직임을 실시간으로 추적하는 단계;
    상기 획득된 영상에 포함된 복수개의 객체들 간의 중첩도를 추정하는 단계;
    상기 추정된 중첩도에 기초하여 상기 객체의 중첩 부위에 대한 골격 정보의 오차를 보정하는 단계; 및
    상기 보정된 골격 정보를 이용하여 상기 객체를 복원하는 단계를 포함하고,
    상기 복원된 객체에 대하여는 상기 할당된 아이디가 유지되는 것을 특징으로 하는 공간 증강 현실에서의 객체 중첩에 따른 오류를 보정하는 방법.
  8. 제 7 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.



KR1020160020013A 2016-02-19 2016-02-19 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법 KR102582349B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160020013A KR102582349B1 (ko) 2016-02-19 2016-02-19 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160020013A KR102582349B1 (ko) 2016-02-19 2016-02-19 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170098388A KR20170098388A (ko) 2017-08-30
KR102582349B1 true KR102582349B1 (ko) 2023-09-26

Family

ID=59760843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160020013A KR102582349B1 (ko) 2016-02-19 2016-02-19 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102582349B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949341B (zh) * 2019-03-08 2020-12-22 广东省智能制造研究所 一种基于人体骨架结构化特征的行人目标跟踪方法
KR102462934B1 (ko) * 2020-02-25 2022-11-03 제주한라대학교산학협력단 디지털 트윈 기술을 위한 영상 분석 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164641A (ja) 2005-12-15 2007-06-28 Nippon Hoso Kyokai <Nhk> 人物オブジェクト判定装置及び人物オブジェクト判定プログラム
KR101355974B1 (ko) 2010-08-24 2014-01-29 한국전자통신연구원 복수의 객체를 추적하는 객체 추적 방법 및 장치
KR101448391B1 (ko) 2013-06-21 2014-10-13 호서대학교 산학협력단 피플 카운팅 시스템
KR101446422B1 (ko) 2013-04-05 2014-10-30 고려대학교 산학협력단 영상 감시 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140134505A (ko) * 2013-05-14 2014-11-24 경성대학교 산학협력단 영상 객체 추적 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164641A (ja) 2005-12-15 2007-06-28 Nippon Hoso Kyokai <Nhk> 人物オブジェクト判定装置及び人物オブジェクト判定プログラム
KR101355974B1 (ko) 2010-08-24 2014-01-29 한국전자통신연구원 복수의 객체를 추적하는 객체 추적 방법 및 장치
KR101446422B1 (ko) 2013-04-05 2014-10-30 고려대학교 산학협력단 영상 감시 시스템 및 방법
KR101448391B1 (ko) 2013-06-21 2014-10-13 호서대학교 산학협력단 피플 카운팅 시스템

Also Published As

Publication number Publication date
KR20170098388A (ko) 2017-08-30

Similar Documents

Publication Publication Date Title
CN108028871B (zh) 移动设备上的无标记的多用户多对象增强现实
CN110914873B (zh) 增强现实方法、装置、混合现实眼镜及存储介质
CN110866977B (zh) 增强现实处理方法及装置、***、存储介质和电子设备
JP6503906B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN107633526A (zh) 一种图像跟踪点获取方法及设备、存储介质
KR102169309B1 (ko) 정보 처리장치 및 그 제어방법
CN111598993A (zh) 基于多视角成像技术的三维数据重建方法、装置
CN112880687A (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
US9183634B2 (en) Image processing apparatus and image processing method
JP2017011328A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN112434715B (zh) 基于人工智能的目标识别方法、装置及存储介质
JP6196562B2 (ja) 被写体情報重畳装置、被写体情報重畳方法及びプログラム
KR102582349B1 (ko) 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법
WO2020032254A1 (ja) 注意対象推定装置及び注意対象推定方法
CN111192308A (zh) 图像处理方法及装置、电子设备和计算机存储介质
CN109255295B (zh) 基于视觉的舞谱生成方法、装置、设备及存储介质
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
US11423561B2 (en) Learning apparatus, estimation apparatus, learning method, estimation method, and computer programs
US10068339B2 (en) Image processing device, image processing system, image processing method and image processing program
JP2021015559A (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム
JP2005141655A (ja) ３次元モデリング装置及び３次元モデリング方法
CN115272417A (zh) 图像数据的处理方法、图像处理设备以及可读存储介质
KR102099852B1 (ko) 증강현실 게임북을 이용한 멀티유저 증강현실 컨텐츠 제공 시스템 및 방법
KR20220083552A (ko) 착용형 ar 장치를 위한 다중 객체의 6 자유도 추정과 보정 및 이를 적용한 ar 서비스 방법
CN111368675A (zh) 手势深度信息的处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant