KR20150132743A - 디스플레이 장치 및 그 제어 방법 - Google Patents

디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20150132743A
KR20150132743A KR1020140058961A KR20140058961A KR20150132743A KR 20150132743 A KR20150132743 A KR 20150132743A KR 1020140058961 A KR1020140058961 A KR 1020140058961A KR 20140058961 A KR20140058961 A KR 20140058961A KR 20150132743 A KR20150132743 A KR 20150132743A
Authority
KR
South Korea
Prior art keywords
user
character
movement
joint region
predetermined
Prior art date
Application number
KR1020140058961A
Other languages
English (en)
Other versions
KR101592977B1 (ko
Inventor
임수연
장승은
김상욱
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140058961A priority Critical patent/KR101592977B1/ko
Publication of KR20150132743A publication Critical patent/KR20150132743A/ko
Application granted granted Critical
Publication of KR101592977B1 publication Critical patent/KR101592977B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이 장치가 개시된다. 디스플레이 장치는, 사용자의 관절 영역을 기설정된 문자를 구성하는 특징점에 매핑시켜 저장하는 저장부, 기설정된 문자를 디스플레이하는 디스플레이부, 사용자에게 빛을 방사하여 투영된 빛으로 사용자의 움직임을 감지하는 센서부 및 저장부에 저장된 정보에 기초하여, 사용자의 관절 영역을 기설정된 문자의 특징점에 매핑하고, 감지된 사용자의 움직임에 따라 문자의 형태를 변형시켜 디스플레이하는 제어부를 포함한다.

Description

디스플레이 장치 및 그 제어 방법 {Display apparatus and control method thereof }
본 발명은 디스플레이 장치 및 그 제어 방법에 대한 것으로, 보다 상세하게는 문자의 형태를 변경하여 디스플레이하는 디스플레이 장치 및 그 제어 방법에 대한 것이다.
멀티미디어 기술이 발달함에 따라 다양한 유형의 컨텐츠 환경이 제공되고 있다. 최근에는 하드웨어 및 소프트웨어의 발달과 함께 새로운 컨텐츠 제공 방법이 개발되고 있으며, 특히 사용자와의 상호작용이 가능한 컨텐츠 환경이 조성되고 있다.
이러한 컨텐츠들은 아직 초기 단계에 불과하지만, 기존 일방적인 컨텐츠 제공 방법과는 차이가 있으며, 사용자들은 컨텐츠들과 상호작용이 가능하다. 이러한 컨텐츠 제공은 별도의 센서 등이 요구되나, 디스플레이 장치는 기존의 휴대폰이나 태블릿 PC, 랩탑 PC, Smart TV, 홀로그램 등과 같이 다양한 하드웨어 환경에서 사용될 수 있다.
다만, 아직까지 하드웨어적으로 상호작용이 가능한 센서 등의 한계가 있으며, 소프트웨어적으로도 초기단계에 불과하다. 특히, 이러한 상호작용이 한글과 관련되어 감성적 표현을 하거나 영상예술 시스템에 이용되는 경우는 매우 드물며, 그에 따른 기술의 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 사용자의 움직임에 기초하여 문자의 형태를 변경하고 디스플레이하는 디스플레이 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 디스플레이 장치는, 사용자의 관절 영역을 기설정된 문자를 구성하는 특징점에 매핑시켜 저장하는 저장부, 기설정된 문자를 디스플레이하는 디스플레이부, 사용자에게 빛을 방사하여 투영된 빛으로 사용자의 움직임을 감지하는 센서부, 및 저장부에 저장된 정보에 기초하여, 사용자의 관절 영역을 기설정된 문자의 특징점에 매핑하고, 감지된 사용자의 움직임에 따라 문자의 형태를 변형시켜 디스플레이하는 제어부를 포함한다.
또한, 제어부는 센서부를 통해 감지된 사용자의 형상으로부터 관절 영역을 추출하고, 추출된 관절 영역을 기설정된 문자의 특징점에 매핑할 수 있다.
그리고, 제어부는 사용자의 움직임이 제1 동작 범위에 속하는 경우 사용자의 움직임에 따라 기설정된 문자의 형태를 변형시키고, 사용자의 움직임이 제2 동작 범위에 속하는 경우 기설정된 문자의 형태를 기설정된 변형 방법에 따라 변형시키고, 사용자의 움직임이 제3 동작 범위에 속하는 경우 기설정된 문자를 다른 문자로 변경할 수 있다.
또한, 제어부는 사용자의 움직임이 제2 동작 범위에 속하는 경우 기설정된 문자가 쉐이킹(shaking)되는 디스플레이 효과를 부여할 수 있다.
그리고, 제어부는 사용자의 움직임이 제3 동작 범위에 속하는 경우 기설정된 문자를 다른 문자로 변경하고, 추출된 사용자의 관절 영역을 변경된 다른 문자의 특징점에 매핑할 수 있다.
또한, 제어부는 기설정된 시간이 경과하면 기설정된 문자를 다른 문자로 변경하고, 추출된 사용자의 관절 영역을 변경된 다른 문자의 특징점에 매핑할 수 있다.
한편, 센서부는 복수 개의 센서로 구성되어 있고, 제어부는 복수 개의 센서로부터 인식된 사용자의 관절 영역을 각각의 센서에 기 설정된 상이한 문자의 특징점에 매핑하여 사용자의 움직임에 따라 상이한 문자들의 형태를 변형시킬 수 있다.
그리고, 디스플레이 장치는 홀로그램 출력 장치인 것을 특징으로 한다.
한편, 본 발명의 일 실시 예에 따르면, 디스플레이 장치의 제어 방법은, 기설정된 문자를 디스플레이하는 단계, 사용자에게 빛을 방사하여 투영된 빛으로 사용자의 움직임을 감지하는 단계, 기 저장된 정보에 기초하여 사용자의 관절 영역을 기설정된 문자를 구성하는 특징점에 매핑하고, 감지된 사용자의 움직임에 따라 기 문자의 형태를 변형시켜 디스플레이하는 단계를 포함한다.
그리고, 디스플레이하는 단계는, 감지된 사용자의 형상으로부터 관절 영역을 추출하고, 추출된 관절 영역을 기설정된 문자의 특징점에 매핑할 수 있다.
또한, 디스플레이하는 단계는, 사용자의 움직임이 제1 동작 범위에 속하는 경우 사용자의 움직임에 따라 기설정된 문자의 형태를 변형시키고, 사용자의 움직임이 제2 동작 범위에 속하는 경우 기설정된 문자의 형태를 기설정된 변형 방법에 따라 변형시키고, 사용자의 움직임이 제3 동작 범위에 속하는 경우 기설정된 문자를 다른 문자로 변경할 수 있다.
그리고, 디스플레이하는 단계는, 사용자의 움직임이 제2 동작 범위에 속하는 경우 기설정된 문자가 쉐이킹(shaking)되는 디스플레이 효과를 부여할 수 있다.
또한, 디스플레이하는 단계는, 사용자의 움직임이 제3 동작 범위에 속하는 경우 기설정된 문자를 다른 문자로 변경하고, 추출된 사용자의 관절 영역을 변경된 다른 문자의 특징점에 매핑할 수 있다.
그리고, 기설정된 문자를 디스플레이하는 단계는, 기설정된 시간이 경과하면 기설정된 문자를 다른 문자로 변경하고, 추출된 사용자의 관절 영역을 변경된 다른 문자의 특징점에 매핑할 수 있다.
한편, 디스플레이하는 단계는, 복수 개의 센서로부터 인식된 사용자의 관절 영역을 각각의 센서에 기 설정된 상이한 문자의 특징점에 매핑하여 사용자의 움직임에 따라 상이한 문자들의 형태를 변형시킬 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자의 움직임에 따라 문자의 형태를 변형하여 디스플레이함으로써, 디스플레이 장치와 사용자와의 상호 작용 및 감성적 표현이 가능하다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도들이다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 센서부를 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 디스플레이 장치의 센서부의 동작 원리를 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 디스플레이 장치의 센서부의 라이트 패턴이 방사된 상태를 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 사용자의 관절 영역을 기설정된 문자의 특징점에 매핑한 상태를 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 사용자의 움직임에 따른 기설정된 문자의 다양한 형태 변화를 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 다른 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도들이다.
도 1a에 따르면, 디스플레이 장치(100)는 디스플레이부(110), 제어부(120), 저장부(130) 및 센서부(140)를 포함한다. 도 1a에서는 본 발명의 다양한 실시 예에 따른 동작에 관여하는 구성요소들에 대해서만 도시하였으며, 나머지 세부 구성요소들에 대한 도시는 생략하였다.
디스플레이 장치(100)는 기존 TV와 같은 일반 디스플레이 장치의 용도와 사용자의 움직임에 따라 기설정된 문자의 형태를 변형시켜 디스플레이하도록 구현될 수도 있다. 또한, 기존 TV 영상이 재생되면서 기설정된 문자가 변형되는 상태가 오버랩(overlap)되는 것으로 구현될 수도 있다.
디스플레이부(110)는 센서부에 의해 사용자의 움직임이 있기 전까지는 대기화면을 디스플레이할 수 있다. 대기화면은 기설정된 정지영상 또는 동영상일 수 있다. 또한 사용자에게 움직임을 요구하는 영상이거나 센서부가 사용자의 움직임을 감지할 수 있음을 나타내는 영상일 수 있다.
특히, 디스플레이부(110)는 사용자에게 사용자가 원하는 문자를 설정하도록 요구하는 영상을 디스플레이할 수 있고, 사용자의 입력에 따라 사용자가 원하는 문자가 선택되었음을 표시하는 영상을 디스플레이할 수도 있다.
또한, 기설정된 문자 또는 사용자가 원하는 문자가 선택된 후, 사용자의 움직임을 감지하였음을 나타내는 표시, 사용자의 움직임에 따라 사용자의 관절 영역이 기설정된 문자의 특징점에 매핑되었음을 나타내는 표시 등을 디스플레이할 수 있다.
디스플레이부(110)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이부(110)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 특히, 디스플레이부(110)은 사용자와의 상호작용의 효과를 극대화하기 위해 홀로그램으로 구현될 수도 있다.
제어부(120)는 디스플레이 장치(100)의 동작을 전반적으로 제어할 수 있다.
특히, 제어부(120)는 사용자가 원하는 문자를 선택하도록 요구하는 UI화면, 사용자의 입력에 따라 사용자가 원하는 문자가 선택되었음을 표시하는 영상을 디스플레이하도록 제어할 수 있다. 다만, 경우에 따라서는 디스플레이 장치 본연의 역할을 수행하여 기존 TV 화면 또는 다른 영상을 표시하도록 제어할 수 있으나, 이는 본 발명의 기술적 사상과는 관계가 없으므로 자세한 설명을 생략하도록 한다.
한편, 제어부(120)는 사용자의 움직임이 감지된 경우 사용자의 움직임을 감지하고 있음을 나타내는 영상을 디스플레이하도록 제어하며, 사용자의 움직임으로부터 사용자의 관절 영역을 추출할 수 있다. 추출된 사용자의 관절 영역은 기설정된 문자의 특징점 또는 사용자의 입력에 의해 설정된 문자의 특징점에 매핑될 수 있고, 사용자의 움직임에 따라 기설정된 문자 또는 사용자의 입력에 의해 설정된 문자의 형태를 변형시키고 디스플레이하도록 제어할 수 있다. 여기서, 특징점이란 글자의 형태에서 특정 지점을 뜻하는 것으로 글자가 꺾이는 점 등을 의미할 수 있다. 다만, 이는 이에 한정될 것은 아니며, 디스플레이 장치(100)의 제공자에 의해 특징점을 추출하여 제공될 수도 있고, 저장부에 저장된 기설정된 알고리즘에 의해 사용자의 관절 영역에 기초하여 임의적으로 선택하여 제공될 수도 있다.
또한, 제어부(120)는 후술할 센서부(140)에 의해 사용자의 움직임을 입력받고 이로부터 사용자의 관절 영역을 추출한다. 이때, 사용자의 관절 영역은 실제 인간의 관절 영역을 의미할 수도 있으나, 하드웨어적인 제한을 고려하여 소프트웨어적으로 설정된 관절 영역일 수 있다. 따라서 실제 인간의 관절 영역과 일치하지 않을 수 있으며, 관절 영역의 숫자도 다를 수 있다.
그리고, 제어부(120)는 센서부(140)에 의해 사용자의 움직임을 입력받을 수도 있으나, 사용자의 정지영상만을 입력받을 수도 있다. 사용자의 움직임을 입력받는 경우 연속적인 사용자의 관절 영역이 추출되나, 사용자의 정지 영상만을 수신하는 경우 각 사용자의 정지영상으로부터 사용자의 관절 영역을 추출하여 관절 영역의 이동을 계산하여 사용자의 움직임이 아닌 사용자의 관절 영역의 움직임을 계산하게 된다. 다만, 이는 발명의 최종적 결과와는 무관한 내부적인 알고리즘에 해당하며, 이에 한정되지 않는다.
또한, 제어부(120)는 추출된 사용자의 관절 영역을 문자의 특징점에 매핑하는 과정에 있어서, 디스플레이 장치(100)의 제공자에 의해 관절 영역을 기지정된 문자의 특징점에 매핑할 수도 있지만, 기지정된 매핑 정보 없이 알고리즘에 의해 사용자의 움직임이 감지될 때마다 사용자의 관절 영역을 문자의 특징점으로 매핑할 수도 있다. 이때, 알고리즘에 의한 경우는 사용자의 관절 영역과 가장 가까운 특징점으로 매핑하는 것일 수 있으나, 이는 일 실시 예에 불과하다. 또한, 매핑 과정에서 사용자의 관절 영역과 문자의 특징점으로의 매핑이 어려운 경우는 새로운 문자를 지정하도록 요구할 수 있으며, 이 역시 일 실시 예에 불과하다.
한편, 제어부(120)는 사용자의 움직임에 따라 설정된 문자의 형태를 변경시켜 디스플레이하도록 제어하는데, 이때, 사용자의 움직임이 문자의 형태를 변경시키는 것 이상으로 움직여 문자의 원래 의미가 변경되는 경우가 있을 수 있다. 이는 디스플레이 장치의 제공자의 의도에 의할 수 있으며, 문자의 의미가 변경되거나, 문자로서 인식될 수 없을 정도로 변경되는 경우에도 사용자의 움직임에 기초하여 계속하여 문자의 형태가 변경되도록 할 수 있으나, 이는 일 실시 예에 불과하다.
또한, 제어부(120)는 사용자의 움직임에 의해 문자의 의미가 변경되거나, 문자로서 인식될 수 없을 정도로 변경되는 경우에는 이를 제한하도록 구현될 수 있다. 구체적으로 사용자의 움직임이 제1 동작 범위에 속하는 경우 사용자의 움직임에 따라 기설정된 문자의 형태를 변형시키고, 사용자의 움직임이 제2 동작 범위에 속하는 경우 기설정된 문자의 형태를 기설정된 변형 방법에 따라 변형시키고, 사용자의 움직임이 제3 동작 범위에 속하는 경우 기설정된 문자를 다른 문자로 변경할 수 있다.
이때, 각각의 동작 범위는 기설정된 문자에 의해 결정되어 있으며, 제1 동작 범위는 기설정된 문자의 형태가 유지되는 범위에 대응하는 동작 범위이다. 따라서 이 범위 내의 움직임이라면 사용자는 기설정된 문자의 형태가 변경되어 디스플레이되어도 문자로서 인식할 수 있으며, 사용자의 움직임에 따라 문자의 형태가 계속하여 변경된다.
제2 동작 범위의 경우 문자의 형태가 인식하기 어려운 상태로 되어 사용자가 좀더 움직이면 문자로서 유지될 수 없는 경우에 해당한다. 이 범위에서 문자는 더 이상 사용자의 움직임을 따라 변형되지 않고, 문자의 형태가 기설정된 변형 방법에 따라 변형될 수 있다. 예를 들어, 기설정된 변형 방법은, 문자의 형태가 유지된 채로 좌우로 움직이는 변형 방법이거나 기설정된 문자가 쉐이킹(shaking)되는 디스플레이 효과일 수 있다. 다만 이는 일 실시 예에 불과하며 다른 실시 예에 따르면, 제2 동작 범위의 경우 색상 변경 등의 디스플레이 효과가 제공되는 것도 가능하다.
제2 동작 범위에서 문자의 기설정된 변형 방법에 따라 변형되고 있는 경우, 사용자의 움직임이 다시 제1 동작 범위 내로 들어오면 문자의 형태는 사용자의 움직임에 따라 변형되고, 사용자의 움직임이 제3 동작 범위 내로 들어가게 되면, 다른 문자로 변경된다. 이때, 다른 문자로의 변경은 기설정된 알고리즘에 의해 사용자의 움직임에 의한 관절 영역의 위치와 가장 정합되는 문자로 변경되는 것일 수 있으나, 이는 일 실시 예에 불과하다. 다른 문자로 변경되는 경우 기설정된 알고리즘에 의해 새로운 문자가 선택되면, 제어부(120)는 사용자의 관절 영역을 변경된 다른 문자의 특징점에 새롭게 매핑하고, 사용자의 움직임에 따라 변경된 다른 문자의 형태가 변형되고 디스플레이하도록 제어할 수 있다.
한편, 제어부(120)는 사용자의 움직임이 제3 범위에 진입하지 않더라도 기설정된 시간이 경과하면 기설정된 문자를 다른 문자로 변경하도록 제어할 수 있다. 이 경우, 다른 문자로 변경되는 것은 기설정된 문자의 순서에 의할 수도 있고, 변경되는 시점의 사용자의 관절 영역의 배치로부터 기설정된 알고리즘에 의해 가장 유사한 문자로 변경되도록 할 수 있다. 문자가 변경된 경우, 제어부(120)는 사용자의 관절 영역을 변경된 다른 문자의 특징점에 새롭게 매핑하고, 사용자의 움직임에 따라 변경된 다른 문자의 형태가 변형되고 디스플레이하도록 제어할 수 있다.
또한, 디스플레이 장치(100)는 복수 개의 센서를 구비할 수 있다. 이 경우 제어부(120)는 복수 개의 센서로부터 인식된 사용자의 관절 영역을 각각의 센서에 기설정된 상이한 문자의 특징점에 매핑하여 사용자의 움직임에 따라 상이한 문자들의 형태를 변형시키도록 제어할 수 있다. 이때, 복수 개의 센서는 하나의 제어부에 의해 제어될 수도 있으나, 각각의 제어부에 의해 독립하여 제어될 수도 있다.
저장부(130)는 사용자의 관절 영역에 대한 정보와 문자를 구성하는 특징점에 대한 매핑 정보를 저장할 수 있다. 관절 영역에 대한 정보는 하드웨어적으로 제한될 수 있으며, 문자를 구성하는 특징점은 하드웨어적으로 제한된 관절 영역에 대한 정보와 각 문자의 특징에 따라 디스플레이 장치(100)의 제공자가 적절하게 설정할 수 있다.
또한 저장부(130)는 사용자의 움직임에 대한 동작 범위를 저장하고 있을 수있다. 사용자의 동작 범위가 제2 영역에 해당하는 경우 기설정된 문자의 변형 방법을 저장하고 있을 수 있고, 문자의 변형 방법은 쉐이킹되는 디스플레이 효과를 부여하는 방법일 수 있으나, 일 실시 예에 불과하다.
그리고, 저장부(130)는 사용자의 동작 범위가 제3 영역에 해당하여 기설정된 문자가 변경되어야 할 경우에 변경될 문자의 순서를 저장하고 있을 수도 있고, 유사한 문자로 매핑하는 알고리즘을 저장하고 있을 수도 있다.
발명의 일 실시 예에 따라 디스플레이 장치(100)는 기설정된 시간이 경과하면 기설정된 문자를 다른 문자로 변경할 수 있는데, 이때 저장부(130)는 변경될 문자의 순서를 저장하고 있을 수도 있고, 기설정된 시간이 경과한 때에 사용자의 관절 영역에 대한 정보로부터 변경될 문자를 결정하는 알고리즘을 저장하고 있을 수 있다.
센서부(140)는 사용자의 움직임을 감지한다. 구체적으로, 센서부(140)는 특정한 라이트 패턴을 방사하여 카메라로 왜곡된 라이트 패턴을 찍어서 3D 물체(예를 들어, 사용자)를 인식할 수 있다. 이때, 방사되는 라이트 패턴은 사용자의 눈에 보이지 않는 라이트 패턴일 수 있다. 또한, 라이트 패턴은 점 형태일 수도 있고, 직선 형태일 수도 있다. 센서부(140)에 관하여는 도 2, 3, 4에서 후술한다.
도 1b는 본 발명의 다른 실시 예에 따른 디스플레이 장치(100')의 세부 구성을 나타내는 블럭도이다. 도 1b에 따르면, 디스플레이 장치(100')는 디스플레이부(110), 제어부(120), 저장부(130), 센서부(140), 통신부(150), 오디오 처리부(160), 비디오 처리부(170), 스피커(180), 버튼(181), 마이크(182), 사용자 인터페이스부(190)를 포함한다. 도 1b에 도시된 구성요소들 중 도 1a에 도시된 구성요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
제어부(120)는 저장부(130)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(100)의 동작을 전반적으로 제어한다.
구체적으로, 제어부(120)는 RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n), 버스(126)를 포함한다.
RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n) 등은 버스(126)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(125-1 내지 125-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(123)는 저장부(130)에 액세스하여, 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(130)에 저장된 각종 프로그램, 웹 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(123)는 ROM(122)에 저장된 명령어에 따라 저장부(130)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(123)는 저장부(130)에 저장된 각종 어플리케이션 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(124)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이부(110)의 디스플레이 영역 내에 표시된다.
한편, 상술한 제어부(120)의 동작은 저장부(130)에 저장된 프로그램에 의해 이루어질 수 있다.
저장부(130)는 디스플레이 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 문자 정보, 각종 관절 영역 정보, 각종 매핑 정보, 각종 알고리즘 정보 등과 같이 다양한 데이터를 저장한다.
이 경우 제어부(120)는 저장부(130)에 저장된 정보에 기초하여 사용자의 움직임에 따른 기설정된 문자의 형태를 변경하고 디스플레이할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 센서부를 나타내는 도면이다.
도 2에 도시된 바와 같이 센서부는 RGB 카메라(220)와 3D Depth 센서로 구성된다. 3D Depth 센서는 적외선 프로젝터(210)와 Depth Image CMOS(230)로 구성된다. RGB 카메라(220)는 일반적인 카메라와 동일하다. 컬러 영상을 획득할 수 있으며, 이후 획득된 컬러 영상은 제어부에 의해 분석된다.
3D Depth 센서 중 적외선 프로젝터(210)는 라이트 패턴을 방출하며, 이는 적외선일 수 있다. 기존 거리를 측정하는 방식으로 전파를 방사하여 반사파가 되돌아오는 시간으로 거리를 측정하는 것이 아니라 라이트 패턴을 직접 방출하여 3D Depth 센서 중 다른 한 부분인 Depth Image CMOS(230)로 깊이감을 계산하는 것으로, 적외선 프로젝터(210)는 특정 패턴의 라이트 패턴을 방사한다. 점으로 구성된 패턴일 수 있고, 직선으로 구성된 패턴일 수 있으나, 이는 일 실시 예에 불과하다.
Depth Image CMOS(230)는 방사된 패턴의 모양에 따라 깊이감을 계산한다. 특히 패턴의 간격이나 변형, 사이즈를 보고 깊이감을 계산한다.
이러한 센서부는 야간에도 가능하다는 점에서 장점이 있으며, 도시된 바와 같은 구성은 일 실시 예에 불과하며, 다른 형태이거나 RGB 카메라(220)와 적외선 프로젝터(210) 및 Depth Image CMOS(230)는 다른 배치를 가질 수도 있으며, 디스플레이 장치와 통합 구성될 수도 있다.
도 3은 본 발명의 일 실시 예에 따른 디스플레이 장치의 센서부의 동작 원리를 나타내는 도면이다.
구체적으로 도 3에서 적외선 프로젝터(210)에서 방사된 라이트 패턴은 사용자(310)에게 방사되어 특정 패턴을 형성하게 된다. 이때 정적으로는 사용자 얼굴의 윤곽, 체형 등에 따라 특정 패턴이 형성되며, 동적으로는 사용자의 움직임에 따라 패턴이 변경된다.
Depth Image CMOS(230)에서는 사용자에 방사된 패턴에서 패턴의 간격이나 변형, 사이즈를 보고 깊이감을 계산한다. 그에 따라, 계산된 깊이감과 RGB 카메라(220)에 의해 인식된 영상을 제어부(120)가 수신하여 필요한 제어를 하게 된다.
도 4는 본 발명의 일 실시 예에 따른 디스플레이 장치의 센서부의 라이트 패턴이 방사된 상태를 나타내는 도면이다.
도 4에 따르면, 방사된 라이트 패턴은 원형으로 구성되어 있다. 또한 사용자의 얼굴 윤곽으로부터 돌출된 부분에 해당하는 얼굴 전면, 특히 코 부분의 방사 패턴은 다른 부분에 비해 크기가 크다. 이에 따라 거리가 더 가깝다고 계산되며, 패턴이 작을수록 멀리 떨어져 있는 것으로 판단한다.
도 4에 따르면, 원형의 라이트 패턴을 방사하는 것으로 되어 있으나, 이는 일 실시 예에 불과하며, 직선 그 밖의 다양한 패턴을 방사할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 사용자의 관절 영역을 기설정된 문자의 특징점에 매핑한 상태를 나타내는 도면이다.
도 5에 따르면, 사용자의 관절 영역은 20개로 구성되어 있다. 머리에 1개, 양팔에 각각 3개씩 총 6개, 양다리에 각각 3개씩 총 6개, 몸통에 2개, 몸통과 각 부위로 연결되는 부분에 1개씩 총 5개로 구성되어 있으며, 이는 일 실시 예에 불과하고 다른 구성도 가능하다.
기설정된 문자는 '헐'(520)이란 문자를 이용하였으며, 초성 'ㅎ'에 6개, 중성 'ㅓ'에 5개, 종성 'ㄹ'에 6개의 사용자의 관절 영역이 매핑되어 있다. 문자를 구성하는 특징점에 매핑되어 사용자의 모든 관절 영역이 사용되지 않았으며, 이는 일 실시 예에 불과하여, 디스플레이 장치(100)의 제공자는 '헐'이란 문자에 사용자의 모든 관절 영역을 매핑하도록 설정해둘 수도 있다. 또한 다른 문자, 예를 들어 '이'와 같은 문자는 사용자의 관절 영역을 더 적게 사용할 수도 있다. 그리고 '이'와 같은 문자에 모든 관절 영역을 매핑하도록 설정해둔 경우 사용자의 움직임에 따라 '이'에서 계속하여 문자가 변경되는 구성도 가능하다.
현재 사용자의 관절 영역에 의한 '헐'이란 문자는 정확히 '헐'로서 인지하기 어려울 수 있으나, 그 결과로서 디스플레이되는 문자(520)는 기설정된 알고리즘을 통해 '헐'을 인식할 수 있도록 수정되어 표현될 수 있다. 다만, 이는 일 실시예에 불과하고, 도 5에 나타낸 듯이 문자를 인식할 수 없더라도 그대로 표현하는 구성도 가능하며, 문자를 인식할 수 없는 상태가 되어, 즉 사용자의 움직임이 제2 동작 범위에 해당하여 디스플레이되는 문자는 사용자의 움직임에 따른 형태의 변경이 없이 기설정된 변형 방법에 따라 변형되어 디스플레이될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 사용자의 움직임에 따른 기설정된 문자의 다양한 형태 변화를 나타내는 도면이다.
도 6에 따르면, 사용자의 움직임에 따라 기설정된 문자인 '헐'이 다양하게 변형되는 것을 알 수 있다. 이와 같은 변형은 사용자의 움직임이 제1 동작 영역인 경우에 해당하며, 그 범위 밖인 경우에는 문자의 변형이 기설정된 변형 방법일 수 있고, 문자 자체가 변경되는 경우일 수도 있다.
도 7은 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 7에 도시된 바와 같이 디스플레이 장치의 제어 방법에 따르면, 디스플레이 장치는 기설정된 문자를 디스플레이한다(S710).
이어서, 사용자에게 빛을 방사하여 투영된 빛으로 사용자의 움직임을 감지한다(S720). 이후, 기 저장된 정보에 기초하여 사용자의 관절 영역을 기설정된 문자를 구성하는 특징점에 매핑하고, 감지된 사용자의 움직임에 따라 문자의 형태를 변형시켜 디스플레이한다(S730).
또한, 디스플레이하는 S710 단계에서는, 감지된 사용자의 형상으로부터 관절 영역을 추출하고, 추출된 관절 영역을 기설정된 문자의 특징점에 매핑할 수 있다.
또한, 디스플레이하는 단계는, 사용자의 움직임이 제1 동작 범위에 속하는 경우 사용자의 움직임에 따라 기설정된 문자의 형태를 변형시키고, 사용자의 움직임이 제2 동작 범위에 속하는 경우 기설정된 문자의 형태를 기설정된 변형 방법에 따라 변형시키고, 사용자의 움직임이 제3 동작 범위에 속하는 경우 기설정된 문자를 다른 문자로 변경할 수 있다.
또한, 디스플레이하는 S710 단계에서는, 사용자의 움직임이 제2 동작 범위에 속하는 경우 기설정된 문자가 쉐이킹(shaking)되는 디스플레이 효과를 부여할 수 있다.
또한, 디스플레이하는 S710 단계에서는, 사용자의 움직임이 제3 동작 범위에 속하는 경우 기설정된 문자를 다른 문자로 변경하고, 추출된 사용자의 관절 영역을 변경된 다른 문자의 특징점에 매핑할 수 있다.
또한, 디스플레이하는 S710 단계에서는, 기설정된 시간이 경과하면 기설정된 문자를 다른 문자로 변경하고, 추출된 사용자의 관절 영역을 변경된 다른 문자의 특징점에 매핑할 수 있다.
또한, 디스플레이하는 S710 단계에서는, 복수 개의 센서로부터 인식된 사용자의 관절 영역을 각각의 센서에 기 설정된 상이한 문자의 특징점에 매핑하여 사용자의 움직임에 따라 상이한 문자들의 형태를 변형시킬 수 있다.
도 8은 본 발명의 다른 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 8에서와 같이, 사용자는 디스플레이 장치를 초기화한다(S810). 이어서, 초기화면을 디스플레이한다(S820). 초기화면은 사용자에게 문자를 설정하라고 요구하는 화면이거나 그 밖의 다른 화면일 수 있다.
그리고, 센서부에 의해 사용자의 움직임을 감지하여(S830), 사용자의 움직임이 감지되는 경우, 기설정된 문자를 디스플레이하고 감지된 사용자의 움직임에 따라 문자의 형태를 변형시켜 디스플레이한다(S840). 초기화면이 디스플레이된 상태에서 사용자의 움직임이 감지되지 않는 경우, 계속하여 초기화면이 디스플레이된다.
사용자의 움직임이 감지되어 기설정된 문자가 사용자의 움직임에 따라 문자의 형태를 변형하는 상호작용 시간이 기설정된 시간 이상인지를 판단한다(S850). 이 경우 상호작용 시간이 기설정된 시간 이내인 경우 제어부는 계속하여 사용자의 움직임을 감지하여 기설정된 문자의 형태를 변형시킬 수 있다. 그러나 상호작용 시간이 기설정된 시간 이상인 경우 제어부는 기설정된 문자의 형태의 변형을 중지하고 중지한 영상 그대로 스냅샷(snapshot)을 저장한다. 저장된 스냅샷은 디스플레이 장치(100)을 통해 디스플레이된다(S860).
이어서, 변형된 문자와 사용자의 관절 정보를 갱신하고(S870), 사용자로부터 종료 요청(S880)이 있는 경우 디스플레이 장치의 센서부를 정지(S890)하고 스냅샷을 저장하고, 사용자로부터 종료 요청(S880)이 없는 경우 계속하여 사용자의 움직임을 감지하고 사용자의 움직임에 따라 기설정된 문자의 형태를 변형하여 디스플레이한다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 디스플레이 장치, 사용자 단말 장치, 서버의 제어 방법은 컴퓨터로 실행가능한 프로그램 코드로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 프로세서에 의해 실행되도록 각 장치들에 제공될 수 있다.
일 예로, 사용자에게 빛을 방사하여 투영된 빛으로 사용자의 움직임을 감지하는 단계, 및 기 저장된 정보에 기초하여 사용자의 관절 영역을 기설정된 문자를 구성하는 특징점에 매핑하고, 감지된 사용자의 움직임에 따라 문자의 형태를 변형시키는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 디스플레이부
120: 제어부 130: 저장부
140: 센서부

Claims (15)

  1. 사용자의 관절 영역을 기설정된 문자를 구성하는 특징점에 매핑시켜 저장하는 저장부;
    기설정된 문자를 디스플레이하는 디스플레이부;
    사용자에게 빛을 방사하여 투영된 빛으로 사용자의 움직임을 감지하는 센서부; 및
    상기 저장부에 저장된 정보에 기초하여, 상기 사용자의 관절 영역을 상기 기설정된 문자의 특징점에 매핑하고, 상기 감지된 사용자의 움직임에 따라 상기 문자의 형태를 변형시켜 디스플레이하는 제어부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 센서부를 통해 감지된 사용자의 형상으로부터 관절 영역을 추출하고, 추출된 관절 영역을 상기 기설정된 문자의 특징점에 매핑하는 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 사용자의 움직임이 제1 동작 범위에 속하는 경우 상기 사용자의 움직임에 따라 상기 기설정된 문자의 형태를 변형시키고, 상기 사용자의 움직임이 제2 동작 범위에 속하는 경우 상기 기설정된 문자의 형태를 기설정된 변형 방법에 따라 변형시키고, 상기 사용자의 움직임이 제3 동작 범위에 속하는 경우 상기 기설정된 문자를 다른 문자로 변경하는 것을 특징으로 하는 디스플레이 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 사용자의 움직임이 상기 제2 동작 범위에 속하는 경우 상기 기설정된 문자가 쉐이킹(shaking)되는 디스플레이 효과를 부여하는 것을 특징으로 하는 디스플레이 장치.
  5. 제3항에 있어서,
    상기 제어부는,
    상기 사용자의 움직임이 상기 제3 동작 범위에 속하는 경우 상기 기설정된 문자를 상기 다른 문자로 변경하고, 추출된 사용자의 관절 영역을 상기 변경된 다른 문자의 특징점에 매핑하는 것을 특징으로 하는 디스플레이 장치.
  6. 제2항에 있어서,
    상기 제어부는,
    기설정된 시간이 경과하면 상기 기설정된 문자를 다른 문자로 변경하고, 상기 추출된 사용자의 관절 영역을 상기 변경된 다른 문자의 특징점에 매핑하는 것을 특징으로 하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 센서부는,
    복수 개의 센서로 구성되어 있고,
    상기 제어부는,
    상기 복수 개의 센서로부터 인식된 상기 사용자의 관절 영역을 각각의 센서에 기 설정된 상이한 문자의 특징점에 매핑하여 상기 사용자의 움직임에 따라 상기 상이한 문자들의 형태를 변형시키는 것을 특징으로 하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 디스플레이 장치는,
    홀로그램 출력 장치인 것을 특징으로 하는 디스플레이 장치.
  9. 디스플레이 장치의 제어 방법에 있어서,
    기설정된 문자를 디스플레이하는 단계;
    사용자에게 빛을 방사하여 투영된 빛으로 사용자의 움직임을 감지하는 단계; 및
    기 저장된 정보에 기초하여 상기 사용자의 관절 영역을 상기 기설정된 문자를 구성하는 특징점에 매핑하고, 상기 감지된 사용자의 움직임에 따라 상기 문자의 형태를 변형시켜 디스플레이하는 단계;를 포함하는 제어 방법.
  10. 제9항에 있어서,
    상기 디스플레이하는 단계는,
    감지된 사용자의 형상으로부터 관절 영역을 추출하고, 추출된 관절 영역을 상기 기설정된 문자의 특징점에 매핑하는 것을 특징으로 하는 제어 방법.
  11. 제10항에 있어서,
    상기 디스플레이하는 단계는,
    상기 사용자의 움직임이 제1 동작 범위에 속하는 경우 상기 사용자의 움직임에 따라 상기 기설정된 문자의 형태를 변형시키고, 상기 사용자의 움직임이 제2 동작 범위에 속하는 경우 상기 기설정된 문자의 형태를 기설정된 변형 방법에 따라 변형시키고, 상기 사용자의 움직임이 제3 동작 범위에 속하는 경우 상기 기설정된 문자를 다른 문자로 변경하는 것을 특징으로 하는 제어 방법.
  12. 제11항에 있어서,
    상기 디스플레이하는 단계는,
    상기 사용자의 움직임이 상기 제2 동작 범위에 속하는 경우 상기 기설정된 문자가 쉐이킹(shaking)되는 디스플레이 효과를 부여하는 것을 특징으로 하는 제어 방법.
  13. 제11항에 있어서,
    상기 디스플레이하는 단계는,
    상기 사용자의 움직임이 상기 제3 동작 범위에 속하는 경우 상기 기설정된 문자를 상기 다른 문자로 변경하고, 추출된 사용자의 관절 영역을 상기 변경된 다른 문자의 특징점에 매핑하는 것을 특징으로 하는 제어 방법.
  14. 제10항에 있어서,
    상기 디스플레이하는 단계는,
    기설정된 시간이 경과하면 상기 기설정된 문자를 다른 문자로 변경하고, 상기 추출된 사용자의 관절 영역을 상기 변경된 다른 문자의 특징점에 매핑하는 것을 특징으로 하는 제어 방법.
  15. 제9항에 있어서,
    상기 디스플레이하는 단계는,
    복수 개의 센서로부터 인식된 상기 사용자의 관절 영역을 각각의 센서에 기 설정된 상이한 문자의 특징점에 매핑하여 상기 사용자의 움직임에 따라 상기 상이한 문자들의 형태를 변형시키는 것을 특징으로 하는 제어 방법.
KR1020140058961A 2014-05-16 2014-05-16 디스플레이 장치 및 그 제어 방법 KR101592977B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140058961A KR101592977B1 (ko) 2014-05-16 2014-05-16 디스플레이 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140058961A KR101592977B1 (ko) 2014-05-16 2014-05-16 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150132743A true KR20150132743A (ko) 2015-11-26
KR101592977B1 KR101592977B1 (ko) 2016-02-15

Family

ID=54847324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140058961A KR101592977B1 (ko) 2014-05-16 2014-05-16 디스플레이 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR101592977B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101986002B1 (ko) 2017-01-17 2019-06-04 경북대학교 산학협력단 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체

Also Published As

Publication number Publication date
KR101592977B1 (ko) 2016-02-15

Similar Documents

Publication Publication Date Title
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US10754546B2 (en) Electronic device and method for executing function using input interface displayed via at least portion of content
JP6013583B2 (ja) 有効インターフェース要素の強調のための方式
US11443453B2 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
US9619104B2 (en) Interactive input system having a 3D input space
US20170255450A1 (en) Spatial cooperative programming language
US20150379770A1 (en) Digital action in response to object interaction
US20150085076A1 (en) Approaches for simulating three-dimensional views
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
JP2015153046A (ja) 画像処理装置、画像処理方法およびプログラム
CN111052063B (zh) 电子装置及其控制方法
KR102665643B1 (ko) 아바타 표시를 제어하기 위한 방법 및 그 전자 장치
US20180196266A1 (en) Electronic device and method for controlling same
US11709593B2 (en) Electronic apparatus for providing a virtual keyboard and controlling method thereof
KR101421369B1 (ko) 터치락 레이어를 설정하는 단말기 및 방법
US10114501B2 (en) Wearable electronic device using a touch input and a hovering input and controlling method thereof
KR20160050295A (ko) 전자 장치 및 그의 디지털 수채 영상 재현 방법
JP6141887B2 (ja) 書き込まれた内容のための空間的に関係する注釈の表示
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
KR101592977B1 (ko) 디스플레이 장치 및 그 제어 방법
US9323364B2 (en) Interactive method, apparatus and system
KR20140078083A (ko) 증강 현실이 구현된 만화책
KR102591582B1 (ko) 컨텐츠를 표시하는 방법 및 전자 장치
KR20240037800A (ko) 전자 장치 및 전자 장치의 제어 방법
KR20210123009A (ko) 전자 장치 및 전자 장치의 화면 캡쳐 운용 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 5