KR20120029230A - 투명 디스플레이 장치 및 객체 탐지 방법 - Google Patents

투명 디스플레이 장치 및 객체 탐지 방법 Download PDF

Info

Publication number
KR20120029230A
KR20120029230A KR1020100091195A KR20100091195A KR20120029230A KR 20120029230 A KR20120029230 A KR 20120029230A KR 1020100091195 A KR1020100091195 A KR 1020100091195A KR 20100091195 A KR20100091195 A KR 20100091195A KR 20120029230 A KR20120029230 A KR 20120029230A
Authority
KR
South Korea
Prior art keywords
information
transparent display
image
detected
displayed
Prior art date
Application number
KR1020100091195A
Other languages
English (en)
Other versions
KR101737839B1 (ko
Inventor
박희연
주연주
박선주
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020100091195A priority Critical patent/KR101737839B1/ko
Priority to EP11179960.7A priority patent/EP2431895B1/en
Priority to US13/232,787 priority patent/US20120069050A1/en
Priority to CN201110276141.2A priority patent/CN102402390B/zh
Publication of KR20120029230A publication Critical patent/KR20120029230A/ko
Application granted granted Critical
Publication of KR101737839B1 publication Critical patent/KR101737839B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

투명 디스플레이 장치 및 객체 탐지 방법이 개시된다. 투명 디스플레이는 객체의 형상을 투과한다. 제어부는 선택 정보를 수신하고, 투명 디스플레이를 통해 보이는 풍경에서 수신된 객체 선택 정보가 지시하는 객체를 탐지하고, 탐지된 객체에 대한 정보를 획득하며, 획득된 정보가 상기 투명 디스플레이에 디스플레이되도록 제어한다. 본 발명에 의하면, 특정 조건에 해당하는 객체가 투명 디스플레이 상에 보일 때 해당 객체에 대한 정보를 제공하므로 사용자는 특정 객체의 등장을 계속적으로 관찰할 필요가 없이 원하는 객체에 대한 정보를 용이하게 획득할 수 있다.

Description

투명 디스플레이 장치 및 객체 탐지 방법{Transparent display device and method for detecting an object}
본 발명은 투명 디스플레이 장치 및 객체 탐지 방법에 관한 것으로, 보다 상세하게는, 투명 디스플레이를 통해 정보를 제공하는 투명 디스플레이 장치 및 객체 탐지 방법에 관한 것이다.
방송 수신기, 개인용 컴퓨터, 노트북, 휴대폰 등과 같은 전자기기는 다양한 기능을 수행할 수 있도록 구성될 수 있다. 그러한 다양한 기능들의 예로 방송 수신 기능, 데이터 및 음성 통신 기능, 카메라를 통해 사진이나 동영상을 촬영하는 기능, 음성 저장 기능, 스피커 시스템을 통한 음악 파일의 재생 기능, 이미지나 비디오의 디스플레이 기능 등이 있다. 일부 단말기는 게임을 실행할 수 있는 추가적 기능을 포함할 수 있다.
또한 최근 영상 기술 및 투명 전자 소자 개발 기술이 발달하면서, 후방의 객체가 보이는 한편 디스플레이가 가능한 투명 디스플레이 패널이 활발하게 연구되고 있으며, 전자기기는 디스플레이 패널로 투명 디스플레이 패널을 이용하여 영상 및 데이터를 디스플레이하고 있다. 이러한 투명 디스플레이 패널로 자발광을 이용하는 유기 발광 패널이나 플라즈마 패널이 널리 사용되고 있다.
본 발명이 이루고자 하는 기술적 과제는 투명 디스플레이를 통해 보이는 객체 중에서 사용자가 선택한 객체에 대한 정보를 제공하는 투명 디스플레이 장치 및 객체 탐지 방법을 제공하는 데 있다.
본 발명이 이루고자하는 다른 기술적 과제는 특정 조건에 해당하는 객체가 투명 디스플레이를 통해 보일 때, 해당 객체에 대한 정보를 제공하는 투명 디스플레이 장치 및 객체 탐지 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 객체 탐지 방법은 객체 선택 정보를 입력받는 단계, 투명 디스플레이를 통해 보이는 풍경에서 상기 입력된 객체 선택 정보가 지시하는 객체를 탐지하는 단계, 상기 탐지된 객체에 대한 정보를 획득하는 단계 및 상기 획득된 정보를 상기 투명 디스플레이에 디스플레이하는 단계를 포함할 수 있다. 여기서, 상기 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함할 수 있다. 또한 상기 객체에 대한 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함할 수 있다. 그리고 상기 디스플레이된 정보는 상기 정보가 디스플레이된 위치 및 인식된 제스처에 따라 이동될 수 있다.
상기 객체 선택 정보를 입력받는 단계는, 상기 투명 디스플레이 상의 제1 위치에서 다운 이벤트(down event)를 검출하는 단계, 및 투명 디스플레이 상의 제2 위치에서 업 이벤트(up event)를 검출하는 단계를 포함할 수 있고, 상기 입력된 객체 선택 정보가 지시하는 객체는 상기 투명 디스플레이상의 상기 제1 위치 및 상기 제2 위치를 포함하는 영역 통해 보이는 객체일 수 있다.
상기 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함할 수 있다. 즉 상기 객체를 탐지하는 단계에서, 객체 선택 정보의 이미지와 동일한 이미지를 갖는 객체를 탐지할 수 있고, 객체 선택 정보의 객체 명칭을 갖는 객체를 탐지할 수 있으며, 객체 선택 정보의 객체 속성에 해당하는 객체를 탐지할 수 있다.
상기 투명 디스플레이 상에 보이는 상기 탐지된 객체의 형상을 하이라이트하기 위한 표시를 디스플레이할 수 있다. 즉 상기 형상의 둘레를 특정 색으로 표시할 수 있고, 상기 형상의 둘레 또는 상기 형상의 영역이 반짝 거리도록 표시할 수 있다.
상기 획득하는 단계는, 서버에 상기 객체에 대한 정보의 검색을 요청하는 단계 및 상기 서버로부터 검색 결과를 수신하는 단계를 포함할 수 있다. 그리고 상기 검색을 요청하는 단계에서, 상기 탐지된 객체의 이미지 및 위치 정보 중 적어도 하나를 전송할 수 있다.
또한 상기 획득하는 단계는, 상기 객체에 대한 정보를 저장 매체에 저장된 데이터에서 검색하는 단계를 포함할 수 있다.
그리고 상기 획득하는 단계는, 상기 객체에 대한 정보를 저장 매체에 저장된 데이터에서 검색하는 단계, 상기 검색하는 단계에서 검색을 실패한 경우에 서버에 상기 객체에 대한 정보의 검색을 요청하는 단계 및 상기 서버로부터 검색 결과를 수신하는 단계를 포함할 수 있다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 투명 디스플레이 장치는, 객체의 형상을 투과하는 투명 디스플레이, 상기 투명 디스플레이를 통해 보이는 풍경에서 수신된 객체 선택 정보가 지시하는 객체를 탐지하고, 상기 탐지된 객체에 대한 정보를 획득하며, 상기 획득된 정보가 상기 투명 디스플레이에 디스플레이되도록 제어하는 제어부를 포함할 수 있다. 상기 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함할 수 있다. 또한 상기 객체에 대한 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함할 수 있다. 그리고 상기 디스플레이된 정보는 상기 정보가 디스플레이된 위치 및 인식된 제스처에 따라 이동될 수 있다.
상기 제어부는, 상기 투명 디스플레이 상의 제1 위치에서 다운 이벤트(down event)를 검출하고, 투명 디스플레이 상의 제2 위치에서 업 이벤트(up event)를 검출할 수 있고, 여기서 상기 입력된 객체 선택 정보가 지시하는 객체는 상기 투명 디스플레이상의 상기 제1 위치 및 상기 제2 위치를 포함하는 영역 통해 보이는 객체일 수 있다.
상기 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함할 수 있다. 즉 상기 제어부는 상기 객체 선택 정보의 이미지를 갖는 객체를 탐지할 수 있고, 객체 명칭을 갖는 객체를 탐지할 수 있으며, 객체 속성에 해당하는 객체를 탐지할 수 있다.
상기 제어부는, 상기 투명 디스플레이 상에 보이는 상기 탐지된 객체의 형상을 하이라이트하기 위한 표시가 디스플레이되도록 제어할 수 있다. 여기서 상기 표시는 상기 형상의 테두리에 표시될 수 있고, 특정 색으로 표시될 수 있고, 두꺼운 라인 형태로 표시될 수 있다. 또한 상기 제어부는 상기 형상의 테두리 또는 상기 형상이 차지하는 영역이 반짝 거리도록 표시할 수 있다.
상기 제어부는, 서버에 상기 객체에 대한 정보 검색을 요청하는 검색 요청 신호를 전송하고, 상기 서버로부터 검색 결과의 수신을 제어할 수 있다. 여기서 상기 검색 요청 신호는 상기 탐지된 객체의 이미지 및 위치 정보 중 적어도 하나를 포함할 수 있다.
상기 제어부는, 상기 객체에 대한 정보를 저장 매체에 저장된 데이터에서 검색할 수 있다. 만일 저장 매체에서 상기 객체에 대한 정보 검색을 실패하면, 상기 제어부는 서버에 상기 객체에 대한 정보 검색을 요청할 수 있다.
본 발명에 따른 투명 디스플레이 장치 및 객체 탐지 방법에 의하면, 투명 디스플레이를 통해 보이는 객체 중에서 사용자가 선택한 객체에 대한 정보를 제공하므로, 사용자는 후방 객체에 대한 정보를 별도의 검색 절차 수행할 필요가 없이 용이하게 획득할 수 있고, 특정 조건에 해당하는 객체가 투명 디스플레이 상에 보일 때 해당 객체에 대한 정보를 제공하므로 사용자는 특정 객체의 등장을 계속적으로 관찰할 필요가 없이 원하는 객체에 대한 정보를 용이하게 획득할 수 있다.
도 1은 본 발명에 따른 객체 정보 제공 시스템에 대한 바람직한 일실시예 구성을 도시한 도면,
도 2는 객체 선택 정보가 지시하는 객체에 대한 정보가 디스플레이된 상황의 일예를 도시한 도면,
도 3a 내지 도 3c은 객체 선택 정보가 입력되는 방식의 바람직한 일실시예를 도시한 도면,
도 4는 객체 선택 정보가 입력되는 방식의 바람직한 다른 실시예를 도시한 도면,
도 5는 객체 선택 정보가 지시하는 객체에 대한 정보가 디스플레이된 상황의 다른 예를 도시한 도면,
도 6a 내지 도 6d는 각각 객체 선택 정보가 지시하는 객체의 형상을 하이라이트 하기 위한 표시가 디스플레이된 화면을 도시한 도면,
도 7은 탐지된 객체에 대한 정보가 디스플레이된 화면을 도시한 도면,
도 8은 본 발명에 따른 투명 디스플레이 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 9는 투명 디스플레이 장치의 제어부에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 10은 본 발명에 따른 객체 탐지 방법에 대한 바람직한 일실시예의 수행과정을 도시한 블록도,
도 11a 내지 도 11e는 탐지된 객체에 대한 정보 및 인식된 제스처가 디스플레이된 화면을 도시한 도면,
도 12는 탐지된 객체에 대한 정보의 디스플레이를 요청하는 제스처가 디스플레이된 화면을 도시한 도면,
도 13은 객체 탐지 과정에 대한 바람직한 일실시예의 수행과정을 도시한 도면,
도 14는 객체 정보 획득 과정에 대한 바람직한 일실시예의 수행과정을 도시한 도면,
도 15는 객체 정보 획득 과정에 대한 바람직한 다른 실시예의 수행과정을 도시한 도면,
도 16은 본 발명에 따른 객체 탐지 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 도면, 그리고,
도 17은 본 발명에 따른 투명 디스플레이 장치에 대한 바람직한 다른 실시예의 구성을 도시한 블록도이다.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
도 1은 본 발명에 따른 객체 정보 제공 시스템에 대한 바람직한 일실시예 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 객체 정보 제공 시스템(1)은 객체 정보 제공 서버(10), 위치 응용 서버(20), 네트워크(50, 60) 및 투명 디스플레이 장치(100)를 포함할 수 있다.
객체 정보 제공 서버(10)는 객체 이미지, 위치 정보, 객체에 대한 정보, 객체 이미지 및 객체에 대한 정보를 연관하는 연관정보, 및 위치 정보 및 객체에 대한 정보를 연관하는 연관정보를 저장할 수 있다. 여기서 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함할 수 있다. 또한 객체에 대한 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함할 수 있다. 그리고 객체에 대한 정보는 객체 정보라고 명명하고, 객체 이미지는 객체가 촬상된 이미지이다.
연관정보는 정보와 정보를 맵핑하는 정보이며, 일예로, 연관정보는 관계 데이터베이스 시스템에서 하나의 테이블명일 수 있다. 객체 정보 제공 서버(10)는 특정 객체 이미지와 매핑하는 객체 정보를 연관정보를 통해 검색할 수 있고, 위치 정보와 매핑하는 객체 정보를 연관정보를 통해 검색할 수 있다.
객체 정보 제공 서버(10)는 투명 디스플레이 장치(100)로부터 검색 요청 신호를 수신할 수 있다. 여기서 검색 요청 신호는 탐지된 객체의 이미지 및 위치 정보 중 적어도 하나를 포함할 수 있다. 탐지된 객체의 이미지는 투명 디스플레이 장치(100)가 촬상한 사진일 수 있고, 상기 촬상한 사진으로부터 추출된 객체 이미지일 수 있다.
투명 디스플레이 장치(100)로부터 탐지된 객체의 이미지를 포함하는 검색 요청 신호를 수신하면, 객체 정보 제공 서버(10)는 수신된 이미지로부터 해당 객체를 인식하고, 인식된 객체에 대한 정보를 검색할 수 있다. 그리고 객체 정보 제공 서버(10)는 검색된 객체에 대한 정보를 투명 디스플레이 장치(100)로 전송할 수 있다. 여기서 객체 정보 제공 서버(10)는 수신된 이미지와 저장된 객체 이미지를 비교하는 과정을 통해 객체를 인식할 수 있다. 즉 객체 정보 제공 서버(10)는 수신된 이미지에 포함된 객체 이미지와 동일 또는 가장 유사한 객체 이미지를 발견하고, 발견된 객체 이미지 및 저장된 연관정보를 이용하여 상기 인식된 객체에 대한 정보를 검색할 수 있다.
투명 디스플레이 장치(100)로부터 탐지된 객체의 위치 정보를 포함하는 검색요청 신호를 수신하면, 객체 정보 제공 서버(10)는 수신된 위치 정보와 매핑되는 객체를 인식하고, 인식된 객체에 대한 정보를 검색할 수 있다. 그리고 객체 정보 제공 서버(10)는 검색된 객체에 대한 정보를 투명 디스플레이 장치(100)로 전송할 수 있다. 여기서 객체 정보 제공 서버(10)는 수신된 위치 정보와 저장된 연관정보를 이용하여 상기 인식된 객체에 대한 정보를 검색할 수 있다.
투명 디스플레이 장치(100)로부터 탐지된 객체의 이미지 및 위치 정보를 포함하는 검색 요청 신호를 수신하면, 객체 정보 제공 서버(10)는 수신된 객체의 이미지 및 위치 정보를 기초로 해당 객체를 인식하고, 인식된 객체에 대한 정보를 검색할 수 있다. 그리고 객체 정보 제공 서버(10)는 검색된 객체에 대한 정보를 투명 디스플레이 장치(100)로 전송할 수 있다. 여기서 객체 정보 제공 서버(10)는 객체의 이미지에 포함된 객체 이미지와 매핑하는 객체 정보들 중에서 수신된 위치 정보와 매핑하는 객체 정보에 해당하는 객체 정보를 상기 인식된 객체에 대한 정보로 검출할 수 있다.
위치 응용 서버(20)는 투명 디스플레이 장치(100)에 위치기반서비스(LBS: Location Based Service)를 제공할 수 있다. 위치 응용 서버(20)는 투명 디스플레이 장치(100)에 특정 객체에 대한 위치 정보를 제공할 수 있고, 특정 위치의 지도 및 지형 정보를 제공할 수 있다.
객체 정보 제공 서버(10), 위치 응용 서버(20) 및 투명 디스플레이 장치(100)는 네트워크로 연결될 수 있다. 네트워크는 인터넷 또는 인트라넷일 수 있고 BCN(Broadband Convergence Network), uBCN(Ultra Broadband Convergence Network)일 수 있다.
네트워크는 백본망(60)과 가입자망(50)으로 구성될 수 있다. 백본망(60)은 X.25 망, Frame Relay 망, ATM망, MPLS(Multi Protocol Label Switching) 망 및 GMPLS(Generalized Multi Protocol Label Switching) 망 중 하나 또는 복수의 통합된 망으로 구성될 수 있다. 가입자망(50)은 FTTH(Fiber To The Home), ADSL(Asymmetric Digital Subscriber Line), 케이블망, Wireless LAN(IEEE 802.11b, IEEE 802.11a, IEEE802.11g, IEEE802.11n), WIBro(Wireless Broadband), Wimax 및 HSDPA(High Speed Downlink Packet Access)일 수 있다. 가입자망(50)에 투명 디스플레이 장치(100)가 연결될 수 있다.
투명 디스플레이 장치(100)는 객체 선택 정보를 입력받고, 투명 디스플레이를 통해 보이는 풍경에서 입력된 객체 선택 정보가 지시하는 객체를 탐지한다. 그리고 투명 디스플레이 장치(100)는 탐지된 객체에 대한 정보를 디스플레이한다.
도 2는 객체 선택 정보가 지시하는 객체에 대한 정보가 디스플레이된 상황의 일예를 도시한 도면이다.
도 2를 참조하면, 사람(230)이 투명 디스플레이를 통해 보이는 객체(210)를 선택하는 객체 선택 정보를 입력한 경우에, 투명 디스플레이 장치(100)는 입력된 객체 선택 정보가 지시하는 객체(210)를 탐지할 수 있다. 그리고 투명 디스플레이 장치(100)는 탐지된 객체(210)에 대한 정보(215)를 투명 디스플레이에 디스플레이할 수 있다. 여기서 입력된 객체 선택 정보는 투명 디스플레이 장치(100)의 화면상의 특정 지점(251)을 선택하는 신호일 수 있다. 또한 객체 선택 정보가 지시하는 객체(210)는 사람(230)이 선택한 지점(251)을 바라봤을 때의 시선방향을 기준으로 지점(251) 상에서 형상이 보이는 객체일 수 있다.
도 3a 내지 도 3c은 객체 선택 정보가 입력되는 방식의 바람직한 일실시예를 도시한 도면이다.
도 3a 내지 도 3c를 참조하면, 객체 선택 정보는 제스처로 입력될 수 있다. 여기서 제스처는 단일점(single point) 또는 다중점(multipoint) 제스처, 정적 또는 동적 제스처, 연속적(continuous) 또는 구분된(segmented) 제스처, 및/또는 기타 등등일 수 있다. 단일점 제스처는 단일의 접촉점으로 수행되는 제스처이다, 예를 들어, 이 제스처는 예를 들어 하나의 손가락, 손바닥 또는 스타일러스로부터와 같이 단일의 터치로 수행된다. 다중점 제스처는 다수의 점으로 수행될 수 있는 제스처이다. 예를 들어, 이 제스처는 예를 들어 다수의 손가락, 손가락과 손바닥, 손가락과 스타일러스, 다수의 스타일러스 및/또는 이들의 임의의 조합으로부터와 같이 다수의 터치로 수행된다. 정적 제스처는 움직임을 포함하지 않는 제스처이고, 동적 제스처는 움직임을 포함하는 제스처이다. 연속적 제스처는 단일의 스트로크로 수행되는 제스처이고, 구분된 제스처는 별개의 스텝 또는 스트로크의 시퀀스로 수행되는 제스처이다.
손가락과 터치 스크린의 접촉은 통상적으로 여러 상이한 패턴을 갖는다. 예를 들어, 터치 스크린 상에서의 단일점 제스처는 다운 이벤트(down event) 및 그에 뒤이은 다운 이벤트와 동일한 위치 또는 거의 동일한 위치에서의 업 이벤트(up event)를 포함한다. 터치 스크린 상에서의 동적 제스처는 다운 이벤트와 그에 뒤이은 적어도 하나의 드래깅 이벤트(dragging event), 그리고 그 다음에 오는 업 이벤트를 포함한다.
일부 실시예들에서, 손가락이 터치 스크린 디스플레이에 접근하고, 터치 스크린 디스플레이와 접촉하며, 터치 스크린 디스플레이로부터 멀어져가는 프로세스를 기술하기 위해 파라미터가 사용된다. 여기서 터치 스크린 디스플레이는 투명 디스플레이와 일체로 된 터치 스크린일 수 있다. 이 파라미터는 손가락과 터치 스크린 디스플레이 간의 거리, 손가락이 터치 스크린 디스플레이를 누르는 압력, 손가락과 터치 스크린 간의 접촉 면적, 손가락과 터치 스크린 간의 전압, 손가락과 터치 스크린 디스플레이 간의 커패시턴스, 또는 물리 파라미터들 중 적어도 하나의 함수일 수 있다.
일부 실시예들에서, 손가락과 터치 스크린 디스플레이 간의 파라미터(예를 들어, 커패시턴스)의 크기에 따라, 이 파라미터가 미리 정해진 문턱값을 넘을 때, 다운 이벤트가 일어나고, 이 파라미터가 미리 정해진 문턱값을 넘고 있는 동안에 손가락의 대응하는 커서 위치가 위치 A로부터 위치 B로 이동할 때, 드래깅 이벤트가 일어나며, 이 파라미터가 문턱값 레벨 아래로 떨어질 때 업 이벤트가 일어난다.
투명 디스플레이 장치(100)는 제1 위치(310)에서 다운 이벤트를 검출한다. 손가락(301)은 제1 위치(310)에서 제2 위치(320)로 이동한다. 이때 손가락(301)은 투명 디스플레이 장치(100)의 터치 스크린 디스플레이(300)에 접촉된 상태로 이동할 수 있고, 손가락(301)과 터치 스크린 디스플레이(300) 간의 파라미터가 소정의 문턱값을 넘는 상태로 이동할 수 있다. 그리고 투명 디스플레이 장치(100)는 제2 위치(320)에서 드래깅 이벤트를 검출하면, 투명 디스플레이 장치(100)는 제1 위치(310) 및 제2 위치(320)를 포함하는 영역을 지시하는 표시(305)를 터치 스크린 디스플레이(300)에 디스플레이할 수 있다.
손가락(301)은 제3 위치(330)로 이동하고, 손가락이 터치 스크린 디스플레이(300)로부터 떨어지거나 파라미터가 소정의 문턱값보다 작아지면, 투명 디스플레이 장치(100)는 제3 위치(330)에서 업 이벤트를 검출한다. 업 이벤트를 검출하면, 투명 디스플레이 장치(100)는 제1 위치(310) 및 제3 위치(330)를 포함하는 영역을 지시하는 표시(307)를 디스플레이하고 영역(307)에서 터치 스크린 디스플레이(300)를 통해 보이는 객체(350)를 탐지할 수 있다. 여기서 제1 위치(310)의 다운 이벤트 및 제3 위치(330)의 업 이벤트가 하나의 객체 선택 정보로 인식될 수 있고, 입력된 객체 선택 정보가 지시하는 객체는 영역(307)에 형상이 위치하는 객체(350)일 수 있다.
도 4는 객체 선택 정보가 입력되는 방식의 바람직한 다른 실시예를 도시한 도면이다.
도 4를 참조하면, 객체 선택 정보는 그래픽 사용자 인터페이스(GUI : Graphic User Interface)를 통해 입력될 수 있다. 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함할 수 있고, 상기 GUI는 이미지, 객체 명치 및 객체 속성을 입력받기 위한 인터페이스를 제공할 수 있다.
GUI(400)는 특정 자동차를 지시하는 객체 선택 정보를 입력하기 위한 GUI의 일예이다. 사용자는 입력박스(410)에 탐지하기를 원하는 자동차의 이름인 "AAAAAA"(모델명)을 입력할 수 있고, 입력박스(420)에 탐지하기를 원하는 자동차의 색인 "Black"(속성)을 입력할 수 있다.
투명 디스플레이 장치(100)는 GUI를 통해 객체 선택 정보를 입력받으면, 입력된 객체 선택 정보를 저장하고, 저장된 객체 선택 정보가 지시하는 객체가 투명 디스플레이를 통해 보여지는지 여부를 탐지할 수 있다. 여기서 보여지는 시선 방향은 투명 디스플레이 장치(100)의 디스플레이의 수직방향일 수 있고, 사용자에 의해 지정된 방향일 수 있고, 객체 선택 정보가 입력되는 동안 사용자의 눈이 위치한 지점에서 투명 디스플레이 장치(100)로의 방향일 수 있다.
도 5는 객체 선택 정보가 지시하는 객체에 대한 정보가 디스플레이된 상황의 다른 예를 도시한 도면이다.
도 5를 참조하면, 투명 디스플레이 장치(100)는 투명 디스플레이를 통해 모델명이 "AAAAAA"이고 색이 "Black"인 자동차(510)가 보여지는지 여부를 탐지하고, 자동차(510)가 탐지되면, 자동차(510)에 대한 정보(511)를 디스플레이한다.
도 6a 내지 도 6d는 각각 객체 선택 정보가 지시하는 객체의 형상을 하이라이트 하기 위한 표시가 디스플레이된 화면을 도시한 도면이다.
도 6a 내지 도 6d를 참조하면, 투명 디스플레이 장치(100)는 객체(610)가 탐지되면, 탐지된 객체(610)의 위치를 알리기 위한 표시를 투명 디스플레이(600)에 디스플레이할 수 있다.
일부 실시예로, 투명 디스플레이 장치(100)는 탐지된 객체(610)의 형상이 위치하는 영역을 하이라이트하는 테두리선(601)을 투명 디스플레이(600) 상에 디스플레이할 수 있다. 여기서 테두리선(601)은 깜빡거리도록 디스플레이될 수 있다.
일부 실시예로, 투명 디스플레이 장치(100)는 탐지된 객체(610)의 형상이 위치하는 영역 내에 표시(602)를 디스플레이할 수 있다. 여기서 표시(602)는 빗금일 수 있고, 특정 색일 수 있으며, 표시(602)는 깜빡거리도록 디스플레이될 수 있다.
일부 실시예로, 투명 디스플레이 장치(100)는 탐지된 객체(610)의 형상의 외각선을 따라 점선(603)을 표시할 수 있다. 여기서 점선(603)은 깜빡거리도록 디스플레이될 수 있다.
일부 실시예로, 투명 디스플레이 장치(100)는 탐지된 객체(610)의 형상의 외각선을 따라 실선(604)을 표시할 수 있다. 여기서 실선(604)은 굵게 표시될 수 있고, 특정색으로 표시될 수 있으며, 깜빡거리도록 디스플레이될 수 있다.
도 7은 탐지된 객체에 대한 정보가 디스플레이된 화면을 도시한 도면이다.
도 7을 참조하면, 투명 디스플레이 장치(100)가 동물(710)을 탐지한 경우에, 탐지한 동물(710)에 대한 정보(715)를 디스플레이할 수 있다. 투명 디스플레이 장치(100)는 객체 종류 정보로 요크셔 테리어를 디스플레이하고, 객체 이력 정보로 영국을 디스플레이하고, 객체 외형 정보로 체고 23cm정도를 디스플레이하고, 객체 무게 정보로 3.5kg을 디스플레이하고, 객체에 대한 상세 설명으로 소개 정보, 외모 정보 및 성격 정보를 디스플레이할 수 있다.
투명 디스플레이 장치(100)는 탐지된 객체에 대한 정보를 직접 저장 장치로부터 검색하여 획득할 수 있고, 객체 정보 제공 서버(10)에 검색을 요청하여 획득할 수 있다.
투명 디스플레이 장치(100)는 객체 정보 제공 서버(10)에 탐지된 객체에 대한 검색을 요청하는 검색 요청 신호를 전송할 수 있다. 전송되는 검색 요청 신호는 탐지된 객체의 이미지 및 탐지된 객체의 위치 정보를 포함할 수 있다. 탐지된 객체의 이미지는 촬영 장치가 촬상한 원본 이미지일 수 있고, 투명 디스플레이 장치(100)가 원본 이미지로부터 객체가 차지하는 영역이 추출되어 생성된 이미지일 수 있다.
투명 디스플레이 장치(100)는 탐지된 객체의 위치 정보를 위치 응용 서버(20)로부터 획득할 수 있고, 자신의 위치 정보로부터 탐지된 객체의 위치 정보를 산출할 수 있다.
투명 디스플레이 장치(100)는 Cell ID 방식, AOA 방식 및 TDOA 방식 등의 네트워크 기반(Network-based) 기술을 이용하여 기지국(40)으로부터 수신된 전파를 통해 자신의 위치를 측위할 수 있다. 또한 투명 디스플레이 장치(100)는 TOA(Time Of Arrivals) 방식, GPS(Global Positioning System) 방식 및 Hybrid 측위 방식 등의 Handset-based 측위 기술을 이용하여 위성(30)로부터 수신된 신호를 통해 자신의 위치를 측위할 수 있다.
투명 디스플레이 장치(100)를 중심으로 탐지된 객체의 위치는 영상인식 기반 기술을 이용하여 측위할 수 있다. 일예로, 투명 디스플레이 장치(100)는 교사학습 알고리즘을 이용하여 다수의 촬영 장치로부터 촬영된 객체가 포함된 사진으로부터 객체의 위치를 측위할 수 있다. 다른 예로, 투명 디스플레이 장치(100)는 Vision VR 기반 기술을 이용하여 객체의 위치를 측위할 수 있다. 객체의 위치를 측위하기 위해 영상인식 기반을 기술을 이용하면 수 cm내의 정밀도로 객체의 위치를 탐지할 수 있어, 보다 정확하게 객체의 위치를 탐지할 수 있다.
투명 디스플레이 장치(100)를 중심으로 탐지된 객체의 위치는 초음파 기반 기술을 이용하여 측위할 수 있다. 투명 디스플레이 장치(100)는 인식된 시선 방향으로 초음파를 전송하여 전송된 초음파를 통해 탐지된 객체의 거리를 산출할 수 있고, 초음파가 전송된 방향을 통해 객체의 방위각을 결정할 수 있다. 그리고 투명 디스플레이 장치(100)는 산출된 거리 및 결정된 방위각을 기초로 탐지된 객체의 위치를 측위할 수 있다.
도 8은 본 발명에 따른 투명 디스플레이 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.
도 8을 참조하면, 투명 디스플레이 장치(100)는 튜너부(110), 복조부(120), 네트워크 인터페이스부(130), 신호 처리부(140), 투명 디스플레이(150), 음성 출력부(160), 입력장치(170), 저장부(180), 제어부(190) 및 외부 신호 수신부(135)를 포함한다. 투명 디스플레이 장치(100)는 데스크톱, 랩톱, 태블릿 또는 핸드헬드 컴퓨터 등의 퍼스널 컴퓨터 시스템일 수 있다. 또한 투명 디스플레이 장치(100)는 휴대폰, 스마트폰(smart phone), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션 등과 같은 이동 단말기일 수 있고, 디지털 TV 같은 고정형 가전기기일 수 있다.
튜너부(110)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다. 예를 들어, 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS SIF)로 변환한다. 즉, 튜너부(110)는 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS SIF)는 신호처리부(140)로 직접 입력될 수 있다.
또한, 튜너부(110)는 ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.
본 발명의 또 다른 실시예에 의하면, 투명 디스플레이 장치(100)는 적어도 2개의 튜너부를 구비할 수 있다. 적어도 2개의 튜너부를 구비하는 경우, 제2 튜너부는 제1 튜너부와 유사하게 안테나를 통해 수신되는 RF 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다.
또한, 제2 튜너부는 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다. 제2 튜너부는 주기적으로 모든 방송 채널의 변환 작업을 수행할 수 있다. 따라서 투명 디스플레이 장치(100)는 제1 튜너부를 통하여 변환된 방송 신호의 영상을 표시하면서, 제2 튜너부를 통하여 변환된 여러 채널의 영상을 썸 네일 형태로 제공할 수 있다. 이 경우, 제1 튜너부는 사용자가 선택한 메인 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환하고, 제2 튜너부는 메인 RF 방송 신호를 제외한 모든 RF 방송 신호를 순차적/주기적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.
복조부(120)는 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 일예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(120)는 8-VSB(11-Vestigial Side Band) 복조를 수행한다. 또 다른 예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(120)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다.
또한, 복조부(120)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(120)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
복조부(120)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
복조부(120)에서 출력한 스트림 신호는 신호처리부(140)로 입력될 수 있다. 신호처리부(140)는 역다중화 및 신호 처리 등을 수행한 후, 투명 디스플레이(150)에 영상을 출력하고, 음성 출력부(160)로 음성을 출력한다.
또한, 적어도 2개의 튜너부가 구비된 디지털 방송 수신기의 경우, 그에 대응하는 수의 복조부를 구비할 수 있다. 또한 복조부는, ATSC 방식과, DVB 방식에 따라 각각 별개로 구비될 수 있다.
네트워크 인터페이스부(130)는 네트워크로부터 수신되는 패킷(packet)들을 수신하고, 네트워크로 패킷을 전송한다. 네트워크 인터페이스부(130)는 네트워크를 통해 객체 정보 제공 서버(10)로 검색 요청 신호를 전달하는 IP 패킷을 전송하고, 객체 정보 제공 서버(10)로부터 검색 결과를 전달하는 IP 패킷을 전송할 수 있다. 또한 네트워크 인터페이스부(130)는 네트워크를 통해 위치 응용 서버(20)로 위치 정보 요청 신호를 전달하는 IP 패킷을 전송하고, 위치 응용 서버(20)로부터 위치 정보를 전달하는 IP 패킷을 수신할 수 있다.
또한 네트워크 인터페이스부(130)는 네트워크를 통해 서비스 제공 서버로부터 방송 데이터를 전달하는 IP 패킷을 수신한다. 여기서 방송 데이터는 컨텐츠, 컨텐츠 업데이트 여부를 알리는 업데이트 메시지, 메타데이터, 서비스 정보, 소프트웨어 코드 및 A/V 데이터를 포함한다. 또한 서비스 정보는 실시간 방송 서비스에 대한 서비스 정보 및 인터넷 서비스에 대한 서비스 정보를 포함할 수 있다. 여기서 인터넷 서비스는 CoD(Content's on Demand) 서비스, 유튜브 서비스, 날씨, 뉴스, 지역 정보 및 검색 등의 인포메이션 서비스, 게임, 노래방 등의 엔터테인먼트 서비스, TV 메일, TV SMS(Short Message Service) 등의 커뮤니케이션 서비스 등 인터넷을 통해 제공될 수 있는 서비스를 의미한다. 이에 따라 본 발명에서 디지털 방송 수신기는 네트워크 TV, 웹 TV 및 브로드밴드 TV를 포함한다. 또한 방송 서비스는 지상파, 위성 및 케이블을 통해 제공되는 방송 서비스뿐만 아니라 인터넷 서비스를 포함할 수 있다.
제어부(190)는 명령어를 실행하고 투명 디스플레이 장치(100)와 연관된 동작을 수행한다. 예를 들면, 저장부(180)로부터 검색된 명령어를 사용하여, 제어부(190)는 투명 디스플레이 장치(100)의 컴포넌트들 간의 입력 및 출력, 데이터의 수신 및 처리를 제어할 수 있다. 제어부(190)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(190)에 대해 사용될 수 있다.
제어부(190)는 운영 체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 이에 대해 보다 상세히 기술하지 않는다. 예로서, 운영 체제는 Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다. 운영 체제, 다른 컴퓨터 코드 및 데이터는 제어부(190)와 연결되어 동작하는 저장부(180) 내에 존재할 수 있다.
저장부(180)는 일반적으로 투명 디스플레이 장치(100)에 의해 사용되는 프로그램 코드 및 데이터를 저장하는 장소를 제공한다. 예로서, 저장부(180)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 투명 디스플레이 장치(100) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함한다.
투명 디스플레이(150)는 제어부(190)와 연결되어 동작할 수 있다. 투명 디스플레이(150)는 유기 발광 패널이나 플라즈마 패널로 구현될 수 있다.
투명 디스플레이(150)는 투명 디스플레이 장치의 사용자와 운영 체제 또는 운영 체제 상에서 실행 중인 애플리케이션 간의 사용하기 쉬운 인터페이스를 제공하는 그래픽 사용자 인터페이스(GUI)(153)를 디스플레이할 수 있다. GUI(153)는 프로그램, 파일, 및 동작 옵션들을 그래픽 이미지로 표현한다. 그래픽 이미지는 윈도우, 필드, 대화상자, 메뉴, 아이콘, 버튼, 커서 및 스크롤바 등을 포함할 수 있다. 이러한 이미지는 미리 정의된 레이아웃으로 정렬될 수 있거나, 사용자가 취하고 있는 특정의 조치를 돕기 위해 동적으로 생성될 수 있다. 동작 동안에, 사용자는 여러 가지 그래픽 이미지와 연관된 기능 및 작업을 제기하기 위해 그 이미지를 선택 및 활성화할 수 있다. 예로서, 사용자는 윈도우의 열기, 닫기, 최소화, 또는 최대화를 행하는 버튼, 또는 특정 프로그램을 가동시키는 아이콘을 선택할 수 있다.
입력장치(170)는 투명 디스플레이(150) 상에 또는 그 전방에 배치되어 있는 터치 스크린일 수 있다. 터치 스크린은 투명 디스플레이(150)와 일체로 되어 있거나 별개의 구성요소일 수 있다. 터치 스크린이 투명 디스플레이(150)의 전방에 배치됨에 따라 사용자는 GUI(153)를 직접 조작할 수 있다. 예를 들어, 사용자는 단지 제어될 객체 상에 그의 손가락을 올려 놓을 수 있다. 터치패드에서는, 이것과 같은 일대일 관계가 없다.
터치패드에 있어서, 터치패드는 투명 디스플레이(150)로부터 떨어져 일반적으로 다른 평면에 놓여 있다. 예를 들어, 투명 디스플레이(150)는 일반적으로 수직 평면에 위치해 있고, 터치패드는 일반적으로 수평 평면에 위치해 있다. 이것은 그의 사용을 덜 직관적이게 하며, 따라서 터치 스크린과 비교할 때 더 어렵다. 터치 스크린인 것에 부가하여, 입력장치(170)는 다중점 입력장치일 수 있다.
제어부(190)는 입력장치(170)에 가해지는 제스처(171)를 인식하고 인식한 제스처(171)에 기초하여 투명 디스플레이 장치(100)를 제어할 수 있다. 여기서, 제스처는 하나 이상의 특정의 컴퓨팅 동작에 매핑되는, 입력장치(170)와의 양식화된 상호작용으로서 정의될 수 있다. 제스처(171)는 여러 가지 손을 통해, 보다 상세하게는 손가락 움직임을 통해 행해질 수 있다. 다른 대안으로서 또는 그에 부가하여, 제스처는 스타일러스로 행해질 수 있다.
입력장치(170)는 제스처(171)를 수신하고, 제어부(190)는 제스처(171)와 연관된 동작들을 수행하는 명령어들을 실행한다. 게다가, 저장부(180)는 운영 체제 또는 별도의 애플리케이션의 일부일 수 있는 제스처 작동 프로그램(181)을 포함할 수 있다. 제스처 작동 프로그램(181)은 일반적으로 제스처(171)의 발생을 인식하고 그 제스처(171) 및/또는 제스처(171)에 응답하여 무슨 조치(들)이 취해져야 하는지를 하나 이상의 소프트웨어 에이전트에게 알려주는 일련의 명령어를 포함한다.
사용자가 하나 이상의 제스처를 행할 때, 입력장치(170)는 제스처 정보를 제어부(190)로 전달한다. 저장부(180)로부터의 명령어, 보다 상세하게는 제스처 작동 프로그램(181)을 사용하여, 제어부(190)는 제스처(171)를 해석하고 저장부(180), 투명 디스플레이(150), 음성 출력부(160), 신호 처리부(140), 네트워크 인터페이스부(130) 및 입력장치(170) 등의 투명 디스플레이 장치(100)의 서로 다른 컴포넌트를 제어한다. 제스처(171)는 저장부(180)에 저장된 애플리케이션에서의 동작을 수행하고, 투명 디스플레이(150) 상에 나타난 GUI 객체를 수정하며, 저장부(180)에 저장된 데이터를 수정하고, 네트워크 인터페이스부(130), 신호 처리부(140)에서의 동작을 수행하는 명령으로서 식별될 수 있다. 예로서, 이들 명령은 줌잉, 패닝, 스크롤링, 페이지 넘김, 회전, 크기조정, 영상 채널 변경, 컨텐츠 수신, 인터넷 접속 등과 연관되어 있을 수 있다. 추가의 예로서, 명령은 또한 특정의 프로그램을 기동시키는 것, 파일 또는 문서를 여는 것, 메뉴를 보는 것, 선택을 하는 것, 명령어를 실행하는 것, 인터넷 사이트 시스템에 로그온하는 것, 인가된 개인에게 컴퓨터 시스템의 제한된 영역에의 액세스를 허용하는 것, 바탕화면의 사용자 선호 배열과 연관된 사용자 프로파일을 로드하는 것, 및/또는 기타 등등과 연관되어 있을 수 있다.
제어부(190)는 입력장치(170)로부터 수신된 객체 선택 정보를 기초로 객체를 탐지할 수 있다. 만일 객체 선택 정보가 다운 이벤트 및 업 이벤트인 경우에는, 제어부(190)는 다운 이벤트 발생한 제1 위치 및 업 이벤트가 발생한 제2 위치에서 형상이 위치하는 객체를 탐지할 수 있다. 여기서 제어부(190)는 촬영 장치(90)로부터 수신되는 사진을 통해 투명 디스플레이로 향하는 사람의 시선 방향을 인식하고, 인식한 시선 방향에서 상기 제1 위치 및 제2 위치를 포함하는 영역 상에 보이는 객체를 탐지할 수 있다. 그리고 제어부(190)는 탐지된 객체의 객체 정보 획득을 제어하고, 획득한 객체 정보가 디스플레이되도록 투명 디스플레이(150)를 제어할 수 있다.
제어부(190)는 입력장치(170)로부터 객체 선택 정보를 수신하고, 수신한 객체 선택 정보가 지시하는 객체가 투명 디스플레이(150)를 통해 보이는지 여부를 확인할 수 있다. 여기서 제어부(190)는 촬영 장치(90)로부터 현재 영상 프레임과 이전 영상 프레임을 비교하여 특정 객체가 새로 촬영되었는지 여부를 확인할 수 있다. 특정 객체가 새로 촬영된 경우에는, 제어부(190)는 촬영된 객체의 이미지를 추출하여 촬영된 객체가 객체 선택 정보가 지시하는 객체인지를 확인할 수 있다. 제어부(190)는 촬영된 객체의 이미지를 이용하여 객체 정보 획득을 제어할 수 있고, 촬영된 객체의 이미지 또는 획득된 객체 정보를 객체 선택 정보와 비교하여 촬영된 객체가 객체 선택 정보가 지시하는 객체인지를 확인할 수 있다.
만일 객체 선택 정보가 지시하는 객체가 보이는 경우에는, 제어부(190)는 상기 객체의 형상이 투명 디스플레이(150) 상에 위치하는 영역을 알리는 표시를 디스플레이할 수 있다. 또한 제어부(190)는 상기 객체의 객체 정보 획득을 제어하고, 획득한 객체 정보가 디스플레이되도록 투명 디스플레이(150)를 제어할 수 있다.
외부 신호 수신부(135)는 외부 장치와 투명 디스플레이 장치(100)를 연결할 수 있는 인터페이스를 제공할 수 있다. 여기서 외부 장치는 DVD(Digital Versatile Disk), 블루레이(Bluray), 게임기기, 켐코더, 컴퓨터(노트북) 등 다양한 종류의 영상 또는 음성 출력 장치를 의미한다. 투명 디스플레이 장치(100)는 외부 신호 수신부(135)로부터 수신된 영상 신호 및 음성 신호가 디스플레이되도록 제어할 수 있고, 데이터 신호를 저장하거나 사용할 수 있다.
또한 외부 장치는 촬영 장치(90)일 수 있다. 촬영 장치(90)는 복수의 카메라를 포함할 수 있다. 촬영 장치(90)는 사람을 촬상할 수 있다. 촬영 장치(90)는 사람의 얼굴 영역을 인식하여 얼굴 영역에 초점을 맞추고, 줌인하여 촬상할 수 있고, 사람의 손 영역을 인식하여 손 영역에 초점을 맞추고, 줌인하여 촬상할 수 있다. 여기서 촬상된 손 모양은 제스처로 인식될 수 있다. 즉 제어부(190)는 인식된 손 모양과 연관된 동작들을 수행하는 명령어들을 실행할 수 있다.
촬영 장치(90)는 투명 디스플레이(150)의 후방 객체를 촬상할 수 있다. 즉 촬영 장치(90)는 투명 디스플레이 장치(100)의 제어 신호에 따라 사람의 시선 방향에서 투명 디스플레이(150)를 통해 보이는 객체를 촬상할 수 있다. 촬영 장치(90)는 객체 영역을 인식하여 객체 영역에 초점을 맞추고, 줌인하여 촬상할 수 있다. 또한 객체는 복수의 다른 위치에서 촬영 장치(90)에 의해 촬상될 수 있다.
도 9는 투명 디스플레이 장치의 제어부에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.
도 9를 참조하면, 제어부(190)는 시선 방향 인식부(910), 중앙 처리부(920) 및 객체 탐지부(930)를 포함할 수 있다.
시선 방향 인식부(910)는 촬영장치(92)가 촬영한 영상 프레임에서 얼굴 영역을 검출할 수 있다. 그리고 시선 방향 인식부(910)는 검출한 얼굴 영역에서 눈 영상을 검출하고, 검출한 눈 영상을 이용하여 시선 방향을 결정할 수 있다.
시선 방향을 결정하기 위한 일실시예로, 시선 방향 인식부(910)는 저장된 눈 영상들 각각과 검출된 눈 영상의 차이값을 산출하여, 저장된 눈 영상 중에 검출된 눈 영상과의 차이값이 가장 작은 눈 영상을 선택할 수 있다. 그리고 시선 방향 인식부(910)는 선택한 눈 영상과 매핑된 시선 방향 정보가 지시하는 시선 방향을 검출한 눈 영상의 시선 방향으로 결정할 수 있다.
중앙 처리부(920)는 촬영장치(92)가 촬영한 영상 프레임에서 손 영역을 검출할 수 있다. 그리고 중앙 처리부(920)는 저장된 손 모양 각각과 검출된 손 영역에 표시된 손 모양을 비교하여, 저장된 손 모양 중 검출된 손 영역에 표시된 손 모양과 같은 손 모양을 선택할 수 있다. 중앙 처리부(920)는 선택된 손 모양과 연관된 동작을 수행하는 명령어를 실행할 수 있다.
객체 탐지부(930)는 객체 선택 정보가 지시하는 객체로 촬영장치(94)의 초점의 이동을 제어하고 촬영장치(94)의 촬상을 제어한다.
도 10은 본 발명에 따른 객체 탐지 방법에 대한 바람직한 일실시예의 수행과정을 도시한 블록도이다.
도 10을 참조하면, 중앙 처리부(920)는 투명 디스플레이(150) 상의 제1 위치에서 다운 이벤트를 검출한다(S1000).
중앙 처리부(920)는 투명 디스플레이(150) 상의 제2 위치에서 업 이벤트를 검출한다(S1010).
시선방향 인식부(910)는 시선 방향을 결정한다(S1020). 여기서 시선방향 인식부(910)는 사람 위치한 공간에서 제1 위치 및 제2 위치를 포함하는 영역으로 향하는 방향을 시선 방향으로 결정할 수 있다.
객체 탐지부(930)는 시선방향 인식부(910)가 결정한 시선 방향에서 투명 디스플레이(150) 상의 제1 위치 및 제2 위치를 포함하는 영역을 통해 보이는 객체를 탐지한다(S1030). 여기서 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함할 수 있다. 다른 실시에로, 상기 객체는 투명 디스플레이(150)의 수직 방향에서 투명 디스플레이(150) 상의 제1 위치 및 제2 위치를 포함하는 영역을 통해 보이는 객체일 수 있다.
중앙 처리부(920)는 탐지한 객체에 대한 정보의 획득을 제어한다(S1040). 여기서 객체에 대한 정보인 객체 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함할 수 있다.
객체에 대한 정보의 획득 전에, 중앙 처리부(920)는 탐지한 객체의 위치 정보를 산출할 수 있다. 그리고 중앙 처리부(920)는 산출한 위치 정보가 디스플레이되도록 제어할 수 있고, 탐지한 객체에 대한 정보를 획득하기 위해 산출한 위치 정보를 이용할 수 있다. 여기서 중앙 처리부(920)는 탐지된 객체의 위치 정보를 위치 응용 서버(20)로부터 획득할 수 있고, 자신의 위치 정보로부터 탐지된 객체의 위치 정보를 산출할 수 있다. 중앙 처리부(920)는 Cell ID 방식, AOA 방식 및 TDOA 방식 등의 네트워크 기반(Network-based) 기술을 이용하여 기지국(40)으로부터 수신된 전파를 통해 디스플레이 장치(100)의 위치를 측위할 수 있다. 또한 중앙 처리부(920)는 TOA(Time Of Arrivals) 방식, GPS(Global Positioning System) 방식 및 Hybrid 측위 방식 등의 Handset-based 측위 기술을 이용하여 위성(30)로부터 수신된 신호를 통해 자신의 위치를 측위할 수 있다. 또한 중앙 처리부(920)는 디스플레이 장치(100)를 중심으로 탐지된 객체의 위치를 영상인식 기반 기술 또는 초음파 기반 기술을 이용하여 측위할 수 있다.
투명 디스플레이(150)는 획득된 객체 정보를 디스플레이한다(S1050). 여기서, 객체 정보는 도 2 및 도 7에 도시된 화면과 같이 디스플레이될 수 있다.
중앙 처리부(920)는 정보 이동 명령이 수신되었는지 여부를 확인한다(S1060). 여기서 정보 이동 명령은 촬영장치(92)가 촬상한 영상 프레임에 포함된 손 모양을 통해 인식된 제스처를 통해 생성된 명령일 수 있고, 다운 이벤트, 드래깅 이벤트 및 업 이벤트로 인식되는 동적 제스처를 통해 생성된 명령일 수 있다.
정보 이동 명령이 수신된 경우에는, 중앙 처리부(920)는 수신된 정보 이동 명령에 따라 투명 디스플레이(150)상에 디스플레이된 정보의 위치 이동을 제어한다(S1070).
도 11a 내지 도 11e는 탐지된 객체에 대한 정보 및 인식된 제스처가 디스플레이된 화면을 도시한 도면이고, 도 12는 탐지된 객체에 대한 정보의 디스플레이를 요청하는 제스처가 디스플레이된 화면을 도시한 도면이다.
도 11a 내지 도 11e 및 도 12를 참조하면, 화면(1110)에서 탐지된 객체(1111)에 대한 객체 정보(1113)는 탐지된 객체(1111)의 상이 위치하는 영역 내에 위치한다. 화면(1110)이 디스플레이된 상태에서 제스처(1115)가 인식되면, 화면(1110)에서 화면(1120)으로 전환된다. 인식되는 제스처(1115)는 화면에 디스플레이될 수 있고, 제스처(1115)와 연관된 명령이 수행되면 화면에서 사라질 수 있다. 일부 실시예로, 인식된 제스처(1115)는 화면에 디스플레이 안 될 수 있다.
화면(1120)에서 객체 정보(1113)는 제스처(1115)의 손가락이 지시하는 방향에 따라 이동되어 영역(1123)에 디스플레이된다. 화면(1120)이 디스플레이된 상태에서 제스처(1125)가 인식되면, 화면(1120)에서 화면(1130)으로 전환된다.
화명(1130)에서 객체 정보(1123)는 제스처(1125)의 손가락이 지시하는 방향에 따라 이동되어 영역(1133)에 디스플레이된다. 화면(1130)이 디스플레이된 상태에서 제스처(1135)가 인식되면, 화면(1130)에서 화면(1140)으로 전환된다.
화면(1140)에서 객체 정보(1133)는 제스처(1135)의 손가락이 지시하는 방향에 따라 이동되어 영역(1143)에 디스플레이된다. 화면(1140)이 디스플레이된 상태에서 제스처(1145)가 인식되면, 화면(1140)에서 화면(1150)으로 전환된다.
화면(1150)에서 객체 정보(1143)는 제스처(1145)의 손가락이 지시하는 방향에 따라 이동되어 영역(1153)에 디스플레이된다. 화면(1150)이 디스플레이된 상태에서 제스처(1155)가 인식되면, 화면(1150)에서 화면(1210)으로 전환된다.
화면(1210)에서 객체 정보(1153)는 제스처(1155)와 연관된 명령인 디스플레이 중지 명령에 따라 디스플레이되지 않는다. 화면(1210)이 디스플레이된 상태에서 제스처(1215)가 인식되면, 화면(1210)에 객체 정보(1153)가 디스플레이될 수 있다. 이때 이전 화면(1150)의 영역(1153)에 객체 정보가 디스플레이될 수 있고, 디폴트로 지정된 영역에 객체 정보가 디스플레이될 수 있다.
도 13은 객체 탐지 과정에 대한 바람직한 일실시예의 수행과정을 도시한 도면이다.
도 13을 참조하면, 객체 탐지부(930)는 객체를 촬상할 수 있도록 촬영 장치 초점의 이동을 제어한다(S1300). 여기서, 촬영장치(94)는 복수의 카메라로 구성될 수 있고, 객체 탐지부(930)는 각 카메라의 이동을 제어할 수 있다.
객체 탐지부(930)는 이동된 초점에서 촬영장치(94)의 촬상을 제어한다(S1310).
객체 탐지부(930)는 촬영장치(94)로부터 객체가 촬상된 이미지의 수신을 제어한다(S1320). 객체 탐지부(930)는 촬영장치(94)로부터 출력된 영상 프레임에서 객체 이미지를 추출할 수 있다. 또한 객체 탐지부(930)는 촬영장치(94)로부터 촬상된 영상 프레임을 통해 객체의 위치를 산출할 수 있다.
도 14는 객체 정보 획득 과정에 대한 바람직한 일실시예의 수행과정을 도시한 도면이다.
도 14를 참조하면, 중앙 처리부(920)는 저장부(180)에 저장된 이미지를 독출한다(S1400). 여기서 저장된 이미지는 사전에 투명 디스플레이 장치(100) 주위의 객체를 촬상한 이미지일 수 있다.
중앙 처리부(920)는 독출한 이미지와 촬상된 이미지를 비교한다(S1410). 여기서, 독출한 이미지에 포함된 객체의 외각선과 촬상된 이미지에 포함된 객체의 외각선이 동일한 패턴인 경우에는 독출한 이미지에 포함된 객체와 촬상된 이미지에 포함된 객체는 동일한 객체로 인식될 수 있다. 즉 각 외각선의 패턴을 동일한 크기로 하였을 때 매칭되면, 독출한 이미지에 포함된 객체와 촬상된 이미지에 포함된 객체는 동일한 객체로 인식될 수 있다.
중앙 처리부(920)는 동일한 객체가 발견되었는지 여부를 확인한다(S1420).
동일한 객체가 발견된 경우에는, 중앙 처리부(920)는 저장부(180)에서 발견된 이미지와 연관된 정보를 독출한다(S1430). 여기서 독출된 정보는 촬상된 이미지에 포함된 객체에 대한 정보로 사용될 수 있다. 또한 독출된 정보는 투명 디스플레이 장치(100) 주위의 객체의 객체 정보가 사전에 저장된 정보일 수 있다.
도 15는 객체 정보 획득 과정에 대한 바람직한 다른 실시예의 수행과정을 도시한 도면이다.
도 15를 참조하면, 중앙 처리부(920)는 서버에 객체에 대한 정보의 검색을 요청한다(S1500). 여기서 서버는 객체 정보 제공 서버(10)일 수 있다. 또한 중앙 처리부(920)는 검색 요청 신호를 객체 정보 제공 서버(10)에 전송할 수 있다. 검색 요청 신호는 객체 이미지를 포함할 수 있고, 객체 위치 정보를 포함할 수 있다.
중앙 처리부(920)는 서버로부터 검색 결과의 수신을 제어한다(S1510).
도 16은 본 발명에 따른 객체 탐지 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 도면이다.
도 16을 참조하면, 입력장치(170)는 객체 선택 정보를 입력받는다(S1600). 여기서 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함할 수 있고 도 4에 도시된 GUI(400)을 통해 입력될 수 있다.
중앙 처리부(920)는 입력된 객체 선택 정보가 저장부(130)에 저장되도록 제어한다(S1610).
중앙 처리부(920)는 저장된 객체 선택 정보가 지시하는 객체가 탐지되었는지 여부를 확인한다(S1620). 여기서 중앙 처리부(920)는 저장된 객체 선택 정보가 지시하는 객체가 투명 디스플레이(150)를 통해 보이는지 여부를 확인할 수 있다. 중앙 처리부(920)는 객체 탐지부(930)가 출력한 객체 이미지로부터 상기 객체가 보이는지 여부를 확인할 수 있다. 객체 탐지부(930)는 촬영 장치(90)로부터 현재 영상 프레임과 이전 영상 프레임을 비교하여 특정 객체가 새로 촬영되었는지 여부를 확인할 수 있고, 특정 객체가 새로 촬영된 경우에는, 상기 객체로 촬영 장치(90)의 초점의 이동을 제어하고 촬영 장치(90)로부터 객체가 촬상된 영상 프레임을 획득할 수 있고, 획득된 영상 프레임에서 상기 객체의 객체 이미지를 추출할 수 있다.
제어부(190)는 객체 탐지부(930)가 추출한 객체 이미지를 이용하여 객체 정보 획득을 제어할 수 있고, 촬영된 객체의 이미지 또는 획득된 객체 정보를 객체 선택 정보와 비교하여 새로 촬영된 객체가 객체 선택 정보가 지시하는 객체인지를 확인할 수 있다.
객체 선택 정보가 지시하는 객체가 탐지된 경우에는, 중앙 처리부(920)는 탐지한 객체에 대한 정보의 획득을 제어한다(S1630). 여기서 객체에 대한 정보인 객체 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함할 수 있다. 단계 S1630의 세부 수행과정은 도 14 또는 도 15에 도시된 객체 정보 획득 과정에 따라 수행될 수 있다.
객체에 대한 정보의 획득 전에, 중앙 처리부(920)는 탐지한 객체의 위치 정보를 산출할 수 있다. 그리고 중앙 처리부(920)는 산출한 위치 정보가 디스플레이되도록 제어할 수 있고, 탐지한 객체에 대한 정보를 획득하기 위해 산출한 위치 정보를 이용할 수 있다. 여기서 중앙 처리부(920)는 탐지된 객체의 위치 정보를 위치 응용 서버(20)로부터 획득할 수 있고, 자신의 위치 정보로부터 탐지된 객체의 위치 정보를 산출할 수 있다. 중앙 처리부(920)는 Cell ID 방식, AOA 방식 및 TDOA 방식 등의 네트워크 기반(Network-based) 기술을 이용하여 기지국(40)으로부터 수신된 전파를 통해 디스플레이 장치(100)의 위치를 측위할 수 있다. 또한 중앙 처리부(920)는 TOA(Time Of Arrivals) 방식, GPS(Global Positioning System) 방식 및 Hybrid 측위 방식 등의 Handset-based 측위 기술을 이용하여 위성(30)로부터 수신된 신호를 통해 자신의 위치를 측위할 수 있다. 또한 중앙 처리부(920)는 디스플레이 장치(100)를 중심으로 탐지된 객체의 위치를 영상인식 기반 기술 또는 초음파 기반 기술을 이용하여 측위할 수 있다.
투명 디스플레이(150)는 획득된 객체 정보를 디스플레이한다(S1640). 여기서, 객체 정보는 도 5 및 도 7에 도시된 화면과 같이 디스플레이될 수 있다. 또한 중앙 처리부(920)는 투명 디스플레이(150) 상에 탐지된 객체의 형상이 위치하는 영역을 알리는 표시가 디스플레이되도록 제어 수 있다.
도 16의 객체 탐지 방법은 도시되어 있지 않으나 도 10의 객체 탐지 방법의 단계 S1060 및 S1070을 더 포함할 수 있다.
도 17은 본 발명에 따른 투명 디스플레이 장치에 대한 바람직한 다른 실시예의 구성을 도시한 블록도이다.
도 17의 투명 디스플레이 장치(100)는 튜너부(110), 복조부(120), 네트워크 인터페이스부(130), 신호 처리부(140), 투명 디스플레이(150), 음성 출력부(160), 입력장치(170), 저장부(180), 제어부(190), 외부 신호 수신부(1735) 및 촬영 장치(1790)를 포함한다. 제어부(190)는 촬영 장치(1790)의 이동, 포커스, 줌인 및 줌 아웃 그리고 촬상을 제어한다. 촬영 장치(1790)는 제어부의 제어에 따라 투명 디스플레이(150)를 통해 보이는 후방 객체 및 투명 디스플레이(150)의 주위에 위치하는 사람을 촬상한다. 촬영 장치(150)는 복수의 카메라를 포함할 수 있다.
도 17의 투명 디스플레이 장치(100)는 촬영 장치(1790)를 포함한다는 점에서 도 8의 투명 디스플레이 장치(100)와 차이가 있으며, 도 17의 투명 디스플레이 장치(100)의 나머지 구성요소는 각각 도 8의 투명 디스플레이 장치(100)의 구성요소와 대응되는 점에서, 각 구성요소에 대한 상세한 설명을 이하 생략한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (20)

  1. 객체 선택 정보를 입력받는 단계;
    투명 디스플레이를 통해 보이는 풍경에서 상기 입력된 객체 선택 정보가 지시하는 객체를 탐지하는 단계;
    상기 탐지된 객체에 대한 정보를 획득하는 단계; 및
    상기 획득된 정보를 상기 투명 디스플레이에 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 객체 탐지 방법.
  2. 제 1항에 있어서,
    상기 객체 선택 정보를 입력받는 단계는,
    상기 투명 디스플레이 상의 제1 위치에서 다운 이벤트(down event)를 검출하는 단계; 및
    투명 디스플레이 상의 제2 위치에서 업 이벤트(up event)를 검출하는 단계;를 포함하고,
    상기 입력된 객체 선택 정보가 지시하는 객체는 상기 투명 디스플레이상의 상기 제1 위치 및 상기 제2 위치를 포함하는 영역을 통해 보이는 객체인 것을 특징으로 하는 객체 탐지 방법.
  3. 제 1항에 있어서,
    상기 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함하는 것을 특징으로 하는 객체 탐지 방법.
  4. 제 1항에 있어서,
    상기 투명 디스플레이 상에 보이는 상기 탐지된 객체의 형상을 하이라이트하기 위한 표시를 디스플레이하는 것을 특징으로 하는 객체 탐지 방법.
  5. 제 1항에 있어서,
    상기 획득하는 단계는,
    서버에 상기 객체에 대한 정보의 검색을 요청하는 단계; 및
    상기 서버로부터 검색 결과를 수신하는 단계;를 포함하는 것을 특징으로 하는 객체 탐지 방법.
  6. 제 5항에 있어서,
    상기 검색을 요청하는 단계에서,
    상기 탐지된 객체의 이미지 및 위치 정보 중 적어도 하나를 전송하는 것을 특징으로 하는 객체 탐지 방법.
  7. 제 1항에 있어서,
    상기 획득하는 단계는,
    상기 객체에 대한 정보를 저장 매체에 저장된 데이터에서 검색하는 단계를 포함하는 것을 특징으로 하는 객체 탐지 방법.
  8. 제 1항에 있어서,
    상기 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함하는 것을 특징으로 하는 객체 탐지 방법.
  9. 제 1항에 있어서,
    상기 객체에 대한 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함하는 것을 특징으로 하는 객체 탐지 방법.
  10. 제 1항에 있어서,
    상기 디스플레이된 정보는 상기 정보가 디스플레이된 위치 및 인식된 제스처에 따라 이동되는 것을 특징으로 하는 객체 탐지 방법.
  11. 객체의 형상을 투과하는 투명 디스플레이;
    선택 정보를 수신하고, 상기 투명 디스플레이를 통해 보이는 풍경에서 상기 수신된 객체 선택 정보가 지시하는 객체를 탐지하고, 상기 탐지된 객체에 대한 정보를 획득하며, 상기 획득된 정보가 상기 투명 디스플레이에 디스플레이되도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 투명 디스플레이 장치.
  12. 제 11항에 있어서,
    상기 제어부는,
    상기 투명 디스플레이 상의 제1 위치에서 다운 이벤트(down event)를 검출하고, 투명 디스플레이 상의 제2 위치에서 업 이벤트(up event)를 검출하며, 여기서 상기 입력된 객체 선택 정보가 지시하는 객체는 상기 투명 디스플레이상의 상기 제1 위치 및 상기 제2 위치를 포함하는 영역을 통해 보이는 객체인 것을 특징으로 하는 투명 디스플레이 장치.
  13. 제 11항에 있어서,
    상기 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함하는 것을 특징으로 하는 투명 디스플레이 장치.
  14. 제 11항에 있어서,
    상기 제어부는,
    상기 투명 디스플레이 상에 보이는 상기 탐지된 객체의 형상을 하이라이트하기 위한 표시가 디스플레이되도록 제어하는 것을 특징으로 하는 투명 디스플레이 장치.
  15. 제 11항에 있어서,
    상기 제어부는,
    서버에 상기 객체에 대한 정보 검색을 요청하는 검색 요청 신호를 전송하고, 상기 서버로부터 검색 결과의 수신을 제어하는 것을 특징으로 하는 투명 디스플레이 장치.
  16. 제 15항에 있어서,
    상기 검색 요청 신호는 상기 탐지된 객체의 이미지 및 위치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 투명 디스플레이 장치.
  17. 제 11항에 있어서,
    상기 제어부는,
    상기 객체에 대한 정보를 저장 매체에 저장된 데이터에서 검색하는 것을 특징으로 하는 투명 디스플레이 장치.
  18. 제 11항에 있어서,
    상기 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함하는 것을 특징으로 하는 투명 디스플레이 장치.
  19. 제 11항에 있어서,
    상기 객체에 대한 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함하는 것을 특징으로 하는 투명 디스플레이 장치.
  20. 제 11항에 있어서,
    상기 디스플레이된 정보는 상기 정보가 디스플레이된 위치 및 인식된 제스처에 따라 이동되는 것을 특징으로 하는 투명 디스플레이 장치.
KR1020100091195A 2010-09-16 2010-09-16 투명 디스플레이 장치 및 객체 탐지 방법 KR101737839B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100091195A KR101737839B1 (ko) 2010-09-16 2010-09-16 투명 디스플레이 장치 및 객체 탐지 방법
EP11179960.7A EP2431895B1 (en) 2010-09-16 2011-09-02 Transparent display device and method for providing information using the same
US13/232,787 US20120069050A1 (en) 2010-09-16 2011-09-14 Transparent display device and method for providing information using the same
CN201110276141.2A CN102402390B (zh) 2010-09-16 2011-09-16 透明显示设备和使用透明显示设备提供信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100091195A KR101737839B1 (ko) 2010-09-16 2010-09-16 투명 디스플레이 장치 및 객체 탐지 방법

Publications (2)

Publication Number Publication Date
KR20120029230A true KR20120029230A (ko) 2012-03-26
KR101737839B1 KR101737839B1 (ko) 2017-05-19

Family

ID=46133763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100091195A KR101737839B1 (ko) 2010-09-16 2010-09-16 투명 디스플레이 장치 및 객체 탐지 방법

Country Status (1)

Country Link
KR (1) KR101737839B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374316B1 (ko) * 2012-05-02 2014-03-14 (주) 미디어인터랙티브 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법
KR20140033652A (ko) * 2012-09-10 2014-03-19 삼성전자주식회사 투명 디스플레이 장치 및 그 객체 선택 방법
WO2014116014A1 (en) * 2013-01-22 2014-07-31 Samsung Electronics Co., Ltd. Transparent display apparatus and method thereof
WO2015072604A1 (ko) * 2013-11-15 2015-05-21 엘지전자(주) 투명 디스플레이 장치와 그의 제어방법
KR20150061331A (ko) * 2013-11-27 2015-06-04 한국전자통신연구원 투명 디스플레이를 이용한 전자기기 제어방법 및 이를 이용한 장치
KR20150093090A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 복수의 디스플레이들을 제어하는 전자 장치 및 방법
RU2617544C2 (ru) * 2013-03-18 2017-04-25 Общество с ограниченной ответственностью "СликДжамп" Способ и система отображения рекламы на устройствах с сенсорным дисплеем

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102294578B1 (ko) * 2019-12-26 2021-08-26 주식회사 포스코아이씨티 로봇 프로세스 자동화를 위한 객체 탐지 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009192448A (ja) * 2008-02-18 2009-08-27 Tama Art Univ 情報表示装置及び情報提供システム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374316B1 (ko) * 2012-05-02 2014-03-14 (주) 미디어인터랙티브 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법
KR20140033652A (ko) * 2012-09-10 2014-03-19 삼성전자주식회사 투명 디스플레이 장치 및 그 객체 선택 방법
WO2014116014A1 (en) * 2013-01-22 2014-07-31 Samsung Electronics Co., Ltd. Transparent display apparatus and method thereof
US9857867B2 (en) 2013-01-22 2018-01-02 Samsung Electronics Co., Ltd. Transparent display apparatus and method thereof
US10175749B2 (en) 2013-01-22 2019-01-08 Samsung Electronics Co., Ltd. Transparent display apparatus and method thereof
US10509460B2 (en) 2013-01-22 2019-12-17 Samsung Electronics Co., Ltd. Transparent display apparatus and method thereof
RU2617544C2 (ru) * 2013-03-18 2017-04-25 Общество с ограниченной ответственностью "СликДжамп" Способ и система отображения рекламы на устройствах с сенсорным дисплеем
WO2015072604A1 (ko) * 2013-11-15 2015-05-21 엘지전자(주) 투명 디스플레이 장치와 그의 제어방법
US9990034B2 (en) 2013-11-15 2018-06-05 Lg Electronics Inc. Transparent display device and control method therefor
KR20150061331A (ko) * 2013-11-27 2015-06-04 한국전자통신연구원 투명 디스플레이를 이용한 전자기기 제어방법 및 이를 이용한 장치
KR20150093090A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 복수의 디스플레이들을 제어하는 전자 장치 및 방법

Also Published As

Publication number Publication date
KR101737839B1 (ko) 2017-05-19

Similar Documents

Publication Publication Date Title
KR20120029228A (ko) 투명 디스플레이 장치 및 객체 정보 제공 방법
EP2431895B1 (en) Transparent display device and method for providing information using the same
KR101737839B1 (ko) 투명 디스플레이 장치 및 객체 탐지 방법
KR101832757B1 (ko) 전자 장치 및 메뉴 자동 구성 방법
US9509959B2 (en) Electronic device and control method thereof
KR20180026160A (ko) 싱크 디바이스 및 그 제어 방법
CN108958580B (zh) 一种显示控制方法及终端设备
KR101719989B1 (ko) 전자 장치 및 메뉴를 구성하기 위한 인터페이스 방법
US20140192081A1 (en) Method and apparatus for laying out image using image recognition
US8718624B2 (en) Electronic device and method for transmitting data
US11250046B2 (en) Image viewing method and mobile terminal
KR101727040B1 (ko) 전자 장치 및 메뉴 제공 방법
WO2021169954A1 (zh) 搜索方法及电子设备
KR20180058445A (ko) 이동 단말기 및 그의 동작 방법
KR101663619B1 (ko) 투명 디스플레이 장치 및 지역 정보 제공 방법
KR20180055497A (ko) 디스플레이 장치 및 그의 동작 방법
CN108595104B (zh) 一种文件处理方法及终端
KR101789617B1 (ko) 전자 장치 및 메뉴 편집 인터페이스 방법
CN106792224B (zh) 一种终端和视频播放方法
CN106657572B (zh) 终端及显示方法
KR20140051804A (ko) 영상표시장치 및 그 제어방법
KR20120040347A (ko) 전자 장치 및 이동 정보 제공 방법
KR20180085555A (ko) 디스플레이 장치 및 그의 동작 방법
KR101805532B1 (ko) 전자 장치 및 메뉴 자동 구성 방법
KR20120038826A (ko) 전자 다이어리 서비스를 제공하는 전자 장치 및 전자 다이어리 서비스 제공 방법, 그리고 전자 다이어리 서비스를 위한 인터페이스 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right