KR20040015001A - 스피치 및 제스처 제어에 기초한 픽처-인-픽처 재위치화및/또는 재사이즈화 - Google Patents

스피치 및 제스처 제어에 기초한 픽처-인-픽처 재위치화및/또는 재사이즈화 Download PDF

Info

Publication number
KR20040015001A
KR20040015001A KR10-2003-7003092A KR20037003092A KR20040015001A KR 20040015001 A KR20040015001 A KR 20040015001A KR 20037003092 A KR20037003092 A KR 20037003092A KR 20040015001 A KR20040015001 A KR 20040015001A
Authority
KR
South Korea
Prior art keywords
pip
gesture
user
display
audio
Prior art date
Application number
KR10-2003-7003092A
Other languages
English (en)
Inventor
코헨소랄에릭
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040015001A publication Critical patent/KR20040015001A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

비디오 디스플레이 장치는 PIP(picture-in-picture) 디스플레이, 오디오 입력 장치, 이미지 입력 장치 및 프로세서를 갖는다. 상기 장치는 사용자가 PIP의 사이즈 및 디스플레이 내의 PIP의 위치와 같은 PIP 디스플레이 특성들을 제어하도록 오디오 표시 및 관련된 제스처의 조합을 이용한다. 마이크로폰은 오디오 표시를 포착하고, 프로세서는 PIP 제어 명령이 사용자로부터 의도되는 것임을 판정하도록 인식 실행을 수행한다. 그후에, 카메라는 제스처를 포함하는 사용자의 적어도 일부분을 포함하는 사용자의 이미지 또는 일련의 이미지들을 포착한다. 그후에, 프로세서는 제스처를 식별하고 조합된 오디오 식별 및 제스처에 응답하여 PIP 디스플레이 특성에 영향을 미친다.

Description

스피치 및 제스처 제어에 기초한 픽처-인-픽처 재위치화 및/또는 재사이즈화{Picture-in-picture repositioning and/or resizing based on speech and gesture control}
동시에 텔레비전 디스플레이 상에 하나보다 많은 비디오 디스플레이를 디스플레이하는 성능을 갖추고 있는 것은 텔레비전에 있어 매우 일반적이다. 통상, 디스플레이는 그 디스플레이의 주요부가 제 1 비디오 데이터 스트림(예컨대, 주어진 텔레비전 채널)에 전용되는 둘 또는 그 이상의 부분들로 분할된다. 제 2 비디오 데이터 스트림은 제 1 데이터 스트림의 디스플레이에 대한 인셋(inset)으로서 나타내어진 디스플레이 박스(display box) 내에 동시에 나타내진다. 이 인셋 박스는 통상 픽처-인-픽처 디스플레이(picture-in-picture display)("PIP")로서 나타내진다. 이 PIP는 텔레비전 시청자가 동시에 둘 또는 그 이상의 비디오 데이터 스트림들을 모니터하는 기능성을 제공한다. 예컨대, 이것은 상업광고 세그먼트(commercial segment)가 주어진 텔레비전 채널에서 시작할 때 그리고 시청자가 상업광고 세그먼트 동안 부가적인 선택된 텔레비전 채널들을 "서프(surf)"하기 원하면서, 그 상업광고 세그먼트로부터 되돌아오는 것을 놓치지 않기를 원할 때 바람직하다. 다른 시간들에서, 시청자는 다른 비디오 콘텐트(video content)를 검색하길 원할 수 있으며 또는 단순히 또 다른 선택된 채널 상의 콘텐트를 놓치지 않고 다른 콘텐트를 시청하길 원할 수 있다.
여하간, PIP는 PIP가 통상 주(primary) 디스플레이의 상부에서 오버레이(overlay)되는 인셋 박스 내에서 보여진다는 문제점을 가지고 있다. 오버레이된 PIP는 주 디스플레이의 일부를 흐리게 하는 바람직하지 못한 효과를 갖는다.
종래 시스템들에서, PIP는 PIP가 아래에 놓인 비디오 이미지들의 일부들을 흐리게 하는 것을 피하도록 하는 사이즈(size)를 사용자로 하여금 결정할 수 있도록 원격 제어 입력을 이용하여 재사이즈(resize)될 수 있다. 다른 시스템들에서, 사용자는 PIP를 비디오 스크린의 미리선택되거나 변하기 쉬운 선택가능한 부분들로 이동시키기 위해 원격 제어를 이용할 수 있다. 하지만, 이들 시스템들은 사용자가 작동시키기에 크고 혼란스럽다.
일부 시스템들에서는, 텔레비전이 채널 선택 및 볼륨 제어와 같은 텔레비전 기능들을 제어하도록 음성 제어(voice control)에 응답할 수 있다는 것을 보여준다. 하지만, 이들 시스템들은 사용자가 음성 제어에 친숙하지 않다는 문제점들을가지고 있으며, 음성 인식 시스템들은 서로 다른 제어 특징들 사이에서 식별의 문제점들을 가지고 있다. 또한, 제어 명령들로서 의도되지 않은 음성 신호들이 흔히 있을 수 있다.
컴퓨터 비전(computer vision) 기술에서, 주어진 시스템의 특징을 제어하는 사용자의 제스처에 대해 응답하는 시스템들이 공지되어 있지만, 이들 시스템들은 조작이 어렵고, 제어 제스처로서 의도되지 않을 수 있는 사용자들에 의한 제스처들을 실수로 검출할 수 있다.
따라서, 본 발명의 목적은 종래 기술의 단점들을 해소하기 위한 것이다.
본 발명은 일반적으로 가정용 텔레비전 사용을 향상시키기 위한 방법 및 장치에 관한 것이다. 특히, 본 발명은 재위치되고 그리고/또는 재사이즈될 수 있는 v픽처-인-픽처(picture-in-picture: PIP) 디스플레이에 관한 것이다.
도 1은 본 발명의 실시예에 따른 예시적인 시스템을 보여주는 도면.
도 2는 본 발명의 실시예에 따른 동작을 보여하는 흐름도.
도 3은 본 오디오 표시들 및/또는 제스처들을 인식하기 위해 시스템을 트레이닝(training)하기 위한 본 발명의 실시예에 따라 이용될 수 있는 셋업(setup) 과정을 보여주는 흐름도.
발명의 요약
본 발명은 텔레비전과 같은, 비디오 디스플레이 장치를 구비하며, PIP(picture-in-picture) 디스플레이 및 프로세서를 갖춘 시스템이다. 이 시스템은 또한 본 발명에 따른 동작을 위해 마이크로폰과 같은 오디오 입력장치 및 카메라와 같은 비디오 입력장치 둘 모두를 갖는다.
시스템은 PIP의 크기 및 디스플레이 내에서 PIP의 위치와 같은 PIP 디스플레이 특징들을 제어하기 위해 사용자로부터의 오디오 표시(audio indication) 및 관련 제스처의 조합을 이용한다. 마이크로폰은 오디오 표시를 포착하고, 프로세서는 PIP 제어 명령이 사용자로부터 의도된 것으로 결정하도록 인식 동작을 수행한다. 그후에, 카메라는 제스처를 포함하는 사용자의 적어도 일부분을 포함하는 사용자의이미지 또는 일련의 이미지들을 포착한다. 그후, 프로세서는 제스처를 식별하고, 조합된 오디오 표시와 제스처에 응답하여 PIP 디스플레이 특징에 영향을 미친다.
이하, 다음의 도면들과 연계하여 취해지는 본 발명에 따른 실시예들을 설명하며, 다른 것뿐만 아니라 상기 언급된 특징들 및 이점들을 설명한다. 도면들은 예시적인 목적들로 의도된 것이며 첨부된 청구범위에 의해 정의되는 본 발명의 범위를 나타내는 것이 아님을 쉽게 이해해야 한다. 본 발명은 첨부된 도면들과 연계하여 가장 잘 이해된다.
다음의 논의에서, 임의의 용어들은 논의를 편리하게 하기 위해 특정 실시예들 또는 시스템들에 대해서 예시적으로 논의된다. 기술분야의 당업자에게 명료한 바와 같이, 이들 용어들은 본 발명이 용이하게 적용될 수 있는 다른 유사한 공지된 용어들을 포함하는 것으로 이해되어야 한다.
도 1은 프로세서(120)에 동작가능하게 결합된 디스플레이(110)와, 원격 제어장치(130)를 포함하는 본 발명의 실시예에 따른 예시적인 시스템(100)을 보여준다. 프로세서(120) 및 원격 제어장치(130)는 프로세서(120)에 동작가능하게 결합된 적외선(infrared: IR) 수신기(125)와, 원격 제어장치(130)에 동작가능하게 결합된 IR 송신기(131)를 통해서 기술분야에 공지된 바와 같이 동작가능하게 결합된다.
디스플레이(110)는 사용자가 보고 듣도록 오디오비주얼 콘텐트(audiovisual content)를 재생하기 위해 인에이블된 텔레비전 수신기 또는 다른 장치일 수 있다. 프로세서(120)는 기술분야의 당업자에게 공지되어 있는 바와 같이 디스플레이(110) 상에 PIP(picture-in-picture)를 생성할 수 있다. 또한, 프로세서(120)는 본 발명에 따른 PIP 디스플레이를 제공하고, 위치시키고, 사이즈(size)할 수 있다.
원격 제어장치(130)는 기술분야에 공지되어 있는 바와 같이 동작하는 버튼을 포함한다. 특히, 원격 제어장치(130)는 PIP 버튼(134), 교환 버튼(swap button:132), 및 PIP 위치 제어버튼들(137A,137B,137C,137D)을 포함한다. PIP 버튼(134)은 디스플레이(110) 상에서 PIP를 개방하도록 PIP 기능을 초기화하기 위해 사용될 수 있다. 교환 버튼(132)은 디스플레이 상에 보여질 수 있는 주 디스플레이 이미지 및 PIP 이미지 각각을 교환한다. PIP 위치 제어 버튼들(137A,137B,137C,137D)은 사용자로 하여금 디스플레이(110)의 선택가능한 위치들에 대해 PIP를 수동으로 재위치시킬 수 있게 한다. 원격 제어장치(130)는 또한 각각 PIP 및 주 디스플레이 이미지에 대해 비디오 데이터 스트림들을 선택하기 위한 채널 선택기 키들(channel selector keys: 139A,139B,138A,138B)과 같이 기술분야에 공지되어 있는 바와 같은 다른 제어 버튼을 포함할 수 있다.
기술분야의 당업자에게 명백한 바와 같이, 버튼들(138A,138B,139A,139B)이 채널 선택기 버튼들로서 예시적으로 도시되어 있지만, 버튼들(138A,138B,139A,139B)은 또한 하나 또는 그 이상의 다른 비디오 소스들로부터 복수의 비디오 데이터 스트림들 중에서 선택할 수 있다. 예를 들면, 비디오 데이터 스트림(예컨대, PIP 및 주 디스플레이 이미지)의 한 소스는 방송 비디오 데이터 스트림일 수 있으며, 또 다른 소스는 저장 장치일 수 있다. 저장 장치는 테이프 저장 장치(예컨대, VHS 아날로그 테이프), 하드디스크 드라이브와 같은 디지털 저장 장치, 광학 저장 장치 등일 수 있으며, 또는 비디오 데이터 스트림을 저장하기 위한 임의의 다른 유형의 공지된 장치일 수 있다. 실제로, PIP 및 주 디스플레이 이미지 중 하나에 대한 비디오 데이터 스트림의 임의 소스가 본 발명의 범위에서 벗어남이 없이 본 발명에 따라 이용될 수 있다.
하지만, 상기 언급된 바와 같이, 원격 제어장치는 PIP의 조작을 위해 이용하기 혼란스럽고 어렵다. 또한, PIP는 주 디스플레이 이미지의 변경들에 응답하여 재사이즈되거나 이동되는 것과 같이, 조작될 필요가 있다. 예를 들면, 주 디스플레이 이미지의 관심 영역은 주 디스플레이 이미지의 씬들(scenes)의 변화가 일어남에 따라 바뀔 수 있다.
본 발명에 따라, PIP 특히, PIP의 디스플레이 특징(예컨대, 사이즈, 위치 등)의 조작을 용이하게 하기 위해서, 프로세서는 또한 마이크로폰(122)과 같은 오디오 입력 장치 및 카메라(124)와 같은 이미지 입력 장치에 동작가능하게 결합된다. 마이크로폰(122) 및 카메라(124)는 각각 PIP의 제어를 용이하게 하기 위해 사용자(140)로부터 오디오 표시들 및 관련된 제스처들을 포착하도록 이용된다.
특히, 본 발명에 따라, 오디오 표시(142)에 이어지는 관련 제스처(144)의 조합은 PIP를 제어하기 위해 시스템(100)에 의해 이용된다. 이 일련의 오디오 표시(142)에 이어지는 제스처(144)는 또한 PIP를 활성(예컨대, 턴온(turn on))시키는데 사용된다. 오디오 표시(142) 및 제스처(144)는 시스템(100)이 PIP 제어에 대해 의도되지 않은 사용자의 오디오 표시들과 제스처들을 구별할 수 있도록 관련된다. 특히, 오디오 표시(142)에 이어지는 제스처(144)의 이 조합은 시스템(100)이 위치되는 영역에서 그리고 그 주변에서 사용자들의 활동(activity)으로 인해 발생할 수 있는 가짜 배경 오디오(spurious background audio) 및 제스처 표시들에 응답하여 시스템(100)의 잘못된 활성을 방지하는 것을 돕는다.
또한, 오디오 표시(142) 및 제스처(144)는 시스템(100)이 PIP 사이즈와 위치 관련 명령들을 구별할 수 있도록 관련된다. 특히, 주어진 제스처는 두 개 또는 그 이상의 다른 오디오 표시들과 관련될 수 있다. 예컨대, 사용자는 PIP의 사이즈를 증가시키기 위해 "PIP SIZE"에 이어지는 "THUMBS UP" 제스처의 오디오 표시를 이용할 수 있다. 하지만, "PIP POSITION"에 이어지는 "THUMBS UP" 제스처의 오디오 표시는 위쪽 방향으로 PIP를 재위치시키는데 사용될 수 있다. 본 발명의 또 다른 동작이 도 2 및 도 3에 관해서 설명된다. 도 2의 흐름도에 도시된 바와 같이, 실행(act: 205) 중에, 사용자(140)는 시스템(100), 특히 마이크로폰 입력(122)에 오디오 표시(142)를 제공한다. 오디오 표시는 PIP 관련 명령이 사용자에 의해 의도된 것임을 시스템(100)에 표시하고, 특히 PIP 조작이 요구됨을 표시한다. 시스템(100)은 인식된 오디오 표시가 수신될 때까지 계속해서 오디오 입력을 수신하고 해석한다. 인식된 용어로써, 의도되는 것은 시스템(100)이 PIP 디스플레이 특성 조작들과 관련될 시스템(100)에 의해 공지된 오디오 표시를 수신해야 한다는 것이다.
오디오 표시(142)는 PIP 관련 제스처(144)가 뒤따른다는 것을 단순히 표시하도록 사용자에 의한 "PIP"의 발언(utterance)과 같은 간단한 한 단어 용어일 수 있다. 상술한 바와 같이, 오디오 표시들 및 제스처들의 조합들은 주어진 오디오 표시에 대해, 하나 또는 그 이상의 이어지는 제스처들이 시스템(100)에 의해 예상되도록 관련된다. "PIP"와 같은 단순한 오디오 표시의 경우에, 이어지는 제스처는 예상된 PIP 관련 조작을 시스템에 나타낸다. 예를 들면, 위, 아래, 왼쪽, 오른쪽, 대각선을 가리키는 손가락(예컨대, 엄지손가락) 표시는 PIP에 대해 요구되는 위치를 나타내기 위한 제스처일 수 있다. 오디오 표시에 이어지는 관련 제스처의 이 조합은 개별적인 오디오 표시 및 관련된 제스처에 의해 또는 원격 제어(130)에 의해 앞서 턴 온되지 않은 PIP를 턴 온시킬 수 있다. 다른 제스처들은 두 개의 손가락들이 PIP의 사이즈 등을 줄이길 원한다는 것을 나타내기 위해 서로 가까이에 있는 것과 같이 PIP 사이즈 관련 명령이 의도된다는 것을 나타내는데 사용될 수 있다. 사용자는 PIP의 사이즈를 늘리길 원한다는 것을 나타내기 위해 멀리 떨어져 있는 두 개의 손가락을 사용할 수 있다.
오디오 표시들 및 제스처들의 상기 예들은 단순히 본 발명의 동작을 설명을용이하게 하기 위해 제시된 것이며, 그것을 제한하기 위한 것으로 고려되지 말아야 한다는 것을 이해해야 한다. 오디오 표시들 및 대응하는 제스처들의 많은 조합들은 기술분야의 당업자에게는 명백할 것이다. 따라서, 상기 예들은 첨부된 청구범위의 범위를 제한하기 위한 것으로 이해돼서는 안 된다.
오디오 표시는 또한 이어지는 관련된 제스처가 PIP 사이징(sizing)을 변경시키기 위한 명령으로서 의도된다는 것을 시스템(100)에 표시하는 "PIP SIZE"와 같은, 더 복잡한 다수의 단어 발언(multiple word utterances)일 수 있다. 여하간, 실행(act:210)에서 프로세서(120)는 PIP 관련된 오디오 표시로서 오디오 표시를 인식하려 시도한다. 제스처 인식 실행에 부가하여 이 인식 실행은 아래에서 더 설명된다. 오디오 표시가 PIP 관련된 오디오 표시로서 인식되지 않는 경우에, 도 2에 도시된 바와 같이, 프로세서(120)는 실행(205)으로 복귀하고, 계속해서 PIP 관련된 오디오 표시가 인식될 때까지 오디오 표시들을 모니터한다.
오디오 표시가 시스템(100)에 의해 인식될 때, 그후 실행(230) 중에, 프로세서(120)는 카메라(124)를 사용하여 사용자(140)의 이미지 또는 이미지들의 시퀀스들을 습득할 수 있다. 사용자의 제스처를 습득하고 인식하기 위한 공지된 시스템들이 있다. 예를 들면, Gestures-Based Communication in Human Computer Interaction의 1999년 국제 제스처 워크숍의 의사진행중의, Ying Wu 와 Thomas S. Huang의 "Vision-Based Gesture Recognition: A Review"에서는 제어 기능들을 위한 제스처들의 사용을 개시하고 있다. 이 논문은 설명한 바와 같이 온전히 본 명세서에 참조문헌으로써 포함되어 있다.
일반적으로, 제스처를 인식하기 위한 두 가지의 일반적인 유형의 시스템들이 있다. 일반적으로 손 자세 인식(hand posture recognition)으로 언급되는 한 시스템에서, 카메라(124)는 사용자에 의해 의도된 제스처를 판정하기 위해 하나의 이미지 또는 소수의 이미지들의 시퀀스를 습득할 수 있다. 이러한 유형의 시스템은 일반적으로 사용자에 의한 제스처의 정적 평가(static assessment)를 행한다. 또 다른 공지된 시스템에서, 카메라(124)는 제스처를 다이내믹하게 판정하기 위해 이미지들의 시퀀스를 습득할 수 있다. 이러한 유형의 인식 시스템은 일반적으로 다이내믹/시간적인(dynamic/temporal) 제스처 인식으로서 언급된다. 일부 시스템들에서, 다이내믹 제스처 인식은 손의 궤적을 분석함으로써 행해지며, 그후에 이 궤적을 특정 제스처들에 대응하는 궤적들의 학습된 모델들(learned models)에 비교한다. 학습 제스처들 및 오디오 표시들의 처리의 일반적인 개요는 도 3을 참조하여 아래에서 더 논의된다.
기술분야의 당업자에게 명백한 바와 같이, 정적이면서 다이내믹한 스피치들을 인식하기 위해 시스템들을 트레이닝하는 많은 방식들이 있다. 아래의 논의는 단순히 예시적인 목적을 위해 제공된 것이다. 따라서, 본 발명은 다른 공지된 시스템들을 포함하는 것으로 이해되어야 한다.
여하간, 카메라(124)가 이미지 또는 이미지들의 시퀀스를 습득한 후, 실행(240) 동안, 프로세서(120)는 제스처를 식별하려고 시도한다. 프로세서(120)가 제스처를 식별하지 못할 때, 프로세서(120)는 사용자(140)의 부가적인 이미지 또는 이미지들의 시퀀스를 습득하기 위해 실행(230)으로 복귀한다. 공지된 제스처가 인식됨이 없이 이미지 또는 이미지의 시퀀스로부터 공지된 제스처를 판정하는데 미리정해진 수의 시도 후에, 프로세서(120)는 실행(250) 동안 제스처가 인식되지 않았음을 사용자(140)에게 표시할 수 있다. 이 표시는 스피커(128)로부터의 오디오 신호 형태일 수 있으며, 또는 디스플레이(110)로부터 비주얼 신호(visual signal)일 수 있다. 이 실시예 또는 다른 실시예들에서, 다수의 시도 후에, 시스템은 다른 오디오 표시를 기다리도록 실행(205)으로 복귀할 수 있다.
프로세서(120)가 제스처를 식별할 때, 실행(260) 동안, 프로세서(120)는 메모리(126)에 질의(query)함으로써 요청된 PIP 조작을 판정한다. 메모리(126)는 시스템(100)이 대응하는 PIP 조작들과 함께 인식할 수 있는 제스처들을 저장하는 룩업 테이블(look-up table)로서 구성될 수 있다. 실행(270) 동안, 요청된 PIP 조작이 메모리(126)로부터 검색된 후, 프로세서(120)는 요청된 PIP 조작을 수행한다. 그후에, 시스템은 사용자(140)로부터 또 다른 오디오 표시를 기다리도록 실행(205)으로 복귀한다.
도 3은 스피치 및 제스처 입력들을 인식하도록 시스템(100)을 트레이닝하는데 사용될 수 있는 실행들의 예시적인 흐름도를 보여준다. 스피치와 음성을 인식하기 위한 특정 시스템들, 알고리즘들 등이 매우 다르지만, 일반적인 실행들은 다소 유사하다. 특히, 실행(310)에서, 스피치 또는 제스처 트레이닝 시스템은 각각의 예상된 오디오 표시 또는 인식가능한 제스처에 대한 하나 또는 그 이상의 입력 샘플들을 유도하고 포착한다. 용어 "유도하는(elicit)"에 의해 의도되는 것은 시스템이 사용자로 하여금 특정의 입력 샘플을 제공하도록 부추긴다는 것이다.
그후에, 실행(320)에서, 시스템은 각각의 예산된 오디오 표시 또는 인식가능한 제스처에 대해 하나 또는 그 이상의 포착된 입력 샘플들을 하나 또는 그 이상의 입력 샘플들을 식별하는 라벨(label)과 연관시킨다. 실행(330)에서, 하나 또는 그 이상의 라벨 입력 샘플들은 그후에 사용자 표시들을 인식하기 위해 사용되는 모델들을 구동하도록 분류기(classifier)(예컨대, 프로세서(120))에 제공된다.
일 실시예에서, 이 트레이닝은 셋업 과정 동안 사용자와 인터페이스하는 시스템(100)에 의해 직접 수행될 수 있다. 또 다른 실시예에서, 이 트레이닝은 일반적으로 시스템들의 그룹에 대해 한번 수행될 수 있으며, 트레이닝의 결과들(예컨대, 그로부터 유도된 모델들)은 메모리(126)에 저장될 수 있다. 또 다른 실시예에서, 시스템들의 그룹은 메모리(126)에 저장된 결과들로 한번 트레인(train)될 수 있으며, 그후에, 각각의 시스템은 모델들을 정련하기(refine) 위해 사용자로부터 또 다른 입력/트레이닝을 유도할 수 있다.
마지막으로, 상기 논의는 단순히 본 발명의 예시적인 것으로 의도된 것이다. 다수의 대안의 실시예들이 다음의 청구범위의 사상 및 범위에서 벗어남이 없이 기술분야의 당업자에 의해 유도될 수 있다. 예를 들면, 프로세서(120)가 디스플레이(110)로부터 분리되는 것으로 도시되어 있지만, 명료하게, 양자는 텔레비전과 같은 단일 디스플레이 장치에서 조합될 수 있다, 또한, 프로세서는 본 발명에 따라 수행하기 위한 전용 프로세서일 수 있으며, 또는 많은 기능들 중 하나만이 본 발명에 따라 수행하도록 동작하는 일반적인 목적의 프로세서일 수 있다. 또한, 프로세서는 프로그램 일부, 다중 프로그램 세그먼트들을 이용하여 동작할 수 있으며, 또는 전용되거나 다중 목적의 집적회로를 이용하는 하드웨어 장치일 수 있다.
또한, 본 발명은 텔레비전 디스플레이 상의 PIP에 대해서 위에서 논의되었지만, 본 발명은 주 이미지를 디스플레이하는 성능을 가지는 임의의 디스플레이 장치와 함께 적합하게 이용될 수 있으며, PIP는 컴퓨터 모니터 또는 임의의 다른 공지된 디스플레이 장치를 포함한다.
다수의 대안의 실시예들은 다음의 청구범위의 사상 및 범위로부터 벗어남이 없이 기술분야의 당업자에 의해 발명될 수 있다. 첨부된 청구범위를 해석하는데 있어, 다음과 같은 것으로 이해되어야 한다.
a) 단어 "포함하는"은 주어진 청구범위에 열거된 것 이외의 다른 요소들 또는 실행들의 존재를 배제하는 것이 아니다.
b) 요소에 선행하는 관사 "a" 또는 "an"은 복수의 이러한 요소들의 존재를 배제하는 것이 아니다.
c) 청구범위 내의 임의 참조기호들은 이들 범위를 제한하지 않는다.
d) 여러 가지 "수단"이 동일한 아이템(item) 또는 하드웨어 또는 소프트웨어 구현된 구조 또는 기능으로써 나타내질 수 있다.

Claims (12)

  1. 비디오 디스플레이 장치에 있어서,
    주 이미지(primary image)와 상기 주 이미지 위에 놓이는 PIP(picture-in-picture)로 구성되는 디스플레이(110), 및
    상기 디스플레이(110)에 동작가능하게 결합되며, 상기 주 이미지에 대한 제 1 비디오 데이터 스트림을 수신하고, 상기 PIP에 대한 제 2 비디오 데이터 스트림을 수신하고, 사용자로부터의 수신된 오디오 표시(audio indication) 및 관련된 제스처(gesture)에 응답하여 PIP 디스플레이 특징을 변경시키도록 구성되는 프로세서(120)를 포함하는, 비디오 디스플레이 장치.
  2. 제 1항에 있어서,
    상기 PIP 디스플레이 특징은 상기 디스플레이 상의 상기 PIP의 위치와 상기 PIP의 디스플레이 크기 중 적어도 하나인, 비디오 디스플레이 장치.
  3. 제 1항에 있어서,
    상기 사용자로부터 상기 오디오 표시를 수신하기 위한 마이크로폰(122)과,
    상기 관련된 제스처를 포함하는 사용자의 이미지를 얻기 위한 카메라(124)를 포함하는, 비디오 디스플레이 장치.
  4. 제 1항에 있어서,
    상기 프로세서(120)는 PIP 관련 오디오 표시가 상기 사용자에 의해 의도될 때를 식별하기 위해 상기 사용자로부터 수신된 오디오 정보를 분석하도록 구성되는, 비디오 디스플레이 장치.
  5. 제 1항에 있어서,
    상기 프로세서(120)는 상기 오디오 표시가 상기 수신된 제스처로 표현된 상기 PIP 디스플레이 특징의 변경을 식별하기 위해 수신된 후 상기 사용자로부터 수신된 이미지 정보를 분석하도록 구성되는, 비디오 디스플레이 장치.
  6. 제 5항에 있어서,
    상기 이미지 정보는 이미지들의 시퀀스(sequence)에 포함되고, 상기 프로세서(120)는 상기 수신된 제스처를 판정하기 위해 상기 이미지들의 시퀀스를 분석하도록 구성되는, 비디오 디스플레이 장치.
  7. 제 6항에 있어서,
    상기 프로세서(120)는 상기 사용자의 손의 궤적(trajectory) 및/또는 자세를 판정하도록 구성되는, 비디오 디스플레이 장치.
  8. 제 1항에 있어서,
    상기 비디오 디스플레이 장치(110)는 텔레비전인, 비디오 디스플레이 장치.
  9. 주 디스플레이 위에 놓이는 PIP 디스플레이의 디스플레이 특징을 제어하는 방법에 있어서,
    사용자로부터 오디오 표시를 수신하는 단계와,
    수신된 오디오 표시가 복수의 기대된 오디오 표시들 중 하나인지의 여부를 판정하는 단계와,
    상기 수신된 오디오 표시가 복수의 기대된 오디오 표시들 중 하나라면 사용자의 제스처를 분석하는 단계와,
    상기 제스처가 상기 수신된 오디오 표시에 관련되는 제스처라면 상기 디스플레이 특징을 제어하는 단계를 포함하는, 디스플레이 특징 제어 방법.
  10. 제 9항에 있어서,
    상기 제스처를 분석하는 단계는,
    이미지들의 시퀀스를 수신하는 단계와,
    상기 제스처를 판정하기 위해 상기 이미지들의 시퀀스를 분석하는 단계를 포함하는, 디스플레이 특징 제어 방법.
  11. 제 10항에 있어서,
    상기 이미지들의 시퀀스를 분석하는 단계는,
    상기 사용자의 손의 궤적 및/또는 자세를 판정하는 단계와,
    판정된 궤적 및/또는 자세에 의해 상기 제스처를 판정하는 단계를 포함하는, 디스플레이 특징 제어 방법.
  12. 컴퓨터 프로그램 제품으로서, 컴퓨터 프로그램을 실행할 때 청구항 1 내지 8 중 어느 하나에서 정의되는 바와 같은 비디오 표시 장치로서 기능하도록 프로그램가능 장치를 인에이블(enable)하는 컴퓨터 프로그램 제품.
KR10-2003-7003092A 2001-06-29 2002-06-20 스피치 및 제스처 제어에 기초한 픽처-인-픽처 재위치화및/또는 재사이즈화 KR20040015001A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/896,199 US20030001908A1 (en) 2001-06-29 2001-06-29 Picture-in-picture repositioning and/or resizing based on speech and gesture control
US09/896,199 2001-06-29
PCT/IB2002/002508 WO2003003728A1 (en) 2001-06-29 2002-06-20 Picture-in-picture repositioning and/or resizing based on speech and gesture control

Publications (1)

Publication Number Publication Date
KR20040015001A true KR20040015001A (ko) 2004-02-18

Family

ID=25405798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-7003092A KR20040015001A (ko) 2001-06-29 2002-06-20 스피치 및 제스처 제어에 기초한 픽처-인-픽처 재위치화및/또는 재사이즈화

Country Status (6)

Country Link
US (1) US20030001908A1 (ko)
EP (1) EP1405509A1 (ko)
JP (1) JP2004531183A (ko)
KR (1) KR20040015001A (ko)
CN (1) CN1265625C (ko)
WO (1) WO2003003728A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110085493A (ko) * 2010-01-20 2011-07-27 엘지전자 주식회사 프로젝터가 장착된 디스플레이 장치 및 그 제어 방법

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3837505B2 (ja) * 2002-05-20 2006-10-25 独立行政法人産業技術総合研究所 ジェスチャ認識による制御装置のジェスチャの登録方法
CN100456212C (zh) * 2004-03-18 2009-01-28 钟煜曦 一种基于图像的互动输入控制方法及***
KR100747842B1 (ko) 2005-05-06 2007-08-08 엘지전자 주식회사 영상 표시 장치에서 화면 크기 변경에 따른 음성 선택방법
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US20080046937A1 (en) * 2006-07-27 2008-02-21 LaSean T. Smith Playing Content on Multiple Channels of a Media Device
WO2008069519A1 (en) * 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Gesture/speech integrated recognition system and method
KR101367100B1 (ko) * 2007-05-21 2014-02-25 삼성전자주식회사 응용 프로그램/메뉴 표시 장치 및 방법
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
US20100071004A1 (en) * 2008-09-18 2010-03-18 Eldon Technology Limited Methods and apparatus for providing multiple channel recall on a television receiver
US8572651B2 (en) 2008-09-22 2013-10-29 EchoStar Technologies, L.L.C. Methods and apparatus for presenting supplemental information in an electronic programming guide
US9357262B2 (en) * 2008-09-30 2016-05-31 Echostar Technologies L.L.C. Systems and methods for graphical control of picture-in-picture windows
US8582957B2 (en) * 2008-09-22 2013-11-12 EchoStar Technologies, L.L.C. Methods and apparatus for visually displaying recording timer information
US8473979B2 (en) 2008-09-30 2013-06-25 Echostar Technologies L.L.C. Systems and methods for graphical adjustment of an electronic program guide
US8763045B2 (en) 2008-09-30 2014-06-24 Echostar Technologies L.L.C. Systems and methods for providing customer service features via a graphical user interface in a television receiver
US8937687B2 (en) 2008-09-30 2015-01-20 Echostar Technologies L.L.C. Systems and methods for graphical control of symbol-based features in a television receiver
US8793735B2 (en) 2008-09-30 2014-07-29 EchoStar Technologies, L.L.C. Methods and apparatus for providing multiple channel recall on a television receiver
US20100083319A1 (en) * 2008-09-30 2010-04-01 Echostar Technologies Llc Methods and apparatus for locating content in an electronic programming guide
US8397262B2 (en) 2008-09-30 2013-03-12 Echostar Technologies L.L.C. Systems and methods for graphical control of user interface features in a television receiver
CN101729808B (zh) * 2008-10-14 2012-03-28 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的***
US9100614B2 (en) 2008-10-31 2015-08-04 Echostar Technologies L.L.C. Graphical interface navigation based on image element proximity
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
TW201032087A (en) * 2009-02-19 2010-09-01 Asustek Comp Inc Command control system and method thereof
US20100275228A1 (en) * 2009-04-28 2010-10-28 Motorola, Inc. Method and apparatus for delivering media content
WO2011028916A1 (en) * 2009-09-02 2011-03-10 General Instrument Corporation Network attached dvr storage
JP2011087162A (ja) * 2009-10-16 2011-04-28 Sony Corp 受信装置、受信方法、送信装置および送信方法
KR101626159B1 (ko) * 2009-11-25 2016-05-31 엘지전자 주식회사 사용자 적응형 디스플레이 장치 및 디스플레이 방법
CN101783865A (zh) * 2010-02-26 2010-07-21 中山大学 基于数字机顶盒智能化鼠标控制方法及数字机顶盒
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
IT1399695B1 (it) * 2010-04-14 2013-04-26 Sisvel Technology Srl Metodo per visualizzare un flusso video secondo un formato personalizzato.
NL2004670C2 (nl) * 2010-05-04 2012-01-24 Activevideo Networks B V Werkwijze voor multimodale afstandsbediening.
US8717289B2 (en) * 2010-06-22 2014-05-06 Hsni Llc System and method for integrating an electronic pointing device into digital image data
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
WO2012063247A1 (en) * 2010-11-12 2012-05-18 Hewlett-Packard Development Company, L . P . Input processing
WO2012144667A1 (en) * 2011-04-19 2012-10-26 Lg Electronics Inc. Method and electronic device for gesture recognition
WO2012150731A1 (en) * 2011-05-04 2012-11-08 Lg Electronics Inc. Object control using heterogeneous input method
US9063704B2 (en) * 2011-05-05 2015-06-23 Net Power And Light, Inc. Identifying gestures using multiple sensors
EP3349472B1 (en) * 2011-09-12 2021-05-19 INTEL Corporation Cooperative provision of personalized user functions using shared and personal devices
WO2014010879A1 (ko) 2012-07-09 2014-01-16 엘지전자 주식회사 음성 인식 장치 및 그 방법
EP2738645A1 (en) * 2012-11-30 2014-06-04 Harman Becker Automotive Systems GmbH Vehicle gesture recognition system and method
CN103092339B (zh) * 2012-12-13 2015-10-07 鸿富锦精密工业(深圳)有限公司 电子装置及其页面演示方法
CN103399634B (zh) * 2013-07-22 2016-02-24 瑞声科技(南京)有限公司 手势识别***及识别方法
CN103987169B (zh) * 2014-05-13 2016-04-06 广西大学 一种基于手势与语音控制的智能led台灯及其控制方法
CN104994314B (zh) * 2015-08-10 2019-04-09 优酷网络技术(北京)有限公司 在移动终端上通过手势控制画中画视频的方法及***
US10491940B1 (en) * 2018-08-23 2019-11-26 Rovi Guides, Inc. Systems and methods for displaying multiple media assets for a plurality of users
CN110362373A (zh) * 2019-06-29 2019-10-22 华为技术有限公司 一种控制屏幕小窗口的方法及相关设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0450196B1 (en) * 1990-04-02 1998-09-09 Koninklijke Philips Electronics N.V. Data processing system using gesture-based input data
JP3630712B2 (ja) * 1994-02-03 2005-03-23 キヤノン株式会社 ジェスチャー入力方法及びその装置
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JPH0965224A (ja) * 1995-08-24 1997-03-07 Hitachi Ltd テレビ受像機
WO1997008895A1 (fr) * 1995-08-30 1997-03-06 Hitachi, Ltd. Systeme de telephone chirologique
US6154723A (en) * 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing
DE19843919B4 (de) * 1998-09-24 2004-07-22 Infineon Technologies Ag Verfahren zum Einblenden von Nebenbildern in ein Hauptbild
US6243683B1 (en) * 1998-12-29 2001-06-05 Intel Corporation Video control of speech recognition
DE19918072A1 (de) * 1999-04-21 2000-06-29 Siemens Ag Bedienverfahren und Bedienvorrichtung für einen bildschirmgesteuerten Prozeß
US7340763B1 (en) * 1999-10-26 2008-03-04 Harris Scott C Internet browsing from a television
JP2001188555A (ja) * 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US6930730B2 (en) * 2001-05-03 2005-08-16 Mitsubishi Digital Electronics America, Inc. Control system and user interface for network of input devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110085493A (ko) * 2010-01-20 2011-07-27 엘지전자 주식회사 프로젝터가 장착된 디스플레이 장치 및 그 제어 방법

Also Published As

Publication number Publication date
CN1265625C (zh) 2006-07-19
JP2004531183A (ja) 2004-10-07
WO2003003728A1 (en) 2003-01-09
US20030001908A1 (en) 2003-01-02
EP1405509A1 (en) 2004-04-07
CN1520685A (zh) 2004-08-11

Similar Documents

Publication Publication Date Title
KR20040015001A (ko) 스피치 및 제스처 제어에 기초한 픽처-인-픽처 재위치화및/또는 재사이즈화
US7206029B2 (en) Picture-in-picture repositioning and/or resizing based on video content analysis
US8913834B2 (en) Acoustic signal corrector and acoustic signal correcting method
KR100643306B1 (ko) 리모트 컨트롤에서의 선택 위치 또는 방향과 동일한 위치또는 방향의 메뉴를 선택할 수 있는 사용자 인터페이스를제공하는 장치 및 방법
JP4240293B2 (ja) マルチメディア再生装置およびマルチメディア再生方法
EP1960990B1 (en) Voice and video control of interactive electronically simulated environment
US8935169B2 (en) Electronic apparatus and display process
US8386942B2 (en) System and method for providing digital multimedia presentations
US6392638B2 (en) Information processing apparatus and display control method of the same information processing apparatus
US8396332B2 (en) Electronic apparatus and face image display method
KR20040063153A (ko) 제스쳐에 기초를 둔 사용자 인터페이스를 위한 방법 및 장치
US8503832B2 (en) Electronic device and facial image display apparatus
US20120106923A1 (en) Electronic apparatus and scene-type display method
US20060107294A1 (en) Integrated video processing circuit and method for providing a displayed visual user interface for the display, selection and setup of video input sources
KR20040088527A (ko) 적응형 오디오-비디오 프로그램 추천 시스템
JP2005531971A (ja) ビデオ信号処理システム
JP2005354245A (ja) マルチメディア再生装置およびメニュー画面表示方法
JP2005524289A (ja) タッチスクリーンを用いてイメージを操作するための方法および装置
US8291321B2 (en) Apparatus and method for sorting video inputs in input select menu of display device
US10089899B2 (en) Hearing and speech impaired electronic device control
CN112188221B (zh) 播放控制方法、装置、计算机设备及存储介质
CN115623256A (zh) 显示设备和焦点获取方法
WO2023017628A1 (ja) 情報処理システム、制御方法
US20060045463A1 (en) Switching apparatus, electronic apparatus, data transfer method, and computer product
JP2006320004A (ja) Av装置の制御システム及び制御方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid