KR102328823B1 - 화면 내 빈 영역 활용 방법 및 장치 - Google Patents

Abstract

본 발명은 컨텐츠를 표시하고, 상기 컨텐츠 이동을 위한 이벤트를 수신하는 터치스크린과, 상기 이벤트에 따른 위치 또는 방향으로 상기 컨텐츠를 이동시키고, 상기 컨텐츠 이동에 따른 빈 영역을 구성하며, 상기 빈 영역에 설정정보가 표시되도록 제어하는 프로세서를 포함하는 전자 장치 및 방법을 제공한다. 또한, 다른 실시예도 가능하다.

Description

화면 내 빈 영역 활용 방법 및 장치{APPARATUS AND METHOD FOR USING BLANK AREA ON SCREEN}

본 발명은 전자 장치 화면의 빈 영역을 활용하여 다양한 기능을 제공하는 방안에 관한 것이다.

종래에는 TV, 스마트폰과 같은 표시 장치의 화면 비율과 상기 표시 장치에 출력되는 컨텐츠의 영상 비율이 일치하지 않는 경우, 상기 표시 장치의 화면 좌, 우, 상, 하에 빈 영역이 발생하게 된다. 왜냐하면, 상기 표시 장치는 화면 크기가 고정되어 있기 때문에, 상기 컨텐츠의 영상 비율이 상기 화면 비율에 맞춰지지 않는 경우, 상기 표시 장치는 빈 영역을 검은색으로 표시하고 있다.

최근에는, 먼저 표시 장치의 화면을 2개의 영역으로 분할한 뒤, 각 분할된 영역에 제1 프로그램과 제2 프로그램을 표시하고 있다. 즉, 종래기술은 하나의 영역에 출력되는 컨텐츠의 출력 크기를 줄여서 다른 영역에 제2 프로그램을 표시하는 것이다.

다양한 실시예는 원래 출력되는 컨텐츠의 비율이나 크기를 줄이지 않고도 화면의 빈 영역에 다양한 기능을 제공하는 방법 및 장치를 제공할 수 있다.

다양한 실시예는 원래 출력되는 컨텐츠의 비율이나 크기를 조절하여 화면의 빈 영역에 다양한 기능을 제공하는 방법 및 장치를 제공할 수 있다.

본 발명의 다양한 실시예에 따른 전자 장치는 컨텐츠를 표시하고, 상기 컨텐츠 이동을 위한 이벤트를 수신하는 터치스크린과, 상기 이벤트에 따른 위치 또는 방향으로 상기 컨텐츠를 이동시키고, 상기 컨텐츠 이동에 따른 빈 영역을 구성하며, 상기 빈 영역에 설정정보가 표시되도록 제어하는 프로세서를 포함할 수 있다.

본 발명의 다양한 실시예에 따른 전자 장치는 컨텐츠를 표시하는 표시부와, 상기 표시된 컨텐츠의 위치에 따른 빈 영역을 구성하고, 상기 빈 영역에 알림이 표시되도록 제어하는 프로세서를 포함할 수 있다.

본 발명의 다양한 실시예에 따른 전자 장치의 화면 내 빈 영역 활용 방법은 컨텐츠를 표시하는 동작과, 상기 컨텐츠 이동을 위한 이벤트를 수신하는 동작과, 상기 이벤트에 따른 위치 또는 방향으로 상기 컨텐츠를 이동하는 동작과, 상기 컨텐츠 이동에 따른 빈 영역을 구성하는 동작과, 상기 빈 영역에 설정정보를 표시하는 동작을 포함할 수 있다.

다양한 실시예에 따르면, 원래 출력되는 컨텐츠의 비율이나 크기를 줄이지 않고도 화면의 빈 영역에 다양한 기능을 제공할 수 있다.

다양한 실시예에 따르면, 원래 출력되는 컨텐츠의 비율이나 크기를 조절하여 화면의 빈 영역에 다양한 기능을 제공할 수 있다.

다양한 실시예에 따르면, 출력되는 컨텐츠를 상, 하, 좌, 우로 이동시키는 것을 가능하게 함으로써, 화면 내 흩어져 있는 빈 영역의 면적을 하나로 합하여 새로운 빈 영역을 구성할 수 있다.

다양한 실시예에 따르면, 출력되는 컨텐츠를 가리지 않으면서, 빈 영역을 합한 새로운 영역에 적어도 하나 이상의 기능들을 실행시킬 수 있다.

다양한 실시예에 따르면, 여러 종류의 센서에 의해 감지된 사용자 감정 및 상황에 따라, 빈 영역에 제공되는 기능 및 모드를 자동으로 변경할 수 있다.

다양한 실시예에 따르면, 빈 영역에 출력중인 컨텐츠와 연관된 기능뿐만 아니라, 단독으로 실행 가능한 어플리케이션을 표시하거나, 팝업 메시지, 토스트 메시지와 같은 알림 창을 빈 영역의 크기에 맞게 조정하여 표시할 수 있다.

다양한 실시예에 따르면, 빈 영역에 표시되는 다양한 기능을 편리하게 수행할 수 있는 사용자 인터페이스를 제공하고, 다양한 터치 이벤트를 활용할 수 있다.

다양한 실시예에 따르면, 출력 중인 컨텐츠의 시청을 방해하지 않으면서, 여러 가지 기능을 제공할 수 있어, 사용자 편의성을 증대시킬 수 있다.

도 1은 다양한 실시예에 따른 네트워크 환경 100 내의 전자 장치 101를 도시한 것이다.
도 2는 다양한 실시예에 따른 전자 장치 201의 블록도 200이다.
도 3은 다양한 실시예에 따른 프로그램 모듈 310의 블록도 300이다.
도 4는 다양한 실시예에 따른 화면의 빈 영역 활용 방법을 도시한 흐름도이다.
도 5는 다양한 실시예에 따라 컨텐츠를 이동시켜 빈 영역을 구성하는 일례를 도시한 도면이다.
도 6은 다양한 실시예에 따라 빈 영역에 다양한 기능을 실행하는 일례를 도시한 도면이다.
도 7은 다양한 실시예에 따른 파지 위치에 따라 컨텐츠를 이동하는 방법을 도시한 흐름도이다.
도 8a 및 도 8b는 다양한 실시예에 따른 파지 위치를 검출하여 컨텐츠를 이동시키는 일례를 도시한 도면이다.
도 9는 다양한 실시예에 따른 컨텐츠의 데이터를 분석하여 컨텐츠의 위치를 조정하는 방법을 도시한 도면이다.
도 10은 다양한 실시예에 따른 데이터 분석 결과에 따라 컨텐츠를 이동시키는 일례를 도시한 도면이다.
도 11은 다양한 실시예에 따른 컨텐츠 이동에 따라 빈 영역에 실행 중인 기능을 종료하는 방법을 도시한 도면이다.
도 12는 다양한 실시예에 따른 컨텐츠 이동에 따라 빈 영역에 실행 중인 기능을 종료하는 일례를 도시한 도면이다.
도 13은 다양한 실시예에 따른 터치 이벤트에 따라 컨텐츠의 장면을 북마크로 이용하는 방법을 도시한 도면이다.
도 14a 내지 도 14c는 다양한 실시예에 따른 터치 이벤트에 따라 컨텐츠의 장면을 북마크로 이용하는 일례를 도시한 도면이다.
도 15는 다양한 실시예에 따른 북마크를 이용하여 컨텐츠를 출력하는 일례를 도시한 도면이다.
도 16은 다양한 실시예에 따른 빈 영역에 컨텐츠와 연관된 정보를 표시하는 방법을 도시한 흐름도이다.
도 17a 및 도 17b는 다양한 실시예에 따른 빈 영역에 컨텐츠와 연관된 정보를 표시하는 일례를 도시한 도면이다.
도 18은 다양한 실시예에 따른 생체정보를 이용하여 컨텐츠와 피드백 정보를 출력하는 방법을 도시한 흐름도이다.
도 19a 및 도 19b는 다양한 실시예에 따른 생체정보를 이용하여 컨텐츠와 피드백 정보를 출력하는 일례를 도시한 도면이다.
도 20a 내지 도 20c는 다양한 실시예에 따른 화면 내 빈 영역을 활용한 다양한 일례들을 도시한 도면이다.
도 21a 내지 도 21c는 다른 실시예에 따른 화면 내 빈 영역을 활용한 다양한 일례들을 도시한 도면이다.

이하, 본 개시의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시예의 다양한 변경 (modification), 균등물 (equivalent), 및/또는 대체물 (alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

본 문서에서, “가진다,” “가질 수 있다,”“포함한다,” 또는 “포함할 수 있다” 등의 표현은 해당 특징 (예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 문서에서, “A 또는 B,”“A 또는/및 B 중 적어도 하나,”또는 “A 또는/및 B 중 하나 또는 그 이상”등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, “A 또는 B,” “ A 및 B 중 적어도 하나,”또는 “ A 또는 B 중 적어도 하나”는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

다양한 실시예에서 사용된 “제 1,”“제 2,”“첫째,”또는“둘째,”등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.

어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어 ((operatively or communicatively) coupled with/to)" 있다거나 "접속되어 (connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소 (예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소 (예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 문서에서 사용된 표현 “~하도록 구성된 (또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한 (suitable for),” “~하는 능력을 가지는 (having the capacity to),” “~하도록 설계된 (designed to),” “~하도록 변경된 (adapted to),” “~하도록 만들어진 (made to),”또는 “~를 할 수 있는 (capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성 (또는 설정)된”은 하드웨어적으로 “특별히 설계된 (specifically designed to)”것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 장치”라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 “~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B, 및 C를 수행하도록 구성 (또는 설정)된 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서 (예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서 (generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.

본 개시의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 전자 장치는 스마트폰 (smartphone), 태블릿 PC (tablet personal computer), 이동 전화기 (mobile phone), 화상 전화기, 전자북 리더기 (e-book reader), 데스크탑 PC (desktop personal computer), 랩탑 PC (laptop personal computer), 넷북 컴퓨터 (netbook computer), 워크스테이션 (workstation), 서버, PDA (personal digital assistant), PMP (portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라 (camera), 또는 웨어러블 장치 (wearable device)(예: 스마트 안경, 머리 착용형 장치 (head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리 (appcessory), 전자 문신, 스마트 미러, 또는 스마트 와치 (smart watch))중 적어도 하나를 포함할 수 있다.

어떤 실시예들에서, 전자 장치는 스마트 가전 제품 (smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들면, 텔레비전, DVD (digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스 (set-top box), 홈 오토매이션 컨트롤 패널 (home automation control panel), 보안 컨트롤 패널 (security control panel), TV 박스 (예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔 (예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더 (camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.

다른 실시예에서, 전자 장치는, 각종 의료기기 (예: 각종 휴대용 의료측정기기 (혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA (magnetic resonance angiography), MRI (magnetic resonance imaging), CT (computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 (navigation) 장치, GPS 수신기 (global positioning system receiver), EDR (event data recorder), FDR (flight data recorder), 자동차 인포테인먼트 (infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기 (avionics), 보안 기기, 차량용 헤드 유닛 (head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM (automatic teller’s machine), 상점의 POS (point of sales), 또는 사물 인터넷 장치 (internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기 (thermostat), 가로등, 토스터 (toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.

어떤 실시예에 따르면, 전자 장치는 가구 (furniture) 또는 건물/구조물의 일부, 전자 보드 (electronic board), 전자 사인 수신 장치 (electronic signature receiving device), 프로젝터 (projector), 또는 각종 계측 기기 (예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 개시의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.

이하, 첨부 도면을 참조하여, 다양한 실시예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치 (예: 인공지능 전자 장치)를 지칭할 수 있다.

도 1을 참조하여, 다양한 실시예에서의, 네트워크 환경 100 내의 전자 장치 101가 기재된다. 상기 전자 장치 101는 버스 110, 프로세서 120, 메모리 130, 입출력 인터페이스 150, 디스플레이 160, 및 통신 인터페이스 170를 포함할 수 있다. 어떤 실시예에서는, 전자 장치 101는, 상기 구성요소들 중 적어도 하나를 생략하거나 다른 구성 요소를 추가적으로 구비할 수 있다.

상기 버스 110는, 예를 들면, 상기 구성요소들 110-170을 서로 연결하고, 상기 구성요소들 간의 통신 (예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.

상기 프로세서 120는, 중앙처리장치 (central processing unit (CPU)), 어플리케이션 프로세서 (application processor (AP)), 또는 커뮤니케이션 프로세서 (communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 상기 프로세서 120은, 예를 들면, 상기 전자 장치 101의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.

상기 프로세서 120는, 상기 디스플레이 150의 잠금 상태에서, 둘 이상의 터치 입력들을 수신하여, 상기 입력들이 이미 저장된 패턴과 일치하는 경우, 상기 잠금 상태를 해제하도록 구성될 수 있다. 상기 프로세서 120는, 상기 디스플레이 150의 잠금 상태에서, 상기 디스플레이 150을 통해 제 1 터치 입력을 수신하고, 상기 제 1 터치 입력 수신 후에, 상기 디스플레이를 통해 제 2 터치 입력을 수신할 수 있다. 상기 프로세서 120는, 상기 제 1 터치 입력의 위치를 지나는 적어도 하나의 가상의 (imaginary) 축을 기준으로 상기 제 2 터치 입력이, 선택된 영역 내에 있는지 여부를 결정하고, 상기 선택된 영역 내에 있는지 여부에 적어도 일부 기초하여, 상기 저장된 패턴과 일치하는지 여부를 결정하도록 구성될 수 있다.

다양한 실시예들에 따르면, 상기 프로세서 120는, 상기 제 1 터치 입력 및 상기 제 2 터치 입력을 잇는 가상의 선과 상기 가상의 축이 이루는 각도가 선택된 범위 내에 있는지 여부를 결정함으로써 상기 선택된 영역 내에 있는지 여부를 결정하도록 구성될 수 있다. 상기 프로세서 120는, 상기 제 2 터치 입력 수신 후에, 상기 디스플레이를 통해 제 3 터치 입력을 수신하고, 상기 제 2 터치 입력의 위치를 지나는 적어도 하나의 다른 가상의 축을 기준으로 상기 제 3 터치 입력이, 선택된 영역 내에 있는지 여부를 결정하고, 상기 제 3 터치 입력이, 상기 선택된 영역 내에 있는지 여부에 적어도 일부 기초하여, 상기 저장된 패턴과 일치하는지 여부를 결정하도록 구성될 수 있다.

상기 메모리 130는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 상기 메모리 130는, 예를 들면, 상기 전자 장치 101의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 상기 메모리 130는 소프트웨어 및/또는 프로그램 140을 저장할 수 있다. 상기 프로그램 140은, 예를 들면, 커널 141, 미들웨어 143, 어플리케이션 프로그래밍 인터페이스 (application programming interface (API)) 145, 및/또는 어플리케이션 프로그램 (또는 “어플리케이션”) 147 등을 포함할 수 있다. 상기 커널 141, 미들웨어 143, 또는 API 145의 적어도 일부는, 운영 시스템 (operating system (OS))라 불릴 수 있다.

상기 커널 141은, 예를 들면, 다른 프로그램들 (예: 미들웨어 143, API 145, 또는 어플리케이션 프로그램 147)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들 (예: 버스 110, 프로세서 120, 또는 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널 141은 상기 미들웨어 143, 상기 API 145, 또는 상기 어플리케이션 프로그램 147에서 상기 전자 장치 101의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.

상기 미들웨어 143는, 예를 들면, 상기 API 145 또는 상기 어플리케이션 프로그램 147이 상기 커널 141과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어 143는 상기 어플리케이션 프로그램 147로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 어플리케이션 프로그램 147 중 적어도 하나의 어플리케이션에 상기 전자 장치 101의 시스템 리소스 (예: 버스 110, 프로세서 120, 또는 메모리 130 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어 (예: 스케쥴링 또는 로드 밸런싱)을 수행할 수 있다.

상기 API 145는, 예를 들면, 상기 어플리케이션 147이 상기 커널 141 또는 상기 미들웨어 143에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수 (예: 명령어)를 포함할 수 있다.

상기 입출력 인터페이스 150은, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 상기 전자 장치 101의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 상기 입출력 인터페이스 150은 상기 전자 장치 101의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.

상기 디스플레이 160은, 예를 들면, 액정 디스플레이 (LCD), 발광 다이오드 (LED) 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (microelectromechanical systems (MEMS)) 디스플레이, 또는 전자종이 (electronic paper) 디스플레이를 포함할 수 있다. 상기 디스플레이 160은, 예를 들면, 사용자에게 각종 컨텐츠 (예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 상기 디스플레이 160은, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.

상기 통신 인터페이스 170은, 예를 들면, 상기 전자 장치 101와 외부 장치 (예: 제 1 외부 전자 장치 102, 제 2 외부 전자 장치 104, 또는 서버 106) 간의 통신을 설정할 수 있다. 예를 들면, 상기 통신 인터페이스 170은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 상기 외부 장치 (예: 제 2 외부 전자 장치 104 또는 서버 106)와 통신할 수 있다.

상기 무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, 또는 GSM 등 중 적어도 하나를 사용할 수 있다. 상기 유선 통신은, 예를 들면, USB (universal serial bus), HDMI (high definition multimedia interface), RS-232 (recommended standard 232), 또는 POTS (plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 상기 네트워크 162는 통신 네트워크 (telecommunications network), 예를 들면, 컴퓨터 네트워크 (computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 망 (telephone network) 중 적어도 하나를 포함할 수 있다.

상기 제 1 및 제 2 외부 전자 장치 102, 104 각각은 상기 전자 장치 101와 동일한 또는 다른 종류의 장치일 수 있다. 한 실시예에 따르면, 상기 서버 106는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시예에 따르면, 상기 전자 장치 101에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치 (예: 전자 장치 102, 104, 또는 서버 106)에서 실행될 수 있다. 한 실시예에 따르면, 상기 전자 장치 101가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 상기 전자 장치 101는 상기 기능 또는 상기 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치 (예: 전자 장치 102, 104, 또는 서버 106)에게 요청할 수 있다. 상기 다른 전자 장치 (예: 전자 장치 102, 104, 또는 서버 106)는 상기 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 상기 전자 장치 101로 전달할 수 있다. 상기 전자 장치 101는 수신된 결과를 그대로 또는 추가적으로 처리하여 상기 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.

도 2는 다양한 실시예에 따른 전자 장치 201의 블록도 200이다. 상기 전자 장치 201는, 예를 들면, 도 1에 도시된 전자 장치 101의 전체 또는 일부를 포함할 수 있다. 상기 전자 장치 201는 하나 이상의 어플리케이션 프로세서 (AP: application processor) 210, 통신 모듈 220, SIM (subscriber identification module) 카드 224, 메모리 230, 센서 모듈 240, 입력 장치 250, 디스플레이 260, 인터페이스 270, 오디오 모듈 280, 카메라 모듈 291, 전력 관리 모듈 295, 배터리 296, 인디케이터 297, 및 모터 298 를 포함할 수 있다.

상기 AP 210는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 상기 AP 210에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP 210는, 예를 들면, SoC (system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 상기 AP 210는 GPU (graphic processing unit) 및/또는 이미지 신호 프로세서 (image signal processor)를 더 포함할 수 있다. 상기 AP 210는 도 2에 도시된 구성요소들 중 적어도 일부 (예: 셀룰러 모듈 221)를 포함할 수도 있다. 상기 AP 210 는 다른 구성요소들 (예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드 (load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장 (store)할 수 있다.

상기 통신 모듈 220은, 도 1의 상기 통신 인터페이스 160와 동일 또는 유사한 구성을 가질 수 있다. 상기 통신 모듈 220은, 예를 들면, 셀룰러 모듈 221, WIFI 모듈 223, BT 모듈 225, GPS 모듈 227, NFC 모듈 228 및 RF (radio frequency) 모듈 229를 포함할 수 있다.

상기 셀룰러 모듈 221은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈 221은 가입자 식별 모듈 (예: SIM 카드 224)을 이용하여 통신 네트워크 내에서 전자 장치 201의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈 221은 상기 AP 210가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈 221은 커뮤니케이션 프로세서 (CP: communication processor)를 포함할 수 있다.

상기 WIFI 모듈 223, 상기 BT 모듈 225, 상기 GPS 모듈 227 또는 상기 NFC 모듈 228 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈 221, WIFI 모듈 223, BT 모듈 225, GPS 모듈 227 또는 NFC 모듈 228 중 적어도 일부 (예: 두 개 이상)는 하나의 integrated chip (IC) 또는 IC 패키지 내에 포함될 수 있다.

상기 RF 모듈 229는, 예를 들면, 통신 신호 (예: RF 신호)를 송수신할 수 있다. 상기 RF 모듈 229는, 예를 들면, 트랜시버 (transceiver), PAM (power amp module), 주파수 필터 (frequency filter), LNA (low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈 221, WIFI 모듈 223, BT 모듈 225, GPS 모듈 227 또는 NFC 모듈 228 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.

상기 SIM 카드 224는, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM (embedded SIM)을 포함할 수 있으며, 고유한 식별 정보 (예: ICCID (integrated circuit card identifier)) 또는 가입자 정보 (예: IMSI (international mobile subscriber identity))를 포함할 수 있다.

상기 메모리 230 (예: 메모리 230)는, 예를 들면, 내장 메모리 232 또는 외장 메모리 234를 포함할 수 있다. 상기 내장 메모리 232는, 예를 들면, 휘발성 메모리 (예: DRAM (dynamic RAM), SRAM (static RAM), 또는 SDRAM (synchronous dynamic RAM) 등), 비휘발성 메모리 (non-volatile Memory) (예: OTPROM (one time programmable ROM), PROM (programmable ROM), EPROM (erasable and programmable ROM), EEPROM (electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브 (solid state drive (SSD)) 중 적어도 하나를 포함할 수 있다.

상기 외장 메모리 234는 flash drive, 예를 들면, CF (compact flash), SD (secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), 또는 메모리 스틱 (memory stick) 등을 더 포함할 수 있다. 상기 외장 메모리 234는 다양한 인터페이스를 통하여 상기 전자 장치 201과 기능적으로 및/또는 물리적으로 연결될 수 있다.

상기 센서 모듈 240은, 예를 들면, 물리량을 계측하거나 전자 장치 201의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈 240은, 예를 들면, 제스처 센서 240A, 자이로 센서 240B, 기압 센서 240C, 마그네틱 센서 240D, 가속도 센서 240E, 그립 센서 240F, 근접 센서 240G, color 센서 240H (예: RGB (red, green, blue) 센서), 생체 센서 240I, 온/습도 센서 240J, 조도 센서 240K, 또는 UV (ultra violet) 센서 240M 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈 240은, 예를 들면, 후각 센서 (E-nose sensor), EMG 센서 (electromyography sensor), EEG 센서 (electroencephalogram sensor), ECG 센서 (electrocardiogram sensor), IR (infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 상기 센서 모듈 240은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치 201는 AP 210의 일부로서 또는 별도로, 센서 모듈 240을 제어하도록 구성된 프로세서를 더 포함하여, 상기 AP 210가 슬립 (sleep) 상태에 있는 동안, 센서 모듈 240을 제어할 수 있다.

상기 입력 장치 250은, 예를 들면, 터치 패널 (touch panel) 252, (디지털) 펜 센서 (pen sensor) 254, 키 (key) 256, 또는 초음파 (ultrasonic) 입력 장치 258를 포함할 수 있다. 상기 터치 패널 252은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 상기 터치 패널 252은 제어 회로를 더 포함할 수도 있다. 상기 터치 패널 252은 택타일 레이어 (tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.

상기 (디지털) 펜 센서 254는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트 (sheet)를 포함할 수 있다. 상기 키 256는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 상기 초음파 입력 장치 258는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치 201에서 마이크 (예: 마이크 288)로 음파를 감지하여 데이터를 확인할 수 있다.

상기 디스플레이 260 (예: 디스플레이 160)은 패널 262, 홀로그램 장치 264, 또는 프로젝터 266을 포함할 수 있다. 상기 패널 262은, 도 1의 디스플레이 160과 동일 또는 유사한 구성을 포함할 수 있다. 상기 패널 262은, 예를 들면, 유연하게 (flexible), 투명하게 (transparent), 또는 착용할 수 있게 (wearable) 구현될 수 있다. 상기 패널 262은 상기 터치 패널 252과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치 264은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터 266는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치 201의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 상기 디스플레이 260은 상기 패널 262, 상기 홀로그램 장치 264, 또는 프로젝터 266를 제어하기 위한 제어 회로를 더 포함할 수 있다.

상기 인터페이스 270는, 예를 들면, HDMI (high-definition multimedia interface) 272, USB (universal serial bus) 274, 광 인터페이스 (optical interface) 276, 또는 D-sub (D-subminiature) 278를 포함할 수 있다. 상기 인터페이스 270는, 예를 들면, 도 1에 도시된 통신 인터페이스 160에 포함될 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스 270는, 예를 들면, MHL (mobile high-definition link) 인터페이스, SD (secure digital) 카드/MMC (multi-media card) 인터페이스, 또는 IrDA (infrared data association) 규격 인터페이스를 포함할 수 있다.

상기 오디오 모듈 280은, 예를 들면, 소리 (sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈 280의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스 140에 포함될 수 있다. 상기 오디오 모듈 280은, 예를 들면, 스피커 282, 리시버 284, 이어폰 286, 또는 마이크 288 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.

상기 카메라 모듈 291은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서 (예: 전면 센서 또는 후면 센서), 렌즈, ISP (image signal processor), 또는 플래쉬 (flash)(예: LED 또는 xenon lamp)를 포함할 수 있다.

상기 전력 관리 모듈 295은, 예를 들면, 상기 전자 장치 201의 전력을 관리할 수 있다. 한 실시예에 따르면, 상기 전력 관리 모듈 295은 PMIC (power management integrated circuit), 충전 IC (charger integrated circuit), 또는 배터리 또는 연료 게이지 (battery or fuel gauge)를 포함할 수 있다. 상기 PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 상기 배터리 게이지는, 예를 들면, 상기 배터리 296의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 상기 배터리 296는, 예를 들면, 충전식 전지 (rechargeable battery) 및/또는 태양 전지 (solar battery)를 포함할 수 있다.

상기 인디케이터 297는 상기 전자 장치 201 혹은 그 일부 (예: AP 210)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터 298는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동 (vibration), 또는 햅틱 (haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 상기 전자 장치 201는 모바일 TV 지원을 위한 처리 장치 (예: GPU)를 포함할 수 있다. 상기 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB (digital multimedia broadcasting), DVB (digital video broadcasting), 또는 미디어 플로우 (media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.

상기 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품 (component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체 (entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.

도 3은 다양한 실시예에 따른 프로그램 모듈 310의 블록도 300이다. 한 실시예에 따르면, 상기 프로그램 모듈 310 (예: 프로그램 140)은 전자 장치 (예: 전자 장치 101)에 관련된 자원을 제어하는 운영 체제 (operation system (OS)) 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션 (예: 어플리케이션 프로그램 147)을 포함할 수 있다. 상기 운영 체제는, 예를 들면, 안드로이드 (android), iOS, 윈도우즈 (windows), 심비안 (symbian), 타이젠 (tizen), 또는 바다 (bada) 등이 될 수 있다.

프로그램 모듈 310은 커널 320, 미들웨어 330, API (application programming interface) 360, 및/또는 어플리케이션 370을 포함할 수 있다. 상기 프로그램 모듈 310의 적어도 일부는 전자 장치 상에 프리로드 (preload) 되거나, 서버 (예: 서버 106)로부터 다운로드 (download) 가능하다.

상기 커널 320 (예: 도 1의 커널 141)은, 예를 들면, 시스템 리소스 매니저 321 또는 디바이스 드라이버 323를 포함할 수 있다. 상기 시스템 리소스 매니저 321는 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시예에 따르면, 상기 시스템 리소스 매니저 321는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 상기 디바이스 드라이버 323는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WIFI 드라이버, 오디오 드라이버, 또는 IPC (inter-process communication) 드라이버를 포함할 수 있다.

상기 미들웨어 330는, 예를 들면, 상기 어플리케이션 370이 공통적으로 필요로 하는 기능을 제공하거나, 상기 어플리케이션 370이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 상기 API 360를 통해 다양한 기능들을 상기 어플리케이션 370으로 제공할 수 있다. 한 실시예에 따르면, 상기 미들웨어 330 (예: 미들웨어 143)는 런타임 라이브러리 335, 어플리케이션 매니저 (application manager) 341, 윈도우 매니저 (window manager) 342, 멀티미디어 매니저 (multimedia manager) 343, 리소스 매니저 (resource manager) 344, 파워 매니저 (power manager) 345, 데이터베이스 매니저 (database manager) 346, 패키지 매니저 (package manager) 347, 연결 매니저 (connectivity manager) 348, 통지 매니저 (notification manager) 349, 위치 매니저 (location manager) 350, 그래픽 매니저 (graphic manager) 351, 또는 보안 매니저 (security manager) 352 중 적어도 하나를 포함할 수 있다.

상기 런타임 라이브러리 335는, 예를 들면, 상기 어플리케이션 370이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 상기 런타임 라이브러리 335는 입출력 관리, 메모리 관리, 또는 산술 함수에 대한 기능 등을 수행할 수 있다.

상기 어플리케이션 매니저 341는, 예를 들면, 상기 어플리케이션 370 중 적어도 하나의 어플리케이션의 생명 주기 (life cycle)를 관리할 수 있다. 상기 윈도우 매니저 342는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 상기 멀티미디어 매니저 343는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱 (codec)을 이용하여 미디어 파일의 인코딩 (encoding) 또는 디코딩 (decoding)을 수행할 수 있다. 상기 리소스 매니저 344는 상기 어플리케이션 370 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.

상기 파워 매니저 345는, 예를 들면, 바이오스 (BIOS: basic input/output system) 등과 함께 동작하여 배터리 (battery) 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 상기 데이터베이스 매니저 346는 상기 어플리케이션 370 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 상기 패키지 매니저 347는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.

상기 연결 매니저 348는, 예를 들면, WIFI 또는 블루투스 등의 무선 연결을 관리할 수 있다. 상기 통지 매니저 349는 도착 메시지, 약속, 근접성 알림 등의 사건 (event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 상기 위치 매니저 350는 전자 장치의 위치 정보를 관리할 수 있다. 상기 그래픽 매니저 351는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 상기 보안 매니저 352는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시예에 따르면, 전자 장치 (예: 전자 장치 101)가 전화 기능을 포함한 경우, 상기 미들웨어 330는 상기 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저 (telephony manager)를 더 포함할 수 있다.

상기 미들웨어 330는 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 상기 미들웨어 330는 차별화된 기능을 제공하기 위해 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한, 상기 미들웨어 330는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.

상기 API 360 (예: API 145)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠 (tizen)의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.

상기 어플리케이션 370 (예: 어플리케이션 프로그램 147)은, 예를 들면, 홈 371, 다이얼러 372, SMS/MMS 373, IM (instant message) 374, 브라우저 375, 카메라 376, 알람 377, 컨택트 378, 음성 다이얼 379, 이메일 380, 달력 381, 미디어 플레이어 382, 앨범 383, 또는 시계 384, 건강 관리 (health care)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공 (예: 기압, 습도, 또는 온도 정보 등을 제공) 등의 기능을 제공할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다.

한 실시예에 따르면, 상기 어플리케이션 370은 상기 전자 장치 (예: 전자 장치 101)와 외부 전자 장치 (예: 전자 장치 102, 104) 사이의 정보 교환을 지원하는 어플리케이션 (이하, 설명의 편의 상, “정보 교환 어플리케이션”)을 포함할 수 있다. 상기 정보 교환 어플리케이션은, 예를 들면, 상기 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달 (notification relay) 어플리케이션, 또는 상기 외부 전자 장치를 관리하기 위한 장치 관리 (device management) 어플리케이션을 포함할 수 있다.

예를 들면, 상기 알림 전달 어플리케이션은 상기 전자 장치의 다른 어플리케이션 (예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션, 또는 환경 정보 어플리케이션 등)에서 발생된 알림 정보를 외부 전자 장치 (예: 전자 장치 102, 104)로 전달하는 기능을 포함할 수 있다. 또한, 상기 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 상기 장치 관리 어플리케이션은, 예를 들면, 상기 전자 장치와 통신하는 외부 전자 장치 (예: 전자 장치 104)의 적어도 하나의 기능 (예: 외부 전자 장치 자체 (또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기 (또는, 해상도) 조절), 상기 외부 전자 장치에서 동작하는 어플리케이션 또는 상기 외부 전자 장치에서 제공되는 서비스 (예: 통화 서비스 또는 메시지 서비스)를 관리 (예: 설치, 삭제, 또는 업데이트)할 수 있다.

한 실시예에 따르면, 상기 어플리케이션 370은 상기 외부 전자 장치 (예: 전자 장치 102, 104)의 속성 (예: 전자 장치의 속성으로서, 전자 장치의 종류가 모바일 의료 기기)에 따라 지정된 어플리케이션 (예: 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 상기 어플리케이션 370은 외부 전자 장치 (예: 서버 106 또는 전자 장치 102, 104)로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 상기 어플리케이션 370은 프리로드 어플리케이션 (preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션 (third party application)을 포함할 수 있다. 도시된 실시예에 따른 프로그램 모듈 310의 구성요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.

다양한 실시예에 따르면, 상기 프로그램 모듈 310의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 상기 프로그램 모듈 310의 적어도 일부는, 예를 들면, 프로세서 (예: AP 210)에 의해 구현 (implement)(예: 실행)될 수 있다. 상기 프로그램 모듈 310의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.

본 문서에서 사용된 용어 “모듈”은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어 (firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위 (unit)를 의미할 수 있다. “모듈”은, 예를 들면, 유닛 (unit), 로직 (logic), 논리 블록 (logical block), 부품 (component), 또는 회로 (circuit) 등의 용어와 바꾸어 사용 (interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면,“모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC (application-specific integrated circuit) 칩, FPGAs (field-programmable gate arrays) 또는 프로그램 가능 논리 장치 (programmable-logic device) 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따른 장치 (예: 모듈들 또는 그 기능들) 또는 방법 (예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체 (computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 프로세서 (예: 프로세서 120)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 130가 될 수 있다.

상기 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체 (magnetic media)(예: 자기테이프), 광기록 매체 (optical media)(예: CD-ROM (compact disc read only memory), DVD (digital versatile disc), 자기-광 매체 (magneto-optical media)(예: 플롭티컬 디스크 (floptical disk)), 하드웨어 장치 (예: ROM (read only memory), RAM (random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.

다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱 (heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

그리고 본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 개시의 범위를 한정하는 것은 아니다. 따라서, 본 개시의 범위는, 본 개시의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.

본 실시예는 출력되는 컨텐츠의 크기와 화면의 크기가 일치하지 않을 경우 확보되는 빈 영역을 다양하게 활용하는 방법에 대한 것이다. 빈 영역 활용을 위해 본 실시예는 화면의 중심에 컨텐츠가 출력되고 있을 경우, 좌, 우 또는 상, 하 양측에 거의 균등하게 분할되어 있는 빈 영역으로 출력 중인 컨텐츠를 이동시켜, 분할된 빈 영역의 면적을 하나로 구성할 수 있다. 이렇게 하면, 기존처럼 빈 영역이 좁아서 수행할 수 없었던 다양한 기능을 하나로 구성된 빈 영역에서 수행할 수 있다.

예를 들면, 본 실시예는 기존에 화면을 가리면서 발생되던 알림을 빈 영역에 표시함으로써, 컨텐츠 화면을 가리지 않고 알림을 표시할 수 있다. 또한, 본 실시예는 빈 영역에 컨텐츠 마킹, 이미지 검색, 브라우저, 메모장, 메신저 등을 실행시켜 표시함으로써, 화면에 출력중인 컨텐츠를 방해하지 않는 범위에서 제2, 제3의 어플리케이션을 실행시키는 편의를 제공할 수 있다. 또한, 본 실시예는 빈 영역에 실행되는 다양한 어플리케이션을 통해 다른 어플리케이션으로 연결되는 다양한 실시예들을 제공한다. 본 실시예는 빈 영역을 확보하기 위한 화면 이동 자체를 하나의 이벤트로 정의하여 화면 이동 이벤트에 따른 표시모드를 전환할 수 있다. 이 때, 본 실시예는 빈 영역의 상태를 체크하여 빈 영역의 상태에 따라 화면 이동 이벤트의 처리를 달리할 수도 있다.

또한, 본 실시예는 종래와 같이 빈 영역을 검은색 또는 기타 단색으로만 표시하지 않고, 빈 영역의 색상을 현재 출력 중인 컨텐츠와 관련된 색상으로 표시할 수도 있다. 본 실시예는 빈 영역에 다양한 특수 효과를 표시할 수도 있으며, 빈 영역에 현재 사용자의 위치를 기반으로 다양한 기능을 표시할 수도 있다.

아래에서는, 본 발명이 제안하는 다양한 방법과 관련하여, 화면 이동 이벤트에 따른 모드 전환, 화면 이동 후 확보된 빈 영역의 활용 방법을 설명한다. 특히, 화면 이동 후 빈 영역 활용 방법과 관련하여, 현재 출력 중인 컨텐츠에 대한 다양한 마킹 방법이 제안된다. 또한, 화면 이동과 상관없이 기존보다 크게 확보된 빈 영역을 활용하는 다양한 실시예들을 설명한다. 하지만, 본 발명의 구현이 반드시 위 순서로 진행되는 것은 아니며, 각각이 독립적으로 활용될 수도 있고, 순서가 바뀌어 구현될 수도 있다.

도 4는 다양한 실시예에 따른 화면의 빈 영역 활용 방법을 도시한 흐름도이다. 도 4의 빈 영역 활용 방법은 도 1의 전자 장치 101 또는 도 2의 전자 장치 201에 의해 수행될 수 있다. 설명의 편의를 위하여 이하에서는 도 1의 전자 장치 101에 의해 수행되는 것으로 설명하지만, 본 발명의 전자 장치가 도 1의 전자 장치 101로 한정되는 것은 아니다. 본 발명의 전자 장치 101는 입출력 인터페이스 150과 디스플레이 160이 일체형인 터치스크린으로 구성될 수 있다. 설명의 편의를 위해, 이하에 기재된 디스플레이 160은 터치스크린을 의미할 수 있다.

동작 410에서, 프로세서 120은 컨텐츠를 출력할 수 있다. 상기 컨텐츠는 텍스트, 이미지, 오디오, 비디오, 아이콘 및 심볼 중 적어도 하나 일 수 있다. 이하에서, 상기 컨텐츠는 '비디오'인 것을 예로 들어 설명하지만, 설명에 의해 컨텐츠가 비디오로 한정되지는 않는다. 상기 컨텐츠를 출력하는 것은 디스플레이 160을 통해 컨텐츠를 표시하거나, 입출력 인터페이스 150를 통해 소리, 진동을 출력하는 것을 의미한다. 프로세서 120은 디스플레이 160의 화면 중심에 컨텐츠를 표시하고, 좌, 우 또는 상, 하 양측에 거의 균등하게 빈 영역을 표시될 수 있다. 빈 영역은 컨텐츠가 표시되지 않는 영역으로서, 디스플레이 160은 상기 빈 영역을 검은색 또는 기타 단색으로 표시할 수 있다.

동작 420에서, 프로세서 120은 상기 컨텐츠 이동을 위한 이벤트를 수신할 수 있다. 상기 이벤트는 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 의미할 수 있다. 예를 들어, 상기 이벤트는 상기 컨텐츠가 디스플레이 160에 표시되는 중에, 디스플레이 160을 터치한 후, 상, 하, 좌 및 우 중 어느 하나로 이동하고, 해제시키는 것일 수 있다. 터치, 이동, 해제하는 동작은 드래그 앤 드롭(drag and drop) 동작으로 해석할 수 있다.

프로세서 120은 비디오 출력 중에, 디스플레이 160에 터치가 감지되면 출력 중인 컨텐츠와 연관된 기능을 표시하고 있다. 컨텐츠가 비디오인 경우, 상기 컨텐츠와 연관된 기능은 재생, 일시정지, 정지, 빨리감기, 되감기 등일 수 있다. 프로세서 120은 터치가 감지되면, 출력 중인 컨텐츠와 연관된 기능을 디스플레이 160에 표시하다가, 상기 터치의 이동이 감지되면, 표시되고 있던 기능을 더 이상 표시하지 않을 수 있다. 또는, 프로세서 120은 터치가 감지된 후, 일정 시간 이내에 상기 터치의 이동이 감지되면, 터치 감지에 따른 출력 중인 컨텐츠와 연관된 기능을 디스플레이 160에 표시하지 않을 수도 있다. 즉, 프로세서 120은 터치 감지에 따른 기능 표시를 처음부터 하지 않을 수도 있다.

동작 430에서, 프로세서 120은 상기 이벤트에 따른 위치 또는 방향으로 상기 컨텐츠를 이동시켜 표시할 수 있다. 즉, 프로세서 120은 상기 이벤트에 따라 상기 컨텐츠를 표시하는 위치 또는 방향을 이동시킬 수 있다. 이때, 프로세서 120은 상기 터치 이동의 방향이 꼭 수평 이동이 아니여도, 상기 컨텐츠를 좌, 우로 이동시킬 수 있다. 수평 이동의 경우 y 좌표값은 변하지 않고, x 좌표값만 변하게 되는데, 출력 중인 컨텐츠의 좌, 우에 빈 영역이 존재하는 경우, 프로세서 120은 좌, 우 방향에 따라 상기 컨텐츠를 좌, 우로 이동시킬 수 있다. 마찬가지로, 프로세서 120은 상기 터치 이동의 방향이 꼭 수직 이동이 아니여도, 상기 컨텐츠를 상, 하로 이동시킬 수 있다. 수직 이동의 경우 x 좌표값은 변하지 않고, y 좌표값만 변하게 되는데, 출력 중인 컨텐츠의 상, 하에 빈 영역이 존재하는 경우, 프로세서 120은 상, 하 방향에 따라 상기 컨텐츠를 상, 하로 이동시킬 수 있다.

다양한 실시예에 따르면, 프로세서 120은 이동 위치를 세분화하여, 이동 위치로 상기 컨텐츠를 이동시킬 수 있다. 프로세서 120은 디스플레이 160의 화면 크기에 따라 세분화할 수 있다. 예를 들어, 프로세서 120은 우측, 우측 1/2, 중간, 좌측 1/2, 좌측과 같이 5가지 위치로 구별할 수 있다. 또는, 프로세서 120은 컨텐츠의 이동속도에 따라 상기 빈 영역에 설정정보를 표시할 수 있다. 이 때, 프로세서 120은 위치 또는 방향에 맞게 컨텐츠를 이동시키기 쉽게 하기 위하여 사용자에게 알림을 줄 수 있다. 예를 들어, 프로세서 120은 선정된 위치 또는 방향으로 컨텐츠가 이동하게 되면, 진동, 소리, GUI(Graphical User Interface)의 형태로 알림을 줄 수 있다. 또한, 프로세서 120은 이동 범위(또는 이동 속도)가 일정 범위 미만인 경우, 원래 위치로 컨텐츠를 복귀시킬 수 있다. 프로세서 120은 상기 이동 범위(또는 이동 속도)가 상기 일정 범위 이상인 경우, 이동한 위치 또는 방향으로 상기 컨텐츠를 이동시킬 수 있다. 상기 이동 범위는 상기 세분화된 이동 위치에 따라 설정될 수 있다.

동작 440에서, 프로세서 120은 상기 컨텐츠 이동에 따른 빈 영역을 구성할 수 있다. 프로세서 120은 상기 컨텐츠 이동이 완료되면, 컨텐츠의 상, 하 또는 좌, 우 양측에 거의 균등하게 표시된 빈 영역의 면적을 하나로 합하여 새로운 빈 영역을 구성할 수 있다. 여기서, 빈 영역은 두 개 이상으로 분할된 빈 영역과는 구별되는 것으로, 각각 분할된 빈 영역의 면적만큼 구성된 영역을 의미할 수 있다. 상기 빈 영역은 상, 하 또는 좌, 우 양측으로 분할된 빈 영역을 합친 면적과 일치할 수도 있고, 일치하지 않을 수도 있다. 예를 들어, 프로세서 120은 상기 컨텐츠를 효과적으로 출력하기 위하여, 상기 컨텐츠 이동이 완료되면, 상기 컨텐츠의 영상 비율을 조정할 수도 있다. 상기 컨텐츠의 영상 비율이 조정된 경우, 상기 빈 영역을 합친 면적과 새로운 빈 영역의 면적이 다를 수도 있다. 설명의 편의를 위하여, 상기 컨텐츠 이동이 완료된 후, 상기 컨텐츠가 표시되는 영역을 제1 영역, 상기 새로운 빈 영역을 제2 영역으로 해석할 수 있다. 상기 제1 영역과 상기 제2 영역을 합친 영역은 디스플레이 160의 전체 표시 영역일 수 있다.

동작 450에서, 프로세서 120은 상기 빈 영역에 설정정보를 표시할 수 있다. 상기 설정정보는 기능, 어플리케이션, 프로그램, 아이콘, 심볼 등을 포함할 수 있다. 상기 설정정보는 전자 장치 101에 디폴트로 설정되거나, 사용자에 의해 설정될 수 있다. 예를 들어, 상기 컨텐츠가 좌측으로 이동하여, 우측에 빈 영역이 구성된 경우, 상기 설정정보는 한글자막이 표시되고, touch lock이 자동으로 설정되는 것일 수 있다. 또는, 상기 설정정보는 카카오 톡, 챗온과 같은 인스턴트 메신져, 브라우져, 메시지, 푸쉬 서비스 알림 등이 될 수 있다.

또한, 상기 컨텐츠가 우측으로 이동하여, 좌측에 빈 영역이 구성된 경우, 상기 설정정보는 영어자막이 표시되고, touch unlock이 자동으로 설정되는 것일 수 있다. 또는, 상기 설정정보는 시계, 현재 위치 또는 백그라운드에서 실행 중인 어플리케이션을 표시하는 것일 수 있다.

다른 실시예로, 프로세서 120은 상기 빈 영역에 실행 가능한 기능을 포함하는 리스트를 표시하고, 사용자로부터 선택된 기능을 실행하여 표시할 수도 있다. 이 때에도, 프로세서 120은 상기 컨텐츠를 출력 중인 표시영역에는 영향을 주지 않으면서, 구성된 빈 영역에만 다양한 기능을 실행하여 표시할 수 있다.

다양한 실시예들에 따르면, 프로세서 120은 컨텐츠 이동 및 컨텐츠 이동에 따른 설정정보 표시에 대하여 각각의 표시모드를 지정하고, 컨텐츠 이동에 따라 표시모드를 변환할 수 있다. 예컨대, 프로세서 120은 컨텐츠가 디스플레이 160의 중심에 표시되는 경우, '일반 모드', 컨텐츠가 좌측으로 이동하여, 우측에 빈 영역이 구성된 경우, '우측 모드', 컨텐츠가 우측으로 이동하여, 좌측에 빈 영역이 구성된 경우, '좌측 모드'로 설정할 수 있다. 프로세서 120은 컨텐츠의 이동 여부에 따라 일반 모드, 우측 모드, 좌측 모드 중 어느 하나의 표시모드로 동작할 수 있다.

도 5는 다양한 실시예에 따라 컨텐츠를 이동시켜 빈 영역을 조합하는 일례를 도시한 도면이다.

도 1 및 도 5를 참고하면, 프로세서 120은 디스플레이 160의 화면 비율이 '21:9'이고, 컨텐츠의 영상 비율이 '16:9'인 경우, 디스플레이 160의 중앙에 컨텐츠를 출력하고, 좌우 양측의 일정 부분을 빈 영역으로 출력할 수 있다. 참조번호 510은 디스플레이 160의 중앙에 컨텐츠가 출력되는 일반 모드를 도시한 것이다. 일반 모드는 무자막 또는 기본 세팅 모드로 동작하는 것일 수 있다. 참조번호 510a은 컨텐츠가 표시되는 영역이고, 참조번호 510b는 좌측 빈 영역을 나타내며, 참조번호 510c는 우측 빈 영역을 나타낸다. 전자 장치 101을 가로로 놓고 봤을 때, 좌측 빈 영역 510b의 폭은 'b'이고, 우측 빈 영역 510c의 폭은 'c'일 수 있다. 사용자가 참조번호 'T'와 같이 컨텐츠를 터치하고, 왼쪽으로 드래그하거나, 오른쪽으로 드래그하면, 프로세서 120은 상기 컨텐츠를 상기 드래그된 방향으로 이동시킬 수 있다.

참조번호 520은 상기 사용자가 컨텐츠를 터치한 후, 왼쪽으로 드래그한 경우, 컨텐츠가 디스플레이 160의 왼쪽으로 이동하여 출력되는 우측 모드를 도시한 것이다. 참조번호 520을 참고하면, 원래 왼쪽에 존재하던 빈 영역이 없어지는 대신에 없어진 왼쪽 빈 영역의 면적과 오른쪽 빈 영역의 면적이 합쳐져 새로운 빈 영역이 구성된다. 참조번호 520a은 컨텐츠가 표시되는 영역이고, 참조번호 520b는 빈 영역을 나타낸다. 빈 영역 520b의 폭은 양측에 분할되었던 좌측 빈 영역의 폭 'b'와 우측 빈 영역의 폭이 'c'를 합한 'b+c'일 수 있다. 프로세서 120은 우측 모드인 경우, 컨텐츠를 2D 모드로 표시하고, 빈 영역 520b에 한글 자막을 표시하며, touch 입력을 받지 않도록 lock 처리할 수 있다.

참조번호 530은 상기 사용자가 컨텐츠를 터치한 후, 오른쪽으로 드래그한 경우, 컨텐츠가 디스플레이 160의 오른쪽으로 이동하여 출력되는 좌측 모드를 도시한 것이다. 참조번호 530을 참고하면, 원래 오른쪽에 존재하던 빈 영역이 없어지는 대신에 없어진 오른쪽 빈 영역의 면적과 왼쪽 빈 영역의 면적이 합쳐져 새로운 빈 영역이 구성된다. 참조번호 530a은 컨텐츠가 표시되는 영역이고, 참조번호 530b는 빈 영역을 나타낸다. 프로세서 120은 좌측 모드인 경우, 컨텐츠를 3D 모드로 표시하고, 빈 영역 530b에 영어 자막을 표시하며, touch 입력을 받을 수 있는 unlock 모드로 전환할 수 있다. 빈 영역 530b의 폭은 양측에 분할되었던 좌측 빈 영역의 폭 'b'와 우측 빈 영역의 폭이 'c'를 합한 'b+c'일 수 있다.

이 외에도, 프로세서 120은 재생과 중지, 소리 출력과 무음모드 변환 등과 같은 다양한 모드간 전환을 적용할 수 있다.

다양한 실시예들에 따르면, 컨텐츠를 이동시켜 분할된 빈 영역의 면적을 하나로 구성하면, 빈 영역이 분할되어 있을 때보다 넓은 하나의 빈 영역을 확보할 수 있고, 빈 영역에 제2 프로그램을 실행시킬 수 있다. 이때, 컨텐츠의 이동 방향에 따라 추가 실행되는 프로그램이 달라질 수 있다. 예를 들어, 컨텐츠가 우측으로 이동되면, 제2 프로그램이 실행되고, 컨텐츠가 좌측으로 이동되면, 제3 프로그램이 실행될 수 있다.

도 6은 다양한 실시예에 따라 빈 영역에 다양한 기능을 실행하는 일례를 도시한 도면이다.

도 1 및 도 6을 참고하면, 참조번호 610은 컨텐츠를 우측으로 드래그하면, 좌, 우측 빈 영역의 면적이 하나로 합쳐져 새로운 빈 영역을 구성하는 일례를 도시한 것이다. 참조번호 610a는 컨텐츠를 표시하는 영역이고, 참조번호 610b는 구성된 빈 영역을 나타낸다. 빈 영역 610b는 제2 어플리케이션이 실행될 수 있다. 제2 어플리케이션은 카카오 톡, 챗온과 같은 인스턴트 메신져, 브라우져, 메시지, 푸쉬 서비스 알림 등이 될 수 있다. 예를 들어, 빈 영역 610b에는 참조번호 610c와 같은 전자 장치 101의 배터리 잔량, 참조번호 610d와 같은 인스턴트 메시지가 표시될 수 있다. 상기 배터리 잔량과 인스턴트 메시지는 참조번호 610e와 같이 아이콘의 형태로 표시될 수 있다.

참조번호 620은 컨텐츠를 좌측으로 드래그하면, 좌, 우측 빈 영역이 하나로 합쳐져 새로운 빈 영역을 구성하는 일례를 도시한 것이다. 참조번호 620a는 컨텐츠를 표시하는 영역이고, 참조번호 620b는 구성된 빈 영역을 나타낸다. 빈 영역 620b는 제3 어플리케이션이 실행될 수 있다. 제3 어플리케이션은 시계, 달력 등의 어플리케이션일 수 있다. 예를 들어, 빈 영역 620b에는 참조번호 610c와 같이 문자 메시지의 내용이 표시될 수 있다.

다양한 실시예들에 따르면, 빈 영역에 인스턴트 메신져를 실행할 경우, 메시지 표시창과 입력창을 빈 영역에 적절하게 위치시킬 필요가 있다. 예를 들면, 컨텐츠를 좌측으로 이동시키게 되면, 프로세서는 빈 영역에 모바일 메신져를 실행시킬 수 있다. 사용자는 컨텐츠를 감상하면서 모바일 메신져로 상대방과 채팅을 즐길 수 있다. 특히, 현재 보는 컨텐츠를 상대방과 상호 싱크시켜 동일한 장면을 동시에 감상하도록 할 수도 있다. 이에 대해서는 이하 도면을 통해 후술하기로 한다. 사용자가 컨텐츠를 우측으로 이동시키면, 빈 영역에는 시간 정보나 각종 노티 메시지를 표시하거나, 브라우져와 같은 프로그램이 실행될 수도 있다.

컨텐츠를 이동시키는 방법은 상기 설명된 바와 같이 터치 입력을 통해 컨텐츠를 직접 이동시킬 수도 있지만, 파지에 따라 컨텐츠 이동을 간접 유도할 수도 있다.

도 7은 다양한 실시예에 따른 파지 위치에 따라 컨텐츠를 이동하는 방법을 도시한 흐름도이다.

도 1 및 도 7을 참고하면, 동작 710에서, 프로세서 120은 컨텐츠를 출력할 수 있다. 동작 710은 상기 동작 410과 동일하므로, 자세한 설명은 생략한다.

동작 720에서, 프로세서 120은 파지 위치를 검출할 수 있다. 프로세서 120은 도 2의 전자 장치 200에 포함된 센서 모듈 240을 이용하거나, 전자 펜 또는 사용자의 신체의 일부를 이용한 손바닥 터치, 근접, 호버링으로 상기 파지 위치를 검출할 수 있다. 예를 들면, 센서 모듈 240은 제스처 센서 240A, 자이로 센서 240B, 기압 센서 240C, 마그네틱 센서 240D, 가속도 센서 240E, 그립 센서 240F, 근접 센서 240G, color 센서 240H, 생체 센서 240I, 온/습도 센서 240J, 조도 센서 240K, 또는 UV 센서 240M 중의 적어도 하나를 포함할 수 있다.

예를 들면, 사용자가 디스플레이 160의 우측을 잡았을 경우, 손가락이나 손바닥을 통해 디스플레이 160의 우측이 가려지게 되므로, 프로세서 120은 가려진 부분인 우측을 파지 위치로 검출할 수 있다. 또는, 프로세서 120은 디스플레이 160의 우측에 장착한 근접 센서 240G의 센서 신호가 감지되면, 사용자가 디스플레이 160의 우측을 잡은 것으로 판단하고, 가려진 부분인 우측을 파지 위치로 검출할 수 있다.

동작 730에서, 프로세서 120은 상기 파지 위치에 대향하는 위치 또는 방향으로 상기 컨텐츠를 이동시켜 표시할 수 있다. 프로세서 120은 상기 검출된 파지 위치와 반대 위치 또는 반대 방향으로 상기 컨텐츠를 이동시켜 표시할 수 있다. 예컨대, 프로세서 120은 파지 위치가 '우측'인 경우, 반대 방향인 좌측으로 상기 컨텐츠를 이동시켜 표시할 수 있다.

동작 740에서, 프로세서 120은 상기 컨텐츠 이동에 따른 빈 영역을 구성할 수 있다. 여기서, 빈 영역은 두 개 이상으로 분할된 빈 영역과는 구별되는 것으로, 각각 분할된 빈 영역의 면적만큼 구성된 영역을 의미할 수 있다. 상기 빈 영역은 상, 하 또는 좌, 우 양측으로 분할된 빈 영역을 합친 면적과 일치할 수도 있고, 일치하지 않을 수도 있다.

동작 750에서, 프로세서 120은 상기 빈 영역에 설정정보를 표시할 수 있다. 상기 설정정보는 기능, 어플리케이션, 프로그램, 아이콘, 심볼 등을 포함할 수 있다. 상기 설정정보는 전자 장치 101에 디폴트로 설정되거나, 사용자에 의해 설정될 수 있다.

이 밖에도, 프로세서 120은 도 4에서 설명한 것과 유사하게, 프로세서 120은 컨텐츠의 이동에 따라 전자 장치 101의 표시모드를 변환할 수 있다. 예컨대, 프로세서 120은 컨텐츠가 디스플레이 160의 중심에 표시되는 경우, '일반 모드', 컨텐츠가 좌측으로 이동하여, 우측에 빈 영역이 구성된 경우, '우측 모드', 컨텐츠가 우측으로 이동하여, 좌측에 빈 영역이 구성된 경우, '좌측 모드'로 설정할 수 있다. 또한, 프로세서 120은 이동 위치를 세분화하여, 이동 위치로 상기 컨텐츠를 이동시킬 수 있다. 예를 들어, 프로세서 120은 우측, 중간, 좌측인 3가지 위치로 구별하거나, 우측, 우측 1/2, 중간, 좌측 1/2, 좌측과 같이 5가지 위치로 구별할 수 있다.

다양한 실시예들에 따르면, 파지 위치를 검출하는 범위는 디스플레이 160, 또는 디스플레이 160을 둘러싸는 베젤부일 수 있다. 컨텐츠 재생이나 출력 위치 설정 시점은, 동영상 시작 전에 근접 또는 접촉을 인식하여 위치를 지정한 후, 컨텐츠를 출력할 수도 있고, 동영상 재생 중에 동적으로 위치를 변경할 수 있다.

도 8a 및 도 8b는 다양한 실시예에 따른 파지 위치를 검출하여 컨텐츠를 이동시키는 일례를 도시한 도면이다.

도 8a를 참고하면, 참조번호 810은 디스플레이 160의 중앙에 컨텐츠가 출력되는 일반 모드를 도시한 것이다. 일반 모드에서는 사용자가 기본적으로 설정해 놓은 상태로 컨텐츠 재생이 진행될 수 있다. 참조번호 810a은 컨텐츠가 표시되는 영역이고, 참조번호 810b는 좌측 빈 영역을 나타내며, 참조번호 810c는 우측 빈 영역을 나타낸다.

참조번호 820은 사용자가 우측을 파지한 경우, 우측에 대향하는 좌측으로 컨텐츠를 이동하는 우측 모드를 도시한 것이다. 프로세서 120은 디스플레이 160에 터치된 참조번호 T와 반대 방향인 좌측으로 컨텐츠를 이동하고, 상기 컨텐츠 이동에 따른 빈 영역을 구성할 수 있다. 참조번호 820을 참고하면, 원래 왼쪽에 존재하던 빈 영역이 없어지는 대신에 없어진 왼쪽 빈 영역의 면적과 오른쪽 빈 영역의 면적이 합쳐져 새로운 빈 영역이 구성된다. 참조번호 820a은 컨텐츠가 표시되는 영역이고, 참조번호 820b는 구성된 빈 영역을 나타낸다.

참조번호 830은 우측 모드일 때, 참조번호 830a에 컨텐츠를 표시하고, 참조번호 830b인 빈 영역에 컨텐츠와 연관된 기능을 표시하는 일례를 도시한 것이다. 상기 기능은 컨텐츠가 동영상일 때, 재생, 일시정지, 빨리감기, 되감기, 소리 조절 등일 수 있다.

참조번호 840은 사용자가 좌측을 파지한 경우, 좌측에 대향하는 우측으로 컨텐츠를 이동하는 좌측 모드를 도시한 것이다. 프로세서 120은 디스플레이 160에 터치된 참조번호 T와 반대 방향인 우측으로 컨텐츠를 이동하고, 상기 컨텐츠 이동에 따른 빈 영역을 구성할 수 있다. 참조번호 840a은 컨텐츠가 표시되는 영역이고, 참조번호 840b는 구성된 빈 영역을 나타낸다.

참조번호 850은 좌측 모드일 때, 참조번호 850a에 컨텐츠를 표시하고, 참조번호 850b인 빈 영역에 컨텐츠와 연관된 기능을 표시하는 일례를 도시한 것이다.

도 8b는 스타일러스 펜을 이용하여 터치할 경우, 터치 위치에 대향되는 위치 또는 방향으로 상기 컨텐츠를 이동하는 일례를 도시한 것이다.

도 8b를 참고하면, 참조번호 860은 디스플레이 160의 중앙에 컨텐츠가 출력되는 일반 모드를 도시한 것이다. 참조번호 860a은 컨텐츠가 표시되는 영역이고, 참조번호 860b는 좌측 빈 영역을 나타내며, 참조번호 860c는 우측 빈 영역을 나타낸다.

참조번호 870은 디스플레이 160의 우측에 전자 펜으로 근접 또는 터치할 경우, 우측에 대향하는 좌측으로 컨텐츠를 이동하는 우측 모드를 도시한 것이다. 프로세서 120은 디스플레이 160에 터치된 참조번호 T와 반대 방향인 좌측으로 컨텐츠를 이동하고, 상기 컨텐츠 이동에 따른 빈 영역을 구성할 수 있다. 참조번호 870a은 컨텐츠가 표시되는 영역이고, 참조번호 870b는 구성된 빈 영역을 나타낸다.

반대로 좌측에 전자 펜으로 근접 또는 터치했을 경우도 동일한 방법으로 처리가 가능하다. 어떠한 물건이 디스플레이 160의 우측을 가렸을 경우, 컨텐츠가 좌측으로 이동하여 우측 빈 영역을 좀더 넓게 확보하도록 할 수도 있고, 반대로 좌측을 가렸을 경우도 동일한 방법으로 처리가 가능하다.

참조번호 880은 전자 펜으로 근접 또는 터치할 경우, 전자 펜과 연관된 기능을 자동으로 실행하는 일례를 도시한 것이다. 참조번호 880a은 컨텐츠가 표시되는 영역이고, 참조번호 880b는 구성된 빈 영역을 나타낸다. 프로세서 120은 출력되는 컨텐츠와 상관없이 빈 영역 880b에 메모장을 실행시켜 표시할 수 있다.

다양한 실시예들에 따르면, 컨텐츠의 사이즈가 디스플레이 160의 사이즈와 일치하여 좌우, 혹은 상하의 구분된 빈 영역이 없는 경우, 현재 출력중인 컨텐츠 화면에서 가장 움직임이나 변화가 적은 부분을 빈 영역으로 구성하여 상기에서 언급한 실시예들이 적용될 수도 있다.

다양한 실시예들에 따르면, 출력 중인 컨텐츠를 분석하여 분석된 결과에 따라 자동으로 컨텐츠를 이동할 수 있다. 즉, 우측 빈 영역, 좌측 빈 영역에 출력될 수 있는 데이터 양을 예측하여, 컨텐츠를 이동할 수 있다. 우측 빈 영역, 좌측 빈 영역에 들어갈 수 있는 데이터 양은 상황에 따라 다양할 수 있다. 컨텐츠를 출력하기 전 또는 출력하는 중에 상기 빈 영역에 들어갈 수 있는 데이터 양을 예측 및 분석하여, 결과에 맞게 컨텐츠의 위치를 설정해 줄 수 있다.

도 9는 다양한 실시예에 따른 컨텐츠의 데이터를 분석하여 컨텐츠의 위치를 조정하는 방법을 도시한 도면이다.

도 1 및 도 9를 참고하면, 동작 910에서, 프로세서 120은 출력할 컨텐츠의 데이터를 분석할 수 있다. 예컨대, 컨텐츠가 동영상인 경우, 컨텐츠의 데이터는 이미지뿐만 아니라, 자막 등의 텍스트를 포함할 수 있다. 프로세서 120은 자막을 스캔하여, 최대로 필요한 빈 영역의 크기(높이, 넓이)를 설정할 수 있다.

동작 920에서, 프로세서 120은 상기 분석 결과를 기반으로 화면 내 컨텐츠를 출력할 위치를 조정할 수 있다. 예를 들어, 특정 컨텐츠의 장면에서 차지하는 자막의 길이가 길 경우, 프로세서 120은 해당 컨텐츠의 위치를 비교적 상단에 배치되도록 조정할 수 있다.

동작 930에서, 프로세서 120은 조정된 위치에 컨텐츠를 출력할 수 있다.

동작 940에서, 프로세서 120은 상기 위치 조정에 따른 빈 영역을 구성할 수 있다. 프로세서 120은 컨텐츠의 위치를 조정한 후, 컨텐츠가 표시되는 영역을 제외한 영역을 빈 영역으로 구성할 수 있다. 예컨대, 상기 컨텐츠가 상단에 위치하는 경우, 하단에 빈 영역을 구성할 수 있다.

동작 910 내지 940은 컨텐츠 출력 전에 전체 자막을 스캔 및 분석 후에 설정되어 고정될 수 있고, 재생 중에 동적으로/주기적으로 컨텐츠의 위치를 조정할 수도 있다.

동작 950에서, 프로세서 120은 빈 영역에 설정정보를 표시할 수 있다. 상기 설정정보는 기능, 어플리케이션, 프로그램, 아이콘, 심볼 등을 포함할 수 있다.

다양한 실시예들에 따르면, 프로세서 120은 사용자의 설정 또는 전자 장치 101에 디폴트로 설정된 설정정보를 기반으로 상기 빈 영역의 크기를 사전에 설정할 수도 있다. 즉, 프로세서 120은 상기 설정정보를 표시하는데 필요한 크기만큼의 빈 영역을 미리 파악하여, 빈 영역을 구성할 수 있다. 예를 들면, 빈 영역에 메시지 어플리케이션을 실행하고자 하는 경우, 프로세서 120은 메시지가 표시되기 위해 필요한 최대 공간의 크기 정보를 확인하여, 이에 맞게 빈 영역이 확보될 수 있도록 컨텐츠의 위치를 조정할 수 있다. 미리 빈 영역을 확보하여, 컨텐츠를 배치 후 재생 또는 출력을 하게 되면, 해당 컨텐츠 재생 또는 출력 중에 메시지를 수신하게 되었을 때, 현재 재생 또는 출력중인 컨텐츠를 가리는 등의 간섭 없이 빈 영역에 메시지를 표시할 수 있다. 마찬가지로, 프로세서 120은 빈 영역에 메모장이 실행되도록 사전 설정해 놓았을 경우, 메모장에서 필요한 최대 공간 정보를 파악하여, 이에 맞게 컨텐츠의 위치를 조정할 수 있다. 프로세서 120은 사용자가 펜 등을 이용하여 메모장에 메모를 할 때 컨텐츠 재생 또는 출력을 방해하지 않도록 할 수 있다.

도 10은 다양한 실시예에 따른 데이터 분석 결과에 따라 컨텐츠를 이동시키는 일례를 도시한 도면이다.

도 1 및 도 10을 참고하면, 참조번호 1010은 컨텐츠를 디스플레이 160의 중앙에 표시하고, 컨텐츠의 상, 하에 빈 영역이 출력되는 일례를 도시한 것이다. 참조번호 1010a는 컨텐츠를 표시하는 영역이고, 참조번호 1010b는 상측 빈 영역이며, 참조번호 1010c는 하측 빈 영역을 나타낸다. 상측 빈 영역 1010b의 폭은 'b'이고, 하측 빈 영역 1010c의 폭은 'c'일 수 있다. 컨텐츠가 외국 영화인 경우, 하측 빈 영역 1010c에는 자막이 표시되게 되는데, 참조번호 1010에서는 컨텐츠의 데이터로서, 자막을 분석하여 2줄을 표시할 수 있는 하측 빈 영역 1010c를 구성할 수 있다.

참조번호 1020은 컨텐츠를 디스플레이 160의 비교적 상단에 표시하고, 컨텐츠의 상, 하에 빈 영역이 출력되는 일례를 도시한 것이다. 참조번호 1020a는 컨텐츠를 표시하는 영역이고, 참조번호 1020b는 상측 빈 영역이며, 참조번호 1020c는 하측 빈 영역을 나타낸다. 프로세서 120은 자막을 분석하여 3줄을 표시할 수 있는 하측 빈 영역 1020c를 구성할 수 있다. 참조번호 1010과 1020을 비교해 보면, 상측 빈 영역 1020b의 폭을 b'만큼 줄이고, 그 대신, 하측 빈 영역 1020c의 폭을 줄인 폭만큼 늘려 폭이 b''+c 일 수 있다.

프로세서 120은 분석한 결과에 따라 컨텐츠의 위치를 조정하고, 위치 조정에 따라 빈 영역의 크기를 늘리거나 줄일 수 있다. 다만, 컨텐츠의 위치 조정은 사용자가 컨텐츠를 보는데 영향을 주지 않는 범위 내에서 조정될 수 있다. 너무 잦은 위치 조정은 사용자가 컨텐츠를 보는데 방해가 될 수 있기 때문이다.

다양한 실시예들에 따르면, 빈 영역의 상태와는 관계없이 컨텐츠 이동에 따라 모드를 변환하는 방법이었으나, 컨텐츠 재생 중인 화면에 상하, 좌우 이동을 위한 입력을 수신한 경우, 각 빈 영역의 상태에 따라 다양한 이벤트 처리가 가능하다. 아래 예시에서는 빈 영역이 현재 어떤 상태인지에 따라 컨텐츠 이동에 따른 이벤트를 처리하는 방식이 달라 질 수 있다. 빈 영역의 상태란 빈 영역에 각종 알림이 표시되고 있다든지, 제2 혹은 제3 프로그램이 실행되고 있는 상태를 의미할 수 있다. 이 경우 사용자가 화면을 좌우 혹은 상하로 이동했을 경우, 앞서 설명된 방식과 같이 모드만 전환하는 것이 아니라 빈 영역의 상태와 연관된 동작을 할 수 있다.

도 11은 다양한 실시예에 따른 컨텐츠 이동에 따라 빈 영역에 실행 중인 기능을 종료하는 방법을 도시한 도면이다.

도 1 및 11을 참고하면, 동작 1110에서, 프로세서 120은 컨텐츠가 출력되지 않는 빈 영역에 설정정보를 표시할 수 있다. 상기 설정정보는 기능, 어플리케이션, 프로그램, 아이콘, 심볼 등을 포함할 수 있다. 상기 설정정보는 전자 장치 101에 디폴트로 설정되거나, 사용자에 의해 설정될 수 있다. 예를 들어, 컨텐츠는 디스플레이 160의 중앙에 표시되고, 컨텐츠를 중심으로 좌, 우 빈 영역에 설정정보가 표시될 수 있다. 또는, 컨텐츠를 중심으로 상, 하 빈 영역에 설정정보가 표시될 수 있다.

동작 1120에서, 프로세서 120은 컨텐츠 이동을 위한 이벤트를 수신할 수 있다. 상기 이벤트는 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 의미할 수 있다. 예를 들어, 상기 이벤트는 상기 컨텐츠가 디스플레이 160에 표시되는 중에, 디스플레이 160을 터치한 후, 상, 하, 좌 및 우 중 어느 하나로 이동하고, 해제시키는 것일 수 있다. 터치, 이동, 해제하는 동작은 드래그 앤 드롭 동작으로 해석할 수 있다.

동작 1130에서, 프로세서 120은 이벤트에 따른 위치 또는 방향으로 컨텐츠를 이동하여 표시할 수 있다. 예를 들어, 프로세서 120은 상기 이벤트의 방향에 따라 상기 컨텐츠를 좌측 또는 우측로 이동시키거나, 상측 또는 하측으로 이동시킬 수 있다. 프로세서 120은 디스플레이 160의 화면 크기에 따라 컨텐츠의 이동 위치를 세분화할 수 있다. 예를 들어, 프로세서 120은 우측, 우측 1/2, 중간, 좌측 1/2, 좌측과 같이 5가지 위치로 구별할 수 있다.

동작 1140에서, 프로세서 120은 컨텐츠가 이동된 빈 영역에 실행 중인 설정정보를 종료할 수 있다. 이때, 실행 중인 설정정보는 하나 또는 그 이상일 수 있다. 예를 들어, 우측 빈 영역에 메시지, 스케줄 어플리케이션을 실행하여 표시하는 중에, 컨텐츠가 우측으로 이동하는 경우, 프로세서 120은 메시지, 스케줄 어플리케이션을 종료할 수 있다.

도 11에서는 컨텐츠 출력 중에 빈 영역에 실행 중인 설정정보가 하나 이상인 경우, 한번에 하나씩 종료하기 보다 컨텐츠를 빈 영역으로 이동함으로써, 한번에 복수의 설정정보를 종료시키기 위한 것이다. 즉, 한번의 컨텐츠 이동 동작 만으로, 복수의 설정정보를 종료시킴으로써, 사용자의 편의성을 향상시킬 수 있다.

동작 1150에서, 프로세서 120은 선정된 시간 이후에 상기 컨텐츠를 원래 표시하던 위치로 복귀할 수 있다. 선정된 시간은 사용자에 의해 설정되거나, 전자 장치 101에 디폴트로 설정된 것일 수 있다. 컨텐츠 이동만으로 실행중인 복수의 설정정보를 한번에 종료시킨 후, 별도의 사용자 입력 없이 선정된 시간 이후에 상기 컨텐츠를 원래 표시하던 위치로 복귀함으로써, 사용자의 편의성을 향상시킬 수 있다.

도 12는 다양한 실시예에 따른 컨텐츠 이동에 따라 빈 영역에 실행 중인 기능을 종료하는 일례를 도시한 도면이다.

도 12를 참고하면, 참조번호 1210은 컨텐츠를 디스플레이 160의 중앙에 표시하고, 컨텐츠를 중심으로 컨텐츠의 좌, 우 빈 영역이 출력되는 일례를 도시한 것이다. 참조번호 1210a는 컨텐츠를 표시하는 영역이고, 참조번호 1210b는 좌측 빈 영역이며, 참조번호 1210c는 우측 빈 영역을 나타낸다. 좌측 빈 영역 1210b에는 메시지, 메신저, 알람 어플리케이션이 실행될 수 있다. 우측 빈 영역 1210c에는 스팸 메시지, 광고 등의 노티 메시지가 실행될 수 있다.

참조번호 1220은 참조번호 1210의 상태에서 컨텐츠를 우측으로 이동시키는 일례를 도시한 것이다. 이 경우, 프로세서 120은 우측 빈 영역에 실행중인 노티 메시지가 일괄적으로 삭제할 수 있다. 참조번호 1230은 참조번호 1220의 상태에서 컨텐츠를 좌측으로 이동시킨 경우, 우측 빈 영역 1230a에 실행중인 노티 메시지가 일괄적으로 삭제된 것을 보여주는 일례이다. 참조번호 1210과 1230을 비교해 보면, 우측 빈 영역에 실행 중인 노티 메시지가 종료되어 디스플레이 160에 표시되지 않는 것을 알 수 있다. 프로세서 120은 참조번호 1230과 같이 컨텐츠를 좌측으로 이동시킨 경우, 좌측 빈 영역에 실행중인 어플리케이션을 일괄적으로 종료할 수 있다. 이 때, 선별적으로 삭제하기 위해서는 각 노티를 선택하여 지우는 것도 가능하지만, 경우에 따라서는 한번에 전부 삭제하는 것이 편리할 수 있다.

도 12에서는 21:9인 화면 비율을 갖는 디스플레이 160이 16:9인 영상 비율을 갖는 컨텐츠를 표시한 경우를 예로 들어 설명한 것이다. 반대로 16:9인 화면 비율을 갖는 디스플레이 160이 21:9인 영상 비율을 갖는 컨텐츠를 재생할 경우에는 좌/우에 빈 영역이 존재하지 않고 상/하에 빈 영역이 존재하게 된다. 이 경우, 앞서 설명된 각 이벤트는 상/하로 컨텐츠를 이동시켜 유사한 효과를 발생 시킬 수 있다.

다양한 실시예들에 따르면, 프로세서 120은 메시지를 분석하여 메시지를 표시하는 영역을 설정할 수 있다. 예를 들어, 프로세서 120은 주요 메시지는 우측 빈 영역에 실행하고, 스팸으로 의심되는 메시지의 경우에는 좌측 빈 영역에 실행시킬 수 있다. 이 경우, 사용자가 스팸 메시지를 삭제하고자 하는 경우, 컨텐츠를 좌측으로 이동시키면, 스팸 메시지는 일괄적으로 삭제되고, 우측 빈 영역에 실행 중인 메시지는 그대로 유지시킬 수 있다. 또한, 프로세서 120은 이벤트의 종류를 다양화하여 상, 하, 좌, 우로 빠르게 이동시키거나 이동 후 원위치로 가져왔을 때는 빈 영역의 노티를 삭제하거나 빈 영역에 실행 중인 프로그램을 종료할 수 있도록 한다. 프로세서 120은 컨텐츠를 이동시킨 후 손가락을 디스플레이 160에서 떼지 않고 유지시키는 경우에는 빈 영역에 숨겨져 있던 노티를 보여주거나 화면에 감춰져 있던 브라우져 내용이 표시되도록 처리할 수도 있다.

다양한 실시예들에 따르면, 빈 영역을 활용하는 방법으로 컨텐츠 마킹이 있다. 컨텐츠 마킹이란 현재 화면에 출력 중인 컨텐츠와 직접 혹은 간접적으로 연관된 정보를 표시하는 것을 의미한다. 여기서 연관된 정보란, 현재 컨텐츠의 출력 위치, 시간 정보, 컨텐츠의 출연자 정보, 컨텐츠와 관련된 제품 정보, 광고와 같은 다양한 정보가 포함될 수 있다. 또한, 정보를 표시한다는 의미는 디스플레이 160에 시각적으로 표시해 주는 것뿐 아니라, 소리, 진동을 출력한다는 개념도 포함한다. 이하에서는, 출력중인 컨텐츠의 재생 위치 및 마킹과 해당 마킹을 타인과 공유하는 방법, 마킹을 활용한 제2 프로그램 연동 방법을 설명한다. 또한, 빈 영역에 리스트되는 마킹의 다양한 종류를 설명한다.

도 13은 다양한 실시예에 따른 터치 이벤트에 따라 컨텐츠의 장면을 북마크로 이용하는 방법을 도시한 도면이다.

도 1 및 도 13을 참고하면, 동작 1310에서, 프로세서 120은 컨텐츠를 출력할 수 있다. 상기 컨텐츠는 텍스트, 이미지, 오디오, 비디오, 아이콘 및 심볼 중 적어도 하나 일 수 있다. 프로세서 120은 디스플레이 160의 화면 중심에 컨텐츠를 표시하고, 좌, 우 또는 상, 하 양측에 거의 균등하게 빈 영역을 표시될 수 있다.

동작 1320에서, 프로세서 120은 선정된 터치 이벤트를 수신할 수 있다. 선정된 터치 이벤트는 드래그 앤 드롭 터치 또는 롱 터치를 포함할 수 있다. 예컨대, 드래그 앤 드롭 터치는 사용자가 터치한 화면에서 손을 떼지 않고 빈 영역으로 선택된 컨텐츠 장면을 드래그하는 방식이다. 롱 터치는 사용자가 터치한 화면에서 터치를 일정시간 유지하는 방식이다.

동작 1330에서, 프로세서 120은 상기 터치 이벤트를 수신한 시점의 장면을 북마크로서 빈 영역에 등록할 수 있다. 이는, 현재 출력 중인 컨텐츠에서 사용자가 원하는 장면을 마킹하여 마킹된 장면을 북마크(즐겨찾기)로서 빈 영역에 리스트 업하는 것이다. 상기 북마크로 등록 가능한 것은, 컨텐츠 재생 화면의 전체 이미지, 컨텐츠 재생 화면의 일부 이미지(예: 등장 인물의 얼굴 영역, 건물, 사물, 상호, 브랜드 로고, 텍스트, 랜드마크, 액세서리, 신발, 옷 등을 포함), 컨텐츠의 일부 영상, 컨텐츠 내의 자막, 컨텐츠 OST, 컨텐츠 재생 위치 및 구간 등을 포함할 수 있다. 상기 빈 영역에는 하나 이상의 북마크를 포함하는 북마크 리스트가 표시될 수 있다. 북마크로 등록할 때는 화면을 캡쳐하여 이미지 형태로 저장하는 방법 이외에도 영상의 일부를 Video clip 형태로 생성하여 북마크하는 경우도 제공할 수 있다.

예를 들어, 드래그 앤 드롭 터치의 경우, 사용자는 선택하고자 하는 컨텐츠 장면에서 장면에서 디스플레이 160을 터치하여 빈 영역으로 드래그하면, 프로세서 120은 북마크 리스트에 상기 드래드된 컨텐츠 장면이 추가되고, 기 설정된 일정 시간이 지나면 저장(등록)할 수 있다. 또는, 저장을 끝내고자 하는 시점에서 사용자가 디스플레이 160의 화면이나 북마크 리스트에 저장된 시작부분의 영상 이미지를 터치하면 video clip이 생성되어 저장된다. 롱 터치의 경우, 프로세서 120은 사용자가 저장하고자 하는 컨텐츠 장면에서 디스플레이 160을 터치한 시점부터 터치를 해제하는 시점까지의 영상을 video clip으로 저장하여 북마크 리스트에 등록할 수 있다. 즉, 프로세서 120은 터치가 시작된 시점의 컨텐츠 장면을 버퍼에 저장하고, 터치 상태를 유지한 채 일정 시간 경과하면 터치 시점에서 저장된 컨텐츠 장면을 빈 영역의 북마크 리스트에 등록할 수 있다.

동작 1340에서, 프로세서 120은 선택된 북마크에 대해 공유, 재생, 반복 재생 중 적어도 하나를 수행할 수 있다. 사용자는 빈 영역에 등록된 북마크 리스트 중 어느 하나의 북마크를 선택할 수 있다. 북마크가 선택되면, 프로세서 120은 선택된 북마크에 대한 컨텐츠 장면을 공유, 재생 또는 반복 재생할 수 있다. 예를 들어, 사용자가 나중에 동일한 컨텐츠를 다시 한번 재생할 경우 해당 컨텐츠 북마크를 선택하면, 프로세서 120은 선택된 북마크의 장면부터 재생을 시작할 수 있다. 또한, 컨텐츠 북마크 시, 선택된 장면의 전후 특정 시간을 지정하여, 해당 장면을 반복해서 재생할 수 있도록 할 수도 있다. 이와 같은 기능은 외국어 공부를 하는 사람들에게 유용할 수 있다. 또한, 특정 장면의 컨텐츠 마킹 기능은 SNS등을 통해 타인과 공유할 수 있다. 공유의 방법으로는 재생 시간 등과 같은 메타 정보를 타인의 전자 장치로 전달함으로써, 가능할 수 있다. 또는, 클라우드 컴퓨팅 같은 기능을 이용하여 상대방도 같은 파일을 재생할 수 있으면, 공유된 파일 정보 및 북마크 메타 정보를 이용하여 서로 동일한 파일을 검색하여 북마크로 등록된 시점부터 컨텐츠 장면을 재생할 수도 있다.

도 14a 내지 도 14c는 다양한 실시예에 따른 터치 이벤트에 따라 컨텐츠의 장면을 북마크로 이용하는 일례를 도시한 도면이다.

도 14a를 참고하면, 참조번호 1410은 터치 이벤트에 따라 컨텐츠의 장면을 북마크로 등록하는 화면을 도시한 것이다. 예를 들면, 사용자는 재생 중인 컨텐츠 상에 선정된 터치로서 참조번호 1410a와 같은 '롱 터치'를 입력할 수 있다. 프로세서 120은 터치 입력이 시작된 시점의 컨텐츠 장면을 북마크로서 인식할 수 있다. 참조번호 1410c는 북마크로 인식한 컨텐츠 장면이다. 프로세서 120은 북마크된 컨텐츠 장면 1410c를 참조번호 1410b와 같은 빈 영역에 등록할 수 있다.

참조번호 1420은 빈 영역에 등록된 북마크를 활용하는 화면을 도시한 것이다. 사용자가 빈 영역에 등록된 북마크를 참조번호 1420a와 같이 선택하면, 프로세서 120은 참조번호 1420b와 같이 북마크 기능을 표시할 수 있다. 북마크 기능은 재생, 공유, 반복 재생을 포함할 수 있다. '재생(Play from here)'이 선택되면, 프로세서 120은 북마크로 등록된 컨텐츠 장면부터 재생할 수 있다. '공유(share bookmark)'가 선택되면, 프로세서 120은 북마크로 등록된 컨텐츠 장면을 SNS등을 통해 타인과 공유할 수 있다. '반복 재생(Repeat 10 seconds)'가 선택되면, 프로세서 120은 북마크로 등록된 컨텐츠 장면을 반복 재생할 수 있다.

도 14b를 참고하면, 참조번호 1430은 도 14a에서 '공유'를 선택하면 나타나는 화면을 도시한 것이다. '공유'가 선택되면, 프로세서 120은 참조번호 1430a(share video clip)와 같이 북마크 기능 중 공유가 선택되었음을 표시할 수 있다. '공유'가 선택되면, 프로세서 120은 북마크에서 선택된 컨텐츠 장면을 타인과 공유할 수 있는 어플리케이션(예: 메시지, 채팅, 트위터 등)을 실행시킬 수 있다. 이를 위해, 사용자가 전자 장치 101에 '공유' 선택 시, 실행시킬 어플리케이션을 설정받을 수도 있고, 전자 장치 101에 디폴트로 설정될 수도 있다. 참조번호 1440은 채팅 어플리케이션이 실행된 화면을 도시한 것이다. 참조번호 1440a는 공유할 컨텐츠 장면을 타인에게 전송하는 것을 도시한 것이다. 이때, 타인의 전자 장치에서 동일한 컨텐츠를 재생하는 것이 불가능한 경우, 선택된 컨텐츠 장면의 일정 시간만큼의 비디오 클립을 생성하여 직접 타인에게 전달하는 것도 가능하다. 만약 비디오 클립의 용량이 너무 크면, 프로세서 120은 비디오 클립을 리사이징을 해서 보내거나, 유사한 비디오 클립을 인터넷에서 검색하여 해당 URL을 보낼 수도 있다.

다양한 실시예들에 따르면, 컨텐츠 북마크의 공유는 컨텐츠의 장면뿐만 아니라, 배경음악이나 자막에서도 가능하다. 즉, 프로세서 120은 컨텐츠의 배경음악을 북마크로 하여 타인과 공유하거나, 감동적인 대사를 북마크로 하여 타인과 공유하는 기능을 제공할 수 있다. 예를 들면, 사용자가 재생 중인 동영상에서 원하는 대사를 선택하게 되면, 프로세서 120은 빈 영역에 선택된 대사를 북마크로서 리스트업하고, 북마크 리스트에서 공유하고자 하는 컨텐츠의 대사를 선택하여 타인과 공유하는 방식이다. 이를 통해, 사용자는 컨텐츠를 보는 것에 방해 받지 않고, 빈 영역에 리스트업된 북마크들을 바로 바로 손쉽게 타인과 공유할 수 있다.

도 14c를 참고하면, 참조번호 1450은 사용자가 컨텐츠의 자막을 북마크로 등록하는 화면을 도시한 것이다. 사용자는 재생되는 컨텐츠 상의 자막을 참조번호 1450a와 같이 롱 터치할 수 있다. 자막에 롱 터치가 입력되면, 프로세서 120은 참조번호 1450b와 같이 자막을 북마크로서 빈 영역에 등록할 수 있다. 참조번호 1460은 북마크에서 선택된 자막을 타인과 공유하는 화면을 도시한 것이다. 참조번호 1460b는 빈 영역을 나타낸다. 빈 영역 1460b에는 북마크 리스트가 표시될 수 있다. 사용자가 북마크를 선택하고, 선택된 북마크에 대해 '공유'를 선택하면, 프로세서 120은 참조번호 1460a(share text)와 같이 컨텐츠 자막을 공유할 것임을 표시할 수 있다.

다양한 실시예들에 따르면, 프로세서 120은 북마크 리스트에 새로운 영상이 추가되면 빈 영역에 추가된 영상의 정보를 보여주는 기능을 제공할 수 있다.

도 15는 다양한 실시예에 따른 북마크를 이용하여 컨텐츠를 출력하는 일례를 도시한 도면이다.

도 15를 참고하면, 참조번호 1510은 컨텐츠를 좌측으로 이동하고, 우측에 빈 영역이 구성된 상태에서 드래그 앤 드롭 방식으로 북마크를 등록하는 일례를 도시한 것이다. 사용자는 북마크로 등록을 원하는 시점에 디스플레이 160을 터치하고 참조번호 1540a와 같이 드래그하여 빈 영역에서 드롭할 수 있다. 드래그 앤 드롭 터치가 완료되면, 프로세서 120은 터치된 시점의 컨텐츠 장면을 참조번호 1510b와 같이 북마크로 등록할 수 있다.

참조번호 1520은 빈 영역에 컨텐츠와 관련된 정보를 표시하는 일례를 도시한 것이다. 참조번호 1520a는 북마크로 등록된 컨텐츠 장면과 연관된 정보이거나, 현재 재생 중인 컨텐츠와 연관된 정보를 표시하는 일례를 도시한 것이다. 예를 들어, 참조번호 1520a에는 북마크로 등록된 컨텐츠 장면이 컨텐츠의 5분 20초에 해당하는 것이며, 컨텐츠 장면의 설명정보(예: Queen launched a flying)가 표시될 수 있다. 또는, 참조번호 1520a에는 사용자가 선택한 영상의 시간과, 자막, Ost, 장소 등 영상으로부터 획득한 정보 이외에도 그 영상과 관련한 웹이나 원격 단말에서 제공하는 정보들도 제공할 수 있다. 이렇게 북마크 리스트에 추가된 이미지나 관련 정보를 사용자가 선택하면, 프로세서 120은 선택된 이미지나 정보를 SNS나 타 기기에 전송할 수 있다. 또한, 빈 영역에는 참조번호 1520b와 같이 북마크로 등록된 다른 컨텐츠 장면도 함께 표시될 수 있다

참조번호 1530은 사용자가 북마크 리스트에 등록된 컨텐츠 장면을 선택한 경우의 일례를 도시한 것이다. 사용자는 참조번호 1530a와 같이, 북마크 리스트에서 어느 하나의 컨텐츠 장면을 선택할 수 있다. 참조번호 1540은 선택된 컨텐츠 장면을 재생하는 일례를 도시한 것이다. 즉, 프로세서 120은 선택된 컨텐츠 장면의 시점부터 재생할 수 있다. 이때, 빈 영역에는 현재 출력중인 컨텐츠 장면에 대한 정보가 참조번호 1540b와 같이 표시될 수 있다. 참조번호 1450a는 컨텐츠의 25분 10초에 해당하는 컨텐츠 장면이며, 컨텐츠 장면의 설명정보(예: I see the light a healthy baby girl)가 표시될 수 있다. 또한, 빈 영역에는 선택된 컨텐츠를 재생하기 전에 재생 중이던 컨텐츠 장면이 참조번호 1540b와 같이 표시될 수 있다,

도 16은 다양한 실시예에 따른 빈 영역에 컨텐츠와 연관된 정보를 표시하는 방법을 도시한 흐름도이다.

도 1 및 도 16을 참고하면, 동작 1610에서, 프로세서 120은 컨텐츠를 출력할 수 있다. 상기 컨텐츠는 텍스트, 이미지, 오디오, 비디오, 아이콘 및 심볼 중 적어도 하나 일 수 있다. 프로세서 120은 디스플레이 160의 화면 중심에 컨텐츠를 표시하고, 좌, 우 또는 상, 하 양측에 거의 균등하게 빈 영역을 표시될 수 있다.

동작 1620에서, 프로세서 120은 상기 컨텐츠가 출력되지 않는 빈 영역에 상기 컨텐츠와 연관된 정보를 표시할 수 있다. 상기 정보는 위키피디아, 장소, 인물(예: 배우), SNS, 관련 영상(예: 표시되는 컨텐츠와 유사한 장르의 영상), 공유 가능한 어플리케이션, 감독, 브랜드, 가격, 구매 가능한 사이트나 장소, 관련 지역을 표시한 지도, 관련 광고를 포함할 수 있다. 이 때, 각 정보들이 출력되는 시점을 다양화할 수 있는데, 일반적인 방법으로는 컨텐츠 재생 중 현재 재생중인 장면과 관련된 정보를 순차적으로 보여주는 방법이다. 즉, 사용자의 의도와는 관계 없이 현재 출력되는 장면과 연동된 다양한 정보를 순차적으로 제공할 수 있다. 또 다른 방법으로는 사용자가 입력하는 이벤트에 대응하여 그 상황에 맞는 정보를 제공할 수도 있다. 다시 말하면, 컨텐츠 재생 중에 특정 등장 인물을 지정했을 경우, 그 인물과 관련된 정보를 화면의 빈 영역에 출력해 줄 수 있다.

동작 1630에서, 프로세서 120은 상기 컨텐츠 내 터치를 수신할 수 있다. 상기 터치는 1620에서 표시하는 정보 이외에 다른 정보를 획득하기 위한 터치일 수 있다. 예컨대, 상기 터치는 상기 컨텐츠 장면의 배경 음악에 대한 정보, 장소와 관련된 정보, 등장인물이 입고 있는 옷이나 신발, 액세서리와 관련된 정보 또는 상기 정보들을 제공하는 URL 주소를 획득하고자 하기 위한 것일 수 있다.

동작 1640에서, 프로세서 120은 터치된 장면에 대한 이미지 검색을 수행할 수 있다. 프로세서 120은 전자 장치 101 내 기 저장된 정보를 사용하여 검색을 하거나, 웹 검색 등과 같이 서버를 이용하여 검색할 수도 있다. 예컨대, 터치된 컨텐츠의 장면이 러시아의 크렘린 궁전을 표시하고 있는 경우, 사용자가 '크렘린 궁전'을 선택하게 되면, 프로세서 120은 크렘린 궁전을 이미지 검색할 수 있다.

참고로, 동영상 재생 중에 화면 비율에 따라 발생되는 빈 영역에 이미지 검색 기능을 제공할 수 있다. 사용자는 동영상을 시청하다가 영상 내에 보여지는 인물 정보나 사물 정보 또는 장소 정보나 텍스트를 검색하고 싶을 수 있다. 이럴 경우 기존에는 동영상 시청이 끝난 후에 검색을 하거나, 동영상 시청을 잠시 중단하고 웹 브라우저와 같은 검색 어플리케이션을 추가로 따로 실행하여 직접 텍스트를 입력하며 검색을 진행하는 불편함이 있다. 그렇기 때문에, 다양한 실시예들은 동영상 재생 중에 발생되는 빈 영역을 이용하여 동영상 시청에 방해되지 않으며 간단한 터치 조작만으로 이미지 검색할 수 있도록 한다.

동작 1650에서, 프로세서 120은 컨텐츠를 이동하여 표시하고, 컨텐츠 이동에 따라 빈 영역을 구성할 수 있다. 프로세서 120은 동작 1640에서 검색한 결과를 표시하기 위하여, 컨텐츠를 이동시킬 수 있다. 예컨대, 동작 1640에서 빈 영역은 양측으로 분리되어 표시되기 때문에, 검색 결과를 한번에 표시하기 용이하지 않을 수도 있다. 이 경우, 프로세서 120은 양측으로 분리된 빈 영역을 하나로 구성하여 검색 결과를 한번에 표시하기 용이하도록 할 수 있다. 상기 빈 영역은 상, 하 또는 좌, 우 양측으로 분할된 빈 영역을 합친 면적과 일치할 수도 있고, 일치하지 않을 수도 있다.

동작 1660에서, 프로세서 120은 상기 구성된 빈 영역에 검색 결과를 표시할 수 있다. 예컨대, 상기 검색 결과는 위키피디아 캡쳐화면, 크렘린 궁전과 관련된 관광 정보, 크렘린 궁전이 나오는 영화정보 등을 포함할 수 있다.

동작 1670에서, 프로세서 120은 선택된 검색 결과에 대응하는 기능을 실행할 수 있다. 사용자는 동작 1660에서 표시된 검색 결과 중 적어도 하나를 선택할 수 있다. 예를 들어, 프로세서 120은 사용자가 위키피디아 캡쳐화면을 선택한 경우, 브라우져를 실행시켜 위키피디아에 연결할 수 있다.

도 17a 및 도 17b는 다양한 실시예에 따른 빈 영역에 컨텐츠와 연관된 정보를 표시하는 일례를 도시한 도면이다.

도 17a를 참고하면, 참조번호 1710은 동영상 중에서 호주의 오페라하우스가 표시되는 컨텐츠 장면을 도시한 것이다. 참조번호 1710a는 디스플레이 160의 중앙으로 컨텐츠 장면이 표시되는 영역을 나타낸다. 참조번호 1710b 및 참조번호 1710c는 컨텐츠 장면을 중심으로 양측에 빈 영역을 나타낸다. 이때, 참조번호 1710c에는 컨텐츠 장면과 연관된 정보들이 표시될 수도 있다. 예컨대, 상기 정보들은 상기 동영상의 주연 배우, 감독, 유사한 장르 등과 관련된 것일 수 있다.

참조번호 1720은 컨텐츠 내 터치를 참조번호 1720a와 같이 수신하는 일례를 도시한 것이다. 사용자는 오페라하우스에 대한 이미지 검색을 수행하기 위해, 종래와 같이 컨텐츠 재생을 멈추고 웹브라우저를 실행시킬 필요없이, 재생 중인 컨텐츠 내에서 이미지를 검색하고자 하는 대상을 선택하면 된다. 그러면, 참조번호 1730은 터치 수신에 따라 컨텐츠를 좌측 방향으로 이동시켜 표시하는 일례를 도시한 것이다. 즉, 프로세서 120은 상기 터치를 수신함에 따라 이미지 검색 결과를 표시하기 위해 컨텐츠를 좌측 방향으로 이동시킬 수 있다. 그리고, 프로세서 120은 컨텐츠 이동에 따라 빈 영역을 구성할 수 있다.

참조번호 1740은 구성된 빈 영역에 이미지 검색 결과를 표시하는 일례를 도시한 것이다. 참조번호 1740a는 빈 영역을 나타내고, 참조번호 1740b 내지 1740d는 검색 결과들을 나타낸다. 예컨대, 참조번호 1740b는 오페라하우스에 대한 위치, 관광 정보이고, 참조번호 1740c는 오페라하우스에 대한 위키피디아 캡쳐화면이며, 참조번호 1740d는 오페라하우스 주변 맛집 정보일 수 있다. 이 때 사용자가 참조번호 1740b 내지 1740d 중 어느 하나를 선택하면, 프로세서 120은 선택된 정보를 제공하기 위한 기능을 실행할 수 있다. 예컨대, 사용자가 위키피디아 캡쳐화면을 선택한 경우, 프로세서 120은 image viewer를 실행시킬 수 있다.

도 17b를 참고하면, 참조번호 1750은 영화를 재생하는 중에 사용자가 영화 내 인물을 선택하는 화면을 도시한 것이다. 1750a는 사용자가 영화 내 터치한 대상을 나타낸다. 1750b는 빈 영역에 이미지 검색 기능을 제공한다는 표시를 나타낸다. 예컨대, 사용자는 검색하고자 하는 인물을 영역으로 선택할 수 있고, 프로세서 120은 선택한 영역에 가이드라인을 생성하여 표시할 수 있다. 1750에서, 가이드 라인은 사람의 얼굴 주변의 원 형상일 수 있다. 사용자는 가이드라인의 사이즈를 조절할 수 있으며, 가이드라인을 통해 검색하고자 하는 영역을 설정할 수 있다.

참조번호 1760은 사용자가 가이드라인 내부 영역을 터치한 상태로 빈 영역으로 드래그하는 일례를 도시한 것이다. 1760a는 가이드라인 내부영역에서 빈 영역으로 터치를 드래그하는 것을 나타낸 것이다. 이때, 프로세서 120은 참조번호 1760b와 같이 가이드라인 내부 영역의 이미지를 빈 영역으로 이동시켜 표시할 수 있다.

참조번호 1770은 가이드라인 내에 포함된 인물에 대해 이미지 검색이 수행중인 화면을 도시한 것이다. 1770a는 인물에 대한 이미지와 함께 이미지 검색 중(예: Searching)임을 나타낸 것이다. 참조번호 1780은 인물에 대한 이미지 검색이 완료되어, 검색결과를 표시한 화면을 도시한 것이다. 1780a는 인물에 대한 검색 결과로서, 1989년생 모델 ... 및 다른 이미지를 표시하는 일례를 도시한 것이다. 또한, 상기 검색 결과는 SNS 주소도 포함될 수 있으며, 사용자의 간단한 터치 입력만으로도 자동으로'친구 신청'이나 '친구 등록' 또는 '팔로워'가 될 수 있는 기능을 제공한다.

최근 다양한 스마트 기기에서 사용자의 생체신호를 추출할 수 있는 센서가 탑재되고 있다. 특히 사용자의 생체신호를 이용해서 감정상태를 파악할 수도 있다. 이와 같은 방법을 이용하여 사용자가 시청하고 있는 동영상의 장면 중에 감정 상태, 즉 기쁜 장면, 슬픈 장면, 감동적인 장면 등을 자동으로 캡쳐하여 화면의 빈 영역에 리스트로 표시할 수 있다. 그리고 캡쳐된 장면을 북마크하여 다른 사람과 공유할 수도 있다. 또한, 빈 영역을 통해 현재 사용자의 감정 상태를 참고할 수 있는 정보를 출력해 줄 수도 있다. 여기서 사용자의 생체 신호 추출은 사용자가 현재 동영상을 재생시키고 있는 디바이스 외에 스마트 워치와 같은 제2 웨어러블 기기를 통해 측정하여 전달 받을 수도 있다.

도 18은 다양한 실시예에 따른 생체정보를 이용하여 컨텐츠와 피드백 정보를 출력하는 방법을 도시한 흐름도이다.

도 1 및 도 18을 참고하면, 동작 1810에서, 프로세서 120은 컨텐츠를 출력할 수 있다. 상기 컨텐츠는 텍스트, 이미지, 오디오, 비디오, 아이콘 및 심볼 중 적어도 하나 일 수 있다.

동작 1820에서, 프로세서 120은 외부 장치로부터 생체정보를 수신할 수 있다. 상기 외부 장치란, 전자 장치 101와 페어링된 장치이거나, 전자 장치 101과 기준 거리 이내에 위치한 장치일 수 있다. 예컨대, 상기 외부 장치는 스마트 워치와 같은 제2 웨어러블 기기일 수 있다. 상기 외부 장치는 장치 내 구비된 센서를 이용하여 다양한 생체정보를 획득할 수 있다. 외부 장치는 구비된 통신부를 통해 프로세서 120으로 생체정보를 전송할 수 있다. 예컨대, 생체정보는 심전도, 맥박, 호흡, 혈류량 등의 정보가 포함될 수 있다.

동작 1830에서, 프로세서 120은 상기 생체정보를 수신한 시점의 컨텐츠 장면을 캡쳐할 수 있다. 또한, 프로세서 120은 카메라를 이용하여 사용자를 촬영하여 이미지를 생성할 수 있다. 프로세서 120은 마이크로부터 음성(또는 소리)을 수신할 수도 있다.

동작 1840에서, 프로세서 120은 사용자를 촬영한 이미지와 생체정보를 피드백 정보로 생성할 수 있다. 상기 피드백 정보는 컨텐츠 장면이 재생될 때 사용자의 반응이 어떠한지 여부에 대한 것이다. 상기 피드백 정보는 카메라에서 촬영한 이미지뿐만 아니라, 마이크에서 수신된 음성도 포함될 수 있다.

동작 1850에서, 프로세서 120은 캡쳐된 장면을 피드백 정보와 매칭하여 빈 영역에 등록할 수 있다. 이때, 빈 영역은 상기 컨텐츠의 양 측면에 존재하거나, 상기 컨텐츠를 한 방향으로 이동시킨 경우, 한 측면에 존재할 수 있다.

동작 1860에서, 프로세서 120은 상기 피드백 정보를 공유하거나, 상기 빈 영역에 타 피드백 정보를 출력할 수 있다. 상기 피드백 정보는 공유하는 것은 타인에게 상기 피드백 정보를 전송하거나, 카페 등의 커뮤니티에 상기 피드백 정보를 등록시켜 동일한 커뮤니티에 가입된 복수의 타인들과 상기 피드백 정보를 공유하는 것을 의미한다. 상기 타 피드백 정보는 타인의 피드백 정보로서, 타인에게 수신받은 것이거나, 커뮤니티에 등록된 타인의 피드백 정보를 다운로드한 것일 수 있다. 상기 출력은 피드백 정보를 표시하거나, 진동 및 소리로 출력하는 의미를 모두 포함할 수 있다.

도 19a 및 도 19b는 다양한 실시예에 따른 생체정보를 이용하여 컨텐츠와 피드백 정보를 출력하는 일례를 도시한 도면이다.

도 19a를 참고하면, 참조번호 1910은 컨텐츠(예: 동영상)가 재생될 때, 참조번호 1910a와 같이 카메라를 이용하여 이미지를 수신하거나, 참조번호 1910b와 같이 마이크를 통해 음성을 수신하는 일례를 도시한 것이다. 프로세서 120은 카메라에서 촬영한 사용자가 기쁜 표정인지, 놀란 표정인지, 슬픈 표정인지를 이미지로서 생성할 수 있다. 또는, 프로세서 120은 외부장치 1910c로부터 생체정보를 수신하여 생체정보에 기초하여 이미지를 생성할 수도 있다. 참조번호 1920은 컨텐츠를 참조번호 1920a와 같이 우측 방향으로 이동시키는 일례를 도시한 것이다. 컨텐츠를 우측방향으로 이동함에 따라 프로세서 120은 디스플레이 160의 좌측에 빈 영역을 구성할 수 있다. 참조번호 1920b는 구성된 빈 영역을 나타내는 것으로, 카메라를 통해 획득한 이미지가 표시될 수 있다. 또는, 참조번호 1920b는 현재 출력중인 컨텐츠와 연관된 북마크, 타인의 이미지, 나의 피드백 정보 또는 타인의 피드백 정보가 표시될 수 있다.

참조번호 1930은 컨텐츠를 참조번호 1930a와 같이 좌측 방향으로 이동시키는 일례를 도시한 것이다. 컨텐츠를 좌측방향으로 이동함에 따라 프로세서 120은 디스플레이 160의 우측에 빈 영역을 구성할 수 있다. 참조번호 1930b는 구성된 빈 영역을 나타내는 것으로, 카메라를 통해 획득한 이미지가 표시될 수 있다. 또는, 참조번호 1930b는 현재 출력중인 컨텐츠와 연관된 북마크, 타인의 이미지, 나의 피드백 정보 또는 타인의 피드백 정보가 표시될 수 있다.

참조번호 1940은 컨텐츠 재생을 완료한 후, 재생 시점과 연관된 피드백 정보를 그래프로 나타낸 일례를 도시한 것이다. 프로세서 120은 촬영된 이미지, 생체정보를 재생 시점과 연관하여 저장하였다가 재생이 완료된 후 그래프로 제공할 수 있다 상기 그래프에는 나의 피드백 정보뿐만 아니라 타인의 피드백 정보를 포함할 수 있으며, 두 피드백 정보를 비교하여 도시할 수도 있다. 프로세서 120은 생체정보를 전송한 외부 장치(예: 웨어러블 디바이스)로 상기 그래프를 전송할 수도 있다. 사용자는 동영상을 보면서 자신의 느낌이나 반응을 한눈에 확인할 수 있다. 또한, 현재 재생중인 컨텐츠에서 가장 감동적이거나 인상적인 장면이 재생 될 때, 해당 장면에 대한 다양한 설명이나 비평가들의 평가 내용, 관객들의 반응, 사진들을 표시하는 방식이다.

도 19b를 참고하면, 참조번호 1950은 컨텐츠 재생 시, 타인의 피드백 리스트를 표시하는 일례를 도시한 것이다. 사용자는 피드백 리스트에서 어느 하나의 피드백 정보를 참조번호 1950a와 같이 선택할 수 있다. 참조번호 1960은 컨텐츠 재생 시, 선택된 피드백 정보를 표시하는 일례를 도시한 것이다. 참조번호 1960a는 컨텐츠를 나타내며, 참조번호 1960b는 빈 영역에 피드백 정보를 나타낸 것이다. 또한, 프로세서 120은 현재 컨텐츠의 재생 시간을 고려하여 빈 영역에 다른 정보를 표시할 수도 있다. 참조번호 1970은 컨텐츠와 함께 컨텐츠와 연관된 다른 컨텐츠의 예고편을 표시하는 일례를 도시한 것이다. 참조번호 1970a는 현재 출력되는 컨텐츠를 나타내며, 참조번호 1970b는 다른 컨텐츠이 예고편을 나타낸다.

상기에서 설명한 바와 같이, 컨텐츠가 이동되면, 기존 양분되어 있던 빈 영역이 하나로 통합되는 효과가 있으므로, 보다 넓은 빈 영역을 확보할 수 있다. 이 경우, 빈 영역을 활용하여 사용자에게 다양한 편의를 제공할 수 있다.

최근에는 스마트폰 중독 현상이 늘어나면서 사용자는 실시간으로 발생되는 알림을 계속해서 알고자 하는 욕구가 커졌기 때문에, 동영상 재생 중에도 어떤 알림이 왔는지 주기적으로 확인을 하고 싶어한다. 그렇기 때문에 최근, 스마트폰에서는 콜이나 알람, 충전 알림과 같은 시스템 알림을 나타내는 팝업창뿐만 아니라, GCM(Google Could Message Service)과 SPP 등의 푸시 서버를 이용한 푸쉬 메시지나 인스턴트 메시지, 또는 광고가 출력되는 컨텐츠 화면의 중앙에 메시지 창 형태로 표시되어, 시각적으로 사용자에게 알림을 전달하고 있다.

그러나, 컨텐츠가 출력되고 있는 상태에서 화면을 가리는 알림이 발생되면 사용자는 불쾌감을 느낄 수 있고, 그렇다고 알림 UI를 표시하지 않게 되면 중요한 알림을 받지 못할 수도 있다. 또는, 사용자가 확인을 하기 위해 동영상 시청 중에도 수시로 알림바(Notification Bar)를 터치하거나, 다른 어플리케이션을 실행시켜야 하는 불편함이 있다.

일반적으로, 전자 장치에서는 동영상 재생 중에 발생되는 알림을 2가지 형태로 제공하고 있다. 하나는 화면 전체를 가리는 알림창이나 부분을 가리는 팝업창을 사용하여 재생중인 동영상 화면을 부분적(또는 전체적)으로 덮는 방식이다. 다른 하나는 알림이 발생됐을 때 알림바를 잠깐 표시하고, 사라지는 방식이다.

도 20a 내지 도 20c는 다양한 실시예에 따른 화면 내 빈 영역을 활용한 다양한 일례들을 도시한 도면이다.

도 20a는 컨텐츠 재생 중 빈 영역에 알림 메시지를 표시하는 일례를 도시한 것이다.

도 20a를 참조하면, 참조번호 2010은 좌측 빈 영역 2010a에 알림을 표시하고, 우측에 컨텐츠를 표시하는 일례를 도시한 것이다. 빈 영역 21010a에 표시되는 알림의 형태는 다른 어플리케이션에서 보여지는 화면 중앙에 표시되던 그대로 사이즈만 변경돼서 표시될 수도 있고, 최대한 심플한 내용을 포함한 형태로 가공해서 보여질 수도 있다. 또한 알림과 관련된 이미지(예: 아이콘)만 사용하여 단순하게 표시할 수 도 있다.

다양한 실시예들에 따르면, 빈 영역에 인스턴트 메시지 알림이 표시되는 기능과 관련해서 자동 답변 기능을 제공할 수 있다. 동영상 시청 중에 타인이 보내온 인스턴트 메시지 알림이 발생하게 되면, 사용자는 즉시 답변을 하기 위해 시청중인 동영상을 잠시 멈춘 상태에서 인스턴트 메시지와 관련된 제2 어플리케이션을 수동으로 실행하여 키패드를 통해 답변을 해야 하는 번거로움이 발생한다. 굳이 위와 같은 방식으로 답변을 하지 않는 경우도 있을 수 있으나, 나중에 답변 보내는 것을 잊게 되거나 긴급한 메시지인 경우에는 상대방이 불안해하는 경우도 발생되어 사용자는 추후에 해명을 해야 하는 등의 난감한 상황도 발생할 수 있다.

그렇기 때문에, 다양한 실시예들에 따르면, 동영상이 재생되지 않는 빈 영역에 인스턴트 메시지가 표시되면, 사용자가 메시지를 터치하거나, 화면 이동 이벤트를 발생시키는 등의 간단한 동작만으로도 자동 응답을 해줄 수 있는 기능을 제공할 수 있다. 참조번호 2020은 사용자가 참조번호 2020a와 같이 인스턴트 메시지를 터치하면, 자동으로 "나 지금 영화 보는 중"이라는 메시지를 자동 발신하는 일례를 도시한 것이다. 또는 메시지(또는 아이콘)가 표시된 빈 영역인 좌측으로 컨텐츠를 이동하는 이벤트를 발생 시키게 되면, 자동으로 "나 지금 영화 보는 중"이라는 메시지를 자동 발신할 수도 있다.

참조번호 2030은 실시간으로 발생되는 알림을 빈 영역에 표시한 다음에는 일정 시간이 지나면 참조번호 2030a와 같이 아이콘 형태로 표시할 수도 있다. 아이콘은 메시지를 보낸 발신자의 얼굴 이미지이거나, 어플리케이션의 아이콘일 수 있다. 또는, 프로세서 120은 빈 영역에 알림을 표시한 다음 일정 시간이 지나면 사라지게 하여 처음과 같은 빈 영역으로 나타낼 수도 있다. 즉, 프로세서 120은 사용자가 동영상을 시청하는 것에 방해되지 않도록 하는 UI를 제공할 수 있다. 또는, 사용자가 굳이 답변을 할 필요가 없는 메시지 알림인 경우에는 일정 시간이 지나면 자동으로 메시지 표시 창은 사라지고, 대신에 빈 영역에 아이콘이 표시될 수도 있다. 참조번호 2040은 아이콘이 표시된 방향으로 컨텐츠를 이동하는 이벤트를 참조번호 2040a와 같이 발생시키면, 메시지 알림을 삭제하는 일례를 도시한 것이다. 즉, 다양한 실시예에 따르면, 최대한 사용자에게 불쾌감을 주지 않는 심플한 UI 형태로 알림을 제공할 수 있다. 보통의 사용자들은 동영상 시청 시에 화면 주변에 복잡하거나 정신 없는 형태의 UI가 표시되는 것을 불편하게 생각하는 경우가 많기 때문이다.

다양한 실시예들에 따르면, 사용자들은 스마트폰과 같은 전자 장치에서 동영상을 재생하는 경우 중에 상당수는 대중 교통수단을 이용할 때이다. 지하철을 탄다거나 기차, 버스, 비행기 등을 타고 이동하면서 무료한 시간을 보내기 위해 동영상을 시청하게 된다. 이 경우, 16:9 디스플레이에서 21:9 컨텐츠를 볼 경우 또는 21:9 디스플레이에서 16:9 컨텐츠를 볼 경우에 나타나는 빈 영역에 현재 위치와 관련된 정보를 표시할 수 있다. 즉, 사용자는 동영상을 시청하다 목적지를 지나치는 경우를 방지하고 싶거나 또는 전체 경로 중에서 현재 자신의 위치가 어디인지 알고 싶을 경우가 발생할 수 있다.

도 20b는 컨텐츠 재생 중 빈 영역에 이동 경로 및 현재 위치와 관련된 정보를 표시하는 일례를 도시한 것이다.

도 20b를 참고하면, 참조번호 2050은 컨텐츠 재생 중, 빈 영역에 경로 및 현재 위치를 표시하는 일례를 도시한 것이다. 2050a는 컨텐츠가 표시되는 영역을 나타내고, 2050b는 목적지까지의 이동 경로를 나타내며, 2050c는 현재 위치와 목적지까지의 거리 및 시간을 나타낸다. 즉, 본 발명에 따르면, 빈 영역에 현재 이동중인 경로, 현재 위치, 목적지까지의 남은 거리와 시간, 남아있는 재생 시간, 목적지에서 남는 예상 재생 시간, 목적지 도착 시점 등 다른 정보들을 제공할 수 있다. 또한, 빈 영역에 컨텐츠와 연관된 동영상 재생 배속, 경로 안에 볼 수 있는 영상 리스트 등도 표시할 수 있다. 상기 현재 위치는 네트워크, 위성, 랜드마크, 경로 등을 시간을 기준으로 나누는 방식으로 획득할 수 있다.

다양한 실시예들에 따르면, 빈 영역에 현재 재생 중인 컨텐츠와 관련된 특수 효과를 출력함으로써, 사용자로 하여금 보다 컨텐츠에 집중하고, 사실감을 느끼도록 할 수 있다. 특수 효과의 예를 들면, 재생 중인 컨텐츠의 현재 프레임과 관련 있는 컬러를 빈 공간에 출력하여 프레임에 대한 몰입감을 높일 수 있다.

도 20c는 컨텐츠 재생 중 빈 영역에 특수효과를 적용한 일례를 도시한 것이다.

도 20c를 참고하면, 참조번호 2060은 참조번호 2060a와 같은 중앙에는 컨텐츠를 표시하고, 컨텐츠의 양측 빈 영역 2060b와 2060c에는 컨텐츠와 유사한 흰색으로 표시한 일례를 도시한 것이다. 종래기술에 따라 컨텐츠의 양측 빈 영역을 검은색으로 표시하는 경우, 만약, 컨텐츠가 눈이 오는 장면인 경우, 흰 눈과 대비되는 검은색이 빈 영역에 표시됨으로써, 사용자는 이질감을 느낄 수 있다. 그러나, 본 발명에 따르면, 빈 영역에 눈과 유사한 흰색으로 빈 영역을 표시함으로써, 마치 화면 상에 빈 영역이 존재하지 않는 것처럼, 꽉 찬 느낌으로 영상을 시청할 수 있다. 이 때, 프로세서 120은 빈 영역과 인접한 컨텐츠의 측면 일정 영역을 분석하여 빈 영역에 표시되는 색상을 결정할 수 있다. 예컨대, 프로세서 120은 참조번호 2060a'와 같이 빈 영역과 인접한 컨텐츠의 좌, 우 측면 영역을 분석하여 분석된 영역의 평균 색상을 사용하거나, 컨텐츠의 좌, 우 측면 영역과 동일한 색상을 사용할 수 있다. 또는, 이외에 다른 방법으로 컨텐츠와의 유사한 색상을 결정하여 표시할 수 있다.

다양한 실시예들에 따르면, 특수 효과의 다른 예로, 현재 출력되는 컨텐츠의 프레임 전체 또는 일부를 가공하여 이미지를 생성하고, 빈 영역에 상기 생성된 이미지를 출력할 수 있다. 이는, 컨텐츠와 빈 영역 간의 통일성을 향상시킬 수 있다.

참조번호 2070은 참조번호 2070a와 같은 중앙에는 컨텐츠를 표시하고, 컨텐츠의 양측 빈 영역 2070b와 2070c에는 블러링(Blurring) 이미지를 표시한 일례를 도시한 것이다. 즉, 프로세서 120은 빈 영역과 인접한 컨텐츠의 좌, 우 일정 영역에 대해 블러링 효과를 적용하여 블러링 효과를 적용한 블러링 이미지를 빈 영역에 표시할 수 있다. 이 경우, 사용자는 블러링 이미지가 어떤 것인지 인식할 수는 없지만, 블러링 이미지를 구성하고 있는 컬러의 요소들이 원래 영상의 프레임들과 같은 요소들로 이루어져 있기 때문에 시각적으로 통일성을 줄 수 있다.

다양한 실시예들에 따르면, 특수 효과의 또 다른 예로, 재생 중인 컨텐츠의 현재 프레임의 특징과 관련 있는 이미지를 빈 영역에 출력함으로써, 사용자로 하여금 컨텐츠에 보다 집중하고, 사실감을 느낄 수 있게 할 수 있다.

참조번호 2080은 참조번호 2080a와 같은 중앙에는 컨텐츠를 표시하고, 컨텐츠의 양측 빈 영역 2080b와 2080c에는 컨텐츠와 연관된 이미지를 표시한 일례를 도시한 것이다. 예컨대, 컨텐츠가 산과 바다를 표시하는 장면인 경우, 빈 영역에는 산과 강을 표시한 이미지가 표시될 수 있다. 즉, 프로세서 120은 빈 영역과 인접한 컨텐츠의 좌, 우 일정 영역의 이미지를 빈 영역에 표시할 수 있다. 또는, 컨텐츠에서 비가 오는 장면인 경우, 빈 영역에 컨텐츠의 장면과 비슷한 컬러 톤의 비가 내리는 동적인 이미지를 출력하거나, 빗방울이 유리에 맺히는 동적인 이미지가 표시될 수 있다. 이 경우, 컨텐츠를 시청하는 사람이 실제 그 현장에 존재하거나, 유리창 등을 통해 직접 그 현장을 보는 것과 같은 느낌을 제공할 수 있다. 이 밖에도, 컨텐츠가 눈이 오는 장면이나 밤 하늘을 보여주는 장면인 경우, 눈 이미지나 밤 하늘에 별들이 존재하는 이미지 등을 빈 영역에 표시함으로써, 빈 영역을 컨텐츠와 조화롭게 채울 수 있다.

다양한 실시예들에 따르면, 특수 효과의 또 다른 예로, 빈 영역에 재생 중인 컨텐츠의 현재 프레임과 관련 있는 기능을 제공할 수 있다.

도 21a 내지 도 21c는 다른 실시예에 따른 화면 내 빈 영역을 활용한 다양한 일례들을 도시한 도면이다.

도 21a는 컨텐츠 재생 중 빈 영역에 다양한 기능을 표시하는 일례를 도시한 것이다.

도 21a를 참고하면, 참조번호 2110은 참조번호 2110a와 같이 화면 중앙에 음악과 관련된 컨텐츠를 표시하고, 참조번호 2110b, 2110c와 같이 빈 영역에 컨텐츠와 관련된 이퀄라이저 기능을 표시하는 일례를 도시한 것이다. 따라서, 프로세서 120은 음악과 관련된 컨텐츠 장면과 연관하여, 빈 영역 2110b, 2110c에 이퀄라이저 기능을 표시함으로써, 시각적 효과를 제공하면서 음악을 좀더 입체적으로 느낄 수 있도록 할 수 있다. 이와 유사하게, 컨텐츠가 자동차 경주 장면이거나, 자동차를 통한 추격전 장면인 경우, 빈 영역에 사운드에 따라 RPM 게이지 형태의 효과를 표시함으로써, 사용자가 컨텐츠를 보다 박진감 있게 시청할 수 있도록 할 수 있다.

참조번호 2120은 참조번호 2120a와 같이 화면 중앙에 스포츠와 관련된 컨텐츠를 표시하고, 참조번호 2120b, 2120c와 같이 빈 영역에 컨텐츠와 관련된 응원 이미지를 표시할 수 있다. 즉, 본 발명에 따르면, 빈 영역에 응원 이미지를 제공하여 홀로 스포츠 경기를 시청하는 사람으로 하여금 다같이 응원을 하는 것 같이 느끼도록 할 수 있다. 상기 응원 이미지는 전자 장치 내 메모리 130에 저장된 것이거나, 네트워크를 통해 적절한 이미지를 다운로드받을 수도 있다. 또는, 빈 영역에 사용자의 SNS 친구나 지정된 사용자의 이미지를 고정 또는 실시간으로 출력해줄 수 있으며, '응원방'과 같은 임의의 모임을 생성하여 참여자들의 응원 모습을 공유할 수도 있다.

참조번호 2130은 참조번호 2130a와 같이 컨텐츠를 표시하고, 참조번호 2130b와 같이 빈 영역에 게임 이미지를 표시할 수 있다. 즉, 재생 중인 영상이 지루하거나 사용자가 집중할 필요가 없는 영상인 경우, 빈 영역에 사용자가 잠시 즐길 수 있는, 물풍선을 터뜨리는 게임이라거나, 시청 중인 컨텐츠와 관련된 패러디 이미지 등의 아주 간단한 재미 요소를 추가한다면, 보다 큰 만족감을 줄 수 있다.

이러한 특수 효과들은 프로세서 120이 현재 재생 중인 컨텐츠의 사운드나 컬러톤 등을 판단하는 등의 컨텐츠를 실시간으로 분석하여 제공할 수도 있고, 컨텐츠의 메타 데이터를 이용하여 특수 효과를 적용할 수도 있다.

도 21b는 컨텐츠 재생 중 빈 영역에 하드웨어와 관련된 기능을 표시하는 일례를 도시한 것이다.

도 21b를 참고하면, 참조번호 2140은 참조번호 2140a와 같이 화면 중앙에 컨텐츠를 표시하고, 참조번호 2140b, 2410c와 같이 빈 영역에 스피커 이미지를 표시할 수 있다. 즉, 프로세서 120은 전자 장치 101 내 하드웨어와 연동하여 빈 영역에 스피커 이미지(예: Glass & Film Speaker)를 출력하여 시각적으로도 사운드 효과를 체험하게 할 수 있다. 시각적으로 눈에 띄는 스피커를 표시하면, 화면과도 조화를 이룰 뿐 아니라, 사용자가 실제로 더 큰 스피커를 통해 음악이 재생되는 것처럼 느끼게 된다.

하지만, 이러한 시각적 효과나 느낌뿐 아니라, 스피커 이미지에서 보다 풍부한 사운드가 실제로 발생한다면, 사용자에게 더 큰 사실감을 줄 수 있을 것이다. 또한, 화면의 출력 방향과 스피커의 방향이 같고 위치가 근접하기 때문에, 특정 위치나 사용자의 파지 자세에 따라 스피커의 출력부를 막는 문제를 최소화할 수 있다. 이렇게 화면의 좌, 우 또는 상, 하의 빈 영역에서 실제 사운드가 발생하도록 하기 위해서는, 해당 빈 영역에서 동작할 수 있는 스피커를 장착할 수 있다.

이러한 스피커의 예로는, 글래스 스피커를 사용할 수 있다. 글래스 스피커는 유리 물질에 신호를 전달하여 소리의 진동을 출력할 수 있도록 하는 스피커로서, 신호의 발생 부분은 별도로 존재하고, 유리 부분에서 소리가 발생하도록 할 수 있다.

이러한 스피커의 또 다른 예로는, 필름 스피커를 사용할 수 있다.

도 21c는 필름 스피커의 일례를 도시한 것이다. 필름 스피커 2160은 기계적 에너지를 전기적 에너지로 변환시키는 압전 직접효과와 전기적 에너지를 기계적 에너지로 변환시키는 압전 역효과를 갖는 기능성 필름이다.

도 21c를 참고하면, 참조번호 2150a는 압전 직접 효과의 원리를 나타낸 것이다. 압전 직접 효과라고 하는 것은 전압 발생 기능으로 압전 소자에 외부 응력, 진동 변위(예: 'F') 등을 주면 그 출력단에 전기 신호가 발생하는 현상을 말하며, 착화용 압전 소자나 각종 센서에 응용된다. 참조번호 2150b, 2150c는 압전 역효과의 원리를 나타낸 것이다. 압전 역효과는 변위 발생 기능으로 압전 소자에 외부로부터 전압을 걸어주면 소자가 기계적 변위를 일으키는 현상을 말하며, 액츄에이터, 음향장치 등에 사용된다. 필름 스피커 2160의 경우, 글래스 스피커에 비해 유연성이 크고, 두께가 얇기 때문에 장착 위치에 대해 보다 자유로울 수 있으며, 향후, 플렉서블 디스플레이와 같이 고정되지 않은 장치에도 쉽게 적용할 수 있는 장점이 있다.

100: 네트워크 환경 101: 전자 장치
110: 버스 120: 프로세서
130: 메모리 140: 소프트웨어 및/또는 프로그램
150: 입출력 인터페이스 160: 디스플레이
170: 통신 인터페이스 162: 네트워크

Claims (38)

1. 전자 장치에 있어서,
   터치스크린;
   메모리;
   상기 터치스크린 및 상기 메모리와 작동적으로 연결된(operatively connected) 프로세서를 포함하고,
   상기 프로세서는,
   비디오 컨텐츠의 선택에 기초하여, 상기 비디오 컨텐츠 위의 제1 빈 영역과 상기 비디오 컨텐츠 아래의 제2 빈 영역을 포함하는 윈도우에 상기 윈도우의 좌측에서 상기 윈도우의 우측으로 상기 윈도우를 가로질러 상기 선택된 비디오 컨텐츠를 표시하고,
   상기 비디오 컨텐츠를 재생하는 동안, 상기 표시된 비디오 컨텐츠에 대한 터치 입력이 상 방향(upward direction)으로 드래그됨에 기초하여, 상기 표시된 비디오 컨텐츠를 상기 윈도우의 위로 이동시키고, 상기 표시된 비디오 컨텐츠의 아래에 상기 비디오 컨텐츠와 관련된 아이템을 표시하고,
   상기 비디오 컨텐츠와 관련된 아이템은 상기 비디오 컨텐츠에 대응하는 위치를 표시한 지도 및 상기 비디오 컨텐츠에 대응하는 관련 영상을 포함하는 전자 장치.
2. 제1항에 있어서,
   상기 제1 빈 영역은 윈도우의 상측에서 상기 표시된 컨텐츠의 상측 사이에 윈도우의 좌측으로부터 상기 윈도우의 우측에 걸쳐서 상기 윈도우를 가로 질러 걸쳐 있고,
   상기 제2 빈 영역은 상기 표시된 비디오 컨텐츠의 하측과 상기 윈도우의 하측 사이에 상기 윈도우의 좌측으로부터 상기 윈도우의 우측으로 윈도우를 가로 질러 걸쳐있는 것인 전자 장치.
3. 제1항에 있어서,
   상기 표시된 비디오 컨텐츠에 대한 상기 터치 입력 전에, 상기 제1 빈 영역 및 상기 제2 빈 영역은 검은색으로 표시되는 전자 장치.
4. 제1항에 있어서,
   상기 표시된 비디오 컨텐츠에 대한 상기 터치 입력 전에, 상기 제1 빈 영역 및 상기 제2 빈 영역은 동일한 크기인 전자 장치.
5. 제1항에 있어서,
   상기 프로세서는,
   상기 표시된 비디오 컨텐츠에 대한 상기 터치 입력 전에, 상기 비디오 컨텐츠를 재생하는 전자 장치.
6. 제5항에 있어서,
   상기 프로세서는,
   상기 표시된 비디오 컨텐츠에 대한 상기 터치 입력 전에, 상기 비디오 컨텐츠가 재생되는 동안, 표시된 일시 정지 기능을 통해 일시 정지 명령을 수신하는 전자 장치.
7. 제5항에 있어서,
   상기 프로세서는,
   상기 표시된 비디오 컨텐츠에 대한 상기 터치 입력 이후, 상기 비디오 컨텐츠를 계속 재생하는 전자 장치.
8. 제7항에 있어서,
   상기 프로세서는,
   위쪽 방향으로 상기 드래그한 후, 상기 비디오 컨텐츠를 계속 재생하는 전자 장치.
9. 제8항에 있어서,
   상기 프로세서는,
   상기 표시된 비디오 컨텐츠를 상기 윈도우의 위쪽으로 이동한 후, 상기 비디오 컨텐츠가 계속 재생되는 동안, 표시된 일시 정지 기능을 통해 일시 정지 명령을 수신하는 전자 장치.
10. 제1항에 있어서,
    상기 프로세서는,
    상기 표시된 비디오 컨텐츠를 상기 윈도우의 위쪽으로 이동한 후, 상기 표시된 비디오 컨텐츠에 대한 다른 터치 입력이 아래 방향으로 드래그됨에 기초하여 상기 윈도우의 아래로 상기 표시된 컨텐츠를 이동시키고, 상기 표시된 컨텐츠의 아래에 상기 비디오 컨텐츠의 관련 항목의 표시를 중단하는 전자 장치.
11. 제1항에 있어서,
    상기 프로세서는,
    상기 윈도우의 아래에 상기 표시된 비디오 컨텐츠의 이동에 기초하여, 상기 표시된 비디오 컨텐츠의 비율을 조정하는 전자 장치.
12. 전자 장치의 동작 방법에 있어서,
    비디오 컨텐츠의 선택에 기초하여, 상기 비디오 컨텐츠 위의 제1 빈 영역과 상기 비디오 컨텐츠 아래의 제2 빈 영역을 포함하는 윈도우에 상기 윈도우의 좌측에서 상기 윈도우의 우측으로 상기 윈도우를 가로질러 상기 선택된 비디오 컨텐츠를 표시하는 동작; 및
    상기 비디오 컨텐츠를 재생하는 동안, 상기 표시된 비디오 컨텐츠에 대한 터치 입력이 상 방향(upward direction)으로 드래그됨에 기초하여, 상기 표시된 비디오 컨텐츠를 상기 윈도우의 위로 이동시키고, 상기 표시된 비디오 컨텐츠의 아래에 상기 비디오 컨텐츠와 관련된 아이템을 표시하는 동작을 포함하고,
    상기 비디오 컨텐츠와 관련된 아이템은 상기 비디오 컨텐츠에 대응하는 위치를 표시한 지도 및 상기 비디오 컨텐츠에 대응하는 관련 영상을 포함하는 방법.
13. 제12항에 있어서,
    상기 제1 빈 영역은 윈도우의 상측에서 상기 표시된 컨텐츠의 상측 사이에 윈도우의 좌측으로부터 상기 윈도우의 우측에 걸쳐서 상기 윈도우를 가로 질러 걸쳐 있고,
    상기 제2 빈 영역은 상기 표시된 비디오 컨텐츠의 하측과 상기 윈도우의 하측 사이에 상기 윈도우의 좌측으로부터 상기 윈도우의 우측으로 윈도우를 가로 질러 걸쳐있는 것인 방법.
14. 제12항에 있어서,
    상기 표시된 비디오 컨텐츠에 대한 상기 터치 입력 전에, 상기 제1 빈 영역 및 상기 제2 빈 영역은 검은색으로 표시되는 방법.
15. 제12항에 있어서,
    상기 표시된 비디오 컨텐츠에 대한 상기 터치 입력 전에, 상기 제1 빈 영역 및 상기 제2 빈 영역은 동일한 크기인 방법.
16. 제12항에 있어서,
    상기 표시된 비디오 컨텐츠에 대한 상기 터치 입력 전에, 상기 비디오 컨텐츠를 재생하는 동작을 더 포함하는 방법.
17. 제16항에 있어서,
    상기 표시된 비디오 컨텐츠에 대한 상기 터치 입력 전에, 상기 비디오 컨텐츠가 재생되는 동안, 표시된 일시 정지 기능을 통해 일시 정지 명령을 수신하는 동작을 더 포함하는 방법.
18. 제16항에 있어서,
    상기 표시된 비디오 컨텐츠에 대한 상기 터치 입력 이후, 상기 비디오 컨텐츠를 계속 재생하는 동작을 더 포함하는 방법.
19. 제18항에 있어서,
    위쪽 방향으로 상기 드래그한 후, 상기 비디오 컨텐츠를 계속 재생하는 동작을 더 포함하는 방법.
20. 제19항에 있어서,
    상기 표시된 비디오 컨텐츠를 상기 윈도우의 위쪽으로 이동한 후, 상기 비디오 컨텐츠가 계속 재생되는 동안, 표시된 일시 정지 기능을 통해 일시 정지 명령을 수신하는 동작을 더 포함하는 방법.
21. 제12항에 있어서,
    상기 표시된 비디오 컨텐츠를 상기 윈도우의 위쪽으로 이동한 후, 상기 표시된 비디오 컨텐츠에 대한 다른 터치 입력이 아래 방향으로 드래그됨에 기초하여 상기 윈도우의 아래로 상기 표시된 컨텐츠를 이동시키고, 상기 표시된 컨텐츠의 아래에 상기 비디오 컨텐츠의 관련 항목의 표시를 중단하는 동작을 더 포함하는 방법.
22. 제12항에 있어서,
    상기 윈도우의 아래에 상기 표시된 비디오 컨텐츠의 이동에 기초하여, 상기 표시된 비디오 컨텐츠의 비율을 조정하는 동작을 더 포함하는 방법.
23. 전자 장치의 프로세서에 의해 실행될 때 프로세서로 하여금 다음의 동작을 제어하도록 하는 프로그램을 포함하는 컴퓨터로 판독 가능한 기록 매체에 있어서,
    비디오 컨텐츠의 선택에 기초하여, 상기 비디오 컨텐츠 위의 제1 빈 영역과 상기 비디오 컨텐츠 아래의 제2 빈 영역을 포함하는 윈도우에 상기 윈도우의 좌측에서 상기 윈도우의 우측으로 상기 윈도우를 가로질러 상기 선택된 비디오 컨텐츠를 표시하는 동작; 및
    상기 비디오 컨텐츠를 재생하는 동안, 상기 표시된 비디오 컨텐츠에 대한 터치 입력이 상 방향(upward direction)으로 드래그됨에 기초하여, 상기 표시된 비디오 컨텐츠를 상기 윈도우의 위로 이동시키고, 상기 표시된 비디오 컨텐츠의 아래에 상기 비디오 컨텐츠와 관련된 아이템을 표시하는 동작을 포함하고,
    상기 비디오 컨텐츠와 관련된 아이템은 상기 비디오 컨텐츠에 대응하는 위치를 표시한 지도 및 상기 비디오 컨텐츠에 대응하는 관련 영상을 포함하는 컴퓨터로 판독 가능한 기록 매체.
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제

Images