KR20230164537A

KR20230164537A - 외부 장치로부터 어플리케이션 화면을 수신하여 표시하는 전자 장치 및 그 제어 방법

Info

Publication number: KR20230164537A
Application number: KR1020220098114A
Authority: KR
Inventors: 심휘준; 김관형; 권영준; 남궁경; 한창민
Original assignee: 삼성전자주식회사
Priority date: 2022-05-25
Filing date: 2022-08-05
Publication date: 2023-12-04

Abstract

전자 장치가 개시된다. 전자 장치는, 터치 모듈을 포함하는 디스플레이, 통신 인터페이스 및, 통신 인터페이스를 통해 외부 장치로부터 수신된 어플리케이션 화면 및 필압 조정 UI를 표시하도록 디스플레이를 제어하고, 필압 조정 UI를 통해 설정된 필압 값 및 터치 모듈을 통해 식별된 터치 입력에 대한 정보를 외부 장치로 전송하고, 통신 인터페이스를 통해 외부 장치로부터 필압 값 및 터치 입력에 대한 정보에 기초하여 식별된 터치 궤적을 포함하는 어플리케이션 화면을 수신하고, 수신된 어플리케이션 화면을 표시하도록 디스플레이를 제어하는 하나 이상의 프로세서를 포함한다.

Description

외부 장치로부터 어플리케이션 화면을 수신하여 표시하는 전자 장치 및 그 제어 방법 { Electronic device for receiving and displaying application screen from external device and method for controlling the same }

본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 터치 입력을 수신하는 전자 장치 및 그 제어 방법에 관한 것이다.

터치 스크린(Touch Screen)이란 화면을 터치(Touch)하여 사용자가 건드린 위치를 찾아내는 스크린을(Screen)을 의미한다. 터치 스크린은 최근 들어 휴대폰은 물론 MP3 플레이어, 내비게이션, PMP 등 다양한 모바일 디바이스 뿐 아니라 전자 칠판과 같은 대형 디스플레이에도 널리 사용되고 있다.

터치 스크린에서 필압 값을 감지하기 위해서는 액티브 방식의 전자 펜을 이용하거나, PIEZO를 패널 단에 넣어야 한다.

액티브 방식의 전자 펜은 펜 팁 부분에 압전 방식의 센서를 넣어 Resistance 값을 변환하거나 Capacitance를 변화시켜 이를 터치 신호에 실어주거나 통신을 통해서 필압 값을 전달할 수 있게 된다. PIEZO를 패널 단에 넣는 경우 패널의 눌림을 PIEZO가 감지하고 눌리는 힘이 전기 신호로 변환되어 이를 통해 필압을 측정할 수 있다.

전자 펜 자체에 필압 센서가 있는 경우 얇은 펜에 필압을 측정하기 위한 구조가 들어가야 하므로 기구 복잡도가 증가하며, 측정된 필압을 터치 신호에 포함하여 전달하거나 통신을 이용하여 터치 스크린으로 전달해야 하기 때문에 배터리가 필요하고 이를 위해 수시로 충전하거나 배터리를 교체해줘야 하는 번거로움이 있다.

PIEZO를 패널에 넣는 경우 대형 인치로 갈수록 작은 힘을 감지하기 힘들고 위치에 따라 필압 값을 정확하게 측정하기 어려우며, 필압을 측정하기 위한 장치 외에 다른 힘이 추가로 전달될 경우 필압을 측정하기 힘들다. 예를 들어 펜으로 패널에 신호를 입력하며 손바닥이 닿아있는 경우, 펜만 이용할 경우와 다른 힘이 가해져 정확한 필압을 측정할 수 없게 된다는 문제점이 있다.

일 실시 예에 따르면, 전자 장치는, 터치 모듈을 포함하는 디스플레이, 통신 인터페이스 및, 상기 통신 인터페이스를 통해 외부 장치로부터 수신된 어플리케이션 화면 및 필압 조정 UI를 표시하도록 상기 디스플레이를 제어하고, 상기 필압 조정 UI를 통해 설정된 필압 값 및 상기 터치 모듈을 통해 식별된 터치 입력에 대한 정보를 상기 외부 장치로 전송하고, 상기 통신 인터페이스를 통해 상기 외부 장치로부터 상기 필압 값 및 상기 터치 입력에 대한 정보에 기초하여 식별된 터치 궤적을 포함하는 어플리케이션 화면을 수신하고, 상기 수신된 어플리케이션 화면을 표시하도록 상기 디스플레이를 제어하는 하나 이상의 프로세서를 포함한다.

상기 필압 조정 UI는, 필압 값의 크기를 조정할 수 있는 필압 조정 바(bar)를 포함할 수 있다. 상기 하나 이상의 프로세서는, 상기 필압 조정 바에 의해 설정된 필압 값, 상기 터치 모듈을 통해 식별된 상기 터치 입력의 터치 좌표 및 터치 사이즈를 포함하는 정보를 상기 외부 장치로 전송하고, 상기 외부 장치로부터 상기 필압 값에 대응되는 두께의 터치 궤적을 포함하는 어플리케이션 화면을 수신할 수 있다.

상기 하나 이상의 프로세서는, 상기 필압 조정 UI를 통해 설정된 필압 값에 대응되는 두께 정보를 포함하는 가이드 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.

복수의 어플리케이션 각각에 대응되는 필압 값에 따른 두께 정보를 저장하는 메모리를 더 포함하며, 상기 하나 이상의 프로세서는, 상기 설정된 필압 값 및 상기 메모리에 저장된 정보에 기초하여 상기 복수의 어플리케이션 각각에 대응되는 터치 궤적의 두께 정보를 포함하는 상기 가이드 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.

상기 하나 이상의 프로세서는, 상기 필압 조정 UI를 통해 필압 값이 설정된 후 상기 어플리케이션 화면과 별개의 영역 상에서 터치 입력이 식별되면, 상기 설정된 필압 값에 기초하여 식별된 두께 정보에 기초하여 상기 터치 입력에 대응되는 터치 궤적을 표시하도록 상기 디스플레이를 제어할 수 있다.

상기 터치 모듈은, 적외선 터치 모듈을 포함하며, 상기 하나 이상의 프로세서는, 상기 적외선 터치 모듈에 의해 감지된 상기 터치 입력의 터치 사이즈에 기초하여 상기 터치 입력에 대응되는 필압 값을 식별하고, 상기 필압 조정 UI를 통해 설정된 필압 값 또는 상기 터치 사이즈에 기초하여 식별된 필압 값 중 적어도 하나를 상기 외부 장치로 전송할 수 있다.

상기 하나 이상의 프로세서는, 상기 터치 사이즈에 기초하여 상기 필압 조정 UI를 통해 설정된 필압 값을 조정하고, 상기 조정된 필압 값을 상기 외부 장치로 전송할 수 있다.

상기 하나 이상의 프로세서는, 상기 필압 조정 UI를 통해 설정된 제1 필압 값에 제1 가중치를 적용하고, 상기 터치 사이즈에 기초하여 식별된 제2 필압 값에 제2 가중치를 적용하고, 상기 제1 가중치가 적용된 제1 필압 값 및 상기 제2 가중치가 적용된 제2 필압 값에 기초하여 제3 필압 값을 식별하고, 상기 식별된 제3 필압 값을 상기 외부 장치로 전송할 수 있다.

상기 하나 이상의 프로세서는, 상기 어플리케이션 화면이 상기 디스플레이의 일부 영역에 제공되면, 상기 필압 조정 UI를 상기 디스플레이의 나머지 영역에 제공하고, 상기 어플리케이션 화면이 상기 디스플레이의 전체 영역에 제공되면, 상기 필압 조정 UI를 상기 어플리케이션 화면의 일 영역에 팝업(pop-up) 화면으로 제공할 수 있다.

전자 장치의 제어 방법은, 외부 장치로부터 수신된 어플리케이션 화면 및 필압 조정 UI를 표시하는 단계, 상기 필압 조정 UI를 통해 설정된 필압 값 및 터치 모듈을 통해 식별된 터치 입력에 대한 정보를 상기 외부 장치로 전송하는 단계, 상기 외부 장치로부터 상기 필압 값 및 상기 터치 입력에 대한 정보에 기초하여 식별된 터치 궤적을 포함하는 어플리케이션 화면을 수신하는 단계 및, 상기 수신된 어플리케이션 화면을 표시하는 단계를 포함할 수 있다.

전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 외부 장치로부터 수신된 어플리케이션 화면 및 필압 조정 UI를 표시하는 단계, 상기 필압 조정 UI를 통해 설정된 필압 값 및 터치 모듈을 통해 식별된 터치 입력에 대한 정보를 상기 외부 장치로 전송하는 단계, 상기 외부 장치로부터 상기 필압 값 및 상기 터치 입력에 대한 정보에 기초하여 식별된 터치 궤적을 포함하는 어플리케이션 화면을 수신하는 단계 및, 상기 수신된 어플리케이션 화면을 표시하는 단계를 포함할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 전자 장치의 개략적 동작을 설명하기 위한 도면들이다.
도 2a는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 일 구현 예의 세부 구성를 나타내는 도면이다.
도 3a 내지 도 3d는 일 실시 예에 따른 터치 감지 방법을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 일 실시 예에 따른 필압 조정 UI의 제공 방법을 설명하기 위한 흐름도이다.
도 5a 및 도 5b는 일 실시 예에 따른 필압 조정 UI의 제공 방법을 설명하기 위한 도면들이다.
도 6a 및 도 6b는 일 실시 예에 따른 필압 값에 따라 어플리케이션 화면에서 제공되는 터치 궤적의 두께를 설명하기 위한 도면들이다.
도 7은 일 실시 예에 따른 일 실시 예에 따른 필압 조정 UI의 제공 방법을 설명하기 위한 흐름도이다.
도 8a 내지 도 8d는 일 실시 예에 따른 가이드 UI의 제공 방법을 설명하기 위한 도면들이다.
도 9는 일 실시 예에 따른 필압 값 식별 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시 예에 따른 터치 사이즈에 따른 필압 값 식별 방법을 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 전자 장치의 구현 예에 따른 동작을 설명하기 위한 도면이다.

이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.

본 명세서에서 이용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　

본 개시의 이용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 이용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 이용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 이용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이용된다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

A 또는 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.

본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 하나 이상의 프로세서(미도시)로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 일 실시 예에 따른 전자 장치의 개략적 동작을 설명하기 위한 도면들이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 터치 패널, 터치 스크린과 같은 입력 패널을 포함하는 전자 칠판으로 구현될 수 있으나, 이에 한정되는 것은 아니며, 휴대폰, 스마트폰, 전자 액자, DID(Digital Information Display), 키오스크(kiosk), PMP(Portable Media Mlayer), MP3 player, 게임기, LFD(Large Format Display), 노트북(notebook), 랩탑(laptop)), TV, 모니터(monitor), 프로젝터 시스템 등과 같은 터치 입력이 가능한 다양한 유형의 전자 기기로 구현될 수 있다. 다만 이에 한정되지 않으며 그 외의 가전 기기, 의료 기기 등도 전자 장치(100)에 포함될 수 있다.

전자 장치(100)는 외부 장치(200)와 통신을 수행하여 외부 장치(200)로부터 컨텐츠 화면을 수신하여 디스플레이할 수 있다. 여기서, 외부 장치(200)는 다양한 타입의 어플리케이션(또는 소프트웨어 또는 프로그램)을 실행하고, 어플리케이션 실행 화면을 전자 장치(100)로 전송하도록 구현될 수 있다. 예를 들어, 외부 장치(200)는 PC, 휴대폰, 스마트폰, PMP(Portable Media Mlayer), MP3 player, 게임기, 노트북(notebook), 랩탑(laptop)), TV, 프로젝터 등과 같은 다양한 소스 장치(또는 호스트 장치)로 구현될 수 있다. 여기서, 어플리케이션은 PowerPoint, PDF, Word, Excel 등과 같은 다양한 오피스 어플리케이션, 웹 브라우저 어플리케이션, 그외 다양한 유틸리티 어플리케이션 등을 포함할 수 있다.

일 실시 예에 따르면 전자 장치(100)는 전자 펜과 같은 입력 장치 또는 사용자 손과 같은 입력 오브젝트에 의한 터치 입력을 수신할 수 있다. 여기서, 전자 펜(10)은 일정한 길이를 가지며 사용자가 쥐기 편하도록 얇고 긴 펜 형상으로 구현될 수 있다. 따라서, 전자 펜(10)는 펜 형 입력 장치, 스타일러스 펜, S-펜 등과 같이 다양한 용어로 지칭할 수 있지만, 반드시 펜 형상으로 구현되어야 하는 것은 아니다. 예를 들어, 뭉툭하거나, 평평한 형상의 바디를 갖도록 구현될 수도 있다. 일 예에 따라 전자 펜(10)는 패시브 방식으로 구현될 수 있다. 패시브 방식은 전자 장치(100)가 전자 펜(10)의 터치 입력을 감지하는 방식으로, Capacitive 방식, EMR(Electro Magnetic Resonance) 방식 등이 있다. Capacitive 방식으로 구현되는 경우 전자 펜(10)은 일정한 면적을 가진 도전성 팁을 포함하며, EMR 방식으로 구현되는 경우 전자 펜(10)은 외부의 자기장 신호에 의해 전기를 유도하는 코일을 포함할 수 있다.

전자 펜(10)이 패시브 방식으로 구현되는 경우 전자 장치(100)가 필압 값을 인식할 수 없기 때문에 고정된 필압 값을 이용하게 된다. 이 경우, 전자 장치(100)로부터 수신된 어플리케이션 화면 상에 필서를 하게 되면 사용자가 원하는 두께로 텍스트나 드로잉을 입력할 수 없게 된다. 어플리케이션에 따라 필압 값에 따라 다양한 두께로 터치 입력을 지원할 수 있음에도 불구하고 패시브 방식의 전자 펜(10)을 이용하게 되면 이러한 기능을 이용할 없다는 문제가 있다.

이에 따라 이하에서는 패시브 방식의 전자 펜을 이용하더라도 어플리케이션에서 지원하는 다양한 두께의 필기 입력을 제공할 수 있는 다양한 실시 예에 대해 설명하도록 한다.

도 2a는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.

도 2a에 따르면, 전자 장치(100)는 디스플레이(110), 통신 인터페이스(120) 및 하나 이상의 프로세서(130)를 포함한다.

디스플레이(110)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수 있다.

일 실시 예에 따라 디스플레이(110)는 터치 모듈을 구비할 수 있다. 일 예에 따라 터치 모듈은 터치 센서, 근접 센서 등의 센서를 포함하거나, 센서 및 연산 장치를 포함할 수 있다. 예를 들어 연산 장치는 레지스터, 연산회로, 제어회로를 내포 명령을 해독하여 연산, 제어 동작을 실행하는 MCU(Micro Controller Unit), MPU(Micro Processor Unit) 등으로 구현될 수 있으나 이에 한정되는 것은 아니다. 일 실시 예에 따르면, 터치 모듈은 터치 센서를 통해 감지된 터치 입력에 대한 정보를 획득하여 프로세서(130)로 전달할 수 있다. 여기서, 터치 입력에 대한 정보는 터치 좌표, 터치 사이즈, 필압 값, 기울기 정보 등을 포함할 수 있다. 다만, 패시브 방식의 전자 펜(10)의 경우 필압 값을 감지할 수 없으므로 터치 모듈은 기 설정된 필압 값을 프로세서(130)로 전달하게 된다.

일 예에 따라 터치 센서는 정전식, 감압식, 적외선, 초음파 중 적어도 하나로 구현될 수 있다. 정전식은 디스플레이 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 디스플레이 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식의 센서를 의미한다. 감압식은 내장된 두 개의 전극 판을 포함하여, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식의 터치 센서를 의미한다. 적외선 방식은 사람의 눈에는 보이지 않지만, 빛이 갖는 속성상 직진성향을 갖고 있으며,장애물이 있으면 차단되어 진행하지 못하는 속성을 이용한 터치 센서를 의미한다. 그 밖에 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등이 터치 조작을 감지하는데 이용될 수 있다.

그 밖에 터치 센서는 마그네틱과 자기장 센서, 광센서 또는 근접 센서 등을 이용하여 손가락 또는 스타일러스 펜과 같은 터치 오브젝트의 접촉 또는 근접하게 되었는지 여부를 판단할 수도 있다.

도 3a 내지 도 3d는 일 실시 예에 따른 터치 감지 방법을 설명하기 위한 도면이다.

일 실시 예에 따르면, 정전식 터치 센서는 도 3a에서와 같은 전극 패턴 구조를 가질 수 있다. 도 3a에 도시된 격자 무늬의 전극 패턴은 세로 방향 라인(111) 및 가로 방향 라인(112-1, 112-2, 112-3)을 포함한다. 이러한 방식은 전기적 필드(electric field)를 송신하는 송신부, 전기적 필드의 변화를 감지하는 수신부로 구분되어 도체의 접촉에 의한 전기적 필드의 변화를 감지하여 좌표를 검출할 수 있다. 구체적으로, 전자 펜(10) 자체에서 전기적 필드를 출력하면, 전극 패턴에서 전기적 필드의 변화를 감지하게 된다. 만약 손가락의 접촉을 감지하고자 한다면, 교차하는 두 방향의 전극 중, 제1 방향의 전극을 송신부, 제2 방향의 전극을 수신부로 나누어 기능하게 하는 방법을 사용할 수도 있다.

일 실시 예에 따르면, 적외선 터치 센서는 발광소자인 적외선 발광 다이오드(Infrared LED)와 수광소자인 포토 트랜지스터(Photo-Transistor)(또는 포토 다이오드)가 서로 마주보도록 배치하여 옵토 매트릭스 프레임(Opto-Matrix Frame)을 만들어 디스플레이(110)에 장착할 수 있다. 도 3b에 도시된 바와 같이 옵토 매트릭스 프레임(Opto-Matrix Frame)이 장착된 딧플레이(110)에 손가락과 같이 광을 차단할 수 있는 물체로 화면을 선택하면 적외선 발광 다이오드에서 발광된 광이 손가락에 의해서 차단되어 반대편의 포토 트랜지스터에서 감지가 되지 않으므로 몇 번째의 셀(Cell)에서 차단되었는지 알아낼 수 있게 된다. 예를 들어 도 3c에 도시된 바와 같이 디스플레이(110)의 좌측 및 하측에 적외선 발광 다이오드(310, 320)가 배치되고 우측 및 상측에 포토 트랜지스터(330, 340)이 배치될 수 있다.

예를 들어, 전자 펜(10)으로 화면 상의 특정 지점(30)이 터치되면, 도 3d에 도시된 바와 같이 적외선 광이 가려되는 영역이 발생하게 되므로 터치 지점을 식별할 수 있게 된다. 또한, 특정 지점(30)에 터치되는 터치 오브젝트, 예를 들어 전자 펜(10)의 사이즈 및 위치에 따라 적외선 광이 가려지는 영역(즉, 그림자)의 크기 및 위치가 달라지게 되므로 터치 사이즈도 식별할 수 있게 된다. 예를 들어, 작은 오브젝트의 경우 빛을 가리는 면적이 작아서 적은 개수의 포토 트랜지스터만 빛을 못 수신하게 되고 큰 오브젝트의 경우 많은 개수의 포토 트랜지스터가 빛을 못 수신하게 되므로 오브젝트의 위치/거리 및 그림자의 크기를 이용하여 오브젝트의 면적을 쉽게 구할 수 있게 된다.

통신 인터페이스(120)는 외부 장치(예를 들어, 도 1, 200)와 통신을 수행하는 구성 요소일 수 있다. 예를 들어 통신 인터페이스(120)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드) 등으로부터 스트리밍 또는 다운로드 방식으로 영상 신호를 입력받을 수 있다. 여기서, 영상 신호는 SD(Standard Definition), HD(High Definition), Full HD 또는 Ultra HD 영상 중 어느 하나의 디지털 영상 신호가 될 수 있으나 이에 한정되는 것은 아니다.

일 예에 따라 통신 인터페이스(120)는 제1 통신 인터페이스 및 제2 통신 인터페이스를 포함할 수 있다. 제1 통신 인터페이스는 외부 장치(200)와 통신을 수행하여 영상 데이터/오디오 데이터 등을 송/수신할 수 있다. 예를 들어, 제1 통신 인터페이스는 HDMI(High-Definition Multimedia Interface), DP(Display Port) 등과 같은 영상 데이터/오디오 데이터의 송/수신이 가능한 인터페이스로 구현될 수 있으나, 이에 한정되는 것은 아니다. 제2 통신 인터페이스는 터치 모듈을 통해 획득된 터치 신호를 외부 장치(200)로 전송할 수 있다. 여기서, 터치 신호는 터치 좌표, 터치 사이즈, 필압 값, 전자 펜(10)의 기울기 값 중 적어도 하나를 포함할 수 있다. 예를 들어, 제2 통신 인터페이스는 USB(Universal Serial Bus) 등과 같은 인터페이스로 구현될 수 있으나, 이에 한정되는 것은 아니다.

하나 이상의 프로세서(130)(이하, 프로세서)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(130)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(130)는 디스플레이(110) 및 메모리(도 2b, 140)와 전기적으로 연결되어 전자 장치1l00)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다.

프로세서(130)는 메모리(140)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다.

일 실시 예에 따라 프로세서(130)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), GPU(Graphics Processing Unit), AI(Artificial Intelligence) 프로세서, NPU (Neural Processing Unit), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 애플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, ASIC(application specific integrated circuit), FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.

도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 일 구현 예의 세부 구성를 나타내는 도면이다.

도 2b에 따르면, 전자 장치(100')는 디스플레이(110), 통신 인터페이스(120), 프로세서(130), 메모리(140), 사용자 인터페이스(150), 카메라(160) 및 스피커(170)를 포함한다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.

메모리(140)는 프로세서(130)와 전기적으로 연결되며, 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(140)는 데이터 저장 용도에 따라 전자 장치(100')에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100')의 확장 기능을 위한 데이터의 경우 전자 장치(100')에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100')에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100')에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.

일 예에 따라 메모리(140)는 전자 장치(100')를 제어하기 위한 적어도 하나의 인스트럭션(instruction) 또는 인스트럭션들을 포함하는 컴퓨터 프로그램을 저장할 수 있다.

일 예에 따라 메모리(140)는 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB), 외부 서버(예를 들어 웹 하드) 등으로부터 수신된 영상, 즉 입력 영상, 다양한 데이터, 정보 등을 저장할 수 있다.

일 예에 따라 메모리(140)는 복수의 어플리케이션 별 필압 값에 대응되는 두께 정보, 터치 사이즈 별 필압 값에 대한 정보, 터치 사이즈 별 가중치 정보, 펜 팁 별 필압 값에 대응되는 두께 정보 등 후술하는 다양한 실시 예와 관련된 정보를 저장할 수 있다. 예를 들어, 해당 정보는 룩업 테이블 형태로 저장되거나, 수식, 알고리즘 형태로 저장될 수 있다.

일 실시 예에 따르면, 메모리(140)는 본 개시에 따른 다양한 동작들에서 생성되는 데이터를 저장하는 단일 메모리로 구현될 수 있다. 다만, 다른 실시 예에 따르면, 메모리(140)는 상이한 타입의 데이터를 각각 저장하거나, 상이한 단계에서 생성되는 데이터를 각각 저장하는 복수의 메모리를 포함하도록 구현될 수도 있다.

상술한 실시 예에서는 다양한 데이터가 프로세서(130)의 외부 메모리(140)에 저장되는 것으로 설명하였으나, 상술한 데이터 중 적어도 일부는 전자 장치(100') 또는 프로세서(130) 중 적어도 하나의 구현 예에 따라 프로세서(130) 내부 메모리에 저장될 수도 있다.

사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로 구현될 수 있다. 일 실시 예에 따라 사용자 인터페이스(150)는 리모콘 송수신부로 구현되어 원격 제어 신호를 수신할 수 있다. 리모콘 송수신부는 적외선 통신, 블루투스 통신 또는 와이파이 통신 중 적어도 하나의 통신 방식을 통해 외부 원격 제어 장치로부터 리모콘 신호를 수신하거나, 리모콘 신호를 송신할 수 있다.

카메라(160)는 기 설정된 이벤트에 따라 턴 온 되어 촬영을 수행할 수 있다. 카메라(160)는 촬상된 영상을 전기적인 신호로 변환하고 변환된 신호에 기초하여 영상 데이터를 생성할 수 있다. 예를 들어, 피사체는 반도체 광학소자(CCD; Charge Coupled Device)를 통해 전기적인 영상 신호로 변환되고, 이와 같이 변환된 영상 신호는 증폭 및 디지털 신호로 변환된 후 신호 처리될 수 있다. 다만, 카메라(160)는 전자 장치(100')의 구현 예에 따라 포함되지 않는 것도 가능하다.

스피커(170)는 음향 신호를 출력한다. 예를 들어, 스피커(170)는 프로세서(130)에서 처리된 디지털 음향 신호를 아날로그 음향 신호로 변환하고 증폭하여 출력할 수 있다. 예를 들어, 스피커(170)는 적어도 하나의 채널을 출력할 수 있는, 적어도 하나의 스피커 유닛, D/A 컨버터, 오디오 앰프(audio amplifier) 등을 포함할 수 있다. 일 예에 따라 스피커(170)는 다양한 멀티 채널 음향 신호를 출력하도록 구현될 수 있다. 이 경우, 프로세서(130)는 입력 영상의 인핸스 처리에 대응되도록 입력된 음향 신호를 인핸스 처리하여 출력하도록 스피커(170)를 제어할 수 있다.

전자 장치 (100')는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다. 튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다. 복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.

도 4는 일 실시 예에 따른 일 실시 예에 따른 필압 조정 UI의 제공 방법을 설명하기 위한 흐름도이다.

도 4에 도시된 일 실시 예에 따르면, 프로세서(130)는 외부 장치(200)로부터 수신된 어플리케이션 화면 및 필압 조정 UI를 표시하도록 디스플레이(110)를 제어할 수 있다(S410).

일 예에 따라 프로세서(130)는 어플리케이션 화면이 디스플레이(110)의 일부 영역에 제공되면, 필압 조정 UI를 디스플레이(110)의 나머지 영역에 제공할 수 있다.

일 예에 따라 프로세서(130)는 어플리케이션 화면이 디스플레이(110)의 전체 영역에 전체 화면으로 제공되면, 필압 조정 UI를 어플리케이션 화면의 일 영역에 팝업(pop-up) 화면으로 제공할 수 있다.

다만, 경우에 따라 어플리케이션 화면이 디스플레이(110)의 일부 영역에 제공되는 경우 프로세서(130)는 필압 조정 UI를 어플리케이션 화면의 일 영역에 팝업(pop-up) 화면으로 제공할 수도 있다.

프로세서(130)는 필압 조정 UI를 통해 설정된 필압 값 및 터치 모듈을 통해 식별된 터치 입력에 대한 정보를 외부 장치(200)로 전송할 수 있다(S420).

일 예에 따라 필압 조정 UI는 필압 값의 크기를 조정할 수 있는 필압 조정 바(bar)를 포함할 수 있다. 여기서, 필압 조정 바는 연속적인 필압 값 중 하나를 사용자 명령에 따라 선택할 수 있는 형태로 구현될 수 있다. 사용자 명령은 터치 입력 또는 리모콘 신호로 입력될 수 있다. 예를 들어, 필압 조정 바에 포함된 인디케이터의 위치를 조정함에 따라 필압 값이 설정될 수 있다. 일 예로, 인디케이터의 위치는 터치 입력을 통해 조정되거나, 리모콘 신호를 통해 조정될 수 있다.

다만, 이에 한정되는 것은 아니며 필압 조정 UI는 기 정의된 복수의 필압 값(또는 필압 레벨) 중 하나를 선택할 수 있는 형태로 구현되는 것도 가능하다. 여기서, 터치 입력에 대한 정보(이하 터치 입력 정보)는, 터치 입력의 터치 좌표 및 터치 사이즈를 포함할 수 있다. 일 예에 따라 터치 입력 정보는 터치 모듈로부터 수신될 수 있다. 이 경우, 프로세서(130)는 필압 조정 바에 의해 설정된 필압 값, 터치 모듈로부터 제공된 터치 좌표 및 터치 사이즈를 포함하는 정보를 외부 장치(200)로 전송할 수 있다.

일 실시 예에 따르면 터치 모듈로부터 수신되는 터치 입력 정보는, 터치 입력의 터치 좌표, 터치 사이즈, 필압 값, 기울기 값 중 적어도 하나를 포함할 수 있다. 여기서, 필압 값은 고정된 값일 수 있다. 전자 펜(10)이 패시브 장치인 경우 터치 모듈이 필압 값을 감지할 수 없기 때문이다. 이 경우 프로세서(130)는 터치 모듈로부터 수신된 고정된 필압 값을 필압 조정 UI를 통해 설정된 필압 값으로 대체하여 외부 장치(200)로 전송할 수 있다. 이는 일 예에 따라 터치 입력 정보는 터치 모듈에 구비된 MCU 등과 같은 프로세서에 의해 획득되어 터치 좌표, 기울기 등의 다른 터치 입력 정보를 포함하는 패킷 형태로 전달되지만 필압 값은 터치 모듈과 별개의 SOC에 구비된 프로세서(130)에 의해 획득되기 때문이다.

이 후, 프로세서(130)는 외부 장치(200)로부터 필압 값 및 다른 터치 입력 정보에 기초하여 식별된 터치 궤적을 포함하는 어플리케이션 화면을 수신하고(S430), 수신된 어플리케이션 화면을 표시할 수 있다(S440). 일 예에 따라 외부 장치(200)로부터 수신된 어플리케이션 화면은 필압 값에 대응되는 두께의 터치 궤적을 포함하는 어플리케이션 화면일 수 있다. 즉, 프로세서(130)는 S420 단계에서 필압 조정 UI를 통해 설정된 필압 값을 터치 입력에 대한 정보로 전송하였으므로 S430 단계에서는 필압 값에 대응되는 터치 궤적을 포함하는 어플리케이션 화면을 수신하게 된다. 이에 따라 패시브 방식의 전자 펜(10)을 이용하더라도 사용자가 원하는 두께의 터치 입력을 수행할 수 있게 된다.

도 5a 및 도 5b는 일 실시 예에 따른 필압 조정 UI의 제공 방법을 설명하기 위한 도면들이다.

일 실시 예에 따르면, 도 5a에 도시된 바와 같이 외부 장치(200)로부터 수신된 어플리케이션 화면(510)이 디스플레이(110)의 일부 영역에 제공되는 경우, 프로세서(130)는 필압 조정 UI(520)를 디스플레이(110)의 나머지 영역에 제공할 수 있다. 다만, 경우에 따라 프로세서(130)는 필압 조정 UI(520)를 어플리케이션 화면(510)의 일 영역에 팝업(pop-up) 화면으로 제공할 수도 있다. 예를 들어, 어플리케이션 화면(510) 및/또는 필압 조정 UI(520)의 제공 형태는 사용자에 의해 설정 및/또는 변경될 수 있다.

일 실시 예에 따르면, 도 5b에 도시된 바와 같이 외부 장치(200)로부터 수신된 어플리케이션 화면(530)이 디스플레이(110)의 전체 영역에 전체 화면으로 제공되면, 필압 조정 UI(520)를 어플리케이션 화면(530)의 일 영역에 팝업(pop-up) 화면으로 제공할 수 있다.

도 6a 및 도 6b는 일 실시 예에 따른 필압 값에 따라 어플리케이션 화면에서 제공되는 터치 궤적의 두께를 설명하기 위한 도면들이다.

일 실시 예에 따르면, 도 6a에 도시된 바와 같이 어플리케이션 화면(510)이제공된 상태에서 필압 조정 UI(520)를 통해 필압 값이 제1 값, 예를 들어 제일 작은 값으로 조정되고 전자 펜(10)을 통한 터치 입력이 수신되면, 터치 궤적의 두께가 얇게 표시될 수 있다. 이는 필압 조정 UI(520)를 통해 설정된 필압 값, 즉, 제1 값이 다른 터치 입력에 대한 정보, 예를 들어 터치 좌표와 함께 외부 장치(200)로 전송되고, 외부 장치(200)로부터 제1 값에 대응되는 두께의 터치 궤적이 반영된 어플리케이션 화면이 수신되었기 때문이다.

일 실시 예에 따르면, 도 6b에 도시된 바와 같이 어플리케이션 화면(510)이제공된 상태에서 필압 조정 UI(520)를 통해 필압 값이 제2 값, 예를 들어 제일 큰 값으로 조정되고 전자 펜(10)을 통한 터치 입력이 수신되면, 터치 궤적의 두께가 상대적으로 두껍게 표시될 수 있다. 이는 필압 조정 UI(520)를 통해 설정된 필압 값, 즉, 제2 값이 다른 터치 입력에 대한 정보, 예를 들어 터치 좌표와 함께 외부 장치(200)로 전송되고, 외부 장치(200)로부터 제2 값에 대응되는 두께의 터치 궤적이 반영된 어플리케이션 화면이 수신되었기 때문이다.

도 7은 일 실시 예에 따른 일 실시 예에 따른 필압 조정 UI의 제공 방법을 설명하기 위한 흐름도이다.

일 실시 예에 따르면, 프로세서(130)는 필압 조정 UI 뿐 아니라, 필압 조정 UI를 통해 설정된 필압 값에 대응되는 두께 정보를 포함하는 가이드 UI를 제공할 수 있다.

도 7에 도시된 일 실시 예에 따르면, 프로세서(130)는 통신 인터페이스(120)를 통해 외부 장치(200)로부터 수신된 어플리케이션 화면 및 필압 조정 UI를 표시하도록 디스플레이(110)를 제어할 수 있다(S710).

또한, 프로세서(130)는 필압 조정 UI를 통해 설정된 필압 값에 대응되는 두께 정보를 포함하는 가이드 UI를 표시할 수 있다(S720). 이에 대해서는 도 8a 내지 도 8d를 참고하여 자세히 설명하도록 한다.

프로세서(130)는 필압 조정 UI를 통해 설정된 필압 값 및 터치 모듈을 통해 식별된 터치 입력에 대한 정보를 외부 장치(200)로 전송할 수 있다(S730).

이 후, 프로세서(130)는 외부 장치(200)로부터 필압 값 및 터치 입력에 대한 정보에 기초하여 식별된 터치 궤적을 포함하는 어플리케이션 화면을 수신하고(S740), 수신된 어플리케이션 화면을 표시할 수 있다(S750).

도 8a 내지 도 8d는 일 실시 예에 따른 가이드 UI의 제공 방법을 설명하기 위한 도면들이다.

일 실시 예에 따르면, 프로세서(130)는 필압 조정 UI를 통해 설정된 필압 값에 대응되는 두께를 사용자가 인식할 수 있도록 가이드 UI를 제공할 수 있다.

일 예에 따르면, 도 8a에 도시된 바와 같이 필압 조정 UI(520)를 통해 필압 값이 설정되면, 설정된 필압 값에 대응되는 두께를 포함하는 가이드 UI(810)가 제공될 수 있다. 이 경우, 프로세서(130)는 어플리케이션 화면(510)에 대응되는 어플리케이션을 식별하지 못하므로 실제로 어플리케이션에서 제공되는 정확한 두께를 식별할 수 없다. 이에 따라 해당 필압 값에 대응되는 기 설정된 두께를 가이드 UI(810)로 제공할 수 있다. 실시 예에서는 가이드 UI(810)가 어플리케이션 화면(510)에 팝업 화면으로 제공되는 것으로 도시하였으나, 반드시 이에 한정되는 것은 아니다. 예를 들어, 어플리케이션 화면(510)이 제공된 영역이 아닌 나머지 영역, 예를 들어, 필압 조정 UI(520)가 제공된 영역의 우측 영역에 가이드 UI(810)가 제공되는 것도 가능하다.

일 예에 따르면, 도 8b에 도시된 바와 같이 필압 조정 UI(520)를 통해 필압 값이 설정된 후, 어플리케이션 화면(510)과 별개의 영역(111) 상에서 터치 입력이 식별되면, 프로세서(130)는 설정된 필압 값에 기초하여 식별된 두께 정보에 기초하여 터치 입력에 대응되는 터치 궤적(820)을 표시할 수 있다. 이에 따라 사용자는 설정된 필압 값에 대한 두께 정보를 대략적으로 가이드 받을 수 있게 된다.

일 예에 따르면 도 8c에 도시된 바와 같이 필압 조정 UI(520)를 통해 필압 값이 설정되면, 복수의 어플리케이션 별로 설정된 필압 값에 대응되는 두께 정보를 포함하는 가이드 UI(830)가 제공될 수 있다. 복수의 어플리케이션 각각에 대해 필압 값에 대응되는 두께 정보는 외부 장치(200)로부터 수신되거나, 외부 서버로부터 수신되어 메모리(140)에 기 저장되어 있을 수 있다.

프로세서(130)는 설정된 필압 값 및 메모리(140)에 저장된 정보에 기초하여 복수의 어플리케이션 각각에 대응되는 터치 궤적의 두께 정보를 포함하는 가이드 UI(830)를 표시할 수 있다. 이는 프로세서(130)가 어플리케이션 화면(510)에 대응되는 어플리케이션을 식별하지 못하므로 실제로 어플리케이션에서 제공되는 정확한 두께를 식별할 수 없기 때문이다.

예를 들어 도 8c에 도시된 바와 같이 어플리케이션 A(APP A), 어플리케이션 B(APP B), 어플리케이션 C(APP C) 각각에 대해 설정된 필압 값에 대응되는 두께 정보를 포함하는 가이드 UI(830)가 제공될 수 있다. 이에 따라 사용자는 현재 제공되는 어플리케이션 화면(510)에 대응되는 필기 두께를 식별할 수 있게 된다.

일 예에 따르면 도 8d에 도시된 바와 같이 필압 조정 UI(520)를 통해 필압 값이 설정되면, 펜 팁(pen-tip) 별로 설정된 필압 값에 대응되는 두께를 포함하는 가이드 UI(840)가 제공될 수 있다. 복수의 펜 팁 각각에 대해 필압 값에 대응되는 두께 정보는 기 설정된 값으로 메모리(140)에 기 저장되어 있을 수 있다. 여기서, 펜 팁은 세모형, 둥근형, 칼날형, 주걱형 등 다양한 펜팁 타입을 포함할 수 있다.

도 9는 일 실시 예에 따른 필압 값 식별 방법을 설명하기 위한 흐름도이다.

도 9에 도시된 일 실시 예에 따르면, 프로세서(130)는 외부 장치(200)로부터 수신된 어플리케이션 화면을 표시할 수 있다(S910).

이어서, 적외선 터치 모듈에 의해 감지된 터치 입력의 터치 사이즈에 기초하여 터치 입력에 대응되는 필압 값을 식별할 수 있다(S920). 예를 들어, 도 3d에서 설명한 바와 같이 적외선 광이 가려되는 영역의 위치 및/또는 크기에 기초하여 터치 입력의 사이즈를 식별할 수 있게 된다. 일 예로, 터치 사이즈에 대응되는 필압 값에 대한 정보가 메모리(140)에 룩업 테이블 형태로 기 저장되어 있을 수 있다.

프로세서(130)는 터치 사이즈에 기초하여 식별된 필압 값 및 적외선 터치 모듈을 통해 식별된 터치 입력에 대한 정보를 외부 장치(200)로 전송할 수 있다(S930). 여기서, 터치 입력에 대한 정보는 터치 좌표, 터치 사이즈, 기울기 정보 중 적어도 하나를 포함할 수 있다. 일 예에 따라 프로세서(130)는 적외선 터치 모듈로부터 수신된 터치 입력에 대한 정보에 포함된 필압 값을 터치 사이즈에 기초하여 식별된 필압 값으로 대체하여 외부 장치(200)로 전송할 수 있다. 이는 패시브 방식의 전자 펜(10)의 경우 적외선 터치 모듈에서 필압 값을 감지하지 못하므로 적외선 터치 모듈로부터 수신된 터치 입력에 대한 정보에 포함된 필압 값은 고정된 값일 수 있기 때문이다.

이 후, 프로세서(130)는 외부 장치(200)로부터 필압 값 및 터치 입력에 대한 정보에 기초하여 식별된 터치 궤적을 포함하는 어플리케이션 화면을 수신하고(S940) 수신된 화면을 표시할 수 있다(S950).

일 예에 따라 프로세서(130)는 필압 조정 UI를 통해 제1 필압 값이 식별되고, 터치 사이즈에 기초하여 제2 필압 값이 식별되는 경우 제1 필압 값 및 제2 필압 값 중 어느 하나를 선택하여 외부 장치(200)로 전송할 수 있다. 예를 들어, 프로세서(130)는 기 설정된 우선 순위에 따라 제1 필압 값 및 제2 필압 값 중 어느 하나를 선택할 수 있다. 또는, 프로세서(130)는 제1 필압 값 및 제2 필압 값 중 큰 값(또는 작은 값)을 선택할 수 있다. 또는 프로세서(130)는 제1 필압 값 및 제2 필압 값의 평균 값을 외부 장치(200)로 전송할 수 있다.

일 예에 따라 프로세서(130)는 터치 사이즈에 기초하여 필압 조정 UI를 통해 설정된 필압 값을 조정하고, 조정된 필압 값을 외부 장치(200)로 전송할 수 있다. 예를 들어, 프로세서(130)는 터치 사이즈에 기초하여 식별된 가중치를 필압 조정 UI를 통해 설정된 필압 값에 적용하여 필압 값을 조정할 수 있다. 일 예로, 터치 사이즈 별 가중치가 메모리(140)에 룩업 테이블 형태로 기 저장되어 있을 수 있다.

일 예에 따라 프로세서(130)는 필압 조정 UI를 통해 설정된 제1 필압 값에 제1 가중치를 적용하고, 터치 사이즈에 기초하여 식별된 제2 필압 값에 제2 가중치를 적용할 수 있다. 프로세서(130)는 제1 가중치가 적용된 제1 필압 값 및 제2 가중치가 적용된 제2 필압 값에 기초하여 제3 필압 값을 식별하여 외부 장치(200)로 전송할 수 있다. 예를 들어, 제1 가중치 및 제2 가중치는 기 설정되어 있거나, 제1 필압 값 및 제2 필압 값의 크기, 차이 등에 기초하여 가변될 수 있다. 일 예로 프로세서(130)는 제1 가중치가 적용된 제1 필압 값 및 제2 가중치가 적용된 제2 필압 값의 평균 값을 제3 필압 값으로 식별할 수 있다. 일 예로 프로세서(130)는 제1 가중치가 적용된 제1 필압 값 및 제2 가중치가 적용된 제2 필압 값 중 큰 값 또는 작은 값을 제3 필압 값으로 식별할 수 있다.

도 10은 일 실시 예에 따른 터치 사이즈에 따른 필압 값 식별 방법을 설명하기 위한 도면이다.

일 예에 따라 패시브 방식의 전자 펜(10)의 일 측의 펜 팁은 얇은 펜 팁으로, 반대 측의 펜 팁은 상대적으로 두꺼운 펜 팁으로 구현될 수 있다.

도 10에 도시된 실시 예에 따르면, 전자 펜(10)의 일 측 즉, 얇은 펜 팁으로 터치 입력이 이루어지면, 얇은 두께의 터치 궤적이 표시되고 전자 펜(10)의 반대 측 즉, 두꺼운 펜 팁으로 터치 입력이 이루어지면, 두꺼운 두께의 터치 궤적이 표시될 수 있다. 즉, 전자 펜(10)의 패시브 방식인 경우 터치 사이즈에 기초하여 필압 값이 식별될 수 있다.

다만, 도 10에 도시된 실시 예는 일 예일 뿐이며, 손가락 등 다른 입력 오브젝트의 경우에도 터치 면적에 따라 상이한 필압 값이 적용될 수 있음은 물론이다.

도 11은 일 실시 예에 따른 전자 장치의 구현 예에 따른 동작을 설명하기 위한 도면이다.

도 11에 따르면, 전자 장치(100, 100')는 터치 모듈(1110) 및 SoC(1120)을 포함할 수 있다. 터치 모듈(1110)은 디스플레이(110)에 구비되어 터치 입력과 관련된 다양한 정보를 획득할 수 있다. 예를 들어 터치 모듈(1110)은 적외선 방식으로 터치 입력을 감지하도록 구현될 수 있으나 이에 한정되는 것은 아니다. SoC(Systel on Chip)는 전자 장치(100, 100')의 전반적인 컨트롤을 담당하는 칩으로 예를 들어, 마이크로프로세서, DSP, 램, 롬 등 다양한 전자 부품을 포함할 수 있다.

SoC(1120)는 필압 조정 UI(520)를 통해 설정된 필압 값을 식별한다(S1110). 예를 들어, 필압 조정 바에 포함된 인디케이터의 위치가 설정되면, 인디케이터의 위치에 대응되는 필압 값을 식별할 수 있다.

터치 모듈(1110)은 터치 입력에 대응되는 터치 좌표 및 터치 면적(또는 터치 사이즈)을 포함하는 터치 입력 정보를 식별하고(S1120), 터치 입력 정보를 SoC(1120)로 전송할 수 있다(S1130). 여기서, 터치 입력 정보는 터치 좌표 및 터치 면적 외에 기울기 정보 및 필압 정보를 더 포함할 수 있다. 다만, 필압 정보는 패시브 방식의 전자 펜(10)에 대해 기 설정된 고정된 값일 수 있다.

SoC(1120)는 터치 모듈(1110)로부터 터치 입력 정보가 수신되면, 터치 모듈(1110)로부터 터치 입력 정보 및 필압 조정 UI(520)를 통해 설정된 필압 값을 외부 장치(200)로 전송할 수 있다(S1140). 예를 들어, 터치 모듈(1110)로부터 터치 입력 정보에 고정된 필압 값이 포함되어 있는 경우 해당 필압 값을 필압 조정 UI(520)를 통해 설정된 필압 값으로 대체하여 외부 장치(200)로 전송할 수 있다.

이 후, SoC(1120)는 외부 장치(200)로부터 수신된 어플리케이션 화면 즉, 터치 궤적이 포함된 어플리케이션 화면을 표시할 수 있다. 이 경우, 어플리케이션 화면에 포함된 터치 궤적은 필압 조정 UI(520)를 통해 설정된 필압 값에 대응되는 두께의 터치 궤적일 수 있다.

한편, 일 실시 예에 따르면 전자 장치(100, 100')는 리모콘 신호, 사용자 음성, 사용자 모션 등에 기초하여 필압 값을 설정할 수도 있다. 예를 들어, 전자 장치(100, 100')는 필압 값을 감소시키거나, 증가시키기 위한 리모콘 신호가 수신되면 조정된 필압 값에 대응되는 가이드 UI를 제공할 수 있다. 이 경우 필압 조정 UI가 제공되지 않더라도 사용자는 설정된 필압 값을 인식할 수 있게 된다.

상술한 다양한 실시 예 및 도면에 포함된 구성 중 적어도 일부는 다른 실시 예 및 다른 도면에 포함된 구성 중 적어도 일부와 조합 가능할 수 있다.

상술한 다양한 실시 예에 따르면, 필압 값을 감지할 수 없는 전자 펜을 이용하더라도 사용자가 원하는 두께의 필기 입력(또는 드로잉 입력) 제공할 수 있기 된다. 예를 들어, 전자 칠판의 경우 내부에서 제공하는 필기 어플 외에 PC 등의 외부 장치를 연결하여 사용하는 경우가 많다. 주로 회의나 교육용으로 많이 사용되기 때문에 외부 장치와 연결하여 문서 작업용 어플리케이션을 사용하는 빈도가 매우 높다. 해당 어플리케이션들의 경우 필압을 지원하는 경우가 많은데 터치 모듈의 경우 직접적으로 필압을 측정하지 않기 때문에 패시브 전자 펜을 이용할 경우 필압 값이 설정된 값으로 고정되어 사용자가 두께 조절을 할 수가 없게 된다. 이 경우, 필압 조정 UI를 통해 사용자가 원하는 두께로 필압 값을 조정하여 두께를 조절할 수 있게 된다. 또한 IR 터치 모듈의 경우 물체의 두께를 구분하는 것이 가능하므로 터치 사이즈 정보를 필압 값과 매칭시켜 시켜 얇은 펜 팁으로 사용할 경우 얇은 두께로 터치 입력이 가능하며 마커와 같이 두꺼운 물체로 입력할 경우 두꺼운 두께로 터치 입력이 가능하게 된다.

한편, 상술한 다양한 실시 예는 프로젝터 시스템에도 적용 가능할 수 있다. 예를 들어, 필압 조정 UI를 통해 필압 값이 조정되면, 레이저 포인트의 두께가 필압 조정 UI를 통해 설정된 값에 기초하여 조정될 수 있다.

한편, 상술한 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다. 또는 상술한 본 개시의 다양한 실시 예들에 따른 방법들 중 적어도 일부는 딥 러닝 기반의 인공 지능 모델 즉, 학습 네트워크 모델을 이용하여 수행될 수 있다.

또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.

또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.

한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100: 전자 장치 110: 디스플레이
120: 통신 인터페이스 130: 하나 이상의 프로세서

Claims

외부 장치로부터 어플리케이션 화면을 수신하여 표시하는 전자 장치에 있어서,
터치 모듈을 포함하는 디스플레이;
통신 인터페이스; 및
상기 통신 인터페이스를 통해 외부 장치로부터 수신된 어플리케이션 화면 및 필압 조정 UI를 표시하도록 상기 디스플레이를 제어하고,
상기 필압 조정 UI를 통해 설정된 필압 값 및 상기 터치 모듈을 통해 식별된 터치 입력에 대한 정보를 상기 외부 장치로 전송하고,
상기 통신 인터페이스를 통해 상기 외부 장치로부터 상기 필압 값 및 상기 터치 입력에 대한 정보에 기초하여 식별된 터치 궤적을 포함하는 어플리케이션 화면을 수신하고,
상기 수신된 어플리케이션 화면을 표시하도록 상기 디스플레이를 제어하는 하나 이상의 프로세서;를 포함하는 전자 장치.
제1항에 있어서,
상기 필압 조정 UI는,
필압 값의 크기를 조정할 수 있는 필압 조정 바(bar)를 포함하며,
상기 하나 이상의 프로세서는,
상기 필압 조정 바에 의해 설정된 필압 값, 상기 터치 모듈을 통해 식별된 상기 터치 입력의 터치 좌표 및 터치 사이즈를 포함하는 정보를 상기 외부 장치로 전송하고,
상기 외부 장치로부터 상기 필압 값에 대응되는 두께의 터치 궤적을 포함하는 어플리케이션 화면을 수신하는, 전자 장치.
제1항에 있어서,
상기 하나 이상의 프로세서는,
상기 필압 조정 UI를 통해 설정된 필압 값에 대응되는 두께 정보를 포함하는 가이드 UI를 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
제3항에 있어서,
복수의 어플리케이션 각각에 대응되는 필압 값에 따른 두께 정보를 저장하는 메모리;를 더 포함하며,
상기 하나 이상의 프로세서는,
상기 설정된 필압 값 및 상기 메모리에 저장된 정보에 기초하여 상기 복수의 어플리케이션 각각에 대응되는 터치 궤적의 두께 정보를 포함하는 상기 가이드 UI를 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
제1항에 있어서,
상기 하나 이상의 프로세서는,
상기 필압 조정 UI를 통해 필압 값이 설정된 후 상기 어플리케이션 화면과 별개의 영역 상에서 터치 입력이 식별되면, 상기 설정된 필압 값에 기초하여 식별된 두께 정보에 기초하여 상기 터치 입력에 대응되는 터치 궤적을 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
제1항에 있어서,
상기 터치 모듈은,
적외선 터치 모듈을 포함하며,
상기 하나 이상의 프로세서는,
상기 적외선 터치 모듈에 의해 감지된 상기 터치 입력의 터치 사이즈에 기초하여 상기 터치 입력에 대응되는 필압 값을 식별하고,
상기 필압 조정 UI를 통해 설정된 필압 값 또는 상기 터치 사이즈에 기초하여 식별된 필압 값 중 적어도 하나를 상기 외부 장치로 전송하는, 전자 장치.
제6항에 있어서,
상기 하나 이상의 프로세서는,
상기 터치 사이즈에 기초하여 상기 필압 조정 UI를 통해 설정된 필압 값을 조정하고, 상기 조정된 필압 값을 상기 외부 장치로 전송하는, 전자 장치.
제6항에 있어서,
상기 하나 이상의 프로세서는,
상기 필압 조정 UI를 통해 설정된 제1 필압 값에 제1 가중치를 적용하고, 상기 터치 사이즈에 기초하여 식별된 제2 필압 값에 제2 가중치를 적용하고,
상기 제1 가중치가 적용된 제1 필압 값 및 상기 제2 가중치가 적용된 제2 필압 값에 기초하여 제3 필압 값을 식별하고,
상기 식별된 제3 필압 값을 상기 외부 장치로 전송하는, 전자 장치.
제1항에 있어서,
상기 하나 이상의 프로세서는,
상기 어플리케이션 화면이 상기 디스플레이의 일부 영역에 제공되면, 상기 필압 조정 UI를 상기 디스플레이의 나머지 영역에 제공하고,
상기 어플리케이션 화면이 상기 디스플레이의 전체 영역에 제공되면, 상기 필압 조정 UI를 상기 어플리케이션 화면의 일 영역에 팝업(pop-up) 화면으로 제공하는, 전자 장치.
제1항에 있어서,
상기 터치 입력은,
패시브(passive) 입력 장치에 의해 입력된, 전자 장치.
외부 장치로부터 어플리케이션 화면을 수신하여 표시하는 전자 장치의 제어 방법에 있어서,
외부 장치로부터 수신된 어플리케이션 화면 및 필압 조정 UI를 표시하는 단계;
상기 필압 조정 UI를 통해 설정된 필압 값 및 터치 모듈을 통해 식별된 터치 입력에 대한 정보를 상기 외부 장치로 전송하는 단계;
상기 외부 장치로부터 상기 필압 값 및 상기 터치 입력에 대한 정보에 기초하여 식별된 터치 궤적을 포함하는 어플리케이션 화면을 수신하는 단계; 및
상기 수신된 어플리케이션 화면을 표시하는 단계;를 포함하는 제어 방법.
제11항에 있어서,
상기 필압 조정 UI는,
필압 값의 크기를 조정할 수 있는 필압 조정 바(bar)를 포함하며,
상기 외부 장치로 전송하는 단계는,
상기 필압 조정 바에 의해 설정된 필압 값, 상기 터치 모듈을 통해 식별된 상기 터치 입력의 터치 좌표 및 터치 사이즈를 포함하는 정보를 상기 외부 장치로 전송하고,
상기 어플리케이션 화면을 수신하는 단계는,
상기 외부 장치로부터 상기 필압 값에 대응되는 두께의 터치 궤적을 포함하는 어플리케이션 화면을 수신하는, 제어 방법.
제11항에 있어서,
상기 필압 조정 UI를 통해 설정된 필압 값에 대응되는 두께 정보를 포함하는 가이드 UI를 표시하는 단계;를 더 포함하는 제어 방법.
제13항에 있어서,
상기 가이드 UI를 표시하는 단계는,
상기 설정된 필압 값 및 복수의 어플리케이션 각각에 대응되는 필압 값에 따른 두께 정보에 기초하여 상기 복수의 어플리케이션 각각에 대응되는 터치 궤적의 두께 정보를 포함하는 상기 가이드 UI를 표시하는 단계;를 포함하는 제어 방법.
제11항에 있어서,
상기 필압 조정 UI를 통해 필압 값이 설정된 후 상기 어플리케이션 화면과 별개의 영역 상에서 터치 입력이 식별되면, 상기 설정된 필압 값에 기초하여 식별된 두께 정보에 기초하여 상기 터치 입력에 대응되는 터치 궤적을 표시하는 단계;를 더 포함하는 제어 방법.
제11항에 있어서,
상기 터치 모듈은,
적외선 터치 모듈을 포함하며,
상기 적외선 터치 모듈에 의해 감지된 상기 터치 입력의 터치 사이즈에 기초하여 상기 터치 입력에 대응되는 필압 값을 식별하는 단계;를 더 포함하며,
상기 외부 장치로 전송하는 단계는,
상기 필압 조정 UI를 통해 설정된 필압 값 또는 상기 터치 사이즈에 기초하여 식별된 필압 값 중 적어도 하나를 상기 외부 장치로 전송하는, 제어 방법.
제16항에 있어서,
상기 외부 장치로 전송하는 단계는,
상기 터치 사이즈에 기초하여 상기 필압 조정 UI를 통해 설정된 필압 값을 조정하고, 상기 조정된 필압 값을 상기 외부 장치로 전송하는, 제어 방법.
제16항에 있어서,
상기 외부 장치로 전송하는 단계는,
상기 필압 조정 UI를 통해 설정된 제1 필압 값에 제1 가중치를 적용하고, 상기 터치 사이즈에 기초하여 식별된 제2 필압 값에 제2 가중치를 적용하는 단계;
상기 제1 가중치가 적용된 제1 필압 값 및 상기 제2 가중치가 적용된 제2 필압 값에 기초하여 제3 필압 값을 식별하는 단계; 및
상기 식별된 제3 필압 값을 상기 외부 장치로 전송하는 단계;를 포함하는 제어 방법.
제11항에 있어서,
상기 필압 조정 UI를 표시하는 단계는,
상기 어플리케이션 화면이 상기 디스플레이의 일부 영역에 제공되면, 상기 필압 조정 UI를 상기 디스플레이의 나머지 영역에 제공하고,
상기 어플리케이션 화면이 상기 디스플레이의 전체 영역에 제공되면, 상기 필압 조정 UI를 상기 어플리케이션 화면의 일 영역에 팝업(pop-up) 화면으로 제공하는, 제어 방법.
제11항에 있어서,
상기 터치 입력은,
패시브(passive) 입력 장치에 의해 입력된, 제어 방법.