KR20170045142A - Method and system for coupling among devices using adaptive pattern recognition - Google Patents
Method and system for coupling among devices using adaptive pattern recognition Download PDFInfo
- Publication number
- KR20170045142A KR20170045142A KR1020160152029A KR20160152029A KR20170045142A KR 20170045142 A KR20170045142 A KR 20170045142A KR 1020160152029 A KR1020160152029 A KR 1020160152029A KR 20160152029 A KR20160152029 A KR 20160152029A KR 20170045142 A KR20170045142 A KR 20170045142A
- Authority
- KR
- South Korea
- Prior art keywords
- content
- portable device
- brightness
- server
- pattern
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Abstract
Description
본 발명의 실시예들은 직관적인 방식을 통해 디바이스 간에 컨텐츠를 이동시키는 컨텐츠 이동 기술에 관한 것이다.Embodiments of the present invention are directed to content transfer techniques for moving content between devices in an intuitive manner.
디지털 사이니지(digital signage)는 사용자 주변의 광고판들이 사용자에게 유용한 정보 및 광고 정보 들을 제공함으로써 사용자들이 바라보고 원하는 정보를 얻을 수 있도록 하는 지능형 광고판이다.Digital signage is an intelligent billboard where the user's billboards provide information and advertisement information useful for the user, so that the user can look up and obtain desired information.
그리고, 디지털 사이니지를 활용하기 위해서는 디지털 사이니지의 컨텐츠 중 사용자가 원하는 컨텐츠를 사용자의 단말기로 이동하고, 사용자의 단말기에서 디지털 사이니지로 컨텐츠를 이동할 수 있는 방법 및 시스템이 필요하다.In order to utilize digital signage, there is a need for a method and system for moving contents desired by the user to the user's terminal and moving the contents from the user's terminal to the digital signage among contents of the digital signage.
두 기기간 컨텐츠를 이동하기 위해서는 1) 기기 간 상호 인식 단계, 2) 기기 간 컨텐츠 이동 방향을 지정하는 단계, 3) 기기 간 데이터 전송 단계를 거쳐야만 한다.In order to move content between two devices, it is necessary to 1) specify the mutual recognition step between devices, 2) specify the content movement direction between devices, and 3) transfer data between devices.
현재의 시스템에서는 위 단계들을 명시적으로 하나씩 수행하는 명시적 컨텐츠 이동 기술과 사용자의 제스처에 따라 자동으로 위 단계들을 수행하는 묵시적 컨텐츠 이동 기술이 있다.In the present system, there is an explicit content transfer technique that explicitly performs the above steps one by one, and an implicit content transfer technique that performs the above steps automatically according to the user's gesture.
명시적 컨텐츠 이동 기술은 위 단계들을 명시적으로 사용자가 하나씩 수행해야 하는 방법이다. 그 예로, 블루투스를 이용하여 두 기기가 서로 인식하고, 사용자의 터치에 따라 한 기기에서 다른 기기로 컨텐츠를 이용하는 방법이 있다. 이 방법의 경우 사용자는 두 디바이스를 서로 연결하기 위하여 두 디바이스에 상대 디바이스의 ID를 입력해야 하는 등 불편함을 가지고 있다.The explicit content transfer technique is a method by which the user must perform the above steps one by one explicitly. For example, there is a method in which two devices recognize each other using Bluetooth and use content from one device to another device according to the user's touch. In this method, the user has to input the ID of the partner device to the two devices in order to connect the two devices to each other.
묵시적 컨텐츠 이동 기술은 Bump, QR, NFC 등 사용자가 두 디바이스의 충돌, QR 코드 촬영, NFC 터치 등의 정해진 제스처를 취하면 두 디바이스를 자동으로 커플링하고 두 디바이스간 컨텐츠/제어를 이동하는 방법이다. 묵시적 컨텐츠 이동 기술은 명시적 컨텐츠 이동 기술에 비해 두 기기 간 연결을 자동으로 해주기 때문에 사용자가 편리하게 느끼는 장점을 가지고 있다.Implicit content transfer technology is a method of automatically coupling two devices and moving content / control between two devices when a user takes a predetermined gesture such as Bump, QR, or NFC, such as collision of two devices, QR code capture, NFC touch . Implicit content transfer technology has advantages that users can conveniently feel because it automatically connects two devices compared to explicit content transfer technology.
다양한 묵시적 컨텐츠 이동 기술이 존재하고 있지만, 기존의 각 기술들은 각각 단점들을 가지고 있다. 이 단점들은 정리하면, 사용하기 불편하거나(QR), 한 디바이스의 디스플레이에 별도의 코드를 표현해야 하거나(QR), 별도의 추가 장치를 부착해야 하거나(NFC), 여러 명의 동시 이용을 제공할 수 없는(Bump) 등 다양한 단점들을 가지고 있다.While there are various implicit content transfer technologies, each of the existing technologies has its own disadvantages. These drawbacks are summarized as being inconvenient to use (QR), to display separate code on the display of one device (QR), to attach additional devices (NFC), to provide multiple simultaneous use (Bump) and has various disadvantages.
사용자가 휴대용 디바이스를 손에 쥔 상태로 컨텐츠 디바이스의 컨텐츠를 선택할 경우 휴대용 디바이스로 컨텐츠를 이동함으로써 직관적으로 디바이스 간 컨텐츠 이동이 가능한 방법을 제공한다.The present invention provides a method for intuitively moving content between devices by moving content to a portable device when a user selects content of the content device while holding the portable device in his / her hand.
직관적인 제스처를 이용하여 이동할 컨텐츠 및 컨텐츠가 이동할 대상 디바이스를 선택하도록 함으로써 별도의 교육이나 부가 장치가 필요 없이 사용자가 원하는 컨텐츠를 원하는 디바이스로 이동시킬 수 있는 방법을 제공한다.The present invention provides a method of allowing a user to move desired content to a desired device without requiring a separate education or additional device by allowing an intuitive gesture to select a device to be moved and a device to which the content is to be moved.
컨텐츠를 이동하려고 하는 사용자가 인터랙션을 수행하면서 동시에 컨텐츠의 내용을 인지하는데 방해되는 요소나 어려움을 주지 않고, 더욱이 디바이스 간 고속 커플링을 통해 사용자에게 긴 인터랙션 시간으로 인한 부담을 주지 않는 형태의 인터랙션 방법을 제공한다.Interaction method that does not impose difficulties and obstacles in recognizing contents contents at the same time as a user who is moving content, and does not burden user with long interaction time through high-speed coupling between devices .
컴퓨터로 구현되는 방법에 있어서, 제1 디바이스로부터 위치 정보를 포함하는 알림 메시지를 수신하는 단계; 및 상기 위치 정보를 기준으로 상기 제1 디바이스의 주변에 위치한 적어도 하나의 제2 디바이스로 컨텐츠 전송을 위한 준비 메시지를 전송하는 단계를 포함하고, 상기 제2 디바이스에서는 디스플레이에 적어도 하나의 컨텐츠를 표시하되 상기 준비 메시지에 따라 상기 표시된 컨텐츠 중 상기 제1 디바이스로의 전송이 가능한 컨텐츠에 변화를 주는 것을 특징으로 하는 방법을 제공한다.A computer-implemented method, comprising: receiving a notification message including location information from a first device; And transmitting a preparation message for content transmission to at least one second device located on the periphery of the first device based on the location information, wherein the second device displays at least one content on a display, And changes contents that can be transmitted to the first device among the displayed contents according to the preparation message.
적어도 하나의 프로그램이 로딩된 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라, 제1 디바이스로부터 위치 정보를 포함하는 알림 메시지를 수신하는 과정; 및 상기 위치 정보를 기준으로 상기 제1 디바이스의 주변에 위치한 적어도 하나의 제2 디바이스로 컨텐츠 전송을 위한 준비 메시지를 전송하는 과정을 처리하고, 상기 제2 디바이스에서는 디스플레이에 적어도 하나의 컨텐츠를 표시하되 상기 준비 메시지에 따라 상기 표시된 컨텐츠 중 상기 제1 디바이스로의 전송이 가능한 컨텐츠에 변화를 주는 것을 특징으로 하는 시스템을 제공한다.At least one program loaded memory; And at least one processor, wherein the at least one processor is configured to receive a notification message including positional information from a first device under the control of the program; And transmitting a preparation message for content transmission to at least one second device located on the periphery of the first device based on the location information, wherein the second device displays at least one content on a display, And changes the contents that can be transmitted to the first device among the displayed contents according to the preparation message.
본 발명의 실시예에 따르면, 사용자가 휴대용 디바이스를 손에 쥔 상태로 컨텐츠 디바이스의 컨텐츠를 선택할 경우 휴대용 디바이스로 컨텐츠를 이동함으로써 직관적으로 디바이스 간 컨텐츠 이동이 가능한 방법 및 시스템을 제공할 수 있다.According to an embodiment of the present invention, when a user selects content of a content device while holding the portable device in hand, it is possible to provide a method and system that can intuitively move content between devices by moving content to the portable device.
본 발명의 실시예에 따르면, 직관적인 제스처를 이용하여 이동할 컨텐츠 및 컨텐츠가 이동할 대상 디바이스를 선택하도록 함으로써 별도의 교육이나 부가 장치가 필요 없이 사용자가 원하는 컨텐츠를 원하는 디바이스로 이동시킬 수 있는 방법 및 시스템을 제공할 수 있다.According to the embodiment of the present invention, there is provided a method and system for enabling a user to move desired content to a desired device without requiring a separate training or additional device by allowing the user to select a content device to be moved and a device to which the content is to be moved using an intuitive gesture Can be provided.
본 발명의 실시예에 따르면, 디바이스 사이에 조도 변화 및 인식 과정에 의해 발생하는 센서 신호 패턴을 이용하여 두 디바이스 간 커플링을 수행함으로써 한 디바이스의 디스플레이에 별도의 코드를 표현할 필요가 없으며 두 디바이스 간에 강한 충격이 필요 없는 컨텐츠 이동 방법 및 시스템을 제공할 수 있다.According to the embodiment of the present invention, there is no need to express a separate code on the display of one device by performing coupling between the two devices using the sensor signal pattern generated by the illumination change and recognition process between the devices, It is possible to provide a content moving method and system that do not require a strong impact.
본 발명의 실시예에 따르면, 조도 변화 패턴에 대한 다양한 센서 신호 패턴을 학습 과정에 의해 하나의 신호로 수렴하고 수렴된 신호와 인식된 신호 간의 교차 연관(cross-correlation)에 의해 신호간 유사성을 연산하고 이를 기반으로 디바이스 간 커플링을 수행함으로써 패턴 판단이 빠르고 용이해짐에 따라 고속 커플링이 가능한 방법 및 시스템을 제공할 수 있다.According to the embodiment of the present invention, various sensor signal patterns for the illuminance variation pattern are converged into one signal by a learning process and the similarity between signals is calculated by cross-correlation between the converged signal and the recognized signal And the coupling between the devices is performed based thereon, so that the pattern determination becomes quick and easy, and thus a method and system capable of high-speed coupling can be provided.
도 1은 본 발명의 일 실시예에 따른 디바이스 간 컨텐츠 이동 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 있어서 컨텐츠 이동을 위한 사용자 제스처 수행 과정을 설명하기 위한 예시 도면이다.
도 3은 본 발명의 일 실시예에 있어서 컨텐츠 밝기를 변화시키는 방법의 예시를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 있어서 컨텐츠 전송 환경의 일례를 설명하기 위한 도면이다.
도 5와 도 6은 본 발명의 일 실시예에 있어서 인터랙션 ID의 조합 예시를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 있어서 인터랙션 ID에 따른 컨텐츠 밝기 변화의 예시를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 있어서 패턴 정규화 과정을 설명하기 위한 예시 도면이다.
도 9는 본 발명의 일 실시예에 있어서 상호 상관 함수에 의한 패턴 유사성을 설명하기 위한 예시 도면이다.
도 10과 도 11은 본 발명의 일 실시예에 있어서 색상 정보가 포함된 인터랙션 ID의 조합 예시를 도시한 도면이다.
도 12와 도 13은 본 발명의 일 실시예에 있어서 컨텐츠 밝기 변화와 센서 인식 값 패턴을 설명하기 위한 예시 도면이다.
도 14는 본 발명의 일 실시예에 있어서 컨텐츠 전송 방법의 일례를 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 있어서 전송 가능한 컨텐츠의 표현 방식을 설명하기 위한 예시 도면이다.
도 16은 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.1 is a diagram illustrating a system for moving content between devices according to an exemplary embodiment of the present invention.
FIG. 2 is an exemplary diagram illustrating a process of performing a user gesture for content movement according to an exemplary embodiment of the present invention. Referring to FIG.
3 is a diagram showing an example of a method of changing the content brightness in an embodiment of the present invention.
4 is a diagram for explaining an example of a content transmission environment in an embodiment of the present invention.
5 and 6 are views showing an example of combinations of interaction IDs according to an embodiment of the present invention.
7 is a diagram illustrating an example of a change in content brightness according to an interaction ID in an embodiment of the present invention.
8 is an exemplary diagram for explaining a pattern normalization process in an embodiment of the present invention.
9 is an exemplary diagram for explaining pattern similarity by a cross-correlation function in an embodiment of the present invention.
10 and 11 are views showing an example of a combination of interaction IDs including color information in an embodiment of the present invention.
12 and 13 are exemplary diagrams for explaining a change in content brightness and a sensor recognition value pattern according to an embodiment of the present invention.
14 is a diagram for explaining an example of a content transmission method in an embodiment of the present invention.
FIG. 15 is an exemplary diagram for explaining a method of expressing transmittable contents according to an exemplary embodiment of the present invention. Referring to FIG.
16 is a block diagram for explaining an example of the internal configuration of a computer system in an embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명은 두 개의 디바이스 간에 단순한 제스처를 통하여 원하는 컨텐츠를 이동시키는 기술에 관한 것으로, 보다 상세하게는 사용자가 휴대용 디바이스를 손에 쥔 상태로 컨텐츠 디바이스의 컨텐츠를 선택할 경우 휴대용 디바이스로 컨텐츠를 이동함으로써 직관적으로 디바이스 간 컨텐츠 이동이 가능한 방법 및 시스템에 관한 것이다.The present invention relates to a technology for moving desired content between two devices through a simple gesture. More particularly, the present invention relates to a technique of moving content to a portable device when the user selects content of the content device while holding the portable device in his / To a method and system capable of moving content between devices.
본 실시예에서는 디바이스 사이에 조도 변화 및 인식 과정에 의해 발생하는 센서 신호 패턴을 이용하여 두 디바이스 간 고속 커플링을 수행할 수 있으며, 특히 특정 조도 변화 패턴에 대한 다양한 센서 신호 패턴을 학습 과정에 의해 하나의 신호로 수렴하게 하고 수렴된 신호와 인식된 신호 간 교차 연관(cross-correlation)에 의해 신호간 유사성을 연산하고 이를 기반으로 디바이스 간 커플링을 수행할 수 있다.In this embodiment, it is possible to perform high-speed coupling between two devices by using a sensor signal pattern generated by a process of changing the illuminance and recognition process between devices. In particular, various sensor signal patterns for a specific illuminance variation pattern It is possible to perform inter-device coupling based on the calculated similarity between signals by converging to a single signal and cross-correlation between the converged signal and the recognized signal.
도 1은 본 발명의 일 실시예에 따른 디바이스 간 컨텐츠 이동 시스템을 나타내는 도면이다. 도 1을 참고하면, 본 발명의 일 실시예에 따른 디바이스 간 컨텐츠 이동 시스템은 컨텐츠 디바이스(110)와 휴대용 디바이스(120)를 포함할 수 있다.1 is a diagram illustrating a system for moving content between devices according to an exemplary embodiment of the present invention. Referring to FIG. 1, a device-to-device content movement system according to an embodiment of the present invention may include a
이때, 컨텐츠 디바이스(110)는 터치 입력이 가능한 디스플레이를 이용하여 사용자에게 컨텐츠를 제공할 수 있다. 예를 들어, 컨텐츠 디바이스(110)는 디지털 사이니지(digital signage)일 수 있다.At this time, the
그리고, 휴대용 디바이스(120)는 이동성이 있는 모바일 기기로, 컨텐츠 디바이스와 마찬가지로 터치 입력이 가능한 디스플레이를 이용하여 사용자에게 컨텐츠를 제공할 수 있다. 예를 들어 휴대용 디바이스(120)는 스마트폰(smart phone), PDA(Personal Digital Assistant), 태블릿(tablet), 웨어러블 컴퓨터(wearable computer) 등과 같이 휴대 가능한 터치 디바이스일 수 있다.The
특히, 본 발명에서 휴대용 디바이스(120)는 외부 빛에 의한 조도를 감지하는 수단, 일례로 조도 센서(illumination sensor), 카메라, 광 센서, 이미지 센서, RGB 센서 중 어느 하나를 포함하는 디바이스이다.Particularly, in the present invention, the
본 발명의 일 실시예에 따른 디바이스 간 컨텐츠 이동 시스템은 사용자가 휴대용 디바이스(120)를 쥐고 컨텐츠 디바이스(110)에 대해 터치 입력을 수행하면 사용자가 휴대용 디바이스(120)를 쥔 상태로 선택한 컨텐츠(100)를 휴대용 디바이스(120)로 이동할 수 있다.When the user holds the
사용자가 휴대용 디바이스(120)를 손에 쥔 상태로 컨텐츠 디바이스(110)에 입력한 터치 입력에 따라 컨텐츠 디바이스(110) 상에 표시된 컨텐츠(100)를 휴대용 디바이스(120)로 이동할 수 있다.The user can move the
사용자는 도 2에 도시한 바와 같이 컨텐츠 디바이스(110) 앞에서 휴대용 디바이스(120)를 쥔 손을 컨텐츠 디바이스(110) 상에 표시된 컨텐츠(100)를 터치하는 것으로 원하는 컨텐츠(100)를 휴대용 디바이스(120)로 이동시킬 수 있다.The user touches the
도 2에서 사용자는 휴대용 디바이스(120)를 쥔 손을 컨텐츠 디바이스(110)에 터치한 상태로 머물러 있게 된다. 이때 컨텐츠 디바이스(110)는 도 2의 (b)와 같이 터치 좌표를 인식할 수 있다.In FIG. 2, the user stays in touch with the
컨텐츠 디바이스(110)는 사용자의 터치가 인식되면 터치 위치에 대응되는 컨텐츠(100)를 식별하고 해당 컨텐츠(100)의 밝기를 소정의 패턴으로 변화시킨다. 일 예로, 패턴이 <High-Low-High>라면 컨텐츠(100)가 표시된 영역의 밝기를 디스플레이 최대 밝기의 <80%-20%-80%>의 순서로 바꿀 수 있다. 컨텐츠(100)의 밝기를 변화시키는 방법은 컨텐츠 자체의 밝기를 변화시킬 수도 있고, 도 3에 도시한 바와 같이 컨텐츠 디바이스(110)의 디스플레이에 표시된 컨텐츠(100) 상에 일정 투명도(예를 들어, 20% 투과율)를 가진 흰색 레이어(101) 또는 검정색 레이어(102)를 오버레이 하여 구현 가능하다.When the user's touch is recognized, the
휴대용 디바이스(120)는 컨텐츠 디바이스(110)와 터치 상태로 머물러 있으므로 컨텐츠 디바이스(110) 상에 표시된 컨텐츠(100)의 밝기 변화는 휴대용 디바이스(120)의 조도 센서에 영향을 미치게 된다. 일 예로, 도 2의 휴대용 디바이스(120)에 존재하는 조도 센서는 200-10-200의 값을 가지게 되고 이를 기반으로 컨텐츠 디바이스(110) 상에 사용자가 선택한 컨텐츠(100)의 밝기가 High-Low-High의 형태로 변화하였음을 추측할 수 있다. 조도 센서 값을 통하여 컨텐츠 디바이스(110) 상의 컨텐츠 밝기가 변화하는 패턴을 추론한 휴대용 디바이스(120)는 이 패턴을 이용하여 컨텐츠 디바이스(110) 상에 표시된 컨텐츠(100)를 전송 받을 수 있다.The
위 과정은 다음과 같이 정리될 수 있다.The above process can be summarized as follows.
A. 사용자 제스처 수행 단계A. User Gesture Performing Steps
B. 인터랙션 ID 결정 단계B. Steps to Determine Interaction ID
C. 참조 패턴 전송 단계C. Reference pattern transmission step
D. 밝기 변화 수행 단계D. Brightness change step
E. 밝기 패턴 인식 단계E. Bright Pattern Recognition Step
F. 컨텐츠 전송 단계F. Content Transfer Phase
단계 A~F의 구체적인 과정은 이하에서 상세하게 설명하기로 한다.The detailed procedure of steps A to F will be described in detail below.
도 4는 본 발명의 일 실시예에 있어서, 컨텐츠 전송 환경의 예를 설명하기 위한 도면이다. 도 4는 컨텐츠 디바이스(110), 휴대용 디바이스(120), 및 서버(130)를 나타내고 있다. 도 4에서 점선은 구성 요소 간에 유/무선 네트워크를 이용하여 데이터가 송수신될 수 있음을 의미한다.4 is a diagram for explaining an example of a content transmission environment in an embodiment of the present invention. 4 shows a
컨텐츠 디바이스(110)와 휴대용 디바이스(120)는 서버(130)의 주소를 알고 있으며 서버(130)로 데이터를 전송하거나 서버(130)로부터 데이터를 수신할 수 있다. 일 예로, 컨텐츠 디바이스(110)와 휴대용 디바이스(120)는 서버(130)와 관련된 웹/모바일 사이트의 접속 또는 서비스 전용 어플리케이션의 설치 및 실행이 가능하다.The
컨텐츠 디바이스(110)와 휴대용 디바이스(120)는 WI-FI, LTE 등 기존의 통신 기술을 통하여 서버(130)와 연결될 수 있으며, 혹은 HTML5의 웹 소켓을 이용하여 연결될 수도 있다. 하나 이상의 컨텐츠 디바이스(110)와 하나 이상의 휴대용 디바이스(120)는 동시에 서버(13)와 연결될 수 있다.The
A. 사용자 제스처 수행 단계A. User Gesture Performing Steps
사용자 제스처 수행 단계는 사용자가 컨텐츠 디바이스(110)에 휴대용 디바이스(120)를 터치하는 단계이다.The user gesture execution step is a step in which the user touches the
예컨대, 도 2에 도시한 바와 같이 사용자는 휴대용 디바이스(120)를 쥔 손을 컨텐츠 디바이스(110) 상에 표시된 컨텐츠 중 이동을 원하는 컨텐츠(100)에 터치할 수 있다. 이때, 컨텐츠 디바이스(110)는 사용자의 터치에 대하여 터치 좌표와 터치 시간, 그리고 터치된 좌표를 기반으로 터치된 위치에 표시된 컨텐츠의 식별 정보(예컨대, ID 등)(이하, '컨텐츠 ID'라 칭함)를 인식할 수 있다.For example, as shown in FIG. 2, the user can touch the hand holding the
사용자가 휴대용 디바이스(120)를 쥔 손으로 컨텐츠 디바이스(110)를 터치하면 컨텐츠 디바이스(110)는 자신의 식별 정보(예컨대, ID, 시리얼 넘버 등)(이하, '디바이스 ID'라 칭함)와 함께 컨텐츠 ID를 서버(130)로 전송한다.When the user touches the
컨텐츠 디바이스(110)는 디바이스 ID와 컨텐츠 ID를 서버(130)로 전송한 후 즉시 터치된 위치에 표시된 컨텐츠의 밝기를 조절하며, 예를 들어 컨텐츠의 밝기를 최대 밝기 대비 10% 밝기로 전환할 수 있다.After transmitting the device ID and the content ID to the
B. B. 인터랙션Interaction ID 결정 단계 ID determination step
컨텐츠 디바이스(110)가 디바이스 ID와 컨텐츠 ID를 서버(130)로 전송하면 서버(130)는 컨텐츠 디바이스(110)로부터 수신한 디바이스 ID와 컨텐츠 ID의 쌍을 저장하고 저장된 ID 쌍에 할당할 인터랙션 ID를 결정한다. 인터랙션 ID는 시각특성(빛과 색)에 대한 변화 패턴을 정의할 수 있는 코드로서, 일례로 시각특성 변화 패턴을 정의하기 위해 밝기의 정도와 밝기 유지 시간을 포함하는 코드로 구성된다.When the
서버(130)는 인터랙션 ID로서 미리 여러 개의 밝기 패턴을 가지고 있을 수 있다. 그리고, 서버(130)는 아래 표 1과 같이 인터랙션 ID를 할당할 수 있다.The
(80, 50), (20, 100), (60, 150)Interaction ID 3:
(80, 50), (20, 100), (60, 150)
(80, 100), (20, 200), (90, 50)Interaction ID 4:
(80, 100), (20, 200), (90, 50)
인터랙션 ID은 밝기 값과 밝기 유지 시간 값을 나타내는 데이터 쌍이 적어도 둘 이상 포함되어 구성될 수 있다. 표 1의 인터랙션 ID 3은 {(80, 50), (20, 100), (60, 150)}와 같고, 이때 하나의 데이터 쌍인 (80, 50)에서 앞의 값인 '80'은 컨텐츠의 밝기를 최대 밝기의 80%로 전환한다는 의미이고, 다음 값인 '50'은 밝기 유지 시간을 50ms 유지한다는 의미이다.The interaction ID may be configured to include at least two pairs of data representing a brightness value and a brightness holding time value. The
서버(130)는 컨텐츠 디바이스(110)로부터 디바이스 ID와 컨텐츠 ID를 수신하면 보유한 인터랙션 ID들 중 하나를 선택하여 컨텐츠 디바이스(110)로 할당한다. 사용자가 컨텐츠 디바이스 A에 표시된 컨텐츠 A를 선택한 경우 서버(130)는 인터랙션 ID 3을 할당함으로써 컨텐츠 디바이스 A에서 컨텐츠 A의 밝기를 최대 밝기 대비 80%로 50ms 유지하고, 최대 밝기 대비 20%로 100ms 유지하고, 최대 밝기 대비 60%로 150ms 동안 유지하도록 제어할 수 있다.When the
서버(130)는 다양한 밝기 패턴을 나타내는 인터랙션 ID들을 다수 보유하고 있으며, 도 5에 도시한 바와 같이 다양한 조합에 의해 다수의 인터랙션 ID 제공이 가능하다. 서버(130)는 밝기의 정도와 유지 시간의 다양한 조합, 그리고 길이(데이터 쌍의 개수)의 다양화를 통하여 다수의 인터랙션 ID를 생성 및 유지할 수 있다.The
C. 참조 패턴 전송 단계C. Reference pattern transmission step
서버(130)는 컨텐츠 디바이스(110)에 대해 인터랙션 ID를 할당한 후 참조 패턴 전송을 수행한다. 이때, 참조 패턴은 컨텐츠 디바이스(110)가 서버(130)에서 할당된 인터랙션 ID에 따라 컨텐츠의 밝기 변화를 수행하는 과정에서 휴대용 디바이스(120)가 조도 센서를 통해 인식한 밝기 패턴과 비교하기 위한 기준 패턴을 의미한다.The
참조 패턴은 도 6과 같이 인터랙션 ID 별로 적어도 하나 이상 생성될 수 있으며, 서버(130)는 인터랙션 ID를 할당한 후 해당 인터랙션 ID에 매핑된 참조 패턴 중 하나를 휴대용 디바이스(120)로 전송할 수 있다. 참조 패턴은 디바이스의 종류를 고려하여 생성될 수 있으며, 예를 들어 서버(130)에 연결된 휴대용 디바이스(120)가 갤럭시 S3 단말과 넥서스 7 단말의 두 대인 경우 서버(130)는 갤럭시 S3와 넥서스 7에 대응되는 참조 패턴을 각각의 단말로 전송한다.6, at least one reference pattern may be generated for each interaction ID, and the
참조 패턴의 생성은 현재 존재하는 모든 디바이스들에 대해 임의의 컨텐츠의 밝기를 특정 인터랙션 ID로 변화하면서 컨텐츠 위에 휴대용 디바이스(120)를 터치한 후 조도 센서 값의 변화 패턴을 수집하여 서버 구축 시 생성할 수 있다. 예를 들면, 서버 구축 시 관리자는 특정 이미지 컨텐츠의 밝기를 도 6의 인터랙션 ID 5의 step들에 따라 변화시키고 동시에 컨텐츠 앞에 갤럭시 S3 단말을 앞에 두어 조도 센서의 값 패턴을 수집함으로써 인터랙션 ID 5에 대한 갤럭시 S3 참조 패턴을 얻을 수 있고 이를 서버에 입력할 수 있다.The reference pattern is generated by touching the
이러한 방법에 의해 서버(130)는 모든 디바이스의 종류에 대응되는 참조 패턴을 생성/유지할 수 있다. 이때, 모든 디바이스들은 서로 가진 조도 센서의 사양이 다르기 때문에 동일한 인터랙션 ID에 따라 동일한 컨텐츠가 밝기를 변화하더라도 도 6과 같이 디바이스 종류에 따라 서로 다른 참조 패턴이 나타날 수 있다.In this way, the
서버(130)는 디바이스 ID와 컨텐츠 ID의 쌍에 인터랙션 ID를 할당한 후 접속 중인 휴대용 디바이스(120)로 해당 디바이스의 종류에 맞는 참조 패턴을 전송한다. 이때, 서버(130)는 휴대용 디바이스(120)와의 통신을 통해 휴대용 디바이스(120)의 디바이스 종류를 확인한 후 해당 디바이스 종류에 맞는 참조 패턴을 전송할 수 있다. 휴대용 디바이스(120)로 전송되는 참조 패턴은 해당 참조 패턴과 사전 매핑된 인터랙션 ID, 그리고 해당 인터랙션 ID가 할당된 디바이스 ID 및 컨텐츠 ID와 함께 휴대용 디바이스(120)로 전송된다.The
휴대용 디바이스(120)는 서버(130)로부터 참조 패턴을 수신하는 즉시 조도 센서의 값을 모니터링 하기 시작하고 동시에 서버(130)로 참조 패턴의 수신에 대해 응답한다. 이에, 서버(130)는 휴대용 디바이스(120)로부터 응답이 수신되면 휴대용 디바이스(120)로 전송한 참조 패턴과 매핑된 인터랙션 ID와 해당 인터랙션 ID에 할당 디지털 사이니지 ID, 컨텐츠 ID를 컨텐츠 디바이스(110)로 전송한다.As soon as the
D. 밝기 변화 수행 단계D. Brightness change step
컨텐츠 디바이스(110)는 <B. 인터랙션 ID 결정 단계>에서 설명한 것처럼 서버(130)로부터 할당된 인터랙션 ID가 수신되면 수신된 인터랙션 ID에 따라 사용자에 의해 터치된 컨텐츠의 밝기를 변화시킨다.The content device (110) When the interaction ID assigned from the
예컨대, 사용자가 휴대용 디바이스(120)를 쥔 손으로 컨텐츠 디바이스(110) 상의 컨텐츠를 터치함에 따라 컨텐츠 디바이스(110)가 서버(130)로부터 인터랙션 ID로서 {(80, 50), (20, 100), (60, 150)}를 수신한 것으로 가정한다.For example, as the user touches the content on the
도 7에 도시한 바와 같이, 컨텐츠 디바이스(110)는 컨텐츠(100)의 밝기를 디스플레이 최대 밝기 대비 80%로 50ms 동안 유지, 디스플레이 최대 밝기 대비 20%로 100ms 유지, 디스플레이 최대 밝기 대비 60%로 150ms 유지의 형태로 밝기 변화를 순차적으로 수행할 수 있다.7, the
컨텐츠 디바이스(110)는 사용자가 터치한 컨텐츠에 대해 인터랙션 ID에 따른 밝기 변화를 모두 수행한 후 해당 컨텐츠의 밝기를 최대 밝기 대비 10%로 설정하고 밝기 변화 완료 메시지를 서버(130)로 전송한다. 이때, 밝기 변화 완료 메시지는 컨텐츠 디바이스(110)의 디바이스 ID와 컨텐츠 ID를 포함하여 서버(130)에게 해당 컨텐츠의 밝기 변화가 완료되었음을 알리는 것이다.After the
서버(130)는 컨텐츠 디바이스(110)로부터 밝기 변화 완료 메시지가 수신되면 해당 메시지를 접속 중인 휴대용 디바이스(120)에게 전송하고, 컨텐츠 디바이스(110)의 밝기 변화 완료 메시지를 수신한 휴대용 디바이스(120)는 조도 감지 완료 메시지를 서버(130)로 전송한다. 휴대용 디바이스(120)로부터 조도 감지 완료 메시지를 받은 서버(130)는 컨텐츠 디바이스(110)로 휴대용 디바이스(120)의 조도 감지 완료 메시지를 전달하며 조도 감지 완료 메시지를 받은 컨텐츠 디바이스(110)는 밝기 변화를 수행한 컨텐츠의 밝기를 원(default) 밝기로 변경하여 다른 인터랙션을 받을 준비를 마친다.When the brightness change completion message is received from the
E. 밝기 패턴 인식 단계E. Bright Pattern Recognition Step
휴대용 디바이스(120)는 <C. 참조 패턴 전송 단계>에서 서버(130)로부터 참조 패턴을 수신하게 된다.The
휴대용 디바이스(120)는 서버(130)로부터 참조 패턴을 수신한 직후 조도 센서의 모니터링을 시작하여 서버(130)로부터 컨텐츠 디바이스(110)의 밝기 변화 완료 메시지가 도착할 때까지 조도 센서의 모니터링을 수행한다. 휴대용 디바이스(120)는 서버(130)로부터 컨텐츠 디바이스(110)의 밝기 변화 완료 메시지를 수신하면 조도 센서의 모니터링을 중지하고 조도 감지 완료 메시지를 서버(130)로 전송한다.The
이후, 휴대용 디바이스(120)는 조도 센서의 모니터링을 통해 수집된 조도 센서 값 패턴(이하, '대상 패턴'이라 칭함)을 참조 패턴과 비교하여 참조 패턴과 일정 수준 이상 일치하면 <F. 컨텐츠 전송 단계>를 수행한다.Then, the
대상 패턴과 참조 패턴을 비교하는 방법은 패턴 정규화 및 상호 상관을 통하여 이루어지며 구체적인 단계는 다음과 같다.The method of comparing the target pattern with the reference pattern is performed through pattern normalization and cross-correlation, and the concrete steps are as follows.
① 패턴 정규화① Pattern normalization
휴대용 디바이스(120)는 참조 패턴과 대상 패턴을 비교하기 위하여 정규화 작업을 수행한다.The
도 8은 패턴 정규화 과정을 설명하기 위한 예시 도면이다.8 is an exemplary diagram for explaining the pattern normalization process.
휴대용 디바이스(120)가 서버(130)로부터 수신한 참조 패턴이 도 8의 (a)와 같고, 휴대용 디바이스(120)에서 조도 센서의 모니터링을 통해 수집된 대상 패턴이 도 8의 (c)와 같은 경우, 휴대용 디바이스(120)는 참조 패턴과 대상 패턴 각각의 최대값을 이용하여 두 신호의 최대값/최소값을 1과 -1로 맞춘다. 즉, 도 8의 (a)에 도시된 참조 패턴은 최대값이 90이고 최소값이 0이므로 그 중간값 45를 기준으로 참조 패턴을 (값-45)/45에 맞추면 도 8의 (b)와 같이 정규화 된 패턴으로 나타난다. 또한, 도 8의 (c)에 도시된 대상 패턴은 최대값이 250이고 최소값이 0이므로 그 중간값 125를 기준으로 대상 패턴을 (값-125)/125에 맞추면 도 8의 (d)와 같이 정규화된 패턴으로 나타날 수 있다.The reference pattern received from the
② 상호 상관② Cross-correlation
상호 상관(cross-correlation)은 두 신호 간 유사성을 비교하는 방식으로, 잘 알려진 방법이다. 본 발명은 상호 상관을 이용하여 참조 패턴과 대상 패턴을 비교하여 유사성이 일정 값 이상으로 측정되면 두 신호가 일치하는 것으로 판단하는 방법을 사용한다.Cross-correlation is a well-known method of comparing similarities between two signals. The present invention uses a method of comparing a reference pattern and a target pattern using a cross-correlation and determining that two signals are identical if the similarity is measured above a predetermined value.
참조/대상 패턴은 조도 센서의 값을 측정하여 나타나는 패턴이므로 이산(discrete) 상호 상관(cross-correlation) 함수를 이용하여 정규화된 참조 패턴과 정규화된 대상 패턴을 연산한다.Since the reference / target pattern is a pattern that appears by measuring the value of the illuminance sensor, a normalized reference pattern and a normalized target pattern are calculated using a discrete cross-correlation function.
도 8의 (b)와 (d)에 도시한 두 패턴의 신호를 상호 상관 함수에 의해 계산하면 두 신호가 시간 축 상에서 임의의 시간만큼 차이가 날 때 각 시간 차이에서의 두 신호의 유사성이 도 9와 같이 나타난다. 즉, 상호 상관 함수는 도 8의 (b)와 (d) 신호를 시간 차이 -550에서 500까지 차이가 나도록 이동한 후 각각의 신호를 연산 함으로써 도 9와 같은 그래프가 만들어진다. 도 8의 (b)와 (d)의 신호를 상호 상관 함수에 의해 연산하면 도 9와 같은 그래프로 나타나며, 시스템은 도 9에서 최대 값이 x좌표 0에서 0.96이므로 도 8의 두 신호 (b)와 (d)는 서로 간 시간 차이가 0만큼 나타날 때 두 신호의 유사성이 96%라고 판단할 수 있다.When the signals of the two patterns shown in FIGS. 8 (b) and 8 (d) are calculated by the cross-correlation function, when the two signals differ by an arbitrary time on the time axis, 9. That is, the cross-correlation function is a graph as shown in FIG. 9 by moving the signals of FIG. 8 (b) and FIG. 8 (d) 9 is obtained by calculating the signals of FIGS. 8 (b) and 8 (d) using a cross-correlation function. Since the maximum value of the system shown in FIG. 9 is 0.96 at the x- And (d) show that the similarity of the two signals is 96% when the time difference between them is 0.
도 8의 (a) 신호는 도 6의 인터랙션 ID 4가 컨텐츠 디바이스(110)의 컨텐츠에 적용되어 해당 컨텐츠의 밝기가 인터랙션 ID의 각 step에 따라 변화하였을 때 휴대용 디바이스(120)에 나타날 조도 센서 값 패턴의 예상치인 참조 패턴이고, 도 8의 (c) 신호는 휴대용 디바이스(120)이 실제 측정한 조도 센서의 값 패턴이다.6A is applied to the content of the
도 8의 두 신호 (b)와 (d)가 96%의 확률로 일치한다는 것은 도 8의 두 신호 (a)와 (c) 가 동일한 확률로 일치한다는 것을 의미한다. 결국, 시스템이 예상한 조도 센서 변화 패턴 예상치와 실제 측정된 값 패턴이 96%로 일치하므로, 이를 기반으로 시스템은 현재 도 8의 (c) 신호를 측정한 휴대용 디바이스(120)가 96% 확률로 컨텐츠 디바이스(110)의 밝기가 변화한 컨텐츠(밝기가 도 6의 인터랙션 ID 4와 각 step에 따라 변화한 컨텐츠) 앞에 실제로 존재하였고 그러므로 해당 휴대용 디바이스(120)가 도 8의 (c) 신호를 측정하였을 것이라고 추론한다.The fact that the two signals (b) and (d) in FIG. 8 match with the probability of 96% means that the two signals (a) and (c) in FIG. As a result, the system estimates the illuminance sensor change pattern and the actual measured value pattern are equal to 96%. Based on this, the system determines that the
<A. 사용자 제스처 수행 단계>에서 언급된 것처럼 컨텐츠 디바이스(110)의 컨텐츠에 터치가 일어나면 <B. 인터랙션 ID 결정 단계>, <C. 참조 패턴 전송 단계>, <D. 밝기 변화 수행 단계> 등이 이루어지므로, 시스템은 해당 휴대용 디바이스(120)가 사용자에 의해 컨텐츠를 터치했고 그때 도 6의 인터랙션 ID 4가 할당되어 도 8의 (c) 신호를 측정했다고 판단한다.<A. When a touch occurs on the content of the
시스템은 위 확률이 임계값 이상이면 실제로 휴대용 디바이스(120)가 확실히 컨텐츠를 터치했다고 판단하여 사용자가 터치된 컨텐츠를 휴대용 디바이스(120)로 전송한다. 즉, 휴대용 디바이스(120)는 참조 패턴 수신 시 전송받은 인터랙션 ID, 휴대용 디바이스(120)의 디바이스 타입 및 컨텐츠 ID를 서버(130)로 전송하여 서버(130)에 컨텐츠를 요청하고 서버(130)는 컨텐츠 또는 컨텐츠 URL을 휴대용 디바이스(120)로 전송함으로써 휴대용 디바이스(120)는 컨텐츠 디바이스(110)에서 터치한 컨텐츠를 전송받게 된다.The system determines that the
또한, 휴대용 디바이스(120)는 서버(130)에 컨텐츠 전송을 요청할 때, 도 8의 (c)와 같은 대상 패턴을 같이 전달할 수 있다. 서버(130)로 전송된 인터랙션 ID, 휴대용 디바이스(120)의 디바이스 타입 및 휴대용 디바이스(120)의 대상 패턴은 서버(130)가 해당 인터랙션 ID에 매핑된 해당 디바이스 타입에 맞는 참조 패턴을 학습하는데 사용될 수 있다. 예를 들어, 갤럭시 S3 단말 한 대가 서버(130)에 연결되어 인터랙션을 수행하면 서버(130)는 참조 패턴 전송 단계에서 갤럭시 S3를 위한 참조 패턴을 휴대용 디바이스(120)로 전달한다. 휴대용 디바이스(120)는 인터랙션이 완료된 후 패턴이 일치함이 판단되면 자신이 갤럭시 S3이고 참조 패턴과 일치된 대상 패턴이 어떤 패턴이었는지 서버(130)로 전달한다. 갤럭시 S3의 참조 패턴과 일치한 대상 패턴을 전달 받은 서버(130)는 기존에 가지고 있던 갤럭시 S3의 참조 패턴과 수신한 대상 패턴간 차이를 학습하여 보완된 갤럭시 S3 참조 패턴을 생성한다. 이후 동일한 타입의 디바이스, 즉 갤럭시 S3에 의한 인터랙션이 일어날 경우 서버(130)는 새롭게 생성된 참조 패턴을 전달함으로써 참조 패턴과 대상 패턴 간 유사성이 극대화 될 수 있도록 한다.In addition, when the
F. F. 컨텐츠contents 전송 단계 Transmission step
휴대용 디바이스(120)는 <E. 밝기 패턴 인식 단계>에서 대상 패턴과 참조 패턴과의 비교를 통해 일정 수준 이상 일치한 경우 참조 패턴과 함께 전달된 컨텐츠 ID를 이용하여 서버(130)로 컨텐츠를 요청한다. 이에, 서버(130)는 휴대용 디바이스(120)의 컨텐츠 전송 요청에 따라 컨텐츠 ID에 해당하는 컨텐츠의 URL을 알고 있는 경우 해당 URL을 휴대용 디바이스(120)로 전송하거나, 혹은 컨텐츠 디바이스(110)에 해당 컨텐츠의 URL을 요청하여 휴대용 디바이스(120)로 전송할 수 있다. URL을 이용하는 것 이외에도 휴대용 디바이스(120)로 컨텐츠 자체를 직접 전송하는 것 또한 가능하다. 서버(130)가 컨텐츠 URL을 휴대용 디바이스(120)로 전송하면 휴대용 디바이스(120)는 디스플레이에 컨텐츠를 표현함으로써 컨텐츠 디바이스(110)- 휴대용 디바이스(120) 간 컨텐츠 전송이 완료되게 된다.The
따라서, 본 발명에서는 컨텐츠 디바이스(110) 앞에서 사용자가 컨텐츠 디바이스(110)의 디스플레이에 휴대용 디바이스(120)를 터치함으로써 손쉽게 컨텐츠를 이동할 수 있다. 이때, 사용자가 컨텐츠 디바이스(110) 상에 표시된 여러 컨텐츠 중 한 컨텐츠를 터치하면 컨텐츠 디바이스(110)는 터치된 특정 컨텐츠의 밝기를 변화시키고 이에 휴대용 디바이스(120)는 조도 센서를 통해 인식한 대상 패턴을 서버(130)로부터 수신된 참조 패턴과 비교하여 일치하는 경우 해당 컨텐츠의 전송을 서버(130)로 요청한다. 이때, 서버(130)는 휴대용 디바이스(120)의 컨텐츠 전송 요청에 따라 컨텐츠 디바이스(110) 상에 표시된 여러 컨텐츠 중 휴대용 디바이스(120)의 사용자에 의해 터치된 컨텐츠를 휴대용 디바이스(120)로 전송할 수 있다.
Accordingly, in the present invention, the user can easily move the content by touching the
상기에서는 밝기 패턴 인식을 위한 수단으로 조도 센서를 대표적인 예로 설명하고 있으나, 이에 한정되는 것은 아니며 카메라 또는 이미지 센서 등 밝기 패턴 인식이 가능한 다른 수단으로 대체될 수 있다. 카메라 또는 이미지 센서의 경우 조도 센서와 다르게 RGB의 색 정보를 얻을 수 있다. 카메라 또는 이미지 센서를 이용하는 실시예에서는 인터랙션 ID의 각 step이 밝기와 시간 정보 이외에 색상 정보를 더 가질 수 있다.In the above description, the illuminance sensor is used as a means for recognizing the brightness pattern. However, the illuminance sensor is not limited thereto and may be replaced with another means capable of recognizing the brightness pattern, such as a camera or an image sensor. In the case of a camera or an image sensor, RGB color information can be obtained unlike the illuminance sensor. In an embodiment using a camera or an image sensor, each step of the interaction ID may have color information in addition to brightness and time information.
도 10에서 인터랙션 ID의 각 step은 RGB 정보를 포함하여 컨텐츠가 어떻게 밝기 및 색 변화를 수행할지 정보를 포함한다. 즉, 도 10에서 인터랙션 ID 3이 할당되면 컨텐츠 디바이스(110) 상에 표시된 컨텐츠는 step 1에서 밝기를 최대 밝기 대비 80%로 변환하고, 동시에 컨텐츠의 원 색상 정보에 대하여 RGB(200, 0, 0)을 적용하여 원 색상정보에서 R을 200/255만큼 적용하고, G를 0/255만큼 적용하며, B를 0/255만큼 적용하여 50ms동안 유지한다. 또한, step 2에서는 밝기를 최대밝기 대비 20%로 변환하고 색상을 원 색상 정보에 대하여 RGB(100, 100, 100)을 적용하여 원 색상정보에서 R을 100/255만큼 적용하고, G를 100/255만큼 적용하며, B를 100/255만큼 적용하여 100ms동안 유지한다. 마지막으로, step 3에서는 밝기를 최대밝기 대비 60%로 변환하고 색상을 원 색상 정보에 대하여 RGB(100, 100, 100)을 적용하여 원 색상정보에서 R을 100/255만큼 적용하고, G를 100/255만큼 적용하며, B를 100/255만큼 적용하여 100ms동안 유지한다.In FIG. 10, each step of the interaction ID includes information on how the content performs brightness and color change, including RGB information. 10, when the
이와 같이, 인터랙션 ID에 RGB 정보가 추가된 경우 해당 인터랙션 ID에 매핑되는 참조 패턴 또한 RGB 정보를 포함한다. 예를 들어, 참조 패턴은 RGB에 따라 도 11과 같은 형태로 나타난다. 참조 패턴은 인터랙션을 수행한 휴대용 디바이스(120)에서 카메라 또는 이미지 센서에서 나타날 것으로 생각되는 패턴이다. 밝기 패턴 인식 단계에서 휴대용 디바이스(120)는 카메라 또는 이미지 센서를 통해 대상 패턴을 추출하며 추출된 대상 패턴을 RGB로 나누어 각각의 신호를 정규화 하고, 또한 대응되는 참조 패턴과 상호 상관을 수행한다. 각 신호에 대한 상호 상관으로 각 상호 상관에 대한 결과 확률이 구해지며 이 확률이 일정 임계값 이상일 때 휴대용 디바이스(120)는 컨텐츠를 요청하게 된다. 휴대용 디바이스(120)는 컨텐츠 요청과 함께 RGB 정보를 포함한 대상 패턴을 서버(130)로 같이 전송함으로써 서버(130)의 RGB 참조 패턴이 업데이트 될 수 있도록 한다.
In this manner, when the RGB information is added to the interaction ID, the reference pattern mapped to the corresponding interaction ID also includes the RGB information. For example, the reference pattern is shown in the form of FIG. 11 according to RGB. The reference pattern is a pattern that appears in the camera or image sensor in the
본 발명은 컨텐츠 디바이스(110)에 표시된 컨텐츠의 밝기를 인터랙션 ID에 따라 변경하고 이를 디스플레이 정면에 위치한 휴대용 디바이스(120)의 조도 센서로 인식하게 하여 밝기 변화 패턴을 추출하고 밝기 변화 패턴이 참조 패턴과 임계값 이상으로 일치하면 컨텐츠를 전송하는 기술이다.The present invention changes the brightness of the content displayed on the
일반적으로 밝기 변화 패턴을 조도 센서로 인식하려면 한번의 밝기 변화(step)가 조도 센서에 충분히 반영되어 조도 센서가 해당 밝기를 완전히 인식하도록 일정시간 지연을 가지고 동작하도록 시스템을 설계할 필요가 있다.Generally, in order to recognize a brightness change pattern as an illuminance sensor, it is necessary to design the system such that a brightness change step is sufficiently reflected in the illuminance sensor so that the illuminance sensor operates with a certain time delay to fully recognize the brightness.
예를 들면, 도 12와 같이 컨텐츠의 밝기를 High-Low-High-Low로 변화시킨 경우, 조도 센서의 값은 시간에 따라 결과 그래프 선(1201)과 같이 일정 시간 지연을 가지고 주변 조도의 상태가 반영된다. 즉, 컨텐츠 밝기를 Low->High 로 시간 100에서 변경시켰음에도 불구하고 조도 센서의 값은 약 시간 350 정도에서 High의 밝기를 반영한다. 이는 조도 센서가 주변의 밝기를 완전히 반영하는 데 일정 지연시간이 소요되기 때문이다. 이러한 지연 시간은 밝기를 변화시킨 시간으로부터 변화된 밝기의 최소 80% 이상의 밝기가 센서 값으로 출력되었을 때까지의 시간을 '센서 값 지연시간'이라고 한다.For example, when the brightness of the content is changed to High-Low-High-Low as shown in FIG. 12, the value of the illuminance sensor has a predetermined time delay, such as the
따라서, 임의의 밝기 패턴 High-Low-High-Low로 변화되는 패턴을 조도 센서로 인식하려고 하는 경우 각 변화는 조도 센서의 센서 값 지연시간을 고려하여 도 12의 화살표 지점처럼 조도 센서가 각 step의 밝기를 완전히 반영하기까지 다음 변화를 지연하여야 한다. 도 12를 기준으로 설명하면, 컨텐츠의 밝기를 High-Low-High-Low로 변경하며 이때의 조도 센서 값을 측정하고자 할 때 각 밝기 변화는 최소한 시간 350 정도 이후에 이루어져야 한다. 따라서, High-Low-High-Low 밝기 변화는 최소한 시간 1400 정도 소요되어야만 조도 센서가 완전히 밝기 변화를 그 출력 값에 반영할 수 있다.Therefore, in the case where a pattern changing to a certain brightness pattern High-Low-High-Low is tried to be recognized by the illuminance sensor, the angle of the illuminance sensor is determined by taking into consideration the sensor value delay time of the illuminance sensor, You should delay the next change until you fully reflect the brightness. Referring to FIG. 12, when the brightness of the content is changed to High-Low-High-Low, and the brightness sensor value is measured at this time, each brightness change should be performed after 350 minutes at least. Therefore, the high-low-high-low brightness change should take at least about 1400 hours, so that the brightness sensor can completely reflect the brightness change in its output value.
조도 센서가 완전한 밝기 변화를 그 출력 값에 반영하면 시스템은 화살표 지점에서 조도 센서 값을 임계값과 비교함으로써 밝기 변화가 어떤 패턴으로 수행되었는지 추론할 수 있다.When the illuminance sensor reflects the full brightness change to its output value, the system can infer which pattern the brightness change was performed by comparing the illuminance sensor value at the arrow point with the threshold value.
도 12에서 각 화살표 지점에서 조도 센서 값을 임계값과 비교하면 시스템은 High-Low-High-Low의 결과를 얻는다. 이는 컨텐츠의 밝기 변화와 일치하므로 시스템은 조도 센서를 활용하여 컨텐츠의 밝기 변화 패턴을 추론할 수 있다. 이것이 밝기 변화 패턴을 조도 센서로 인식하여 원 변화 패턴을 추론하는 일반적인 방법이다. 그러나, 이 방법은 조도 센서의 지연시간 때문에 컨텐츠의 밝기 변화를 빠르게 수행할 수 없고 따라서 인터랙션 시간이 길어진다는 단점을 가진다.In FIG. 12, when the illuminance sensor value is compared with the threshold value at each arrow point, the system obtains a result of High-Low-High-Low. This is consistent with the brightness change of the content, so the system can infer the brightness change pattern of the content by using the brightness sensor. This is a general method of inferring a circular change pattern by recognizing a brightness change pattern as an illuminance sensor. However, this method is disadvantageous in that the brightness change of the content can not be performed quickly because of the delay time of the illuminance sensor, and thus the interaction time is long.
반면에, 본 발명은 도 13의 (a)의 그래프 선(1301)과 같이 빠르게 밝기 변화를 하더라도 휴대용 디바이스(120)에서 밝기 변화 패턴을 인식하여 컨텐츠 전송을 수행할 수 있다. 도 13의 (a)에서 그래프 선(1301)은 인터랙션 ID의 step에 따라 High-Low-High-Low로 밝기 변화를 수행한 그래프이다. 빠르게 밝기 변화를 수행함으로써 휴대용 디바이스(120)의 조도 센서값은 그래프 선(1302)과 같이 밝기 정보를 완전히 반영하지 않은 상태에서 새로운 밝기 변화에 따라 조도 센서의 값이 변하는 것을 알 수 있다. 이러한 그래프 선(1302)과 같은 패턴을 인터랙션 ID High-Low-High-Low에 대한 참조 패턴으로 시스템에 저장해 놓으면, 휴대용 디바이스(120)가 인터랙션을 수행하고 이때 인터랙션 ID High-Low-High-Low 가 할당되고, 또한 그때의 휴대용 디바이스(120)의 대상 패턴이 도 13의 (b)와 같을 때, 휴대용 디바이스(120)는 도 13의 그래프 선(1302)과 같은 참조 패턴과 도 13의 (b)와 같은 대상 패턴 간 정규화 및 상호상관 과정을 통해 수신한 참조 패턴과 수집한 대상 패턴이 유사함을 추론할 수 있다. 이러한 원리로 시스템은 컨텐츠의 밝기 변화를 빠르게 수행할 수 있고 결과적으로 시스템은 사용자의 인터랙션 시간이 짧아지는 효과를 얻을 수 있다.
On the other hand, the present invention can perform content transmission by recognizing the brightness change pattern in the
도 14는 본 발명의 일 실시예에 있어서 컨텐츠 디바이스와 휴대용 디바이스 간 컨텐츠를 이동하는 동작 절차를 도시한 순서도이다.FIG. 14 is a flowchart illustrating an operation procedure of moving content between a content device and a portable device according to an embodiment of the present invention.
사용자의 휴대용 디바이스(120)에 의한 컨텐츠 디바이스(110)의 터치로 시작된 인터랙션은 실제 컨텐츠 전송이 이루어지기까지 서버(130)-컨텐츠 디바이스(110)-휴대용 디바이스(120) 간에 다양한 메시지를 전송하면서 태스크를 수행한다.The interaction initiated by the user's touching of the
컨텐츠 디바이스(110)는 디스플레이 상에 표시된 컨텐츠에 대해 사용자에 의한 터치가 이루어지면 서버(130)로 IID(인터랙션 ID) 할당을 요청한다(1). 이때, 컨텐츠 디바이스(110)는 터치 위치에 디스플레이 된 컨텐츠 ID와 자신의 식별 정보인 디바이스 ID를 서버(130)로 전송한다.The
서버(130)는 컨텐츠 디바이스(110)로부터 수신된 디바이스 ID와 컨텐츠 ID에 대해 IID를 할당하여 매핑한다(2). 그리고, 서버(130)는 할당된 IID, 해당 IID에 매핑된 디바이스 ID와 컨텐츠 ID, 해당 IID에 사전에 매핑된 참조 패턴을 휴대용 디바이스(120)로 전송한다(3).The
휴대용 디바이스(120)는 서버(130)로부터 참조 패턴이 수신되면 참조 패턴의 수신 응답으로서 수신 완료 메시지를 서버(130)로 전송하고 조도 센서를 통한 인식 값 측정을 시작한다(4).When the
서버(130)는 서버(130)에 연결된 모든 휴대용 디바이스(120)로부터 참조 패턴에 대한 수신 완료 메시지가 수신될 때까지 대기한 후(5), 모든 휴대용 디바이스(120)로부터 수신 완료 메시지가 수신되면 컨텐츠 디바이스(110) 상의 컨텐츠 밝기 변화를 제어하기 위해 할당된 IID와 해당 IID에 매핑된 컨텐츠 ID를 IID를 요청한 컨텐츠 디바이스(110)로 전송한다(6).The
컨텐츠 디바이스(110)는 서버(130)로부터 수신된 IID 값에 따라 컨텐츠 밝기 변화를 수행하고(7), IID 값에 따른 컨텐츠 밝기 변화가 완료되면 밝기 변화 완료 메시지를 서버(130)로 전송한다(8).The
컨텐츠 디바이스(110)는 서버(130)에서 컨텐츠 디바이스(110)의 디바이스 ID와 컨텐츠 ID에 대해 할당된 IID를 해제함에 따라(9) 서버(130)로부터 IID 해제 메시지를 수신하면(10) 해당 컨텐츠의 밝기를 원 밝기로 복원한다.The
휴대용 디바이스(120)는 서버(130)로부터 IID 해제 메시지를 수신하면(10) 조도 센서를 통해 인식된 대상 패턴과 서버(130)로부터 수신된 참조 패턴을 비교하여 대상 패턴이 참조 패턴과 일정 수준 이상 일치하면 참조 패턴 수신 시 함께 수신된 컨텐츠 ID를 이용하여 서버(130)로 해당 컨텐츠의 전송을 요청할 수 있다.When the
사용자에게 원터치 컨텐츠 전송을 제공하기 위하여 휴대용 디바이스(120)는 메시지 송수신, 조도 측정, 정규화 연산, 및 상호 상관 연산을 포함하는 전반의 동작을 앱을 통하여 수행할 수 있다.In order to provide one-touch content transmission to a user, the
휴대용 디바이스(120) 상의 앱은 일반적인 앱의 형태로 서비스 할 수도 있지만 백그라운드 서비스로서 동작할 때 그 성능이 극대화 될 수 있다. 예를 들어, 일반적인 앱의 경우 본 발명의 원터치 컨텐츠 전송 서비스를 이용하려고 하는 사용자는 1) 휴대용 디바이스(120)를 주머니나 가방에서 꺼낸 후, 2) 디바이스의 스크린을 on 시키고, 3) 잠금 해제를 하고, 4) 해당 앱 아이콘을 찾아, 5) 앱 아이콘을 터치하여 앱을 구동한 후 6) 컨텐츠 디바이스(110)에 디스플레이 되는 컨텐츠 중 사용자가 원하는 컨텐츠에 휴대용 디바이스(120)를 터치해야 한다. 그러나, 백그라운드 서비스로 동작시킨 경우 사용자는 원하는 컨텐츠가 있을 때 1) 휴대용 디바이스(120)를 주머니나 가방에서 꺼낸 후, 2) 컨텐츠 디바이스(110)에 디스플레이 되는 컨텐츠 중 사용자가 원하는 컨텐츠에 휴대용 디바이스(120)를 터치하기만 하면 컨텐츠를 수신할 수 있다.An application on the
본 발명의 시스템에서 휴대용 디바이스(120)를 위한 프로그램을 백그라운드 서비스 형태로 구축하기 위해서는 두 가지 설계 원칙을 따라야 한다.In order to construct a program for the
1. 백그라운드 서비스 구동 시작 시점1. Start of background service start
백그라운드 서비스는 특정 시점에 휴대용 디바이스(120)에서 시작하여 사용자의 구동에 대한 인지 없이 지속적으로 동작하는 서비스이다. 따라서, 백그라운드 서비스는 사용자의 명시적인 구동 명령 없이도 동작할 수 있어야 하므로 휴대용 디바이스(120)가 전원 버튼에 의해 처음 시작할 때(power-on) 부팅 완료 후 부팅 완료 이벤트를 받아서 서비스가 시작할 수 있어야 한다.The background service is a service that starts at the
백그라운드 서비스가 구동되면 휴대용 디바이스(120)의 서비스는 주기적으로 서버(130)로 알림 메시지를 보내어 현재 백그라운드 서비스가 구동되었음을 알린다. 이 알림 메시지는 실시예에 따라 휴대용 디바이스(120)의 위치를 서버(130)에 알리기 위하여 GPS, 실내 위치정보, 디바이스 ID, 주변 WIFI AP 정보 중 어느 하나를 포함할 수 있으며, 실시예에 따라 비가청 대역 음파를 이용하여 컨텐츠 디바이스(110)와 휴대용 디바이스(120) 간 디바이스 ID를 전송하고 이를 휴대용 디바이스(120)의 서비스가 휴대용 디바이스(120)의 마이크로 수신하여 서버(130)로 보내는 메시지에 주변 컨텐츠 디바이스(110)의 디바이스 ID를 전송할 수도 있다. 이 알림 메시지를 수신한 서버(130)는 휴대용 디바이스(120)의 알림 메시지에 존재하는 정보를 기반으로 휴대용 디바이스(120)의 주변에 위치하는 컨텐츠 디바이스(110)가 원터치 컨텐츠 전송을 할 수 있도록 준비시킨다.When the background service is activated, the service of the
2. 절전 모드 해제/재실행2. Release / resume the sleep mode
기본적으로 휴대용 디바이스(120)의 화면이 꺼져있는 screen-off 상태에서 백그라운드 서비스는 절전 모드 상태에 있으며 이때 백그라운드 서비스는 웹브라우저를 구동하거나 다른 앱을 호출하는 작업을 수행할 수 없다.Basically, in the screen-off state in which the screen of the
휴대용 디바이스(120)는 서버(130)에 요청하여 컨텐츠를 수신하면 수신된 컨텐츠를 웹 브라우저나 사진 앱과 같은 다른 앱으로 전달하여 사용자에게 컨텐츠를 수신하였음을 보여주어야 한다. 이는 백그라운드 서비스가 휴대용 디바이스(120)의 화면에 나타나지 않고 사용자의 인지 없이 동작하는 프로그램이기 때문이다. 그러나, screen-off 상태에서 백그라운드 서비스가 웹브라우저 또는 앱을 호출할 수 없기 때문에 컨텐츠 수신 이후 백그라운드 서비스는 절전 모드를 강제로 해제해야 한다. 백그라운드 서비스에 의한 절전 모드 해제는 컨텐츠 수신 후 일어나며 컨텐츠 표현 후 절전 모드는 다시 실행된다. 백그라운드 서비스는 절전 모드 해제 후 웹 브라우저를 호출하여 수신된 컨텐츠의 URL을 표현할 수 있다. 웹 브라우저 호출 후 백그라운드 서비스는 다시 절전 모드를 실행함으로써 배터리 소모를 최소화 한다.When the
백그라운드 서비스 기반 원터치 컨텐츠 전송 시스템을 설명하면, 휴대용 디바이스(120)가 screen-off 상태에 있더라도 터치 한번으로 컨텐츠를 휴대용 디바이스(120)로 이동시킬 수 있다. 휴대용 디바이스(120)의 서비스는 휴대용 디바이스(120)가 부팅한 후부터 백그라운드에서 동작하면서 서버(130)와의 메시지 교환 및 조도 센서 값 측정을 수행하고, 인터랙션이 완료되어 서버(130)로부터 컨텐츠를 수신하면 절전 모드를 자동으로 해제하여 웹브라우저로 컨텐츠를 표현한다.The background service-based one-touch content transmission system can move contents to the
사용자가 원하는 컨텐츠 터치 과정은 여러 번 반복할 수 있으며 최종 휴대용 디바이스(120)에 전송된 컨텐츠를 확인하기 위해서 사용자가 잠금 해제를 수행하면 휴대용 디바이스(120)의 웹 브라우저에는 터치했던 모든 컨텐츠를 확인할 수 있다.The content touch process desired by the user can be repeated a plurality of times. When the user performs unlocking to check the content transmitted to the final
상기에서는 편의상 웹 브라우저로 설명했으나, 이에 한정되지 않으며 서비스가 컨텐츠를 갤러리 앱으로 전달하여 휴대용 디바이스(120)의 저장 장치에 컨텐츠를 자동 저장하는 것도 가능하다.
In the above description, the web browser has been described for the sake of convenience. However, the present invention is not limited to this, and it is also possible for the service to transmit content to the gallery app and automatically store the content in the storage device of the
도 15의 (a)에 도시한 바와 같이, 컨텐츠 디바이스(110) 상에 복수 개의 다양한 컨텐츠가 디스플레이 될 수 있는데, 이때 컨텐츠가 원터치로 컨텐츠 디바이스(110)로부터 휴대용 디바이스(120)로 이동할 수 있는 컨텐츠인지, 아니면 단순히 바라볼 수만 있거나 터치만 가능한 인터랙티브 컨텐츠인지 구별할 수 있도록 하는 방법이 필요하다.15A, a plurality of various contents can be displayed on the
앞서 휴대용 디바이스(120)에서 컨텐츠 전송을 위한 앱이 백그라운드 서비스로 구동되면 주기적으로 서버(130)로 알림 메시지를 보내어 현재 백그라운드 서비스가 구동되었음을 알린다고 기술한 바 있다. 또한, 알림 메시지에는 휴대용 디바이스(120)의 위치정보를 전송하기 위하여 GPS, 실내 위치정보, 디바이스 ID, 주변 WIFI AP 정보, 주변 컨텐츠 디바이스 ID 정보 중 하나를 포함할 수 있다. 서버(130)는 휴대용 디바이스(120)로부터 알림 메시지를 수신하면 휴대용 디바이스(120)의 위치정보를 기준으로 휴대용 디바이스(120)의 주변에 위치한 컨텐츠 디바이스(110)에 준비 메시지를 보낼 수 있고, 준비 메시지를 받은 컨텐츠 디바이스(110)는 컨텐츠 별 전송 가능 여부를 표시해줄 수 있다. 예를 들어, 컨텐츠 디바이스(110)는 서버(130)로부터 준비 메시지가 수신되면 도 15의 (b)와 같이 전송 가능한 컨텐츠에 대해 컨텐츠가 표시된 영역의 테두리를 강조하는 표현 방식을 통해 사용자에게 해당 컨텐츠가 원터치로 휴대용 디바이스(120)에 전송 가능한 컨텐츠임을 알려 줄 수 있다.The
휴대용 디바이스(120)에서의 컨텐츠 전송을 위한 앱이 백그라운드 서비스로 구동되는 경우, 컨텐츠 디바이스(110)는 사용자가 일정 거리 이내로 접근할 때 전송할 수 있는 컨텐츠에 도 15의 (b)와 같이 표현하게 되고 사용자가 멀어지는 경우 도 15의 (a)와 같이 원 상태로 복귀하게 된다.When an application for content transmission in the
상기에서는 컨텐츠 표시 영역의 테두리를 강조하는 표현 방식을 예로 설명하였으나, 이러한 것으로만 한정되지 않으며 컨텐츠가 표시된 영역에 마커를 표시하거나 컨텐츠가 표시된 영역의 적어도 일부를 변경(삭제, 강조 등)하는 등 사용자가 인지할 수 있는 다양한 표현 방법의 적용이 가능하다.In the above description, the expression scheme emphasizing the border of the content display area is exemplified. However, the present invention is not limited to this, and a marker may be displayed in the area where the content is displayed, or at least a part of the area where the content is displayed may be changed It is possible to apply various expression methods which can be recognized by the user.
상기한 컨텐츠 이동 방법은 도 1 내지 도 15를 통해 설명한 상세 내용을 바탕으로 보다 단축된 동작들 또는 추가의 동작들을 포함할 수 있다. 또한, 둘 이상의 동작이 조합될 수 있고, 동작들의 순서나 위치가 변경될 수 있다.The above-described content moving method may include further shortened operations or additional operations based on the details described with reference to Figs. In addition, more than one operation may be combined, and the order or location of the operations may be changed.
도 16은 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다. 컴퓨터 시스템(1600)은 적어도 하나의 프로세서(processor)(1610), 메모리(memory)(1620), 주변장치 인터페이스(peripheral interface)(1630), 입/출력 서브시스템(I/O subsystem)(1640), 전력 회로(1650) 및 통신 회로(1660)를 적어도 포함할 수 있다. 이때, 컴퓨터 시스템(1600)은 컨텐츠 디바이스와 휴대용 디바이스 및 서버 시스템에 해당될 수 있다.16 is a block diagram for explaining an example of the internal configuration of a computer system in an embodiment of the present invention. The
메모리(1620)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1620)는 컴퓨터 시스템(1600)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다. 이때, 프로세서(1610)나 주변장치 인터페이스(1630) 등의 다른 컴포넌트에서 메모리(1620)에 액세스하는 것은 프로세서(1610)에 의해 제어될 수 있다.The
주변장치 인터페이스(1630)는 컴퓨터 시스템(1600)의 입력 및/또는 출력 주변장치를 프로세서(1610) 및 메모리(1620)에 결합시킬 수 있다. 프로세서(1610)는 메모리(1620)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨터 시스템(1600)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(1640)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(1630)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(1640)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(1630)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(1640)을 거치지 않고 주변장치 인터페이스(1630)에 결합될 수도 있다.The input /
전력 회로(1650)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(1650)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.The
통신 회로(1660)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨터 시스템과 통신을 가능하게 할 수 있다. 또는 상술한 바와 같이 필요에 따라 통신 회로(1660)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨터 시스템과 통신을 가능하게 할 수도 있다.
이러한 도 16의 실시예는, 컴퓨터 시스템(1600)의 일례일 뿐이고, 컴퓨터 시스템(1600)은 도 16에 도시된 일부 컴포넌트가 생략되거나, 도 16에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨터 시스템은 도 16에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1660)에 다양한 통신 방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨터 시스템(1600)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.16 is only an example of the
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.The methods according to embodiments of the present invention may be implemented in the form of a program instruction that can be executed through various computer systems and recorded in a computer-readable medium.
본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 실시예에서의 컨텐츠 전송 서비스와 관련된 앱은 독립적으로 동작하는 프로그램 형태로 구현되거나, 혹은 특정 어플리케이션의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있다.The program according to the present embodiment can be configured as a PC-based program or an application dedicated to a mobile terminal. The application related to the contents transfer service in the present embodiment may be implemented in a form of a program operating independently or in an in-app form of a specific application and may be implemented to be able to operate on the specific application .
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented as a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit, a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (3)
제1 디바이스로부터 위치 정보를 포함하는 알림 메시지를 수신하는 단계; 및
상기 위치 정보를 기준으로 상기 제1 디바이스의 주변에 위치한 적어도 하나의 제2 디바이스로 컨텐츠 전송을 위한 준비 메시지를 전송하는 단계
를 포함하고,
상기 제2 디바이스에서는 디스플레이에 적어도 하나의 컨텐츠를 표시하되 상기 준비 메시지에 따라 상기 표시된 컨텐츠 중 상기 제1 디바이스로의 전송이 가능한 컨텐츠에 변화를 주는 것
을 특징으로 하는 방법.In a computer implemented method,
Receiving an announcement message including location information from a first device; And
Transmitting a preparation message for content transmission to at least one second device located in the periphery of the first device based on the location information
Lt; / RTI >
Wherein the second device displays at least one content on the display and changes a content that can be transmitted to the first device among the displayed contents according to the preparation message
≪ / RTI >
상기 제2 디바이스에서는 상기 컨텐츠가 표시되는 영역의 테두리를 강조하는 방법, 상기 컨텐츠가 표시되는 영역에 마커를 표시하는 방법, 상기 컨텐츠가 표시되는 영역의 적어도 일부를 삭제하는 방법 중 적어도 하나를 이용하여 상기 변화를 주는 것
을 특징으로 하는 방법.The method according to claim 1,
A method of highlighting a border of an area in which the content is displayed, a method of displaying a marker in an area in which the content is displayed, and a method of deleting at least a part of the area in which the content is displayed, Giving the change
≪ / RTI >
적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라,
제1 디바이스로부터 위치 정보를 포함하는 알림 메시지를 수신하는 과정; 및
상기 위치 정보를 기준으로 상기 제1 디바이스의 주변에 위치한 적어도 하나의 제2 디바이스로 컨텐츠 전송을 위한 준비 메시지를 전송하는 과정
을 처리하고,
상기 제2 디바이스에서는 디스플레이에 적어도 하나의 컨텐츠를 표시하되 상기 준비 메시지에 따라 상기 표시된 컨텐츠 중 상기 제1 디바이스로의 전송이 가능한 컨텐츠에 변화를 주는 것
을 특징으로 하는 시스템.At least one program loaded memory; And
At least one processor
Lt; / RTI >
Wherein the at least one processor, under control of the program,
Receiving a notification message including location information from a first device; And
Transmitting a preparation message for content transmission to at least one second device located in the periphery of the first device based on the location information;
Lt; / RTI >
Wherein the second device displays at least one content on the display and changes a content that can be transmitted to the first device among the displayed contents according to the preparation message
Lt; / RTI >
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160152029A KR101742444B1 (en) | 2016-11-15 | 2016-11-15 | Method and system for coupling among devices using adaptive pattern recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160152029A KR101742444B1 (en) | 2016-11-15 | 2016-11-15 | Method and system for coupling among devices using adaptive pattern recognition |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150144763A Division KR101688743B1 (en) | 2015-10-16 | 2015-10-16 | Method and system for coupling among devices using adaptive pattern recognition |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170045142A true KR20170045142A (en) | 2017-04-26 |
| KR101742444B1 KR101742444B1 (en) | 2017-05-31 |
Family
ID=58705025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160152029A KR101742444B1 (en) | 2016-11-15 | 2016-11-15 | Method and system for coupling among devices using adaptive pattern recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101742444B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021154046A1 (en) | 2020-01-29 | 2021-08-05 | 고려대학교 산학협력단 | Ph-sensitive fc variant |
| KR20220062770A (en) | 2020-11-09 | 2022-05-17 | 고려대학교 산학협력단 | Ph-sensitive fc variants |
| KR20220062771A (en) | 2020-11-09 | 2022-05-17 | 고려대학교 산학협력단 | Ph-sensitive fc variants |
-
2016
- 2016-11-15 KR KR1020160152029A patent/KR101742444B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021154046A1 (en) | 2020-01-29 | 2021-08-05 | 고려대학교 산학협력단 | Ph-sensitive fc variant |
| KR20220062770A (en) | 2020-11-09 | 2022-05-17 | 고려대학교 산학협력단 | Ph-sensitive fc variants |
| KR20220062771A (en) | 2020-11-09 | 2022-05-17 | 고려대학교 산학협력단 | Ph-sensitive fc variants |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101742444B1 (en) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9946861B2 (en) | Method for processing fingerprint and electronic device thereof | |
| KR102650444B1 (en) | Electronic device and method for registering a smart home device in a smart home system | |
| EP3009816B1 (en) | Method and apparatus for adjusting color | |
| US9817475B2 (en) | Method for tracking a user's eye to control an indicator on a touch screen and electronic device thereof | |
| US20170221450A1 (en) | Electronic device and method for controlling the same | |
| US10296472B2 (en) | Method for setting universal serial bus (USB) interface of electronic device, and electronic device | |
| KR102335925B1 (en) | An electronic apparatus and a gateway for network service, a method therefor | |
| US20170147064A1 (en) | Method and apparatus for providing information in virtual reality environment | |
| US20180341400A1 (en) | Electronic device for selecting external device and controlling the same and operating method thereof | |
| KR20160123044A (en) | Device for Performing Hybrid Communication with External Device and Method Thereof | |
| US20160351047A1 (en) | Method and system for remote control of electronic device | |
| AU2015202698B2 (en) | Method and apparatus for processing input using display | |
| KR102314690B1 (en) | Device And Communication Connection Method Thereof | |
| KR101742444B1 (en) | Method and system for coupling among devices using adaptive pattern recognition | |
| EP2998850A1 (en) | Device for handling touch input and method thereof | |
| EP3172638B1 (en) | Method of controlling display of electronic device and electronic device thereof | |
| US20160110372A1 (en) | Method and apparatus for providing location-based social search service | |
| US20170214785A1 (en) | Electronic device and method for controlling the same | |
| US20220228869A1 (en) | Method and apparatus for generating semantic map, and readable storage medium | |
| KR102201577B1 (en) | method and apparatus for providing shopping mall related information | |
| KR20160068514A (en) | Apparatus and method for controlling a touch input in electronic device | |
| EP3054709B1 (en) | Electronic apparatus and short-range communication method thereof | |
| KR102440088B1 (en) | Method for pairing devices using near field communication and electronic device using the same | |
| KR102246270B1 (en) | Electronic device and interconnecting method thereof | |
| KR101688743B1 (en) | Method and system for coupling among devices using adaptive pattern recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |