WO2021045247A1 - 데이터를 처리하는 방법 및 그 전자 장치 - Google Patents

데이터를 처리하는 방법 및 그 전자 장치 Download PDF

Info

Publication number
WO2021045247A1
WO2021045247A1 PCT/KR2019/011348 KR2019011348W WO2021045247A1 WO 2021045247 A1 WO2021045247 A1 WO 2021045247A1 KR 2019011348 W KR2019011348 W KR 2019011348W WO 2021045247 A1 WO2021045247 A1 WO 2021045247A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
data
input data
output
input
Prior art date
Application number
PCT/KR2019/011348
Other languages
English (en)
French (fr)
Inventor
한상우
이성희
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020227005872A priority Critical patent/KR20220058538A/ko
Priority to US17/640,109 priority patent/US20220308819A1/en
Priority to PCT/KR2019/011348 priority patent/WO2021045247A1/ko
Publication of WO2021045247A1 publication Critical patent/WO2021045247A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0012—High speed serial bus, e.g. IEEE P1394
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/22—Detection of presence or absence of input display information or of connection or disconnection of a corresponding information source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a method for processing data between a plurality of electronic devices, and relates to an apparatus and method for outputting data after processing data in another electronic device based on input data obtained from one electronic device. More specifically, the present invention relates to a first electronic device and a method for outputting input data obtained by a first electronic device through a first electronic device after being processed by a second electronic device.
  • the function extension technology may include, for example, a technology that connects a mobile terminal to a TV and uses the functions of the mobile terminal through the TV.
  • the problem to be solved by the present invention is that input data acquired through the first electronic device is processed through the second electronic device and provided through the first electronic device, so that the function of the second electronic device can be improved even in the first electronic device. It is to be able to use it effectively.
  • the present invention determines whether to provide the information to the second electronic device based on the information obtained from the first electronic device through the sensor, and when the information is provided to the second electronic device, the information obtained by the second electronic device is It is an object of the present invention to provide a method and a tank device that can be processed and output again through a first electronic device.
  • a data processing method of a first electronic device includes information on a capability of the second electronic device based on identifying a second electronic device connected to the first electronic device. Checking the setting information, obtaining input data through at least one device related to the first electronic device, and determining at least one of a relationship of the input data to the second electronic device and the setting information. Determining whether to transmit the input data to the second electronic device based on; transmitting the input data to the second electronic device based on the determination of transmission of the input data; and It may include receiving output data generated based on the input data from a device, and outputting the obtained output data through an output device associated with the first electronic device.
  • a first electronic device that processes data includes information on a capability of the second electronic device based on identifying a second electronic device connected to the first electronic device.
  • the setting information to be checked, input data is obtained through at least one device related to the first electronic device, and the input data based on at least one of a relationship of the input data to a second electronic device and the setting information Determines whether to transmit the input data to the second electronic device, transmits the input data to the second electronic device based on the determination of transmission of the input data, and generates based on the input data from the second electronic device
  • a controller configured to receive the obtained output data and to output the obtained output data through an output device associated with the first electronic device.
  • data obtained by using a configuration of a first electronic device is processed through a second electronic device to be processed.
  • a first electronic device eg, an input device, an output device
  • the first electronic device can use the function of the second electronic device.
  • the present invention it is possible to determine whether to transmit the information acquired from the first electronic device to the second electronic device, and to transmit the acquired information to the second electronic device based on the determination result.
  • the user's usability is improved by smoothly processing the information acquired from the first electronic device by utilizing the computing power of the electronic device.
  • 1 is a diagram for describing a case where a first electronic device uses a function of a second electronic device.
  • FIG. 2 is a diagram for conceptually explaining a data processing method according to an embodiment of the present invention.
  • FIG. 3 is a diagram for describing an example in which a data processing method according to an embodiment of the present invention is applied.
  • FIG. 4 is a diagram illustrating a data flow between a first electronic device and a second electronic device according to an embodiment of the present invention.
  • FIG. 5 is a functional block diagram of a first electronic device and a second electronic device according to an embodiment of the present invention.
  • FIG. 6 is a flowchart of a data processing method of a first electronic device according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an example of a step of determining whether to transmit data in a first electronic device according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating another example of a step of determining whether to transmit data in a first electronic device according to an embodiment of the present invention.
  • FIG. 9 is a detailed flowchart illustrating another example of a step of determining whether to transmit data in a first electronic device according to an embodiment of the present invention.
  • FIG. 10 is a flowchart of a data processing method of a second electronic device according to an embodiment of the present invention.
  • FIG. 11 is a flowchart of a data processing method of a second electronic device according to another embodiment of the present invention.
  • FIG. 12 is a functional block diagram illustrating a first electronic device based on Linux according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a data flow of a first electronic device according to an embodiment of the present invention based on Linux.
  • FIG. 14 is a diagram illustrating recognition of input data in a second electronic device according to an embodiment of the present invention from a system side.
  • 15 is a diagram for describing operations of a first electronic device and a second electronic device according to an embodiment of the present invention based on Linux.
  • 16 is a diagram illustrating an example of output data provided by a first electronic device according to an embodiment of the present invention.
  • FIG. 1 is a diagram for describing a case where a first electronic device uses a function of a second electronic device. Specifically, FIG. 1 shows an example of using a single function using a plurality of devices (eg, a first electronic device and a second electronic device) in the past.
  • a plurality of devices eg, a first electronic device and a second electronic device
  • the same screen may be displayed on the first electronic device 10 and the second electronic device 20, and accordingly, the first electronic device 10 and the second electronic device 20 have the same function.
  • Example: multimedia playback can be used.
  • a method of using the same function may be based on a mirroring technique. (Here, since the mirroring technique is easy for a person skilled in the art, detailed description will be omitted.)
  • the first electronic device 10 and the second electronic device 20 simply display a screen displayed on one device (for example, the second electronic device 20) in order to use one function.
  • a mirroring technique that only displays is used.
  • the first electronic device or the second electronic device may allow the use of functions of the first electronic device and the second electronic device more freely and effectively.
  • the effect expected in the present invention is not limited to the above-described example.
  • FIG. 2 is a diagram for conceptually explaining a data processing method according to an embodiment of the present invention.
  • the first electronic device 10 and the second electronic device 20 may be separate devices.
  • the first electronic device 10 may be an automotive embedded system that is included in the vehicle 1 and provides various functions
  • the second electronic device 20 is a specific operating system (OS) (e.g. : It may be a unit that operates on Android OS, IOS) and provides a predetermined function (eg, a translation function, a game function) by installing an application.
  • OS operating system
  • IOS a unit that operates on Android OS, IOS
  • a predetermined function eg, a translation function, a game function
  • an OS may be installed in the first electronic device 10 as well, and the first electronic device 10 and the second electronic device 20 may be connected through an interface.
  • the first electronic device 10 may include an input device capable of sensing various types of inputs and an output device capable of providing various types of outputs.
  • the first electronic device 10 includes an input device (eg, a camera, a microphone) and an output device (eg, a head up display (HUD), a speaker). Can be equipped. In this case, the first electronic device 10 may acquire or output various data (eg, image, sound).
  • an input device eg, a camera, a microphone
  • an output device eg, a head up display (HUD), a speaker.
  • HUD head up display
  • the first electronic device 10 may acquire or output various data (eg, image, sound).
  • Various applications that can be driven by the OS of the second electronic device 20 may be installed in the second electronic device 20.
  • the OS of the first electronic device 10 and the OS of the second electronic device 20 may be different from each other, and the above-described application may not be installed on the first electronic device 10.
  • functions that can be directly used in each of the first electronic device 10 and the second electronic device 20 may be different from each other. That is, a function that can be used by the first electronic device 10 by itself and a function that can be used by the second electronic device 20 may be different from each other.
  • the second electronic device 20 is You can make the functionality you provide available. More specifically, the second electronic device 20 may receive data acquired by the sensor of the first electronic device 10, and based on this, the second electronic device 20 may process the data, and It may operate to be provided to and output to the first electronic device 10.
  • the first electronic device 10 when an image is acquired by the first electronic device 10, it is transmitted to the second electronic device 20 so that the text in the image is translated based on the translation function of the second electronic device 20. I can.
  • the first electronic device 10 may receive an image including the translated text from the second electronic device 20. Accordingly, the functions of the second electronic device 20 may be used in the first electronic device 10.
  • FIG. 3 is a diagram for explaining an example in which a data processing method according to an embodiment of the present invention is applied.
  • the first electronic device 10 included in the vehicle 1 may obtain information on a sign 2 positioned in front. Specifically, the first electronic device 10 may acquire an image (hereinafter, referred to as a front image) of an object or environment located in the moving direction (or in front) of the vehicle 1 by using the camera as input data.
  • a front image an image of an object or environment located in the moving direction (or in front) of the vehicle 1 by using the camera as input data.
  • the first electronic device 10 is connected to the front of the vehicle 1 including the sign 2 through the camera.
  • the image can be acquired.
  • a second electronic device 20 connected to the first electronic device 10 may be located inside the vehicle 1. Based on this, the first electronic device 10 may transmit the front image acquired through the camera to the second electronic device 20 so that the front image is processed through the second electronic device 20.
  • the front image transmitted to the second electronic device 20 is processed through at least one of an application included in the second electronic device 20 and a computing device included in the second electronic device 20 to be processed by the first electronic device 10. ) Can be sent back.
  • the application may perform a specific function, for example, a translation function.
  • the English word'SPEED LIMIT' included in the sign 2 may be translated as'speed limit' through the application.
  • An image received by the first electronic device 10, that is, an image generated as a front image is processed, may be the same as the screen 30 of FIG. 3. That is, the image received by the first electronic device 10 may include the image portion 31 processed by the second electronic device 20, that is, a region including the translated text “speed limit”.
  • FIG. 4 is a diagram illustrating a data flow between a first electronic device and a second electronic device according to an embodiment of the present invention. Specifically, FIG. 4 shows a flow of data based on the configuration of each device in a system including the first electronic device 10 and the second electronic device 20.
  • the input device 11 may obtain input data.
  • the input device 11 may include at least one sensor related to the input device 11.
  • the input device 11 may include an image sensor related to a camera, a touch sensor related to a touch display, and a sound sensor related to a microphone.
  • the input data may be provided to at least one of an interface 15 and a system on chip (SoC) 17 through the divider 13.
  • SoC system on chip
  • the input data may be provided through the interface 15.
  • input data may be provided to both the interface 15 and the SoC 17.
  • the input data may not be provided to the interface 15.
  • the input data may be provided to the SoC 17.
  • the interface 15 may transmit input data to the second electronic device 20. Specifically, the interface 15 may transmit input data to the interface 21 of the second electronic device 20. The transmission of the input data may be based on the connection between the first electronic device 10 and the second electronic device 20 using the interfaces 15 and 21.
  • the interfaces 15 and 21 used in the first electronic device 10 and the second electronic device 20 may be a common interface or a high-speed common interface.
  • the first electronic device 10 and the second electronic device 20 may be connected through at least one of wireless and wireless communication.
  • the interface 21 of the second electronic device 20 may provide input data received from the first electronic device 10 to the SoC 23.
  • the SoC 23 may generate output data by processing input data using an application installed in the second electronic device 20.
  • the SoC 23 may generate output data including the translated text by translating text included in the input data.
  • the output data may be transmitted from the interface 21 of the second electronic device 20 to the interface 15 of the first electronic device 10.
  • Output data may be provided from the interface 15 to the SoC 17.
  • the SoC 17 may provide output data to the output device 19 to be output.
  • the SoC 17 converts the output data into a form suitable for output by the output device 19 and provides it to the output device 19. I can.
  • the user may use information reflecting the function of the second electronic device 20.
  • the input device 11 and the output device 19 are illustrated in a form included in the first electronic device 10, but are not limited thereto, and the input device 11 and the output device 19 are each It may be implemented as a separate configuration and connected to the first electronic device 10.
  • the SoC may include one or more processors for controlling each electronic device, and may be referred to as a control unit.
  • FIG. 5 is a functional block diagram of a first electronic device and a second electronic device according to an embodiment of the present invention. Used below'...
  • the term'negative' refers to a unit that processes at least one function or operation, which may be implemented by hardware or software, or a combination of hardware and software.
  • the first electronic device 10 includes a connection confirmation unit 110, a data acquisition unit 120, a transmission unit 130, a data receiving unit 140, a function unit 150, and a data output unit ( 160).
  • the second electronic device 20 may include a data receiving unit 210, a function unit 220, a data transmission unit 230, and a data output unit 240.
  • the first electronic device 10 and the second electronic device 20 may be connected through an interface, and may transmit/receive input data or output data based on this.
  • Each component of the first electronic device 10 e.g., the connection check unit 110
  • each component of the second electronic device 20 e.g., the data receiving unit 210) are calculations including a microprocessor. It can be implemented by the device.
  • the connection checker 110 may check the second electronic device 20 connected to the first electronic device 10.
  • the first electronic device 10 and the second electronic device 20 may be connected based on a common interface, and the connection confirmation unit 110 may check whether such connection is made.
  • connection confirmation unit 110 may check whether or not the connection is connected in various ways.
  • the connection checker 110 may identify a signal generated based on the establishment of a connection to check whether a connection has been made, but is not limited thereto.
  • the connection verification unit 110 provides setting information including information on the capability of the second electronic device 20 based on the identification of the second electronic device 20 connected to the first electronic device 10. I can confirm.
  • the setting information includes information on input devices and output devices related to the first electronic device 10 recognizable by the second electronic device 20, or data that can be processed by the second electronic device 20. It may contain more.
  • the information on the capability includes, for example, information on the performance of the processor of the second electronic device 20, the type of the first electronic device 10 that can be recognized by the second electronic device 20, Regarding at least one of the number, connection method, connection speed, supported protocol, resolution, number of simultaneously recognizable inputs (eg, touch input), and data capacity that can be processed by the second electronic device 20 at a predetermined time. May contain information. Based on this, more various information on the performance of the electronic device, such as data processing efficiency, may be calculated.
  • the information on the input device and the output device is, for example, whether an input device or an output device included in the second electronic device 20 exists, the type and number of the input device or output device, if any, and the second electronic device 20 It may include information on at least one of the types (eg, image, sound) of input data that can be processed by.
  • Such setting information may be received by the data receiving unit 140 to be described later, and the transmitting unit 130 may obtain and identify the setting information from the data receiving unit 140.
  • the present invention is not limited thereto, and in some cases, the transmission unit 130 may directly receive the setting information or may receive it through a separate configuration.
  • the data acquisition unit 120 may acquire input data through at least one sensor related to the first electronic device 10.
  • At least one sensor may be included in various input devices included in the first electronic device 10.
  • at least one sensor is included in an input device such as an image sensor, such as an image sensor for acquiring an image included in an input device such as a camera, a touch sensor for recognizing a touch input included in an input device such as a touch-type display, and a microphone. It may include a sound sensor for recognizing sound, and is not limited to the examples described above in the present specification.
  • the input data is data acquired through at least one sensor, and if at least one sensor includes a sensor that acquires an image, the input data may include an image.
  • the transmission unit 130 may determine whether to transmit the input data to the second electronic device 20 by identifying a relationship between the input data and the second electronic device 20. Specifically, the transmission unit 130 may identify whether the input data is related to the second electronic device 20. When the input data is related to the second electronic device 20, that is, if there is a relationship, the transmission unit 130 may determine to transmit the input data to the second electronic device 20.
  • the transmission unit 130 may check whether the acquisition of the input data is acquired by the request of the second electronic device 20. Specifically, the transmission unit 130 determines whether a request signal is received from the second electronic device 20 or a received request signal based on the connection between the first electronic device 10 and the second electronic device 20 described above. It may be checked whether the input data is obtained by request of the second electronic device 20 according to whether or not is related to the input data. In this way, the sensor of the first electronic device 10 may be controlled by the control signal of the second electronic device 20, and the data acquired through the sensor by the control of the second electronic device 20 It may be transmitted to the electronic device 20.
  • the transmission unit 130 may determine to transmit the input data to the second electronic device 20.
  • the transmission unit 130 identifies whether the input data corresponds to a specific condition based on at least one of a relationship with the second electronic device 20 and setting information, and if the specific condition is satisfied, the input data is It may be determined to transmit at least a portion to the second electronic device 20.
  • the specific condition is that when the input data is obtained by the request of the second electronic device, when the data processing efficiency of the first electronic device 10 is less than or equal to a specific value, the data processing of the first electronic device 10 When the efficiency is lower than the data processing efficiency of the second electronic device 20, and the input data is data that can be processed through the second electronic device 20, the first electronic device 10 and the second electronic device 20 When the input data is processed in parallel by, the data processing efficiency of the first electronic device 10 increases by a specific value or more, or the first electronic device 10 transmits the input data to the second electronic device 20. It may include at least one of the cases in which the user's input is received.
  • the transmission unit 130 may provide input data to each of the first electronic device 10 and the second electronic device 20 when the data processing efficiency of the first electronic device 10 is greater than or equal to a predetermined value. have. Alternatively, when the data processing efficiency of the first electronic device 10 is less than or equal to a predetermined value, the transmission unit 130 provides part of the input data to the function unit 150 of the first electronic device 10, and Other parts may be transmitted to the second electronic device 20. In this case, the input data may be processed through the first electronic device 10 and the second electronic device 20.
  • the input data is processed by the function unit 150 of the first electronic device 10 to be described later, and output data may be generated accordingly. Such output data may be output through the data output unit 160.
  • the transmission unit 130 may check a connection identifier related to the second electronic device 20. The transmission unit 130 may determine whether to transmit input data to the second electronic device 20 based on the connection identifier.
  • the transmission unit 130 transmits the input data to the second It may be determined to transmit to the electronic device 20.
  • the transmission unit 130 may transmit the input data to the second electronic device 20 based on the determination of transmission of the input data. Specifically, when transmission of input data is determined, the transmission unit 130 transmits input data based on a connection (eg, connection through a common interface) between the first electronic device 10 and the second electronic device 20. It may be transmitted to the second electronic device 20.
  • a connection eg, connection through a common interface
  • the transmission unit 130 may transmit input data to the second electronic device 20 on a Hardware Abstraction Layer (HAL) of a device (eg, input device) related to the input data.
  • HAL Hardware Abstraction Layer
  • data transmitted and received between electronic devices may be data on the HAL
  • input data may be communicated between electronic devices through an interface on the HAL.
  • data communicated on the HAL may be raw data.
  • the data acquired by the sensor of the first electronic device 10 may be distributed from the HAL 51 (refer to FIG. 14) of the corresponding sensor to the interface unit for communication with the second electronic device 20, through which Data acquired by a sensor of the first electronic device 10 may be transmitted to the second electronic device 20.
  • the data receiver 140 may receive output data generated based on input data from the second electronic device 20. Although described later, the second electronic device 20 may generate output data by receiving input data from the transmission unit 130 through the data receiving unit 210 and processing the input data through the function unit 220. Output data may be transmitted from the second electronic device 20 to the first electronic device 10. Based on this, the data receiving unit 140 may receive output data from the second electronic device 20.
  • the output data may include data processed with input data through an application included in the second electronic device 20.
  • the first electronic device 10 may use an application not installed in the first electronic device 10, that is, an application included in the second electronic device 20.
  • the data receiving unit 140 may include a common interface and may receive output data based on this.
  • the common interface of the data receiving unit 140 and the common interface of the above-described transmission unit 130 may be configured as one or individually.
  • the function unit 150 may perform various application functions operable in the second electronic device 20. Specifically, the function unit 150 may be implemented in a form including the SoC 17 so that a predetermined function is performed based on an application operable on the OS of the first electronic device 10.
  • the function unit 150 may process the output data in a form suitable for the first electronic device 10.
  • the function unit 150 may process the received output data in the form of raw data and convert it into a form that can be output by the first electronic device 10.
  • the data output unit 160 may receive output data through the function unit 150 and output it through an output device. For example, when the output data is an image, the data output unit 160 may output the image to be displayed on the display.
  • the data receiving unit 210 of the second electronic device 20 may receive input data from the transmitting unit 130 of the first electronic device 10.
  • the data receiving unit 210 may include a common interface and may receive input data through this.
  • the function unit 220 may perform various application functions operable in the second electronic device 20. Specifically, the function unit 220 may execute various applications that can be operated on the OS of the second electronic device 20 to perform a function of the application. For example, when the second electronic device 20 has an Android OS system and an application that performs translation is installed, the function unit 220 may perform a function of translating text.
  • the function unit 220 may process the received input data through an application included in the second electronic device 20. Accordingly, the function unit 220 may generate output data including data processed through the application.
  • the OS of the second electronic device 20 is different from the OS of the first electronic device 10, and an application included in the second electronic device 20 is an application that cannot be installed on the first electronic device 10.
  • the output data is obtained through the first electronic device 10, it may be data processed by the function of the second electronic device 20.
  • the first electronic device 10 can effectively use various functions through the connection of the second electronic device 20 without being replaced with a new system.
  • the data transmission unit 230 may transmit output data to the first electronic device 10. Specifically, the data transmission unit 230 may transmit output data to the data reception unit 140 of the first electronic device 10.
  • the data transmission unit 230 may include a common interface and transmit output data to the data reception unit 140 based on this.
  • the common interface of the data transmission unit 230 and the common interface of the above-described data receiving unit 210 may be configured as one or individually.
  • the second electronic device 20 may include a data output unit 240.
  • the data output unit 240 may provide information to a user by outputting data in a specific form, such as a display and a speaker.
  • the data output unit 240 may receive and output the output data from the function unit 220.
  • the specific condition may include a case in which the output data generated through the function unit 220 is data in a form that can be output through the data output unit 240.
  • specific conditions may be set in various forms and are not limited to the examples described above in the present specification.
  • the first electronic device 10 may include a control unit that controls an operation of a component included in the first electronic device 10.
  • each component of the first electronic device 10 shown in FIG. 5 eg, the connection confirmation unit 110
  • the controller may be controlled by the controller.
  • the second electronic device 20 may also include a separate control unit, and in this case, each component of the second electronic device 20 may also be controlled by the control unit.
  • FIG. 6 is a flowchart of a data processing method of a first electronic device according to an embodiment of the present invention. Each step of the method illustrated in FIG. 6 may be performed in a different order from that illustrated in the drawings in some cases, and contents overlapping with FIGS. 1 to 5 may be omitted.
  • connection checker 110 may check the second electronic device 20 connected to the first electronic device 10 (S110 ). Specifically, the connection checker 110 may check setting information including information on performance of the second electronic device based on identifying the second electronic device connected to the first electronic device 10.
  • the data acquisition unit 120 may acquire input data (S120). Specifically, the data acquisition unit 120 may acquire input data through at least one device (or sensor) related to the first electronic device 10. In this case, at least one device may be an input device or a sensor included in the input device.
  • the transmission unit 130 may determine whether to transmit the input data by identifying the input data (S130). Specifically, the transmission unit 130 may determine whether to transmit the input data to the second electronic device 20 based on at least one of a relationship of the input data to the second electronic device 20 and setting information. A more detailed description related to the determination of whether to transmit will be described later with reference to FIGS. 7 to 9. Meanwhile, whether to transmit the input data may be determined based on a control signal received from the second electronic device 20 in addition to identification of the input data.
  • the transmission unit 130 may transmit the input data to the second electronic device 20 based on the determination of transmission of the input data (S140). Specifically, the transmission unit 130 transmits input data to the second electronic device 20 (for example, the second electronic device 20) based on the connection between the first electronic device 10 and the second electronic device 20 through a common interface. It may be transmitted to the data receiving unit 210 of (20).
  • the data receiver 140 may receive output data from the second electronic device 20 (S150).
  • the output data is related to input data, and may be data processed by the second electronic device 20 based on the input data, for example.
  • the data output unit 160 may output output data.
  • the data output unit 160 may receive output data converted into a form suitable for output through the function unit 150 and output it through the data output unit 160.
  • the data output unit 160 may transmit feedback information related to output data to the second electronic device 20, and the second electronic device 20 may process the input data in consideration of this. .
  • the data output unit 160 may include a plurality of output devices, and in this case, the output data may be output through a plurality of output devices.
  • FIG. 7 is a flowchart illustrating an example of a step of determining whether to transmit data in a first electronic device according to an embodiment of the present invention. Specifically, FIG. 7 shows an embodiment of step S130 of FIG. 6.
  • the transmission unit 130 may check whether the acquisition of input data is acquired by a request of the second electronic device 20 (S210 ).
  • the data receiver 140 may receive a signal requesting input data from the second electronic device 20 in response to establishing a connection with the second electronic device 20.
  • the signal for requesting input data includes, for example, at least one of information on the input device related to the input data, the port number of the first electronic device 10 to which the input device is connected (or included), and the type of input data. May include information about.
  • the second electronic device 20 may create one or more connections with the first electronic device 10, and the second electronic device 20 may be configured to be connected to the first electronic device 10 based on identification information of each connection. 10) The input device can be controlled. Also, based on the identification information of each connection, the first electronic device 10 may transmit data acquired through the input device.
  • the transmission unit 130 may identify whether such a signal is received or information included in the signal, and check whether the acquisition of input data is obtained by a request of the second electronic device 20.
  • the transmission unit 130 may determine to transmit the input data to the second electronic device 20 (S220 ).
  • the transmission unit 130 may transmit the input data to the function unit 150.
  • the input data may be processed by the function unit 150 and output through the data output unit 160.
  • FIG. 8 is a flowchart illustrating another example of a step of determining whether to transmit data in a first electronic device according to an embodiment of the present invention. Specifically, FIG. 8 shows another embodiment of step S130 of FIG. 6.
  • the transmission unit 130 may check setting information for connection with the first electronic device 10 from the second electronic device 20 (S310 ).
  • the data receiving unit 140 checks the second electronic device in step S110 of FIG. 6 in response to establishing a connection with the second electronic device 20, the first electronic device from the second electronic device 20 (10) It is possible to receive configuration information for connection with.
  • the setting information may include information on the capability of the second electronic device 20.
  • the setting information may further include information on an input device and an output device related to the first electronic device 10 that can be recognized by the second electronic device 20.
  • the information on the capability includes, for example, information on the performance of the processor of the second electronic device 20, the type of the first electronic device 10 that can be recognized by the second electronic device 20, Regarding at least one of the number, connection method, connection speed, supported protocol, resolution, number of simultaneously recognizable inputs (eg, touch input), and data capacity that can be processed by the second electronic device 20 at a predetermined time. May contain information.
  • the information on the input device and the output device is, for example, whether an input device or an output device included in the second electronic device 20 exists, the type and number of the input device or output device, if any, and the second electronic device 20 It may include information on at least one of the types (eg, image, sound) of input data that can be processed by.
  • the transmission unit 130 may determine to transmit the input data to the second electronic device 20 when the received setting information matches specific information (S320). If the received setting information does not match the specific information, the transmission unit 130 may transmit the input data to the function unit 150. In this case, the input data may be processed by the function unit 150 and output through the data output unit 160.
  • the transmission unit 130 may determine whether a specific condition is met based on the setting information, and if the specific condition is met, the transmission unit 130 may determine to transmit the input data to the second electronic device 20.
  • the specific condition is that when the input data is obtained by the request of the second electronic device, when the data processing efficiency of the first electronic device 10 is less than or equal to a specific value, the data processing of the first electronic device 10 When the efficiency is lower than the data processing efficiency of the second electronic device 20, and the input data is data that can be processed through the second electronic device 20, the first electronic device 10 and the second electronic device 20 When the input data is processed in parallel by, the data processing efficiency of the first electronic device 10 increases by a specific value or more, or the first electronic device 10 transmits the input data to the second electronic device 20. It may include at least one of the cases in which the user's input is received.
  • FIG. 9 is a flowchart illustrating another example of a step of determining whether to transmit data in a first electronic device according to an embodiment of the present invention. Specifically, FIG. 9 shows another embodiment of step S130 of FIG. 6.
  • the transmission unit 130 may check a connection identifier related to the second electronic device 20 (S410 ).
  • the connection identifier may be specific unique information to identify the second electronic device 20 capable of receiving input data from the first electronic device 10.
  • the first electronic device 10 may pre-store information on the connection identifier, and based on this, the transmission unit 130 may check the connection identifier related to the second electronic device 20 (S410).
  • the transmission unit 130 may determine to transmit the input data to the second electronic device 20 (S420). If the connection identifier does not correspond to specific information, the transmission unit 130 may transmit input data to the function unit 150. In this case, the input data may be processed by the function unit 150 and output through the data output unit 160.
  • FIG. 10 is a flowchart of a data processing method of a second electronic device according to an embodiment of the present invention.
  • the data receiver 210 may receive input data from the first electronic device 10 (S510 ). Specifically, the data receiving unit 210 may receive input data from the transmitting unit 130 of the first electronic device 10 through a common interface.
  • the function unit 220 may generate output data by processing input data acquired using an application of the second electronic device 20 (S520).
  • the OS of the second electronic device 20 may be different from the OS of the first electronic device 10, and accordingly, the application of the second electronic device 20 may be operated on the OS of the second electronic device 20. I can.
  • the function unit 220 may process input data using an application operable on the OS of the second electronic device 20 as described above.
  • the application of the second electronic device 20 may be an application that performs text translation.
  • the function unit 220 may generate output data by translating text included in the input data.
  • the generated output data may be data in which a portion of the input data corresponding to text is replaced with translated text.
  • the application may be an application that performs at least one of image processing and sound processing.
  • the functional unit 220 may perform data processing in the HAL area (or the driver area or the hardware area) of the second electronic device 20 based on receiving the input data through the common interface. Accordingly, the second electronic device 20 may recognize that the input data has been acquired by itself, not through the first electronic device 20.
  • the data transmission unit 230 may provide output data to the first electronic device 10 (S530).
  • the data transmission unit 230 may provide output data to the data reception unit 140 of the first electronic device 10 through a common interface.
  • the first electronic device 10 may output information indicating that the corresponding output is generated by the second electronic device 20 in response to the output of the output data.
  • FIG. 11 is a flowchart of a data processing method of a second electronic device according to another embodiment of the present invention. Specifically, FIG. 11 shows an example of a flowchart of a data processing method when the second electronic device 20 includes a separate data output unit 240.
  • the data receiving unit 210 may obtain input data from the first electronic device 10 (S610 ). Step S610 may correspond to step S510 of FIG. 10.
  • the function unit 220 may generate output data based on processing the input data using an application of the second electronic device 20 (S620). Step S620 may correspond to step S520 of FIG. 10.
  • the function unit 220 may check whether the output data can be output through the data output unit 240 (S630). For example, the function unit 220 may check whether the data output unit 240 is included in the second electronic device 20. When the data output unit 240 is included in the second electronic device 20, the function unit 220 may identify a condition of data that can be output through the data output unit 240. The function unit 220 may check whether the output data can be output according to whether a condition of data that can be output through the data output unit 240 matches the output data.
  • the function unit 220 may provide the output data to the first electronic device 10 through the data transmission unit 230 (S640 ).
  • the function unit 220 may provide the output data to the data output unit 240 (S650 ).
  • FIG. 12 is a functional block diagram illustrating a first electronic device based on Linux according to an embodiment of the present invention. Specifically, FIG. 12 shows a system structure of Linux of the first electronic device 10. Hereinafter, a description of a configuration that is easy for a person skilled in the art in relation to the Linux system structure will be omitted.
  • the first electronic device 10 is an Agent (hereinafter, referred to as an agent) 41, a Configuration Manager (hereinafter, referred to as a manager) 43, and a Received Data Viewer (hereinafter, referred to as a viewer) in a user space. ) (45), Device Handle Manager (hereinafter, DHM) (47) may be included.
  • agent hereinafter, referred to as an agent
  • manager Configuration Manager
  • a viewer Received Data Viewer
  • DHM Device Handle Manager
  • the agent 41 may control the DHM 47 using setting information read from the manager 43.
  • the manager 43 provides various information related to transmission of input data to the second electronic device 20, for example, information on an input device capable of transmitting input data (eg, input device type, identifier) or input data. You can manage information on rules related to transmission.
  • the viewer 45 may display a variety of received data so that the user can recognize it.
  • Data displayed by the viewer 45 may include, for example, data received from the second electronic device 20.
  • the DHM 47 may have the authority to access the input device set to be transmittable to the second electronic device 20. Through this, the DHM 47 can prevent direct access to an input device that does not pass through the DHM 47.
  • the DHM 47 may control the flow of data. Specifically, the DHM 47 may adjust a transmission path of input data acquired through at least one sensor of the input device.
  • the DHM 47 may adjust the transfer path of the input data according to the general data processing flow (eg, output through the application of the first electronic device 10). .
  • the DHM 47 may adjust a transmission path of the input data so that the input data is transmitted to the second electronic device 20.
  • the DHM 47 is input to the second electronic device 20 through a Peripheral Component Interconnect Express (PCIe) adapter (hereinafter, referred to as PCIe).
  • PCIe Peripheral Component Interconnect Express
  • the transmission path of the input data can be adjusted so that the data is transmitted.
  • FIG. 13 a more specific example related to the control of the data transmission path of the DHM 47 may be referred to FIG. 13.
  • FIG. 13 is a diagram illustrating a data flow of a first electronic device according to an embodiment of the present invention based on Linux.
  • the DHM 47 may have authority to control the input device 11 of the first electronic device 10.
  • the DHM 47 may control a delivery path of input data acquired through the input device 11 under the control of the agent 41.
  • the DHM 47 applies the input data acquired from the input device 11 to the Camera Application. (Hereinafter, it can be delivered to the application) 49.
  • the DHM 47 may transmit the input data obtained from the input device 11 to the PCIe 48. Accordingly, input data may be transmitted to the second electronic device 20 through the PCIe 48.
  • FIG. 14 is a diagram illustrating recognition of input data in a second electronic device according to an embodiment of the present invention from a system side. Specifically, FIG. 14 illustrates a case in which the Android OS is applied to the second electronic device 20 as an example.
  • HAL Hardware Abstraction Layer
  • HIDL HAL interface definition language
  • the HAL 51 may include a Hardware Emulation Manager (HEM) 53 capable of processing data related to the first electronic device 10.
  • the HEM 53 may have authority related to the input device of the first electronic device 10.
  • the authority of the HEM 53 may actually be the authority for the shadow device corresponding to the input device of the first electronic device 10.
  • the HEM 53 may have the authority to acquire and control input data related to the CAM1 55 from the first electronic device 10.
  • the HEM 53 may receive input data from the first electronic device 10 and provide the received input data to the application so that the input data is processed by the application of the second electronic device 20.
  • FIG. 15 is a diagram for describing operations of a first electronic device and a second electronic device according to an embodiment of the present invention based on Linux. Specifically, FIG. 15 is a diagram for explaining information exchange for determining whether to transmit input data between the first electronic device 10 and the second electronic device 20 based on a Linux-based configuration.
  • the first electronic device 10 may include an agent 1 61, a DSM1 62, and a configuration manager 1 (hereinafter, a manager 1) 63, and the second electronic device 20 It may include agent 2 (71), DSM2 (72), and configuration manager 2 (hereinafter, manager 2) 73.
  • Agent 1 61 and agent 2 71 may exchange connection IDs with each other (S701).
  • the agent 1 61 may request the manager 1 63 to start a configuration setup to start the configuration setup (S702).
  • the agent 2 71 may request the manager 2 73 to start the configuration setup to start the configuration setup (S703).
  • the connection ID may include information for identifying a connection, and a connection between a specific sensor and an electronic device may be identified based on the connection ID.
  • the manager 1 63 provides specific information related to the connection to the DSM1 62 (S704), and the manager 2 73 provides the setting information to the DSM2 72 (S705). have.
  • the manager 1 63 may request setting information from the manager 2 73 (S707). Accordingly, the manager 2 73 may provide the setting information to the manager 1 63 (S708).
  • the manager 1 63 may receive the setting information and start matching with specific information in connection with the connection of the first electronic device 10 (S709).
  • the manager 1 63 may transmit information on the result of matching success (hereinafter, the matching result) to the agent 1 61 and the manager 2 73 (S710 and S711).
  • the manager 273 may provide the information about the matching result to the agent 271 (S712).
  • input data obtained from the first electronic device 10 may be transmitted to the second electronic device 20. If matching fails, input data obtained from the first electronic device 10 may not be transmitted to the second electronic device 20.
  • FIG. 16 is a diagram illustrating an example of output data provided by a first electronic device according to an embodiment of the present invention. Specifically, FIG. 16 shows an example in which the input data is an image, and the function usable in the second electronic device is a translation function.
  • Image 1 40 of FIG. 16 may represent input data acquired by the first electronic device 10.
  • Image 2 50 may represent output data finally output by the first electronic device 10 by receiving output data generated by the second electronic device 20.
  • Image 1 (40) includes texts in the first language such as'Schule' and'techniktags'.
  • the image 1 40 may be acquired from the first electronic device 10 and transmitted to the second electronic device 20, and accordingly, the text may be translated by the translation application of the second electronic device 20.
  • texts in the first language such as'Schule' and'techniktags' in the image 1 40 may be translated, and texts in the second language such as'School' and'working days' may be displayed in the corresponding area.
  • the first electronic device 10 can be configured by simply connecting the latest second electronic device 20 to the existing first electronic device 10. ) To enable the function of the second electronic device 20 to be used, so that the user of the first electronic device 10 can use only the second electronic device 20 without replacing the first electronic device 10 Make it available.
  • the first electronic device 10 extends the functions provided by other devices, that is, the second electronic device 20 to be easily provided through the first electronic device 10. can do. Accordingly, the user of the first electronic device 10 may more effectively experience the functions provided by the second electronic device 20.
  • the second electronic device 20 can be implemented as a simple unit that does not include an output device but can operate a predetermined OS, and thus can have high productivity.
  • the second electronic device 20 can be manufactured in a small size, the second electronic device 20 can be more easily connected to the first electronic device 10, thereby having high utilization.
  • Combinations of each block in the block diagram attached to the present specification and each step in the flowchart may be performed by computer program instructions. Since these computer program instructions can be mounted on the processor of a general-purpose computer, special purpose computer or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are shown in each block or flowchart of the block diagram. Each step creates a means to perform the functions described.
  • These computer program instructions can also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular way, so that the computer-usable or computer-readable memory It is also possible to produce an article of manufacture in which the instructions stored in the block diagram contain instruction means for performing the functions described in each block of the block diagram or each step of the flowchart. Since computer program instructions can also be mounted on a computer or other programmable data processing equipment, a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for the instructions to perform the processing equipment to provide steps for executing the functions described in each block of the block diagram and each step of the flowchart.
  • each block or each step may represent a module, segment, or part of code that contains one or more executable instructions for executing the specified logical function(s).
  • functions mentioned in blocks or steps may occur out of order.
  • two blocks or steps shown in succession may in fact be performed substantially simultaneously, or the blocks or steps may sometimes be performed in the reverse order depending on the corresponding function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)

Abstract

본 발명의 일 실시예에 따른 제1 전자 장치의 데이터 처리 방법은, 상기 제1 전자 장치와 연결된 제2 전자 장치를 식별함에 기초하여, 상기 제2 전자 장치의 성능(capability)에 대한 정보를 포함하는 설정 정보를 확인하는 단계와, 상기 제1 전자 장치와 관련된 적어도 하나의 장치를 통해 입력 데이터를 획득하는 단계와, 상기 입력 데이터의 상기 제2 전자 장치와의 관련성 및 상기 설정 정보 중 적어도 하나를 기초로 상기 입력 데이터의 상기 제2 전자 장치로의 전송 여부를 결정하는 단계와, 상기 입력 데이터의 전송이 결정됨에 기초하여 상기 입력 데이터를 상기 제2 전자 장치로 전송하는 단계와, 상기 제2 전자 장치로부터 상기 입력 데이터를 기반으로 생성된 출력 데이터를 수신하는 단계와, 상기 제1 전자 장치와 연관된 출력장치를 통해 상기 획득된 출력 데이터를 출력하는 단계를 포함할 수 있다.

Description

데이터를 처리하는 방법 및 그 전자 장치
본 발명은 복수의 전자 장치 사이의 데이터 처리 방법에 대한 것으로 일 전자 장치에서 획득한 입력 데이터를 기반으로 타 전자 장치에서 데이터 처리를 거친 뒤 이를 출력하는 장치 및 방법에 관한 발명이다. 보다 구체적으로 본 발명은 제1 전자 장치에 의해 획득된 입력 데이터가 제2 전자 장치에 의해 처리된 후 제1 전자 장치를 통해 출력되도록 하는 제1 전자 장치 및 그 방법에 관한 것이다.
전자 기술의 급격한 발전에 따라, 일상생활에는 다양한 종류의 전자 장치들이 보급되어 있다. 전자 기술의 보급으로 전자 기술의 활용에 대한 사용자의 이해도가 높아짐에 따라, 사용자는 다양한 방식으로 전자 기술이 제공하는 기능을 이용하고 있다.
이러한 측면에서, 한 종류의 장치에서 제공되는 기술을 다른 종류의 장치에서도 이용하기 위해 복수의 장치를 연결하여 기능을 확장하는 기능 확장 기술에 대한 관심이 증대되고 있다. 기능 확장 기술은 예를 들면, 티비(tv)에 모바일 단말을 연결하여, 티비를 통해 모바일 단말의 기능을 이용 하는 기술이 있을 수 있다.
그러나, 이와 같은 기존의 기능 확장 기술의 경우 단순한 미러링(mirroring) 기술에 기반한 것으로, 제2 전자 장치에서 표시되는 화면을 제1 전자 장치로 옮겨주기만 한다. 따라서, 사용자가 복수의 장치 간의 기능을 자유롭게 이용하기에는 한계가 있었다.
따라서, 보다 효율적이며 효과적으로 복수의 장치 간 기능을 이용하도록 하는 기술이 요구된다.
본 발명이 해결하고자 하는 과제는, 제1 전자 장치를 통해 획득된 입력 데이터를 제2 전자 장치를 통해 처리하여 제1 전자 장치를 통해 제공되도록 함으로써 제1 전자 장치에서도 제2 전자 장치의 기능을 보다 효과적으로 이용할 수 있도록 하는 것이다.
또한, 본 발명은 제1 전자 장치에서 센서를 통해 획득된 정보를 기반으로 이를 제2 전자 장치에 제공할지 결정하고, 제2 전자 장치에 정보를 제공하게 되면, 제2 전자 장치가 획득한 정보를 처리하여 다시 제1 전자 장치를 통해 출력할 수 있도록 하는 방법 및 전차 장치를 제공하는 것을 목적으로 한다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 발명의 일 실시예에 따른 제1 전자 장치의 데이터 처리 방법은, 상기 제1 전자 장치와 연결된 제2 전자 장치를 식별함에 기초하여, 상기 제2 전자 장치의 성능(capability)에 대한 정보를 포함하는 설정 정보를 확인하는 단계와, 상기 제1 전자 장치와 관련된 적어도 하나의 장치를 통해 입력 데이터를 획득하는 단계와, 상기 입력 데이터의 상기 제2 전자 장치와의 관련성 및 상기 설정 정보 중 적어도 하나를 기초로 상기 입력 데이터의 상기 제2 전자 장치로의 전송 여부를 결정하는 단계와, 상기 입력 데이터의 전송이 결정됨에 기초하여 상기 입력 데이터를 상기 제2 전자 장치로 전송하는 단계와, 상기 제2 전자 장치로부터 상기 입력 데이터를 기반으로 생성된 출력 데이터를 수신하는 단계와, 상기 제1 전자 장치와 연관된 출력장치를 통해 상기 획득된 출력 데이터를 출력하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따라 데이터를 처리하는 제1 전자 장치는, 상기 제1 전자 장치와 연결된 제2 전자 장치를 식별함에 기초하여, 상기 제2 전자 장치의 성능(capability)에 대한 정보를 포함하는 설정 정보를 확인하고, 상기 제1 전자 장치와 관련된 적어도 하나의 장치를 통해 입력 데이터를 획득하고, 상기 입력 데이터의 제2 전자 장치와의 관련성 및 상기 설정 정보 중 적어도 하나를 기초로 상기 입력 데이터의 상기 제2 전자 장치로의 전송 여부를 결정하고, 상기 입력 데이터의 전송이 결정됨에 기초하여 상기 입력 데이터를 상기 제2 전자 장치로 전송하고, 상기 제2 전자 장치로부터 상기 입력 데이터를 기반으로 생성된 출력 데이터를 수신하고, 상기 제1 전자 장치와 연관된 출력장치를 통해 상기 획득된 출력 데이터를 출력하는 제어부를 포함할 수 있다.
본 발명의 실시예에 따른 데이터를 처리하는 제1 전자 장치 및 방법은, 제1 전자 장치의 구성(예: 입력 장치, 출력 장치)을 이용하여 획득된 데이터가 제2 전자 장치를 통해 처리하여 제1 전자 장치를 통해 제공되도록 함으로써, 제1 전자 장치에서 제2 전자 장치의 기능을 사용할 수 있도록 한다.
또한, 본 발명의 실시예에 따르면 제1 전자 장치에서 획득한 정보를 제2 전자 장치에 전송할지 여부를 판단하고, 판단 결과를 기반으로 제2 전자 장치에 획득한 정보를 전송할 수 있으며, 제2 전자 장치의 연산 능력을 활용하여 제1 전자 장치에서 획득한 정보를 원활하게 처리함으로써 사용자의 사용성이 향상되도록 한다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 제1 전자 장치에서 제2 전자 장치의 기능을 이용하는 경우를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 데이터 처리 방법을 개념적으로 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 데이터 처리 방법이 적용되는 경우의 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 제1 전자 장치와 제2 전자 장치의 데이터 흐름을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 제1 전자 장치와 제2 전자 장치의 기능 블록도이다.
도 6은 본 발명의 일 실시예에 따른 제1 전자 장치의 데이터 처리 방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 제1 전자 장치에서 데이터 전송 여부를 결정하는 단계의 일 예를 구체적으로 나타내는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 제1 전자 장치에서 데이터 전송 여부를 결정하는 단계의 다른 예를 구체적으로 나타내는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 제1 전자 장치에서 데이터 전송 여부를 결정하는 단계의 또 다른 예를 구체적으로 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 제2 전자 장치의 데이터 처리 방법의 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 제2 전자 장치의 데이터 처리 방법의 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 제1 전자 장치를 리눅스 기반으로 표현한 기능 블록도이다.
도 13은 본 발명의 일 실시예에 따른 제1 전자 장치의 데이터 흐름을 리눅스 기반으로 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 제2 전자 장치에서 입력 데이터의 인식을 시스템 측면에서 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 제1 전자 장치와 제2 전자 장치의 동작을 리눅스 기반으로 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 제1 전자 장치에서 제공하는 출력 데이터의 예를 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 포함할 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로서 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
도 1은 제1 전자 장치에서 제2 전자 장치의 기능을 이용하는 경우를 설명하기 위한 도면이다. 구체적으로, 도 1은 기존에 복수의 장치(예: 제1 전자 장치와 제2 전자 장치)를 이용하여 하나의 기능을 이용하는 경우의 예를 나타낸다.
도 1을 참조하면, 제1 전자 장치(10)와 제2 전자 장치(20)에는 동일한 화면이 표시될 수 있으며, 이에 따라 제1 전자 장치(10)와 제2 전자 장치(20)는 동일한 기능(예: 멀티미디어(multimedia)의 재생)을 이용할 수 있다. 이 때, 동일한 기능을 이용하는 방식은 미러링(mirroring) 기술에 기반한 것일 수 있다. (여기서, 미러링 기술은 통상의 기술자에게 용이한 바 자세한 설명은 생략하겠다.)
즉, 기존에는 제1 전자 장치(10)와 제2 전자 장치(20)가 하나의 기능을 이용하기 위해 하나의 장치(예: 제2 전자 장치(20))에서 표시되는 화면을 단순히 다른 장치에서 표시하기만 하는 미러링 기술이 이용되었다.
따라서, 사용자가 복수의 장치 간의 기능을 자유롭게 이용하기에는 한계가 있었다. 후술하겠으나 본 발명의 일 실시예에 따른 제1 전자 장치 또는 제2 전자 장치는 제1 전자 장치와 제2 전자 장치의 기능의 이용이 보다 자유롭고 효과적으로 이루어지도록 할 수 있다. 다만 본 발명에서 예상되는 효과는 상술한 예에 제한되지 않음은 물론이다.
도 2는 본 발명의 일 실시예에 따른 데이터 처리 방법을 개념적으로 설명하기 위한 도면이다.
도 2를 참조하면, 제1 전자 장치(10)와 제2 전자 장치(20)는 구분되는 별개의 장치일 수 있다. 예를 들어, 제1 전자 장치(10)는 자동차(1)에 포함되어 다양한 기능을 제공하는 자동자 임베디드(embedded) 시스템일 수 있고, 제2 전자 장치(20)는 특정한 OS(operating system)(예: 안드로이드 OS, IOS) 상에서 동작하며 애플리케이션이 설치되어 소정 기능(예: 번역 기능, 게임 기능)을 제공하는 유닛(unit)일 수 있다. 실시예에서 제1 전자 장치(10)에도 OS가 설치될 수 있으며, 제1 전자 장치(10)와 제2 전자 장치(20)는 인터페이스를 통해 연결될 수 있다. 또한 실시예에서 제1 전자 장치(10)는 여러 종류의 입력을 감지할 수 있는 입력 장치 및 여러 종류의 출력을 제공할 수 있는 출력 장치를 포함할 수 있다.
경우에 따라, 제1 전자 장치(10)는 입력장치(예: 카메라(camera), 마이크(microphone))와 출력장치(예: 헤드업디스플레이(head up display, HUD), 스피커(speaker))를 구비할 수 있다. 이러한 경우, 제1 전자 장치(10)는 다양한 데이터(예: 이미지(image), 소리(sound))를 획득하거나, 출력할 수 있다.
제2 전자 장치(20)에는 제2 전자 장치(20)의 OS에서 구동 가능한 다양한 애플리케이션이 설치되어 있을 수 있다. 경우에 따라, 제1 전자 장치(10)의 OS와 제2 전자 장치(20)의 OS는 서로 상이한 것일 수 있고 상술한 애플리케이션은 제1 전자 장치(10)에는 설치될 수 없는 것일 수 있다.
이러한 경우, 제1 전자 장치(10)와 제2 전자 장치(20) 각각에서 직접 이용가능한 기능은 서로 상이할 수 있다. 즉, 제1 전자 장치(10)가 자체적으로 이용가능한 기능과 제2 전자 장치(20)가 자체적으로 이용가능한 기능은 서로 상이할 수 있다.
그러나, 본 발명의 일 실시예에 따른 제1 전자 장치(10)와 제2 전자 장치(20)는 서로 연결됨을 기초로, 제1 전자 장치(10)에서 제2 전자 장치(20)가 자체적으로 제공하는 기능이 이용가능하도록 할 수 있다. 보다 구체적으로 제2 전자 장치(20)는 제1 전자 장치(10)의 센서가 획득한 데이터를 제공 받을 수 있고, 이를 기반으로 제2 전자 장치(20)는 데이터를 처리할 수 있으며, 이를 다시 제1 전자 장치(10)에 제공하여 출력하도록 동작할 수 있다.
구체적으로 예를 들면, 제1 전자 장치(10)에서 이미지를 획득하면 이를 제2 전자 장치(20)에 전송하여, 제2 전자 장치(20)의 번역 기능을 기초로 이미지 내의 텍스트가 번역되도록 할 수 있다. 제1 전자 장치(10)는 번역된 텍스트를 포함하는 이미지를 제2 전자 장치(20)로부터 수신할 수 있다. 이에 따라 제1 전자 장치(10)에서 제2 전자 장치(20)의 기능이 이용될 수 있다.
도 3는 본 발명의 일 실시예에 따른 데이터 처리 방법이 적용되는 경우의 예를 설명하기 위한 도면이다.
도 3을 참조하면, 자동차(1)에 포함된 제1 전자 장치(10)는 전방에 위치하는 표지판(2)에 대한 정보를 획득할 수 있다. 구체적으로, 제1 전자 장치(10)는 입력 데이터로서 카메라를 이용하여 자동차(1)가 이동하는 방향(또는 전방)에 위치한 사물 또는 환경에 대한 이미지(이하, 전방 이미지)를 획득할 수 있다.
도시된 바와 같이, 자동차(1)가 이동하는 방향, 즉 전방에 표지판(2)이 위치하는 경우, 제1 전자 장치(10)는 카메라를 통해 표지판(2)을 포함하는 자동차(1)의 전방 이미지를 획득할 수 있다.
도시하지는 않았으나, 자동차(1)의 내부에는 제1 전자 장치(10)와 연결된 제2 전자 장치(20)가 위치될 수 있다. 이를 기초로 제1 전자 장치(10)는 제2 전자 장치(20)에게 카메라를 통해 획득한 전방 이미지를 전송하여, 제2 전자 장치(20)를 통해 전방 이미지가 처리되도록 할 수 있다.
제2 전자 장치(20)에 전송된 전방 이미지는 제2 전자 장치(20)에 포함된 애플리케이션 및 제2 전자 장치(20)에 포함된 연산 장치 중 적어도 하나를 통해 처리되어 제1 전자 장치(10)로 다시 전송될 수 있다. 애플리케이션은 특정한 기능, 예를 들면 번역 기능을 수행하는 것일 수 있다. 이러한 경우, 표지판(2)에 포함된 영문, 'SPEED LIMIT'가 애플리케이션을 통해 '제한 속도'로 번역될 수 있다.
제1 전자 장치(10)가 수신한 이미지, 즉 전방 이미지가 처리됨에 따라 생성된 이미지는 도 3의 화면(30)과 같을 수 있다. 즉, 제1 전자 장치(10)가 수신한 이미지에는 제2 전자 장치(20)에 의해 처리된 이미지 부분(31), 즉 번역된 '제한 속도'라는 텍스트가 포함된 영역이 포함될 수 있다.
도 4는 본 발명의 일 실시예에 따른 제1 전자 장치와 제2 전자 장치의 데이터 흐름을 설명하기 위한 도면이다. 구체적으로, 도 4는 제1 전자 장치(10)와 제2 전자 장치(20)를 포함하는 시스템에서 각 장치의 구성 중심의 데이터의 흐름을 나타낸다.
도 4를 참조하면, 입력장치(11)는 입력 데이터를 획득할 수 있다. 입력장치(11)는 입력장치(11)와 관련된 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 입력장치(11)는 카메라와 관련된 이미지 센서, 터치 디스플레이와 관련된 터치 센서, 마이크와 관련된 소리 센서를 포함할 수 있다.
입력 데이터는 분배기(13)를 통해 인터페이스(15)와 SoC(system on chip)(17) 중 적어도 하나로 제공될 수 있다. 예를 들어, 입력 데이터가 제2 전자 장치(20)와 관련된 경우, 입력 데이터는 인터페이스(15)로 제공될 수 있다. 경우에 따라, 입력 데이터는 인터페이스(15)와 SoC(17) 모두에게 제공될 수도 있다.
입력 데이터가 제2 전자 장치(20)와 관련되지 않은 경우, 입력 데이터는 인터페이스(15)로 제공되지 않을 수 있다. 이러한 경우, 입력 데이터는 SoC(17)로 제공될 수 있다.
입력 데이터의 제2 전자 장치(20)와의 관련성 식별에 대해서는 도 6을 통해 보다 구체적으로 후술하겠다.
인터페이스(interface)(15)는 입력 데이터를 제2 전자 장치(20)에게 전송할 수 있다. 구체적으로, 인터페이스(15)는 제2 전자 장치(20)의 인터페이스(21)에게 입력 데이터를 전송할 수 있다. 이러한 입력 데이터의 전송은 인터페이스(15, 21)를 이용하여 제1 전자 장치(10)와 제2 전자 장치(20)가 연결됨에 기반한 것일 수 있다.
이 때, 제1 전자 장치(10)와 제2 전자 장치(20)에서 이용되는 인터페이스(15, 21)은 공용 인터페이스 또는 고속의 공용 인터페이스일 수 있다. 제1 전자 장치(10)와 제2 전자 장치(20)는 무선 및 무선 통신 중 적어도 하나를 통해 연결될 수 있다.
제2 전자 장치(20)의 인터페이스(21)는 제1 전자 장치(10)로부터 수신된 입력 데이터를 SoC(23)에게 제공할 수 있다. SoC(23)는 제2 전자 장치(20)에 설치된 애플리케이션을 이용하여 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 예를 들면, SoC(23)는 입력 데이터에 포함된 텍스트를 번역하여 번역된 텍스트를 포함하는 출력 데이터를 생성할 수 있다.
출력 데이터는 제2 전자 장치(20)의 인터페이스(21)로부터 제1 전자 장치(10)의 인터페이스(15)로 전송될 수 있다. 출력 데이터는 인터페이스(15)로부터 SoC(17)로 제공될 수 있다. SoC(17)는 출력 데이터를 출력장치(19)로 제공하여 출력되도록 할 수 있다.
인터페이스들(15, 21)간에 전송되는 데이터는 로우 데이터(raw data)이기 때문에 SoC(17)는 출력장치(19)에 의해 출력되기 적합한 형태로 출력 데이터를 변환하여 출력장치(19)에 제공할 수 있다.
출력장치(19)에 의해 출력 데이터가 출력됨으로써 사용자는 제2 전자 장치(20)의 기능이 반영된 정보를 이용하게 될 수 있다.
한편, 도 4에서는 입력장치(11)와 출력장치(19)가 제1 전자 장치(10)에 포함된 형태로 도시하였으나, 이에 제한되지 않고, 입력장치(11)와 출력장치(19)는 각각이 별도의 구성으로 구현되어 제1 전자 장치(10)에 연결될 수도 있다.
한편, 실시예에서 SoC는 각 전자 장치를 제어하기 위한 하나 이상의 프로세서를 포함할 수 있으며, 제어부로 언급될 수 있다.
도 5는 본 발명의 일 실시예에 따른 제1 전자 장치와 제2 전자 장치의 기능 블록도이다. 이하 사용되는 '…부'등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 5를 참조하면, 제1 전자 장치(10)는 연결 확인부(110), 데이터 획득부(120), 전송부(130), 데이터 수신부(140), 기능부(150), 데이터 출력부(160)를 포함할 수 있다. 제2 전자 장치(20)는 데이터 수신부(210), 기능부(220), 데이터 전송부(230), 데이터 출력부(240)를 포함할 수 있다.
제1 전자 장치(10)와 제2 전자 장치(20)는 인터페이스를 통해 연결될 수 있으며, 이를 기초로 입력 데이터 또는 출력 데이터를 송수신할 수 있다. 제1 전자 장치(10)의 각 구성(예: 연결 확인부(110))과 제2 전자 장치(20)의 각 구성(예: 데이터 수신부(210))은 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있다.
연결 확인부(110)는 제1 전자 장치(10)와 연결된 제2 전자 장치(20)를 확인할 수 있다. 제1 전자 장치(10)와 제2 전자 장치(20)는 공용 인터페이스에 기반하여 연결될 수 있는데, 연결 확인부(110)는 이러한 연결 여부를 확인할 수 있다.
연결 확인부(110)는 다양한 방식으로 연결 여부를 확인할 수 있다. 예를 들면, 연결 확인부(110)는 연결이 수립됨에 기초하여 생성되는 신호를 식별하여 연결 여부를 확인할 수 있으나, 이에 제한되는 것은 아니다.
연결 확인부(110)는 제1 전자 장치(10)와 연결된 제2 전자 장치(20)를 식별함에 기초하여, 제2 전자 장치(20)의 성능(capability)에 대한 정보를 포함하는 설정 정보를 확인할 수 있다. 경우에 따라, 설정 정보는 제2 전자 장치(20)에 의해 인식 가능한 제1 전자 장치(10)와 관련된 입력장치 및 출력장치, 또는 제2 전자 장치(20)에 의해 처리 가능한 데이터에 대한 정보를 더 포함할 수 있다.
구체적으로 성능(capability)에 대한 정보는 예를 들면, 제2 전자 장치(20)의 프로세서의 성능에 대한 정보, 제2 전자 장치(20)에 의해 인식 가능한 제1 전자 장치(10)의 종류, 개수, 연결 방식, 연결 속도, 지원 가능한 프로토콜(protocol), 해상도, 동시에 인식 가능한 입력(예: 터치 입력)의 개수, 소정 시간에 제2 전자 장치(20)에서 처리 가능한 데이터 용량 중 적어도 하나에 대한 정보를 포함할 수 있다. 이를 기초로 데이터 처리 효율과 같은 전자 장치의 성능에 대한 보다 다양한 정보가 산출될 수도 있다.
입력장치 및 출력장치에 대한 정보는 예를 들면 제2 전자 장치(20)에 포함된 입력장치 또는 출력장치의 존재 여부, 존재한다면 입력장치 또는 출력장치의 종류 및 개수, 제2 전자 장치(20)에 의해 처리가능한 입력 데이터의 종류(예: 이미지, 소리) 중 적어도 하나에 대한 정보를 포함할 수 있다.
이와 같은 설정 정보는 후술하는 데이터 수신부(140)에 의해 수신된 것일 수 있고, 전송부(130)는 데이터 수신부(140)로부터 설정 정보를 획득하여 식별할 수 있다. 다만, 이에 제한되지는 않고 경우에 따라서는 전송부(130)가 직접 설정 정보를 수신하거나 별도의 구성을 통해 전달받을 수도 있다.
데이터 획득부(120)는 제1 전자 장치(10)와 관련된 적어도 하나의 센서를 통해 입력 데이터를 획득할 수 있다. 적어도 하나의 센서는 제1 전자 장치(10)에 포함된 다양한 입력 장치에 포함되는 것일 수 있다. 예를 들어, 적어도 하나의 센서는 카메라와 같은 입력 장치에 포함되는 이미지를 획득하는 이미지 센서, 터치형 디스플레이와 같은 입력 장치에 포함되는 터치 입력을 인식하는 터치 센서, 마이크와 같은 입력 장치에 포함되는 소리를 인식하는 소리 센서를 포함할 수 있으며, 본 명세서 상에서 상술된 예에 제한되지 않는다.
입력 데이터는 적어도 하나의 센서를 통해 획득된 데이터로 만약 적어도 하나의 센서가 이미지를 획득하는 센서를 포함하는 경우, 입력 데이터는 이미지를 포함할 수 있다.
전송부(130)는 입력 데이터의 제2 전자 장치(20)와의 관련성을 식별하여 입력 데이터의 제2 전자 장치(20)로의 전송 여부를 결정할 수 있다. 구체적으로, 전송부(130)는 입력 데이터가 제2 전자 장치(20)와 관련된 것인지 여부를 식별할 수 있다. 입력 데이터가 제2 전자 장치(20)와 관련된 경우, 즉, 관련성이 있는 경우, 전송부(130)는 입력 데이터를 제2 전자 장치(20)로 전송하도록 결정할 수 있다.
일 실시예에서, 전송부(130)는 입력 데이터의 획득이 제2 전자 장치(20)의 요청에 의해 획득된 것인지 여부를 확인할 수 있다. 구체적으로, 전송부(130)는 상술한 제1 전자 장치(10)와 제2 전자 장치(20)의 연결에 기초하여 제2 전자 장치(20)로부터 요청 신호가 수신되었는지, 또는 수신된 요청 신호가 입력 데이터와 관련된 것인지 여부에 따라 입력 데이터가 제2 전자 장치(20)의 요청에 의해 획득된 것인지 여부를 확인할 수 있다. 이와 같이 제1 전자 장치(10)의 센서는 제2 전자 장치(20)의 제어 신호에 의해 제어될 수 있으며, 제2 전자 장치(20)의 제어에 의해 상기 센서를 통해 획득된 데이터는 제2 전자 장치(20)로 전송될 수 있다.
전송부(130)는 입력 데이터가 제2 전자 장치(20)의 요청에 의해 획득된 것으로 확인한 경우, 입력 데이터를 제2 전자 장치(20)로 전송하도록 결정할 수 있다.
일 실시예에서, 전송부(130)는 입력 데이터의 제2 전자 장치(20)와의 관련성 및 설정 정보 중 적어도 하나를 기초로 특정 조건에 해당하는지 여부를 식별하여, 특정 조건에 해당하면 입력 데이터의 적어도 일부를 제2 전자 장치(20)로 전송하도록 결정할 수 있다.
이 때, 특정 조건은 상기 입력 데이터가 상기 제2 전자 장치의 요청에 의해 획득된 경우, 제1 전자 장치(10)의 데이터 처리 효율이 특정 값 이하인 경우, 제1 전자 장치(10)의 데이터 처리 효율이 제2 전자 장치(20)의 데이터 처리 효율 보다 낮은 경우, 입력 데이터가 제2 전자 장치(20)를 통해 처리가능한 데이터인 경우, 제1 전자 장치(10)와 제2 전자 장치(20)에 의해 입력 데이터가 병렬 처리되면 제1 전자 장치(10)의 데이터 처리 효율이 특정 값 이상 증가하는 경우, 또는 입력 데이터를 제2 전자 장치(20)에 전송하도록 하는 제1 전자 장치(10)의 사용자의 입력이 수신된 경우 중 적어도 하나를 포함할 수 있다.
경우에 따라, 전송부(130)는 제1 전자 장치(10)의 데이터 처리 효율이 소정값 이상인 경우, 입력 데이터를 제1 전자 장치(10)와 제2 전자 장치(20) 각각에 제공할 수 있다. 또는, 전송부(130)는 제1 전자 장치(10)의 데이터 처리 효율이 소정값 이하인 경우, 입력 데이터의 일부는 제1 전자 장치(10)의 기능부(150)로 제공하고, 입력 데이터의 다른 일부는 제2 전자 장치(20)로 전송할 수 있다. 이러한 경우, 입력 데이터는 제1 전자 장치(10)와 제2 전자 장치(20)를 통해 처리될 수 있다.
만약, 특정 조건에 해당하지 않으면, 입력 데이터는 후술하는 제1 전자 장치(10)의 기능부(150)에 의해 처리되고, 이에 따라 출력 데이터가 생성될 수 있다. 이러한 출력 데이터는 데이터 출력부(160)를 통해 출력될 수 있다.
일 실시예에서, 전송부(130)는 제2 전자 장치(20)와 관련된 연결 식별자를 확인할 수 있다. 전송부(130)는 연결 식별자를 기반으로 제2 전자 장치(20)에 대한 입력 데이터의 전송 여부를 결정할 수 있다.
예를 들어, 전송부(130)는 제2 전자 장치(20)와 관련된 연결 식별자가 존재하거나 또는 제2 전자 장치(20)와 관련된 연결 식별자가 특정 연결 식별자에 대응하는 경우, 입력 데이터를 제2 전자 장치(20)로 전송하도록 결정할 수 있다.
전송부(130)는 입력 데이터의 전송이 결정됨에 기초하여 입력 데이터를 제2 전자 장치(20)로 전송할 수 있다. 구체적으로, 전송부(130)는 입력 데이터의 전송이 결정되면, 제1 전자 장치(10)와 제2 전자 장치(20) 사이의 연결(예: 공용 인터페이스를 통한 연결)을 기초로 입력 데이터를 제2 전자 장치(20)에게 전송할 수 있다.
경우에 따라, 전송부(130)는 입력 데이터를 입력 데이터와 관련된 장치(예: 입력장치)의 HAL(Hardware Abstraction Layer) 상에서 제2 전자 장치(20)로 전송할 수 있다. 이와 같이 실시예에서 전자 장치 사이에 송수신되는 데이터는 HAL 상의 데이터일 수 있으며, 입력 데이터는 HAL 상에서 인터페이스를 통해 전자 장치 사이에서 통신될 수 있다. 이때 HAL 상에서 통신되는 데이터는 로우 데이터(raw data)일 수 있다. 보다 구체적으로 제1 전자 장치(10)의 센서에서 획득한 데이터는 해당 센서의 HAL(51)(도 14 참조)에서 제2 전자 장치(20)와의 통신을 위한 인터페이스부로 분배될 수 있으며, 이를 통해 제2 전자 장치(20)에 제1 전자 장치(10)의 센서에서 획득한 데이터가 전송될 수 있다.
데이터 수신부(140)는 제2 전자 장치(20)로부터 입력 데이터를 기반으로 생성된 출력 데이터를 수신할 수 있다. 후술하겠으나, 제2 전자 장치(20)는 데이터 수신부(210)를 통해 전송부(130)로부터 입력 데이터를 수신하고 기능부(220)를 통해 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 출력 데이터는 제2 전자 장치(20)로부터 제1 전자 장치(10)에게 전송될 수 있다. 이를 기초로 데이터 수신부(140)는 제2 전자 장치(20)로부터 출력 데이터를 수신할 수 있다.
후술하겠으나, 출력 데이터는 제2 전자 장치(20)에 포함된 애플리케이션을 통해 입력 데이터가 처리된 데이터를 포함할 수 있다. 일 예로 제1 전자 장치(10)는 제1 전자 장치(10)에서는 설치되지 않은 애플리케이션, 즉 제2 전자 장치(20)에 포함된 애플리케이션을 이용할 수 있다.
데이터 수신부(140)는 공용 인터페이스를 포함할 수 있고, 이를 기초로 출력 데이터를 수신할 수 있다. 이 때, 데이터 수신부(140)의 공용 인터페이스와 상술한 전송부(130)의 공용 인터페이스는 하나로 구성될 수도 있고 개별적으로 구성될 수도 있다.
기능부(150)는 제2 전자 장치(20)에서 작동 가능한 다양한 어플리케이션의 기능을 수행할 수 있다. 구체적으로, 기능부(150)는 SoC(17)를 포함하는 형태로 구현되어, 제1 전자 장치(10)의 OS 상에서 작동 가능한 애플리케이션을 기초로 소정의 기능이 수행되도록 할 수 있다.
기능부(150)는 출력 데이터를 제1 전자 장치(10)에 적합한 형태로 처리할 수 있다. 예를 들어, 기능부(150)는 로우 데이터의 형태로 수신된 출력 데이터를 가공하여 제1 전자 장치(10)에서 출력 가능한 형태로 변환할 수 있다.
데이터 출력부(160)는 기능부(150)를 통해 출력 데이터를 전달받아 출력장치를 통해 출력할 수 있다. 예를 들어, 데이터 출력부(160)는 출력 데이터가 이미지인 경우, 이미지가 표시되도록 디스플레이 상에 출력할 수 있다.
제2 전자 장치(20)의 데이터 수신부(210)는 제1 전자 장치(10)의 전송부(130)로부터 입력 데이터를 수신할 수 있다. 데이터 수신부(210)는 공용 인터페이스를 포함할 수 있으며, 이를 통해 입력 데이터를 수신할 수 있다.
기능부(220)는 제2 전자 장치(20)에서 작동 가능한 다양한 애플리케이션의 기능을 수행할 수 있다. 구체적으로, 기능부(220)는 제2 전자 장치(20)의 OS 상에서 작동 가능한 다양한 애플리케이션을 실행시켜 애플리케이션의 기능이 수행되도록 할 수 있다. 예를 들어, 제2 전자 장치(20)가 안드로이드 OS 시스템을 가지고, 번역을 수행하는 애플리케이션이 설치된 경우, 기능부(220)는 텍스트를 번역하는 기능을 수행할 수 있다.
이를 기초로, 기능부(220)는 수신된 입력 데이터를 제2 전자 장치(20)에 포함된 애플리케이션을 통해 처리할 수 있다. 이에 따라, 기능부(220)는 애플리케이션을 통해 처리된 데이터를 포함하는 출력 데이터를 생성할 수 있다.
한편, 제2 전자 장치(20)의 OS는 제1 전자 장치(10)의 OS와는 상이한 것으로, 제2 전자 장치(20)에 포함된 애플리케이션은 제1 전자 장치(10)에는 설치될 수 없는 애플리케이션일 수 있다. 따라서, 출력 데이터는 제1 전자 장치(10)를 통해 획득되지만 제2 전자 장치(20)의 기능에 의해 처리된 데이터일 수 있다. 이러한 경우, 제1 전자 장치(10)는 새로운 시스템으로의 교체 없이도 제2 전자 장치(20)를 연결을 통해 다양한 기능을 효과적으로 이용할 수 있다.
데이터 전송부(230)는 출력 데이터를 제1 전자 장치(10)에게 전송할 수 있다. 구체적으로, 데이터 전송부(230)는 출력 데이터를 제1 전자 장치(10)의 데이터 수신부(140)로 전송할 수 있다.
데이터 전송부(230)는 공용 인터페이스를 포함할 수 있으며, 이를 기초로 출력 데이터를 데이터 수신부(140)로 전송할 수 있다. 이 때, 데이터 전송부(230)의 공용 인터페이스와 상술한 데이터 수신부(210)의 공용 인터페이스는 하나로 구성될 수도 있고 개별적으로 구성될 수도 있다.
경우에 따라, 제2 전자 장치(20)는 데이터 출력부(240)를 포함할 수 있다. 데이터 출력부(240)는 디스플레이, 스피커와 같이 특정한 형태의 데이터를 출력하여 사용자에게 정보를 제공할 수 있다.
기능부(220)를 통해 생성된 출력 데이터가 특정 조건을 만족하는 경우, 데이터 출력부(240)는 출력 데이터를 기능부(220)로부터 전달받아 출력할 수 있다. 예를 들어, 특정 조건은, 기능부(220)를 통해 생성된 출력 데이터가 데이터 출력부(240)를 통해 출력 가능한 형태의 데이터인 경우를 포함할 수 있다. 다만, 특정 조건은 다양한 형태로 설정될 수 있으며 본 명세서 상에서 상술된 예에 제한되지 않는다.
도시하지는 않았으나, 경우에 따라, 제1 전자 장치(10)는 제1 전자 장치(10)에 포함된 구성의 동작을 제어하는 제어부를 포함할 수 있다. 이러한 경우, 도 5에 도시된 제1 전자 장치(10)의 각 구성(예: 연결 확인부(110))은 제어부에 의해 제어될 수 있다.
또한, 제2 전자 장치(20)도 별도의 제어부를 포함할 수 있으며, 이러한 경우 제2 전자 장치(20)의 각 구성도 제어부에 의해 제어될 수 있다.
도 6은 본 발명의 일 실시예에 따른 제1 전자 장치의 데이터 처리 방법의 흐름도이다. 도 6에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수도 있으며, 도 1 내지 도 5와 중복되는 내용은 생략될 수 있다.
도 6를 참조하면, 연결 확인부(110)는 제1 전자 장치(10)와 연결된 제2 전자 장치(20)를 확인할 수 있다(S110). 구체적으로, 연결 확인부(110)는 제1 전자 장치(10)와 연결된 제2 전자 장치를 식별함에 기초하여, 제2 전자 장치의 성능에 대한 정보를 포함하는 설정 정보를 확인할 수 있다.
데이터 획득부(120)는 입력 데이터를 획득할 수 있다(S120). 구체적으로, 데이터 획득부(120)는 제1 전자 장치(10)와 관련된 적어도 하나의 장치(또는 센서)를 통해 입력 데이터를 획득할 수 있다. 이 때, 적어도 하나의 장치는 입력장치 또는 입력장치에 포함된 센서일 수 있다.
전송부(130)는 입력 데이터를 식별하여 입력 데이터의 전송 여부를 결정할 수 있다(S130). 구체적으로, 전송부(130)는 입력 데이터의 제2 전자 장치(20)와의 관련성 및 설정 정보 중 적어도 하나를 기초로 입력 데이터의 제2 전자 장치(20)로의 전송 여부를 결정할 수 있다. 전송 여부 결정과 관련된 보다 구체적인 설명은 도 7 내지 도 9를 통해 후술하겠다. 한편 입력 데이터의 전송 여부는 입력 데이터의 식별 이외에도 제2 전자 장치(20)에서 수신된 제어 신호를 기반으로 결정될 수도 있다.
전송부(130)는 입력 데이터의 전송이 결정됨에 기초하여 입력 데이터를 제2 전자 장치(20)로 전송할 수 있다(S140). 구체적으로, 전송부(130)는 공용 인터페이스를 통한 제1 전자 장치(10)와 제2 전자 장치(20)의 연결에 기초하여 입력 데이터를 제2 전자 장치(20)(예: 제2 전자 장치(20)의 데이터 수신부(210))에게 전송할 수 있다.
데이터 수신부(140)는 제2 전자 장치(20)로부터 출력 데이터를 수신할 수 있다(S150). 여기서, 출력 데이터는 입력 데이터와 관련된 것으로, 예를 들면 입력 데이터를 기반으로 제2 전자 장치(20)에 의해 처리된 데이터일 수 있다.
데이터 출력부(160)는 출력 데이터를 출력할 수 있다. 경우에 따라, 데이터 출력부(160)는 기능부(150)를 통해 출력에 적합한 형태로 변환된 출력 데이터를 전달받아 데이터 출력부(160)를 통해 출력할 수 있다. 실시예에서 데이터 출력부(160)는 출력 데이터가 출력되는 것과 관련된 피드백 정보를 제2 전자 장치(20)로 전송할 수 있으며, 제2 전자 장치(20)는 이를 고려하여 입력 데이터를 처리할 수 있다.
경우에 따라, 데이터 출력부(160)는 복수의 출력장치를 포함할 수도 있으며, 이러한 경우 출력 데이터는 복수의 출력장치를 통해 출력될 수도 있다.
도 7은 본 발명의 일 실시예에 따른 제1 전자 장치에서 데이터 전송 여부를 결정하는 단계의 일 예를 구체적으로 나타내는 흐름도이다. 구체적으로 도 7은 도 6의 S130 단계의 일 실시예를 나타낸다.
도 7을 참조하면, 전송부(130)는 입력 데이터의 획득이 제2 전자 장치(20)의 요청에 의해 획득된 것인지 여부를 확인할 수 있다(S210). 경우에 따라, 데이터 수신부(140)는 제2 전자 장치(20)와의 연결이 수립됨에 대응하여 제2 전자 장치(20)로부터 입력 데이터를 요청하는 신호를 수신할 수 있다.
입력 데이터를 요청하는 신호에는 예를 들면, 입력 데이터와 관련된 입력장치에 대한 정보, 입력장치가 연결된(또는 포함된) 제1 전자 장치(10)의 포트번호, 및 입력 데이터의 종류 중 적어도 하나에 대한 정보를 포함할 수 있다. 또한 실시 예에서 제2 전자 장치(20)는 제1 전자 장치(10)와 하나 이상의 연결을 생성할 수 있으며, 각 연결의 식별 정보를 기반으로 제2 전자 장치(20)가 제1 전자 장치(10)의 입력 장치를 제어할 수 있다. 또한 각 연결의 식별 정보를 기반으로 제1 전자 장치(10)가 입력 장치를 통해 획득된 데이터를 전송할 수 있다.
전송부(130)는 이러한 신호의 수신 여부 또는 신호에 포함된 정보를 식별하여, 입력 데이터의 획득이 제2 전자 장치(20)의 요청에 의해 획득된 것인지 여부를 확인할 수 있다.
입력 데이터가 제2 전자 장치(20)의 요청에 의해 획득된 경우, 전송부(130)는 입력 데이터를 제2 전자 장치(20)로 전송하도록 결정할 수 있다(S220).
만약, 입력 데이터가 제2 전자 장치(20)의 요청에 의해 획득되지 않은 경우, 전송부(130)는 입력 데이터를 기능부(150)로 전달할 수 있다. 이러한 경우, 입력 데이터는 기능부(150)에 의해 처리되어 데이터 출력부(160)를 통해 출력될 수 있다.
도 8은 본 발명의 일 실시예에 따른 제1 전자 장치에서 데이터 전송 여부를 결정하는 단계의 다른 예를 구체적으로 나타내는 흐름도이다. 구체적으로 도 8은 도 6의 S130 단계의 다른 실시예를 나타낸다.
도 8을 참조하면, 전송부(130)는 제2 전자 장치(20)로부터 제1 전자 장치(10)와의 연결에 대한 설정 정보를 확인할 수 있다(S310). 경우에 따라, 데이터 수신부(140)는 제2 전자 장치(20)와의 연결이 수립됨에 대응하여 도 6의 단계 S110에서 제2 전자 장치를 확인하면, 제2 전자 장치(20)로부터 제1 전자 장치(10)와의 연결에 대한 설정 정보를 수신할 수 있다.
설정 정보는 제2 전자 장치(20)의 성능(capability)에 대한 정보를 포함할 수 있다. 경우에 따라, 설정 정보는 제2 전자 장치(20)에 의해 인식 가능한 제1 전자 장치(10)와 관련된 입력장치 및 출력장치에 대한 정보를 더 포함할 수 있다.
구체적으로 성능(capability)에 대한 정보는 예를 들면, 제2 전자 장치(20)의 프로세서의 성능에 대한 정보, 제2 전자 장치(20)에 의해 인식 가능한 제1 전자 장치(10)의 종류, 개수, 연결 방식, 연결 속도, 지원 가능한 프로토콜(protocol), 해상도, 동시에 인식 가능한 입력(예: 터치 입력)의 개수, 소정 시간에 제2 전자 장치(20)에서 처리 가능한 데이터 용량 중 적어도 하나에 대한 정보를 포함할 수 있다.
입력장치 및 출력장치에 대한 정보는 예를 들면 제2 전자 장치(20)에 포함된 입력장치 또는 출력장치의 존재 여부, 존재한다면 입력장치 또는 출력장치의 종류 및 개수, 제2 전자 장치(20)에 의해 처리가능한 입력 데이터의 종류(예: 이미지, 소리) 중 적어도 하나에 대한 정보를 포함할 수 있다.
전송부(130)는 수신된 설정 정보가 특정 정보와 일치하는 경우 입력 데이터를 제2 전자 장치(20)로 전송하도록 결정할 수 있다(S320). 만약, 수신된 설정 정보가 특정 정보와 일치하지 않는 경우, 전송부(130)는 입력 데이터를 기능부(150)로 전달할 수 있다. 이러한 경우, 입력 데이터는 기능부(150)에 의해 처리되어 데이터 출력부(160)를 통해 출력될 수 있다.
경우에 따라, 전송부(130)는 설정 정보를 기초로 특정 조건에 해당하는지 여부를 식별하여, 특정 조건에 해당하면 입력 데이터를 제2 전자 장치(20)로 전송하도록 결정할 수 있다.
이 때, 특정 조건은 상기 입력 데이터가 상기 제2 전자 장치의 요청에 의해 획득된 경우, 제1 전자 장치(10)의 데이터 처리 효율이 특정 값 이하인 경우, 제1 전자 장치(10)의 데이터 처리 효율이 제2 전자 장치(20)의 데이터 처리 효율 보다 낮은 경우, 입력 데이터가 제2 전자 장치(20)를 통해 처리가능한 데이터인 경우, 제1 전자 장치(10)와 제2 전자 장치(20)에 의해 입력 데이터가 병렬 처리되면 제1 전자 장치(10)의 데이터 처리 효율이 특정 값 이상 증가하는 경우, 또는 입력 데이터를 제2 전자 장치(20)에 전송하도록 하는 제1 전자 장치(10)의 사용자의 입력이 수신된 경우 중 적어도 하나를 포함할 수 있다.
도 9는 본 발명의 일 실시예에 따른 제1 전자 장치에서 데이터 전송 여부를 결정하는 단계의 다른 예를 구체적으로 나타내는 흐름도이다. 구체적으로 도 9은 도 6의 S130 단계의 또 다른 실시예를 나타낸다.
도 9를 참조하면, 전송부(130)는 제2 전자 장치(20)와 관련된 연결 식별자를 확인할 수 있다(S410). 연결 식별자는 제1 전자 장치(10)로부터 입력 데이터를 전송받을 수 있는 제2 전자 장치(20)를 식별하기 위해 특정 고유의 정보일 수 있다. 제1 전자 장치(10)는 연결 식별자에 대한 정보를 미리 저장하고 있을 수 있고, 이에 기초하여 전송부(130)는 제2 전자 장치(20)와 관련된 연결 식별자를 확인할 수 있다(S410).
전송부(130)는 연결 식별자가 특정 정보에 상응하는 경우 입력 데이터를 제2 전자 장치(20)로 전송하도록 결정할 수 있다(S420). 만약 연결 식별자가 특정 정보에 상응하지 않는 경우, 전송부(130)는 입력 데이터를 기능부(150)로 전달할 수 있다. 이러한 경우, 입력 데이터는 기능부(150)에 의해 처리되어 데이터 출력부(160)를 통해 출력될 수 있다.
도 10은 본 발명의 일 실시예에 따른 제2 전자 장치의 데이터 처리 방법의 흐름도이다.
도 10을 참조하면, 데이터 수신부(210)는 제1 전자 장치(10)로부터 입력 데이터를 수신할 수 있다(S510). 구체적으로, 데이터 수신부(210)는 제1 전자 장치(10)의 전송부(130)로부터 공용 인터페이스를 통해 입력 데이터를 수신할 수 있다.
기능부(220)는 제2 전자 장치(20)의 애플리케이션을 이용하여 획득된 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다(S520). 제2 전자 장치(20)의 OS는 제1 전자 장치(10)의 OS와 상이할 수 있고, 이에 따라 제2 전자 장치(20)의 애플리케이션은 제2 전자 장치(20)의 OS 상에서 동작가능한 것일 수 있다. 기능부(220)는 이와 같이 제2 전자 장치(20)의 OS 상에서 동작가능한 애플리케이션을 이용하여 입력 데이터를 처리할 수 있다.
예를 들어, 제2 전자 장치(20)의 애플리케이션은 텍스트의 번역을 수행하는 애플리케이션일 수 있다. 이에 따라 기능부(220)는 입력 데이터에 포함된 텍스트를 번역하여 출력 데이터를 생성할 수 있다. 생성된 출력 데이터는 입력 데이터 중 텍스트에 해당하는 부분이 번역된 텍스트로 치환된 데이터일 수 있다. 또한 실시예에서 애플리케이션은 이미지 처리 및 사운드 처리 중 적어도 하나를 수행하는 애플리케이션일 수 있다.
경우에 따라, 기능부(220)는 공용 인터페이스로 입력 데이터를 수신함에 기초하여 제2 전자 장치(20)의 HAL 영역(또는 드라이버 영역 또는 하드웨어 영역)에서 데이터 처리를 수행할 수 있다. 이에 따라, 제2 전자 장치(20)는 제1 전자 장치(20)를 통해 획득한 것이 아닌 자체적으로 입력 데이터를 획득한 것으로 인식하게 될 수 있다.
데이터 전송부(230)는 출력 데이터를 제1 전자 장치(10)에 제공할 수 있다(S530). 데이터 전송부(230)는 공용 인터페이스를 통해 출력 데이터를 제1 전자 장치(10)의 데이터 수신부(140)에 제공할 수 있다. 실시예에서, 제1 전자 장치(10)는 출력 데이터의 출력에 대응하여 해당 출력이 제2 전자 장치(20)에 의해 생성된 것임을 표시하는 정보를 출력할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 제2 전자 장치의 데이터 처리 방법의 흐름도이다. 구체적으로, 도 11은 제2 전자 장치(20)가 별도의 데이터 출력부(240)를 포함하는 경우의 데이터 처리 방법의 흐름도의 예를 나타낸다.
도 11을 참조하면, 데이터 수신부(210)는 제1 전자 장치(10)로부터 입력 데이터를 획득할 수 있다(S610). 단계 S610은 도 10의 단계 S510에 대응할 수 있다.
기능부(220)는 제2 전자 장치(20)의 어플리케이션을 이용하여 입력 데이터를 처리함에 기초하여 출력 데이터 생성할 수 있다(S620). 단계 S620은 도 10의 단계 S520에 대응할 수 있다.
기능부(220)는 출력 데이터가 데이터 출력부(240)를 통해 출력 가능한지 여부를 확인할 수 있다(S630). 예를 들어, 기능부(220)는 제2 전자 장치(20)에 데이터 출력부(240)가 포함되어 있는지 여부를 확인할 수 있다. 데이터 출력부(240)가 제2 전자 장치(20)에 포함되어 있는 경우, 기능부(220)는 데이터 출력부(240)를 통해 출력 가능한 데이터의 조건을 식별할 수 있다. 기능부(220)는 데이터 출력부(240)를 통해 출력 가능한 데이터의 조건이 출력 데이터와 부합하는지 여부에 따라 출력 데이터의 출력 가능 여부를 확인할 수 있다.
출력 데이터가 데이터 출력부(240)를 통해 출력 가능하지 않은 경우, 기능부(220)는 출력 데이터를 데이터 전송부(230)를 통해 제1 전자 장치(10)에 제공할 수 있다(S640). 출력 데이터가 데이터 출력부(240)를 통해 출력 가능한 경우, 기능부(220)는 출력 데이터를 데이터 출력부(240)에 제공할 수 있다(S650).
도 12는 본 발명의 일 실시예에 따른 제1 전자 장치를 리눅스 기반으로 표현한 기능 블록도이다. 구체적으로, 도 12는 제1 전자 장치(10)의 리눅스(linux)의 시스템 구조를 나타낸다. 이하에서는 리눅스 시스템 구조와 관련하여 통상의 기술자에게 용이한 구성에 대한 설명은 생략하겠다.
도 12를 참조하면, 제1 전자 장치(10)는 유저 공간(user space) 상에서, Agent(이하, 에이전트)(41), Configuration Manager(이하, 매니저)(43), Received Data Viewer(이하, 뷰어)(45), Device Handle Manager(이하, DHM)(47)을 포함할 수 있다.
에이전트(41)는 매니저(43)로부터 읽어 온 설정 정보를 이용하여 DHM(47)을 제어할 수 있다. 매니저(43)는 제2 전자 장치(20)로 입력 데이터의 전송과 관련된 다양한 정보, 예를 들면, 입력 데이터의 전송이 가능한 입력장치에 대한 정보(예: 입력장치 종류, 식별자) 또는 입력 데이터의 전송과 관련된 규칙에 대한 정보를 관리할 수 있다.
뷰어(45)는 수신된 다양한 데이터를 사용자가 인식할 수 있도록 표시할 수 있다. 뷰어(45)에 의해 표시되는 데이터는 예를 들면 제2 전자 장치(20)로부터 수신한 데이터를 포함할 수 있다.
DHM(47)은 제2 전자 장치(20)로 전송 가능하다고 설정된 입력장치에 접근할 수 있는 권한을 가질 수 있다. 이를 통해, DHM(47)은 DHM(47)을 거치지 않은 입력장치로의 직접적인 접근을 방지할 수 있다.
DHM(47)은 데이터의 흐름을 제어할 수 있다. 구체적으로, DHM(47)은 입력장치의 적어도 하나의 센서를 통해 획득한 입력 데이터의 전달 경로를 조절할 수 있다.
DHM(47)은 입력 데이터가 제2 전자 장치(20)와 관련없는 경우, 일반적인 데이터 처리 흐름(예: 제1 전자 장치(10)의 애플리케이션을 거쳐 출력)대로 입력 데이터의 전달 경로를 조절할 수 있다.
DHM(47)은 입력 데이터가 제2 전자 장치(20)와 관련된 경우, 제2 전자 장치(20)로 입력 데이터가 전송되도록 입력 데이터의 전달 경로를 조절할 수 있다. 예를 들어, DHM(47)은 입력 데이터가 제2 전자 장치(20)와 관련된 경우, PCIe(Peripheral Component Interconnect Express) 어댑터(adaptor)(이하, PCIe)를 통해 제2 전자 장치(20)로 입력 데이터가 전송되도록 입력 데이터의 전달 경로를 조절할 수 있다.
한편, DHM(47)의 데이터 전달 경로 조절과 관련된 보다 구체적인 예는 도 13을 참조할 수 있다.
도 13은 본 발명의 일 실시예에 따른 제1 전자 장치의 데이터 흐름을 리눅스 기반으로 설명하기 위한 도면이다.
도 13을 참조하면, DHM(47)은 제1 전자 장치(10)의 입력장치(11)를 제어할 수 있는 권한을 가질 수 있다. DHM(47)은 에이전트(41)의 제어를 받아 입력장치(11)를 통해 획득된 입력 데이터의 전달 경로를 제어할 수 있다.
예를 들어, 제1 전자 장치(10)의 애플리케이션(49)을 통해 입력장치(11)의 입력 데이터 획득이 요청된 경우, DHM(47)은 입력장치(11)로부터 획득된 입력 데이터를 Camera Application(이하, 애플리케이션)(49)으로 전달할 수 있다. 그러나, 제2 전자 장치(20)의 통해 입력장치(11)의 입력 데이터 획득이 요청된 경우, DHM(47)은 입력장치(11)로부터 획득된 입력 데이터를 PCIe(48)로 전달할 수 있다. 이에 따라 PCIe(48)를 통해 입력 데이터는 제2 전자 장치(20)에게 전송될 수 있다.
도 14는 본 발명의 일 실시예에 따른 제2 전자 장치에서 입력 데이터의 인식을 시스템 측면에서 설명하기 위한 도면이다. 구체적으로, 도 14는 제2 전자 장치(20)에 안드로이드 OS가 적용된 경우를 예로서 설명한다.
안드로이드 OS의 경우, 하드웨어는 HAL(Hardware Abstraction Layer)(51)을 통해 접근 가능하게 되어 있으며, HAL(51)에 접근하는 방법은 HIDL(HAL interface definition language) 등으로 표준화 될 수 있다.
도 14를 참조하면, HAL(51)은 제1 전자 장치(10)와 관련된 데이터를 처리할 수 있는 HEM(Hardware Emulation Manager)(53)을 포함할 수 있다. HEM(53)은 제1 전자 장치(10)의 입력장치와 관련된 권한을 가질 수 있다. 여기서, HEM(53)의 권한은 실제로 제1 전자 장치(10)의 입력장치에 대응하는 쉐도우 장치(shadow device)를 가정하고 이에 대한 권한일 수 있다. 예를 들어, 입력장치가 CAM1(55)을 포함하는 경우, HEM(53)은 CAM1(55)과 관련된 입력 데이터를 제1 전자 장치(10)로부터 획득하고 제어할 수 있는 권한을 가질 수 있다.
HEM(53)은 제1 전자 장치(10)로부터 입력 데이터를 수신하고, 제2 전자 장치(20)의 애플리케이션에 의해 입력 데이터가 처리되도록 애플리케이션에 수신된 입력 데이터를 제공할 수 있다.
도 15는 본 발명의 일 실시예에 따른 제1 전자 장치와 제2 전자 장치의 동작을 리눅스 기반으로 설명하기 위한 도면이다. 구체적으로, 도 15는 리눅스 기반의 구성을 기초로 제1 전자 장치(10)와 제2 전자 장치(20)간의 입력 데이터 전송여부의 결정을 위한 정보 교환을 설명하기 위한 도면이다.
도 15를 참조하면, 제1 전자 장치(10)는 에이전트1(61), DSM1(62), Configuration manager1(이하, 매니저1)(63)을 포함할 수 있고, 제2 전자 장치(20)는 에이전트2(71), DSM2(72), Configuration manager2(이하, 매니저2)(73)를 포함할 수 있다.
에이전트1(61)과 에이전트2(71)는 서로 연결 ID(connection ID)를 교환할 수 있다(S701). 에이전트1(61)은 매니저1(63)에게 설정 셋업(configuration setup) 시작을 요청하여 설정 셋업이 시작되도록 할 수 있다(S702). 에이전트2(71)은 매니저2(73)에게 설정 셋업 시작을 요청하여 설정 셋업이 시작되도록 할 수 있다(S703). 실시예에서 연결 ID는 연결을 식별하는 정보를 포함할 수 있으며, 연결 ID를 기반으로 특정 센서와 전자 장치의 연결이 식별될 수 있다.
설정 셋업이 시작되면, 매니저1(63)은 DSM1(62)에게 연결과 관련하여 특정 정보를 제공하고(S704), 매니저2(73)는 DSM2(72)에게 설정 정보를 제공(S705)할 수 있다.
매니저1(63)과 매니저2(73)가 연결(S706)되면, 매니저1(63)는 매니저2(73)에게 설정 정보를 요청할 수 있다(S707). 이에 따라 매니저2(73)가 매니저1(63)에게 설정 정보를 제공할 수 있다(S708).
매니저1(63)이 설정 정보를 받아 제1 전자 장치(10)의 연결과 관련하여 특정 정보와 매칭을 시작할 수 있다(S709).
매칭이 완료된 후, 매니저1(63)는 에이전트1(61)과 매니저2(73)에게 매칭 성공여부에 대한 결과(이하, 매칭 결과)에 대한 정보를 전송할 수 있다(S710, S711). 매니저2(73)는 매칭 결과에 대한 정보를 매니저1(63)로부터 수신하면 에이전트2(71)에게 매칭 결과에 대한 정보를 제공할 수 있다(S712).
도시하지는 않았으나, 매칭이 성공하면 제1 전자 장치(10)로부터 획득된 입력 데이터는 제2 전자 장치(20)로 전송될 수 있다. 매칭이 실패하면 제1 전자 장치(10)로부터 획득된 입력 데이터는 제2 전자 장치(20)로 전송되지 못할 수 있다.
도 16은 본 발명의 일 실시예에 따른 제1 전자 장치에서 제공하는 출력 데이터의 예를 나타내는 도면이다. 구체적으로, 도 16은 입력 데이터는 이미지이고, 제2 전자 장치에서 이용가능한 기능은 번역 기능인 경우를 예로서 나타낸다.
도 16의 이미지1(40)은 제1 전자 장치(10)에 의해 획득된 입력 데이터를 나타낼 수 있다. 이미지2(50)는 제2 전자 장치(20)에 의해 생성된 출력 데이터를 전달받아 제1 전자 장치(10)가 최종적으로 출력한 출력 데이터를 나타낼 수 있다.
이미지1(40)에는 'Schule'와 'werktags'라는 제1 언어의 텍스트가 포함되어 있다. 이미지1(40)은 제1 전자 장치(10)로부터 획득되어 제2 전자 장치(20)에 전송될 수 있고, 이에 따라 제2 전자 장치(20)의 번역 애플리케이션에 의해 텍스트가 번역될 수 있다.
이에 따라, 이미지1(40) 내의 'Schule'와 'werktags'라는 제1 언어의 텍스트는 번역되어, 'School'과 'working days'라는 제2 언어의 텍스트가 해당 영역에 표시될 수 있다.
본 발명의 일 실시예에 따른 제1 전자 장치(10)는, 기존에 구비된 제1 전자 장치(10)에 최신의 제2 전자 장치(20)를 연결하기만 하면, 제1 전자 장치(10)에서 제2 전자 장치(20)의 기능이 사용가능하도록 함으로써, 제1 전자 장치(10)의 교체 없이도 제1 전자 장치(10)의 사용자가 제2 전자 장치(20)에서만 이용 가능한 최신의 기능을 이용할 수 있도록 한다.
또한, 본 발명의 일 실시예에 따른 제1 전자 장치(10)는, 다른 장치, 즉 제2 전자 장치(20)가 제공하는 기능을 확장시켜 제1 전자 장치(10)를 통해서 용이하게 제공되도록 할 수 있다. 이에 따라, 제1 전자 장치(10)의 사용자는 제2 전자 장치(20)가 제공하는 기능을 보다 효과적으로 경험할 수 있다.
본 발명의 일 실시예에 따른 제2 전자 장치(20)는, 출력장치를 포함하지 않되 소정의 OS가 동작가능한 간단한 형태의 유닛으로 구현될 수 있어 높은 생산성을 가질 수 있다. 또한, 제2 전자 장치(20)는 소형으로 제작가능하기 때문에 제1 전자 장치(10)에 제2 전자 장치(20)가 보다 용이하게 연결되도록 함으로써 높은 활용도를 가질 수 있다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 제1 전자 장치의 데이터 처리 방법에 있어서,
    상기 제1 전자 장치와 연결된 제2 전자 장치를 식별함에 기초하여, 상기 제2 전자 장치의 성능(capability)에 대한 정보를 포함하는 설정 정보를 확인하는 단계와,
    상기 제1 전자 장치와 관련된 적어도 하나의 장치를 통해 입력 데이터를 획득하는 단계와,
    상기 입력 데이터의 상기 제2 전자 장치와의 관련성 및 상기 설정 정보 중 적어도 하나를 기초로 상기 입력 데이터의 상기 제2 전자 장치로의 전송 여부를 결정하는 단계와,
    상기 입력 데이터의 전송이 결정됨에 기초하여 상기 입력 데이터를 상기 제2 전자 장치로 전송하는 단계와,
    상기 제2 전자 장치로부터 상기 입력 데이터를 기반으로 생성된 출력 데이터를 수신하는 단계와,
    상기 제1 전자 장치와 연관된 출력장치를 통해 상기 획득된 출력 데이터를 출력하는 단계를 포함하는
    데이터 처리 방법.
  2. 제1항에 있어서,
    상기 전송 여부를 결정하는 단계는,
    상기 입력 데이터의 상기 제2 전자 장치와의 관련성 및 상기 설정 정보 중 적어도 하나를 기초로 특정 조건에 해당하는지 여부를 식별하여, 상기 특정 조건에 해당하면 상기 입력 데이터의 적어도 일부를 상기 제2 전자 장치로 전송하도록 결정하는 단계를 포함하며,
    상기 특정 조건은,
    상기 제1 전자 장치의 데이터 처리 효율이 특정 값 이하인 경우, 상기 제1 전자 장치의 데이터 처리 효율이 상기 제2 전자 장치의 데이터 처리 효율 보다 낮은 경우, 상기 입력 데이터가 상기 제2 전자 장치를 통해 처리가능한 데이터인 경우, 상기 제1 전자 장치와 상기 제2 전자 장치에 의해 상기 입력 데이터가 병렬 처리되면 상기 제1 전자 장치의 데이터 처리 효율이 특정 값 이상 증가하는 경우, 상기 입력 데이터가 상기 제2 전자 장치의 요청에 의해 획득된 경우, 또는 상기 입력 데이터를 상기 제2 전자 장치에 전송하도록 하는 상기 제1 전자 장치의 사용자의 입력이 수신된 경우 중 적어도 하나를 포함하는
    데이터 처리 방법.
  3. 제2항에 있어서,
    상기 전송 여부를 결정하는 단계는,
    상기 특정 조건에 해당하지 않으면, 상기 입력 데이터를 상기 제1 전자 장치에서 처리하여 출력 데이터를 생성하고, 상기 제1 전자 장치에서 처리하여 생성된 출력 데이터를 상기 출력장치를 통해 출력하는 단계를 포함하는
    데이터 처리 방법.
  4. 제1항에 있어서,
    상기 설정 정보는,
    상기 제2 전자 장치에 의해 인식 가능한 상기 제1 전자 장치와 관련된 입력장치 및 출력장치에 대한 정보를 더 포함하는
    데이터 처리 방법.
  5. 제1항에 있어서,
    상기 출력 데이터는 상기 제2 전자 장치에 포함된 애플리케이션을 통해 상기 입력 데이터가 처리된 데이터를 포함하는
    데이터 처리 방법.
  6. 제1항에 있어서,
    상기 출력 데이터를 출력하는 단계는
    상기 출력 데이터가 상기 제2 전자 장치에 의해 처리되었음을 나타내는 정보를 출력하는 단계를 포함하는
    데이터 처리 방법.
  7. 제1항에 있어서,
    상기 입력 데이터는 상기 입력 데이터와 관련된 장치의 HAL(Hardware Abstraction Layer) 상에서 상기 제2 전자 장치로 전송되는
    데이터 처리 방법.
  8. 제1항에 있어서,
    제2 전자 장치와 관련된 연결 식별자를 확인하는 단계를 더 포함하며,
    상기 입력 데이터는 상기 연결 식별자를 기반으로 상기 제2 전자 장치에 전송되는
    데이터 처리 방법.
  9. 제1항에 있어서,
    상기 적어도 하나의 장치는 이미지를 획득하는 센서를 포함하고,
    상기 입력 데이터는 이미지를 포함하며,
    상기 출력 데이터는 상기 제2 전자 장치에 의해 상기 이미지 내의 텍스트에 대한 번역이 수행되어 생성된 번역 정보를 포함하는
    데이터 처리 방법.
  10. 제9항에 있어서,
    상기 출력 데이터는 상기 입력 데이터의 상기 텍스트가 상기 번역 정보로 대치된 이미지를 포함하는
    데이터 처리 방법.
  11. 데이터를 처리하는 제1 전자 장치에 있어서,
    상기 제1 전자 장치와 연결된 제2 전자 장치를 식별함에 기초하여, 상기 제2 전자 장치의 성능(capability)에 대한 정보를 포함하는 설정 정보를 확인하고,
    상기 제1 전자 장치와 관련된 적어도 하나의 장치를 통해 입력 데이터를 획득하고,
    상기 입력 데이터의 제2 전자 장치와의 관련성 및 상기 설정 정보 중 적어도 하나를 기초로 상기 입력 데이터의 상기 제2 전자 장치로의 전송 여부를 결정하고,
    상기 입력 데이터의 전송이 결정됨에 기초하여 상기 입력 데이터를 상기 제2 전자 장치로 전송하고,
    상기 제2 전자 장치로부터 상기 입력 데이터를 기반으로 생성된 출력 데이터를 수신하고,
    상기 제1 전자 장치와 연관된 출력장치를 통해 상기 획득된 출력 데이터를 출력하는 제어부를 포함하는
    제1 전자 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 입력 데이터의 상기 제2 전자 장치와의 관련성 및 상기 설정 정보 중 적어도 하나를 기초로 특정 조건에 해당하는지 여부를 식별하여, 상기 특정 조건에 해당하면 상기 입력 데이터의 적어도 일부를 상기 제2 전자 장치로 전송하도록 결정하고,
    상기 특정 조건은,
    상기 제1 전자 장치의 데이터 처리 효율이 특정 값 이하인 경우, 상기 제1 전자 장치의 데이터 처리 효율이 상기 제2 전자 장치의 데이터 처리 효율 보다 낮은 경우, 상기 입력 데이터가 상기 제2 전자 장치를 통해 처리가능한 데이터인 경우, 상기 제1 전자 장치와 상기 제2 전자 장치에 의해 상기 입력 데이터가 병렬 처리되면 상기 제1 전자 장치의 데이터 처리 효율이 특정 값 이상 증가하는 경우, 상기 입력 데이터가 상기 제2 전자 장치의 요청에 의해 획득된 경우, 또는 상기 입력 데이터를 상기 제2 전자 장치에 전송하도록 하는 상기 제1 전자 장치의 사용자의 입력이 수신된 경우 중 적어도 하나를 포함하는
    제1 전자 장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 특정 조건에 해당하지 않으면, 상기 입력 데이터를 상기 제1 전자 장치에서 처리하여 출력 데이터를 생성하고, 상기 제1 전자 장치에서 처리하여 생성된 출력 데이터를 상기 출력장치를 통해 출력하는
    제1 전자 장치.
  14. 제11항에 있어서,
    상기 설정 정보는,
    상기 제2 전자 장치에 의해 인식 가능한 상기 제1 전자 장치와 관련된 입력장치 및 출력장치에 대한 정보를 더 포함하는
    제1 전자 장치.
  15. 제11항에 있어서,
    상기 출력 데이터는 상기 제2 전자 장치에 포함된 애플리케이션을 통해 상기 입력 데이터가 처리된 데이터를 포함하는
    제1 전자 장치.
  16. 제11항에 있어서,
    상기 제어부는 상기 출력 데이터가 상기 제2 전자 장치에 의해 처리되었음을 나타내는 정보를 출력하는
    제1 전자 장치.
  17. 제11항에 있어서,
    상기 입력 데이터는 상기 입력 데이터와 관련된 장치의 HAL(Hardware Abstraction Layer) 상에서 상기 제2 전자 장치로 전송되는
    제1 전자 장치.
  18. 제11항에 있어서,
    상기 제어부는 제2 전자 장치와 관련된 연결 식별자를 더 확인하며,
    상기 입력 데이터는 상기 연결 식별자를 기반으로 상기 제2 전자 장치에 전송되는
    제1 전자 장치.
  19. 제11항에 있어서,
    상기 적어도 하나의 장치는 이미지를 획득하는 센서를 포함하고,
    상기 입력 데이터는 이미지를 포함하며,
    상기 출력 데이터는 상기 제2 전자 장치에 의해 상기 이미지 내의 텍스트에 대한 번역이 수행되어 생성된 번역 정보를 포함하는
    제1 전자 장치.
  20. 제19항에 있어서,
    상기 출력 데이터는 상기 입력 데이터의 상기 텍스트가 상기 번역 정보로 대치된 이미지를 포함하는
    제1 전자 장치.
PCT/KR2019/011348 2019-09-03 2019-09-03 데이터를 처리하는 방법 및 그 전자 장치 WO2021045247A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020227005872A KR20220058538A (ko) 2019-09-03 2019-09-03 데이터를 처리하는 방법 및 그 전자 장치
US17/640,109 US20220308819A1 (en) 2019-09-03 2019-09-03 Method for processing data and electronic device therefor
PCT/KR2019/011348 WO2021045247A1 (ko) 2019-09-03 2019-09-03 데이터를 처리하는 방법 및 그 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/011348 WO2021045247A1 (ko) 2019-09-03 2019-09-03 데이터를 처리하는 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
WO2021045247A1 true WO2021045247A1 (ko) 2021-03-11

Family

ID=74852596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/011348 WO2021045247A1 (ko) 2019-09-03 2019-09-03 데이터를 처리하는 방법 및 그 전자 장치

Country Status (3)

Country Link
US (1) US20220308819A1 (ko)
KR (1) KR20220058538A (ko)
WO (1) WO2021045247A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120084749A (ko) * 2009-10-05 2012-07-30 콘티 테믹 마이크로일렉트로닉 게엠베하 차도 표시 인식을 위한 카메라가 장착된 차량용 운전자 지원 시스템
KR101407725B1 (ko) * 2012-10-16 2014-06-13 충남대학교산학협력단 실시간 통신이 가능한 점검장치
US20160350286A1 (en) * 2014-02-21 2016-12-01 Jaguar Land Rover Limited An image capture system for a vehicle using translation of different languages
US20170041779A1 (en) * 2015-08-05 2017-02-09 Qualcomm Incorporated Methods for connection capability exchange
KR20170043002A (ko) * 2015-10-12 2017-04-20 현대자동차주식회사 네트워크에서 통신 노드의 동작 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7761876B2 (en) * 2003-03-20 2010-07-20 Siemens Enterprise Communications, Inc. Method and system for balancing the load on media processors based upon CPU utilization information
US9037450B2 (en) * 2012-12-14 2015-05-19 Microsoft Technology Licensing, Llc Text overlay techniques in realtime translation
KR102107404B1 (ko) * 2013-10-30 2020-05-07 삼성전자주식회사 어플리케이션을 공유하는 전자 장치 및 그 제어 방법
WO2019015681A1 (zh) * 2017-07-20 2019-01-24 青岛海信电器股份有限公司 一种终端设备及其控制方法
JP6803581B2 (ja) * 2018-09-28 2020-12-23 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、および表示制御システム
CN112148401A (zh) * 2019-06-28 2020-12-29 华为技术有限公司 一种视图显示方法和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120084749A (ko) * 2009-10-05 2012-07-30 콘티 테믹 마이크로일렉트로닉 게엠베하 차도 표시 인식을 위한 카메라가 장착된 차량용 운전자 지원 시스템
KR101407725B1 (ko) * 2012-10-16 2014-06-13 충남대학교산학협력단 실시간 통신이 가능한 점검장치
US20160350286A1 (en) * 2014-02-21 2016-12-01 Jaguar Land Rover Limited An image capture system for a vehicle using translation of different languages
US20170041779A1 (en) * 2015-08-05 2017-02-09 Qualcomm Incorporated Methods for connection capability exchange
KR20170043002A (ko) * 2015-10-12 2017-04-20 현대자동차주식회사 네트워크에서 통신 노드의 동작 방법

Also Published As

Publication number Publication date
US20220308819A1 (en) 2022-09-29
KR20220058538A (ko) 2022-05-09

Similar Documents

Publication Publication Date Title
WO2019135552A1 (ko) 통신 연결의 형성 또는 해제를 제어하는 전자 장치 및 그 동작 방법
WO2012096546A2 (ko) 와이파이 다이렉트 통신 방식에서의 싱크 디바이스에서 소스 디바이스로 사용자의 입력을 송신하기 위한 방법 및 장치
WO2018008823A1 (en) Electronic apparatus and controlling method thereof
WO2015178574A1 (en) Information providing system and method thereof
WO2019059596A1 (ko) 전자 장치의 소프트웨어의 업데이트를 관리하기 위한 장치 및 방법
EP3808097A1 (en) Method and apparatus for establishing device connection
WO2016208992A1 (en) Electronic device and method for controlling display of panorama image
WO2019124826A1 (ko) 펌웨어를 업데이트하는 인터페이스 장치, 모바일 장치 및 펌웨어 업데이트 방법
WO2018190637A1 (ko) 디바이스의 통신 연결 방법 및 그 장치
WO2019039851A1 (ko) Usb 인터페이스를 통해 외부 장치와 연결하는 방법 및 그를 위한 전자 장치
WO2019135603A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2020197339A1 (en) Method for processing network packets and electronic device therefor
WO2019066521A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING ELECTRONIC DEVICE
WO2019083135A1 (ko) 입출력 인터페이스를 통해 통신을 수행하는 방법 및 이를 위한 장치
WO2017090931A1 (ko) 이벤트 관리 서비스를 제공하는 전자 장치 및 방법
WO2020106019A1 (en) Electronic device and method for providing in-vehicle infotainment service
WO2019117561A1 (ko) 외부 장치에 따라 다른 서비스를 제공하는 전자 장치
WO2019117535A1 (ko) 외부 전자 장치와의 통신을 위한 전자 장치
WO2021153955A1 (ko) 표시 장치를 포함하는 전자 장치 및 그의 동작 방법
WO2019039713A1 (en) METHOD AND APPARATUS FOR LOCATION DETERMINATION USING IDENTIFICATION INFORMATION CORRESPONDING TO AN EXTERNAL ELECTRONIC DEVICE
WO2020180072A1 (ko) 엣지 컴퓨팅 환경에서 어플리케이션 재배치를 제어하기 위한 장치 및 방법
WO2015072816A1 (ko) 디스플레이 장치 및 제어 방법
WO2021045247A1 (ko) 데이터를 처리하는 방법 및 그 전자 장치
WO2019103450A1 (en) Electronic device and method for managing data input into input field
WO2020199329A1 (zh) 家电的控制检测方法、联网模块、空调器及控制终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19944609

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19944609

Country of ref document: EP

Kind code of ref document: A1