WO2021193991A1 - 디스플레이 장치 - Google Patents
디스플레이 장치 Download PDFInfo
- Publication number
- WO2021193991A1 WO2021193991A1 PCT/KR2020/004076 KR2020004076W WO2021193991A1 WO 2021193991 A1 WO2021193991 A1 WO 2021193991A1 KR 2020004076 W KR2020004076 W KR 2020004076W WO 2021193991 A1 WO2021193991 A1 WO 2021193991A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- mobile terminal
- display device
- processor
- screen
- charging
- Prior art date
Links
- 238000004891 communication Methods 0.000 claims abstract description 30
- 230000004044 response Effects 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 19
- 238000007599 discharging Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical group N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000001646 magnetic resonance method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/18—Packaging or power distribution
- G06F1/181—Enclosures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3013—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is an embedded system, i.e. a combination of hardware and software dedicated to perform a certain function in mobile devices, printers, automotive or aircraft systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3041—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is an input/output interface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J50/00—Circuit arrangements or systems for wireless supply or distribution of electric power
- H02J50/80—Circuit arrangements or systems for wireless supply or distribution of electric power involving the exchange of data, concerning supply or distribution of electric power, between transmitting devices and receiving devices
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
- H02J7/0042—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries characterised by the mechanical construction
- H02J7/0044—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries characterised by the mechanical construction specially adapted for holding portable devices containing batteries
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
- H02J7/0047—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries with monitoring or indicating devices or circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L5/00—Arrangements affording multiple use of the transmission path
- H04L5/003—Arrangements for allocating sub-channels of the transmission path
- H04L5/0053—Allocation of signaling, i.e. of overhead other than pilot signals
- H04L5/0055—Physical resource allocation for ACK/NACK
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/04—Supports for telephone transmitters or receivers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/725—Cordless telephones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/16—Details of telephonic subscriber devices including more than one display unit
Definitions
- the present disclosure relates to a display device, and more particularly, to a display device capable of interworking with a mobile terminal.
- the functions of terminals are diversifying. For example, there are functions for data and voice communication, photo and video shooting through a camera, voice recording, music file playback through a speaker system, and output of images or videos to the display.
- Some terminals add an electronic game play function or perform a multimedia player function.
- the functions of the terminal are diversified, for example, in the form of a multimedia device (Multimedia player) equipped with complex functions, such as taking pictures or moving pictures, playing music or video files, playing games, and receiving broadcasts. is being implemented with a multimedia device (Multimedia player) equipped with complex functions, such as taking pictures or moving pictures, playing music or video files, playing games, and receiving broadcasts. is being implemented with a multimedia device (Multimedia player) equipped with complex functions, such as taking pictures or moving pictures, playing music or video files, playing games, and receiving broadcasts. is being implemented with a multimedia device (Multimedia player) equipped with complex functions, such as taking pictures or moving pictures, playing music or video files, playing games, and receiving broadcasts. is being implemented with a multimedia device (Multimedia player) equipped with complex functions, such as taking pictures or moving pictures, playing music or video files, playing games, and receiving broadcasts. is being implemented with a multimedia device (Multimedia player) equipped with complex functions, such as taking pictures or moving pictures, playing music or video files, playing games, and receiving broadcasts. is being
- the screen mirroring function is a function of displaying an image being displayed on a small-screen terminal on a large-screen terminal.
- An object of the present disclosure is to detect charging of a mobile terminal and automatically interwork with a display device.
- An object of the present disclosure is to detect the start of charging of a mobile terminal and immediately display an image being displayed in the mobile terminal on a display device.
- a display device includes a display, a communication interface for communicating with the mobile terminal, a charging module for charging the mobile terminal, and when the charging start of the mobile terminal is detected through the charging module, the mobile terminal Receives the screen state of the mobile terminal from , a processor for receiving, from the mobile terminal, image data corresponding to the image being displayed by the mobile terminal, and displaying a mirrored image on the display based on the received image data.
- a process in which a user has to approve for interworking with a mobile terminal is omitted, and thus user convenience can be greatly improved.
- the user can seamlessly watch the video being viewed through the mobile terminal through the large screen only by charging the mobile terminal.
- FIG. 1 is a view for explaining the configuration of a display device according to an embodiment of the present disclosure.
- FIG. 2 is a block diagram illustrating a configuration of a display apparatus according to an embodiment of the present disclosure.
- FIG 3 is a view for explaining a method of operating a system according to an embodiment of the present disclosure.
- 4A to 4C are diagrams for explaining a process in which a display device and a mobile terminal are automatically interlocked according to detection of charging start of a mobile terminal according to an embodiment of the present disclosure
- FIG. 5 is a ladder diagram illustrating a method of operating a system according to another embodiment of the present disclosure.
- FIG. 6 is a ladder diagram illustrating a method of operating a system according to another embodiment of the present disclosure.
- FIG. 1 is a view for explaining the configuration of a display device according to an embodiment of the present disclosure.
- the display device 100 includes a TV, a mobile phone, a smart phone, a desktop computer, a notebook computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation system, a tablet PC, a wearable device, a desktop computer, and a digital signage. etc. can be implemented.
- PDA personal digital assistant
- PMP portable multimedia player
- a navigation system a tablet PC, a wearable device, a desktop computer, and a digital signage. etc.
- the display apparatus 100 may be a device that can be moved by a user.
- the stand base 105 of the display apparatus 100 which will be described later, may be provided with wheels to facilitate movement.
- a display apparatus 100 may include a head 101 , a shaft 103 , a stand base 105 , and a cradle 107 .
- the head 101 may be spaced apart from the upper side of the stand base 105 .
- the head 101 may include a display 151 and a back cover 151a surrounding the periphery of the display 151 .
- the shaft 103 may connect the head 101 and the stand base 105 .
- the shaft 103 may extend vertically.
- the lower end of the shaft 103 may be connected to the edge of the stand base 105 .
- the lower end of the shaft 103 may be rotatably connected to the circumference of the stand base 105 . Accordingly, the head 101 and the shaft 103 can rotate about an axis perpendicular to the stand base 105 .
- the upper portion of the shaft 103 may be connected to the periphery of the head 101 .
- the upper portion of the shaft 103 may face the peripheral portion of the head 101 in the horizontal direction.
- a horizontally protruding connection pin may be formed on the upper portion of the shaft 103 , and the connection pin may be connected to the periphery of the head 101 .
- the head 101 may be tilted about a horizontal axis corresponding to the connection pin.
- the stand base 105 may serve to support the display apparatus 100 .
- the cradle 107 may be a part that can hold the user's belongings, such as a user's smartphone, a cup, and the like.
- the holder 107 may be connected to one point of the shaft 103 .
- the cradle 107 may be horizontally disposed.
- the height from the stand base 105 to the cradle 107 may be lower than the height from the stand base 105 to the head 101 .
- the cradle 107 may be positioned opposite the head 101 with respect to the shaft 103 .
- the head 101 may be connected to one side of the shaft 103
- the holder 107 may be connected to the other side of the shaft 107 . Accordingly, the user can easily mount his belongings on the cradle 107 without being disturbed by the head 101 .
- FIG. 2 is a block diagram illustrating components of a display device according to an embodiment of the present disclosure.
- FIG. 2 may be provided in the head 101 of FIG. 1 .
- the display apparatus 100 includes a communication unit 110 , an input unit 120 , a learning processor 130 , a sensing unit 140 , an output unit 150 , a memory 170 , and a processor 180 .
- a communication unit 110 may include
- the communication unit 110 may transmit/receive data to and from external devices such as another terminal or an external server using wired/wireless communication technology.
- the communication unit 110 may transmit/receive sensor information, a user input, a learning model, a control signal, and the like with external devices.
- the communication technology used by the communication unit 110 includes GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), LTE (Long Term Evolution), 5G, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity) ), Bluetooth, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), ZigBee, NFC (Near Field Communication), and the like.
- GSM Global System for Mobile communication
- CDMA Code Division Multi Access
- LTE Long Term Evolution
- 5G Fifth Generation
- WLAN Wireless LAN
- Wi-Fi Wireless-Fidelity
- Bluetooth Bluetooth
- RFID Radio Frequency Identification
- IrDA Infrared Data Association
- ZigBee ZigBee
- NFC Near Field Communication
- the input unit 120 may acquire various types of data.
- the input unit 120 may include a camera for inputting an image signal, a microphone for receiving an audio signal, a user input unit for receiving information from a user, and the like.
- the camera or microphone may be treated as a sensor, and a signal obtained from the camera or microphone may be referred to as sensing data or sensor information.
- the input unit 120 may acquire training data for model training and input data to be used when acquiring an output using the training model.
- the input unit 120 may acquire raw input data, and in this case, the processor 180 or the learning processor 130 may extract an input feature as a preprocessing for the input data.
- the input unit 120 may include a camera (Camera, 121) for inputting an image signal, a microphone (Microphone, 122) for receiving an audio signal, and a user input unit (User Input Unit, 123) for receiving information from a user. have.
- a camera Camera
- Microphone Microphone
- User Input Unit User Input Unit
- the voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.
- the input unit 120 is for inputting image information (or signal), audio information (or signal), data, or information input from a user.
- the display apparatus 100 includes one or more Cameras 121 may be provided.
- the camera 121 processes an image frame such as a still image or a moving image obtained by an image sensor in a video call mode or a photographing mode.
- the processed image frame may be displayed on the display unit 151 or stored in the memory 170 .
- the microphone 122 processes an external sound signal as electrical voice data.
- the processed voice data may be variously utilized according to a function (or a running application program) being performed by the display apparatus 100 . Meanwhile, various noise removal algorithms for removing noise generated in the process of receiving an external sound signal may be applied to the microphone 122 .
- the user input unit 123 is for receiving information from a user, and when information is input through the user input unit 123 , the processor 180 may control the operation of the display apparatus 100 to correspond to the input information. .
- the user input unit 123 includes a mechanical input means (or a mechanical key, for example, a button located on the front/rear or side of the terminal 100, a dome switch, a jog wheel, a jog switch, etc.) and It may include a touch input means.
- the touch input means consists of a virtual key, a soft key, or a visual key displayed on the touch screen through software processing, or a part other than the touch screen. It may be made of a touch key (touch key) disposed on the.
- the learning processor 130 may train a model composed of an artificial neural network by using the training data.
- the learned artificial neural network may be referred to as a learning model.
- the learning model may be used to infer a result value with respect to new input data other than the training data, and the inferred value may be used as a basis for a decision to perform a certain operation.
- the learning processor 130 may include a memory integrated or implemented in the display device 100 .
- the learning processor 130 may be implemented using the memory 170 , an external memory directly coupled to the display device 100 , or a memory maintained in an external device.
- the sensing unit 140 may acquire at least one of internal information of the display apparatus 100 , information about the surrounding environment of the display apparatus 100 , and user information by using various sensors.
- sensors included in the sensing unit 140 include a proximity sensor, an illuminance sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, an RGB sensor, an IR sensor, a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor, a microphone, and a lidar. , radar, etc.
- the output unit 150 may generate an output related to visual, auditory or tactile sense.
- the output unit 150 may include a display unit that outputs visual information, a speaker that outputs auditory information, and a haptic module that outputs tactile information.
- the output unit 150 includes at least one of a display unit 151, a sound output unit 152, a haptic module 153, and an optical output unit 154. can do.
- the display unit 151 displays (outputs) information processed by the display apparatus 100 .
- the display unit 151 may display information on an execution screen of an application program driven on the display device 100 , or user interface (UI) and graphic user interface (GUI) information according to the information on the execution screen.
- UI user interface
- GUI graphic user interface
- the display unit 151 may implement a touch screen by forming a layer structure with the touch sensor or being formed integrally with the touch sensor.
- a touch screen may function as the user input unit 123 providing an input interface between the display apparatus 100 and a user, and may provide an output interface between the terminal 100 and the user.
- the sound output unit 152 may output audio data received from the communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
- the sound output unit 152 may include at least one of a receiver, a speaker, and a buzzer.
- the haptic module 153 generates various tactile effects that the user can feel.
- a representative example of the tactile effect generated by the haptic module 153 may be vibration.
- the light output unit 154 outputs a signal for notifying the occurrence of an event by using the light of the light source of the display apparatus 100 .
- Examples of the event generated in the display device 100 may be message reception, call signal reception, missed call, alarm, schedule notification, email reception, information reception through an application, and the like.
- the memory 170 may store data supporting various functions of the display apparatus 100 .
- the memory 170 may store input data obtained from the input unit 120 , learning data, a learning model, a learning history, and the like.
- the processor 180 may determine at least one executable operation of the display apparatus 100 based on information determined or generated using a data analysis algorithm or a machine learning algorithm. In addition, the processor 180 may control the components of the display apparatus 100 to perform the determined operation.
- the processor 180 may request, search, receive, or utilize the data of the learning processor 130 or the memory 170, and may perform a predicted operation or an operation determined to be desirable among the at least one executable operation. It is possible to control the components of the display apparatus 100 to execute it.
- the processor 180 may generate a control signal for controlling the corresponding external device and transmit the generated control signal to the corresponding external device.
- the processor 180 may obtain intention information with respect to a user input and determine a user's requirement based on the obtained intention information.
- the processor 180 uses at least one of a speech to text (STT) engine for converting a voice input into a character string or a natural language processing (NLP) engine for obtaining intention information of a natural language. Intention information corresponding to the input may be obtained.
- STT speech to text
- NLP natural language processing
- At this time, at least one of the STT engine and the NLP engine may be configured as an artificial neural network, at least a part of which is learned according to a machine learning algorithm. And, at least one or more of the STT engine or the NLP engine may be learned by the learning processor 130 , learned by an external server, or learned by distributed processing thereof.
- the processor 180 collects history information including the user's feedback on the operation contents or operation of the display device 100 and stores it in the memory 170 or the learning processor 130, or to an external device such as an external server. can be transmitted The collected historical information may be used to update the learning model.
- the processor 180 may control at least some of the components of the display apparatus 100 to drive an application program stored in the memory 170 . Furthermore, in order to drive the application program, the processor 180 may operate two or more components included in the display apparatus 100 in combination with each other.
- FIG 3 is a view for explaining a method of operating a system according to an embodiment of the present disclosure.
- FIG. 3 is a view for explaining an embodiment in which the display apparatus 100 detects the charging state of the mobile terminal 200 and automatically interworks with the mobile terminal 200 .
- a system may include one or more mobile terminals 200 and the display device 100 .
- the mobile terminal 200 may include the components described in FIG. 2 .
- the mobile terminal 200 may be any one of a smartphone, a tablet, and a smart watch.
- the processor 180 of the display apparatus 100 detects the start of charging of the mobile terminal 200 ( S301 ).
- the processor 180 may detect the start of charging of the mobile terminal 200 through a charging module (not shown) provided in the cradle 107 of the display device 100 .
- the charging module may charge the mobile terminal 200 by a wired charging method or a wireless charging method.
- a magnetic induction or magnetic resonance method may be used.
- the charging module charges the mobile terminal 200 in a wireless charging method
- the mobile terminal 200 and the charging module may include one or more coils for magnetic induction or magnetic resonance.
- the charging module may transmit a charging start signal to the processor 180 of the display apparatus 100 when the mobile terminal 200 is mounted on the charging module.
- the charging module may sense the flow of current and generate a charging start signal.
- the processor 180 of the display apparatus 100 may detect the charging start of the mobile terminal 200 based on the charging start signal.
- the processor 180 may detect when the mobile terminal 200 is placed on the cradle 107 and the mobile terminal 200 starts charging.
- the processor 180 of the display apparatus 100 transmits a connection request to the mobile terminal 200 through the communication interface 110 according to the detection of charging start ( S303 ), and connects from the mobile terminal 200 . in response to a request , a connection response is received (S305).
- the processor 180 may transmit a connection request for attempting a wireless connection with the mobile terminal 200 to the mobile terminal 200 through the communication interface 110 according to detection of the charging start of the mobile terminal 200 .
- the communication interface 110 may include a short-range communication processor for a short-range communication standard of any one of Wi-Fi and Bluetooth.
- the mobile terminal 200 may transmit a connection response granting a connection to the display apparatus 100 in response to the connection request received from the display apparatus 100 .
- the connection response may include a screen state of the mobile terminal 200 .
- the screen state of the mobile terminal 200 may be a state indicating whether the screen is on or off.
- the processor 180 of the display apparatus 100 determines whether the screen of the mobile terminal 200 is turned on based on the connection response (S307).
- the processor 180 may determine whether the screen of the mobile terminal 200 is on or off by using the screen state of the mobile terminal 200 included in the connection response.
- the processor 180 of the display apparatus 100 is configured to display a screen for screen sharing. mirroring
- the request is transmitted to the mobile terminal 200 through the communication interface 110 (S309).
- the processor 180 may transmit a screen mirroring request to the mobile terminal 200 .
- the screen mirroring request may be a screen sharing request for displaying the image being displayed by the mobile terminal 200 as it is by the display apparatus 100 .
- the processor 180 of the display device 100 is mirroring In response to the request, image data corresponding to the image being displayed by the mobile terminal 200 is received from the mobile terminal 200 (S311).
- the mobile terminal 200 may transmit image data corresponding to the image being displayed on the screen to the display apparatus 100 .
- the processor 180 of the display apparatus 100 displays a mirrored image on the display 151 based on the received image data (S313).
- the processor 180 converts the image data to match the resolution of the display apparatus 100 based on the image data received from the mobile terminal 200 , and uses the converted image data to display a mirrored image on the display 151 . can be displayed on the
- the processor 180 of the display apparatus 100 provides a screen for screen sharing.
- mirroring A notification inquiring whether to perform is transmitted to the mobile terminal 200 (S315).
- the processor 180 of the display apparatus 100 transmits a notification event provision request requesting the provision of a notification event received by the mobile terminal 200 to the mobile terminal. can be sent to (200).
- the mobile terminal 200 outputs the notification received from the display apparatus 100 (S317).
- the mobile terminal 200 may output a notification through a speaker or display a notification through a display.
- 4A to 4C are diagrams for explaining a process in which a display device and a mobile terminal are automatically interlocked according to detection of charging start of a mobile terminal according to an embodiment of the present disclosure
- FIG. 4A assumes that the mobile terminal 200 is charged through the wired charging module 107a provided in the cradle 107
- FIG. 4B shows the wireless charging module 107b provided in the cradle 107 . It is assumed that the mobile terminal 200 is charged.
- the cradle 107 of the display apparatus 100 may include a wired charging module 107a for wired charging.
- the wired charging module 107a may detect when a current is transmitted to the mobile terminal 200 and generate a charging start signal.
- the wired charging module 107a may transmit a charging start signal to the processor 180 of the display apparatus 100 .
- the processor 180 of the display device 100 detects the charging start of the mobile terminal 200 according to the charging start signal received from the wired charging module 107a, and sends a connection request to the mobile terminal 200 by wire or wirelessly. can be transmitted
- the mobile terminal 200 may transmit a connection response including information indicating the state of its screen to the display apparatus 100 .
- the display apparatus 100 may determine the screen on/off state of the mobile terminal 200 based on the connection response received from the mobile terminal 200 .
- the display apparatus 100 may transmit a screen mirroring request to the mobile terminal 200 .
- the mobile terminal 200 may transmit image data corresponding to the image 410 being displayed on the screen to the display apparatus 100 in response to the received screen mirroring request.
- the display apparatus 100 may display the mirroring image 420 on the display 151 based on the received image data.
- FIG. 4B will be described.
- the cradle 107 of the display device 100 may include a wireless charging module 107b for wireless charging.
- the wireless charging module 107b may generate a charging start signal when the mobile terminal 200 is placed on the cradle 107 and power is transferred to the mobile terminal 200 .
- the processor 180 of the display device 100 detects the charging start of the mobile terminal 200 according to the charging start signal received from the wired charging module 107a, and sends a connection request to the mobile terminal 200 by wire or wirelessly. can be transmitted
- the user can conveniently view the image being viewed on the mobile terminal 200 on the display device 100 having a large screen only by placing the mobile terminal 200 on the cradle 107 .
- FIG. 4C will be described.
- connection response transmitted by the mobile terminal 200 to the display apparatus 100 includes information indicating a case in which the screen of the mobile terminal 100 is turned off.
- the processor 180 of the display apparatus 100 may transmit a notification inquiring whether to perform screen mirroring to the mobile terminal 200 .
- the mobile terminal 200 may display a pop-up window 430 inquiring about performing screen mirroring based on the notification received from the display apparatus 100 .
- the mobile terminal 200 may transmit image data corresponding to the image being displayed to the display apparatus 100 .
- the mobile terminal 200 may output a notification inquiring to perform screen mirroring through a speaker by voice.
- the mobile terminal 200 may transmit image data corresponding to the image being displayed to the display apparatus 100 when receiving a voice permitting the screen mirroring to be performed from the user.
- FIG. 5 is a ladder diagram illustrating a method of operating a system according to another embodiment of the present disclosure.
- FIG. 5 illustrates an example of determining, as an interworking target, any one of a plurality of mobile terminals 200 - 1 and 200 - 2 that have not previously been interlocked with the display apparatus 100 based on a charge/discharge cycle. It is a drawing.
- two mobile terminals will be described as an example, but the present invention is not limited thereto, and may be applied even when three or more mobile terminals exist.
- the processor 180 of the display device 100 detects charging start through the charging module 107 (S500).
- the processor 180 of the display apparatus 100 transmits a packet including a specific period T through the communication interface 110 to each of the first mobile terminal 200-1 and the second mobile terminal 200-2.
- broad Casting S501, S503.
- the specific cycle may be a charging/discharging cycle from when the display device 100 starts charging the mobile terminal through the charging module 107 until it is discharged.
- the processor 180 may transmit a packet including a specific period to the first and second mobile terminals 200 - 1 and 200 - 2 in the same network by using a broadcasting method.
- the processor 180 of the display apparatus 100 performs the first mobile terminal 200 - 1 and the second mobile terminal 200 - 2 through the communication interface 110 . from each , Ack A signal is received (S505, S507).
- Each mobile terminal may identify a specific period included in a packet received from the display apparatus 100 and transmit an Ack signal to the display apparatus 100 .
- the Ack signal may be a response signal indicating that the packet has been received.
- the Ack signal may include screen state information indicating whether the screen of the mobile terminal is on or off.
- the processor 180 of the display device 100 repeatedly performs charging and discharging in a T cycle (S509).
- the processor 180 may repeatedly perform charging and discharging at a time period T through the charging module 107 .
- the processor 180 may repeat charging and discharging in a T cycle in order to detect a mobile terminal that matches the charging/discharging cycle of the charging module 107 among the plurality of mobile terminals 200 - 1 and 200 - 2 . .
- the charging/discharging cycle of the mobile terminal that is charged through the charging module 107 of the display device 100 may also be detected as T.
- the first mobile terminal 200-1 is charging and discharging When T is detected periodically (S511), a T detection success signal is transmitted to the display apparatus 100 (S513).
- the first mobile terminal 200 - 1 may transmit a T detection success signal indicating that the detection is successful with the charging/discharging period of T time to the display apparatus 100 .
- the second mobile terminal 200-2 is charging and discharging When T is not detected periodically (S515), a T detection failure signal is transmitted to the display apparatus 100 (S517).
- the second mobile terminal 200 - 2 may transmit a T detection failure signal to the display apparatus 100 .
- the display apparatus 100 may ignore it. That is, the mobile terminal that has transmitted the T detection failure signal may be excluded from the interworking target.
- the processor 180 of the display apparatus 100 determines the first mobile terminal 200-1 that has transmitted the T detection success signal as an interworking target (S519).
- the processor 180 may determine the first mobile terminal 200-1 that has transmitted the T detection success signal among the plurality of mobile terminals 200-1 and 200-2 being charged as an interworking target.
- the processor 180 of the display apparatus 100 determines that the determined first mobile terminal 200 - 1 is previously interlocked It is determined whether it is a device (S521).
- the processor 180 may determine whether the determined first mobile terminal 200 - 1 is a device that has been previously linked, based on the interworking history information.
- the interworking history information may include identification information of a device that has been interworking with the display apparatus 100 in the past.
- the device identification information may be information capable of identifying the device, such as a model name of the device and a name of the device.
- the processor 180 of the display apparatus 100 does not determine that the first mobile terminal 200 - 1 is a device that has been previously interlocked. if not , transmits a connection request to the first mobile terminal 200-1 (S523).
- connection request may be a request for preparing a connection to exchange content data with the first mobile terminal 200 - 1 .
- the processor 180 of the display apparatus 100 responds to the connection request through the communication interface 110, and receives a connection response (S525).
- the connection response may be a response allowing the first mobile terminal 200 - 1 to connect to the display apparatus 100 .
- the processor 180 of the display apparatus 100 receives a connection response from the first mobile terminal 200-1, or when the first mobile terminal 200-1 has previously interlocked If it is determined as a device, it is determined whether the screen of the first mobile terminal 200-1 is on (S527).
- the processor 180 may determine whether the screen of the first mobile terminal 200 - 1 is on based on the screen state information included in the Ack signal received in step S505 .
- connection response of step S525 may also include screen state information of the first mobile terminal 200 - 1 . That is, the processor 180 may determine whether the screen of the first mobile terminal 200 - 1 is on based on the screen state information of the first mobile terminal 200 - 1 included in the connection response.
- the processor 180 of the display apparatus 100 displays the screen on the first mobile terminal 200-1 through the communication interface 110. mirroring The request is transmitted (S529).
- the processor 180 of the display device 100 is screened through the communication interface 110 mirroring
- the first mobile terminal 200-1 receives image data corresponding to the image being displayed (S531).
- the processor 180 of the display apparatus 100 displays a mirrored image on the display 151 based on the received image data (S533).
- the processor 180 of the display apparatus 100 determines that the screen mirroring A notification inquiring whether to perform is transmitted to the first mobile terminal 200-1 (S535).
- the first mobile terminal 200 - 1 outputs the notification received from the display apparatus 200 ( S537 ).
- the display apparatus 100 may determine, as an interworking target, a mobile terminal matching its charge/discharge cycle among a plurality of mobile terminals, and may automatically interwork with the determined mobile terminal.
- FIG. 6 is a ladder diagram illustrating a method of operating a system according to another embodiment of the present disclosure.
- FIG. 6 is a view for explaining a process of detecting the start of charging of a mobile terminal, which has been previously interlocked with a display device, and performing automatic interworking with the mobile terminal.
- the processor 180 of the display apparatus 100 detects charging start through the charging module 107 ( S601 ).
- the processor 180 of the display apparatus 100 transmits a packet including a specific period T to the mobile terminal 200 through the communication interface 110 (S603).
- the processor 180 of the display device 100 is connected to the mobile terminal ( from 200 , Ack A signal is received (S605).
- the processor 180 of the display device 100 through the charging module 107 at a time period T charging and discharging Repeatedly (S607).
- the processor 180 of the display apparatus 100 determines whether the screen of the mobile terminal 200 is turned on upon receiving the T detection chorus signal from the mobile terminal 200 (S613).
- the processor 180 of the display apparatus 100 displays the screen on the mobile terminal 200 through the communication interface 110 .
- the request is transmitted (S615).
- the processor 180 of the display device 100 is screened through the communication interface 110 mirroring
- the mobile terminal 200 receives image data corresponding to the image being displayed (S617).
- the processor 180 of the display apparatus 100 displays a mirrored image on the display 151 based on the received image data (S619).
- the processor 180 of the display apparatus 100 transmits a notification interworking request through the communication interface 110 (S621).
- the notification interworking request may be a request for the display apparatus 100 to receive a notification event received by the mobile terminal 200 .
- the notification event may be any one of a text message received by the mobile terminal 200, a notification received through an SNS service, and a call call signal.
- the processor 180 may transmit a notification inquiring whether to perform screen mirroring to the mobile terminal 200 .
- the mobile terminal 200 When receiving the notification, the mobile terminal 200 transmits the received notification to the display apparatus 100 (S623).
- the processor 180 of the display apparatus 100 outputs the received notification through the display 151 or the sound output unit 152 (S625).
- the user can easily perform interworking with the mobile terminal 200 that has been previously interlocked without a complicated interworking process through the display apparatus 100 .
- the above-described method according to an embodiment of the present disclosure may be implemented as a processor-readable code on a medium in which a program is recorded.
- Examples of the processor-readable medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Telephone Function (AREA)
- Vehicle Body Suspensions (AREA)
- Diaphragms For Electromechanical Transducers (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
본 개시의 실시 예에 따른 디스플레이 장치는 디스플레이, 이동 단말기와 통신을 수행하는 통신 인터페이스, 상기 이동 단말기를 충전하는 충전 모듈 및 상기 충전 모듈을 통해 상기 이동 단말기의 충전 개시가 감지된 경우, 상기 이동 단말기로부터, 상기 이동 단말기의 화면 상태를 수신하고, 상기 화면 상태에 기초하여, 상기 이동 단말기의 화면이 온 되어 있는 것으로 판단한 경우, 상기 이동 단말기에 스크린 미러링 요청을 전송하고, 상기 스크린 미러링 요청에 응답하여, 상기 이동 단말기로부터, 상기 이동 단말기가 표시 중인 영상에 상응하는 영상 데이터를 수신하고, 수신된 영상 데이터에 기초하여, 미러링 영상을 상기 디스플레이 상에 표시하는 프로세서를 포함할 수 있다.
Description
본 개시는 디스플레이 장치에 관한 것으로, 보다 상세하게는, 이동 단말기와 연동 가능한 디스플레이 장치에 관한 것이다.
단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이에 이미지나 비디오를 출력하는 기능이 있다.
일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다.
이와 같은, 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
특히, 최근에는, 단말기 간 화면을 공유하는 스크린 미러링 기능이 활용되고 있다. 스크린 미러링 기능은 작은 화면의 단말기에서 표시 중인 영상을 대 화면의 단말기에서 표시하는 기능이다.
스크린 미러링을 위해서는, 2개의 기기간 연동을 위해, 사용자가 연동할 기기를 선택하고, 등록 하는 등 복잡한 과정을 거쳐야 한다. 즉, 기기 간 연동을 위해, 사용자의 입력이 많이 필요하게 되어, 하나의 불편함으로 작용한다.
본 개시는 이동 단말기의 충전을 감지하여, 디스플레이 장치와 자동으로 연동될 수 있도록 하는 것을 그 목적으로 한다.
본 개시는 이동 단말기의 충전 개시를 감지하여, 이동 단말기에서 표시 중인 영상을 곧바로, 디스플레이 장치에서 표시하도록 하는 것에 그 목적이 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 디스플레이, 이동 단말기와 통신을 수행하는 통신 인터페이스, 상기 이동 단말기를 충전하는 충전 모듈 및 상기 충전 모듈을 통해 상기 이동 단말기의 충전 개시가 감지된 경우, 상기 이동 단말기로부터, 상기 이동 단말기의 화면 상태를 수신하고, 상기 화면 상태에 기초하여, 상기 이동 단말기의 화면이 온 되어 있는 것으로 판단한 경우, 상기 이동 단말기에 스크린 미러링 요청을 전송하고, 상기 스크린 미러링 요청에 응답하여, 상기 이동 단말기로부터, 상기 이동 단말기가 표시 중인 영상에 상응하는 영상 데이터를 수신하고, 수신된 영상 데이터에 기초하여, 미러링 영상을 상기 디스플레이 상에 표시하는 프로세서를 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 이동 단말기와의 연동을 위해 사용자가 승인을 해야 했던 과정이 생략되어, 사용자의 편의성이 크게 향상될 수 있다.
또한, 사용자는 이동 단말기를 충전하는 동작만으로, 이동 단말기를 통해 시청 중인 영상을 대 화면을 통해 끊김 없이 시청할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 3은 본 개시의 일 실시 예에 따른 시스템의 동작 방법을 설명하는 도면이다.
도 4a 내지 도 4c는 본 개시의 실시 예에 따라 이동 단말기의 충전 개시 감지에 따라 디스플레이 장치와 이동 단말기가 자동 연동되는 과정을 설명하는 도면이다.
도 5는 본 개시의 또 다른 실시 예에 따른 시스템의 동작 방법을 설명하는 래더 다이어그램이다.
도 6은 본 개시의 또 다른 실시 예에 따른 시스템의 동작 방법을 설명하는 래더 다이어 그램이다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하는 도면이다.
디스플레이 장치(100)는 TV, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 데스크탑 컴퓨터, 디지털 사이니지 등으로 구현될 수 있다.
도 1의 실시 예에 따른 디스플레이 장치(100)는 사용자에 의해 이동될 수 있는 기기일 수 있다. 이를 위해, 후술할 디스플레이 장치(100)의 스탠드 베이스(105)에는 이동에 용이하도록 바퀴가 구비될 수도 있다.
도 1을 참조하면, 본 개시의 실시 예에 다른 디스플레이 장치(100)는 헤드(101), 샤프트(103), 스탠드 베이스(105) 및 거치대(107)를 포함할 수 있다.
헤드(101)는 스탠드 베이스(105)의 상측으로 이격될 수 있다.
헤드(101)는 디스플레이(151) 및 디스플레이(151)의 외곽을 감싸는 백 커버(151a)를 구비할 수 있다.
샤프트(103)는 헤드(101) 및 스탠드 베이스(105)를 이어줄 수 있다. 샤프트(103)는 수직하게 연장될 수 있다. 샤프트(103)의 하단은 스탠드 베이스(105)의 가장자리부에 연결될 수 있다. 좀 더 상세히, 샤프트(103)의 하단은 스탠드 베이스(105)의 둘레부에 회전 가능하게 연결될 수 있다. 따라서, 헤드(101) 및 샤프트(103)는 스탠드 베이스(105)에 대해 수직축(axis)을 중심으로 회전할 수 있다.
샤프트(103)의 상부는 헤드(101)의 둘레부에 연결될 수 있다. 샤프트(103)의 상부는 수평 방향으로 헤드(101)의 둘레부를 마주볼 수 있다.
좀 더 상세히, 샤프트(103)의 상부에는 수평하게 돌출된 연결핀이 형성될 수 있고, 상기 연결핀은 헤드(101)의 둘레부에 연결될 수 있다. 헤드(101)는 상기 연결핀에 대응되는 수평축(axis)을 중심으로 틸팅될 수 있다.
스탠드 베이스(105)는 디스플레이 장치(100)를 지지하는 역할을 할 수 있다.
거치대(107)는 사용자의 스마트폰, 컵 등 사용자의 소지품을 거치할 수 있는 파트일 수 있다.
거치대(107)는 샤프트(103)의 일 지점에 연결될 수 있다. 거치대(107)는 수평하게 배치될 수 있다.
스탠드 베이스(105)부터 거치대(107)까지의 높이는, 스탠드 베이스(105)부터 헤드(101)까지의 높이보다 낮을 수 있다.
거치대(107)는 샤프트(103)에 대해 헤드(101)의 반대편에 위치할 수 있다. 좀 더 상세히, 헤드(101)는 샤프트(103)의 일측에 연결될 수 있고, 거치대(107)는 샤프트(107)의 타측에 연결될 수 있다. 따라서, 사용자는 헤드(101)에 방해받지 않고 거치대(107)에 소지품을 용이하게 거치할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성 요소들을 설명하기 위한 블록도이다.
특히, 도 2의 구성 요소들은 도 1의 헤드(101)에 구비될 수 있다.
도 2를 참조하면, 디스플레이 장치(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180)를 포함할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 단말기나 외부 서버와 같은 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth쪠), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
입력부(120)는 영상 신호 입력을 위한 카메라(Camera, 121), 오디오 신호를 수신하기 위한 마이크로폰(Microphone, 122), 사용자로부터 정보를 입력 받기 위한 사용자 입력부(User Input Unit, 123)를 포함할 수 있다.
입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어 명령으로 처리될 수 있다.
입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 디스플레이 장치(100)는 하나 또는 복수의 카메라(121)들을 구비할 수 있다.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(Display Unit, 151)에 표시되거나 메모리(170)에 저장될 수 있다.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 디스플레이 장치(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 적용될 수 있다.
사용자 입력부(123)는 사용자로부터 정보를 입력 받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 프로세서(180)는 입력된 정보에 대응되도록 디스플레이 장치(100)의 동작을 제어할 수 있다.
사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예컨대, 단말기(100)의 전/후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(130)는 디스플레이 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), 디스플레이 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 다양한 센서들을 이용하여 디스플레이 장치(100) 내부 정보, 디스플레이 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
출력부(150)는 디스플레이부(Display Unit, 151), 음향 출력부(Sound Output Unit, 152), 햅틱 모듈(Haptic Module, 153), 광 출력부(Optical Output Unit, 154) 중 적어도 하나를 포함할 수 있다.
디스플레이부(151)는 디스플레이 장치(100)에서 처리되는 정보를 표시(출력)한다. 예컨대, 디스플레이부(151)는 디스플레이 장치(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 디스플레이 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다.
음향 출력부(152)는 리시버(receiver), 스피커(speaker), 버저(buzzer) 중 적어도 하나 이상을 포함할 수 있다.
햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다.
광출력부(154)는 디스플레이 장치(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 디스플레이 장치(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
메모리(170)는 디스플레이 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 디스플레이 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 디스플레이 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 디스플레이 장치(100)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, 외부 서버에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 디스플레이 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, 외부 서버 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 디스플레이 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, 디스플레이 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 3은 본 개시의 일 실시 예에 따른 시스템의 동작 방법을 설명하는 도면이다.
특히, 도 3은 디스플레이 장치(100)가 이동 단말기(200)의 충전 상태를 감지하고, 자동으로, 이동 단말기(200)와 연동할 수 있는 실시 예를 설명하는 도면이다.
본 개시의 실시 예에 따른 시스템은 하나 이상의 이동 단말기(200) 및 디스플레이 장치(100)를 포함할 수 있다.
이동 단말기(200)는 도 2에 설명된 구성 요소들을 포함할 수 있다. 이동 단말기(200)는 스마트폰, 태블릿, 스마트 워치 중 어느 하나일 수 있다.
도 3을 참조하면,
디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)의 충전의 개시를 감지한다(S301).
일 실시 예에서, 프로세서(180)는 디스플레이 장치(100)의 거치대(107)에 구비된 충전 모듈(미도시)을 통해 이동 단말기(200)의 충전 개시를 감지할 수 있다.
충전 모듈은 이동 단말기(200)를 유선 충전 방식 또는 무선 충전 방식으로 충전할 수 있다.
무선 충전 방식이 이용되는 경우, 자기 유도 또는 자기 공진 방식이 사용될 수 있다. 충전 모듈이 무선 충전 방식으로 이동 단말기(200)를 충전하는 경우, 이동 단말기(200) 및 충전 모듈은 자기 유도 또는 자기 공진을 위한 하나 이상의 코일을 포함할 수 있다.
충전 모듈은 이동 단말기(200)가 충전 모듈에 장착된 경우, 디스플레이 장치(100)의 프로세서(180)에 충전 개시 신호를 전송할 수 있다. 충전 모듈은 전류의 흐름을 감지하고, 충전 개시 신호를 생성할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 충전 개시 신호에 기초하여, 이동 단말기(200)의 충전 개시를 감지할 수 있다.
즉, 프로세서(180)는 이동 단말기(200)가 거치대(107)에 놓여져, 이동 단말기(200)가 충전을 개시한 경우, 이를 감지할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 충전 개시의 감지에 따라 통신 인터페이스(110)를 통해 이동 단말기(200)에 연결 요청을 전송하고(S303), 이동 단말기(200)로부터 연결
요청에 대한 응답으로
, 연결 응답을 수신한다(S305).
프로세서(180)는 이동 단말기(200)의 충전 개시의 감지에 따라, 이동 단말기(200)와 무선 연결을 시도하기 위한 연결 요청을 통신 인터페이스(110)를 통해 이동 단말기(200)에 전송할 수 있다.
이를 위해 통신 인터페이스(110)는 와이파이, 블루투스 중 어느 하나의 근거리 통신 규격을 위한 근거리 통신 프로세서를 포함할 수 있다.
이동 단말기(200)는 디스플레이 장치(100)로부터 수신된 연결 요청에 응답하여, 연결을 허여하는 연결 응답을 디스플레이 장치(100)에 전송할 수 있다.
연결 응답은 이동 단말기(200)의 화면 상태를 포함할 수 있다. 이동 단말기(200)의 화면 상태는 화면의 온 또는 오프를 나타내는 상태일 수 있다.
디스플레이 장치(100)의 프로세서(180)는 연결 응답에 기초하여, 이동 단말기(200)의 화면이 온 되어 있는지를 판단한다(S307).
프로세서(180)는 연결 응답에 포함된 이동 단말기(200)의 화면 상태를 이용하여, 이동 단말기(200)의 화면이 온 되어 있는지 오프되어 있는지를 판단할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)의 화면이 온 되어 있는 경우, 화면 공유를 위한 스크린
미러링
요청을 통신 인터페이스(110)를 통해 이동 단말기(200)에 전송한다(S309).
프로세서(180)는 연결 응답에 포함된 이동 단말기(200)의 화면 상태가 온으로 판단된 경우, 스크린 미러링 요청을 이동 단말기(200)에 전송할 수 있다.
스크린 미러링 요청은 이동 단말기(200)가 표시 중인 영상을 디스플레이 장치(100)가 그대로 표시하기 위한 화면 공유 요청일 수 있다.
이는 사용자가 이동 단말기(200)를 충전 기능이 있는 거치대(107)에 올려 놓고, 이동 단말기(200)의 화면이 온 상태인 경우, 이동 단말기(200)가 표시 중인 영상을 디스플레이 장치(100)를 통해 시청하고자 하는 의도가 있기 때문이다.
디스플레이 장치(100)의 프로세서(180)는 스크린
미러링
요청에 응답하여, 이동 단말기(200)로부터, 이동 단말기(200)가 표시 중인 영상에 상응하는 영상 데이터를 수신한다(S311).
이동 단말기(200)는 화면 상에 표시 중인 영상에 상응하는 영상 데이터를 디스플레이 장치(100)에 전송할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 수신된 영상 데이터에 기초하여, 미러링 영상을 디스플레이(151) 상에 표시한다(S313).
프로세서(180)는 이동 단말기(200)로부터 수신된 영상 데이터에 기초하여, 디스플레이 장치(100)의 해상도에 맞게, 영상 데이터를 변환하고, 변환된 영상 데이터를 이용하여, 미러링 영상을 디스플레이(151) 상에 표시할 수 있다.
한편, 디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)의 화면이 오프되어 있는 경우, 화면 공유를 위한 스크린
미러링의
수행 여부를 문의하는 알림을 이동 단말기(200)에 전송한다(S315).
이동 단말기(200)의 화면이 오프되어 있는 경우에는, 사용자가 단지, 이동 단말기(200)의 충전을 위해 거치대(107)에 올려 놓는 것으로 해석될 수 있기 때문이다.
또 다른 예로, 디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)의 화면이 오프되어 있는 경우, 이동 단말기(200)가 수신된 알림 이벤트의 제공을 요청하는 알림 이벤트 제공 요청을 이동 단말기(200)에 전송할 수 있다.
이동 단말기(200)의 화면이 오프되어 있고, 이동 단말기(200)가 충전 중인 경우, 사용자는 이동 단말기(200)가 수신된 알림을 디스플레이 장치(100)를 통해 확인하고 싶은 니즈가 있기 때문이다.
이동 단말기(200)는 디스플레이 장치(100)로부터 수신된 알림을 출력한다(S317).
이동 단말기(200)는 스피커를 통해 알림을 출력하거나, 또는 디스플레이를 통해 알림을 표시할 수 있다.
도 4a 내지 도 4c는 본 개시의 실시 예에 따라 이동 단말기의 충전 개시 감지에 따라 디스플레이 장치와 이동 단말기가 자동 연동되는 과정을 설명하는 도면이다.
먼저, 도 4a 및 도 4b는 이동 단말기(200)의 화면이 온 된 상태를 가정하고, 도 4c는 이동 단말기(200)의 화면이 오프된 상태를 가정한다.
또한, 도 4a는 거치대(107)에 구비된 유선 충전 모듈(107a)을 통해, 이동 단말기(200)가 충전됨을 가정하고, 도 4b는 거치대(107)에 구비된 무선 충전 모듈(107b)을 통해 이동 단말기(200)가 충전됨을 가정한다.
먼저, 도 4a를 참조하면, 디스플레이 장치(100)의 거치대(107)는 유선 충전을 위한 유선 충전 모듈(107a)을 구비할 수 있다.
이동 단말기(200)가 유선 충전 모듈(107a)에 장착된 경우, 유선 충전 모듈(107a)은 이동 단말기(200)로 전류가 전달되는 경우, 이를 감지하여, 충전 개시 신호를 생성할 수 있다.
유선 충전 모듈(107a)은 충전 개시 신호를 디스플레이 장치(100)의 프로세서(180)에 전송할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 유선 충전 뮤듈(107a)로부터 수신된 충전 개시 신호에 따라 이동 단말기(200)의 충전 개시를 감지하고, 이동 단말기(200)에 연결 요청을 유선 또는 무선으로 전송할 수 있다.
이동 단말기(200)는 디스플레이 장치(100)로부터 수신된 연결 요청에 응답하여, 자신의 화면 상태를 나타내는 정보를 포함하는 연결 응답을 디스플레이 장치(100)에 전송할 수 있다.
디스플레이 장치(100)는 이동 단말기(200)로부터 수신된 연결 응답에 기초하여, 이동 단말기(200)의 화면 온/오프 상태를 결정할 수 있다.
디스플레이 장치(100)는 이동 단말기(200)의 화면이 온 되어 있는 것으로 판단된 경우, 이동 단말기(200)로 스크린 미러링 요청을 전송할 수 있다.
이동 단말기(200)는 수신된 스크린 미러링 요청에 응답하여, 화면 상에 표시 중인 영상(410)에 상응하는 영상 데이터를 디스플레이 장치(100)에 전송할 수 있다.
디스플레이 장치(100)는 수신된 영상 데이터에 기반하여, 미러링 영상(420)을 디스플레이(151) 상에 표시할 수 있다.
다음으로, 도 4b를 설명한다.
도 4b를 참조하면, 디스플레이 장치(100)의 거치대(107)는 무선 충전을 위한 무선 충전 모듈(107b)을 구비할 수 있다.
무선 충전 모듈(107b)은 이동 단말기(200)가 거치대(107) 상에 놓여 있는 경우, 이동 단말기(200)로 전력이 전달되는 경우, 충전 개시 신호를 생성할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 유선 충전 뮤듈(107a)로부터 수신된 충전 개시 신호에 따라 이동 단말기(200)의 충전 개시를 감지하고, 이동 단말기(200)에 연결 요청을 유선 또는 무선으로 전송할 수 있다.
그 후의 절차는 도 4a에서 설명된 바와 같다.
이와 같이, 사용자는 이동 단말기(200)를 거치대(107) 상에 거치하는 동작 만으로, 이동 단말기(200)에서 시청 중인 영상을 대 화면을 갖는 디스플레이 장치(100) 상에서 편리하게 시청할 수 있다.
또한, 기존과 같이, 스크린 미러링을 위해, 필요한 복잡한 절차가 생략되어, 편의성이 크게 향상될 수 있다.
다음으로, 도 4c를 설명한다.
도 4c는 이동 단말기(200)가 디스플레이 장치(100)에 전송하는 연결 응답에 이동 단말기(100)의 화면이 오프된 경우를 나타내는 정보가 포함되어 있음을 가정한다.
디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)의 화면이 오프된 경우, 이동 단말기(200)에 스크린 미러링의 수행 여부를 문의하는 알림을 전송할 수 있다.
이동 단말기(200)는 디스플레이 장치(100)로부터 수신된 알림에 기초하여, 스크린 미러링 수행을 문의하는 팝업 창(430)을 표시할 수 있다.
이동 단말기(200)는 팝업 창(430)에 포함된 확인 버튼(431)이 선택된 경우, 표시 중인 영상에 상응하는 영상 데이터를 디스플레이 장치(100)에 전송할 수 있다.
또 다른 예로, 이동 단말기(200)는 스크린 미러링 수행을 문의하는 알림을 스피커를 통해 음성으로 출력할 수 있다. 이동 단말기(200)는 스크린 미러링의 수행을 허여하는 음성을 사용자로부터 수신한 경우, 표시 중인 영상에 상응하는 영상 데이터를 디스플레이 장치(100)에 전송할 수 있다.
도 5는 본 개시의 또 다른 실시 예에 따른 시스템의 동작 방법을 설명하는 래더 다이어그램이다.
특히, 도 5는 충방전 주기에 기초하여, 기존에 디스플레이 장치(100)와 연동되지 않았던 복수의 이동 단말기들(200-1, 200-2) 중 어느 하나를 연동 대상으로 결정하는 예를 설명하는 도면이다.
이하의 실시 예에서는, 2개의 이동 단말기를 예로 들어 설명하나, 이에 한정될 필요는 없고, 3개 이상의 이동 단말기가 존재하는 경우에도 적용될 수 있다.
디스플레이 장치(100)의 프로세서(180)는 충전 모듈(107)을 통해 충전 개시를 감지한다(S500).
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 특정 주기(T)를 포함하는 패킷을 제1 이동 단말기(200-1) 및 제2 이동 단말기(200-2) 각각에
브로드
캐스팅한다(S501, S503).
일 실시 예에서, 특정 주기는 디스플레이 장치(100)가 충전 모듈(107)을 통해 이동 단말기의 충전을 개시한 후, 방전하기 까지 걸리는 충방전 주기일 수 있다.
프로세서(180)는 브로드 캐스팅 방식을 이용하여, 특정 주기를 포함하는 패킷을 동일 네트워크 망에 있는 제1,2 이동 단말기들(200-1, 200-2)에 전송할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 제1 이동 단말기(200-1) 및 제2 이동 단말기(200-2)
각각으로부터
,
Ack
신호를 수신한다(S505, S507).
각 이동 단말기는 디스플레이 장치(100)로부터 수신된 패킷에 포함된 특정 주기를 식별하고, 디스플레이 장치(100)에 Ack 신호를 전송할 수 있다.
Ack 신호는 패킷을 수신하였음을 나타내는 응답 신호일 수 있다. Ack 신호는 이동 단말기의 화면이 온 또는 오프되어 있는지를 나타내는 화면 상태 정보를 포함할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 T 주기로 충전 및 방전을 반복 수행한다(S509).
프로세서(180)는 충전 모듈(107)을 통해 T 시간 주기로, 충전 및 방전을 반복 수행할 수 있다.
프로세서(180)는 복수의 이동 단말기들(200-1, 200-2) 중 충전 모듈(107)의 충방전 주기와 타이밍이 맞는 이동 단말기를 검출하기 위해, T 주기로 충전 및 방전을 반복할 수 있다.
이에 따라 디스플레이 장치(100)의 충전 모듈(107)을 통해 충전이 되는 이동 단말기의 충방전 주기 또한, T로 검출될 수 있다.
제1 이동 단말기(200-1)는
충방전
주기로 T를 감지한 경우(S511), T 검출 성공 신호를 디스플레이 장치(100)에 전송한다(S513).
즉, 제1 이동 단말기(200-1)는 자신의 충방전 주기가 T인 경우, 충방전 주기가 T 시간으로 검출이 성공되었음을 나타내는 T 검출 성공 신호를 디스플레이 장치(100)에 전송할 수 있다.
제2 이동 단말기(200-2)는
충방전
주기로 T를 감지하지 못한 경우(S515), T 검출 실패 신호를 디스플레이 장치(100)에 전송한다(S517).
제2 이동 단말기(200-2)는 충방전 주기가 T가 아닌 경우, T 검출 실패 신호를 디스플레이 장치(100)에 전송할 수 있다.
디스플레이 장치(100)는 T 검출 실패 신호를 수신한 경우, 이를 무시할 수 있다. 즉, T 검출 실패 신호를 전송한 이동 단말기를 연동 대상에서 제외할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 T 검출 성공 신호를 전송한 제1 이동 단말기(200-1)를 연동 대상으로 결정한다(S519).
즉, 프로세서(180)는 충전 중인 복수의 이동 단말기들(200-1, 200-2) 중 T 검출 성공 신호를 전송한 제1 이동 단말기(200-1)를 연동 대상으로 결정할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 결정된 제1 이동 단말기(200-1)가 기존에
연동되었던
기기인지를 판단한다(S521).
프로세서(180)는 연동 히스토리 정보에 기초하여, 결정된 제1 이동 단말기(200-1)가 기존에 연동되었던 기기인지를 판단할 수 있다. 연동 히스토리 정보는 과거에 디스플레이 장치(100)와 연동을 수행했던 기기의 식별 정보를 포함할 수 있다.
기기의 식별 정보는 기기의 모델명, 기기의 명칭 등 기기를 식별할 수 있는 정보일 수 있다.
디스플레이 장치(100)의 프로세서(180)는 제1 이동 단말기(200-1)기 기존에 연동되었던 기기로 판단되지
않은 경우
, 제1 이동 단말기(200-1)에 연결 요청을 전송한다(S523).
일 실시 예에서 연결 요청은 제1 이동 단말기(200-1)와 컨텐트 데이터를 교환하기 위해 연결을 준비하는 요청일 수 있다.
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 연결 요청에 응답하여, 연결 응답을 수신한다(S525).
연결 응답은 제1 이동 단말기(200-1)가 디스플레이 장치(100)와의 연결을 허여하는 응답일 수 있다.
디스플레이 장치(100)의 프로세서(180)는 제1 이동 단말기(200-1)로부터 연결 응답을 수신한 경우 또는 제1 이동 단말기(200-1)기 기존에
연동되었던
기기로 판단된 경우, 제1 이동 단말기(200-1)의 화면이 온 되어 있는지를 판단한다(S527).
프로세서(180)는 단계 S505에서 수신된 Ack 신호에 포함된 화면 상태 정보에 기초하여, 제1 이동 단말기(200-1)의 화면이 온 되어 있는지를 판단할 수 있다.
또 다른 예로, 단계 S525의 연결 응답 또한, 제1 이동 단말기(200-1)의 화면 상태 정보를 포함할 수 있다. 즉, 프로세서(180)는 연결 응답에 포함된 제1 이동 단말기(200-1)의 화면 상태 정보에 기초하여, 제1 이동 단말기(200-1)의 화면이 온 되어 있는지를 판단할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 제1 이동 단말기(200-1)의 화면이 온 되어 있는 것으로 판단된 경우, 통신 인터페이스(110)를 통해 제1 이동 단말기(200-1)에 스크린
미러링
요청을 전송한다(S529).
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 스크린
미러링
요청에 응답하여, 제1 이동 단말기(200-1)가 표시 중인 영상에 상응하는 영상 데이터를 수신한다(S531).
디스플레이 장치(100)의 프로세서(180)는 수신된 영상 데이터에 기초하여, 미러링 영상을 디스플레이(151) 상에 표시한다(S533).
디스플레이 장치(100)의 프로세서(180)는 제1 이동 단말기(200-1)의 화면이 오프되어 있는 것으로 판단된 경우, 스크린
미러링
수행 여부를 문의하는 알림을 제1 이동 단말기(200-1)로 전송한다(S535).
제1 이동 단말기(200-1)는 디스플레이 장치(200)로부터 수신된 알림을 출력한다(S537).
이와 같이, 본 개시의 실시 예에 따르면, 디스플레이 장치(100)는 복수의 이동 단말기들 중, 자신의 충방전 주기와 일치하는 이동 단말기를 연동 대상으로 결정할 수 있고, 결정된 이동 단말기와 자동으로 연동될 수 있다.
이에 따라, 이동 단말기에서 연동을 위해 사용자가 승인을 해야 했던 과정이 생략되어, 사용자의 편의성이 크게 향상될 수 있다.
도 6은 본 개시의 또 다른 실시 예에 따른 시스템의 동작 방법을 설명하는 래더 다이어 그램이다.
특히, 도 6은 기존에 디스플레이 장치와 연동되었던 적이 있던, 이동 단말기의 충전 개시를 감지하고, 이동 단말기와 자동 연동을 수행하는 과정을 설명하는 도면이다.
도 6을 참조하면,
디스플레이 장치(100)의 프로세서(180)는 충전 모듈(107)을 통해 충전 개시를 감지한다(S601).
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 특정 주기(T)를 포함하는 패킷을 이동 단말기(200)에 전송한다(S603).
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 이동 단말기(
200로부터
,
Ack
신호를 수신한다(S605).
디스플레이 장치(100)의 프로세서(180)는 충전 모듈(107)을 통해 T 시간 주기로
충방전을
반복 수행한다(S607).
이동 단말기(200)는
충방전
주기로 T를 감지한 경우(S609), T 검출 성공 신호를 디스플레이 장치(100)에 전송한다(S611).
디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)로부터 T 검출 성송 신호를 수신함에 따라, 이동 단말기(200)의 화면이 온 되어 있는지를 판단한다(S613).
디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)의 화면이 온 되어 있는 것으로 판단된 경우, 통신 인터페이스(110)를 통해 이동 단말기(200)에 스크린
미러링
요청을 전송한다(S615).
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 스크린
미러링
요청에 응답하여, 이동 단말기(200)가 표시 중인 영상에 상응하는 영상 데이터를 수신한다(S617).
디스플레이 장치(100)의 프로세서(180)는 수신된 영상 데이터에 기초하여, 미러링 영상을 디스플레이(151) 상에 표시한다(S619).
디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)의 화면이 온 되어 있지 않은 것으로 판단된 경우, 통신 인터페이스(110)를 통해 알림 연동 요청을 전송한다(S621).
알림 연동 요청은 이동 단말기(200)가 수신된 알림 이벤트를 디스플레이 장치(100)가 전달받기 위한 요청일 수 있다.
알림 이벤트는 이동 단말기(200)가 수신한 문자 메시지, SNS 서비스를 통해 수신한 알림, 통화 호 신호 중 어느 하나일 수 있다.
또 다른 예로, 프로세서(180)는 이동 단말기(200)의 화면이 오프된 경우, 이동 단말기(200)에 스크린 미러링 수행 여부를 문의하는 알림을 전송할 수도 있다.
이동 단말기(200)는 알림 수신한 경우, 수신된 알림을 디스플레이 장치(100)에 전송한다(S623).
디스플레이 장치(100)의 프로세서(180)는 수신된 알림을 디스플레이(151) 또는 음향 출력부(152)를 통해 출력한다(S625).
이와 같이, 본 개시의 실시 예에 따르면, 사용자는 디스플레이 장치(100)를통해 복잡한 연동 과정 없이, 기존에 연동되었던 적이 있던 이동 단말기(200)와의 연동을 손쉽게 수행할 수 있다.
본 개시의 일 실시 예에 따른 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
Claims (12)
- 디스플레이 장치에 있어서,디스플레이;이동 단말기와 통신을 수행하는 통신 인터페이스;상기 이동 단말기를 충전하는 충전 모듈; 및상기 충전 모듈을 통해 상기 이동 단말기의 충전 개시가 감지된 경우, 상기 이동 단말기로부터, 상기 이동 단말기의 화면 상태를 수신하고, 상기 화면 상태에 기초하여, 상기 이동 단말기의 화면이 온 되어 있는 것으로 판단한 경우, 상기 이동 단말기에 스크린 미러링 요청을 전송하고, 상기 스크린 미러링 요청에 응답하여, 상기 이동 단말기로부터, 상기 이동 단말기가 표시 중인 영상에 상응하는 영상 데이터를 수신하고, 수신된 영상 데이터에 기초하여, 미러링 영상을 상기 디스플레이 상에 표시하는 프로세서를 포함하는디스플레이 장치.
- 제1항에 있어서,상기 프로세서는상기 화면 상태에 기초하여, 상기 이동 단말기의 화면이 오프 되어 있는 것으로 판단한 경우, 상기 통신 인터페이스를 통해 상기 스크린 미러링의 수행 여부를 문의하는 알림을 상기 이동 단말기에 전송하는디스플레이 장치.
- 제1항에 있어서,상기 프로세서는상기 화면 상태에 기초하여, 상기 이동 단말기의 화면이 오프 되어 있는 것으로 판단한 경우, 상기 통신 인터페이스를 통해 상기 이동 단말기가 외부로부터 수신된 알림 이벤트의 제공을 요청하는 알림 이벤트 전송 요청을 상기 이동 단말기에 전송하는디스플레이 장치.
- 제1항에 있어서,상기 프로세서는상기 이동 단말기의 충전 개시를 감지한 경우, 상기 이동 단말기에 연결 요청을 전송하고, 상기 연결 요청에 응답하여, 상기 화면 상태를 포함하는 연결 응답을 상기 이동 단말기로부터 수신하는디스플레이 장치.
- 제1항에 있어서,상기 디스플레이 장치를 지지하는 스탠드 베이스,상기 디스플레이의 외곽을 커버하는 백 커버,상기 백 커버와 상기 스탠드 베이스를 이어주는 샤프트 및상기 샤프트로부터 연장된 거치대를 더 포함하는디스플레이 장치.
- 제5항에 있어서,상기 충전 모듈은 상기 거치대에 구비되고,상기 프로세서는상기 충전 모듈로부터 전류의 흐름을 나타내는 충전 개시 신호를 수신하고, 상기 충전 개시 신호에 기초하여, 상기 이동 단말기의 충전 개시를 감지하는디스플레이 장치.
- 제1항에 있어서,상기 프로세서는특정 주기를 포함하는 패킷을 복수의 이동 단말기들에 전송하고,상기 특정 주기로 상기 충전 모듈을 충방전을 반복 수행하고,상기 복수의 이동 단말기들 중 어느 하나로부터 상기 특정 주기가 검출되었음을 나타내는 검출 성공 신호를 수신한 경우, 검출 성공 신호를 전송한 이동 단말기를 연동 대상 기기로 결정하는디스플레이 장치.
- 제7항에 있어서,상기 프로세서는상기 특정 주기가 검출되지 않음을 나타내는 검출 실패 신호를 수신한 경우, 상기 검출 실패 신호를 무시하는디스플레이 장치.
- 제7항에 있어서,상기 특정 주기는상기 복수의 이동 단말기들 중 상기 충전 모듈을 통해 충전 중인 이동 단말기를 결정하는데 사용되는 상기 충전 모듈의 충방전 주기인디스플레이 장치.
- 제7항에 있어서,상기 프로세서는상기 복수의 이동 단말기들 각각으로부터 상기 패캣의 전송에 응답하여, Ack 신호를 수신하고, 상기 Ack 신호는 각 이동 단말기의 화면 상태를 포함하는디스플레이 장치.
- 제7항에 있어서,상기 프로세서는연동 히스토리에 기초하여, 상기 결정된 이동 단말기가 상기 디스플레이 장치와 연동되었던 기기인 경우, 상기 스크린 미러링 요청을 상기 결정된 이동 단말기에 전송하는디스플레이 장치.
- 제1항에 있어서,상기 충전 모듈은유선 또는 무선 방식으로, 상기 이동 단말기를 충전하는디스플레이 장치.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020227029639A KR20220129078A (ko) | 2020-03-26 | 2020-03-26 | 디스플레이 장치 |
US17/909,522 US20230297311A1 (en) | 2020-03-26 | 2020-03-26 | Display device |
PCT/KR2020/004076 WO2021193991A1 (ko) | 2020-03-26 | 2020-03-26 | 디스플레이 장치 |
EP20927323.4A EP4130973A4 (en) | 2020-03-26 | 2020-03-26 | DISPLAY DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2020/004076 WO2021193991A1 (ko) | 2020-03-26 | 2020-03-26 | 디스플레이 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021193991A1 true WO2021193991A1 (ko) | 2021-09-30 |
Family
ID=77892296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2020/004076 WO2021193991A1 (ko) | 2020-03-26 | 2020-03-26 | 디스플레이 장치 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230297311A1 (ko) |
EP (1) | EP4130973A4 (ko) |
KR (1) | KR20220129078A (ko) |
WO (1) | WO2021193991A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024043372A1 (ko) * | 2022-08-26 | 2024-02-29 | 엘지전자 주식회사 | 이동 가능한 tv 및 그 제어 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013232791A (ja) * | 2012-04-27 | 2013-11-14 | Kyocera Corp | 通信システム、携帯通信装置、制御方法及び制御プログラム |
KR20140042435A (ko) * | 2012-09-28 | 2014-04-07 | 엘지전자 주식회사 | 단말기 및 단말기의 이용방법 |
KR101607379B1 (ko) * | 2014-04-16 | 2016-03-29 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
KR20160073481A (ko) * | 2014-12-16 | 2016-06-27 | 주식회사 다이나젠 | 휴대용 단말기 도킹 시스템 |
KR20170045528A (ko) * | 2015-10-19 | 2017-04-27 | (주)멀티미디어링크 | 멀티미디어 미러링 기능을 갖는 모니터 시스템 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102389038B1 (ko) * | 2015-09-02 | 2022-04-21 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
KR102471230B1 (ko) * | 2016-01-28 | 2022-11-28 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
-
2020
- 2020-03-26 KR KR1020227029639A patent/KR20220129078A/ko unknown
- 2020-03-26 EP EP20927323.4A patent/EP4130973A4/en active Pending
- 2020-03-26 US US17/909,522 patent/US20230297311A1/en active Pending
- 2020-03-26 WO PCT/KR2020/004076 patent/WO2021193991A1/ko unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013232791A (ja) * | 2012-04-27 | 2013-11-14 | Kyocera Corp | 通信システム、携帯通信装置、制御方法及び制御プログラム |
KR20140042435A (ko) * | 2012-09-28 | 2014-04-07 | 엘지전자 주식회사 | 단말기 및 단말기의 이용방법 |
KR101607379B1 (ko) * | 2014-04-16 | 2016-03-29 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
KR20160073481A (ko) * | 2014-12-16 | 2016-06-27 | 주식회사 다이나젠 | 휴대용 단말기 도킹 시스템 |
KR20170045528A (ko) * | 2015-10-19 | 2017-04-27 | (주)멀티미디어링크 | 멀티미디어 미러링 기능을 갖는 모니터 시스템 |
Non-Patent Citations (1)
Title |
---|
See also references of EP4130973A4 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024043372A1 (ko) * | 2022-08-26 | 2024-02-29 | 엘지전자 주식회사 | 이동 가능한 tv 및 그 제어 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20230297311A1 (en) | 2023-09-21 |
KR20220129078A (ko) | 2022-09-22 |
EP4130973A1 (en) | 2023-02-08 |
EP4130973A4 (en) | 2024-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017111204A1 (ko) | 이동단말기 | |
WO2014038916A1 (en) | System and method of controlling external apparatus connected with device | |
WO2010027190A2 (ko) | 진동 정보를 전달하는 이동통신 단말기 및 방법 | |
WO2015005521A1 (en) | Digital device and method for controlling the same | |
WO2020162709A1 (en) | Electronic device for providing graphic data based on voice and operating method thereof | |
WO2011025253A2 (ko) | 블루투스 통신방법 및 이를 적용한 단말기 | |
WO2018070762A1 (en) | Device and method of displaying images | |
WO2015190641A1 (ko) | 무선 리시버 및 그 제어 방법 | |
WO2014157757A1 (ko) | 이동식 입력 장치 및 그를 이용한 명령 입력 방법 | |
WO2016114475A1 (en) | Method of providing preset service by bending mobile device according to user input of bending mobile device and mobile device performing the same | |
WO2019039729A1 (en) | METHOD FOR CHANGING THE CONTENT SIZE DISPLAYED ON A DISPLAY DEVICE, AND RELATED ELECTRONIC DEVICE | |
WO2021193991A1 (ko) | 디스플레이 장치 | |
WO2016080662A1 (ko) | 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치 | |
WO2020171342A1 (ko) | 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법 | |
WO2015005718A1 (en) | Method of controlling operation mode and electronic device therefor | |
WO2021107200A1 (ko) | 이동 단말기 및 이동 단말기 제어 방법 | |
WO2019240434A1 (en) | Electronic device and method of controlling thereof | |
WO2021201320A1 (ko) | 디스플레이 장치 | |
WO2022177073A1 (en) | Display device for managing external device connected thereto through bluetooth communication and method for managing bluetooth-connected external device | |
WO2015152597A1 (en) | Method of sharing and receiving information based on sound signal and apparatus using the same | |
WO2020209444A1 (ko) | 이동 단말기 및 이에 결합하는 보조 장치 | |
WO2020122274A1 (ko) | 디스플레이 장치 | |
WO2022085827A1 (ko) | 블루투스 페어링을 이용하여 원격 제어 장치의 위치를 탐색하는 이동 단말기 및 디스플레이 장치 | |
WO2022075494A1 (ko) | 오디오 콘텐츠를 출력하는 무선 오디오 출력 장치 및 그 방법 | |
WO2022014742A1 (ko) | 단말기 무선충전 거치대 및 이를 포함하는 디스플레이 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20927323 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020927323 Country of ref document: EP Effective date: 20221026 |