WO2020235724A1 - 디스플레이 장치 - Google Patents

디스플레이 장치 Download PDF

Info

Publication number
WO2020235724A1
WO2020235724A1 PCT/KR2019/006188 KR2019006188W WO2020235724A1 WO 2020235724 A1 WO2020235724 A1 WO 2020235724A1 KR 2019006188 W KR2019006188 W KR 2019006188W WO 2020235724 A1 WO2020235724 A1 WO 2020235724A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
face
display
image
characters
Prior art date
Application number
PCT/KR2019/006188
Other languages
English (en)
French (fr)
Inventor
이기웅
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US17/595,728 priority Critical patent/US20220256245A1/en
Priority to PCT/KR2019/006188 priority patent/WO2020235724A1/ko
Priority to EP19930003.9A priority patent/EP3975008A4/en
Publication of WO2020235724A1 publication Critical patent/WO2020235724A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Definitions

  • the present invention relates to a display device, and more particularly, to a display device that provides a function of searching for a person in an image.
  • the digital TV service can provide a variety of services that could not be provided by conventional analog broadcasting services.
  • IPTV Internet Protocol Television
  • smart TV services which are one type of digital TV service
  • IPTV and smart TV services may provide various additional services, such as Internet search, home shopping, and online games, based on this interactive nature.
  • the digital TV may provide information on a person appearing in an image being viewed by the user.
  • the digital TV since the digital TV displays the characters in a simple arrangement, the user is inconvenient in having to compare the displayed characters one by one to find the person in the current scene.
  • An object of the present invention is to provide a display device capable of more easily providing information on a person in a current scene to a user upon receiving a request for searching for a person.
  • the present invention is to provide a display device capable of promptly guiding the changed person when the person in the current scene changes as the scene is changed.
  • a display apparatus includes a display unit that displays an image, a wireless communication unit that receives person information of characters related to the image, and a control unit that controls the display unit to display thumbnails of characters based on the person information.
  • the controller may control the display to display the indicator on the thumbnail of the matching person most similar to the face image of the person in the current scene among the thumbnails of the characters.
  • the control unit may detect whether a scene is changed, and if the scene is not changed, the indicator may be maintained.
  • the controller detects whether the scene is switched, and when the scene is switched, the controller determines whether the first face of the person in the converted scene and the second face of the previously acquired face image are identical, and the first face and the second face are the same. If you do, you can keep the indicator.
  • the controller may change the display position of the indicator to a thumbnail corresponding to the second face.
  • the controller may obtain a thumbnail having a face most similar to the second face among the thumbnails of the characters.
  • the display device further includes a user input interface unit for receiving a character search command, and the controller obtains content information related to an image from an EPG (Electronic Program Guide) upon receiving the character search command, and based on the content information, Person information of people appearing in the video can be acquired.
  • EPG Electronic Program Guide
  • the controller may acquire a matching person by obtaining a face image of each of the characters from the thumbnails of the characters, and comparing the face image of each of the characters with the face image of the person in the current scene.
  • the controller may acquire a matching image having a face most similar to the face image of the person in the current scene on the web, and obtain the matching person based on the matching image.
  • the control unit obtains the names of characters from the person information, obtains a matching image having a face most similar to the face image of the person in the current scene among the person images having names on the web, and obtains the matching person based on the matching image. I can.
  • the controller may calculate a data value indicating a similarity between each of the characters and a person in the current scene, and recognize a character having the largest data value as a matching person.
  • the controller may control the display to not display the indicator when the data value of the character having the largest data value is less than a preset reference value.
  • the controller may control the display to display an indicator on the thumbnail corresponding to the matching person when the data value of the character having the largest data value is greater than or equal to a preset reference value.
  • the display unit may display a thumbnail of the matching person most similar to the face image of the person in the current scene among the thumbnails of the characters differently from the thumbnails of the remaining characters excluding the matching person.
  • the display unit may display a thumbnail of the matching person brighter than the thumbnails of the remaining characters excluding the matching person.
  • an indicator when information about people appearing in an image is displayed, an indicator is displayed together with information of a person estimated to be a person in the current scene, thereby increasing the recognition efficiency of a person who is curious about the user. have. That is, there is an advantage in that the user convenience can be provided by minimizing the effort of the user to find a person in the current scene among the characters.
  • the face in the scene is compared with the face in the previous scene to determine whether the position of the indicator is changed, so that the number of times the face comparison algorithm is performed is minimized. Accordingly, there is an advantage of improving the image processing speed.
  • the speed of acquiring a matching person is faster than when comparing the face in the current scene with arbitrary faces, and accuracy can be improved. There is an advantage.
  • FIG. 1 is a block diagram illustrating a configuration of a display device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a remote control device according to an embodiment of the present invention.
  • FIG. 3 shows an example of an actual configuration of a remote control device according to an embodiment of the present invention.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of operating a display device according to an exemplary embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of a method for receiving a character search command by a display device according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an example of a method of displaying thumbnails of characters by a display device according to an embodiment of the present invention.
  • FIG. 8 is an exemplary diagram of a method of obtaining, by a display device, a face image of a person in a current scene according to an embodiment of the present invention.
  • FIG. 9 is an exemplary diagram of a method for acquiring face images of characters by a display device according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example in which a display device according to an embodiment of the present invention calculates a similarity between a face image in a current scene and face images of characters.
  • FIG. 11 is an exemplary diagram of a method for displaying an indicator by a display device according to an embodiment of the present invention.
  • FIG. 12 is an exemplary diagram of a method for displaying a matching person by a display device according to another embodiment of the present invention.
  • FIG. 13 is an exemplary diagram of a method of acquiring a face image of a person in a scene in which a display device is switched according to an exemplary embodiment of the present invention.
  • FIG. 14 is an exemplary diagram for explaining a method of determining whether a face is the same when a scene of an image is changed by the display device according to an exemplary embodiment of the present invention.
  • 15 is an exemplary diagram for explaining a method of changing a display position of an indicator by a display device according to an exemplary embodiment of the present invention.
  • 16 is a flowchart illustrating a method of operating a display device according to another exemplary embodiment of the present invention.
  • 17 is a flowchart illustrating a method of obtaining a matching person by a display device according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of a display device according to an embodiment of the present invention.
  • the display device 100 includes a broadcast receiving unit 130, an external device interface unit 135, a storage unit 140, a user input interface unit 150, a control unit 170, and a wireless communication unit 173.
  • a voice acquisition unit 175, a display unit 180, an audio output unit 185, and a power supply unit 190 may be included.
  • the broadcast reception unit 130 may include a tuner 131, a demodulation unit 132, and a network interface unit 133.
  • the tuner 131 may select a specific broadcast channel according to a channel selection command.
  • the tuner 131 may receive a broadcast signal for a selected specific broadcast channel.
  • the demodulator 132 may divide the received broadcast signal into a video signal, an audio signal, and a data signal related to a broadcast program, and restore the separated video signal, audio signal, and data signal into a form capable of outputting.
  • the network interface unit 133 may provide an interface for connecting the display device 100 to a wired/wireless network including an Internet network.
  • the network interface unit 133 may transmit or receive data with other users or other electronic devices through a connected network or another network linked to the connected network.
  • the network interface unit 133 may access a predetermined web page through a connected network or another network linked to the connected network. That is, by accessing a predetermined web page through a network, the server and data can be transmitted or received.
  • the network interface unit 133 may receive content or data provided by a content provider or a network operator. That is, the network interface unit 133 may receive content such as movies, advertisements, games, VODs, broadcast signals, and related information provided from a content provider or a network provider through a network.
  • the network interface unit 133 may receive update information and an update file of firmware provided by a network operator, and transmit data to the Internet or content provider or network operator.
  • the network interface unit 133 may select and receive a desired application from among applications open to the public through a network.
  • the external device interface unit 135 may receive an application or an application list in an adjacent external device and transmit it to the control unit 170 or the storage unit 140.
  • the external device interface unit 135 may provide a connection path between the display device 100 and the external device.
  • the external device interface unit 135 may receive one or more of an image and audio output from an external device connected to the display device 100 by wire or wirelessly, and transmit it to the control unit 170.
  • the external device interface unit 135 may include a plurality of external input terminals.
  • the plurality of external input terminals may include an RGB terminal, one or more HDMI (High Definition Multimedia Interface) terminals, and a component terminal.
  • An image signal of an external device input through the external device interface unit 135 may be output through the display unit 180.
  • the audio signal of the external device input through the external device interface unit 135 may be output through the audio output unit 185.
  • the external device connectable to the external device interface unit 135 may be any one of a set-top box, a Blu-ray player, a DVD player, a game console, a sound bar, a smartphone, a PC, a USB memory, and a home theater, but this is only an example. .
  • some content data stored in the display apparatus 100 may be transmitted to another user registered in advance in the display apparatus 100 or a selected user or a selected electronic device among other electronic devices.
  • the storage unit 140 may store a program for processing and controlling each signal in the control unit 170 and may store signal-processed video, audio, or data signals.
  • the storage unit 140 may perform a function for temporary storage of a video, audio, or data signal input from the external device interface unit 135 or the network interface unit 133. You can also store information about the image.
  • the storage unit 140 may store an application or an application list input from the external device interface unit 135 or the network interface unit 133.
  • the display device 100 may reproduce and provide a content file (movie file, still image file, music file, document file, application file, etc.) stored in the storage unit 140 to a user.
  • a content file moving file, still image file, music file, document file, application file, etc.
  • the user input interface unit 150 may transmit a signal input by the user to the controller 170 or may transmit a signal from the controller 170 to the user.
  • the user input interface unit 150 may be configured according to various communication methods such as Bluetooth, Ultra Wideband (WB), ZigBee method, Radio Frequency (RF) communication method, or infrared (IR) communication method, Control signals such as power on/off, channel selection, and screen setting may be received and processed from the remote control device 200, or a control signal from the control unit 170 may be transmitted to the remote control device 200.
  • the user input interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the control unit 170.
  • a local key such as a power key, a channel key, a volume key, and a set value
  • the image signal processed by the controller 170 may be input to the display unit 180 and displayed as an image corresponding to the corresponding image signal. Also, the image signal processed by the controller 170 may be input to an external output device through the external device interface unit 135.
  • the audio signal processed by the controller 170 may be audio output to the audio output unit 185.
  • the voice signal processed by the control unit 170 may be input to an external output device through the external device interface unit 135.
  • controller 170 may control the overall operation of the display apparatus 100.
  • control unit 170 may control the display device 100 by a user command or an internal program input through the user input interface unit 150, and access the network to display an application or application list desired by the user. It can be downloaded within (100).
  • the control unit 170 enables channel information selected by the user to be output through the display unit 180 or the audio output unit 185 together with the processed image or audio signal.
  • control unit 170 in accordance with an external device image playback command received through the user input interface unit 150, from an external device input through the external device interface unit 135, for example, a camera or a camcorder, An image signal or an audio signal may be output through the display unit 180 or the audio output unit 185.
  • control unit 170 may control the display unit 180 to display an image, for example, a broadcast image input through the tuner 131 or an external input input through the external device interface unit 135
  • An image, an image input through the network interface unit, or an image stored in the storage unit 140 may be controlled to be displayed on the display unit 180.
  • the image displayed on the display unit 180 may be a still image or a moving image, and may be a 2D image or a 3D image.
  • control unit 170 may control content stored in the display device 100, received broadcast content, or external input content input from the outside to be played, and the content includes a broadcast image, an external input image, an audio file, and a stop. It may be in various forms such as an image, a connected web screen, and a document file.
  • the wireless communication unit 173 may communicate with an external device through wired or wireless communication.
  • the wireless communication unit 173 may perform short range communication with an external device.
  • the wireless communication unit 173 includes BluetoothTM, Bluetooth Low Energy (BLE), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and NFC (Near NFC). Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless Universal Serial Bus (USB) technologies may be used to support short-range communication.
  • the wireless communication unit 173 may be configured between the display device 100 and a wireless communication system, between the display device 100 and another display device 100, or between the display device 100 and the display device 100 through wireless area networks. Wireless communication between networks in which the display device 100 or an external server is located may be supported.
  • the local area wireless communication networks may be wireless personal area networks (Wireless Personal Area Networks).
  • the other display device 100 is a wearable device capable of exchanging (or interlocking with) data with the display device 100 according to the present invention, for example, a smartwatch, smart glasses. (smart glass), HMD (head mounted display)), it can be a mobile terminal such as a smart phone.
  • the wireless communication unit 173 may detect (or recognize) a wearable device capable of communicating around the display apparatus 100. Further, when the sensed wearable device is an authenticated device to communicate with the display apparatus 100 according to the present invention, the controller 170 transmits at least a portion of the data processed by the display apparatus 100 to the wireless communication unit ( 173) can be transmitted to the wearable device. Accordingly, a user of the wearable device may use data processed by the display apparatus 100 through the wearable device.
  • the voice acquisition unit 175 may acquire audio.
  • the voice acquisition unit 175 may include at least one microphone (not shown), and may acquire audio around the display apparatus 100 through a microphone (not shown).
  • the display unit 180 converts an image signal, a data signal, an OSD signal processed by the control unit 170, or an image signal and a data signal received from the external device interface unit 135 into R, G, and B signals, respectively. Can generate signals.
  • the display device 100 shown in FIG. 1 is only an embodiment of the present invention. Some of the illustrated components may be integrated, added, or omitted according to the specifications of the display device 100 that is actually implemented.
  • two or more components may be combined into a single component, or one component may be subdivided into two or more components and configured.
  • functions performed by each block are for explaining an embodiment of the present invention, and specific operations or devices thereof do not limit the scope of the present invention.
  • the display apparatus 100 does not include a tuner 131 and a demodulation unit 132, but a network interface unit 133 or an external device interface unit ( 135) can also be received and played.
  • the display device 100 is implemented by being divided into an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services, and a content reproducing device for reproducing content input from the image processing device. Can be.
  • an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services
  • a content reproducing device for reproducing content input from the image processing device. Can be.
  • the method of operating the display device according to an embodiment of the present invention to be described below is not only the display device 100 as described with reference to FIG. 1, but also an image processing device or display unit 180 such as a separate set-top box. ) And the audio output unit 185 may be performed by any one of a content playback device.
  • FIG. 2 is a block diagram of a remote control device according to an embodiment of the present invention
  • FIG. 3 is a block diagram showing an example of an actual configuration of a remote control device according to an embodiment of the present invention.
  • the remote control device 200 includes a fingerprint recognition unit 210, a wireless communication unit 220, a user input unit 230, a sensor unit 240, an output unit 250, and a power supply unit 260. ), a storage unit 270, a control unit 280, and a voice acquisition unit 290.
  • the wireless communication unit 220 transmits and receives signals to and from any one of the display devices according to the exemplary embodiments described above.
  • the remote control device 200 includes an RF module 221 capable of transmitting and receiving signals with the display device 100 according to the RF communication standard, and capable of transmitting and receiving signals with the display device 100 according to the IR communication standard.
  • An IR module 223 may be provided.
  • the remote control device 200 may include a Bluetooth module 225 capable of transmitting and receiving signals to and from the display device 100 according to the Bluetooth communication standard.
  • the remote control device 200 includes an NFC module 227 capable of transmitting and receiving signals with the display device 100 according to the NFC (Near Field Communication) communication standard, and the display according to the WLAN (Wireless LAN) communication standard.
  • a WLAN module 229 capable of transmitting and receiving signals to and from the device 100 may be provided.
  • the remote control device 200 transmits a signal containing information about the movement of the remote control device 200 to the display device 100 through the wireless communication unit 220.
  • the remote control device 200 may receive a signal transmitted from the display device 100 through the RF module 221, and power on/off the display device 100 through the IR module 223 as necessary. Commands for off, channel change, volume change, etc. can be transmitted.
  • the user input unit 230 may be composed of a keypad, a button, a touch pad, or a touch screen. A user may input a command related to the display device 100 to the remote control device 200 by manipulating the user input unit 230.
  • the user input unit 230 includes a hard key button, the user may input a command related to the display device 100 to the remote control device 200 through a push operation of the hard key button. This will be described with reference to FIG. 3.
  • the remote control device 200 may include a plurality of buttons.
  • the plurality of buttons include a fingerprint recognition button 212, a power button 231, a home button 232, a live button 233, an external input button 234, a volume control button 235, a voice recognition button 236, A channel change button 237, a confirmation button 238, and a back button 239 may be included.
  • the fingerprint recognition button 212 may be a button for recognizing a user's fingerprint. As an example, the fingerprint recognition button 212 is capable of a push operation and may receive a push operation and a fingerprint recognition operation.
  • the power button 231 may be a button for turning on/off power of the display apparatus 100.
  • the home button 232 may be a button for moving to the home screen of the display device 100.
  • the live button 233 may be a button for displaying a real-time broadcast program.
  • the external input button 234 may be a button for receiving an external input connected to the display device 100.
  • the volume control button 235 may be a button for adjusting the volume of the volume output by the display apparatus 100.
  • the voice recognition button 236 may be a button for receiving a user's voice and recognizing the received voice.
  • the channel change button 237 may be a button for receiving a broadcast signal of a specific broadcast channel.
  • the confirmation button 238 may be a button for selecting a specific function, and the back button 2
  • the user input unit 230 When the user input unit 230 includes a touch screen, the user may input a command related to the display device 100 to the remote control device 200 by touching a soft key on the touch screen.
  • the user input unit 230 may include various types of input means that a user can manipulate, such as a scroll key or a jog key, and the present embodiment does not limit the scope of the present invention.
  • the sensor unit 240 may include a gyro sensor 241 or an acceleration sensor 243, and the gyro sensor 241 may sense information about the movement of the remote control device 200.
  • the gyro sensor 241 may sense information on the operation of the remote control device 200 based on the x, y, and z axes, and the acceleration sensor 243 is the moving speed of the remote control device 200 Information about the back can be sensed.
  • the remote control device 200 may further include a distance measuring sensor, so that the distance to the display unit 180 of the display device 100 may be sensed.
  • the output unit 250 may output an image or audio signal corresponding to an operation of the user input unit 230 or a signal transmitted from the display apparatus 100. Through the output unit 250, the user may recognize whether the user input unit 230 is operated or whether the display apparatus 100 is controlled.
  • the output unit 250 includes an LED module 251 that lights up when the user input unit 230 is operated or a signal is transmitted and received with the display device 100 through the wireless communication unit 220, and a vibration module that generates vibration ( 253), a sound output module 255 for outputting sound, or a display module 257 for outputting an image may be provided.
  • the power supply unit 260 supplies power to the remote control device 200, and when the remote control device 200 has not moved for a predetermined period of time, the power supply is stopped, thereby reducing power waste.
  • the power supply unit 260 may resume power supply when a predetermined key provided in the remote control device 200 is operated.
  • the storage unit 270 may store various types of programs, application data, and the like necessary for controlling or operating the remote control device 200. If the remote control device 200 wirelessly transmits and receives signals through the display device 100 and the RF module 221, the remote control device 200 and the display device 100 transmit and receive signals through a predetermined frequency band. .
  • the control unit 280 of the remote control device 200 stores information about a frequency band through which signals can be wirelessly transmitted and received with the display device 100 paired with the remote control device 200 in the storage unit 270 and is referred to. can do.
  • the controller 280 controls all matters related to the control of the remote control device 200.
  • the controller 280 transmits a signal corresponding to the operation of a predetermined key by the user input unit 230 or a signal corresponding to the movement of the remote control device 200 sensed by the sensor unit 240 through the wireless communication unit 220. 100).
  • the voice acquisition unit 290 of the remote control device 200 may acquire voice.
  • the voice acquisition unit 290 may include at least one microphone 291, and may acquire a voice through the microphone 291.
  • FIG. 4 will be described.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIG. 4A illustrates that a pointer 205 corresponding to the remote control device 200 is displayed on the display unit 180.
  • the user can move or rotate the remote control device 200 up and down, left and right.
  • the pointer 205 displayed on the display unit 180 of the display device 100 corresponds to the movement of the remote control device 200.
  • the remote control device 200 since the corresponding pointer 205 is moved and displayed according to movement in the 3D space, the remote control device 200 may be referred to as a space remote controller.
  • FIG. 4B illustrates that when the user moves the remote control device 200 to the left, the pointer 205 displayed on the display unit 180 of the display device 100 also moves to the left in response thereto.
  • the display device 100 may calculate the coordinates of the pointer 205 from information about the movement of the remote control device 200.
  • the display apparatus 100 may display the pointer 205 to correspond to the calculated coordinates.
  • FIG. 4C illustrates a case where a user moves the remote control device 200 away from the display unit 180 while pressing a specific button in the remote control device 200. Accordingly, the selection area in the display unit 180 corresponding to the pointer 205 may be zoomed in and displayed in an enlarged manner.
  • a selection area in the display unit 180 corresponding to the pointer 205 may be zoomed out and displayed in a reduced size.
  • the selection area may be zoomed out, and when the remote control device 200 approaches the display unit 180, the selection area may be zoomed in.
  • a specific button in the remote control device 200 when a specific button in the remote control device 200 is pressed, recognition of vertical and horizontal movement may be excluded. That is, when the remote control device 200 moves away from or approaches the display unit 180, up, down, left, and right movements are not recognized, but only forward and backward movements may be recognized. In a state in which a specific button in the remote control device 200 is not pressed, only the pointer 205 is moved according to the up, down, left, and right movement of the remote control device 200.
  • the moving speed or moving direction of the pointer 205 may correspond to the moving speed or moving direction of the remote control device 200.
  • a pointer refers to an object displayed on the display unit 180 in response to an operation of the remote control device 200.
  • the pointer 205 can be used to make objects of various shapes other than the arrow shape shown in the drawing.
  • it may be a concept including a point, a cursor, a prompt, and a thick outline.
  • the pointer 205 may be displayed in correspondence with any one of a horizontal axis and a vertical axis on the display unit 180, as well as a plurality of points such as a line and a surface. Do.
  • FIG. 5 is a flowchart illustrating a method of operating a display device according to an exemplary embodiment of the present invention.
  • the display unit 180 may display an image (S11).
  • the image may be a TV program broadcast image received through the broadcast receiving unit 130.
  • the controller 170 may control the display 180 to display a TV program broadcast image received through the broadcast receiving unit 130.
  • the control unit 170 may determine whether to receive a character search command (S13).
  • the character search command may be a command for requesting information on a character in an image displayed by the display unit 180.
  • the user may request the display apparatus 100 to search for a character.
  • the user may request a character search by selecting at least one button provided in the remote control device 200.
  • the controller 170 may receive a character search command from the remote control device 200 through the user input interface unit 150.
  • FIG. 6 is a diagram illustrating an example of a method for receiving a character search command by a display device according to an embodiment of the present invention.
  • the display unit 180 may display the search icon 300.
  • the search icon 300 may be an icon for searching for information related to an image being displayed by the display unit 180.
  • the user may select the search icon 300 with a pointer (not shown) using the remote control device 200.
  • the controller 170 may recognize reception of a character search command by receiving a selection command for the search icon 300 through the user input interface unit 150.
  • control unit 170 may receive a character search command through various methods.
  • the user may request a character search through voice speech.
  • the control unit 170 may receive a character search command through the sound acquisition unit 175 of the display device 100 or the microphone 291 provided in the remote control device 200.
  • FIG. 5 will be described.
  • control unit 170 may continue to display the image being displayed.
  • control unit 170 may obtain information on a person appearing in an image currently being broadcast (S15).
  • control unit 170 may obtain content information related to an image from an electronic program guide (EPG), and may acquire person information of people appearing in an image on the web based on the content information.
  • EPG electronic program guide
  • the control unit 170 may obtain content information related to the image from the EPG in order to know which image the current image is. That is, the control unit 170 may obtain a current channel, a current time, etc. at a time point at which the character search command is received, and obtain content information corresponding to the current channel and the current time from the EPG.
  • the content information may include information related to an image, such as a program name and a program producer.
  • the control unit 170 may obtain a program name of an image from the EPG.
  • the controller 170 may obtain person information of people appearing in an image by searching for people appearing in the program name on the web based on the program name. That is, the control unit 170 may obtain person information of persons appearing in the image through the wireless communication unit 173.
  • the person information may include the person's name and image.
  • the controller 170 may display thumbnails of characters based on the person information (S17).
  • the controller 170 may display thumbnails including face images of characters.
  • FIG. 7 is a diagram illustrating an example of a method of displaying thumbnails of characters by a display device according to an embodiment of the present invention.
  • the control unit 170 Upon receiving the character search command, the control unit 170 displays the character search information 400 as shown in FIG. 7, and the character search information 400 includes thumbnails 401 to 407 of the characters. can do.
  • the thumbnails 401 to 407 of the characters may be images of a person included in the person information. According to an embodiment, the thumbnails 401 to 407 of the characters may include the names of the characters.
  • FIG. 7 is merely an example for convenience of description, it is not limited thereto.
  • FIG. 5 will be described.
  • the controller 170 may acquire a face image of a person in the current scene (S19).
  • the controller 170 may obtain a current scene of a current image displayed by the display unit 180 and obtain a face image of a person included in the current scene.
  • the current image may mean a TV broadcast program image. That is, when the display unit 180 displays the character search information 400 on the TV broadcast program image, it may mean only the TV broadcast program image before the character search information 400 is displayed.
  • the current scene may be an image scene at a time when a character search command is received or a video scene at a time when a scene change is detected.
  • FIG. 8 is an exemplary diagram of a method of obtaining, by a display device, a face image of a person in a current scene according to an embodiment of the present invention.
  • the controller 170 may acquire a current scene of the current image displayed by the display 180.
  • the controller 170 is a scene of the image itself excluding the character search information 400 Acquire the current scene 801, which may be the image shown on the upper side of FIG. 8.
  • the controller 170 may obtain a face image 811 of a person in the current scene.
  • the controller 170 may acquire a face image 811 of a person through a face detection algorithm in the current scene 810, which may be the same as the image shown in the lower part of FIG. I can.
  • the controller 170 may acquire a face region of a person by recognizing eyes, nose, and mouth in the current scene 810 and obtain a face image 811 including the face region.
  • FIG. 5 will be described.
  • the controller 170 may compare the face image with each of the thumbnails of the characters (S21).
  • the controller 170 may compare the face image 811 with each of the thumbnails of the characters in order to find the same person among the characters in the current scene. To this end, the controller 170 may obtain face images of the characters from each of the thumbnails 401 to 407 of the characters.
  • FIG. 9 is an exemplary diagram of a method for acquiring face images of characters by a display device according to an embodiment of the present invention.
  • the controller 170 may obtain a face image of each of the characters by applying a face detection algorithm to each of the thumbnails 401 to 407 of the characters.
  • the left images 901 to 907 of FIG. 9 may represent thumbnails 401 to 407 of characters, respectively.
  • the left images 901 to 907 of FIG. 9 may be people images included in the person information.
  • the right images 911 to 917 of FIG. 9 may be face images obtained from each of the thumbnails 401 to 407 of characters.
  • the control unit 170 may acquire face images 901 to 907 of the person through a face detection algorithm in each of the thumbnails 401 to 407 of the characters. That is, the control unit 170 can obtain the face region of the person by recognizing the eyes, nose, and mouth from each of the thumbnails 401 to 407 of the characters, and obtains face images 901 to 907 including the face region. Can be obtained.
  • the controller 170 may compare the face image 811 of the person in the current scene 801 with the face images 911 to 917 of the characters.
  • FIG. 5 will be described.
  • the controller 170 may obtain a matching person most similar to a person in the current scene from the thumbnails of the characters (S23).
  • the controller 170 may obtain a matching person by comparing the face image 811 of the person in the current scene 801 with each of the face images 911 to 917 of the characters.
  • the matching person may mean a person who matches the person in the current scene among the characters.
  • the matching person may change according to the scene.
  • the controller 170 may obtain a matching person by calculating the similarity of each of the face images 811 of the person in the current scene 801 and the face images 911 to 917 of the characters.
  • FIG. 10 is a diagram illustrating an example in which a display device according to an embodiment of the present invention calculates a similarity between a face image in a current scene and face images of characters.
  • the controller 170 may calculate a similarity between each of the face images 911 to 917 of the characters and the face image 811 in the current scene through a face recognition algorithm.
  • the controller 170 analyzes facial features such as a symmetrical composition of the face, appearance, hair, eye color, and facial muscle movements, and analyzes facial features of the characters (911 to 917) and a face image 811 in the current scene.
  • the similarity of can be calculated.
  • the controller 170 may calculate a similarity higher as the facial features are similar.
  • the controller 170 calculates the similarity between the face image 811 in the current scene and the first character face image 911 as 12, and the face image 811 in the current scene and the second character face
  • the similarity between the images 912 is calculated as 9
  • the similarity between the face image 811 in the current scene and the face image 913 of the third person is calculated as 18, and the face image 811 in the current scene 4
  • the similarity between the face image of the character 914 is calculated as 102
  • the similarity between the face image 811 in the current scene and the face image 911 of the fifth character is calculated as 25, and the face image in the current scene
  • the similarity between the face image 811 and the sixth character face image 916 may be calculated as 10
  • the similarity degree between the face image 811 in the current scene and the face image 917 of the seventh character may be calculated as 28.
  • the controller 170 may recognize a character corresponding to the character face image whose similarity to the face image 811 in the current scene is the highest as a matching person.
  • the controller 170 may recognize the fourth person as a matching person.
  • the controller 170 may calculate a similarity and then implement a probability model, and recognize a character corresponding to a face image of a character having the largest data value according to the implementation of the probability model as a matching person.
  • the control unit 170 calculates a data value of the first character face image 911 as 0.03 after implementing it as a probability model, and sets the data value of the second character face image 912 to 0.02.
  • the control unit 170 may recognize the fourth character as a matching person.
  • FIG. 5 will be described.
  • the controller 170 may display an indicator on the thumbnail corresponding to the matching person (S25).
  • the controller 170 may display an indicator on a thumbnail of the person corresponding to the matching person.
  • the indicator may be displayed to distinguish the matching person from other characters.
  • the controller 170 may control the display 180 to display an indicator that distinguishes the matching person from the rest of the characters in the thumbnails 401 to 407 of the characters included in the character search information 400.
  • FIG. 11 is an exemplary diagram of a method of displaying an indicator by a display device according to an embodiment of the present invention.
  • the indicator 410 may be a highlight box that emphasizes a matching person.
  • the controller 170 may display a highlight box on the thumbnail 404 of the character corresponding to the matching character among the thumbnails 401 to 407 of the characters. In this case, the control unit 170 may not display the highlight box on the thumbnails 401 to 403 and 405 to 407 of the remaining characters excluding the matching person.
  • control unit 170 may distinguish and display the matching person from the remaining characters in a different way instead of the indicator.
  • FIG. 12 is an exemplary diagram of a method for displaying a matching person by a display device according to another embodiment of the present invention.
  • the controller 170 displays the brightness of the thumbnail 404 corresponding to the matching person to be brighter than that of the thumbnails 401 to 403 and 405 to 407 of other characters. Can be controlled.
  • controller 170 may display the matching person in the character search information in various ways to distinguish the matching person from other people. have.
  • FIG. 5 will be described.
  • the controller 170 may obtain whether to change the scene (S27).
  • the controller 170 may maintain the display position of the indicator (S29).
  • the controller 170 continues the indicator 410 and the thumbnail 404 corresponding to the fourth character Can be marked on.
  • the scene change is performed while the controller 170 displays the thumbnail 404 corresponding to the fourth character brighter than the thumbnails 401 to 403 and 405 to 407 of the remaining characters.
  • the display unit 180 may be controlled to continuously display the thumbnails 404 corresponding to the fourth characters brighter than the thumbnails 401 to 403 and 405 to 407 of the remaining characters.
  • the controller 170 may acquire a face image of a person in the current scene (S31).
  • the controller 170 may acquire a face image of a person in the switched scene.
  • FIG. 13 is an exemplary diagram of a method of acquiring a face image of a person in a scene in which a display device is switched according to an exemplary embodiment of the present invention.
  • the controller 170 may acquire the converted scene 802, which may be as shown in the upper side of FIG. 13.
  • the converted scene 802 may mean a current scene of an image after the scene is converted. Accordingly, the switched scene 802 may be different from the current scene 801 in step S19.
  • the controller 170 may acquire the face image 812 from the converted scene 802, which may be as shown in the lower side of FIG. 13.
  • FIG. 5 will be described.
  • the controller 170 may obtain whether the face of the face image acquired in the transition scene is the same as the face of the previously acquired face image (S33).
  • FIG. 14 is an exemplary diagram for explaining a method of determining whether a face is the same when a scene of an image is changed by the display device according to an exemplary embodiment of the present invention.
  • the controller 170 may determine whether the face of the face image 812 acquired in the switched scene 802 is the same as the face of the face image 811 acquired in the previous scene.
  • the controller 170 compares the face image 812 acquired in the switched scene 802 with the face image 811 acquired in the previous scene 801 to determine whether the face is identical. I can.
  • the controller 170 determines that the face in the switched scene 802 and the face in the previous scene 801 are the same if the similarity is greater than or equal to a set value, If the similarity is less than the set value, it may be determined that the face in the converted scene 802 and the face in the previous scene 801 are different.
  • FIG. 5 will be described.
  • the controller 170 may maintain the display position of the indicator.
  • the controller 170 may control the display 180 so that the indicator is continuously displayed on the same thumbnail. For example, the control unit 170 detects whether the scene is switched, and when the scene is switched, the controller 170 determines whether the first face of the person in the converted scene and the second face of the previously acquired face image are the same, and the first If the face and the second face are the same, the indicator 410 may be maintained.
  • the controller 170 may change the display position of the indicator. For example, if the first face and the second face are not the same, the controller 170 may change the display position of the indicator 410.
  • the controller 170 obtains a face most similar to the face in the converted scene among the thumbnails of the characters, and the acquired most similar face may be the second face. In this case, the controller 170 may change the display position of the indicator 410 from a thumbnail corresponding to the first face to a thumbnail corresponding to the second face.
  • the controller 170 may perform steps S21, S23, and S25 again.
  • the controller 170 may compare the face image acquired in the converted scene with each of the thumbnails of the characters to reacquire a matching person, and display an indicator on the thumbnail corresponding to the reacquired matching person.
  • the controller 170 may display the indicator on the thumbnail of the matched person changed from the thumbnail of the previous matching person.
  • 15 is an exemplary diagram for explaining a method of changing a display position of an indicator by a display device according to an exemplary embodiment of the present invention.
  • the controller 170 displays the indicator 410 on the thumbnail 404 corresponding to the fourth character, and the matching person is the fourth person to the sixth person It can be reacquired with.
  • the controller 170 removes the indicator 410 from the thumbnail 404 corresponding to the fourth character, and displays it on the thumbnail 406 corresponding to the sixth character. I can. That is, the controller 170 may change the display position of the indicator 410 from the thumbnail 404 corresponding to the fourth character to the thumbnail 406 corresponding to the sixth character.
  • the controller 170 may detect a scene change and may not acquire a face image of a person in step S31. In this case, the controller 170 may exclude the display unit 180 so as not to display the indicator 410. That is, the display apparatus 100 can increase reliability by removing the indicator 410 when there is no person in the video scene.
  • the controller 170 determines that the face in the previous scene and the face in the current scene are not the same in step S33, but as a result of performing steps S21 and S23, the matching person may be recognized as the same person. In this case, the controller 170 may maintain the display position of the indicator 410.
  • the controller 170 may recognize a plurality of people in the current scene. For example, as a result of performing steps S17 and S31, the controller 170 may acquire a plurality of face images, respectively, and in this case, the number of matching persons may be 2 or more. In this case, the controller 170 may control the display 180 to display a plurality of indicators on a thumbnail corresponding to each of the plurality of people among the thumbnails 401 to 407 of the characters.
  • the controller 170 may display an indicator on all thumbnails corresponding to a person in the current scene.
  • the display 180 may be controlled so that the colors of the plurality of indicators are displayed differently.
  • the control unit 170 may determine that the matching character is a first character, a second character, and a third character, and based on the person information, the first and second characters are male and the third character is female.
  • the display unit 180 may be controlled to display the indicator of the first color on the thumbnails of the first and second characters and the indicator of the second color on the thumbnail of the third character.
  • the display device 100 does not stop displaying the thumbnails of the characters, but also displays an indicator on the thumbnail corresponding to the person in the current scene, so that the person who is curious about the user is more quickly and intuitively There is an advantage of providing recognizable convenience.
  • the display device 100 when a new face is searched according to a scene change while the character search information 400 is being displayed, the display device 100 has the advantage of being able to adapt to the change in real time by changing the display position of the indicator 410. There is.
  • 16 is a flowchart illustrating a method of operating a display device according to another exemplary embodiment of the present invention.
  • steps S101 and S103 are performed instead of steps S21 and S23 shown in FIG. 5.
  • the controller 170 compares the face image in the current scene with each of the thumbnails of the characters, so that the Similar matching figures were obtained.
  • the controller 170 searches the web for a matching image having a face similar to the face image in the current scene, and based on the matching image, the matching person To obtain. Except for steps S101 and S103, the remaining steps are the same as those described in FIG. 5, so a duplicate description will be omitted.
  • the controller 170 may search a matching image having a face similar to the face image on the web (S101).
  • the controller 170 may search the web for a matching image having a face similar to the face image of a person in the current scene.
  • control unit 170 may limit the search range on the web to characters. Specifically, the control unit 170 filters only the information of the characters obtained in step S15 among the information of the characters searched on the web, and then, based on the filtered information of the characters, A matching image can be obtained. In this case, since the search range is reduced, there is an advantage of minimizing the time required to acquire the matching image.
  • the web described as a search range in step S101 is merely an example for convenience of description, and this may be changed.
  • the controller 170 may search an external server for a matching image having a face similar to the face image of a person in the current scene, and in this case, the external server may include a database having person information.
  • the matching image may mean an image including a face identical or similar to a face of a face image acquired in the current scene.
  • the controller 170 may obtain a matching image and obtain a matching person based on the matching image (S103).
  • the matching image may include metadata such as a name.
  • the controller 170 may acquire a matching person by obtaining information on a person in the matching image based on metadata included in the matching image.
  • FIG. 17 is a flowchart illustrating a method of obtaining a matching person by a display device according to an embodiment of the present invention.
  • the controller 170 may operate according to the flowchart shown in FIG. 17. Hereinafter, it is assumed that the controller 170 obtains a matching person.
  • the controller 170 may perform face recognition (S201).
  • the controller 170 may calculate a similarity between each of the face images 911 to 917 of the characters and the face image 811 in the current scene through face recognition comparing facial features.
  • the controller 170 may perform a regression analysis (S203).
  • the controller 170 may perform regression analysis to implement a similarity calculated as a result of performing face recognition as a probability model.
  • the sum of the data values of each of the thumbnails may be 1.
  • the controller 170 may determine whether the largest data value is equal to or greater than a preset reference value (S205).
  • the reference value is a value for setting the matching accuracy, and the higher the reference value is, the higher the matching accuracy may be.
  • the reference value may be 0.6.
  • the controller 170 may recognize a character corresponding to the thumbnail having the largest data value as a matching person (S207).
  • any one of the face images 911 to 917 of the characters is similar to the face image 811 in the current scene. This is because it means that the remaining face images are not similar to the face image 811 in the current scene.
  • the controller 170 may determine that the matching person cannot be recognized (S211).
  • the controller 170 indicates that the face images 911 to 917 of the characters are relatively uniformly similar to the face image 811 in the current scene. This is because it is difficult to recognize as a person in the current scene.
  • FIG. 17 is merely an example, and the controller 170 may acquire a matching person or a matching image in a method other than the method shown in FIG. 17.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 등장 인물 검색 요청을 수신시 현재 장면 속 인물에 대한 정보를 사용자에게 보다 용이하게 제공할 수 있는 디스플레이 장치에 관한 것으로, 영상을 표시하는 디스플레이부, 영상과 관련된 등장 인물들의 인물 정보를 수신하는 무선 통신부 및 인물 정보에 기초하여 등장 인물들의 썸네일 표시하도록 디스플레이부를 제어하는 제어부를 포함하고, 제어부는 등장 인물들의 썸네일 중 현재 장면 속 인물의 얼굴 이미지와 가장 유사한 매칭 인물의 썸네일에 인디케이터를 표시하도록 디스플레이부를 제어할 수 있다.

Description

디스플레이 장치
본 발명은 디스플레이 장치에 관한 것으로, 보다 상세하게는 영상의 등장 인물을 검색하는 기능을 제공하는 디스플레이 장치에 관한 것이다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어, 디지털 TV 서비스의 한 종류인 IPTV(Internet Protocol Television), smart TV 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV, smart TV서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
또한, 디지털 TV는 사용자가 시청 중인 영상에 등장하는 인물 정보를 제공할 수도 있다. 이 때, 디지털 TV는 등장 인물들을 단순히 나열하는 방식으로 표시하므로, 사용자는 현재 장면의 인물을 찾기 위해서 표시된 등장 인물들과 일일이 비교해야 하는 불편이 있다.
따라서, 사용자가 영상을 시청하는 도중에 등장 인물의 검색을 요청할 경우, 영상 속 등장 인물을 안내할 뿐 아니라, 현재 장면 속 인물을 직관적으로 안내할 수 있는 기능이 요구된다.
본 발명은 등장 인물 검색 요청을 수신시 현재 장면 속 인물에 대한 정보를 사용자에게 보다 용이하게 제공할 수 있는 디스플레이 장치를 제공하고자 한다.
또한, 본 발명은 장면이 전환됨에 따라 현재 장면 속 인물이 변경될 경우, 변경된 인물을 보다 신속하게 안내할 수 있는 디스플레이 장치를 제공하고자 한다.
본 발명의 실시 예에 따른 디스플레이 장치는 영상을 표시하는 디스플레이부, 영상과 관련된 등장 인물들의 인물 정보를 수신하는 무선 통신부 및 인물 정보에 기초하여 등장 인물들의 썸네일 표시하도록 디스플레이부를 제어하는 제어부를 포함하고, 제어부는 등장 인물들의 썸네일 중 현재 장면 속 인물의 얼굴 이미지와 가장 유사한 매칭 인물의 썸네일에 인디케이터를 표시하도록 디스플레이부를 제어할 수 있다.
제어부는 장면의 전환 여부를 감지하고, 장면이 전환되지 않으면 인디케이터를 유지할 수 있다.
제어부는 장면의 전환 여부를 감지하고, 장면이 전환되면 전환된 장면 속 인물의 제1 얼굴과 이전에 획득한 얼굴 이미지의 제2 얼굴의 동일 여부를 판단하고, 제1 얼굴과 제2 얼굴이 동일하면 인디케이터를 유지할 수 있다.
제어부는 제1 얼굴과 제2 얼굴이 동일하지 않으면 인디케이터의 표시 위치를 제2 얼굴에 대응하는 썸네일로 변경할 수 있다.
제어부는 인디케이터를 변경할 경우, 등장 인물들의 썸네일 중 제2 얼굴과 가장 유사한 얼굴을 갖는 썸네일을 획득할 수 있다.
디스플레이 장치는 등장인물 검색 명령을 수신하는 사용자 입력 인터페이스부를 더 포함하고, 제어부는 등장인물 검색 명령을 수신하면 EPG(Electronic Program Guide)에서 영상과 관련된 컨텐트 정보를 획득하고, 컨텐트 정보에 기초하여 웹 상에서 영상에 등장하는 인물들의 인물 정보를 획득할 수 있다.
제어부는 등장 인물들의 썸네일에서 등장 인물들 각각의 얼굴 이미지를 획득하고, 등장 인물들 각각의 얼굴 이미지를 현재 장면 속 인물의 얼굴 이미지와 비교함으로써 매칭 인물을 획득할 수 있다.
제어부는 웹 상에서 현재 장면 속 인물의 얼굴 이미지와 가장 유사한 얼굴을 갖는 매칭 이미지를 획득하고, 매칭 이미지에 기초하여 매칭 인물을 획득할 수 있다.
제어부는 인물 정보에서 등장 인물들의 이름을 획득하고, 웹 상에서 이름을 갖는 인물 이미지 중 현재 장면 속 인물의 얼굴 이미지와 가장 유사한 얼굴을 갖는 매칭 이미지를 획득하고, 매칭 이미지에 기초하여 매칭 인물을 획득할 수 있다.
제어부는 등장 인물들 각각과 현재 장면 속 인물의 유사도를 나타내는 데이터 값을 산출하고, 데이터 값이 가장 큰 등장 인물을 매칭 인물로 인식할 수 있다.
제어부는 데이터 값이 가장 큰 등장 인물의 데이터 값이 기 설정된 기준 값 미만이면 인디케이터를 표시하지 않도록 디스플레이부를 제어할 수 있다.
제어부는 데이터 값이 가장 큰 등장 인물의 데이터 값이 기 설정된 기준 값 이상이면 매칭 인물에 대응하는 썸네일에 인디케이터를 표시하도록 디스플레이부를 제어할 수 있다.
디스플레이부는 등장 인물들의 썸네일 중 현재 장면 속 인물의 얼굴 이미지와 가장 유사한 매칭 인물의 썸네일을 매칭 인물을 제외한 나머지 등장 인물의 썸네일과 상이하게 표시할 수 있다.
디스플레이부는 매칭 인물의 썸네일을 매칭 인물을 제외한 나머지 등장 인물의 썸네일 보다 밝게 표시할 수 있다.
본 발명의 실시 예에 따르면, 영상에 등장하는 인물들을 정보를 표시할 때 현재 장면 속 인물로 추정되는 인물의 정보에 인디케이터를 함께 표시함으로써, 사용자가 궁금해하는 인물의 인식 효율을 높일 수 있는 이점이 있다. 즉, 사용자가 등장 인물들 중 현재 장면 속 인물을 찾기 위한 수고를 최소함으로써, 사용자 편의성을 제공 가능한 이점이 있다.
또한, 본 발명의 실시 예에 따르면, 장면의 전환이 감지될 경우에 전환된 장면 속 얼굴을 이전 장면 속 얼굴과 비교하여 인디케이터의 위치 변경 여부를 판단하므로, 얼굴 비교 알고리즘을 수행하는 횟수를 최소화하고, 이에 따라 영상 처리 속도를 향상시킬 수 있는 이점이 있다.
또한, 본 발명의 실시 예에 따르면, 장면 전환에 따라 현재 장면 속 인물이 변경될 경우, 변경된 인물을 강조하도록 인디케이터를 변경함으로써, 등장 인물 안내 기능의 신뢰성을 향상시킬 수 있는 이점이 있다.
또한, 본 발명의 실시 예에 따르면, 현재 장면 속 얼굴을 썸네일 속 얼굴들과 비교하므로, 현재 장면 속 얼굴을 임의의 얼굴들과 비교하는 경우 보다 매칭 인물 획득의 속도가 빠르고, 정확도를 높일 수 있는 이점이 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2는 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 나타내는 순서도이다.
도 6은 본 발명의 실시 예에 따른 디스플레이 장치가 등장인물 검색 명령을 수신하는 방법의 일 예를 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 디스플레이 장치가 등장 인물들의 썸네일을 표시하는 방법의 일 예를 도시한 도면이다.
도 8은 본 발명의 실시 예에 따른 디스플레이 장치가 현재 장면 속 인물의 얼굴 이미지를 획득하는 방법의 예시 도면이다.
도 9는 본 발명의 실시 예에 따른 디스플레이 장치가 등장 인물들의 얼굴 이미지를 획득하는 방법의 예시 도면이다.
도 10은 본 발명의 실시 예에 따른 디스플레이 장치가 현재 장면 속 얼굴 이미지와 등장 인물들의 얼굴 이미지 사이의 유사도를 산출하는 일 예를 나타내는 도면이다.
도 11은 본 발명의 실시 예에 따른 디스플레이 장치가 인디케이터를 표시하는 방법의 예시 도면이다.
도 12는 본 발명의 다른 실시 예에 따른 디스플레이 장치가 매칭 인물을 나타내는 방법의 예시 도면이다.
도 13은 본 발명의 실시 예에 따른 디스플레이 장치가 전환된 장면 속 인물의 얼굴 이미지를 획득하는 방법의 예시 도면이다.
도 14는 본 발명의 실시 예에 따른 디스플레이 장치가 영상의 장면이 전환된 경우 얼굴의 동일 여부를 판단하는 방법을 설명하기 위한 예시 도면이다.
도 15는 본 발명의 실시 예에 따른 디스플레이 장치가 인디케이터의 표시 위치를 변경하는 방법을 설명하기 위한 예시 도면이다.
도 16은 본 발명의 다른 실시 예에 따른 디스플레이 장치의 동작 방법을 나타내는 순서도이다.
도 17은 본 발명의 실시 예에 따른 디스플레이 장치가 매칭 인물을 획득하는 방법을 구체화한 순서도이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 무선 통신부(173), 음성 획득부(175), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
외부장치 인터페이스부(135)는 디스플레이 장치(100)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부장치 인터페이스부(135)는 디스플레이 장치(100)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 제어부(170)로 전달할 수 있다. 외부장치 인터페이스부(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
외부장치 인터페이스부(135)를 통해 입력된 외부장치의 영상 신호는 디스플레이부(180)를 통해 출력될 수 있다. 외부장치 인터페이스부(135)를 통해 입력된 외부장치의 음성 신호는 오디오 출력부(185)를 통해 출력될 수 있다.
외부장치 인터페이스부(135)에 연결 가능한 외부 장치는 셋톱 박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
무선 통신부(173)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 무선 통신부(173)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. 이를 위해, 무선 통신부(173)는 블루투스(Bluetooth™), BLE(Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 무선 통신부(173)는 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 디스플레이 장치(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다. 무선 통신부(173)는 디스플레이 장치(100) 주변에, 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(170)는 감지된 웨어러블 디바이스가 본 발명에 따른 디스플레이 장치(100)와 통신하도록 인증된(authenticated) 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를, 무선 통신부(173)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 장치(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다.
음성 획득부(175)는 오디오를 획득할 수 있다. 음성 획득부(175)는 적어도 하나의 마이크(미도시)를 포함할 수 있고, 마이크(미도시)를 통해 디스플레이 장치(100) 주변의 오디오를 획득할 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일 실시 예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시 예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋톱 박스 등과 같은 영상 처리 장치와 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 분리된 셋톱 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2는 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식부(210), 무선통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 제어부(280), 음성 획득부(290)를 포함할 수 있다.
도 2를 참조하면, 무선통신부(220)는 전술하여 설명한 본 발명의 실시 예들에 따른 디스플레이 장치 중 임의의 어느 하나와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)를 구비할 수 있다. 또한, 원격제어장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선 통신부(220)를 통해 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시 예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
다시 도 2를 설명한다.
사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x, y, z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(230)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(230)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력부(250)는 사용자 입력부(230)가 조작되거나 무선 통신부(220)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
또한, 전원공급부(260)는 원격제어장치(200)로 전원을 공급하며, 원격제어장치(200)가 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로써 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 디스플레이 장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)와 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 제어부(280)는 원격제어장치(200)와 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(230)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(220)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 원격제어장치(200)의 음성 획득부(290)는 음성을 획득할 수 있다.
음성 획득부(290)는 적어도 하나 이상의 마이크(291)을 포함할 수 있고, 마이크(291)를 통해 음성을 획득할 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부(180)에 표시되는 것을 예시한다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
도 5는 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 나타내는 순서도이다.
디스플레이부(180)는 영상을 표시할 수 있다(S11).
영상은 방송 수신부(130)를 통해 수신되는 TV 프로그램 방송 영상일 수 있다.
제어부(170)는 방송 수신부(130)를 통해 수신된 TV 프로그램 방송 영상을 표시하도록 디스플레이부(180)를 제어할 수 있다.
제어부(170)는 등장인물 검색 명령의 수신 여부를 판단할 수 있다(S13).
등장인물 검색 명령은 디스플레이부(180)가 표시 중인 영상 속 등장인물에 대한 정보를 요청하는 명령일 수 있다.
사용자는 영상을 시청하던 도중에 영상 속 등장인물이 궁금한 경우 디스플레이 장치(100)에 등장인물 검색을 요청할 수 있다.
사용자는 원격제어장치(200)에 구비된 적어도 하나의 버튼을 선택함으로써 등장인물 검색을 요청할 수 있다. 제어부(170)는 사용자 입력 인터페이스부(150)를 통해 원격 제어 장치(200)로부터 등장인물 검색 명령을 수신할 수 있다.
도 6은 본 발명의 실시 예에 따른 디스플레이 장치가 등장인물 검색 명령을 수신하는 방법의 일 예를 도시한 도면이다.
디스플레이부(180)는 검색 아이콘(300)을 표시할 수 있다. 검색 아이콘(300)은 디스플레이부(180)가 표시 중인 영상과 관련된 정보를 검색하기 위한 아이콘일 수 있다.
사용자는 원격제어장치(200)를 이용하여 포인터(미도시)로 검색 아이콘(300)을 선택할 수 있다. 제어부(170)는 사용자 입력 인터페이스부(150)를 통해 검색 아이콘(300)의 선택 명령을 수신함으로써 등장인물 검색 명령의 수신을 인식할 수 있다.
그러나, 상술한 방법은 예시적인 것에 불과하며, 제어부(170)는 다양한 방법을 통해 등장인물 검색 명령을 수신할 수 있다.
다른 예로, 사용자는 음성 발화를 통해 등장인물 검색을 요청할 수 있다. 제어부(170)는 디스플레이 장치(100)의 음석 획득부(175) 또는 원격제어장치(200)에 구비된 마이크(291)를 통해 등장인물 검색 명령을 수신할 수 있다.
다시, 도 5를 설명한다.
제어부(170)는 등장인물 검색 명령을 수신하지 않으면, 표시 중인 영상을 계속해서 표시할 수 있다.
제어부(170)는 등장인물 검색 명령을 수신하면, 현재 방송 중인 영상에 등장하는 인물 정보를 획득할 수 있다(S15).
제어부(170)는 등장인물 검색 명령을 수신하면 EPG(Electronic Program Guide)에서 영상과 관련된 컨텐트 정보를 획득하고, 컨텐트 정보에 기초하여 웹 상에서 영상에 등장하는 인물들의 인물 정보를 획득할 수 있다.
구체적으로, 제어부(170)는 등장인물 검색 명령을 수신하면, 현재 영상이 어떤 영상인지 알기 위해, EPG에서 영상과 관련된 컨텐트 정보를 획득할 수 있다. 즉, 제어부(170)는 등장인물 검색 명령을 수신한 시점의 현재 채널, 현재 시간 등을 획득하고, EPG에서 현재 채널 및 현재 시간에 대응하는 컨텐트 정보를 획득할 수 있다.
컨텐트 정보는 프로그램명, 프로그램 제작사 등 영상과 관련된 정보를 포함할 수 있다. 예를 들어, 제어부(170)는 등장인물 검색 명령을 수신하면 EPG에서 영상의 프로그램명을 획득할 수 있다.
제어부(170)는 프로그램명에 기초하여 웹 상에서 프로그램명에 등장하는 인물들을 검색함으로써, 영상에 등장하는 인물들의 인물 정보를 획득할 수 있다. 즉, 제어부(170)는 무선 통신부(173)를 통해 영상에 등장하는 인물들의 인물 정보를 획득할 수 있다.
인물 정보는 인물의 이름, 이미지 등을 포함할 수 있다.
제어부(170)는 인물 정보에 기초하여 등장 인물들의 썸네일을 표시할 수 있다(S17).
제어부(170)는 등장 인물들의 얼굴 이미지를 포함하는 썸네일을 표시할 수 있다.
도 7은 본 발명의 실시 예에 따른 디스플레이 장치가 등장 인물들의 썸네일을 표시하는 방법의 일 예를 도시한 도면이다.
제어부(170)는 등장인물 검색 명령을 수신하면, 도 7에 도시된 바와 같은 등장 인물 검색 정보(400)를 표시하고, 등장 인물 검색 정보(400)는 등장 인물들의 썸네일(401 내지 407)을 포함할 수 있다.
등장 인물들의 썸네일(401 내지 407)은 인물 정보에 포함된 인물의 이미지일 수 있다. 실시 예에 따라, 등장 인물들의 썸네일(401 내지 407)은 인물의 이름을 포함할 수 있다.
그러나, 도 7은 설명의 편의를 위해 예시로 든 것에 불과하므로, 이에 제한되지 않는다.
다시, 도 5를 설명한다.
제어부(170)는 현재 장면 속 인물의 얼굴 이미지를 획득할 수 있다(S19).
제어부(170)는 디스플레이부(180)가 표시 중인 현재 영상의 현재 장면을 획득하고, 현재 장면에 포함된 인물의 얼굴 이미지를 획득할 수 있다.
현재 영상은 TV 방송 프로그램 영상을 의미할 수 있다. 즉, 디스플레이부(180)가 TV 방송 프로그램 영상 위에 등장 인물 검색 정보(400)를 표시할 경우, 등장 인물 검색 정보(400)를 표시하기 전 TV 방송 프로그램 영상만을 의미할 수 있다.
현재 장면은 등장인물 검색 명령을 수신한 시점의 영상 장면 또는 장면 전환이 감지된 시점의 영상 장면일 수 있다.
다음으로, 도 8은 본 발명의 실시 예에 따른 디스플레이 장치가 현재 장면 속 인물의 얼굴 이미지를 획득하는 방법의 예시 도면이다.
제어부(170)는 디스플레이부(180)가 표시 중인 현재 영상의 현재 장면을 획득할 수 있다. 예를 들어, 디스플레이부(180)가 도 7에 도시된 바와 같이 영상과 등장 인물 검색 정보(400)를 표시할 경우, 제어부(170)는 등장 인물 검색 정보(400)를 제외한 영상 자체의 장면인 현재 장면(801)을 획득하고, 이는 도 8의 상측에 도시된 이미지일 수 있다.
제어부(170)는 현재 장면(801)을 획득한 후 현재 장면 속 인물의 얼굴 이미지(811)를 획득할 수 있다.
일 실시 예에 따르면, 제어부(170)는 현재 장면(810)에서 얼굴 검출(Face detection) 알고리즘을 통해 인물의 얼굴 이미지(811)를 획득할 수 있고, 이는 도 8의 하측에 도시된 이미지와 같을 수 있다. 제어부(170)는 현재 장면(810)에서 눈, 코, 입 등을 인식하여 인물의 얼굴 영역을 획득할 수 있고, 얼굴 영역을 포함하는 얼굴 이미지(811)를 획득할 수 있다.
다시, 도 5를 설명한다.
제어부(170)는 얼굴 이미지를 등장 인물들의 썸네일 각각과 비교할 수 있다(S21).
제어부(170)는 등장 인물들 중 현재 장면 속 인물과 동일한 인물을 찾기 위해, 얼굴 이미지(811)를 등장 인물들의 썸네일 각각과 비교할 수 있다. 이를 위해, 제어부(170)는 등장 인물들의 썸네일(401 내지 407) 각각에서 등장 인물들의 얼굴 이미지를 획득할 수 있다.
도 9는 본 발명의 실시 예에 따른 디스플레이 장치가 등장 인물들의 얼굴 이미지를 획득하는 방법의 예시 도면이다.
제어부(170)는 등장 인물들의 썸네일(401 내지 407) 각각에 얼굴 검출(Face detection) 알고리즘을 적용함으로써, 등장 인물들 각각의 얼굴 이미지를 획득할 수 있다.
도 9의 좌측 이미지(901 내지 907)는 등장 인물들의 썸네일(401 내지 407) 각각을 나타낼 수 있다. 또는, 도 9의 좌측 이미지(901 내지 907)은 인물 정보에 포함된 인물 이미지일 수 있다.
도 9의 우측 이미지(911 내지 917)는 등장 인물들의 썸네일(401 내지 407) 각각에서 획득한 얼굴 이미지일 수 있다. 마찬가지로, 제어부(170)는 등장 인물들의 썸네일(401 내지 407) 각각에 얼굴 검출(Face detection) 알고리즘을 통해 인물의 얼굴 이미지(901 내지 907)를 획득할 수 있다. 즉, 제어부(170)는 등장 인물들의 썸네일(401 내지 407) 각각에서 눈, 코, 입 등을 인식하여 인물의 얼굴 영역을 획득할 수 있고, 얼굴 영역을 포함하는 얼굴 이미지(901 내지 907)를 획득할 수 있다.
제어부(170)는 현재 장면(801) 속 인물의 얼굴 이미지(811)를 등장 인물들의 얼굴 이미지(911 내지 917) 각각과 비교할 수 있다.
다시, 도 5를 설명한다.
제어부(170)는 등장 인물들의 썸네일에서 현재 장면 속 인물과 가장 유사한 매칭 인물을 획득할 수 있다(S23).
제어부(170)는 현재 장면(801) 속 인물의 얼굴 이미지(811)를 등장 인물들의 얼굴 이미지(911 내지 917) 각각과 비교함으로써, 매칭 인물을 획득할 수 있다.
매칭 인물은 등장 인물들 중 현재 장면 속 인물과 일치하는 인물을 의미할 수 있다. 매칭 인물은 장면에 따라 변경될 수 있다.
제어부(170)는 현재 장면(801) 속 인물의 얼굴 이미지(811)와 등장 인물들의 얼굴 이미지(911 내지 917) 각각의 유사도를 산출함으로써, 매칭 인물을 획득할 수 있다.
인물의 유사도를 산출하는 방법은 다양할 수 있다.
도 10은 본 발명의 실시 예에 따른 디스플레이 장치가 현재 장면 속 얼굴 이미지와 등장 인물들의 얼굴 이미지 사이의 유사도를 산출하는 일 예를 나타내는 도면이다.
제어부(170)는 얼굴 인식(Face Recognition) 알고리즘을 통해 등장 인물들의 얼굴 이미지(911 내지 917) 각각과 현재 장면 속 얼굴 이미지(811)의 유사도를 산출할 수 있다. 제어부(170)는 얼굴의 대칭적인 구도, 생김새, 머리카락, 눈의 색상, 얼굴 근육의 움직임 등 얼굴의 특징을 분석하여 등장 인물들의 얼굴 이미지(911 내지 917) 각각과 현재 장면 속 얼굴 이미지(811)의 유사도를 산출할 수 있다.
제어부(170)는 얼굴의 특징이 비슷할수록 유사도를 높게 산출할 수 있다.
예를 들어, 제어부(170)는 현재 장면 속 얼굴 이미지(811)와 제1 등장 인물 얼굴 이미지(911) 사이의 유사도를 12로 산출하고, 현재 장면 속 얼굴 이미지(811)와 제2 등장 인물 얼굴 이미지(912) 사이의 유사도를 9로 산출하고, 현재 장면 속 얼굴 이미지(811)와 제3 등장 인물 얼굴 이미지(913) 사이의 유사도를 18로 산출하고, 현재 장면 속 얼굴 이미지(811)와 제4 등장 인물 얼굴 이미지(914) 사이의 유사도를 102로 산출하고, 현재 장면 속 얼굴 이미지(811)와 제5 등장 인물 얼굴 이미지(911) 사이의 유사도를 25로 산출하고, 현재 장면 속 얼굴 이미지(811)와 제6 등장 인물 얼굴 이미지(916) 사이의 유사도를 10로 산출하고, 현재 장면 속 얼굴 이미지(811)와 제7 등장 인물 얼굴 이미지(917) 사이의 유사도를 28로 산출할 수 있다.
일 실시 예에 따르면, 제어부(170)는 현재 장면 속 얼굴 이미지(811)와의 유사도가 가장 높게 산출된 등장 인물 얼굴 이미지에 대응하는 등장 인물을 매칭 인물로 인식할 수 있다. 도 10의 예시에서, 제어부(170)는 제4 등장 인물을 매칭 인물로 인식할 수 있다.
다른 실시 예에 따르면, 제어부(170)는 유사도를 산출한 후 확률 모델로 구현하고, 확률 모델 구현에 따른 데이터 값이 가장 큰 등장 인물 얼굴 이미지에 대응하는 등장 인물을 매칭 인물로 인식할 수 있다. 도 10의 예시에서, 제어부(170)는 확률 모델로 구현한 후 제1 등장 인물 얼굴 이미지(911)의 데이터 값을 0.03으로 산출하고, 제2 등장 인물 얼굴 이미지(912)의 데이터 값을 0.02으로 산출하고, 제3 등장 인물 얼굴 이미지(913)의 데이터 값을 0.06으로 산출하고, 제4 등장 인물 얼굴 이미지(914)의 데이터 값을 0.72로 산출하고, 제5 등장 인물 얼굴 이미지(915)의 데이터 값을 0.08으로 산출하고, 제6 등장 인물 얼굴 이미지(916)의 데이터 값을 0.02으로 산출하고, 제7 등장 인물 얼굴 이미지(917)의 데이터 값을 0.07으로 산출할 수 있다. 따라서, 이 경우, 제어부(170)는 제어부(170)는 제4 등장 인물을 매칭 인물로 인식할 수 있다.
다시, 도 5를 설명한다.
제어부(170)는 매칭 인물에 대응하는 썸네일에 인디케이터를 표시할 수 있다(S25).
제어부(170)는 매칭 인물을 획득하면, 매칭 인물에 해당하는 등장 인물의 썸네일에 인디케이터를 표시할 수 있다.
여기서, 인디케이터는 매칭 인물을 나머지 등장 인물들과 구별하기 위해 표시되는 것일 수 있다.
제어부(170)는 등장 인물 검색 정보(400)에 포함된 등장 인물들의 썸네일(401 내지 407)에서 매칭 인물을 나머지 등장 인물들과 구별시키는 인디케이터를 표시하도록 디스플레이부(180)를 제어할 수 있다.
다음으로, 도 11은 본 발명의 실시 예에 따른 디스플레이 장치가 인디케이터를 표시하는 방법의 예시 도면이다.
본 발명의 실시 예에 따르면, 도 11에 도시된 바와 같이, 인디케이터(410)는 매칭 인물을 강조하는 하이라이트 박스일 수 있다.
제어부(170)는 등장 인물들의 썸네일(401 내지 407) 중 매칭 인물에 해당하는 등장 인물의 썸네일(404)에 하이라이트 박스를 표시할 수 있다. 이 경우, 제어부(170)는 매칭 인물을 제외한 나머지 등장인물들의 썸네일(401 내지403, 405 내지 407)에는 하이라이트 박스를 표시하지 않을 수 있다.
한편, 제어부(170)는 인디케이터 대신 다른 방법으로 매칭 인물을 나머지 등장 인물들과 구별시켜 표시할 수도 있다.
도 12는 본 발명의 다른 실시 예에 따른 디스플레이 장치가 매칭 인물을 나타내는 방법의 예시 도면이다.
도 12에 도시된 바와 같이, 제어부(170)는 매칭 인물에 해당하는 썸네일(404)의 밝기를 다른 등장 인물들의 썸네일(401 내지403, 405 내지 407)의 밝기 보다 밝게 표시되도록 디스플레이부(180)를 제어할 수 있다.
그러나, 도 11 및 도 12는 설명의 편의를 위해 예시로 든 것에 불과하면, 제어부(170)는 매칭 인물을 다른 인물들과 구별시킬 수 있는 다양한 방법으로 등장 인물 검색 정보에서 매칭 인물을 표시할 수 있다.
다시, 도 5를 설명한다.
제어부(170)는 인디케이터를 표시한 후, 장면 전환 여부를 획득할 수 있다(S27).
제어부(170)는 장면 전환이 감지되지 않으면, 인디케이터의 표시 위치를 유지할 수 있다(S29).
예를 들어, 제어부(170)는 도 11에 도시된 바와 같은 인디케이터(410)를 표시 중인 상태에서 장면 전환이 감지되지 않으면, 인디케이터(410)를 계속해서 제4 등장 인물에 대응하는 썸네일(404)에 표시할 수 있다. 또한, 제어부(170)가 도 12에 도시된 바와 같이, 제4 등장 인물에 대응하는 썸네일(404)을 나머지 등장 인물들의 썸네일(401 내지403, 405 내지 407) 보다 밝게 표시하는 상태에서 장면 전환이 감지되지 않으면, 계속해서 제4 등장 인물에 대응하는 썸네일(404)을 나머지 등장 인물들의 썸네일(401 내지403, 405 내지 407) 보다 밝게 표시하도록 디스플레이부(180)를 제어할 수 있다.
한편, 제어부(170)는 단계 S27에서, 장면 전환이 감지되면, 현재 장면 속 인물의 얼굴 이미지를 획득할 수 있다(S31).
즉, 제어부(170)는 장면이 전환되면, 전환된 장면 속 인물의 얼굴 이미지를 획득할 수 있다.
도 13은 본 발명의 실시 예에 따른 디스플레이 장치가 전환된 장면 속 인물의 얼굴 이미지를 획득하는 방법의 예시 도면이다.
제어부(170)는 장면 전환이 감지되면, 전환된 장면(802)을 획득할 수 있고, 이는 도 13의 상측에 도시된 바와 같을 수 있다.
전환된 장면(802)은 장면이 전환된 후 영상의 현재 장면을 의미할 수 있다. 따라서, 전환된 장면(802)은 단계 S19에서의 현재 장면(801)과 상이할 수 있다.
제어부(170)는 전환된 장면(802)에서 얼굴 이미지(812)를 획득할 수 있고, 이는 도 13의 하측에 도시된 바와 같을 수 있다.
현재 장면과 현재 장면에서 얼굴 이미지를 획득하는 방법은 도 8에서 설명한 바와 동일하므로, 중복되는 설명은 생략하기로 한다.
다시, 도 5를 설명한다.
제어부(170)는 전환 장면에서 획득한 얼굴 이미지의 얼굴이 이전에 획득한 얼굴 이미지의 얼굴과의 동일 여부를 획득할 수 있다(S33).
도 14는 본 발명의 실시 예에 따른 디스플레이 장치가 영상의 장면이 전환된 경우 얼굴의 동일 여부를 판단하는 방법을 설명하기 위한 예시 도면이다.
제어부(170)는 전환된 장면(802)에서 획득한 얼굴 이미지(812)의 얼굴이 이전 장면에서 획득한 얼굴 이미지(811)의 얼굴과 동일한지 판단할 수 있다.
일 실시 예에 따르면, 제어부(170)는 전환된 장면(802)에서 획득한 얼굴 이미지(812)를 이전 장면(801)에서 획득한 얼굴 이미지(811)와 비교함으로써, 얼굴의 동일 여부를 판단할 수 있다.
얼굴의 동일 여부를 판단하는 방법은 다양할 수 있다. 예를 들어, 제어부(170)는 상술한 유사도 산출 방법에 따라 유사도를 산출한 후, 유사도가 설정값 이상이면 전환된 장면(802) 속 얼굴과 이전 장면(801) 속 얼굴이 동일한 것으로 판단하고, 유사도가 설정값 미만이면 전환된 장면(802) 속 얼굴과 이전 장면(801) 속 얼굴이 상이한 것으로 판단할 수 있다.
다시, 도 5를 설명한다.
제어부(170)는 전환 장면에서 획득한 얼굴 이미지의 얼굴이 이전에 획득한 얼굴 이미지의 얼굴과 동일하면, 인디케이터의 표시 위치를 유지할 수 있다.
즉, 제어부(170)는 전환 장면 속 인물이 이전 장면 속 인물과 동일한 것으로 판단하면, 매칭 인물을 유지하고, 이에 따라 인디케이터가 계속해서 동일한 썸네일에 표시되도록 디스플레이부(180)를 제어할 수 있다. 예를 들어, 제어부(170)는 장면의 전환 여부를 감지하고, 장면이 전환되면 전환된 장면 속 인물의 제1 얼굴과 이전에 획득한 얼굴 이미지의 제2 얼굴의 동일 여부를 판단하고, 제1 얼굴과 제2 얼굴이 동일하면 인디케이터(410)를 유지할 수 있다.
한편, 제어부(170)는 전환 장면에서 획득한 얼굴 이미지의 얼굴이 이전에 획득한 얼굴 이미지의 얼굴과 동일하지 않으면, 인디케이터의 표시 위치를 변경할 수 있다. 예를 들어, 제어부(170)는 제1 얼굴과 제2 얼굴이 동일하지 않으면 인디케이터(410)의 표시 위치를 변경할 수 있다. 제어부(170)는 인디케이터(410)를 변경할 경우, 등장 인물들의 썸네일 중 전환된 장면 속 얼굴과 가장 유사한 얼굴을 획득하고, 획득된 가장 유사한 얼굴이 제2 얼굴일 수 있다. 이 경우, 제어부(170)는 인디케이터(410)의 표시 위치를 제1 얼굴에 대응하는 썸네일에서 제2 얼굴에 대응하는 썸네일로 변경할 수 있다.
구체적으로, 제어부(170)는 전환 장면에서 획득한 얼굴 이미지의 얼굴이 이전에 획득한 얼굴 이미지의 얼굴과 동일하지 않으면, 단계 S21, S23 및 S25를 재수행할 수 있다. 특히, 제어부(170)는 전환된 장면에서 획득한 얼굴 이미지를 등장인물들의 썸네일 각각과 비교하여 매칭 인물을 재획득하고, 재획득한 매칭 인물에 대응하는 썸네일에 인디케이터를 표시할 수 있다.
만약, 제어부(170)는 재획득한 매칭 인물이 이전에 획득한 매칭 인물과 상이할 경우, 인디케이터를 이전 매칭 인물의 썸네일에서 변경된 매칭 인물의 썸네일에 표시할 수 있다.
도 15는 본 발명의 실시 예에 따른 디스플레이 장치가 인디케이터의 표시 위치를 변경하는 방법을 설명하기 위한 예시 도면이다.
예를 들어, 제어부(170)는 도 11에 도시된 바와 같이, 인디케이터(410)를 제4 등장 인물에 해당하는 썸네일(404)에 표시 중인 상태에서 매칭 인물이 제4 등장 인물에서 제6 등장 인물로 재획득할 수 있다. 이 경우, 도 15에 도시된 바와 같이, 제어부(170)는 인디케이터(410)를 제4 등장 인물에 해당하는 썸네일(404)에서 제거하고, 제6 등장 인물에 해당하는 썸네일(406)에 표시할 수 있다. 즉, 제어부(170)는 인디케이터(410)의 표시 위치를 제4 등장 인물에 해당하는 썸네일(404)에서 제6 등장 인물에 해당하는 썸네일(406)로 변경할 수 있다.
한편, 제어부(170)는 장면 전환을 감지하고, 단계 S31에서 인물의 얼굴 이미지를 획득하지 못할 수 있다. 이 경우, 제어부(170)는 인디케이터(410)를 표시하지 않도록 디스플레이부(180)를 제외할 수 있다. 즉, 디스플레이 장치(100)는 영상 장면에 인물이 없는 경우에는 인디케이터(410)를 제거함으로써 신뢰성을 높일 수 있다.
한편, 제어부(170)는 단계 S33에서 이전 장면 속 얼굴과 현재 장면 속 얼굴이 동일하지 않은 것으로 판단하였으나, 단계 S21, S23을 수행한 결과 매칭 인물을 동일 인물로 인식할 수도 있다. 이 경우에는, 제어부(170)는 인디케이터(410)의 표시 위치를 유지할 수 있다.
한편, 제어부(170)는 현재 장면에서 복수의 인물을 인식할 수도 있다. 예를 들어, 제어부(170)는 단계 S17 및 S31의 수행 결과, 복수의 인물 각각 얼굴 이미지를 복수개 획득할 수 있고, 이 경우 매칭 인물은 2 이상일 수 있다. 이 경우, 제어부(170)는 등장 인물들의 썸네일(401 내지 407) 중 복수의 인물 각각에 대응하는 썸네일에 복수의 인디케이터를 표시하도록 디스플레이부(180)를 제어할 수 있다.
즉, 제어부(170)는 현재 장면 속 인물에 대응하는 모든 썸네일에 인디케이터를 표시할 수 있다.
실시 예에 따라, 제어부(170)가 복수의 인디케이터를 표시하는 경우, 복수의 인디케이터의 색상이 다르게 표시되도록 디스플레이부(180)를 제어할 수 있다. 예를 들어, 제어부(170)는 매칭 인물이 제1 등장 인물, 제2 등장 인물 및 제3 등장 인물이고, 인물 정보에 기초하여 제1 및 제2 등장 인물이 남성이고 제3 등장 인물이 여성인 경우, 제1 및 제2 등장 인물의 썸네일에 제1 색상의 인디케이터를 표시하고, 제3 등장 인물의 썸네일에 제2 색상의 인디케이터를 표시하도록 디스플레이부(180)를 제어할 수 있다.
이와 같이, 본 발명의 실시 예에 따른 디스플레이 장치(100)는 등장 인물의 썸네일 표시하는데 그치지 않고, 현재 장면 속 인물에 해당하는 썸네일에 인디케이터를 표시함으로써, 사용자가 궁금해하는 인물을 보다 빠르고, 직관적으로 인식할 수 있는 편의성을 제공하는 이점이 있다.
또한, 본 발명에 따르면, 사용자가 영상을 보면서 등장 인물 검색 정보(400)에 표시된 모든 등장 인물을 비교하면서 현재 장면 속 인물을 찾아야 하는 불편을 최소화할 수 있는 이점이 있다.
특히, 등장 인물 검색 정보(400)에 표함된 등장 인물들의 이미지가 최신 이미지로 업데이트되어 있지 않은 경우 사용자가 현재 장면 속 인물을 찾기 어려운 불편을 최소화할 수 있는 이점이 있다.
또한, 디스플레이 장치(100)는 등장 인물 검색 정보(400)를 표시 중인 상태에서 장면 전환에 따라 새로운 얼굴이 탐색될 경우, 인디케이터(410)의 표시 위치를 변경함으로써, 실시간으로 변화에 적응 가능한 이점이 있습니다.
도 16은 본 발명의 다른 실시 예에 따른 디스플레이 장치의 동작 방법을 나타내는 순서도이다.
도 16은 도 5에 도시된 단계 S21 및 S23 대신 단계 S101 및 S103을 수행하는 점에서 상이하다.
즉, 본 발명의 일 실시 예에 따르면, 도 5에 도시된 바와 같이, 제어부(170)는 현재 장면 속 얼굴 이미지를 등장 인물들의 썸네일 각각과 비교함으로써, 등장 인물들의 썸네일에서 현재 장면 속 인물과 가장 유사한 매칭 인물을 획득하였다.
반면에, 본 발명의 다른 실시 예에 따르면, 도 16에 도시된 바와 같이, 제어부(170)는 현재 장면 속 얼굴 이미지와 유사한 얼굴을 갖는 매칭 이미지를 웹 상에서 검색하고, 매칭 이미지에 기초하여 매칭 인물을 획득한다. 단계 S101 및 S103을 제외한 나머지 단계는 도 5에서 설명한 바와 동일하므로, 중복된 설명은 생략하기로 한다.
도 16에 도시된 바와 같이, 제어부(170)는 현재 장면 속 인물의 얼굴 이미지를 획득한 후, 웹 상에서 얼굴 이미지와 유사한 얼굴을 갖는 매칭 이미지를 검색할 수 있다(S101).
즉, 제어부(170)는 현재 장면 속 인물의 얼굴 이미지와 유사한 얼굴을 갖는 매칭 이미지를 웹 상에서 검색할 수 있다.
이 때, 실시 예에 따라, 제어부(170)는 웹 상의 검색 범위를 등장 인물들로 제한할 수 있다. 구체적으로, 제어부(170)는 웹 상에서 검색되는 인물들의 정보 중 단계 S15에서 획득한 등장 인물들의 정보들만 필터링한 후 필터링된 등장 인물들의 정보에 기초하여 현재 장면 속 인물의 얼굴 이미지와 유사한 얼굴을 갖는 매칭 이미지를 획득할 수 있다. 이 경우, 검색 범위가 축소되기 때문에, 매칭 이미지 획득에 소요되는 시간을 최소화할 수 있는 이점이 있다.
한편, 단계 S101에서 검색 범위로 기재된 웹은 설명의 편의를 위해 예시로 든 것에 불과하며, 이는 변경될 수 있다. 예를 들어, 제어부(170)는 현재 장면 속 인물의 얼굴 이미지와 유사한 얼굴을 갖는 매칭 이미지를 외부 서버에서 검색할 수 있고, 이 때 외부 서버는 인물 정보를 갖고 있는 데이터베이스를 포함할 수 있다.
매칭 이미지는 현재 장면에서 획득한 얼굴 이미지의 얼굴과 동일 또는 유사한 얼굴을 포함하는 이미지를 의미할 수 있다.
제어부(170)는 매칭 이미지를 획득하고, 매칭 이미지에 기초하여 매칭 인물을 획득할 수 있다(S103).
일 실시 예에 따르면, 매칭 이미지는 이름 등의 메타 데이터를 포함할 수 있다. 제어부(170)는 매칭 이미지에 포함된 메타 데이터에 기초하여 매칭 이미지 속 인물 정보를 획득함으로써 매칭 인물을 획득할 수 있다.
다음으로, 도 17은 본 발명의 실시 예에 따른 디스플레이 장치가 매칭 인물을 획득하는 방법을 구체화한 순서도이다.
제어부(170)는 도 5에서 매칭 인물을 획득하거나, 도 16에서 매칭 이미지를 획득시 도 17에 도시된 순서도에 따라 동작할 수 있다. 이하, 제어부(170)가 매칭 인물을 획득하는 경우로 가정하여 설명한다.
제어부(170)는 얼굴 인식(Face recognition)을 수행할 수 있다(S201).
예를 들어, 제어부(170)는 얼굴의 특징을 비교하는 얼굴 인식을 통해 등장 인물들의 얼굴 이미지(911 내지 917) 각각과 현재 장면 속 얼굴 이미지(811)의 유사도를 산출할 수 있다.
제어부(170)는 얼굴 인식을 수행한 후, 회귀(Regression) 분석을 수행할 수 있다(S203).
제어부(170)는 얼굴 인식을 수행한 결과 산출한 유사도를 확률 모델로 구현하기 위해 회귀 분석을 수행할 수 있다. 확률 모델로 구현한 결과, 썸네일 각각의 데이터 값의 합은 1일 수 있다.
제어부(170)는 회귀 분석 후 가장 큰 데이터 값이 기 설정된 기준 값 이상인가 판단할 수 있다(S205).
기준 값은 매칭 정확도를 설정하기 위한 값으로, 기준 값이 높을수록 매칭 정확도가 높을 수 있다. 예를 들어, 기준 값은 0.6일 수 있다.
제어부(170)는 회귀 분석 후 가장 큰 데이터 값이 기 설정된 기준 값 이상이면, 데이터 값이 가장 큰 썸네일에 대응하는 등장 인물을 매칭 인물로 인식할 수 있다(S207).
제어부(170)는 가장 큰 데이터 값이 기 설정된 기준 값 이상이면, 등장 인물들의 얼굴 이미지(911 내지 917) 중 어느 하나(데이터 값이 가장 큰 얼굴 이미지)가 현재 장면 속 얼굴 이미지(811)와 유사하고, 나머지 얼굴 이미지들은 현재 장면 속 얼굴 이미지(811)와 유사하지 않음을 의미하기 때문이다.
한편, 제어부(170)는 회귀 분석 후 가장 큰 데이터 값이 기 설정된 기준 값 미만이면, 매칭 인물 인식 불가로 판단할 수 있다(S211).
제어부(170)는 가장 큰 데이터 값이 기 설정된 기준 값 미만이면, 등장 인물들의 얼굴 이미지(911 내지 917)가 현재 장면 속 얼굴 이미지(811)와 비교적 균일하게 유사함을 의미하기 때문에, 특정 인물을 현재 장면 속 인물로 인식하기 어렵기 때문이다.
도 16에 도시된 바와 같은 순서도에 따를 경우, 매칭 인물의 인식 정확도를 향상시킬 수 있는 이점이 있다.
한편, 도 17은 예시적인 것에 불과하며, 제어부(170)는 도 17에 도시된 방법 외에 다른 방법으로 매칭 인물 또는 매칭 이미지를 획득할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 영상을 표시하는 디스플레이부;
    상기 영상과 관련된 등장 인물들의 인물 정보를 수신하는 무선 통신부; 및
    상기 인물 정보에 기초하여 등장 인물들의 썸네일 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함하고,
    상기 제어부는
    등장 인물들의 썸네일 중 현재 장면 속 인물의 얼굴 이미지와 가장 유사한 매칭 인물의 썸네일에 인디케이터를 표시하도록 상기 디스플레이부를 제어하는
    디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는
    장면의 전환 여부를 감지하고,
    장면이 전환되지 않으면 상기 인디케이터를 유지하는
    디스플레이 장치.
  3. 제1항에 있어서,
    상기 제어부는
    장면의 전환 여부를 감지하고,
    장면이 전환되면 전환된 장면 속 인물의 제1 얼굴과 이전에 획득한 얼굴 이미지의 제2 얼굴의 동일 여부를 판단하고,
    상기 제1 얼굴과 상기 제2 얼굴이 동일하면 상기 인디케이터를 유지하는
    디스플레이 장치.
  4. 제3항에 있어서,
    상기 제어부는
    상기 제1 얼굴과 상기 제2 얼굴이 동일하지 않으면 상기 인디케이터의 표시 위치를 상기 제2 얼굴에 대응하는 썸네일로 변경하는
    디스플레이 장치.
  5. 제4항에 있어서,
    상기 제어부는
    상기 인디케이터를 변경할 경우, 상기 등장 인물들의 썸네일 중 상기 제2 얼굴과 가장 유사한 얼굴을 갖는 썸네일을 획득하는
    디스플레이 장치.
  6. 제1항에 있어서,
    등장인물 검색 명령을 수신하는 사용자 입력 인터페이스부를 더 포함하고,
    상기 제어부는
    상기 등장인물 검색 명령을 수신하면 EPG(Electronic Program Guide)에서 상기 영상과 관련된 컨텐트 정보를 획득하고,
    상기 컨텐트 정보에 기초하여 웹 상에서 상기 영상에 등장하는 인물들의 인물 정보를 획득하는
    디스플레이 장치.
  7. 제1항에 있어서,
    상기 제어부는
    상기 등장 인물들의 썸네일에서 상기 등장 인물들 각각의 얼굴 이미지를 획득하고, 상기 등장 인물들 각각의 얼굴 이미지를 상기 현재 장면 속 인물의 얼굴 이미지와 비교함으로써 상기 매칭 인물을 획득하는
    디스플레이 장치.
  8. 제1항에 있어서,
    상기 제어부는
    웹 상에서 상기 현재 장면 속 인물의 얼굴 이미지와 가장 유사한 얼굴을 갖는 매칭 이미지를 획득하고,
    상기 매칭 이미지에 기초하여 상기 매칭 인물을 획득하는
    디스플레이 장치.
  9. 제1항에 있어서,
    상기 제어부는
    상기 인물 정보에서 등장 인물들의 이름을 획득하고,
    웹 상에서 상기 이름을 갖는 인물 이미지 중 상기 현재 장면 속 인물의 얼굴 이미지와 가장 유사한 얼굴을 갖는 매칭 이미지를 획득하고,
    상기 매칭 이미지에 기초하여 상기 매칭 인물을 획득하는
    디스플레이 장치.
  10. 제1항에 있어서,
    상기 제어부는
    등장 인물들 각각과 현재 장면 속 인물의 유사도를 나타내는 데이터 값을 산출하고, 상기 데이터 값이 가장 큰 등장 인물을 상기 매칭 인물로 인식하는
    디스플레이 장치.
  11. 제10항에 있어서,
    상기 제어부는
    상기 데이터 값이 가장 큰 등장 인물의 데이터 값이 기 설정된 기준 값 미만이면 상기 인디케이터를 표시하지 않도록 상기 디스플레이부를 제어하는
    디스플레이 장치.
  12. 제10항에 있어서,
    상기 제어부는
    상기 데이터 값이 가장 큰 등장 인물의 데이터 값이 기 설정된 기준 값 이상이면 상기 매칭 인물에 대응하는 썸네일에 상기 인디케이터를 표시하도록 상기 디스플레이부를 제어하는
    디스플레이 장치.
  13. 제1항에 있어서,
    상기 디스플레이부는
    상기 등장 인물들의 썸네일 중 현재 장면 속 인물의 얼굴 이미지와 가장 유사한 매칭 인물의 썸네일을 상기 매칭 인물을 제외한 나머지 등장 인물의 썸네일과 상이하게 표시하는
    디스플레이 장치.
  14. 제13항에 있어서,
    상기 디스플레이부는
    상기 매칭 인물의 썸네일을 상기 매칭 인물을 제외한 나머지 등장 인물의 썸네일 보다 밝게 표시하는
    디스플레이 장치.
  15. 제1항에 있어서,
    상기 제어부는
    현재 장면에 복수의 인물이 포함된 경우, 상기 등장 인물들의 썸네일 중 상기 복수의 인물 각각에 대응하는 썸네일에 복수의 인디케이터를 표시하도록 상기 디스플레이부를 제어하는
    디스플레이 장치.
PCT/KR2019/006188 2019-05-23 2019-05-23 디스플레이 장치 WO2020235724A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/595,728 US20220256245A1 (en) 2019-05-23 2019-05-23 Display device
PCT/KR2019/006188 WO2020235724A1 (ko) 2019-05-23 2019-05-23 디스플레이 장치
EP19930003.9A EP3975008A4 (en) 2019-05-23 2019-05-23 INDICATOR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/006188 WO2020235724A1 (ko) 2019-05-23 2019-05-23 디스플레이 장치

Publications (1)

Publication Number Publication Date
WO2020235724A1 true WO2020235724A1 (ko) 2020-11-26

Family

ID=73458545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006188 WO2020235724A1 (ko) 2019-05-23 2019-05-23 디스플레이 장치

Country Status (3)

Country Link
US (1) US20220256245A1 (ko)
EP (1) EP3975008A4 (ko)
WO (1) WO2020235724A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114594894A (zh) * 2022-02-25 2022-06-07 青岛海信移动通信技术股份有限公司 界面元素的标记方法及终端设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110006832A (ko) * 2009-07-15 2011-01-21 인하대학교 산학협력단 주요 배역을 추출하는 방법 및 장치
US20120106806A1 (en) * 2010-11-01 2012-05-03 Microsoft Corporation Face Recognition in Video Content
US20120213490A1 (en) * 2011-02-18 2012-08-23 Google Inc. Facial detection, recognition and bookmarking in videos
KR20130061058A (ko) * 2011-11-30 2013-06-10 고려대학교 산학협력단 영상 내 비주얼 특징을 이용한 영상 요약 방법 및 시스템
US20160358015A1 (en) * 2013-04-10 2016-12-08 A9.Com, Inc. Detection of cast members in video content

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6964025B2 (en) * 2001-03-20 2005-11-08 Microsoft Corporation Auto thumbnail gallery
US7881505B2 (en) * 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
JP2009081699A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 電子機器および顔画像抽出制御方法
KR100889026B1 (ko) * 2008-07-22 2009-03-17 김정태 이미지를 이용한 검색 시스템
US8239359B2 (en) * 2008-09-23 2012-08-07 Disney Enterprises, Inc. System and method for visual search in a video media player
JP4496264B2 (ja) * 2008-10-24 2010-07-07 株式会社東芝 電子機器及び映像表示方法
US9210313B1 (en) * 2009-02-17 2015-12-08 Ikorongo Technology, LLC Display device content selection through viewer identification and affinity prediction
US20140321696A1 (en) * 2011-11-22 2014-10-30 The Trustees Of Dartmouth College Perceptual Rating Of Digital Image Retouching
KR101993241B1 (ko) * 2012-08-06 2019-06-26 삼성전자주식회사 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체
US8799829B2 (en) * 2012-09-28 2014-08-05 Interactive Memories, Inc. Methods and systems for background uploading of media files for improved user experience in production of media-based products
JP6102602B2 (ja) * 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US10175850B2 (en) * 2013-11-23 2019-01-08 Sharp Laboratories Of America Search inquiry method using contextual annotation
KR102209070B1 (ko) * 2014-06-09 2021-01-28 삼성전자주식회사 동영상의 썸네일 영상을 제공하는 장치 및 방법
KR102277749B1 (ko) * 2014-11-13 2021-07-16 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
JP6318102B2 (ja) * 2015-02-04 2018-04-25 富士フイルム株式会社 画像表示制御装置，画像表示制御方法，および画像表示制御プログラムならびにそのプログラムを格納した記録媒体
US11379686B2 (en) * 2017-10-09 2022-07-05 Box, Inc. Deploying data processing service plug-ins into a cloud-based collaboration platform
US10796157B2 (en) * 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
JP7497853B2 (ja) * 2020-02-28 2024-06-11 ｉ－ＰＲＯ株式会社 顔検知システム
US20210289264A1 (en) * 2020-03-12 2021-09-16 Motorola Solutions, Inc. Appearance search using a map

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110006832A (ko) * 2009-07-15 2011-01-21 인하대학교 산학협력단 주요 배역을 추출하는 방법 및 장치
US20120106806A1 (en) * 2010-11-01 2012-05-03 Microsoft Corporation Face Recognition in Video Content
US20120213490A1 (en) * 2011-02-18 2012-08-23 Google Inc. Facial detection, recognition and bookmarking in videos
KR20130061058A (ko) * 2011-11-30 2013-06-10 고려대학교 산학협력단 영상 내 비주얼 특징을 이용한 영상 요약 방법 및 시스템
US20160358015A1 (en) * 2013-04-10 2016-12-08 A9.Com, Inc. Detection of cast members in video content

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3975008A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114594894A (zh) * 2022-02-25 2022-06-07 青岛海信移动通信技术股份有限公司 界面元素的标记方法及终端设备、存储介质

Also Published As

Publication number Publication date
EP3975008A4 (en) 2023-03-08
EP3975008A1 (en) 2022-03-30
US20220256245A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
WO2018216865A1 (en) Display device and operating method thereof
WO2016204520A1 (en) Display device and operating method thereof
WO2020256185A1 (ko) 디스플레이 장치
WO2019135433A1 (ko) 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
WO2021060575A1 (ko) 인공 지능 서버 및 그의 동작 방법
WO2015186857A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2021010511A1 (ko) 디스플레이 장치
WO2019009453A1 (ko) 디스플레이 장치
WO2020235724A1 (ko) 디스플레이 장치
WO2020230923A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치 및 그의 동작 방법
WO2021015319A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020222322A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치
WO2021033785A1 (ko) 사용자의 음성을 통해 가전 기기를 제어할 수 있는 디스플레이 장치 및 인공 지능 서버
WO2021010522A1 (ko) 시청 상황을 고려하여, 하나 이상의 가전 기기를 제어하는 디스플레이 장치
WO2021060570A1 (ko) 가전 기기 및 서버
WO2020262742A1 (ko) 디스플레이 장치
WO2023182547A1 (ko) 디스플레이 장치
WO2017126774A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023003061A1 (ko) 디스플레이 장치
WO2024010110A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021060589A1 (ko) 디스플레이 장치
WO2022250237A1 (ko) 디스플레이 장치
WO2022239881A1 (ko) 디스플레이 장치
WO2023153639A1 (ko) 디스플레이 시스템
WO2023163253A1 (ko) 디스플레이 장치, 원격제어장치 및 이들로 구성되는 디스플레이 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19930003

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019930003

Country of ref document: EP

Effective date: 20211223