WO2022010130A1 - 전자장치 및 그의 제어방법 - Google Patents

전자장치 및 그의 제어방법 Download PDF

Info

Publication number
WO2022010130A1
WO2022010130A1 PCT/KR2021/007715 KR2021007715W WO2022010130A1 WO 2022010130 A1 WO2022010130 A1 WO 2022010130A1 KR 2021007715 W KR2021007715 W KR 2021007715W WO 2022010130 A1 WO2022010130 A1 WO 2022010130A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
electronic device
signals
image data
data
Prior art date
Application number
PCT/KR2021/007715
Other languages
English (en)
French (fr)
Inventor
신현종
윤석현
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Publication of WO2022010130A1 publication Critical patent/WO2022010130A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Definitions

  • the present invention relates to an electronic device that processes and displays a multi-view image, and a method for controlling the same.
  • a conventional display device requires a plurality of video processors for processing each of a plurality of image signals received through a plurality of HDMI receivers for multi-view display.
  • the conventional display apparatus performs respective image processing on a plurality of image signals received through a plurality of HDMI receivers in order to display an image for multi-view, thereby increasing data throughput on a transmission line according to an increase in the amount of data to be processed.
  • Throughput is very large, and there is a problem in that the system configuration cost increases.
  • the electronic device receives a plurality of image signals, extracts image data of the plurality of image signals, respectively, and generates integrated image data obtained by allocating a plurality of images based on the plurality of image data to a plurality of regions of a screen, respectively. and an input signal processing unit for generating a single integrated image signal with an input signal and an image processing unit for generating an image frame for display on the screen based on the integrated image data of the integrated image signal.
  • the plurality of image signals may be received through a high-definition multimedia interface (HDMI).
  • HDMI high-definition multimedia interface
  • the input signal processing unit includes: a decoder for decoding the plurality of received image signals; and an image integrator for generating the combined image data by extracting a plurality of image data from each of the decoded plurality of image signals.
  • the image integrator may generate the integrated image signal based on information about at least one of positions and sizes of the plurality of image signals.
  • the image integrator may generate a synchronization signal of the combined image signal corresponding to the combined image data based on the synchronization signal of the plurality of image signals.
  • the integrated image signal may include information on a difference in position or size before and after the integration of the plurality of image signals.
  • the display unit may further include a display unit for displaying the image frame based on the integrated image signal.
  • the display unit may include a timing controller for adjusting the time of the image frame generated by the image processing unit.
  • the electronic device may further include a second interface unit for receiving the second image signal and a second image processing unit for generating a second image frame for displaying on the screen based on the second image signal.
  • the display unit may display the combined image signal by synthesizing the second image signal.
  • the image processing unit decoding decoding (decoding) corresponding to the image format of the image data, de-interlacing for converting image data of the interlace method into a progressive method, and adjusting the image data to a preset resolution At least one of scaling, noise reduction for image quality improvement, detail enhancement, and frame refresh rate conversion may be performed.
  • a method of controlling an electronic device includes receiving a plurality of image signals, extracting image data of the plurality of image signals, respectively, and allocating a plurality of images based on the plurality of image data to a plurality of regions of a screen, respectively generating a single integrated image signal having one integrated image data; and generating an image frame for display on the screen based on the integrated image data of the integrated image signal.
  • the generating of the integrated image signal may include decoding the plurality of image signals.
  • the plurality of image signals may be generated based on information on at least one of positions and sizes.
  • the generating of the combined image signal may include generating a synchronization signal of the combined image signal corresponding to the combined image data based on the synchronization signals of the plurality of image signals.
  • the method of controlling the electronic device may further include receiving a second image signal from a second interface unit.
  • the method of controlling the electronic device may further include displaying the combined image signal by synthesizing the second image signal.
  • the generating of the image frame includes decoding corresponding to an image format of image data, de-interlacing converting image data of an interlace method into a progressive method, and converting the image data to a preset resolution. At least one of scaling, noise reduction for improving image quality, detail enhancement, and frame refresh rate conversion may be performed.
  • the electronic device integrates a plurality of images displayed on a plurality of areas of a screen into one integrated image signal in an input step, and then processes it as an image frame for display on the screen in one image processing unit, thereby It is possible to reduce the data throughput on the transmission line and reduce the system configuration cost.
  • FIG. 1 is a diagram illustrating a screen of an electronic device according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of an electronic device according to a first embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a control method of an electronic device for displaying a divided image according to a first embodiment of the present invention.
  • FIG. 4 is a diagram showing video signals 1 to 4 of the TMDS format.
  • FIG. 5 is a diagram illustrating an integrated video signal (MVS).
  • FIG. 6 is a block diagram showing the configuration of an electronic device according to a second embodiment of the present invention.
  • FIG. 7 is a block diagram showing the configuration of an electronic device according to a third embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a scenario in which a plurality of image signals of an electronic device are processed and displayed according to a fourth embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a scenario in which a plurality of image signals of an electronic device are processed and displayed according to a fifth embodiment of the present invention.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.
  • a device configured to may mean that the device is “capable of” with other devices or parts.
  • a subprocessor configured (or configured to perform) A, B, and C may include a processor dedicated to performing the operations (eg, an embedded processor), or executing one or more software programs stored in a memory device. By doing so, it may refer to a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
  • the electronic device 1 processes an image, for example, a television, a smartphone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, and a netbook computer. , a workstation, a server, a PDA, a portable multimedia player (PMP), an MP3 player, a medical device, a camera, and at least one of a wearable device.
  • the electronic device 1 is, for example, a Blu-ray player, a digital video disk (DVD) player, a set-top box, a home automation control panel, a security control panel, a media box, a game console, an electronic device. It may include at least one of a dictionary, a camcorder, and an electronic picture frame.
  • the electronic device 1 is a navigation device, a global navigation satellite system (GNSS), an event data recorder (EDR), a flight data recorder (FDR), an automotive infotainment device, a marine electronic equipment (
  • GNSS global navigation satellite system
  • EDR event data recorder
  • FDR flight data recorder
  • automotive infotainment device a marine electronic equipment
  • it may include at least one of a navigation device for a ship, a gyro compass, etc.), avionics, a security device, and a head unit for a vehicle.
  • the term user may refer to a person who uses the electronic device 1 or a device (eg, an artificial intelligence electronic device) using the electronic device 1 .
  • a device eg, an artificial intelligence electronic device
  • FIG. 1 is a view showing a screen of an electronic device 1 according to a first embodiment of the present invention.
  • the electronic device 1 divides the screen into four areas and displays four images (Videos 1 to 4).
  • the electronic device 1 is not limited to dividing and displaying 4 images on one screen, and may divide and display 1 to 3 images or 5 or more images.
  • FIG. 2 is a block diagram showing the configuration of the electronic device 1 according to the first embodiment of the present invention.
  • the electronic device 1 includes an interface unit 10 capable of receiving, for example, four image signals from a source device 2 , an input signal processing unit 11 , an image processing unit 12 , It may include a display unit 13 , an audio processing unit 14 , an audio output unit 15 , and a processor 16 .
  • the source device 2 may include a device capable of transmitting image content to the electronic device 1 , for example, a set-top box, a server, a relay device, a computer, or a mobile device.
  • the interface unit 10 may include, for example, four High-Definition Multimedia Interface (HDMI) Rx1 to Rx4 for receiving four video signals in a TMDS (Transition Minimized Differential Signal) format.
  • HDMI High-Definition Multimedia Interface
  • TMDS Transition Minimized Differential Signal
  • the interface unit 10 may include a wired interface unit and a wireless interface unit.
  • the wired interface unit may include a terrestrial/satellite broadcasting antenna connection tuner for receiving a broadcast signal, a cable broadcasting cable connection interface, and the like.
  • the wired interface unit may include HDMI, DP, DVI, Component, S-Video, and composite (RCA terminal) for connecting video devices.
  • the wired interface unit may include a USB interface for connecting a general-purpose electronic device.
  • the wired interface unit may include a connection interface of an optical cable device.
  • the wired interface unit may include an audio device connection interface such as a headset, an earphone, and an external speaker.
  • the wired interface unit may include a connection interface of a wired network device such as Ethernet.
  • the wireless interface unit may include a connection interface of a wireless network device such as Wi-Fi, Bluetooth, ZigBee, Z-wave, RFID, WiGig, WirelessHD, Ultra-Wide Band (UWB), Wireless USB, and Near Field Communication (NFC).
  • a wireless network device such as Wi-Fi, Bluetooth, ZigBee, Z-wave, RFID, WiGig, WirelessHD, Ultra-Wide Band (UWB), Wireless USB, and Near Field Communication (NFC).
  • the wireless interface unit may include an IR transceiver module for transmitting and/or receiving a remote control signal.
  • the wireless interface unit may include a mobile communication device connection interface such as 2G to 5G.
  • the interface unit 10 may include a dedicated communication module for performing dedicated communication with respect to each of the various source devices 2 .
  • the interface unit 10 may include a common communication module for performing communication in common with the various source devices 2 , for example, a Wi-Fi module.
  • the interface unit 10 may include an input interface unit and an output interface unit.
  • the input interface unit and the output interface unit may be integrated into one module or implemented as separate modules.
  • the input signal processing unit 11 may generate one integrated video signal MVS by integrating the four 4k video signals 1 to 4 received through HDMI Rx1 to Rx4.
  • the input signal processing unit 11 may include a decoder 111 for decoding an image signal, an image integrator 112 for integrating a plurality of image signals, and an audio switching unit 113 .
  • the decoder 111 may decode the video signals 1 to 4 of the TMDS format, respectively.
  • the decoder 111 may include, for example, a Forward Error Correction (FEC) decoder or a Display Stream Compression (DSC) decoder.
  • FEC Forward Error Correction
  • DSC Display Stream Compression
  • the image integrator 112 may extract, for example, the active image data 1-4 from the image signals 1-4 of the TMDS format, respectively.
  • the image integrator 112 may generate merged video data (MVD) in which the extracted four active image data 1 to 4 are allocated to four regions of the screen at a set position and size, respectively.
  • VMD merged video data
  • the image integrator 112 may select an image signal to be displayed on the screen from among the plurality of image signals received from the interface unit 10 .
  • the image integrator 112 may generate the combined image data MVD based on information about at least one of a location of a selected image signal and/or a size of a selected image scene.
  • the image integrator 112 may generate a synchronization signal corresponding to the combined image data MVD based on the synchronization signals of the four image signals 1 to 4 .
  • the video integration unit 112 includes information on the four integrated video signals 1 to 4, information on the difference between before and after integration, for example, merged video information (MVI) such as information on the size difference between images changed during integration. ) can be created.
  • MVI merged video information
  • the image integrator 112 generates a merged video signal (MVS) based on the combined image data (MVD), the synchronization signal, and the integrated information (MVI) generated during the integration and transmits the generated merged video signal (MVS) to the image processing unit 12 .
  • a merged video signal (MVS) based on the combined image data (MVD), the synchronization signal, and the integrated information (MVI) generated during the integration and transmits the generated merged video signal (MVS) to the image processing unit 12 .
  • the audio switching unit 113 may extract the four audio signals Audio1 to 4 included in each of the four image signals 1 to 4 and transmit it to the audio processing units 1 to 4(14).
  • the audio switching unit 113 is an output device for outputting four audio signals (Audio1 to 4) corresponding to the four images (Video1 to 4), for example, based on information about speakers 1 to 4, the audio signal (Audio1). ⁇ 4) can be switched to be assigned to the audio processing units 1 to 4.
  • Information on speakers 1 to 4 to output the audio signals Audio 1 to 4 may be received from the processor 16 through a user input.
  • the input signal processing unit 11 can be implemented in a form included in a main SoC (Main SoC) mounted on a PCB embedded in the electronic device 1 .
  • Main SoC Main SoC
  • the input signal processing unit 11 loads at least a part of the control program including instructions from the nonvolatile memory in which the control program is installed into the volatile memory, and the processor 16 executes the instructions of the loaded control program.
  • the processor 16 executes the instructions of the loaded control program.
  • the image processing unit 12 performs various image processing processes for generating image frames to be displayed on the display unit 13 with respect to the integrated image signal MVS received by the input signal processing unit 11 .
  • the image processing process includes, for example, decoding corresponding to the image format of the integrated image data (MVS), and de-interlacing for converting the integrated image data (MVS) of the interlace method into a progressive method. ), scaling for adjusting the integrated image data (MVS) to a preset resolution, noise reduction for image quality improvement, detail enhancement, frame refresh rate conversion, etc. may include
  • the image processing unit 12 may transmit an image frame resulting from performing this process to the display unit 13 built in the electronic device 1 .
  • the display unit 13 may display the image frame processed by the image processing unit 12 .
  • the implementation method of the display unit 13 is not limited, but liquid crystal, plasma, light-emitting diode, organic light-emitting diode, and surface conduction electron gun (surface) are not limited thereto.
  • -conduction electron-emitter carbon nano-tube, nano-crystal, etc. can be implemented in various display panels.
  • the display unit 13 may additionally include an additional configuration according to an implementation method.
  • the display unit 13 may include a timing controller 131 for adjusting the time of an image frame generated by the image processing unit 12 and a panel 132 for configuring a screen for displaying an image.
  • the display unit 13 may further include a panel driver that additionally drives the panel 132 .
  • the audio processing units 1 to 4 (14) may process the received four audio signals (Audio 1 to 4).
  • the audio processing units 1 to 4 14 may convert, amplify, mix, and the like, from the digital audio signals Audio 1 to 4 received by the audio switching unit 113 to the analog audio signals Audio 1 to 4 .
  • the audio processing units 1 to 4 14 may output the mixed analog audio signals Audio 1 to 4 to the audio output unit 15 .
  • the audio output unit 15 may include four speakers 1 to 4 for reproducing each audio signal (Audio 1 to 4) included in the four image signals 1 to 4 .
  • the speakers 1 to 3 may be built in the electronic device 1
  • the speaker 4 may be provided externally and connected through a second interface unit, for example, the Bluetooth communication module 19 .
  • all of the speakers 1 to 4 may be built-in, or all may be provided externally.
  • the processor 16 includes each component of the electronic device 1 , for example, the interface 10 , the input signal processing unit 11 , the image processing unit 12 , the display unit 13 , the audio processing unit 14 , and the audio
  • the output unit 15 can be controlled.
  • the processor 16 may transmit to the input signal processing unit 11 based on information about selection of an image to be displayed on a plurality of regions of the screen, a position at which the selected image is displayed, and the size of the displayed image. Such information may be obtained based on screen setting information input by the user through the OSD, for example.
  • the processor 16 may transmit it to the input signal processing unit 11 and reflect it in the generation of an integrated image signal (MVS).
  • the screen setting change input may include changing an image displayed in a specific region into a new image, exchanging a display image between regions, or changing the size of a displayed image.
  • the processor 16 may transmit the finally set screen setting information to the input signal processing unit 11 to reflect the traffic video signal MVS generation.
  • the input signal processing unit 11 may directly refer to the last screen setting information stored in the memory.
  • the processor 16 may transmit screen setting information set for each user ID to the input signal processing unit 11 .
  • the processor 16 may store information on speakers 1 to 4 to reproduce audio signals (Audio 1 to 4) corresponding to four images (Video 1 to 4) selected or set by the user or to transmit it to the input signal processing unit 11 . have.
  • the processor 16 collects data, analyzes the collected data, processes at least a part of it, and generates result information as a rule-based or artificial intelligence (Artificial Intelligence) algorithm for machine learning, neural network, or deep learning. This may be performed using at least one of the algorithms.
  • Artificial Intelligence Artificial Intelligence
  • the processor 16 may perform the functions of a learning unit and a recognition unit.
  • the learning unit may, for example, perform a function of generating a learned neural network
  • the recognition unit may perform a function of recognizing (or reasoning, predicting, estimating, determining) data using the learned neural network network.
  • the learning unit may create or update the neural network.
  • the learning unit may acquire learning data to generate a neural network.
  • the learning unit may acquire learning data from a memory or from the outside.
  • the training data may be data used for learning of the neural network.
  • the learning unit may perform a preprocessing operation on the acquired training data before training the neural network using the training data, or may select data to be used for learning from among a plurality of training data. For example, the learning unit may process the learning data into a preset format, filter it, or add/remove noise to process the learning data into a form suitable for learning.
  • the learned neural network network may be composed of a plurality of neural network networks (or layers). Nodes of the plurality of neural networks have weights, and the plurality of neural networks may be connected to each other so that an output value of one neural network is used as an input value of another neural network.
  • neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN) and It can include models such as Deep Q-Networks.
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • RBM Restricted Boltzmann Machine
  • DNN Deep Belief Network
  • BDN Bidirectional Recurrent Deep Neural Network
  • BDN Bidirectional Recurrent Deep Neural Network
  • It can include models such as Deep Q-Networks.
  • the recognizer may acquire target data.
  • the target data may be obtained from a memory or externally.
  • the target data may be data to be recognized by the neural network.
  • the recognizer may perform preprocessing on the acquired target data before applying the target data to the learned neural network, or select data to be used for recognition from among a plurality of target data.
  • the recognition unit may process the target data into a preset format, filter, or add/remove noise to process the target data into a form suitable for recognition.
  • the recognizer may obtain an output value output from the neural network by applying the preprocessed target data to the neural network.
  • the recognition unit may acquire an academic rate value (or a reliability value) together with an output value.
  • the processor 16 loads at least a portion of the control program including instructions from the nonvolatile memory in which the control program is installed into the volatile memory, and at least one general-purpose processor that executes the instructions of the loaded control program.
  • Including, for example, may be implemented as a central processing unit (CPU), an application processor (AP), or a microprocessor.
  • the processor 16 may include single core, dual core, triple core, quad core, and multiple cores thereof. A plurality of processors 16 may be provided.
  • the processor 16 may include, for example, a main processor and a sub-processor operating in a sleep mode (eg, a mode in which only standby power is supplied).
  • a sleep mode eg, a mode in which only standby power is supplied.
  • the processor, ROM and RAM are interconnected through an internal bus.
  • the processor 16 may be implemented in a form included in a main SoC mounted on a PCB embedded in the electronic device 1 .
  • the main SoC may further include an image processing unit.
  • the control program may include program(s) implemented in the form of at least one of a BIOS, a device driver, an operating system, firmware, a platform, and an application program (application).
  • the application program may be installed or stored in advance when the electronic device 1 is manufactured, or may be installed based on the received data by receiving data of the application program from the outside when using it later.
  • Data of the application program may be downloaded to the electronic device 1 from, for example, an external server such as an application market.
  • an external server such as an application market.
  • Such a control program, an external server, etc. is an example of a computer program product, but is not limited thereto.
  • the electronic device 1 may further include a memory 17 .
  • the memory 17 is a computer-readable recording medium, in which unlimited data is stored.
  • the memory 17 is accessed by the processor 16, and reading, writing, modifying, deleting, updating, and the like of data are performed by them.
  • the memory 17 may store screen setting information, for example, image information allocated to display in a plurality of areas of the screen, image location information, image size information, and the like.
  • the data stored in the memory 17 may include various image/audio content received through the interface unit 10 and multiple frame data sequentially displayed by processing the received image.
  • the memory 17 may include a voice recognition module (voice recognition engine) for voice recognition.
  • the memory 17 may include an operating system, various applications executable on the operating system, image data, additional data, and the like.
  • the memory 17 includes a non-volatile memory in which the control program is installed, and a volatile memory in which at least a part of the installed control program is loaded.
  • the memory 17 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory), and a RAM.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory magnetic disk, It may include at least one type of storage medium among optical disks.
  • the electronic device 1 may include a voice recognition unit 18 .
  • the voice recognition unit 18 executes the voice recognition module stored in the memory 17 and is input or transmitted from a microphone built into the electronic device 1 or an external device, for example, a microphone built into a mobile device or a remote control. Can recognize voice.
  • the mobile device or the remote control may digitize the analog voice signal and transmit it to the electronic device 1 through, for example, Bluetooth.
  • the received analog voice signal may be digitized and transmitted to the processor 16 of the electronic device 1 .
  • the electronic device 1 may transmit the received voice signal to the server.
  • the server may be an STT server that converts voice signal related data into appropriate text or a main server that also performs an STT server function.
  • the data processed in the STT server may be received again by the electronic device 1 or may be directly transmitted to another server.
  • the electronic device 1 may process the received voice signal by itself in the electronic device 1 without transmitting the received voice signal to the STT server. That is, the electronic device 1 may perform the STT server role by itself.
  • the electronic device 1 may perform a specific function using text transmitted from the server or text converted by itself.
  • it may be the processor 16 in the electronic device 1 that performs the function, or a separate server to which the converted text is transmitted (a server different from the STT server or a server that also serves as an STT server).
  • FIG. 3 is a flowchart illustrating a control method of the electronic device 1 for displaying a divided image according to an embodiment of the present invention.
  • the user can set to display Video1, Video2, Video3, and Video4 in the 1/4, 2/4, 3/4, and 4/4 quadrants of the screen, respectively. In this case, the user can also adjust the sizes of Video1, Video2, Video3, and Video4 displayed in each area.
  • the processor 16 may transmit such screen setting input information, that is, the position and/or size of the image to the input signal processing unit 11 .
  • the interface unit 10 may receive four image signals 1 to 4 .
  • the interface unit 10 may be HDMI as shown in FIG. 2 .
  • the input signal processing unit 11 may select four 4k video signals 1 to 4 to be displayed on the screen among the plurality of video signals, and perform decoding.
  • the video signals 1 to 4 may be formed in four TMDS formats as shown in FIG. 4 .
  • Transition Minimized Differential Signal transmits video, audio, and other data using one of three modes: 'video data period', 'data island period', and 'control period'.
  • image data may be transmitted.
  • the 'data island period' occurs during the 'horizontal/vertical retrace period', so that voice and other data may be divided into several packets and transmitted.
  • the 'control period' may occur between the 'image data period' and the 'data island period'.
  • HDMI can transmit 10-bit image data using the 8b/10b encoding method for the 'video data period' and the 2b/10b encoding method for the 'control period'.
  • HDMI can transmit voice and other data in the 4b/10b encoding method during the 'data island period'.
  • data as much as 32 pixels may be transmitted in one 'data island period', and a 32-bit packet header describing the contents of the packet may be included.
  • the packet header may include 8-bit BCH Error Correction Code (ECC) parity data for an error correction function.
  • ECC Error Correction Code
  • Each packet can have 4 subpackets. Each subpacket may consist of 64 bits. This packet may also include 8-bit BCH ECC parity data. In addition, a maximum of 18 packets can be transmitted in each 'data island period'. Of the 15 packet types in the HDMI 1.3a specification, 7 can be allocated for voice, and the remaining 8 can be allocated for other data. Among these are standard control packets and gamut metadata packets.
  • the standard control packet may have a function (AVMUTE) for muting a sound when noise is generated and information on color depth.
  • the Gamut metadata packet may contain information about the color space for the video stream being reproduced, which is required to use xvYCC.
  • Videos 1 to 4 are views showing video signals 1 to 4 (Videos 1 to 4) in TMDS format.
  • the image signal 1 may include active image data 1 (Active Video1), audio data 1 (Audio1), and other data 1 displayed on the entire screen.
  • the image signal 1 may include vertical and horizontal synchronization signals 1 (VSync1, HSync1) for displaying the active image data 1 on the entire screen.
  • the image signal 2 may include active image data 2 (Active Video2), audio data 2 (Audio2), and other data 2 displayed on the entire screen.
  • the image signal 2 may include vertical and horizontal synchronization signals 2 (VSync2, HSync2) for displaying the active image data 2 on the entire screen.
  • the image signal 3 may include active image data 3 (Active Video3), audio data 3 (Audio3), and other data 3 displayed on the entire screen.
  • the image signal 3 may include vertical and horizontal synchronization signals 3 VSync3 and HSync3 for displaying the active image data 3 on the entire screen.
  • the image signal 4 may include active image data 4 (Active Video4), audio data 4 (Audio4), and other data 4 displayed on the entire screen.
  • the image signal 4 may include vertical and horizontal synchronization signals 4 (VSync4, HSync4) for displaying the active image data 4 on the entire screen.
  • step S13 the input signal processing unit 11 may extract active video data 1 to 4 (Active Video 1 to 4) from the video signals 1 to 4 .
  • step S14 the input signal processing unit 11 transfers the active video data 1 to 4 (Active Videos 1 to 4) to the plurality of areas of the screen based on the location and size information to be displayed among the plurality of areas of the screen.
  • the allocated integrated image data (MVD) can be created.
  • active image data 1 (Active Video1) of a predetermined size is arranged in a quarter of the screen
  • active image data 2 (Active Video2) of a predetermined size is arranged in a second quarter of the screen. . .
  • FIG. 5 is a diagram illustrating an integrated video signal (MVS).
  • the input signal processing unit 11 includes the positions and/or sizes of active video data 1 to 4 (Active Video 1 to 4) and vertical and horizontal synchronization signals 1 to 4 (VSync1 to VSync1 to) of the active video data 1 to 4 (Active Video 1 to 4).
  • VSync1 to VSync1 to vertical and horizontal synchronization signals 1 to 4
  • HSync1 to 4 can be used to generate vertical and horizontal synchronization signals M (MVSync, MHSync) of the integrated image data (MVD).
  • the input signal processing unit 11 may generate integrated information MVI, such as information on the combined image data MVD and information on the changed position and/or size difference between the active video data 1 to 4 (Active Videos 1 to 4).
  • integrated information MVI such as information on the combined image data MVD and information on the changed position and/or size difference between the active video data 1 to 4 (Active Videos 1 to 4).
  • the input signal processing unit 11 may generate an integrated image signal MVS including the generated integrated image data MVD, vertical and horizontal synchronization signals M (MVSync, MHSync), and integrated information MVI.
  • MVS integrated image signal
  • MVSync vertical and horizontal synchronization signals
  • MVI integrated information
  • step S15 the image processing unit 12 extracts the active combined image data based on the combined image signal (MVS), and performs various processes for displaying the extracted combined image data on the screen to generate an image frame.
  • the processing for generating the video frame is, for example, decoding corresponding to the video format of the integrated video data (MVS), and deinterlacing for converting the integrated video data (MVS) of the interlace method into a progressive method. (de-interlacing), scaling for adjusting the integrated image data (MVS) to a preset resolution, noise reduction for image quality improvement, detail enhancement, frame refresh rate ) transformation, and the like.
  • step S16 the display unit 14 may display an integrated image corresponding to the integrated image data MVD on the entire screen based on the generated image frame.
  • the electronic device 1 selects a position to be displayed among a plurality of regions of the screen and an active image data of each of the plurality of image signals. / Or, by adjusting and integrating according to the size, only one image processing unit 12 can process a plurality of image signals to be displayed on a plurality of areas of the screen.
  • the electronic device 1 of the present invention divides the screen into four and then allocates and displays the four 4k image signals 1 to 4 to each divided area, so that it is possible to display an 8k image as a whole.
  • FIG. 6 is a block diagram showing the configuration of the electronic device 1 according to the second embodiment of the present invention.
  • the electronic device 1 according to the second embodiment excludes a display unit that displays an image by itself, and integrates the four image signals 1 to 4 received through the interface unit 10, for example, HDMI to obtain an integrated image signal.
  • the MVS may be generated, and an image frame may be generated based on the integrated image signal MVS, and output to the external display device 3, for example, a television or a monitor.
  • the audio signals 1 to 4 included in the four video signals 1 to 4 can be processed and output to the audio output device 4 provided externally through the cable C or the blue pitcher communication module 19 .
  • the electronic device 1 according to the second embodiment may include a display unit for displaying a simple notification, a control menu, and the like.
  • FIG. 7 is a block diagram showing the configuration of the electronic device 1 according to the third embodiment of the present invention.
  • the electronic device 1 displays the image to be integrated, the arrangement of the image on the screen at the time of integration, the size of the displayed image, speaker information for reproducing the audio signal of the displayed image, and the like, to the display device 3 .
  • the electronic device 1 generates an integrated video signal MVS by integrating, for example, four video signals 1 to 4 to be displayed by allocating to a plurality of areas of a screen, and then the display device 3 can be transmitted as In this case, the image signals 1 to 4 may be received from the external source device 2 through the interface unit.
  • the display device 3 receives, from the electronic device 1, an integrated video signal MVS in which video signals 1 to 4 to be displayed on a plurality of areas of the screen are combined, generates an image frame for screen display, and displays the image frame. It can be displayed on the screen of the unit 33 .
  • FIG 8 is a diagram illustrating a scenario in which a plurality of image signals of the electronic device 1 are processed and displayed according to the fourth embodiment of the present invention.
  • the processor 16 may transmit the screen setting input information to the input signal processing unit 11 .
  • the interface unit 10 may include a USB interface connected to a USB in which HDMI1 to 4 receiving the four first video signals 1 to 4, respectively, and a second video signal (USB Movie) are stored therein.
  • the input signal processing unit 11 selects first video signals 1 to 3 among the four first video signals 1 to 4 to extract active video data 1 to 3 (Active Video 1 to 3), and the active video data 1 to 3 (Active Video 1 ⁇ 3) is assigned to the areas of the 1/4, 2/4, and 3/4 quadrants of the screen to generate the integrated integrated video data (MVD), and based on this, the integrated video signal (MVS ) can be created.
  • the combined image data MVD may be generated in a state in which the area of the fourth quarter of the screen is empty.
  • the combined image signal MVS may be transmitted to the image processing unit 1 121 .
  • the second image signal (USB Movie) received through the USB interface may be transmitted to the image processing unit 2 122 .
  • the input signal processing unit 11 may extract the audio signals 1 and 2 corresponding to the image signals 1 and 2 and then deliver them to the audio processing units 1 and 2 ( 141 and 142 ).
  • the image processing unit 1 121 may generate a first image frame for displaying the integrated image signal MVS in the 1/4, 2/4, and 3/4 quadrants of the screen.
  • the image processing unit 2 122 may generate a second image frame for displaying the second image signal (USB Movie) in the fourth quarter of the screen.
  • the display unit 13 may display the first images 1 to 3 (Video 1 to 3) and the second image (USB Movie) on the screen by synthesizing the first image frame and the second image frame.
  • the user can designate that the audio signal 1 of video 1 (Video1) of HDMI1 be reproduced by the TV speaker 151 and the audio signal 2 of video 2 (Video2) of HDMI2 is reproduced by the Bluetooth speaker 152 .
  • the audio processing units 1 and 2 may process the audio signals 1 and 2, respectively, and transmit them to the TV speaker 151 and the Bluetooth speaker 152 of the audio output unit 15 for playback.
  • FIG. 9 is a diagram illustrating a scenario in which a plurality of image signals of the electronic device 1 are processed and displayed according to a fifth embodiment of the present invention.
  • the user can change Video1, Video2, Video3, and Video4 displayed in the 1/4, 2/4, 3/4, and 4/4 quadrants of the existing screen to Video3, Video2, Video1, and Video4, respectively.
  • the processor 16 may transmit the screen setting input information to the input signal processing unit 11 .
  • the input signal processing unit 11 selects all of the first video signals 1 to 4 among the four first video signals 1 to 4 to extract active video data 1 to 4 (Active Video 1 to 4), and the active video data 1 to 4 4 (Active Video 1 ⁇ 4) are assigned to the 3/4, 2/4, 1/4, and 4/4 quadrants of the screen, respectively, to generate the integrated integrated video data (MVD), and then to generate an integrated video signal (MVS).
  • the integrated image data (MVD) is generated so that the display order of the images is changed by reflecting the change in the input signal processing unit 11 and transmitted to the image processing unit 12. .
  • the input signal processing unit 11 may extract the audio signals 1 and 2 corresponding to the image signals 1 and 2, and then transmit them to the audio processing units 1 and 2 (141 and 142).
  • the image processing unit 12 generates video 3 (Video3), video 2 (Video2), An image frame for displaying the image 1 (Video1) and the image 4 (Video4) can be generated.
  • the display unit 13 may display the image frame transmitted from the image processing unit 12 on the screen.
  • the user can designate that the audio signal 1 of the video 1 (Video1) of HDMI1 be reproduced by the TV speaker 151 and the audio signal 2 of the video 2 (Video2) of the HDMI2 is reproduced by the Bluetooth speaker 152 .
  • the audio processing units 1 and 2 may process the audio signals 1 and 2, respectively, and transmit them to the TV speaker 151 and the Bluetooth speaker 152 of the audio output unit 15 for playback.
  • the electronic device 1 may be applied to a picture in picture (PIP) capable of simultaneously displaying a small additional image separately within the main image on the screen.
  • the image integrator 112 may receive the PIP setting information and generate an integrated image signal (MVS) by reflecting the position and size of the additional image on the main image of the entire screen.
  • the electronic device 1 may display the PIP image by processing the main image and the additional image by one image processing unit.
  • the input signal processing module for allocating and displaying a plurality of images to a plurality of areas of a screen is a computer program product stored in the memory 17 as a computer readable recording medium or a computer program product transmitted and received through network communication can be implemented as In addition, the above-described input signal processing module may be implemented as a computer program singly or integrated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

다수의 영상을 분할하여 표시하는 전자장치가 개시된다. 전자장치는 복수의 영상신호를 수신하고, 상기 복수의 영상신호의 영상데이터를 각각 추출하고, 상기 추출된 복수의 영상데이터에 기초한 복수의 영상을 화면의 복수의 영역에 각각 할당한 통합영상데이터를 가진 하나의 통합영상신호를 생성하는 입력신호처리부 및 상기 통합영상신호의 통합영상데이터에 기초하여 상기 화면에 표시하기 위한 영상프레임을 생성하는 영상처리부를 포함한다.

Description

전자장치 및 그의 제어방법
본 발명은 멀티뷰(Multi-view) 영상을 처리하여 표시하는 전자장치 및 그의 제어방법에 관한 것이다.
대형 스크린을 가진 디스플레이장치가 보편화되면서 여러 영상을 하나의 스크린에서 나누어 보고 싶어하는 요구가 있다. 종래의 디스플레이장치는 멀티뷰 표시를 위해 다수의 HDMI 수신부를 통해 수신되는 다수의 영상신호 각각을 처리하는 다수의 비디오 프로세서가 필요하다.
이와 같이, 종래의 디스플레이장치는 멀티뷰용 영상표시를 위해서 다수의 HDMI 수신부를 통해 수신된 다수의 영상신호에 대해 각각의 영상처리를 수행함으로써 처리해야 하는 데이터 양 증대에 따른 전송 선로 상의 데이터 스루풋(data Throughput)이 매우 커지고, 시스템 구성 비용이 증가하는 문제가 있다.
따라서, 본 발명의 목적은, 단일 스크린에 다수의 영상을 표시함에 있어 데이터 스루풋을 줄이고 시스템 구성비용을 절감할 수 있는 전자장치 및 그의 제어방법을 제공하는 것이다.
상술한 목적을 달성하기 위한 전자장치가 제공된다. 전자장치는 복수의 영상신호를 수신하고, 상기 복수의 영상신호의 영상데이터를 각각 추출하고, 상기 추출된 복수의 영상데이터에 기초한 복수의 영상을 화면의 복수의 영역에 각각 할당한 통합영상데이터를 가진 하나의 통합영상신호를 생성하는 입력신호처리부 및 상기 통합영상신호의 통합영상데이터에 기초하여 상기 화면에 표시하기 위한 영상프레임을 생성하는 영상처리부를 포함한다.
상기 복수의 영상신호는 HDMI(High-Definition Multimedia Interface)를 통해 수신될 수 있다.
입력신호처리부는 상기 수신된 복수의 영상신호를 디코딩하는 디코더; 및 상기 디코딩 한 복수의 영상신호로부터 각각 복수의 영상데이터를 추출하여 상기 통합영상데이터를 생성하는 영상통합부를 포함할 수 있다.
상기 영상통합부는 상기 복수 영상신호의 위치 또는 크기 중 적어도 하나에 관한 정보를 기초로 상기 통합영상신호를 생성할 수 있다.
상기 영상통합부는 상기 복수의 영상신호의 동기신호에 기초하여 상기 통합영상데이터에 대응하는 상기 통합영상신호의 동기신호를 생성할 수 있다.
상기 통합영상신호는 상기 복수 영상신호의 통합 전과 통합 후의 위치 또는 크기 차이에 관한 정보를 포함할 수 있다.
상기 통합영상신호에 기초하여 상기 영상프레임을 표시하는 디스플레이부를 더 포함할 수 있다.
상기 디스플레이부는 상기 영상처리부에서 생성한 영상프레임의 시간을 조절하는 타이밍 컨트롤러를 포함할 수 있다.
전자장치는 제2영상신호를 수신하는 제2인터페이스부 및 상기 제2영상신호를 기초로 화면에 표시하기 위한 제2영상프레임을 생성하는 제2영상처리부를 더 포함할 수 있다.
상기 디스플레이부는 상기 통합영상신호와 상기 제2영상신호를 합성하여 표시할 수 있다.
상기 영상처리부는 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement) 또는 프레임 리프레시 레이트(frame refresh rate) 변환 중 적어도 하나를 수행할 수 있다.
본 발명의 실시예에 따른 전자장치의 제어방법이 제공된다. 전자장치의 제어방법은 복수의 영상신호를 수신하는 단계와, 상기 복수의 영상신호의 영상데이터를 각각 추출하고, 상기 추출된 복수의 영상데이터에 기초한 복수의 영상을 화면의 복수의 영역에 각각 할당한 통합영상데이터를 가진 하나의 통합영상신호를 생성하는 단계 및 상기 통합영상신호의 통합영상데이터에 기초하여 상기 화면에 표시하기 위한 영상프레임을 생성하는 단계를 포함한다.
상기 통합영상신호의 생성단계는 상기 복수의 영상신호를 디코딩하는 단계를 포함할 수 있다.
상기 복수 영상신호의 위치 또는 크기 중 적어도 하나의 정보에 기초하여 생성될 수 있다.
상기 통합영상신호의 생성단계는 상기 복수의 영상신호의 동기신호에 기초하여 통합영상데이터에 대응하는 상기 통합영상신호의 동기신호를 생성하는 단계를 포함할 수 있다.
상기 전자장치의 제어방법은 제2인터페이스부로부터 제2영상신호를 수신하는 단계를 더 포함할 수 있다.
상기 전자장치의 제어방법은 상기 통합영상신호를 상기 제2영상신호와 합성하여 표시하는 단계를 더 포함할 수 있다.
상기 영상프레임의 생성단계는 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement) 또는 프레임 리프레시 레이트(frame refresh rate) 변환 중 적어도 하나를 수행할 수 있다.
본 발명에 의한 전자장치는 화면의 복수 영역에 표시되는 다수 영상을 입력단계에서 하나의 통합영상신호로 통합한 후에, 하나의 영상처리부에서 화면에 표시하기 위한 영상프레임으로 처리함으로써, 영상 처리를 위한 전송 선로 상의 데이터 스루풋을 줄일 수 있고 시스템 구성비용을 절감할 수 있다.
도 1은 본 발명의 제1실시예에 따른 전자장치의 화면을 나타내는 도면이다.
도 2는 본 발명의 제1실시예에 따른 전자장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 제1실시예에 따라 분할영상 표시를 위한 전자장치의 제어방법을 나타내는 순서도이다.
도 4는 TMDS포맷의 영상신호1~4를 나타내는 도면이다.
도 5는 통합영상신호(MVS)를 나타내는 도면이다.
도 6은 본 발명의 제2실시예에 따른 전자장치의 구성을 나타내는 블록도이다.
도 7은 본 발명의 제3실시예에 따른 전자장치의 구성을 나타내는 블록도이다.
도 8은 본 발명의 제4실시예에 따른 전자장치의 복수의 영상신호를 처리하여 표시하는 시나리오를 나타내는 도면이다.
도 9는 본 발명의 제5실시예에 따른 전자장치의 복수의 영상신호를 처리하여 표시하는 시나리오를 나타내는 도면이다.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
또한, 본 발명의 실시예에서 '상부', '하부', '좌측', '우측', '내측', '외측', '내면', '외면', '전방', '후방' 등의 용어는 도면을 기준으로 정의한 것이며, 이에 의해 각 구성요소의 형상이나 위치가 제한되는 것은 아니다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 서브 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자장치(1)는, 영상을 처리하는 예를 들면, 텔레비전, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자장치(1)는, 예를 들면, 블루 레이 플레이어, DVD(digital video disk) 플레이어, 셋탑박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스, 게임 콘솔, 전자 사전, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자장치(1)는, 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit) 중 적어도 하나를 포함할 수 있다.
본 문서에서, 사용자라는 용어는 전자장치(1)를 사용하는 사람 또는 전자장치(1)를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 제1실시예에 따른 전자장치(1)의 화면을 나타내는 도면이다.
도 1에 나타낸 바와 같이, 전자장치(1)는 화면을 4개의 영역으로 분할하여 4개의 영상(Video1~4)을 표시하고 있다. 전자장치(1)는 하나의 화면에 4개의 영상을 분할하여 표시하는 것으로 한정되지 않고, 1~3개의 영상 또는 5개 이상의 영상을 분할하여 표시할 수도 있다.
도 2는 본 발명의 제1실시예에 따른 전자장치(1)의 구성을 나타내는 블록도이다.
도 2에 나타낸 바와 같이, 전자장치(1)는 소스장치(2)로부터 예를 들면 4개의 영상신호를 수신할 수 있는 인터페이스부(10), 입력신호 처리부(11), 영상처리부(12), 디스플레이부(13), 오디오처리부(14), 음성출력부(15) 및 프로세서(16)를 포함할 수 있다.
소스장치(2)는 영상 컨텐츠를 전자장치(1)로 전송할 수 있는 장치, 예를 들면 셋탑박스, 서버, 중계장치, 컴퓨터, 모바일장치 등을 포함할 수 있다.
인터페이스부(10)는 예를 들면 TMDS(Transition Minimized Differential Signal) 포맷의 4개의 영상신호를 수신하는 4개의 HDMI(High-Definition Multimedia Interface)Rx1~Rx4를 포함할 수 있다. 도 2에 나타낸 인터페이스(10)는 설명의 편의상 4개의 HDMI Rx1~Rx4를 예로 들어 나타낸 것으로, 이에 한정되지 않는다.
인터페이스부(10)는 유선인터페이스부와 무선인터페이스부를 포함할 수 있다.
유선인터페이스부는 방송신호를 수신하기 위한 지상파/위성방송 안테나 연결 튜너, 케이블 방송 케이블 연결 인터페이스 등을 포함할 수 있다.
유선인터페이스부는 영상기기 연결을 위한 HDMI, DP, DVI, Component, S-Video, 컴포지트(RCA 단자) 등을 포함할 수 있다.
유선인터페이스부는 범용 전자기기 연결을 위한 USB 인터페이스 등을 포함할 수 있다.
유선인터페이스부는 광케이블 기기의 연결 인터페이스를 포함할 수 있다.
유선인터페이스부는 헤드셋, 이어폰, 외부 스피커 등의 오디오기기 연결 인터페이스를 포함할 수 있다.
유선인터페이스부는 이더넷 등 유선 네트워크 기기의 연결 인터페이스를 포함할 수 있다.
무선인터페이스부는 와이파이, 블루투스, ZigBee, Z-wave, RFID, WiGig, WirelessHD, UWB(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 등 무선 네트워크 기기의 연결 인터페이스를 포함할 수 있다.
무선인터페이스부는 리모컨신호 송신 및/또는 수신을 위한 IR 송수신 모듈을 포함할 수 있다.
무선인터페이스부는 2G ~ 5G 등 이동통신기기 연결 인터페이스를 포함할 수 있다.
인터페이스부(10)는 다양한 소스장치(2) 각각에 대해 전용으로 통신을 수행하는 전용통신모듈을 포함할 수 있다.
인터페이스부(10)는 다양한 소스장치(2)들과 공통으로 통신을 수행하는 공용통신모듈, 예를 들면 와이파이모듈 등을 포함할 수 있다.
인터페이스부(10)는 입력인터페이스부와 출력인터페이스부를 포함할 수도 있다. 이때, 입력인터페이스부와 출력인터페이스부는 하나의 모듈로 통합되거나 별도의 모듈로 구현될 수도 있다.
입력신호처리부(11)는 HDMI Rx1~Rx4를 통해 수신된 4개의 4k 영상신호1~4를 통합하여 하나의 통합영상신호(MVS)를 생성할 수 있다.
입력신호처리부(11)는 영상신호를 디코딩하는 디코더(111), 복수의 영상신호를 통합하는 영상통합부(112) 및 오디오 스위칭부(113)를 포함할 수 있다.
디코더(111)는 TMDS 포맷의 영상신호1~4를 각각 디코딩 할 수 있다. 디코더(111)는 예를 들면 FEC(Forward Error Correction) 디코더 또는 DSC(Display Stream Compression) 디코더를 포함할 수 있다.
영상통합부(112)는 예를 들면 TMDS 포맷의 영상신호1~4로부터 각각 액티브 영상데이터1~4를 추출할 수 있다. 영상통합부(112)는 추출된 4개의 액티브 영상데이터1~4를 설정된 위치 및 크기로 화면의 4개 영역에 각각 할당한 통합영상데이터(MVD; merged video data)를 생성할 수 있다.
영상통합부(112)는 인터페이스부(10)로부터 수신된 복수의 영상신호 중 화면에 표시될 영상신호를 선택할 수 있다. 영상통합부(112)는 선택된 영상신호의 위치 및/또는 선택된 영상신의 크기 중 적어도 하나에 관한 정보를 기초로 통합영상데이터(MVD)를 생성할 수 있다.
영상통합부(112)는 4개의 영상신호1~4의 동기신호에 기초하여 통합영상데이터(MVD)에 대응하는 동기신호를 생성할 수 있다.
영상통합부(112)는 통합된 4개의 영상신호1~4의 정보, 통합 전과 통합 후의 차이에 관한 정보, 예를 들면 통합 시에 변화된 영상의 크기 차이 정보와 같은 통합정보(MVI; merged video information)를 생성할 수 있다.
영상통합부(112)는 통합 시에 생성된 통합영상데이터(MVD), 동기신호 및 통합정보(MVI)에 기초하여 통합영상신호(MVS; merged video signal)를 생성하여 영상처리부(12)로 전달할 수 있다.
오디오 스위칭부(113)는 4개의 영상신호1~4 각각에 포함된 4개의 오디오신호(Audio1~4)를 추출하여 오디오처리부1~4(14)로 전달할 수 있다. 오디오 스위칭부(113)는 4개의 영상(Video1~4)에 대응하는 4개의 오디오신호(Audio1~4)를 출력할 출력장치, 예를 들면 스피커1~4에 관한 정보를 기초로 오디오신호(Audio1~4)를 오디오처리부 1~4에 할당되도록 스위칭할 수 있다. 오디오신호(Audio1~4)를 출력할 스피커1~4에 관한 정보는 사용자입력을 통해 프로세서(16)로부터 수신할 수 있다.
입력신호처리부(11)는 전자장치(1)에 내장되는 PCB 상에 실장되는 메인 SoC(Main SoC)에 포함되는 형태로서 구현 가능하다.
입력신호처리부(11)는 제어프로그램이 설치된 비휘발성의 메모리로부터 명령어들(instructions)을 포함하는 제어프로그램의 적어도 일부를 휘발성의 메모리로 로드하고, 로드된 제어프로그램의 명령어를 실행하는 프로세서(16), 예를 들면 CPU(Central Processing Unit), AP(application processor), 또는 마이크로프로세서(microprocessor)로 구현될 수도 있다.
영상처리부(12)는 입력신호처리부(11)에서 수신한 통합영상신호(MVS)에 대해 디스플레이부(13)에 표시하기 위한 영상프레임을 생성하는 다양한 영상처리 프로세스를 수행한다. 영상처리부(12)가 수행하는 영상처리 프로세스의 종류는 다양하다. 영상처리 프로세스는 예를 들면 통합영상데이터(MVS)의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 통합영상데이터(MVS)를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 통합영상데이터(MVS)를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
영상처리부(12)는 이러한 프로세스를 수행한 결과의 영상프레임을 전자장치(1)에 내장된 디스플레이부(13)에 전송할 수 있다.
디스플레이부(13)는 영상처리부(12)에서 처리된 영상프레임을 표시할 수 있다.
디스플레이부(13)의 구현 방식은 한정되지 않는 바, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 패널로 구현될 수 있다.
디스플레이부(13)는 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(13)는 영상처리부(12)에서 생성한 영상프레임의 시간을 조절하는 타이밍 컨트롤러(131)와 영상을 표시하는 화면을 구성하는 패널(132)을 포함할 수 있다. 디스플레이부(13)는 추가적으로 패널(132)을 구동시키는 패널구동부를 더 포함할 수 있다.
오디오처리부1~4(14)는 수신된 4개의 오디오신호(Audio1~4)를 처리할 수 있다. 오디오처리부1~4(14)는 오디오 스위칭부(113)에서 수신한 디지털 오디오신호(Audio1~4)에서 아날로그 오디오 신호(Audio1~4)로의 변환, 증폭, 믹싱 등을 수행할 수 있다. 오디오처리부1~4(14)는 믹싱 된 아날로그 오디오 신호(Audio1~4)를 음성출력부(15)로 출력할 수 있다.
음성출력부(15)는 4개의 영상신호1~4에 포함된 각각의 오디오신호(Audio1~4)를 재생하는 4개의 스피커 1~4를 포함할 수 있다. 예를 들면, 스피커1~3은 전자장치(1)에 내장되고, 스피커4는 외부에 마련되어 제2인터페이스부, 예를 들면 블루투스 통신모듈(19)을 통해 연결될 수 있다. 물론, 스피커 1~4는 모두 내장될 수도 있고, 모두 외부에 마련될 수도 있다.
프로세서(16)는 전자장치(1)의 각 구성 부품, 예를 들면 인터페이스(10), 입력신호처리부(11), 영상처리부(12), 디스플레이부(13), 오디오처리부(14), 및 음성출력부(15)를 제어할 수 있다.
프로세서(16)는 화면의 복수 영역에 표시할 영상의 선택, 선택된 영상이 표시되는 위치, 표시되는 영상의 크기에 관한 정보를 기초로 입력신호처리부(11)에 전달할 수 있다. 이러한 정보는 예를 들면 OSD를 통해 사용자로부터 입력된 화면설정 정보를 기초로 얻을 수 있다.
프로세서(16)는 사용자로부터 화면설정 변경입력이 수신되면 이를 입력신호처리부(11)로 전송하여 통합영상신호(MVS) 생성에 반영할 수 있다. 화면설정 변경입력은 특정영역에 표시되던 영상을 새로운 영상으로 변경하거나, 영역과 영역 간의 표시 영상을 교환하거나, 표시되는 영상의 크기를 변경하는 경우 등을 포함할 수 있다.
프로세서(16)는 전자장치(1)의 전원이 켜지는 경우 최종적으로 설정된 화면 설정정보를 통항영상신호(MVS) 생성에 반영하도록 입력신호처리부(11)에 전달할 수 있다. 물론, 입력신호처리부(11)는 메모리에 저장된 가장 마지막에 설정된 화면 설정정보를 직접 참조할 수도 있다.
프로세서(16)는 사용자ID별로 설정된 화면설정 정보를 입력신호처리부(11)에 전달할 수도 있다.
프로세서(16)는 사용자에 의해 선택 또는 설정된 4개의 영상(Video1~4)에 대응하는 오디오신호(Audio1~4)를 재생할 스피커1~4에 관한 정보를 저장하거나 입력신호처리부(11)에 전달할 수 있다.
프로세서(16)는 데이터를 수집하고, 수집된 데이터를 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.
일 예로, 프로세서(16)는 학습부 및 인식부의 기능을 수행할 수 있다. 학습부는, 예를 들면, 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 예를 들면, 학습부는 학습 데이터를 메모리 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 예를 들면, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
한편 인식부는 타겟 데이터를 획득할 수 있다. 타겟 데이터는 메모리 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는, 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 예를 들면, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 다양한 실시예에 따르면, 인식부는 출력값과 함께 학률값(또는, 신뢰도값)을 함께 획득할 수 있다.
프로세서(16)는 제어프로그램이 설치된 비휘발성의 메모리로부터 명령어들(instructions)을 포함하는 제어프로그램의 적어도 일부를 휘발성의 메모리로 로드하고, 로드된 제어프로그램의 명령어를 실행하는 적어도 하나의 범용 프로세서를 포함하며, 예를 들면 CPU(Central Processing Unit), AP(application processor), 또는 마이크로프로세서(microprocessor)로 구현될 수 있다.
프로세서(16)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 프로세서(16)는 복수 개 마련될 수 있다. 프로세서(16)는 예를 들어, 메인 프로세서(main processor) 및 슬립 모드(sleep mode, 예를 들어, 대기 전원만 공급되는 모드)에서 동작하는 서브 프로세서(sub processor)를 포함할 수 있다. 또한, 프로세서, 롬 및 램은 내부 버스(bus)를 통해 상호 연결된다.
프로세서(16)는 전자장치(1)에 내장되는 PCB 상에 실장되는 메인 SoC(Main SoC)에 포함되는 형태로서 구현 가능하다. 다른 실시예에서 메인 SoC는 영상처리부를 더 포함할 수 있다.
제어프로그램은, BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 응용프로그램은, 전자장치(1)의 제조 시에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 설치될 수 있다. 응용 프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 전자장치(1)로 다운로드될 수도 있다. 이와 같은 제어프로그램, 외부 서버 등은, 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.
전자장치(1)는 메모리(17)를 더 포함할 수 있다. 메모리(17)는 컴퓨터에 의해 판독 가능한 기록매체로서, 한정되지 않은 데이터가 저장된다. 메모리(17)는 프로세서(16)에 의해 액세스 되며, 이들에 의한 데이터의 독취, 기록, 수정, 삭제, 갱신 등이 수행된다.
메모리(17)는 화면 설정 정보, 예를 들면 화면의 복수의 영역에 표시하기 위해 할당된 영상 정보, 영상의 위치 정보, 영상의 크기 정보 등을 저장할 수 있다.
메모리(17)에 저장되는 데이터는, 인터페이스부(10)를 통해 수신된 각종 영상/음성 컨텐츠 및 수신된 영상을 처리하여 순차적으로 표시한 복수 프레임 데이터를 포함할 수 있다. 메모리(17)는 음성인식을 위한 음성인식모듈(음성인식엔진)을 포함할 수 있다.
메모리(17)는 운영체제, 운영체제 상에서 실행 가능한 다양한 애플리케이션, 영상데이터, 부가데이터 등을 포함할 수 있다.
메모리(17)는 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리를 포함한다.
메모리(17)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
전자장치(1)는 음성인식부(18)를 포함할 수 있다.
음성인식부(18)는 메모리(17)에 저장된 음성인식모듈을 실행하여 전자장치(1)에 내장된 마이크, 또는 외부장치, 예를 들면 모바일장치나 리모컨에 내장된 마이크 등으로부터 입력 또는 전달된 음성을 인식할 수 있다.
모바일장치나 리모컨의 마이크로 음성을 수신하는 경우, 모바일장치 또는 리모컨은 아날로그 음성 신호를 디지털화 하여 예를 들면 블루투스 등으로 전자장치(1) 측으로 전송할 수 있다.
전자장치(1) 자체의 마이크로 음성 신호를 수신하는 경우, 수신된 아날로그 음성 신호는 디지털화 하여 전자장치(1)의 프로세서(16)로 전송될 수 있다.
전자장치(1)는 수신한 음성 신호를 서버로 전송할 수 있다. 이때, 서버는 음성신호 관련 데이터를 적절한 텍스트로 변환하는 STT서버 또는 STT서버 기능도 함께 수행하는 메인 서버일 수도 있다.
STT서버에서 처리된 데이터는 전자장치(1)가 다시 수신하거나 다른 서버로 바로 전송할 수도 있다.
물론, 전자장치(1)는 수신한 음성신호를 STT서버로 전송하지 않고, 전자장치(1) 내에서 자체적으로 처리할 수도 있다. 즉, 전자장치(1)는 자체적으로 STT서버 역할을 수행할 수도 있다.
전자장치(1)는 서버에서 전송한 텍스트나 자체적으로 변환한 텍스트를 이용하여 특정 기능 수행할 수 있다. 이때, 기능을 수행하는 것은 전자장치(1) 내 프로세서(16)일 수도 있고, 변환된 텍스트가 전송된 별도 서버(STT서버와 다른 서버 또는 STT서버 역할도 하는 서버)일 수 있다.
도 3은 본 발명의 실시예에 따라 분할영상 표시를 위한 전자장치(1)의 제어방법을 나타내는 순서도이다.
사용자는 화면의 1/4분면, 2/4분면, 3/4분면, 4/4분면에 각각 Video1, Video2, Video3, Video4를 표시하도록 설정할 수 있다. 이때, 사용자는 각 영역에 표시되는 Video1, Video2, Video3, Video4의 크기도 조절할 수 있다. 프로세서(16)는 이러한 화면 설정입력 정보, 즉 영상의 위치 및/또는 크기를 입력신호처리부(11)로 전송할 수 있다.
단계 S11에서, 인터페이스부(10)는 4개의 영상신호1~4를 수신할 수 있다. 이때, 인터페이스부(10)는 도 2에 나타낸 바와 같이 HDMI일 수 있다.
단계 S12에서, 입력신호처리부(11)는 다수의 영상신호 중 화면에 표시할 4개의 4k 영상신호1~4를 선택하고, 디코딩을 수행할 수 있다.
영상신호1~4는 도 4에 나타낸 바와 같은 4개 TMDS포맷으로 이루어질 수 있다.
TMDS(Transition Minimized Differential Signal)는 '영상데이터 기간', '데이터 아일랜드 기간', '제어 기간' 세가지 모드 중 하나를 사용하여　영상, 음성, 그리고 기타 데이터들을 전송한다. '영상데이터 기간'에서는 영상데이터가 전송될 수 있다. '데이터 아일랜드 기간'은 '수평/수직 귀선기간'에 발생하여 음성과 기타 데이터들이 여러 개의 패킷으로 나누어져 보내질 수 있다. '제어 기간'은 '영상데이터 기간'과 '데이터 아일랜드 기간' 사이에 발생될 수 있다.
HDMI는 TMDS를 사용하여 '영상데이터 기간'에 8b/10b 인코딩 방식으로,'제어 기간'에 2b/10b인코딩 방식으로 10비트의 영상데이터를 전송할 수 있다. 또한, HDMI는 '데이터 아일랜드 기간'에 4b/10b 인코딩 방식으로 음성과 기타자료를 전송할 수 있다. 이때, 한번의 '데이터 아일랜드 기간'에 32픽셀 만큼의 데이터를 전송할 수 있고, 패킷의 내용을 설명하는 32비트 패킷 헤더가 포함될 수 있다. 패킷 헤더에는 오류 수정 기능을 위한 8비트의 BCH ECC(Error Correction Code) 패리티 데이터가 포함될 수 있다.
각각의 패킷은 4개의 하부패킷을 가질 수 있다. 각각의 하부패킷은 64비트로 이루어질 수 있다. 이 패킷에도 8비트의 BCH ECC 패리티 데이터가 포함될 수 있다. 또한 각각의 '데이터 아일랜드 기간'에서는 최대 18개의 패킷을 전송할 수 있다. HDMI 1.3a 사양에 있는 15개의 패킷 종류 중 7개는 음성에 관하여, 나머지 8개는 기타 데이터를 위해 할당될 수 있다. 이들 중에는 표준 제어 패킷과 Gamut 메타데이터 패킷이 있다. 표준 제어 패킷은 음향에 노이즈가 발생할 때 음 소거를 해주는 기능(AVMUTE)과 색심도에 대한 정보를 가질 수 있다. Gamut 메타데이터 패킷은 xvYCC 사용을 위해 필요한, 재생중인 비디오 스트림을 위한 색 공간에 대한 정보를 담을 수 있다.
도 4는 TMDS포맷의 영상신호1~4(Video1~4)를 나타내는 도면이다.
영상신호 1은 화면 전체에 표시되는 액티브 영상데이터1(Active Video1), 오디오데이터1(Audio1), 및 기타 데이터1을 포함할 수 있다. 영상신호 1은 액티브 영상데이터1을 화면 전체에 표시하기 위한 수직 및 수평 동기신호1(VSync1, HSync1)을 포함할 수 있다.
영상신호 2는 화면 전체에 표시되는 액티브 영상데이터2(Active Video2), 오디오데이터2(Audio2), 및 기타 데이터 2를 포함할 수 있다. 영상신호 2는 액티브 영상데이터2를 화면 전체에 표시하기 위한 수직 및 수평 동기신호2(VSync2, HSync2)를 포함할 수 있다.
영상신호 3은 화면 전체에 표시되는 액티브 영상데이터3(Active Video3), 오디오데이터3(Audio3), 및 기타 데이터 3을 포함할 수 있다. 영상신호 3은 액티브 영상데이터3을 화면 전체에 표시하기 위한 수직 및 수평 동기신호3(VSync3, HSync3)을 포함할 수 있다.
영상신호 4는 화면 전체에 표시되는 액티브 영상데이터4(Active Video4), 오디오데이터4(Audio4), 및 기타 데이터 4를 포함할 수 있다. 영상신호 4는 액티브 영상데이터4를 화면 전체에 표시하기 위한 수직 및 수평 동기신호4(VSync4, HSync4)를 포함할 수 있다.
단계 S13에서, 입력신호처리부(11)는 영상신호1~4로부터 액티브 영상데이터1~4(Active Video1~4)를 추출할 수 있다.
단계 S14에서, 입력신호처리부(11)는 도 5에 나타낸 바와 같이, 화면의 복수 영역 중에 표시될 위치 및 크기 정보를 기초로 액티브 영상데이터1~4(Active Video1~4)를 화면의 복수 영역에 할당한 통합영상데이터(MVD)를 생성할 수 있다.
예를 들면, 통합영상데이터(MVD)는 화면의 1/4분면에 소정 크기의 액티브 영상데이터1(Active Video1)가 배치되고, 화면의 2/4분면에 소정 크기의 액티브 영상데이터2(Active Video2)가 배치되고, 화면의 3/4분면에 소정 크기의 액티브 영상데이터3(Active Video3)이 배치되고, 화면의 4/4분면에 소정 크기의 액티브 영상데이터4(Active Video4)가 배치될 수 있다.
도 5는 통합영상신호(MVS)를 나타내는 도면이다.
입력신호처리부(11)는 액티브 영상데이터1~4(Active Video1~4)의 위치 및/또는 크기 및 액티브 영상데이터1~4(Active Video1~4)의 수직 및 수평 동기신호1~4(VSync1~4, HSync1~4)를 참조하여 통합영상데이터(MVD)의 수직 및 수평 동기신호M(MVSync, MHSync)를 생성할 수 있다.
입력신호처리부(11)는 통합영상데이터(MVD)에 관한 정보 및 액티브 영상데이터1~4(Active Video1~4)의 변화된 위치 및/또는 크기 차이에 관한 정보와 같은 통합정보(MVI)를 생성할 수 있다.
입력신호처리부(11)는 생성된 통합영상데이터(MVD), 수직 및 수평 동기신호M(MVSync, MHSync), 통합정보(MVI)를 포함하는 통합영상신호(MVS)를 생성할 수 있다.
단계 S15에서, 영상처리부(12)는 통합영상신호(MVS)를 기초로 액티브 통합영상데이터를 추출하고, 추출된 통합영상데이터에 대해 화면에 표시하기 위한 다양한 처리를 통해 수행하여 영상프레임을 생성할 수 있다. 영상프레임의 생성을 위한 처리는 예를 들면 통합영상데이터(MVS)의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 통합영상데이터(MVS)를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 통합영상데이터(MVS)를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
단계 S16에서, 디스플레이부(14)는 생성된 영상프레임을 기초로 화면 전체에 통합영상데이터(MVD)에 대응하는 통합영상을 표시할 수 있다.
상술한 바와 같이, 본 발명의 전자장치(1)는 영상처리부(12)가 수신된 복수의 영상신호를 처리하기 전에, 복수의 영상신호 각각의 액티브 영상데이터를 화면의 복수 영역 중에 표시될 위치 및/또는 크기에 맞게 조정하여 통합함으로써 하나의 영상처리부(12)만으로 화면의 복수 영역에 표시할 복수의 영상신호를 처리할 수 있다.
또한, 본 발명의 전자장치(1)는 화면을 4개로 분할한 후 4개의 4k 영상신호1~4를 각 분할 영역에 할당하여 표시함으로써, 전체적으로 8k 영상을 표시하는 것이 가능하다.
도 6은 본 발명의 제2실시예에 따른 전자장치(1)의 구성을 나타내는 블록도이다.
제2실시예에 따른 전자장치(1)는 자체적으로 영상을 표시하는 디스플레이부가 배제되고, 인터페이스부(10), 예를 들면 HDMI를 통해 수신된 4개의 영상신호1~4를 통합하여 통합영상신호(MVS)를 생성하고, 통합영상신호(MVS)를 기초로 영상프레임을 생성하여 외부에 마련된 디스플레이장치(3), 예를 들면 텔레비전이나 모니터로 출력할 수 있다. 또한, 4개의 영상신호1~4에 포함된 오디오신호1~4를 처리하여 케이블(C) 또는 블루투수 통신모듈(19)를 통해 외부에 마련된 음성출력장치(4)로 출력할 수 있다. 물론, 제2실시예에 따른 전자장치(1)는 간단한 알림, 제어 메뉴 등을 표시하기 위한 디스플레이부를 포함할 수도 있다.
도 7은 본 발명의 제3실시예에 따른 전자장치(1)의 구성을 나타내는 블록도이다.
제3실시예에 따른 전자장치(1)는 통합해야 할 영상, 통합 시에 영상의 화면 내 배치, 표시하는 영상의 크기, 표시하는 영상의 오디오신호를 재생하는 스피커 정보 등을 디스플레이장치(3)로부터 수신하여 복수의 영상신호1~4를 통합하여 하나의 통합영상신호(MVS)를 생성할 수 있다. 통합영상신호(MVS)를 생성에 대한 설명은 도 2에 나타낸 제1실시예에 따른 입력신호처리부(11)와 유사하므로 생략한다.
제3실시예에 따른 전자장치(1)는 화면의 복수 영역에 할당하여 표시할 예를 들면 4개의 영상신호1~4를 통합하여 통합영상신호(MVS)를 생성한 후, 디스플레이장치(3)로 전달할 수 있다. 이때, 영상신호1~4는 인터페이스부를 통해 외부의 소스장치(2)로부터 수신될 수 있다.
디스플레이장치(3)는 전자장치(1)로부터 화면의 복수 영역에 표시할 영상신호1~4가 합쳐진 통합영상신호(MVS)를 수신하고, 화면표시를 위한 영상프레임을 생성하고, 영상프레임을 디스플레이부(33)의 화면에 표시할 수 있다.
도 8은 본 발명의 제4실시예에 따른 전자장치(1)의 복수의 영상신호를 처리하여 표시하는 시나리오를 나타내는 도면이다.
사용자는 기존 화면의 1/4분면, 2/4분면, 3/4분면, 4/4분면에 각각 표시되던 Video1, Video2, Video3, Video4에서 4/4분면의 Video4를 USB에 있는 USB Movie로 변경할 수 있다. 이때, 프로세서(16)는 이러한 화면 설정입력 정보를 입력신호처리부(11)로 전송할 수 있다.
인터페이스부(10)는 4개의 제1영상신호1~4를 각각 수신하는 HDMI1~4 및 제2영상신호(USB Movie)가 저장된 USB에 연결된 USB인터페이스를 포함할 수 있다.
입력신호처리부(11)는 4개의 제1영상신호1~4 중 제1영상신호1~3을 선택하여 액티브 영상데이터1~3(Active Video1~3)을 추출하고, 이 액티브 영상데이터1~3(Active Video1~3)를 각각 화면의 1/4분면, 2/4분면, 3/4분면의 영역에 할당하여 통합한 통합영상데이터(MVD)를 생성한 후에, 이를 기초로 통합영상신호(MVS)를 생성할 수 있다. 이와 같이, 통합영상데이터(MVD)는 화면의 4/4분면의 영역을 비워진 상태로 생성될 수 있다. 통합영상신호(MVS)는 영상처리부1(121)로 전달될 수 있다.
USB인터페이스를 통해 수신된 제2영상신호(USB Movie)는 영상처리부2(122)로 전달될 수 있다.
입력신호처리부(11)는 영상신호1~2에 대응하는 오디오신호1~2를 추출한 후에 이를 오디오처리부1~2(141,142)로 전달할 수 있다.
영상처리부1(121)은 통합영상신호(MVS)를 화면의 1/4분면, 2/4분면, 3/4분면에 표시하기 위한 제1영상프레임을 생성할 수 있다.
영상처리부2(122)는 제2영상신호(USB Movie)를 화면의 4/4분면에 표시하기 위한 제2영상프레임을 생성할 수 있다.
디스플레이부(13)는 제1영상프레임과 제2영상프레임을 합성하여 제1영상1~3(Video1~3) 및 제2영상(USB Movie)을 화면에 표시할 수 있다.
사용자는 HDMI1의 영상1(Video1)의 오디오신호1은 TV스피커(151)로 재생하고, HDMI2의 영상2(Video2)의 오디오신호2는 블루투스 스피커(152)로 재생하도록 지정할 수 있다.
오디오처리부1~2(141,142)는 오디오신호1~2를 각각 처리하여 음성출력부(15)의 TV스피커(151)와 블루투스 스피커(152)로 전송하여 재생할 수 있다.
도 9는 본 발명의 제5실시예에 따른 전자장치(1)의 복수의 영상신호를 처리하여 표시하는 시나리오를 나타내는 도면이다.
사용자는 기존 화면의 1/4분면, 2/4분면, 3/4분면, 4/4분면에 각각 표시되던 Video1, Video2, Video3, Video4를 Video3, Video2, Video1, Video4로 변경할 수 있다. 이때, 프로세서(16)는 이러한 화면 설정입력 정보를 입력신호처리부(11)로 전송할 수 있다.
입력신호처리부(11)는 4개의 제1영상신호1~4 중 제1영상신호1~4를 모두 선택하여 액티브 영상데이터1~4(Active Video1~4)를 추출하고, 이 액티브 영상데이터1~4(Active Video1~4)를 각각 화면의 3/4분면, 2/4분면, 1/4분면, 4/4분면의 영역에 할당하여 통합한 통합영상데이터(MVD)를 생성한 후에, 이를 기초로 통합영상신호(MVS)를 생성할 수 있다. 이와 같이, 통합영상데이터(MVD)는 화면설정에 따라 표시된 영상의 순서를 변경되면 입력신호처리부(11)가 이를 반영하여 영상의 표시 순서가 바뀌도록 생성되어 영상처리부(12)로 전달될 수 있다.
입력신호처리부(11)는 영상신호1~2에 대응하는 오디오신호1~2를 추출한 후에 이를 오디오처리부1~2(141,142)로 전달할 수 있다.
영상처리부(12)는 통합영상신호(MVS)를 기초로 화면의 1/4분면, 2/4분면, 3/4분면, 4/4분면에 각각 영상3(Video3), 영상2(Video2), 영상1(Video1) 및 영상4(Video4)를 표시하기 위한 영상프레임을 생성할 수 있다.
디스플레이부(13)는 영상처리부(12)에서 전달한 영상프레임을 화면에 표시할 수 있다.
사용자는 HDMI1의 영상1(Video1)의 오디오신호1은 TV스피커(151)로 재생하고, HDMI2의 영상2(Video2)의 오디오신호2는 블루투스 스피커(152)로 재생하도록 지정할 수 있다.
오디오처리부1~2(141,142)는 오디오신호1~2를 각각 처리하여 음성출력부(15)의 TV스피커(151)와 블루투스 스피커(152)로 전송하여 재생할 수 있다.
변형실시예로서, 전자장치(1)는 화면에서 메인 영상 내에 별도로 작은 부가영상을 동시에 표시할 수 있는 PIP(Picture in Picture)에 적용할 수 있다. 이때, 영상통합부(112)는 PIP 설정정보를 받고, 화면전체의 메인 영상에 부가영상이 위치와 크기를 반영하여 통합영상신호(MVS)를 생성할 수 있다. 결과적으로, 전자장치(1)는 메인 영상과 부가영상을 하나의 영상처리부로 처리하여 PIP 영상을 표시할 수 있다.
본 발명의 실시예에 따른, 복수의 영상을 화면의 복수 영역에 할당하여 표시하는 입력신호처리모듈은 컴퓨터 판독 가능 기록매체로서 메모리(17)에 저장된 컴퓨터프로그램제품 또는 네트워크통신으로 송수신되는 컴퓨터프로그램 제품으로 구현될 수 있다. 또한, 상술한 입력신호처리모듈은 단독 또는 통합되어 컴퓨터프로그램으로 구현될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시 예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 전자장치에 있어서,
    복수의 영상신호를 수신하고,
    상기 복수의 영상신호의 영상데이터를 각각 추출하고,
    상기 추출된 복수의 영상데이터에 기초한 복수의 영상을 화면의 복수의 영역에 각각 할당한 통합영상데이터를 가진 하나의 통합영상신호를 생성하는 입력신호처리부; 및
    상기 통합영상신호의 통합영상데이터에 기초하여 상기 화면에 표시하기 위한 영상프레임을 생성하는 영상처리부;
    를 포함하는 전자장치.
  2. 제1항에 있어서,
    상기 복수의 영상신호는 HDMI(High-Definition Multimedia Interface)를 통해 수신되는 전자장치.
  3. 제1항에 있어서,
    입력신호처리부는 상기 수신된 복수의 영상신호를 디코딩하는 디코더; 및 상기 디코딩 한 복수의 영상신호로부터 각각 복수의 영상데이터를 추출하여 상기 통합영상데이터를 생성하는 영상통합부를 포함하는 전자장치.
  4. 제3항에 있어서,
    상기 영상통합부는 상기 복수 영상신호의 위치 또는 크기 중 적어도 하나에 관한 정보를 기초로 상기 통합영상신호를 생성하는 전자장치.
  5. 제3항에 있어서,
    상기 영상통합부는 상기 복수의 영상신호의 동기신호에 기초하여 상기 통합영상데이터에 대응하는 상기 통합영상신호의 동기신호를 생성하는 전자장치.
  6. 제3항에 있어서,
    상기 통합영상신호는 상기 복수 영상신호의 통합 전과 통합 후의 위치 또는 크기 차이에 관한 정보를 포함하는 전자장치.
  7. 제1항에 있어서,
    상기 통합영상신호에 기초하여 상기 영상프레임을 표시하는 디스플레이부를 더 포함하는 전자장치.
  8. 제7항에 있어서,
    상기 디스플레이부는 상기 영상처리부에서 생성한 영상프레임의 시간을 조절하는 타이밍 컨트롤러를 포함하는 전자장치.
  9. 제7항에 있어서,
    제2영상신호를 수신하는 제2인터페이스부; 및
    상기 제2영상신호를 기초로 화면에 표시하기 위한 제2영상프레임을 생성하는 제2영상처리부를 더 포함하는 전자장치.
  10. 제9항에 있어서,
    상기 디스플레이부는 상기 통합영상신호와 상기 제2영상신호를 합성하여 표시하는 전자장치.
  11. 제1항에 있어서,
    상기 영상처리부는,
    영상데이터의 영상 포맷에 대응하는 디코딩(decoding);
    인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing);
    영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling);
    영상 화질 개선을 위한 노이즈 감소(noise reduction);
    디테일 강화(detail enhancement); 또는
    프레임 리프레시 레이트(frame refresh rate) 변환 중 적어도 하나를 수행하는 전자장치.
  12. 전자장치의 제어방법에 있어서,
    복수의 영상신호를 수신하는 단계와;
    상기 복수의 영상신호의 영상데이터를 각각 추출하고,
    상기 추출된 복수의 영상데이터에 기초한 복수의 영상을 화면의 복수의 영역에 각각 할당한 통합영상데이터를 가진 하나의 통합영상신호를 생성하는 단계; 및
    상기 통합영상신호의 통합영상데이터에 기초하여 상기 화면에 표시하기 위한 영상프레임을 생성하는 단계를 포함하는 전자장치의 제어방법.
  13. 제12항에 있어서,
    상기 복수의 영상신호는 HDMI를 통해 수신되는 전자장치의 제어방법.
  14. 제12항에 있어서,
    상기 통합영상신호의 생성단계는 상기 복수의 영상신호를 디코딩하는 단계를 포함하는 전자장치의 제어방법.
  15. 제14항에 있어서,
    상기 통합영상신호는 상기 복수 영상신호의 위치 또는 크기 중 적어도 하나의 정보에 기초하여 생성되는 전자장치의 제어방법.
PCT/KR2021/007715 2020-07-10 2021-06-21 전자장치 및 그의 제어방법 WO2022010130A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0085406 2020-07-10
KR1020200085406A KR20220007319A (ko) 2020-07-10 2020-07-10 전자장치 및 그의 제어방법

Publications (1)

Publication Number Publication Date
WO2022010130A1 true WO2022010130A1 (ko) 2022-01-13

Family

ID=79553481

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/007715 WO2022010130A1 (ko) 2020-07-10 2021-06-21 전자장치 및 그의 제어방법

Country Status (2)

Country Link
KR (1) KR20220007319A (ko)
WO (1) WO2022010130A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100998547B1 (ko) * 2008-12-09 2010-12-07 주식회사 어니언텍 다중화면표시를 위한 방송 시스템 및 방법
KR20140111736A (ko) * 2013-03-12 2014-09-22 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR101553846B1 (ko) * 2014-12-16 2015-09-17 연세대학교 산학협력단 영상 합성을 위한 프레임 동기화 장치 및 그 방법
KR101885215B1 (ko) * 2011-12-30 2018-08-06 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
JP6449318B2 (ja) * 2014-03-26 2019-01-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｍｉインタフェースを介して補助データフレームを同期送信するためのトランスミッタ、レシーバ、及び、システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100998547B1 (ko) * 2008-12-09 2010-12-07 주식회사 어니언텍 다중화면표시를 위한 방송 시스템 및 방법
KR101885215B1 (ko) * 2011-12-30 2018-08-06 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
KR20140111736A (ko) * 2013-03-12 2014-09-22 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP6449318B2 (ja) * 2014-03-26 2019-01-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｍｉインタフェースを介して補助データフレームを同期送信するためのトランスミッタ、レシーバ、及び、システム
KR101553846B1 (ko) * 2014-12-16 2015-09-17 연세대학교 산학협력단 영상 합성을 위한 프레임 동기화 장치 및 그 방법

Also Published As

Publication number Publication date
KR20220007319A (ko) 2022-01-18

Similar Documents

Publication Publication Date Title
US8713598B2 (en) Electronic device and control method therein
WO2014116088A1 (en) Source device, content providing method using the source device, sink device and controlling method of the sink device
JP6477692B2 (ja) 通信装置及び通信方法、並びにコンピューター・プログラム
US8887210B2 (en) Transmission apparatus, information transmission method, reception apparatus, and information processing method
US8174619B2 (en) Reception apparatus and method of controlling image output by reception apparatus
WO2014142557A1 (en) Electronic device and method for processing image
WO2018131806A1 (en) Electronic apparatus and method of operating the same
WO2016098992A1 (ko) 디스플레이 디바이스 및 그 제어 방법
WO2014163394A1 (en) Power save for audio/video transmissions over wired interface
JPWO2014141425A1 (ja) 映像表示システム、ソース機器、シンク機器及び映像表示方法
EP3459240A1 (en) Display apparatus and recording medium
WO2016052908A1 (en) Transmitter, receiver, and control method thereof
WO2016056804A1 (en) Content processing apparatus and content processing method thereof
WO2015046724A1 (en) Image display apparatus, server for synchronizing contents, and method for operating the server
US10134356B2 (en) Transmission apparatus, method of transmitting image data with wide color gamut, reception apparatus, method of receiving image data with color gamut
WO2022010130A1 (ko) 전자장치 및 그의 제어방법
JP2016052015A (ja) 電子機器および色域判定方法
US10965882B2 (en) Video display apparatus, video display method, and video signal processing apparatus
WO2018221855A1 (en) Electronic apparatus and method of operating the same
WO2022139182A1 (ko) 전자 장치 및 그 제어 방법
WO2015079562A1 (ja) 電子機器及び電子機器相互間の電源制御方法
WO2021075672A1 (ko) 디스플레이 장치 및 그 동작방법
WO2020067701A1 (ko) 디스플레이장치, 그 제어방법 및 기록매체
JP2012141787A (ja) 映像表示装置及びその表示方法
US20140181657A1 (en) Portable device and audio controlling method for portable device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21837248

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21837248

Country of ref document: EP

Kind code of ref document: A1