WO2019164361A1 - Streaming device and streaming method - Google Patents
Streaming device and streaming method Download PDFInfo
- Publication number
- WO2019164361A1 WO2019164361A1 PCT/KR2019/002272 KR2019002272W WO2019164361A1 WO 2019164361 A1 WO2019164361 A1 WO 2019164361A1 KR 2019002272 W KR2019002272 W KR 2019002272W WO 2019164361 A1 WO2019164361 A1 WO 2019164361A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- streaming
- state data
- viewer
- terminal
- broadcaster
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/86—Watching games played by other players
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
Definitions
- Embodiments disclosed herein relate to a streaming apparatus and a streaming method, and more particularly, to a streaming method and apparatus for acquiring an interaction of a viewer synchronized with a streaming video in a live streaming environment.
- terminals people can use a variety of contents anytime and anywhere by using electronic terminals such as mobile terminals such as mobile phones, PMPs, PDAs, laptops, or fixed terminals such as desktops.
- mobile terminals such as mobile phones, PMPs, PDAs, laptops, or fixed terminals such as desktops.
- video was available only when stored in the past through storage media, but with the development of communication technology, large-capacity videos can be provided and viewed in real time by streaming.
- the personal broadcasting service provides contents such as games that require mutual interaction between users in an environment in which images are provided in real time, not just providing images.
- a server providing content separately from a server providing a video receives and processes a user's input.
- the streaming service has a delay of about 10 seconds on average from reaching the broadcaster terminal of the broadcaster to the broadcaster terminal, and minimizes the delay using WebRTC. Even if a delay of about 2 seconds to 3 seconds occurs, the delay time may be further increased depending on the state of the viewer terminal.
- the existing game service using socket communication technology has a delay time to the viewer terminal within 0.5 seconds. The time is different.
- Korean Patent Laid-Open Publication No. 10-2015-0095142 proposes a network camera device and a method of providing video streaming thereof, but the prior art provides that a first camera provides a user interface to a user terminal and the user terminal. Obtains a message requesting video streaming of the first profile from the first camera, and the first camera provides the first profile video to the user terminal or the second camera provides the first camera depending on whether the first camera performs the requested video streaming. It only provides the video of the first profile transmitted from, but does not provide a synchronized game in an environment that provides the video in real time.
- the background art described above is technical information that the inventors possess for the derivation of the present invention or acquired in the derivation process of the present invention, and is not necessarily a publicly known technique disclosed to the general public before the application of the present invention. .
- Embodiments disclosed herein are intended to present a streaming device and a streaming method.
- the embodiments disclosed herein are to provide a streaming device and a streaming method that can obtain the interaction of the viewer synchronized with the streaming video in a real-time streaming environment.
- the embodiments disclosed herein are to provide a streaming device and a streaming method that can be obtained using a minimum of resources when obtaining the interaction of the synchronized viewer in a real-time streaming environment.
- a communication unit for obtaining a streaming image and converts and converts the state data obtained with the streaming image
- the control unit may provide the received state data together with the streaming video and obtain feedback data in response to the provision of the state data.
- a method for streaming an image by a streaming device for streaming an image in real time comprising: obtaining a streaming image, converting the state data acquired together with the streaming image, and converting the converted state data Providing with the streaming video, and acquiring feedback data in response to the provision of the state data.
- a computer readable recording medium having recorded thereon a program for performing a streaming method, the streaming method comprising: obtaining a streaming image, converting state data acquired with the streaming image, and converting The method may include providing the state data together with the streaming video and acquiring feedback data in response to the provision of the state data.
- a computer program executed by a streaming device and stored in a medium to perform a streaming method, the streaming method comprising: obtaining a streaming video, converting state data acquired with the streaming video; Step, providing the converted state data with the streaming video. And acquiring feedback data in response to the provision of the state data.
- any one of the above-described problem solving means it is possible to provide a streaming device and a streaming method for acquiring the interaction of the viewer synchronized with the streaming video in a real-time streaming environment.
- video and content progress are synchronized, so that the synchronization between the state transition of the content and the reaction of the broadcaster is closely performed, thereby dramatically increasing the user experience of the viewer as well as the broadcaster.
- any one of the aforementioned problem solving means it is possible to provide a streaming device and a streaming method that can be obtained using a minimum of resources when obtaining the interaction of the synchronized viewer in a real-time streaming environment.
- FIG. 1 is a block diagram illustrating a streaming service system according to an exemplary embodiment.
- FIGS. 2 to 3 are block diagrams illustrating a streaming apparatus according to an embodiment.
- 4 through 5 are flowcharts for describing a streaming method, according to an exemplary embodiment.
- 6 to 8 are exemplary diagrams for describing a streaming method according to an embodiment.
- 'Status data' refers to data of content to be provided to the viewer when the video is streamed to the viewer watching the video broadcast by the broadcaster.
- the state data may further include a time stamp, and the time stamp may be information about a time point at which an event corresponding to the state data is executed.
- the view point may mean a point in time at which the image is received and reproduced in the viewer terminal, may be information about a point in time included in the frame of the image, and may mean a standard time in the viewer terminal receiving the state data. .
- This time stamp allows the content of the state data to be synchronized with the streamed video.
- the state data may include content for requesting the viewer's feedback, or may include triggering information for executing the content in the viewer terminal receiving the state data.
- the state data may be option data to be input by the viewer or triggering information for displaying the choice when the broadcaster wants to hear opinions from the viewer.
- the status data may be, for example, a variety of information for obtaining feedback of the viewer about the game when the game is played between the viewer and the broadcaster, the game start or end information, game identification information, the answer to the query of the broadcaster It may be choice data, etc. which can be selected.
- FIG. 1 is a block diagram illustrating a streaming service system 100 according to an embodiment.
- the streaming service system 100 may display content information corresponding to the state data or request feedback from the user terminal according to the state data synchronized with a specific time point of the image to each terminal transmitting and receiving the image in real time streaming.
- the streaming service system 100 may load state data on the video signal. Accordingly, the broadcast server may provide the broadcast server with the content that the broadcaster wants to provide to the viewer.
- the streaming service system 100 may include a user terminal 10 and a streaming device 20. As shown in FIG. 1, the streaming service system 100 may include one or more user terminals 10 and one or more streaming devices 20, and the user terminal 10 and the streaming device 20 may include a network ( Can communicate via N).
- the user terminal 10 may transmit and receive the image captured in real time by streaming, and may allow the viewer to interact by being synchronized with the image transmitted and received by streaming, or provide predetermined content to the viewer by being synchronized with the image transmitted and received by streaming.
- the application may be implemented as an electronic terminal that can be installed.
- the electronic terminal may be implemented as a computer, a portable terminal, a television, a wearable device, or the like, connected to a remote server through a network N or connected to other terminals and servers.
- the computer includes, for example, a laptop, desktop, laptop, etc., which is equipped with a web browser
- the portable terminal is, for example, a wireless communication device that ensures portability and mobility.
- the television may include an Internet Protocol Television (IPTV), an Internet Television (Internet Television), a terrestrial TV, a cable TV, or the like.
- IPTV Internet Protocol Television
- Internet Television Internet Television
- the wearable device is, for example, an information processing device of a type that can be worn directly on a human body such as a watch, glasses, accessories, clothes, shoes, etc., and is connected to a remote server or another terminal via a network directly or through another information processing device. It can be connected with.
- the user terminal 10 may be divided into a broadcaster terminal 11 and a viewer terminal 12, and such a classification is not classified according to a configuration difference but a classification based on a user subject.
- the broadcaster terminal 11 may transmit a video recorded in real time through a camera, and may transmit the state data related to the content executed in the viewer terminal 12 receiving the video with streaming along with the streamed video data. have.
- the viewer terminal 12 may receive a video captured by the broadcaster terminal 11 in real time, and at the same point in time as the control of the broadcaster that is a user of the broadcaster terminal 11 occurs in the video. It can be displayed by executing and the user input for the content can be obtained.
- the streaming service system 100 may include a plurality of broadcaster terminals 11 and a plurality of viewer terminals 12.
- one broadcaster terminal 11 and a viewer terminal 12 for convenience of description. It is assumed that this is included.
- the streaming device 20 may be implemented as a computing device capable of communicating with the user terminal 10 through a network (N).
- the streaming device 20 receives the captured video in real time from the broadcaster terminal 11 and transmits the streamed video to the viewer terminal 12 in streaming, and converts the converted streaming video together with the state data in the transmitted video stream.
- the broadcast server 21 may be provided to the viewer terminal 12, and the content processing server 22 may acquire and process feedback data from the viewer terminal 12.
- 'feedback data' means information input by the viewer in response to the state data.
- the state data was option data
- the information selected by the viewer among the choices may be feedback data.
- the broadcast server 21 may acquire the state data from the broadcaster terminal 11 while streaming the real-time captured image from the broadcaster terminal 11 to the viewer terminal 12 by streaming the streamed state data.
- the image data may be converted to be transmitted together with the video data and provided to the viewer terminal 12.
- the content processing server 22 may obtain feedback data from the viewer terminal 12, and the content processing server 22 directly obtains feedback data from the viewer terminal 12 or feeds back through the broadcast server 21. Data can be obtained.
- the content processing server 22 may provide the content processing information according to the acquisition of the feedback data to the broadcaster terminal 11, the viewer terminal 12, or the broadcast server 21.
- the 'content processing information' is information processed by the viewer's feedback data on the content transmitted by the broadcaster, and may be, for example, information processed so that the broadcaster can check the feedback data input by one viewer.
- the information may be processed to allow a broadcaster to check feedback data input by a plurality of viewers.
- the content processing information may include triggering information for triggering a predetermined event according to a result of processing the feedback data.
- the content processing server 22 may process so that the broadcaster can determine what type of answer each viewer has input according to the acquired feedback data, or, for example, statistics about feedback data input by a plurality of viewers. You can sort the information that had the most input and provide it to the broadcaster.
- the content processing server 22 may cause a predetermined event to be triggered according to the processed result.
- the content processing server 22 may reward a viewer who inputs a correct answer or an event corresponding to information selected by the most viewers is executed. The event may be executed only for viewers who have selected the information selected by the most viewers.
- the content processing server 22 may provide data according to the request of the broadcaster terminal 11, for example, if the broadcaster terminal 11 intends to play a game with the viewer terminal 12, the state data In accordance with the present invention, the data may be provided to the viewer terminal 12 or the game installed in the viewer terminal 12 may be controlled.
- the viewer terminal 12 when the broadcaster wants to play the 'OX game', the content processing server 22 does not have the 'OX game' installed in the viewer terminal 12, the viewer terminal 12 additionally displays the game from the state data.
- the identification information may be extracted to install a game selected by the broadcaster terminal 11. Accordingly, for example, the viewer terminal 12 may download the "OX game” from the content processing server 22 or the "OX game” through the third server based on the game identification information.
- the viewer terminal 12 may execute a game, and may receive a state of the executed game from the broadcaster terminal 11 through the broadcast server 21.
- the broadcast server 21 and the content processing server 22 described above may be embodied as one server or as physically separated servers to communicate through the network N according to an embodiment.
- the streaming device 20 composed of the above-described broadcast server 21 and content processing server 22 may be implemented as a server-client system. If the streaming device 20 is implemented as a server-client system, a client for interacting with a viewer or a broadcaster may be installed in the above-described user terminal 10, and the computing device capable of communicating through a network with the electronic terminal where the client is installed.
- the server can be implemented.
- the streaming apparatus 20 includes a controller 210, a communication unit 220, and a memory 230.
- the controller 210 controls the overall operation of the streaming device 20, and may include a processor such as a CPU.
- the controller 210 may control other components included in the streaming apparatus 20 to perform an operation corresponding to a user input received through an input / output unit (not shown).
- the controller 210 may execute a program stored in the memory 230, read a file stored in the memory 230, or store a new file in the memory 230.
- the controller 210 described above will be described later in more detail with reference to FIG. 3.
- the communication unit 220 may perform wired or wireless communication with another electronic terminal or a network.
- the communication unit 220 may include a communication module supporting at least one of various wired and wireless communication methods.
- the communication module may be implemented in the form of a chipset.
- Wireless communication supported by the communication unit 220 may be, for example, Wi-Fi (Wireless Fidelity), Wi-Fi Direct, Bluetooth, UWB (Ultra Wide Band), or Near Field Communication (NFC).
- the wired communication supported by the communication unit 220 may be, for example, USB or High Definition Multimedia Interface (HDMI).
- HDMI High Definition Multimedia Interface
- the communication unit 220 may transfer or acquire a streaming image, obtain a streaming image including the state data, or deliver a streaming image including the converted state data.
- the controller 210 may access and use data stored in the memory 230 or store new data in the memory 230.
- the controller 210 may execute a program installed in the memory 230.
- a program for performing a streaming method may be installed in the memory 230.
- the streaming device 20 may include an input / output unit (not shown).
- the input / output unit may include an input unit for receiving an input from a user, and an output unit for displaying information such as a result of performing a task or a state of the streaming apparatus 20.
- the input / output unit may include an operation panel for receiving a user input and a display panel for displaying a screen.
- the input unit may include devices capable of receiving various types of user input such as a keyboard, a physical button, a touch screen, a camera, or a microphone.
- the output unit may include a display panel or a speaker.
- the present invention is not limited thereto, and the input / output unit (not shown) may include a configuration supporting various input / output.
- the controller 210 executes a program stored in the memory 230 to perform a streaming method.
- FIG 3 is a diagram illustrating a configuration of the controller 210 according to an embodiment.
- the controller 210 includes an image processor 310, a state converter 320, and a feedback processor 330.
- the image processor 310 allows the image captured in real time to be streamed in real time through an input / output unit such as a camera.
- the image processor 310 receives the broadcast from the broadcaster terminal that transmits the image, and delivers the broadcast to the viewer terminal for viewing the broadcast.
- the image processing unit 310 provides a real time delay to minimize the delay time between the broadcaster terminal's image transmission time and the viewer terminal image reception time. You can stream the video.
- the state conversion unit 220 obtains state data together with the image, and converts the state data.
- the state converter 220 may acquire the state data based on a format for obtaining the streaming image in order to obtain the state data together with the streaming image.
- the state data may have the same format as the video format because the state data may be acquired along with the video signal.
- the state converter 220 may extract the state data from the streaming video.
- the acquired image data may include the state data as well as the image data transmitted by the broadcaster, and thus the state data may be extracted from the streaming image.
- the state conversion unit 220 may convert the extracted state data to be delivered to the viewer terminal.
- the state conversion unit 220 may convert the streaming video itself including the state data. That is, the state conversion unit 220 may generate a streaming video in which the state data is converted by converting the image as it is without extracting the state data from the image acquired with the state data.
- the state switching unit 220 may convert the state data according to a format for supporting the video to be viewed by the viewer terminal viewing the streaming video. Accordingly, when the viewer receives the streaming video, the converted state data may be received in the streaming video, and the state data may be obtained at the time when the streaming video is synchronized with the streaming video.
- the state conversion unit 220 may obtain information about an event which the broadcaster wants to proceed according to the state data, and may set the condition for causing the event to be triggered by the feedback processor 230.
- the state conversion unit 220 acquires the state data of the 'survey' cue sign or the state data of the identification information so that an event according to the 'survey' result is triggered.
- the feedback processor 230 may set an event identification condition, a triggering condition, and the like.
- the feedback processor 230 obtains feedback data in response to the status data from the viewer.
- the feedback processor 230 may process the feedback data to generate content processing information and provide the content processing information to the broadcaster terminal 11 or to execute an event according to triggering information corresponding to the content processing information.
- the feedback processor 230 may store a condition for triggering a predetermined event. When the feedback data is acquired as a result of processing the feedback data, the feedback event may be executed.
- the feedback processor 230 may provide a reward to the viewer who inputs the correct answer, or may provide the viewer with a URL or a coupon corresponding to a selection input by a plurality of viewers.
- the controller 210 may further include a state transmitter (not shown) and a state receiver (not shown).
- the state transmitter may insert the state data into the image photographed and generated by the broadcaster terminal 11 to be transmitted together.
- the state receiver may extract the state data from the image and provide an interface corresponding to the extracted state data.
- the interface is capable of interacting with the viewer, and may be implemented to provide content (for example, a UI, text, an image, a video, etc.) according to state data, and receive feedback from the viewer regarding the content.
- content for example, a UI, text, an image, a video, etc.
- Such an interface may be implemented as, for example, a web view, a page of an application, or a layer displayed on an image being viewed, but is not limited to the above-described example.
- the information obtained through the interface as described above may be provided to the feedback processor 330 as feedback data.
- each configuration of the streaming device 20 may be implemented on elements constituting the streaming service system 100.
- the configuration of the streaming device 20 may be implemented on the broadcast server 21 and the content processing server 22.
- control unit 210 the communication unit 220, and the memory 230 are implemented on the broadcast server 21 and the content processing server 22, but the image processing unit 310 and the state conversion unit of the control unit 210 are provided.
- 320 may be implemented on the broadcast server 21 and the feedback processor 330 may be implemented on the content processing server 22.
- the configuration of the streaming device 20 may be implemented on the broadcaster terminal 11, the viewer terminal 12, the broadcast server 21, and the content processing server 22.
- the input / output unit (not shown), the control unit 210, the communication unit 220 and the memory 230 are implemented on the broadcast server 21 and the content processing server 22, but the input and output unit (not shown) May be implemented over the broadcaster terminal 11 and the viewer terminal 12.
- the image processing unit 310 and the state conversion unit 320 of the control unit 210 may be implemented on the broadcast server 21, the feedback processing unit 330 on the content processing server 22, the control unit 210
- the state transmitter (not shown) may be implemented on the broadcaster terminal 11 and the state receiver (not shown) may be implemented on the viewer terminal 12.
- 4 through 5 are flowcharts for describing a streaming method, according to an exemplary embodiment.
- the streaming method according to the embodiment shown in FIG. 4 includes steps that are processed in time series in the streaming device 20 shown in FIGS. 1 to 3. Therefore, even if omitted below, the above descriptions of the streaming device 20 shown in FIGS. 1 to 3 may be applied to the streaming method according to the embodiment shown in FIG. 4.
- the streaming apparatus 20 may acquire a streaming image (S410).
- the streaming device 20 may provide the streaming video to the viewer (S430), and may end.
- the streaming device 20 may obtain a streaming video including the state data (S420).
- the streaming device 20 may acquire the state data based on a format for obtaining the streaming video.
- the streaming device 20 may obtain the state data by extracting the state data from the streaming video.
- the streaming device 20 may generate a streaming image in which the state data is converted (S440), and provide the viewer with a streaming image including the converted state data (S440). S450).
- the streaming device 20 may convert the state data obtained together with the streaming video, and convert the state data into the same format as that for providing the streaming video to the viewer.
- the streaming apparatus 20 may obtain feedback data in response to providing the viewer with a streaming image including the converted state data (S450) (S510).
- the streaming device 20 may obtain a viewer input as feedback data. If there is no viewer input, the streaming device 20 may process that the feedback data has not been obtained. Alternatively, if there is no viewer input, the streaming device 20 may process, for example, inputting an incorrect answer in the case of a quiz game, or input a predetermined value to obtain the incorrect answer or the predetermined value as feedback data. have.
- the streaming device 20 may process the feedback data to provide the processed content processing information to the broadcaster or the viewer, or to trigger an event corresponding to the content processing information.
- 6 to 8 are exemplary diagrams for describing a streaming method according to an embodiment.
- the broadcast server 21 may receive an image captured in real time by the broadcaster terminal 11 from the broadcaster terminal 11 by streaming, and may transmit the received image data to the viewer terminal 12.
- the broadcaster terminal 11 can record the broadcast video in real time and transmit it to the viewer terminal 12 through the broadcast server 21 while playing the game with the viewer.
- the game list may be provided, and one of the games may be selected.
- the broadcaster of the broadcaster terminal 11 can start the quiz game if you want to proceed with the quiz game with the viewer of the viewer terminal 12. For example, a broadcaster may want to run a quiz show live, and may want to give a prize to a viewer who has solved a predetermined number or more of problems.
- the broadcaster terminal 11 may transmit the state data regarding the quiz to the broadcast server 21 along with the streamed video data (S610).
- the broadcaster terminal 11 may transmit the state data including the game identification information of the 'OX game' selected by the user during the broadcast and the start information which is the start signal of the game together with the streamed video data. Can be.
- the state of the game progress in the broadcaster terminal 11 is changed (for example, OX game start, OX game question, correct answer announcement, etc.), the status data for this is transmitted to the broadcast server 21 together with the video and audio. Can be.
- the state data may be transmitted in the same manner as the text information transmitted together with the streamed video data.
- the broadcast server 21 may provide the state data generated by the broadcaster terminal 11 while streaming the video data received from the broadcaster terminal 11 to the viewer terminal 12 (S620).
- the broadcast server 11 may convert the state data of the game received according to the transmission protocol according to the reception protocol. For example, when the broadcasting server 11 transmits a broadcast using the RTMP protocol and receives a broadcast using the HLS protocol, the data transmitted from the transmitting side is in AMF format. Can convert to format
- the viewer terminal 12 may identify the state data in the data received together with the image data streamed from the broadcast server 21, and the image of the time stamp corresponding to the state data is displayed on the viewer terminal 12. At this point, an event corresponding to the state data may be triggered.
- the viewer terminal 12 may analyze the state of the game by analyzing the state data of the game entered with the image. Accordingly, the viewer terminal 12 may receive and reproduce the image captured and broadcast by the broadcaster terminal 11 by streaming, and the broadcaster of the broadcaster terminal 11 executes the 'OX game' in the video based on the state data. You can play 'OX Game' in synchronization with the visual point of time.
- the viewer terminal 12 may be provided with an interface for inputting a correct answer in the "OX game".
- FIG. 7 is a view for explaining an example of a screen displayed through the screen of the electronic terminal implemented by the viewer terminal 12.
- an interface 700 may be displayed in which the viewer can enter an answer that he or she thinks.
- the viewer terminal 12 may obtain a user input for the game controlled by the broadcaster terminal 11, and transmit the obtained user input to the content processing server 22 as feedback data (S630).
- the viewer terminal 12 may receive input from the user in response to the OX problem provided to the user, and transmit the input value to the content processing server 22.
- the content processing server 22 may provide a result of the user input received from the viewer terminal 12 to the broadcaster terminal 11 (S640).
- the broadcaster terminal 11 can immediately know the information input by the viewer using existing socket communication.
- the content processing server 22 may transmit a user input received from the viewer terminal 12 to at least one of the broadcaster terminal 11 or the broadcast server 21 to trigger an event for the user input. have.
- the content processing server 22 may process the user input received from the viewer terminal 12 to trigger an event for the user input, and provide the event triggering result to the broadcaster terminal 11. can do.
- the content processing server 22 or the broadcasting server 21 may store the correct answer that matches the intention of the broadcaster, or may store information about an event to be triggered according to the input answer.
- the broadcast server 21 determines whether the answer input by the user is correct, and thus the broadcaster.
- the terminal 11 and / or the viewer terminal 12 may be provided.
- the content processing server 22 may trigger an event according to a user's input response.
- the content processing server 220 may process an answer received from the viewer terminal 12 to trigger an event and provide the triggered result to the broadcaster terminal 11 and / or the viewer terminal 12. .
- the broadcaster terminal 11 may determine whether the answer is correct. have.
- the content processing server 22 may trigger an event according to a user's input response according to a determination result of the broadcaster.
- the content processing server 22 when the content processing server 22 receives an answer from the plurality of viewer terminals 12, the content is grouped and sorted to provide the most inputted answer to the broadcaster terminal 11, or corresponding to the answer. Can trigger the event.
- the content processing server 22 may provide content processing information according to a user input to the viewer terminal 12.
- the viewer terminal 12 may display a screen displaying whether the user answers the OX Quid based on the response information.
- the content processing server 22 may provide the coupon to the viewer terminal 12 if the user can receive the coupon according to the user's input.
- FIG. 8 is a diagram illustrating an example of a screen displayed through a screen of an electronic terminal implemented by the viewer terminal 12.
- the coupon 800 may be provided as a reward.
- the broadcaster wants to proceed with the 'OX game', even if the broadcaster mentions that the correct answer for the OX quiz is X and then X is set to be correctly processed, the viewer is in a state data due to the delay time of the video. In most cases, the first inquiry and the video are viewed, but according to the embodiment disclosed in the present specification, since the viewer receives the state data and the video at the same time, the problem caused by the asynchronous method does not occur. .
- the content that the broadcaster wants to proceed with the viewer is a game such as OX quiz, multiple choice quiz, word matching, survey, roulette, etc. It can synchronize between viewers, synchronize the broadcaster's game progress with the image viewed by the viewer, and provide the viewer with a reward for the game according to the results of the viewer's reaction to the game.
- a game such as OX quiz, multiple choice quiz, word matching, survey, roulette, etc.
- the commerce advertisement Collecting a plurality of viewers' response to the broadcaster to inform the broadcaster of the results, according to the result can be executed an event that pays at least some of the viewers discount coupons, which can be synchronized with the video progressed by the broadcaster .
- a content that the broadcaster wants to proceed with the viewer there is a large number of information selected by the viewer in accordance with the question / vote during live streaming and the broadcaster who appears in the broadcast proceeds according to the selected information
- a plurality of viewers' responses to the broadcast may be collected to inform the broadcaster of the result, and if there is an event whose condition is a condition, the corresponding event may be triggered.
- an image transmitted by the broadcaster and an image received by the viewer in the above-described example may be synchronized.
- ' ⁇ ' refers to software or a hardware component such as a field programmable gate array (FPGA) or an ASIC, and ' ⁇ ' serves a part.
- ' ⁇ ' is not meant to be limited to software or hardware.
- ' ⁇ Portion' may be configured to be in an addressable storage medium or may be configured to play one or more processors.
- ' ⁇ ' means components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, and the like. Subroutines, segments of program patent code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
- the functionality provided within the components and 'parts' may be combined into a smaller number of components and 'parts' or separated from additional components and 'parts'.
- components and ' ⁇ ' may be implemented to play one or more CPUs in the device or secure multimedia card.
- the streaming method may also be implemented in the form of a computer readable medium for storing instructions and data executable by a computer.
- the command and data may be stored in the form of program code, and when executed by the processor, a predetermined program module may be generated to perform a predetermined operation.
- computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
- the computer readable medium may be a computer recording medium, which is volatile and non-implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Both volatile, removable and non-removable media may be included.
- computer recording media may be provided via magnetic storage media such as HDDs and SSDs, optical recording media such as CDs, DVDs and Blu-ray discs, or may be accessible via a network. It may be a memory included in the server.
- the streaming method may be implemented as a computer program (or computer program product) including instructions executable by a computer.
- the computer program includes programmable machine instructions processed by the processor and may be implemented in a high-level programming language, an object-oriented programming language, an assembly language, or a machine language.
- the computer program may also be recorded on tangible computer readable media (eg, memory, hard disks, magnetic / optical media or solid-state drives, etc.).
- the streaming method may be implemented by executing the computer program as described above by the computing device.
- the computing device may include at least a portion of a processor, a memory, a storage device, a high speed interface connected to the memory and a high speed expansion port, and a low speed interface connected to the low speed bus and the storage device.
- a processor may include at least a portion of a processor, a memory, a storage device, a high speed interface connected to the memory and a high speed expansion port, and a low speed interface connected to the low speed bus and the storage device.
- Each of these components are connected to each other using a variety of buses and may be mounted on a common motherboard or otherwise mounted in a suitable manner.
- the processor may process instructions within the computing device, such as to display graphical information for providing a graphical user interface (GUI) on an external input, output device, such as a display connected to a high speed interface. Instructions stored in memory or storage. In other embodiments, multiple processors and / or multiple buses may be used with appropriately multiple memories and memory types.
- the processor may also be implemented as a chipset consisting of chips comprising a plurality of independent analog and / or digital processors.
- the memory also stores information within the computing device.
- the memory may consist of a volatile memory unit or a collection thereof.
- the memory may consist of a nonvolatile memory unit or a collection thereof.
- the memory may also be another form of computer readable medium, such as a magnetic or optical disk.
- the storage device can provide a large amount of storage space to the computing device.
- the storage device may be a computer readable medium or a configuration including such a medium, and may include, for example, devices or other configurations within a storage area network (SAN), and may include a floppy disk device, a hard disk device, an optical disk device, Or a tape device, flash memory, or similar other semiconductor memory device or device array.
- SAN storage area network
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
The present invention relates to a streaming device and a streaming method. The streaming device according to an embodiment comprises: a communication unit for obtaining a streaming image; and a controller for converting state data obtained with the streaming image, providing the converted state data together with the streaming image, and obtaining feedback data in response to the provision of the state data.
Description
본 명세서에서 개시되는 실시예들은 스트리밍 장치 및 스트리밍 방법에 관한 것으로, 보다 상세하게는 라이브 스트리밍 환경에서 스트리밍 영상과 동기화된 시청자의 인터랙션을 획득하기 위한 스트리밍 방법 및 장치에 관한 것이다.Embodiments disclosed herein relate to a streaming apparatus and a streaming method, and more particularly, to a streaming method and apparatus for acquiring an interaction of a viewer synchronized with a streaming video in a live streaming environment.
오늘날 단말의 발전에 따라 사람들은 휴대폰, PMP, PDA, 노트북 등의 이동 단말 또는 데스크탑 등의 고정 단말 등의 전자단말기를 이용하여 다양한 콘텐츠를 시간과 장소 제한없이 이용할 수 있게 되었다.With the development of terminals today, people can use a variety of contents anytime and anywhere by using electronic terminals such as mobile terminals such as mobile phones, PMPs, PDAs, laptops, or fixed terminals such as desktops.
특히, 영상은 과거 저장매체를 통해 저장을 한 경우에만 이용할 수 있었으나 통신기술의 발전에 따라 대용량의 영상도 스트리밍 방식으로 실시간 제공받아 시청할 수 있게 되었다.In particular, video was available only when stored in the past through storage media, but with the development of communication technology, large-capacity videos can be provided and viewed in real time by streaming.
그리고 기술의 발전에 따라 최근에는 사용자가 단말을 이용하여 촬영하고, 촬영된 영상을 스트리밍으로 실시간 복수의 타 사용자에게 제공하는 개인 방송 서비스가 늘어나고 있다. In recent years, with the development of technology, a personal broadcasting service, in which a user photographs by using a terminal and provides a plurality of other users in real time through streaming, has been increased.
이러한 개인 방송 서비스는 단순히 영상을 제공하는 것을 넘어 실시간으로 영상을 제공하는 환경에서 사용자 간 상호 인터랙션이 필요로 하는 게임 등과 같은 콘텐츠를 함께 제공하고 있다.The personal broadcasting service provides contents such as games that require mutual interaction between users in an environment in which images are provided in real time, not just providing images.
이때, 실시간 영상을 제공하는 환경에서 상호 인터랙션이 필요로 하는 콘텐츠를 제공하기 위해, 영상을 제공하는 서버와 별도로 콘텐츠를 제공하는 서버가 사용자의 입력을 수신하여 처리를 하고 있다. In this case, in order to provide content required for mutual interaction in an environment for providing a real-time video, a server providing content separately from a server providing a video receives and processes a user's input.
하지만, 영상이 스트리밍되는 시점과, 콘텐츠가 제공되는 시점이 동기화되지 않는 경우, 영상에서 시청자의 입력을 요청하는 시점과 콘텐츠를 통해 실제 시청자가 입력을 수행할 수 있는 시점이 상이해지는 문제점이 있다. 또는 영상에서 시청자의 입력에 따른 정보를 제공하는 시점과 시청자의 입력에 따른 콘텐츠 또는 상기 정보를 제공하는 시점이 상이해지는 문제점이 있다.However, when the time point at which an image is streamed and the time point at which content is provided are not synchronized, there is a problem in that a time point for requesting input from a viewer and a time point at which an actual viewer can perform input through the content are different. Alternatively, there is a problem in that a time point for providing information according to a viewer's input and a time point for providing content or the information according to the viewer's input differ from each other.
예를 들어, 스트리밍 서비스는 그 특성상 방송을 진행하는 방송자의 방송자단말로부터 방송을 시청하는 시청자의 단말까지 도달하는데 있어 평균적으로 10초 정도의 지연이 발생되고, WebRTC를 이용하여 그 지연을 최소화시킨다고 하더라도 2초 내지 3초 정도의 지연이 발생되며, 시청자단말의 상태에 따라 지연시간이 더 늘어날 수도 있다.For example, the streaming service has a delay of about 10 seconds on average from reaching the broadcaster terminal of the broadcaster to the broadcaster terminal, and minimizes the delay using WebRTC. Even if a delay of about 2 seconds to 3 seconds occurs, the delay time may be further increased depending on the state of the viewer terminal.
반면 스트리밍 서비스에서 제공하고자 하는 콘텐츠가, OX퀴즈, 객관식퀴즈, 낱말맞추기, 설문조사, 룰렛 등의 게임인 경우, 소켓 통신 기술을 이용하는 기존 게임 서비스는 시청자단말까지의 도달시간이 0.5초 이내이어서 지연시간이 상이하다.On the other hand, if the content to be provided in the streaming service is a game such as OX quiz, multiple choice quiz, crossword matching, survey, roulette, etc., the existing game service using socket communication technology has a delay time to the viewer terminal within 0.5 seconds. The time is different.
이러한 지연 시간의 차이로 인해, 방송자가 게임의 진행을 하면서 이에 대한 영상 송출을 동시에 수행하더라도 시청자 입장에서는 게임의 진행 결과를 먼저 전달받고 영상을 뒤늦게 수신하게 되어 결과적으로 게임 서비스에 대한 사용자 경험이 저하된다.Due to the difference in the delay time, even if the broadcaster simultaneously plays the video and transmits the video, the viewer receives the result of the game first and receives the video later. As a result, the user experience of the game service is degraded. do.
따라서, 영상을 송출하는 방송자의 영상과 콘텐츠의 진행 상황을 동기화시키는 방법이 필요하게 되었다.Therefore, there is a need for a method of synchronizing the progress of the content with the video of the broadcaster for transmitting the video.
관련하여 선행기술 문헌인 한국공개특허 제 10-2015-0095142호에서 네트워크 카메라 장치 및 이의 영상 스트리밍 제공 방법에 관한 제안하나, 상기 선행기술은, 제 1 카메라가 사용자 단말에 사용자인터페이스를 제공하고 사용자 단말로부터 제 1 프로파일의 영상 스트리밍을 요청하는 메시지를 획득하고, 요청된 영상 스트리밍을 제 1 카메라가 수행할 지에 따라 제 1 카메라가 제 1 프로파일의 영상을 사용자단말로 제공하거나 제 2 카메라가 제 1 카메라로부터 전송된 제 1 프로파일의 영상을 제공할 뿐, 실시간으로 영상을 제공하는 환경에서 동기화된 게임을 제공하지 못한다.In the related art, Korean Patent Laid-Open Publication No. 10-2015-0095142 proposes a network camera device and a method of providing video streaming thereof, but the prior art provides that a first camera provides a user interface to a user terminal and the user terminal. Obtains a message requesting video streaming of the first profile from the first camera, and the first camera provides the first profile video to the user terminal or the second camera provides the first camera depending on whether the first camera performs the requested video streaming. It only provides the video of the first profile transmitted from, but does not provide a synchronized game in an environment that provides the video in real time.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다. Therefore, there is a need for a technique for solving the above problems.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the background art described above is technical information that the inventors possess for the derivation of the present invention or acquired in the derivation process of the present invention, and is not necessarily a publicly known technique disclosed to the general public before the application of the present invention. .
본 명세서에서 개시되는 실시예들은, 스트리밍 장치 및 스트리밍 방법을 제시하는 데 목적이 있다. Embodiments disclosed herein are intended to present a streaming device and a streaming method.
또한 본 명세서에서 개시되는 실시예들은, 실시간 스트리밍 환경에서 스트리밍 영상과 동기화된 시청자의 인터랙션을 획득할 수 있도록 하는 스트리밍 장치 및 스트리밍 방법을 제시하는 데 목적이 있다. In addition, the embodiments disclosed herein are to provide a streaming device and a streaming method that can obtain the interaction of the viewer synchronized with the streaming video in a real-time streaming environment.
또한 본 명세서에서 개시되는 실시예들은, 실시간 스트리밍 환경에서 동기화된 시청자의 인터랙션을 획득할 때 최소한의 리소스를 이용하여 획득할 수 있도록 하는 스트리밍 장치 및 스트리밍 방법을 제시하는 데 목적이 있다.In addition, the embodiments disclosed herein are to provide a streaming device and a streaming method that can be obtained using a minimum of resources when obtaining the interaction of the synchronized viewer in a real-time streaming environment.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 실시간으로 영상을 스트리밍하기 위한 스트리밍 장치로서, 스트리밍 영상을 획득하는 통신부, 및 상기 스트리밍 영상과 함께 획득된 상태데이터를 변환하며 변환된 상태데이터를 상기 스트리밍 영상과 함께 제공하고, 상기 상태데이터의 제공에 대한 응답으로 피드백데이터를 획득하는 제어부를 포함할 수 있다.As a technical means for achieving the above-described technical problem, according to an embodiment, as a streaming device for streaming an image in real time, a communication unit for obtaining a streaming image, and converts and converts the state data obtained with the streaming image The control unit may provide the received state data together with the streaming video and obtain feedback data in response to the provision of the state data.
다른 실시예에 따르면, 실시간으로 영상을 스트리밍하기 위한 스트리밍 장치가 상기 영상을 스트리밍하는 방법으로서, 스트리밍 영상을 획득하는 단계, 상기 스트리밍 영상과 함께 획득된 상태데이터를 변환하는 단계, 변환된 상태데이터를 상기 스트리밍 영상과 함께 제공하는 단계, 및 상기 상태데이터의 제공에 대한 응답으로 피드백데이터를 획득하는 단계를 포함할 수 있다.According to another embodiment, a method for streaming an image by a streaming device for streaming an image in real time, the method comprising: obtaining a streaming image, converting the state data acquired together with the streaming image, and converting the converted state data Providing with the streaming video, and acquiring feedback data in response to the provision of the state data.
또 다른 실시예에 따르면, 스트리밍 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 상기 스트리밍 방법은, 스트리밍 영상을 획득하는 단계, 상기 스트리밍 영상과 함께 획득된 상태데이터를 변환하는 단계, 변환된 상태데이터를 상기 스트리밍 영상과 함께 제공하는 단계 및 상기 상태데이터의 제공에 대한 응답으로 피드백데이터를 획득하는 단계를 포함할 수 있다.According to yet another embodiment, a computer readable recording medium having recorded thereon a program for performing a streaming method, the streaming method comprising: obtaining a streaming image, converting state data acquired with the streaming image, and converting The method may include providing the state data together with the streaming video and acquiring feedback data in response to the provision of the state data.
또 다른 실시예에 따르면, 스트리밍 장치에 의해 수행되며 스트리밍 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램으로서, 상기 스트리밍 방법은, 스트리밍 영상을 획득하는 단계, 상기 스트리밍 영상과 함께 획득된 상태데이터를 변환하는 단계, 변환된 상태데이터를 상기 스트리밍 영상과 함께 제공하는 단계. 및 상기 상태데이터의 제공에 대한 응답으로 피드백데이터를 획득하는 단계를 포함할 수 있다.According to yet another embodiment, a computer program executed by a streaming device and stored in a medium to perform a streaming method, the streaming method comprising: obtaining a streaming video, converting state data acquired with the streaming video; Step, providing the converted state data with the streaming video. And acquiring feedback data in response to the provision of the state data.
전술한 과제 해결 수단 중 어느 하나에 의하면, 스트리밍 장치 및 스트리밍 방법을 제시할 수 있다. According to any one of the above-described problem solving means, it is possible to provide a streaming device and a streaming method.
또한 전술한 과제 해결 수단 중 어느 하나에 의하면, 실시간 스트리밍 환경에서 스트리밍 영상과 동기화된 시청자의 인터랙션을 획득할 수 있도록 하는 스트리밍 장치 및 스트리밍 방법을 제시할 수 있다. 이를 통해 영상과 콘텐츠 진행이 동기화되어 콘텐츠의 상태 전환 시점과 방송자의 리액션 간의 동기화가 긴밀하게 이루어져, 방송자는 물론 시청자의 사용자 경험을 비약적으로 증대시킬 수 있다. In addition, according to any one of the above-described problem solving means, it is possible to provide a streaming device and a streaming method for acquiring the interaction of the viewer synchronized with the streaming video in a real-time streaming environment. Through this, video and content progress are synchronized, so that the synchronization between the state transition of the content and the reaction of the broadcaster is closely performed, thereby dramatically increasing the user experience of the viewer as well as the broadcaster.
또한 전술한 과제 해결 수단 중 어느 하나에 의하면, 실시간 스트리밍 환경에서 동기화된 시청자의 인터랙션을 획득할 때 최소한의 리소스를 이용하여 획득할 수 있도록 하는 스트리밍 장치 및 스트리밍 방법을 제시할 수 있다.In addition, according to any one of the aforementioned problem solving means, it is possible to provide a streaming device and a streaming method that can be obtained using a minimum of resources when obtaining the interaction of the synchronized viewer in a real-time streaming environment.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the disclosed embodiments are not limited to the effects mentioned above, and other effects not mentioned above are apparent to those skilled in the art to which the embodiments disclosed from the following description belong. Can be understood.
도 1은 일 실시예에 따른 스트리밍 서비스 시스템을 도시한 구성도이다.1 is a block diagram illustrating a streaming service system according to an exemplary embodiment.
도 2 내지 도 3은 일 실시예에 따른 스트리밍 장치를 도시한 블록도이다.2 to 3 are block diagrams illustrating a streaming apparatus according to an embodiment.
도 4 내지 도 5는 일 실시예에 따른 스트리밍 방법을 설명하기 위한 순서도이다. 4 through 5 are flowcharts for describing a streaming method, according to an exemplary embodiment.
도 6 내지 도 8은 일 실시예에 따른 스트리밍 방법을 설명하기 위한 예시도이다.6 to 8 are exemplary diagrams for describing a streaming method according to an embodiment.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, various embodiments will be described in detail with reference to the accompanying drawings. The embodiments described below may be embodied in various different forms. In order to more clearly describe the features of the embodiments, detailed descriptions of the matters well known to those skilled in the art to which the following embodiments belong are omitted. In the drawings, parts irrelevant to the description of the embodiments are omitted, and like reference numerals designate like parts throughout the specification.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, ‘그 중간에 다른 구성을 사이에 두고 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.Throughout the specification, when a configuration is "connected" to another configuration, this includes not only 'directly connected' but also 'connected' between different configurations. In addition, when a configuration "includes" a certain configuration, this means that, unless specifically stated otherwise, it may further include other configurations other than the other configuration.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다. However, before describing this, the meanings of the terms used below are first defined.
‘상태데이터’는 방송자가 송출하는 영상을 시청하는 시청자에게 상기 영상이 스트리밍될 때 상기 시청자에게 함께 제공하고자 하는 콘텐츠의 데이터를 지칭한다.'Status data' refers to data of content to be provided to the viewer when the video is streamed to the viewer watching the video broadcast by the broadcaster.
이러한 상태데이터는 타임스탬프를 추가적으로 포함할 수 있으며 타임스탬프는 상태데이터에 대응되는 이벤트가 실행될 시점에 관한 정보일 수 있다. 이때 시점은 영상이 시청자단말에 수신되어 재생되는 시점을 의미할 수도 있고, 영상의 프레임에 함께 포함된 시점에 관한 정보일 수 있으며, 상태데이터를 수신하는 시청자단말에서의 표준 시각을 의미할 수 있다. 이러한 타임스탬프는 상기 상태데이터의 콘텐츠가 스트리밍되는 영상과 동기화되도록 한다.The state data may further include a time stamp, and the time stamp may be information about a time point at which an event corresponding to the state data is executed. In this case, the view point may mean a point in time at which the image is received and reproduced in the viewer terminal, may be information about a point in time included in the frame of the image, and may mean a standard time in the viewer terminal receiving the state data. . This time stamp allows the content of the state data to be synchronized with the streamed video.
또한 상태데이터는, 시청자의 피드백을 요청하기 위한 콘텐츠를 포함하거나, 상태데이터를 수신한 시청자단말에서 상기 콘텐츠를 실행하기 위한 트리거링 정보를 포함할 수 있다. In addition, the state data may include content for requesting the viewer's feedback, or may include triggering information for executing the content in the viewer terminal receiving the state data.
상태데이터는, 방송자가 시청자로부터 의견을 듣고자 한다면 시청자가 입력할 선택지 데이터 또는 상기 선택지를 디스플레이할 수 있는 트리거링 정보 등이 될 수 있다. 또한 상태데이터는 예를 들어, 시청자와 방송자 간에 게임을 진행하는 경우 게임에 대한 시청자의 피드백을 획득하기 위한 각종 정보일 수 있으며, 게임 시작 또는 종료 정보, 게임 식별정보, 방송자의 질의에 관한 답변을 선택할 수 있는 선택지 데이터 등일 수 있다. The state data may be option data to be input by the viewer or triggering information for displaying the choice when the broadcaster wants to hear opinions from the viewer. In addition, the status data may be, for example, a variety of information for obtaining feedback of the viewer about the game when the game is played between the viewer and the broadcaster, the game start or end information, game identification information, the answer to the query of the broadcaster It may be choice data, etc. which can be selected.
위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.In addition to the terms defined above, terms that need explanation are explained separately below.
도 1은 일 실시예에 따른 스트리밍 서비스 시스템(100)을 설명하기 위한 구성도이다.1 is a block diagram illustrating a streaming service system 100 according to an embodiment.
스트리밍 서비스 시스템(100)은 영상을 실시간 스트리밍으로 송수신하는 단말 각각에 영상의 특정 시점과 동기화된 상태데이터에 따라 사용자단말에서 상태데이터에 대응되는 콘텐츠 정보를 표시하거나 피드백을 요청할 수 있다.The streaming service system 100 may display content information corresponding to the state data or request feedback from the user terminal according to the state data synchronized with a specific time point of the image to each terminal transmitting and receiving the image in real time streaming.
즉 스트리밍 서비스 시스템(100)은 영상 신호에 상태데이터를 실어보낼 수 있다. 따라서 방송자가 시청자에게 제공하고자 하는 콘텐츠를 방송서버로 하여금 시청자에게 제공하도록 할 수 있다. That is, the streaming service system 100 may load state data on the video signal. Accordingly, the broadcast server may provide the broadcast server with the content that the broadcaster wants to provide to the viewer.
이러한 스트리밍 서비스 시스템(100)은 도 1을 참조하면, 사용자단말(10) 및 스트리밍 장치(20)로 구성될 수 있다. 도 1에 도시된 바와 같이 스트리밍 서비스 시스템(100)은 하나 이상의 사용자단말(10) 및 하나 이상의 스트리밍 장치(20)로 구성될 수 있으며, 이러한 사용자단말(10) 및 스트리밍 장치(20)는 네트워크(N)를 통해 통신할 수 있다. Referring to FIG. 1, the streaming service system 100 may include a user terminal 10 and a streaming device 20. As shown in FIG. 1, the streaming service system 100 may include one or more user terminals 10 and one or more streaming devices 20, and the user terminal 10 and the streaming device 20 may include a network ( Can communicate via N).
사용자단말(10)은 실시간으로 촬영된 영상을 스트리밍으로 송수신할 수 있으면서, 스트리밍으로 송수신되는 영상에 동기화되어 시청자의 인터랙션이 가능하게 하거나, 스트리밍으로 송수신되는 영상에 동기화되어 시청자에게 소정의 콘텐츠를 제공하는 애플리케이션이 설치될 수 있는 전자단말기로 구현될 수 있다.The user terminal 10 may transmit and receive the image captured in real time by streaming, and may allow the viewer to interact by being synchronized with the image transmitted and received by streaming, or provide predetermined content to the viewer by being synchronized with the image transmitted and received by streaming. The application may be implemented as an electronic terminal that can be installed.
이때 전자단말기는 네트워크(N)를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 단말과 연결될 수 있다.In this case, the electronic terminal may be implemented as a computer, a portable terminal, a television, a wearable device, or the like, connected to a remote server through a network N or connected to other terminals and servers. Here, the computer includes, for example, a laptop, desktop, laptop, etc., which is equipped with a web browser, and the portable terminal is, for example, a wireless communication device that ensures portability and mobility. , Personal Communication System (PCS), Personal Digital Cellular (PDC), Personal Handyphone System (PHS), Personal Digital Assistant (PDA), Global System for Mobile communications (GSM), International Mobile Telecommunication (IMT) -2000, Code CDMA Division Multiple Access (2000), all types of handhelds such as W-Code Division Multiple Access (W-CDMA), Wireless Broadband Internet (Wibro), Smart Phones, and Mobile Worldwide Interoperability for Microwave Access (WiMAX). It may include a (Handheld) based wireless communication device. In addition, the television may include an Internet Protocol Television (IPTV), an Internet Television (Internet Television), a terrestrial TV, a cable TV, or the like. Further, the wearable device is, for example, an information processing device of a type that can be worn directly on a human body such as a watch, glasses, accessories, clothes, shoes, etc., and is connected to a remote server or another terminal via a network directly or through another information processing device. It can be connected with.
이러한 사용자단말(10)은 방송자단말(11)과 시청자단말(12)로 나뉠 수 있으며, 이러한 구분은 각 단말은 구성의 차이에 따른 분류가 아닌 사용주체의 차이에 따른 분류이다.The user terminal 10 may be divided into a broadcaster terminal 11 and a viewer terminal 12, and such a classification is not classified according to a configuration difference but a classification based on a user subject.
방송자단말(11)은 카메라를 통해 실시간 촬영되는 영상을 스트리밍으로 송신할 수 있으며, 스트리밍으로 영상을 수신하는 시청자단말(12)에서 실행되는 콘텐츠와 관련된 상태데이터를 스트리밍되는 영상 데이터와 함께 전송할 수 있다. The broadcaster terminal 11 may transmit a video recorded in real time through a camera, and may transmit the state data related to the content executed in the viewer terminal 12 receiving the video with streaming along with the streamed video data. have.
그리고 시청자단말(12)은 실시간으로 방송자단말(11)에서 촬영되는 영상을 스트리밍으로 수신할 수 있고, 영상에서 방송자단말(11)의 사용자인 방송자의 제어가 발생된 시점과 동일한 시점에 콘텐츠를 실행시켜 디스플레이시킬 수 있으며 콘텐츠에 대한 사용자입력을 획득할 수 있다.In addition, the viewer terminal 12 may receive a video captured by the broadcaster terminal 11 in real time, and at the same point in time as the control of the broadcaster that is a user of the broadcaster terminal 11 occurs in the video. It can be displayed by executing and the user input for the content can be obtained.
이때, 스트리밍 서비스 시스템(100)에는 복수의 방송자단말(11)과 복수의 시청자단말(12)이 포함될 수 있으나 이하에서는 설명의 편의를 위해 하나의 방송자단말(11)과 시청자단말(12)이 포함되는 것으로 가정하여 설명한다.In this case, the streaming service system 100 may include a plurality of broadcaster terminals 11 and a plurality of viewer terminals 12. Hereinafter, one broadcaster terminal 11 and a viewer terminal 12 for convenience of description. It is assumed that this is included.
한편 스트리밍 장치(20)는 사용자단말(10)과 네트워크(N)를 통해 통신이 가능한 컴퓨팅 장치로 구현될 수 있다. Meanwhile, the streaming device 20 may be implemented as a computing device capable of communicating with the user terminal 10 through a network (N).
이러한 스트리밍 장치(20)는 실시간으로 촬영된 영상을 방송자단말(11)로부터 수신하여 스트리밍으로 시청자단말(12)에 전송하면서, 스트리밍으로 전송되는 영상에서 상태데이터를 함께 변환한 변환된 스트리밍 영상을 시청자단말(12)로 제공하는 방송서버(21)와, 시청자단말(12)로부터의 피드백데이터를 획득하여 처리하는 콘텐츠 처리 서버(22)로 구성될 수 있다. The streaming device 20 receives the captured video in real time from the broadcaster terminal 11 and transmits the streamed video to the viewer terminal 12 in streaming, and converts the converted streaming video together with the state data in the transmitted video stream. The broadcast server 21 may be provided to the viewer terminal 12, and the content processing server 22 may acquire and process feedback data from the viewer terminal 12.
이때 ‘피드백데이터’는 상태데이터에 응답하여 시청자가 입력한 정보를 의미한다. 예를 들어 상태데이터가 선택지 데이터였다면, 선택지 중 시청자가 선택한 정보가 피드백데이터일 수 있다.In this case, 'feedback data' means information input by the viewer in response to the state data. For example, if the state data was option data, the information selected by the viewer among the choices may be feedback data.
이러한 방송서버(21)는 방송자단말(11)로부터 실시간 촬영된 영상을 스트리밍으로 시청자단말(12)로 전송하면서 방송자단말(11)로부터 상태데이터를 획득할 수 있고 획득한 상태데이터를 스트리밍되는 영상 데이터와 함께 송신되도록 변환하여 시청자단말(12)로 제공할 수 있다.The broadcast server 21 may acquire the state data from the broadcaster terminal 11 while streaming the real-time captured image from the broadcaster terminal 11 to the viewer terminal 12 by streaming the streamed state data. The image data may be converted to be transmitted together with the video data and provided to the viewer terminal 12.
한편 콘텐츠 처리 서버(22)는 시청자단말(12)로부터 피드백데이터를 획득할 수 있으며, 콘텐츠 처리 서버(22)는 시청자단말(12)로부터 직접 피드백데이터를 획득하거나, 방송서버(21)를 통해 피드백데이터를 획득할 수 있다. Meanwhile, the content processing server 22 may obtain feedback data from the viewer terminal 12, and the content processing server 22 directly obtains feedback data from the viewer terminal 12 or feeds back through the broadcast server 21. Data can be obtained.
그리고 콘텐츠 처리 서버(22)는 피드백데이터의 획득에 따른 콘텐츠처리정보를 방송자단말(11), 시청자단말(12) 또는 방송서버(21)로 제공할 수 있다. The content processing server 22 may provide the content processing information according to the acquisition of the feedback data to the broadcaster terminal 11, the viewer terminal 12, or the broadcast server 21.
이때 ‘콘텐츠처리정보’는 방송자가 송출한 콘텐츠에 대한 시청자의 피드백데이터를 가공한 정보로서, 예를 들어, 한 명의 시청자가 입력한 피드백데이터를 방송자가 확인할 수 있도록 가공한 정보일 수 있으며, 또는, 복수의 시청자가 입력한 피드백데이터를 방송자가 확인할 수 있도록 가공한 정보일 수 있다. 콘텐츠처리정보는 피드백데이터를 가공한 결과에 따라 기설정된 이벤트를 트리거링하도록 하는 트리거링 정보를 포함할 수도 있다.In this case, the 'content processing information' is information processed by the viewer's feedback data on the content transmitted by the broadcaster, and may be, for example, information processed so that the broadcaster can check the feedback data input by one viewer. The information may be processed to allow a broadcaster to check feedback data input by a plurality of viewers. The content processing information may include triggering information for triggering a predetermined event according to a result of processing the feedback data.
예를 들어 콘텐츠 처리 서버(22)는 획득한 피드백데이터에 따라 시청자별로 어떠한 답을 입력하였는지를 방송자가 확인할 수 있도록 가공할 수 있으며, 또는 예를 들어, 복수의 시청자가 입력한 피드백데이터에 대한 통계를 내어 가장 많은 입력이 있었던 정보를 정렬하여 방송자에게 제공해줄 수 있다. 또한 예를 들어 콘텐츠 처리 서버(22)는 가공한 결과에 따라 기설정된 이벤트가 트리거링되도록 할 수 있는데, 정답을 입력한 시청자에게 보상을 제공하거나, 가장 다수의 시청자가 선택한 정보에 대응되는 이벤트가 실행되도록 하거나, 가장 다수의 시청자가 선택한 정보를 선택한 시청자에 한해 이벤트가 실행되도록 할 수 있다. For example, the content processing server 22 may process so that the broadcaster can determine what type of answer each viewer has input according to the acquired feedback data, or, for example, statistics about feedback data input by a plurality of viewers. You can sort the information that had the most input and provide it to the broadcaster. In addition, for example, the content processing server 22 may cause a predetermined event to be triggered according to the processed result. The content processing server 22 may reward a viewer who inputs a correct answer or an event corresponding to information selected by the most viewers is executed. The event may be executed only for viewers who have selected the information selected by the most viewers.
또한 콘텐츠 처리 서버(22)는 방송자단말(11)의 요청에 따른 데이터를 제공할 수 있으며, 예를 들어, 방송자단말(11)이 시청자단말(12)과의 게임을 진행하고자 한다면 상태데이터에 따라 게임이 진행될 수 있도록 하는 데이터를 시청자단말(12)로 제공하거나 시청자단말(12)에 설치된 게임을 제어할 수 있다.In addition, the content processing server 22 may provide data according to the request of the broadcaster terminal 11, for example, if the broadcaster terminal 11 intends to play a game with the viewer terminal 12, the state data In accordance with the present invention, the data may be provided to the viewer terminal 12 or the game installed in the viewer terminal 12 may be controlled.
예를 들어, 콘텐츠 처리 서버(22)는 방송자가 ‘OX게임’을 실행하고자 할 때 시청자단말(12)에 ‘OX게임’이 설치되어 있지 않은 경우, 시청자단말(12)은 추가적으로 상태데이터로부터 게임식별정보를 추출하여 방송자단말(11)의 방송자가 선택한 게임을 설치할 수 있다. 그에 따라 예를 들어, 시청자단말(12)은 상기 게임식별정보를 기초로 콘텐츠 처리 서버(22)로부터 ‘OX게임’을 다운로드 받거나 또는 제 3 의 서버를 통해 ‘OX게임’을 다운로드 받을 수 있다. 그리고 시청자단말(12)은 게임을 실행시킬 수 있고, 실행된 게임에 대한 상태를 방송서버(21)를 통해 방송자단말(11)로부터 수신할 수 있다.For example, when the broadcaster wants to play the 'OX game', the content processing server 22 does not have the 'OX game' installed in the viewer terminal 12, the viewer terminal 12 additionally displays the game from the state data. The identification information may be extracted to install a game selected by the broadcaster terminal 11. Accordingly, for example, the viewer terminal 12 may download the "OX game" from the content processing server 22 or the "OX game" through the third server based on the game identification information. The viewer terminal 12 may execute a game, and may receive a state of the executed game from the broadcaster terminal 11 through the broadcast server 21.
상술된 방송 서버(21) 및 콘텐츠 처리 서버(22)는, 실시예에 따라 하나의 서버로 구현되거나 또는 물리적으로 분리된 서버로 구현되어 네트워크(N)를 통해 통신할 수 있다.The broadcast server 21 and the content processing server 22 described above may be embodied as one server or as physically separated servers to communicate through the network N according to an embodiment.
상술된 방송 서버(21) 및 콘텐츠 처리 서버(22)로 구성되는 스트리밍 장치(20)는 서버-클라이언트 시스템으로 구현될 수 있다. 스트리밍 장치(20)가 서버-클라이언트 시스템으로 구현된다면 시청자 또는 방송자와의 인터랙션을 위한 클라이언트가 상술된 사용자단말(10)에 설치할 수 있으며, 클라이언트가 설치된 전자단말기와 네트워크를 통해 통신이 가능한 컴퓨팅 장치로 서버가 구현될 수 있다.The streaming device 20 composed of the above-described broadcast server 21 and content processing server 22 may be implemented as a server-client system. If the streaming device 20 is implemented as a server-client system, a client for interacting with a viewer or a broadcaster may be installed in the above-described user terminal 10, and the computing device capable of communicating through a network with the electronic terminal where the client is installed. The server can be implemented.
한편 도 2는 일실시예에 따른 스트리밍 장치의 구성을 도시한 도면이다. 도 2를 참조하면, 일 실시예에 따른 스트리밍 장치(20)는, 제어부(210), 통신부(220) 및 메모리(230)를 포함한다.2 is a diagram illustrating a configuration of a streaming apparatus according to an embodiment. Referring to FIG. 2, the streaming apparatus 20 according to an embodiment includes a controller 210, a communication unit 220, and a memory 230.
제어부(210)는 스트리밍 장치(20)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 제어부(210)는 입출력부(미도시)를 통해 수신한 사용자 입력에 대응되는 동작을 수행하도록 스트리밍 장치(20)에 포함된 다른 구성들을 제어할 수 있다.The controller 210 controls the overall operation of the streaming device 20, and may include a processor such as a CPU. The controller 210 may control other components included in the streaming apparatus 20 to perform an operation corresponding to a user input received through an input / output unit (not shown).
예를 들어, 제어부(210)는 메모리(230)에 저장된 프로그램을 실행시키거나, 메모리(230)에 저장된 파일을 읽어오거나, 새로운 파일을 메모리(230)에 저장할 수도 있다.For example, the controller 210 may execute a program stored in the memory 230, read a file stored in the memory 230, or store a new file in the memory 230.
상술된 제어부(210)는 도 3을 참조하여 보다 상세히 후술된다.The controller 210 described above will be described later in more detail with reference to FIG. 3.
한편 통신부(220)는 다른 전자단말기 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(220)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.Meanwhile, the communication unit 220 may perform wired or wireless communication with another electronic terminal or a network. To this end, the communication unit 220 may include a communication module supporting at least one of various wired and wireless communication methods. For example, the communication module may be implemented in the form of a chipset.
통신부(220)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(220)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.Wireless communication supported by the communication unit 220 may be, for example, Wi-Fi (Wireless Fidelity), Wi-Fi Direct, Bluetooth, UWB (Ultra Wide Band), or Near Field Communication (NFC). In addition, the wired communication supported by the communication unit 220 may be, for example, USB or High Definition Multimedia Interface (HDMI).
이러한 통신부(220)는 스트리밍 영상을 전달하거나 획득할 수 있으며, 상태데이터를 포함하는 스트리밍 영상을 획득하거나, 변환된 상태데이터를 포함하는 스트리밍 영상을 전달할 수 있다.The communication unit 220 may transfer or acquire a streaming image, obtain a streaming image including the state data, or deliver a streaming image including the converted state data.
한편 메모리(230)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 제어부(210)는 메모리(230)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(230)에 저장할 수도 있다. 또한, 제어부(210)는 메모리(230)에 설치된 프로그램을 실행할 수도 있다. 메모리(230)에는 스트리밍 방법을 수행하기 위한 프로그램이 설치될 수 있다.Meanwhile, various types of data such as files, applications, and programs may be installed and stored in the memory 230. The controller 210 may access and use data stored in the memory 230 or store new data in the memory 230. In addition, the controller 210 may execute a program installed in the memory 230. A program for performing a streaming method may be installed in the memory 230.
추가적으로, 스트리밍 장치(20)는 입출력부(미도시)를 포함할 수 있다.In addition, the streaming device 20 may include an input / output unit (not shown).
입출력부(미도시)는 사용자로부터 입력을 수신하기 위한 입력부와, 작업의 수행 결과 또는 스트리밍 장치(20)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(미도시)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.The input / output unit (not shown) may include an input unit for receiving an input from a user, and an output unit for displaying information such as a result of performing a task or a state of the streaming apparatus 20. For example, the input / output unit (not shown) may include an operation panel for receiving a user input and a display panel for displaying a screen.
구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(미도시)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.In detail, the input unit may include devices capable of receiving various types of user input such as a keyboard, a physical button, a touch screen, a camera, or a microphone. In addition, the output unit may include a display panel or a speaker. However, the present invention is not limited thereto, and the input / output unit (not shown) may include a configuration supporting various input / output.
일 실시예에 따르면, 입출력부(미도시)를 통해 스트리밍 영상과 함께 상태데이터를 입력받으면, 제어부(210)는 메모리(230)에 저장된 프로그램을 실행시켜 스트리밍 방법을 수행한다. According to an embodiment, when the state data is received together with the streaming image through the input / output unit (not shown), the controller 210 executes a program stored in the memory 230 to perform a streaming method.
반면 도 3은 일실시예에 따른 제어부(210)의 구성을 도시한 도면이다.3 is a diagram illustrating a configuration of the controller 210 according to an embodiment.
도 3에 도시된 바와 같이 제어부(210)는 영상처리부(310), 상태변환부(320) 및 피드백처리부(330)를 포함한다.As shown in FIG. 3, the controller 210 includes an image processor 310, a state converter 320, and a feedback processor 330.
영상처리부(310)는 카메라 등의 입출력부를 통해 실시간으로 촬영되는 영상을 실시간으로 스트리밍되도록 한다.The image processor 310 allows the image captured in real time to be streamed in real time through an input / output unit such as a camera.
영상처리부(310)는 영상을 송출하는 방송자단말로부터 방송을 수신하여 시청하도록 하는 시청자단말에게 전달하며, 방송자단말의 영상의 송출 시점과 시청자단말의 영상 수신 시점 간의 지연이 최소화될 수 있도록 실시간으로 영상을 스트리밍할 수 있다.The image processor 310 receives the broadcast from the broadcaster terminal that transmits the image, and delivers the broadcast to the viewer terminal for viewing the broadcast. The image processing unit 310 provides a real time delay to minimize the delay time between the broadcaster terminal's image transmission time and the viewer terminal image reception time. You can stream the video.
상태변환부(220)는 영상과 함께 상태데이터를 획득하고, 상태데이터를 변환한다.The state conversion unit 220 obtains state data together with the image, and converts the state data.
이때 상태변환부(220)는 스트리밍 영상과 함께 상태데이터를 획득하기에 스트리밍 영상을 획득하는 포맷에 기초하여 상태데이터를 획득할 수 있다. 예를 들어 상태데이터는 영상신호와 함께 실려 획득 가능하기에 영상 포맷과 동일한 포맷을 가질 수 있다.In this case, the state converter 220 may acquire the state data based on a format for obtaining the streaming image in order to obtain the state data together with the streaming image. For example, the state data may have the same format as the video format because the state data may be acquired along with the video signal.
또한 상태변환부(220)는 스트리밍 영상으로부터 상태데이터를 추출할 수 있다. 예를 들어 획득한 영상데이터에는 방송자가 송출한 영상데이터는 물론, 상태데이터가 포함되어 있을 수 있으며, 이에 스트리밍 영상으로부터 상태데이터를 추출할 수 있다.In addition, the state converter 220 may extract the state data from the streaming video. For example, the acquired image data may include the state data as well as the image data transmitted by the broadcaster, and thus the state data may be extracted from the streaming image.
추출한 상태데이터를, 상태변환부(220)는 시청자단말로 전달하기 위해 변환할 수 있다.The state conversion unit 220 may convert the extracted state data to be delivered to the viewer terminal.
또한 상태변환부(220)는 상태데이터를 포함하는 스트리밍 영상 그 자체를 변환할 수 있다. 즉 상태변환부(220)는 상태데이터와 함께 획득한 영상에서 상태데이터를 추출하지 않은 상태로, 영상 그대로를 변환함으로써 상태데이터가 변환된 스트리밍 영상을 생성할 수 있다.In addition, the state conversion unit 220 may convert the streaming video itself including the state data. That is, the state conversion unit 220 may generate a streaming video in which the state data is converted by converting the image as it is without extracting the state data from the image acquired with the state data.
변환 시, 상태전환부(220)는 스트리밍 영상을 시청하는 시청자단말에서 상기 영상을 시청가능하도록 지원하는 포맷에 따라 상태데이터를 변환할 수 있다. 이에 시청자가 스트리밍 영상을 수신할 때, 변환된 상태데이터가 스트리밍 영상에 실려 수신될 수 있으며, 스트리밍 영상과 동기화된 시점에 상태데이터를 획득할 수 있다.At the time of conversion, the state switching unit 220 may convert the state data according to a format for supporting the video to be viewed by the viewer terminal viewing the streaming video. Accordingly, when the viewer receives the streaming video, the converted state data may be received in the streaming video, and the state data may be obtained at the time when the streaming video is synchronized with the streaming video.
한편 일실시예에 따르면 상태변환부(220)는 상태데이터에 따라 방송자가 진행하고자 하는 이벤트에 관한 정보를 획득할 수 있으며, 이벤트가 트리거링되도록 하는 조건을 피드백처리부(230)로 하여금 설정할 수 있다.Meanwhile, according to an exemplary embodiment, the state conversion unit 220 may obtain information about an event which the broadcaster wants to proceed according to the state data, and may set the condition for causing the event to be triggered by the feedback processor 230.
예를 들어 방송자가 ‘설문조사’를 시작하는 경우 상태변환부(220)는 ‘설문조사’ 큐사인의 상태데이터 또는 식별정보의 상태데이터를 획득함에 따라 ‘설문조사’ 결과에 따른 이벤트가 트리거링되도록 피드백처리부(230)로 하여금 이벤트 식별조건, 트리거링 조건 등을 설정하도록 할 수 있다.For example, when the broadcaster starts the 'survey', the state conversion unit 220 acquires the state data of the 'survey' cue sign or the state data of the identification information so that an event according to the 'survey' result is triggered. The feedback processor 230 may set an event identification condition, a triggering condition, and the like.
피드백처리부(230)는 시청자로부터 상태데이터에 대한 응답으로 피드백데이터를 획득한다. The feedback processor 230 obtains feedback data in response to the status data from the viewer.
또한 피드백처리부(230)는 피드백데이터를 가공하여 콘텐츠처리정보를 생성하며 콘텐츠처리정보를 방송자단말(11)로 제공하거나, 콘텐츠처리정보에 대응되는 트리거링 정보에 따라 이벤트가 실행될 수 있도록 한다.In addition, the feedback processor 230 may process the feedback data to generate content processing information and provide the content processing information to the broadcaster terminal 11 or to execute an event according to triggering information corresponding to the content processing information.
피드백처리부(230)는 기설정된 이벤트를 트리거링하도록 하는 조건을 저장할 수 있으며 피드백데이터를 가공한 결과 트리거링 정보를 획득하면 해당 이벤트가 실행되도록 할 수 있다.The feedback processor 230 may store a condition for triggering a predetermined event. When the feedback data is acquired as a result of processing the feedback data, the feedback event may be executed.
예를 들어 피드백처리부(230)는 정답을 입력한 시청자에게 보상을 제공하거나, 다수의 시청자가 입력한 선택지에 대응되는 URL 또는 쿠폰 등을 시청자에게 제공해줄 수 있다.For example, the feedback processor 230 may provide a reward to the viewer who inputs the correct answer, or may provide the viewer with a URL or a coupon corresponding to a selection input by a plurality of viewers.
한편 제어부(210)는 상태전송부(미도시) 및 상태수신부(미도시)를 더 포함할 수 있다.The controller 210 may further include a state transmitter (not shown) and a state receiver (not shown).
상태전송부(미도시)는 방송자단말(11)에 의해 촬영되어 생성된 영상에 상태데이터를 삽입하여 함께 송출되도록 할 수 있다. The state transmitter (not shown) may insert the state data into the image photographed and generated by the broadcaster terminal 11 to be transmitted together.
반면 상태수신부(미도시)는 변환된 상태데이터가 포함된 영상을 수신하면, 영상으로부터 상태데이터를 추출하고 추출된 상태데이터에 대응되는 인터페이스를 제공할 수 있다.On the other hand, when the state receiver (not shown) receives the image including the converted state data, the state receiver may extract the state data from the image and provide an interface corresponding to the extracted state data.
이때 인터페이스는 시청자와의 인터랙션이 가능한 것으로서 상태데이터에 따른 콘텐츠(예를 들어 게임 등의 UI, 텍스트, 이미지, 동영상 등)을 제공하고 상기 콘텐츠에 대한 시청자의 피드백을 입력받도록 구현될 수 있다. 이러한 인터페이스는 예를 들어, 웹뷰로 구현되거나, 애플리케이션의 일 페이지로 구현되거나, 시청하고 있는 영상 위에 표시되는 레이어로 구현될 수 있으나 상술된 예에 제한되는 것은 아니다.In this case, the interface is capable of interacting with the viewer, and may be implemented to provide content (for example, a UI, text, an image, a video, etc.) according to state data, and receive feedback from the viewer regarding the content. Such an interface may be implemented as, for example, a web view, a page of an application, or a layer displayed on an image being viewed, but is not limited to the above-described example.
상술된 바에 따른 인터페이스를 통해 획득된 정보는 피드백데이터로서 피드백처리부(330)로 제공될 수 있다.The information obtained through the interface as described above may be provided to the feedback processor 330 as feedback data.
상술된 바와 같이 스트리밍 장치(20)의 각 구성은 스트리밍 서비스 시스템(100)을 구성하는 요소 상에서 구현될 수 있다.As described above, each configuration of the streaming device 20 may be implemented on elements constituting the streaming service system 100.
일실시예에 따르면 스트리밍 장치(20)의 구성은 방송서버(21) 및 콘텐츠 처리 서버(22) 상에서 구현될 수 있다.According to an embodiment, the configuration of the streaming device 20 may be implemented on the broadcast server 21 and the content processing server 22.
예를 들어, 제어부(210), 통신부(220) 및 메모리(230)는 방송서버(21) 및 콘텐츠 처리 서버(22) 상에 구현되나, 제어부(210) 중 영상처리부(310) 및 상태변환부(320)는 방송서버(21) 상에, 피드백처리부(330)는 콘텐츠 처리 서버(22) 상에 구현될 수 있다.For example, the control unit 210, the communication unit 220, and the memory 230 are implemented on the broadcast server 21 and the content processing server 22, but the image processing unit 310 and the state conversion unit of the control unit 210 are provided. 320 may be implemented on the broadcast server 21 and the feedback processor 330 may be implemented on the content processing server 22.
또 다른 실시예에 따르면 스트리밍 장치(20)의 구성은 방송자단말(11), 시청자단말(12), 방송서버(21) 및 콘텐츠 처리 서버(22) 상에서 구현될 수 있다.According to another embodiment, the configuration of the streaming device 20 may be implemented on the broadcaster terminal 11, the viewer terminal 12, the broadcast server 21, and the content processing server 22.
예를 들어, 입출력부(미도시), 제어부(210), 통신부(220) 및 메모리(230)는 방송서버(21) 및 콘텐츠 처리 서버(22) 상에 걸쳐 구현되나, 입출력부(미도시)는 방송자단말(11) 및 시청자단말(12) 상에 걸쳐 구현될 수 있다. 또한 제어부(210) 중 영상처리부(310) 및 상태변환부(320)는 방송서버(21) 상에, 피드백처리부(330)는 콘텐츠 처리 서버(22) 상에 구현될 수 있으며, 제어부(210) 중 상태전송부(미도시)는 방송자단말(11) 상에 구현되고 상태수신부(미도시)는 시청자단말(12) 상에 구현될 수 있다.For example, the input / output unit (not shown), the control unit 210, the communication unit 220 and the memory 230 are implemented on the broadcast server 21 and the content processing server 22, but the input and output unit (not shown) May be implemented over the broadcaster terminal 11 and the viewer terminal 12. In addition, the image processing unit 310 and the state conversion unit 320 of the control unit 210 may be implemented on the broadcast server 21, the feedback processing unit 330 on the content processing server 22, the control unit 210 The state transmitter (not shown) may be implemented on the broadcaster terminal 11 and the state receiver (not shown) may be implemented on the viewer terminal 12.
도 4 내지 도 5는 일 실시예에 따른 스트리밍 방법을 설명하기 위한 순서도이다. 4 through 5 are flowcharts for describing a streaming method, according to an exemplary embodiment.
도 4에 도시된 실시예에 따른 스트리밍 방법은 도 1 내지 도 3에 도시된 스트리밍 장치(20)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 3에 도시된 스트리밍 장치(20)에 관하여 이상에서 기술한 내용은 도 4에 도시된 실시예에 따른 스트리밍 방법에도 적용될 수 있다.The streaming method according to the embodiment shown in FIG. 4 includes steps that are processed in time series in the streaming device 20 shown in FIGS. 1 to 3. Therefore, even if omitted below, the above descriptions of the streaming device 20 shown in FIGS. 1 to 3 may be applied to the streaming method according to the embodiment shown in FIG. 4.
도 4를 참조하면 스트리밍 장치(20)는 스트리밍 영상을 획득할 수 있다 (S410).Referring to FIG. 4, the streaming apparatus 20 may acquire a streaming image (S410).
이때 스트리밍 장치(20)는 획득한 스트리밍 영상에 상태데이터가 포함되어 있지 않다면 스트리밍 영상을 시청자에게 제공하고(S430), 종료할 수 있다.In this case, if the streaming data 20 does not include the state data in the obtained streaming video, the streaming device 20 may provide the streaming video to the viewer (S430), and may end.
반면 스트리밍 장치(20)가 상태데이터가 포함된 스트리밍 영상을 획득할 수 있다 (S420). On the other hand, the streaming device 20 may obtain a streaming video including the state data (S420).
이때 스트리밍 장치(20)는 스트리밍 영상을 획득하는 포맷에 기초하여 상태데이터를 획득할 수 있다. 또한 스트리밍 장치(20)는 스트리밍 영상으로부터 상태데이터를 추출함으로써 상기 상태데이터를 획득할 수 있다.In this case, the streaming device 20 may acquire the state data based on a format for obtaining the streaming video. In addition, the streaming device 20 may obtain the state data by extracting the state data from the streaming video.
이와 같이 획득한 스트리밍 영상에 상태데이터가 포함되어 있으면 스트리밍 장치(20)는 상태데이터가 변환된 스트리밍 영상을 생성하여(S440), 변환된 상태데이터를 포함하는 스트리밍 영상을 시청자에게 제공할 수 있다 (S450). When the streaming data obtained as described above includes the state data, the streaming device 20 may generate a streaming image in which the state data is converted (S440), and provide the viewer with a streaming image including the converted state data (S440). S450).
이때 스트리밍 장치(20)는 스트리밍 영상과 함께 획득된 상태데이터를, 상기 스트리밍 영상을 시청자에게 제공하기 위한 포맷과 동일한 포맷으로 변환하여 제공할 수 있다. In this case, the streaming device 20 may convert the state data obtained together with the streaming video, and convert the state data into the same format as that for providing the streaming video to the viewer.
한편 이하에서는 도 5를 참조하여 일실시예에 따른 스트리밍 방법을 설명한다. 이때, 도 4에서의 단계와 동일한 도면부호를 갖는 단계는 도 4에서의 단계와 그 동작이 동일하므로 설명을 생략한다.Meanwhile, the streaming method according to an embodiment will be described with reference to FIG. 5. At this time, the steps having the same reference numerals as those in FIG. 4 are identical to those in FIG. 4, and thus description thereof will be omitted.
도 5에서 도시된 바와 같이 스트리밍 장치(20)는 변환된 상태데이터를 포함하는 스트리밍 영상을 시청자에게 제공한 것(S450)에 대한 응답으로, 피드백데이터를 획득할 수 있다 (S510).As illustrated in FIG. 5, the streaming apparatus 20 may obtain feedback data in response to providing the viewer with a streaming image including the converted state data (S450) (S510).
이때 스트리밍 장치(20)는 시청자의 입력을 피드백데이터로서 획득할 수 있다. 시청자 입력이 없다면 스트리밍 장치(20)는 피드백데이터를 획득하지 않은 것으로 처리할 수 있다. 또는, 시청자 입력이 없다면 스트리밍 장치(20)는 예를 들어, 퀴즈 게임인 경우 오답을 입력한 것으로 처리하거나, 소정의 값을 입력한 것으로 처리하여 해당 오답 또는 소정의 값을 피드백데이터로서 획득할 수 있다. In this case, the streaming device 20 may obtain a viewer input as feedback data. If there is no viewer input, the streaming device 20 may process that the feedback data has not been obtained. Alternatively, if there is no viewer input, the streaming device 20 may process, for example, inputting an incorrect answer in the case of a quiz game, or input a predetermined value to obtain the incorrect answer or the predetermined value as feedback data. have.
그리고 스트리밍 장치(20)는 피드백데이터를 가공하여 처리된 콘텐츠처리정보를 방송자 또는 시청자에게 제공하거나, 콘텐츠처리정보에 대응되는 이벤트가 트리거링되도록 할 수 있다.The streaming device 20 may process the feedback data to provide the processed content processing information to the broadcaster or the viewer, or to trigger an event corresponding to the content processing information.
도 6 내지 도 8은 일 실시예에 따른 스트리밍 방법을 설명하기 위한 예시도이다.6 to 8 are exemplary diagrams for describing a streaming method according to an embodiment.
우선, 방송서버(21)는 방송자단말(11)에서 실시간으로 촬영된 영상을 스트리밍으로 방송자단말(11)로부터 수신할 수 있으며, 수신되는 영상 데이터를 시청자단말(12)로 전송할 수 있다. First, the broadcast server 21 may receive an image captured in real time by the broadcaster terminal 11 from the broadcaster terminal 11 by streaming, and may transmit the received image data to the viewer terminal 12.
이때 방송자단말(11)은 실시간으로 방송용 영상을 촬영하여 방송서버(21)를 통해 시청자단말(12)로 전송하면서 시청자와 게임을 플레이하고자 하는 경우, 시청자단말(12)과 함께 플레이할 수 있는 게임 리스트를 제공받을 수 있고, 리스트 중 어느 하나의 게임을 선택할 수 있다. At this time, the broadcaster terminal 11 can record the broadcast video in real time and transmit it to the viewer terminal 12 through the broadcast server 21 while playing the game with the viewer. The game list may be provided, and one of the games may be selected.
즉, 방송자단말(11)의 방송자는 시청자단말(12)의 시청자와 함께 퀴즈 게임을 진행하고자 하면 퀴즈 게임이 시작되도록 할 수 있다. 예를 들어, 방송자가 퀴즈 쇼를 라이브로 진행하고자 할 수 있으며, 소정의 개수 이상의 문제를 다 맞춘 시청자에게 상금을 주고자 할 수 있다.That is, the broadcaster of the broadcaster terminal 11 can start the quiz game if you want to proceed with the quiz game with the viewer of the viewer terminal 12. For example, a broadcaster may want to run a quiz show live, and may want to give a prize to a viewer who has solved a predetermined number or more of problems.
이후, 방송자단말(11)은 퀴즈에 관한 상태데이터를 스트리밍되는 영상 데이터와 함께 방송서버(21)로 송신할 수 있다(S610). Thereafter, the broadcaster terminal 11 may transmit the state data regarding the quiz to the broadcast server 21 along with the streamed video data (S610).
예를 들어, 방송자단말(11)은 방송 중 사용자가 선택하여 실행한 ‘OX게임’의 게임식별정보, 게임의 시작신호인 시작정보 등을 포함하는 상태데이터를 스트리밍되는 영상데이터와 함께 송신할 수 있다. For example, the broadcaster terminal 11 may transmit the state data including the game identification information of the 'OX game' selected by the user during the broadcast and the start information which is the start signal of the game together with the streamed video data. Can be.
따라서 방송자단말(11)에서 게임 진행과 관한 상태가 변경되었을 경우 (예: OX 게임 시작, OX 게임 출제, 정답 발표 등) 이에 대한 상태데이터가 영상 및 음성과 함께 방송서버(21)로 전송될 수 있다.Therefore, when the state of the game progress in the broadcaster terminal 11 is changed (for example, OX game start, OX game question, correct answer announcement, etc.), the status data for this is transmitted to the broadcast server 21 together with the video and audio. Can be.
이때, 일실시예에 따르면 상태데이터는 스트리밍 되는 영상데이터와 함께 송신되는 텍스트 정보와 동일한 방식으로 송신될 수 있다. In this case, according to an embodiment, the state data may be transmitted in the same manner as the text information transmitted together with the streamed video data.
그리고 방송서버(21)는 방송자단말(11)로부터 수신되는 영상 데이터를 시청자단말(12)로 스트리밍하면서 방송자단말(11)에서 생성된 상태데이터를 함께 제공할 수 있다 (S620). In addition, the broadcast server 21 may provide the state data generated by the broadcaster terminal 11 while streaming the video data received from the broadcaster terminal 11 to the viewer terminal 12 (S620).
예를 들어, 방송서버(11)는 송출 프로토콜에 맞게 전달받은 게임의 상태데이터를 수신 프로토콜에 맞춰 변환할 수 있다. 가령 방송서버(11)가 RTMP 프로토콜을 이용하여 방송을 송출하고 HLS 프로토콜을 이용하여 방송을 수신할 경우, 송출하는 측에서 전달받은 데이터는 AMF 포맷으로 되어있는데, 이를 HLS 프로토콜에 맞도록 ID3 메타데이터 포맷으로 변환할 수 있다.For example, the broadcast server 11 may convert the state data of the game received according to the transmission protocol according to the reception protocol. For example, when the broadcasting server 11 transmits a broadcast using the RTMP protocol and receives a broadcast using the HLS protocol, the data transmitted from the transmitting side is in AMF format. Can convert to format
이후, 시청자단말(12)은 방송서버(21)로부터 스트리밍되는 영상데이터와 함께 수신되는 데이터 내에서 상태데이터를 식별할 수 있고, 상태데이터에 대응되는 타임스탬프의 영상이 시청자단말(12) 상에서 표시되는 시점에 상태데이터에 대응되는 이벤트를 트리거링할 수 있다. Thereafter, the viewer terminal 12 may identify the state data in the data received together with the image data streamed from the broadcast server 21, and the image of the time stamp corresponding to the state data is displayed on the viewer terminal 12. At this point, an event corresponding to the state data may be triggered.
예를 들어, 시청자단말(12)은 영상과 함께 들어온 게임의 상태데이터를 분석하여 게임의 상태를 분석할 수 있다. 따라서 시청자단말(12)은 방송자단말(11)에서 촬영되어 방송되는 영상을 스트리밍으로 수신하여 재생할 수 있으며, 상태데이터를 기초로 영상에서 방송자단말(11)의 방송자가 ‘OX게임’을 실행할 때의 영상 시점과 동기화되어 ‘OX게임’을 실행할 수 있다. 시청자단말(12) 상에는 ‘OX 게임’에서의 정답을 입력하기 위한 인터페이스가 제공될 수 있다. For example, the viewer terminal 12 may analyze the state of the game by analyzing the state data of the game entered with the image. Accordingly, the viewer terminal 12 may receive and reproduce the image captured and broadcast by the broadcaster terminal 11 by streaming, and the broadcaster of the broadcaster terminal 11 executes the 'OX game' in the video based on the state data. You can play 'OX Game' in synchronization with the visual point of time. The viewer terminal 12 may be provided with an interface for inputting a correct answer in the "OX game".
관련하여 도 7은 시청자단말(12)로 구현되는 전자단말기의 화면을 통해 나타나는 화면의 일예를 설명하기 위한 도면이다. 7 is a view for explaining an example of a screen displayed through the screen of the electronic terminal implemented by the viewer terminal 12.
도 7에서 도시된 바와 같이, 방송자가 문제를 출제한 후 답을 입력할 수 있도록 하는 소정의 기간 동안, 시청자가 자신이 생각하는 답을 입력할 수 있는 인터페이스(700)를 띄울 수 있다.As illustrated in FIG. 7, during a predetermined period of time during which a broadcaster can enter an answer after asking a question, an interface 700 may be displayed in which the viewer can enter an answer that he or she thinks.
그리고 시청자단말(12)은 방송자단말(11)에 의해 제어된 게임에 대한 사용자입력을 획득할 수 있고, 획득된 사용자입력을 피드백데이터로서 콘텐츠 처리 서버(22)로 전송할 수 있다 (S630). The viewer terminal 12 may obtain a user input for the game controlled by the broadcaster terminal 11, and transmit the obtained user input to the content processing server 22 as feedback data (S630).
예를 들어, 시청자단말(12)은 사용자에게 제공된OX 문제에 대한 답을 사용자로부터 입력받을 수 있고, 입력 값을 콘텐츠 처리 서버(22)로 전송할 수 있다. For example, the viewer terminal 12 may receive input from the user in response to the OX problem provided to the user, and transmit the input value to the content processing server 22.
이후, 콘텐츠 처리 서버(22)는 시청자단말(12)로부터 수신된 사용자입력에 따른 결과를 방송자단말(11)로 제공할 수 있다 (S640).Thereafter, the content processing server 22 may provide a result of the user input received from the viewer terminal 12 to the broadcaster terminal 11 (S640).
따라서 예를 들어 시청자단말(12)에서 정답을 입력한 경우 기존의 소켓 통신 등을 이용하여 즉각적으로 방송자단말(11)이 시청자가 입력한 정보를 알 수 있다.Therefore, for example, when the correct answer is input in the viewer terminal 12, the broadcaster terminal 11 can immediately know the information input by the viewer using existing socket communication.
일실시예에 따르면 콘텐츠 처리 서버(22)는 시청자단말(12)로부터 수신된 사용자입력을 방송자단말(11) 또는 방송서버(21) 중 적어도 하나로 전송하여 사용자입력에 대한 이벤트가 트리거링되도록 할 수 있다. According to an embodiment, the content processing server 22 may transmit a user input received from the viewer terminal 12 to at least one of the broadcaster terminal 11 or the broadcast server 21 to trigger an event for the user input. have.
또 다른 실시예에 따르면 콘텐츠 처리 서버(22)는 시청자단말(12)로부터 수신된 사용자입력을 가공하여 사용자입력에 대한 이벤트가 트리거링되도록 할 수 있으며, 이벤트 트리거링 결과를 방송자단말(11)로 제공할 수 있다.According to another embodiment, the content processing server 22 may process the user input received from the viewer terminal 12 to trigger an event for the user input, and provide the event triggering result to the broadcaster terminal 11. can do.
이를 위해 콘텐츠 처리 서버(22) 또는 방송서버(21)는 방송자의 출제 의도에 맞는 정답을 저장하거나, 입력한 답변에 따라 트리거링될 이벤트에 관한 정보를 저장할 수 있다.To this end, the content processing server 22 or the broadcasting server 21 may store the correct answer that matches the intention of the broadcaster, or may store information about an event to be triggered according to the input answer.
예를 들어, 콘텐츠 처리 서버(22)가 시청자단말(12)로부터 수신된 답변을 방송서버(21)로 전송하면, 방송서버(21)는 사용자가 입력한 답변이 맞는지 여부를 판단하여, 방송자단말(11) 및/또는 시청자단말(12)로 제공할 수 있다. 그리고 콘텐츠 처리 서버(22)는 사용자의 입력 답변에 따른 이벤트를 트리거링할 수 있다. For example, when the content processing server 22 transmits an answer received from the viewer terminal 12 to the broadcast server 21, the broadcast server 21 determines whether the answer input by the user is correct, and thus the broadcaster. The terminal 11 and / or the viewer terminal 12 may be provided. In addition, the content processing server 22 may trigger an event according to a user's input response.
또는 예를 들어 콘텐츠 처리 서버(220)는 시청자단말(12)로부터 수신된 답변을 처리하여 이벤트를 트리거링하고 트리거링된 결과를 방송자단말(11) 및/또는 시청자단말(12)로 제공할 수 있다.Alternatively, for example, the content processing server 220 may process an answer received from the viewer terminal 12 to trigger an event and provide the triggered result to the broadcaster terminal 11 and / or the viewer terminal 12. .
또는 예를 들어, 콘텐츠 처리 서버(22)가 시청자단말(12)로부터 수신된 답변을 방송자단말(11)로 전송하면, 방송자단말(11)에서 방송자가 상기 답변의 정답 여부를 판단할 수 있다. 그리고 콘텐츠 처리 서버(22)는 방송자의 판단 결과에 따라 사용자의 입력 답변에 따른 이벤트를 트리거링할 수 있다.For example, when the content processing server 22 transmits an answer received from the viewer terminal 12 to the broadcaster terminal 11, the broadcaster terminal 11 may determine whether the answer is correct. have. In addition, the content processing server 22 may trigger an event according to a user's input response according to a determination result of the broadcaster.
또는 예를 들어, 콘텐츠 처리 서버(22)가 복수의 시청자단말(12)로부터 답변을 수신하면 답변을 그루핑하고 정렬하여 가장 많이 입력된 답변을 방송자단말(11)로 제공하거나, 상기 답변에 대응되는 이벤트를 트리거링할 수 있다. Or, for example, when the content processing server 22 receives an answer from the plurality of viewer terminals 12, the content is grouped and sorted to provide the most inputted answer to the broadcaster terminal 11, or corresponding to the answer. Can trigger the event.
또한 콘텐츠 처리 서버(22)는 사용자의 입력에 따른 콘텐츠처리정보를 시청자단말(12)로 제공할 수 있다. In addition, the content processing server 22 may provide content processing information according to a user input to the viewer terminal 12.
예를 들어, 시청자단말(12)은 응답정보를 기초로 OX퀴드에 대한 사용자의 정답 여부를 표시하는 화면을 표시할 수 있다.For example, the viewer terminal 12 may display a screen displaying whether the user answers the OX Quid based on the response information.
예를 들어 콘텐츠 처리 서버(22)는 사용자의 입력에 따라 사용자가 쿠폰을 수령할 수 있다면 시청자단말(12)로 쿠폰을 제공할 수 있다.For example, the content processing server 22 may provide the coupon to the viewer terminal 12 if the user can receive the coupon according to the user's input.
관련하여 도 8은 시청자단말(12)로 구현되는 전자단말기의 화면을 통해 나타나는 화면의 일예를 설명하기 위한 도면이다.8 is a diagram illustrating an example of a screen displayed through a screen of an electronic terminal implemented by the viewer terminal 12.
도 8에서 도시된 바와 같이, 답을 입력한 시청자가 정답을 맞힌 경우 그 보상으로 쿠폰(800)이 제공될 수 있다.As illustrated in FIG. 8, when the viewer who inputs the answer is correct, the coupon 800 may be provided as a reward.
종래 기술에 따르면 ‘OX게임’을 방송자가 진행하고자 한다면, 방송자가 '이번 OX 퀴즈의 정답은 X입니다'라고 언급한 뒤 X가 정답처리 되도록 설정하더라도, 시청자 입장에서는 영상의 지연시간으로 인해 상태데이터를 먼저 조회하고 영상을 보게 되는 경우가 대다수임에 반해, 본 명세서에서 개시하고 있는 실시예에 따르면 시청자가 상태데이터와 영상을 같은 시점에 전달받게 되므로 위와 같은 비동기 방식으로 인한 문제가 발생하지 않게 된다.According to the prior art, if the broadcaster wants to proceed with the 'OX game', even if the broadcaster mentions that the correct answer for the OX quiz is X and then X is set to be correctly processed, the viewer is in a state data due to the delay time of the video. In most cases, the first inquiry and the video are viewed, but according to the embodiment disclosed in the present specification, since the viewer receives the state data and the video at the same time, the problem caused by the asynchronous method does not occur. .
따라서 본 명세서에 기재된 일실시예에 따르면, 방송자가 시청자와 함께 진행하고자 하는 콘텐츠가, OX퀴즈, 객관식퀴즈, 낱말맞추기, 설문조사, 룰렛 등의 게임인 경우, 게임의 시작, 종료를 방송자와 시청자 간에 동기화시킬 수 있고, 방송자의 게임 진행 상황과 시청자가 보는 영상을 동기화시킬 수 있고, 게임에 대해 시청자가 반응한 결과에 따라 게임에 대한 보상을 시청자에게 제공할 수 있다.Therefore, according to one embodiment described in the present specification, when the content that the broadcaster wants to proceed with the viewer is a game such as OX quiz, multiple choice quiz, word matching, survey, roulette, etc. It can synchronize between viewers, synchronize the broadcaster's game progress with the image viewed by the viewer, and provide the viewer with a reward for the game according to the results of the viewer's reaction to the game.
또한 본 명세서에 기재된 일실시예에 따르면 방송자가 시청자와 함께 진행하고자 하는 콘텐츠가 커머스 광고로서, 라이브 스트리밍 중 할인을 원하는 물건을 설문/투표 등을 통해 할인쿠폰을 즉시 지급하는 콘텐츠인 경우, 커머스 광고에 대한 복수의 시청자의 반응을 수집하여 방송자에게 그 결과를 알려주고, 그 결과에 따라 할인쿠폰을 시청자 중 적어도 일부에게 지급하는 이벤트를 실행시킬 수 있으며, 이는 방송자가 진행하는 영상과 동기화될 수 있다. In addition, according to an embodiment described in the present specification, when the broadcaster wants to proceed with the viewers as a commerce advertisement, and the content that pays a discount coupon immediately through a questionnaire / voting or the like for a product to be discounted during live streaming, the commerce advertisement Collecting a plurality of viewers' response to the broadcaster to inform the broadcaster of the results, according to the result can be executed an event that pays at least some of the viewers discount coupons, which can be synchronized with the video progressed by the broadcaster .
또한 본 명세서에 기재된 일실시예에 따르면 방송자가 시청자와 함께 진행하고자 하는 콘텐츠로서, 라이브 스트리밍 중 설문/투표에 따라 시청자들에게 다수 선택된 정보가 존재하고 방송에 출연하는 방송자가 선택된 정보에 따라 방송을 진행하도록 하는 콘텐츠인 경우, 방송에 대한 복수의 시청자의 반응을 수집하여 방송자에게 그 결과를 알려주고, 결과가 조건이 되는 이벤트가 존재한다면 해당 이벤트를 트리거링시킬 수 있다. In addition, according to one embodiment described herein as a content that the broadcaster wants to proceed with the viewer, there is a large number of information selected by the viewer in accordance with the question / vote during live streaming and the broadcaster who appears in the broadcast proceeds according to the selected information In the case of content to be collected, a plurality of viewers' responses to the broadcast may be collected to inform the broadcaster of the result, and if there is an event whose condition is a condition, the corresponding event may be triggered.
본 명세서에 개시된 스트리밍 방법에 따르면, 상술된 예시에서의 방송자가 송출하는 영상과 시청자가 수신하는 영상이 동기화될 수 있다.According to the streaming method disclosed herein, an image transmitted by the broadcaster and an image received by the viewer in the above-described example may be synchronized.
이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.The term '~' used in the above embodiments refers to software or a hardware component such as a field programmable gate array (FPGA) or an ASIC, and '~' serves a part. However, '~' is not meant to be limited to software or hardware. '~ Portion' may be configured to be in an addressable storage medium or may be configured to play one or more processors. Thus, as an example, '~' means components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, and the like. Subroutines, segments of program patent code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.The functionality provided within the components and 'parts' may be combined into a smaller number of components and 'parts' or separated from additional components and 'parts'.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.In addition, the components and '~' may be implemented to play one or more CPUs in the device or secure multimedia card.
일실시예에 따른 스트리밍 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다. The streaming method according to an embodiment may also be implemented in the form of a computer readable medium for storing instructions and data executable by a computer. In this case, the command and data may be stored in the form of program code, and when executed by the processor, a predetermined program module may be generated to perform a predetermined operation. In addition, computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer readable medium may be a computer recording medium, which is volatile and non-implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Both volatile, removable and non-removable media may be included. For example, computer recording media may be provided via magnetic storage media such as HDDs and SSDs, optical recording media such as CDs, DVDs and Blu-ray discs, or may be accessible via a network. It may be a memory included in the server.
또한 일실시예에 따른 스트리밍 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다. In addition, the streaming method according to an embodiment may be implemented as a computer program (or computer program product) including instructions executable by a computer. The computer program includes programmable machine instructions processed by the processor and may be implemented in a high-level programming language, an object-oriented programming language, an assembly language, or a machine language. . The computer program may also be recorded on tangible computer readable media (eg, memory, hard disks, magnetic / optical media or solid-state drives, etc.).
따라서 일실시예에 따른 스트리밍 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다. Accordingly, the streaming method according to an embodiment may be implemented by executing the computer program as described above by the computing device. The computing device may include at least a portion of a processor, a memory, a storage device, a high speed interface connected to the memory and a high speed expansion port, and a low speed interface connected to the low speed bus and the storage device. Each of these components are connected to each other using a variety of buses and may be mounted on a common motherboard or otherwise mounted in a suitable manner.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다. Here, the processor may process instructions within the computing device, such as to display graphical information for providing a graphical user interface (GUI) on an external input, output device, such as a display connected to a high speed interface. Instructions stored in memory or storage. In other embodiments, multiple processors and / or multiple buses may be used with appropriately multiple memories and memory types. The processor may also be implemented as a chipset consisting of chips comprising a plurality of independent analog and / or digital processors.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다. The memory also stores information within the computing device. In one example, the memory may consist of a volatile memory unit or a collection thereof. As another example, the memory may consist of a nonvolatile memory unit or a collection thereof. The memory may also be another form of computer readable medium, such as a magnetic or optical disk.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다. In addition, the storage device can provide a large amount of storage space to the computing device. The storage device may be a computer readable medium or a configuration including such a medium, and may include, for example, devices or other configurations within a storage area network (SAN), and may include a floppy disk device, a hard disk device, an optical disk device, Or a tape device, flash memory, or similar other semiconductor memory device or device array.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above-described embodiments are for illustrative purposes, and those of ordinary skill in the art to which the above-described embodiments belong may easily change to other specific forms without changing the technical spirit or essential features of the above-described embodiments. I can understand. Therefore, it is to be understood that the above-described embodiments are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.
본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.The scope to be protected by the present specification is represented by the following claims rather than the above description, and should be construed to include all changes or modifications derived from the meaning and scope of the claims and their equivalents. .
Claims (15)
- 실시간으로 영상을 스트리밍하기 위한 스트리밍 장치로서,As a streaming device for streaming video in real time,스트리밍 영상을 획득하는 통신부; 및Communication unit for obtaining a streaming video; And상기 스트리밍 영상과 함께 획득된 상태데이터를 변환하며 변환된 상태데이터를 상기 스트리밍 영상과 함께 제공하고, 상기 상태데이터의 제공에 대한 응답으로 피드백데이터를 획득하는 제어부를 포함하는, 스트리밍 장치.And a controller configured to convert the state data acquired together with the streaming video, to provide the converted state data together with the streaming video, and to obtain feedback data in response to the provision of the state data.
- 제 1 항에 있어서,The method of claim 1,상기 제어부는,The control unit,상기 스트리밍 영상을 획득하는 포맷에 기초하여 상기 상태데이터를 획득하는, 스트리밍 장치.And obtaining the state data based on a format for obtaining the streaming video.
- 제 1 항에 있어서,The method of claim 1,상기 제어부는,The control unit,상기 스트리밍 영상으로부터 상기 상태데이터를 추출함으로써 상기 상태데이터를 획득하는, 스트리밍 장치.And obtaining the state data by extracting the state data from the streaming video.
- 제 1 항에 있어서,The method of claim 1,상기 제어부는,The control unit,상기 스트리밍 영상과 함께 획득된 상태데이터를, 상기 스트리밍 영상을 제공하기 위한 포맷과 동일한 포맷으로 변환하는, 스트리밍 장치. And converting the state data acquired together with the streaming video into the same format as that for providing the streaming video.
- 제 1 항에 있어서,The method of claim 1,상기 상태데이터는,The state data,상기 스트리밍 영상과 동기화되도록 하는 타임스탬프를 포함하는, 스트리밍 장치.Streaming device comprising a time stamp to be synchronized with the streaming video.
- 제 1 항에 있어서,The method of claim 1,상기 제어부는, The control unit,상기 피드백데이터를 처리하여 가공한 콘텐츠처리정보를, 상기 스트리밍 영상의 방송자에게 제공하는, 스트리밍 장치.And the content processing information processed by processing the feedback data is provided to the broadcaster of the streaming video.
- 제 1 항에 있어서,The method of claim 1,상기 제어부는, The control unit,상기 피드백데이터를 처리하여 가공한 콘텐츠처리정보에 기초하여 이벤트를 발생시키는, 스트리밍 장치.And generating an event based on the processed content processing information by processing the feedback data.
- 실시간으로 영상을 스트리밍하기 위한 스트리밍 장치가 상기 영상을 스트리밍하는 방법으로서,A streaming device for streaming an image in real time, the method for streaming the image,스트리밍 영상을 획득하는 단계;Obtaining a streaming video;상기 스트리밍 영상과 함께 획득된 상태데이터를 변환하는 단계; Converting the state data acquired with the streaming video;변환된 상태데이터를 상기 스트리밍 영상과 함께 제공하는 단계; 및 Providing the converted state data together with the streaming video; And상기 상태데이터의 제공에 대한 응답으로 피드백데이터를 획득하는 단계를 포함하는, 스트리밍 방법.Obtaining feedback data in response to the provision of the state data.
- 제 8 항에 있어서,The method of claim 8,상기 스트리밍 영상을 획득하는 단계는,Acquiring the streaming video,상기 스트리밍 영상을 획득하는 포맷에 기초하여 상기 상태데이터를 획득하는 단계를 포함하는, 스트리밍 방법.Obtaining the state data based on a format for acquiring the streaming video.
- 제 8 항에 있어서,The method of claim 8,상기 스트리밍 영상을 획득하는 단계는,Acquiring the streaming video,상기 스트리밍 영상으로부터 상기 상태데이터를 추출함으로써 상기 상태데이터를 획득하는 단계를 포함하는, 스트리밍 방법.And obtaining the state data by extracting the state data from the streaming video.
- 제 8 항에 있어서,The method of claim 8,상기 상태데이터를 변환하는 단계는,Converting the state data,상기 스트리밍 영상과 함께 획득된 상태데이터를, 상기 스트리밍 영상을 제공하기 위한 포맷과 동일한 포맷으로 변환하는 단계를 포함하는, 스트리밍 방법.And converting the state data acquired together with the streaming video into the same format as the format for providing the streaming video.
- 제 8 항에 있어서,The method of claim 8,상기 상태데이터는,The state data,상기 스트리밍 영상과 동기화되도록 하는 타임스탬프를 포함하는, 스트리밍 방법.Streaming method comprising a timestamp to be synchronized with the streaming video.
- 제 8 항에 있어서,The method of claim 8,상기 스트리밍 방법은,The streaming method,상기 피드백데이터를 처리하여 가공한 콘텐츠처리정보를, 상기 스트리밍 영상의 방송자에게 제공하는 단계를 더 포함하는, 스트리밍 방법.And providing content processing information processed by processing the feedback data to a broadcaster of the streaming video.
- 제 8 항에 있어서,The method of claim 8,상기 스트리밍 방법은,The streaming method,상기 피드백데이터를 처리하여 가공한 콘텐츠처리정보에 기초하여 이벤트를 발생시키는 단계를 더 포함하는, 스트리밍 방법.And generating an event based on the processed content processing information by processing the feedback data.
- 제 8 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium having recorded thereon a program for performing the method of claim 8.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20180021878 | 2018-02-23 | ||
KR10-2018-0021878 | 2018-02-23 | ||
KR10-2019-0021788 | 2019-02-25 | ||
KR1020190021788A KR20190101914A (en) | 2018-02-23 | 2019-02-25 | Apparatus and method for streaming video |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019164361A1 true WO2019164361A1 (en) | 2019-08-29 |
Family
ID=67688212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2019/002272 WO2019164361A1 (en) | 2018-02-23 | 2019-02-25 | Streaming device and streaming method |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2019164361A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060099687A (en) * | 2005-03-14 | 2006-09-20 | 삼성전자주식회사 | Device of video-synchronization using time stamp and method thereof |
KR100837720B1 (en) * | 2005-05-26 | 2008-06-13 | 한국전자통신연구원 | Method and Apparatus for synchronizing data service with video service in Digital Multimedia Broadcasting and Executing Method of Data Service |
KR20100063749A (en) * | 2007-08-30 | 2010-06-11 | 실리콘 이미지, 인크.(델라웨어주 법인) | Synchronizing related data streams in interconnection networks |
KR20110002102A (en) * | 2008-04-24 | 2011-01-06 | 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 | Method and apparatus for real-time viewer interaction with a media presentation |
KR101821145B1 (en) * | 2016-09-09 | 2018-01-23 | 주식회사 헤카스 | Video live streaming system |
-
2019
- 2019-02-25 WO PCT/KR2019/002272 patent/WO2019164361A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060099687A (en) * | 2005-03-14 | 2006-09-20 | 삼성전자주식회사 | Device of video-synchronization using time stamp and method thereof |
KR100837720B1 (en) * | 2005-05-26 | 2008-06-13 | 한국전자통신연구원 | Method and Apparatus for synchronizing data service with video service in Digital Multimedia Broadcasting and Executing Method of Data Service |
KR20100063749A (en) * | 2007-08-30 | 2010-06-11 | 실리콘 이미지, 인크.(델라웨어주 법인) | Synchronizing related data streams in interconnection networks |
KR20110002102A (en) * | 2008-04-24 | 2011-01-06 | 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 | Method and apparatus for real-time viewer interaction with a media presentation |
KR101821145B1 (en) * | 2016-09-09 | 2018-01-23 | 주식회사 헤카스 | Video live streaming system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018186592A1 (en) | Electronic device and operating method thereof | |
WO2018080180A1 (en) | System and method for providing augmented reality service associated with broadcasting | |
WO2013015546A2 (en) | Method and system for providing additional information on broadcasting content | |
WO2015099276A1 (en) | Display apparatus, server apparatus, display system including them, and method for providing content thereof | |
WO2015076537A1 (en) | Video-providing method and video-providing system | |
EP3304942A1 (en) | Method and apparatus for sharing application | |
WO2016200018A1 (en) | Method and apparatus for sharing application | |
WO2018131806A1 (en) | Electronic apparatus and method of operating the same | |
WO2018088784A1 (en) | Electronic apparatus and operating method thereof | |
EP2691919A2 (en) | Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device | |
US20090193463A1 (en) | Method and system for sharing information between users in media reproducing system | |
EP3459262A1 (en) | Electronic device and method for rendering 360-degree multimedia content | |
KR20190101914A (en) | Apparatus and method for streaming video | |
WO2014189289A1 (en) | Method for providing associated service and apparatus therefor | |
WO2015041402A1 (en) | Image display apparatus, driving method thereof, and image display method | |
WO2019160275A1 (en) | Electronic device and method for generating summary image of electronic device | |
EP3053342A1 (en) | Image display apparatus, server for synchronizing contents, and method for operating the server | |
WO2020149607A1 (en) | Display apparatus and control method thereof | |
WO2016080585A1 (en) | System and method for providing cloud based user interfaces | |
WO2011056018A2 (en) | Service providing apparatus and method for recommending service thereof | |
WO2019164361A1 (en) | Streaming device and streaming method | |
WO2017026817A1 (en) | Method for providing voice translation information, and customized translation server and system operating same | |
WO2020111744A1 (en) | Electronic device and control method therefor | |
EP3622722A1 (en) | Display apparatus and method for providing content thereof | |
WO2018016760A1 (en) | Electronic device and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19758135 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19758135 Country of ref document: EP Kind code of ref document: A1 |