WO2024004007A1 - 配信中に投稿されたコメントの表示を制御する動画配信 - Google Patents
配信中に投稿されたコメントの表示を制御する動画配信 Download PDFInfo
- Publication number
- WO2024004007A1 WO2024004007A1 PCT/JP2022/025649 JP2022025649W WO2024004007A1 WO 2024004007 A1 WO2024004007 A1 WO 2024004007A1 JP 2022025649 W JP2022025649 W JP 2022025649W WO 2024004007 A1 WO2024004007 A1 WO 2024004007A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- comment
- live video
- unit
- comments
- broadcaster
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 24
- 230000010365 information processing Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
Definitions
- the present disclosure relates to video distribution that controls the display of comments posted during distribution.
- Patent Document 1 discloses a distribution system that appropriately processes posted comments.
- the comments that are displayed superimposed on the video are restricted according to the poster's attribute information, so that the video can be displayed in an easy-to-see manner even when a large number of comments have been posted.
- the present disclosure has been made to solve the above-mentioned problems, and aims to provide video distribution that controls the display of comments posted during distribution.
- the server device includes: comprising one or more processors; by at least one of the one or more processors, A live video provided by a broadcaster is distributed to a viewer terminal that has a comment area where a predetermined number of comments can be displayed, Receive comments posted from the viewer terminal during the distribution of the live video, transmitting the received comment to the viewer terminal to add it to the comment area in a last-in, first-out manner;
- the live video being distributed, each time the broadcaster speaks, the uttered text obtained by voice recognition of the broadcaster's voice is compared with each comment currently displayed in the comment area. to identify the comment that the broadcaster responded to, controlling the display of the identified comment; It is characterized in that processing is executed.
- a display control method includes: The computer is A live video provided by a broadcaster is distributed to a viewer terminal that has a comment area where a predetermined number of comments can be displayed, Receive comments posted from the viewer terminal during the distribution of the live video, transmitting the received comment to the viewer terminal to add it to the comment area in a last-in, first-out manner; In the live video being distributed, each time the broadcaster speaks, the uttered text obtained by voice recognition of the broadcaster's voice is compared with each comment currently displayed in the comment area. to identify the comment that the broadcaster responded to, controlling the display of the identified comment; It is characterized by
- the recording medium is to the computer,
- a live video provided by a broadcaster is distributed to a viewer terminal that has a comment area where a predetermined number of comments can be displayed, Receive comments posted from the viewer terminal during the distribution of the live video, transmitting the received comment to the viewer terminal to add it to the comment area in a last-in, first-out manner;
- the live video being distributed, each time the broadcaster speaks, the uttered text obtained by voice recognition of the broadcaster's voice is compared with each comment currently displayed in the comment area. to identify the comment that the broadcaster responded to, controlling the display of the identified comment; It is characterized by recording a program for executing processing.
- FIG. 1 is a schematic diagram showing an example of the overall configuration of a distribution system according to Embodiment 1 of the present disclosure.
- FIG. 1 is a block diagram illustrating an example of a schematic configuration of a typical information processing device that implements a distribution server and the like.
- FIG. 2 is a block diagram illustrating an example of a functional configuration of a distribution server according to the first embodiment.
- FIG. 3 is a schematic diagram showing an example of comment management information.
- FIG. 3 is a schematic diagram showing an example of controlling display of comments in a comment area.
- FIG. 2 is a block diagram illustrating an example of a functional configuration of a distributor terminal.
- FIG. 2 is a block diagram showing an example of a functional configuration of a viewer terminal.
- FIG. 1 is a block diagram illustrating an example of a schematic configuration of a typical information processing device that implements a distribution server and the like.
- FIG. 2 is a block diagram illustrating an example of a functional configuration of a distribution server according to the
- FIG. 3 is a schematic diagram showing an example of a viewing screen according to the first embodiment.
- 3 is a flowchart for explaining distribution processing according to the first embodiment.
- FIG. 2 is a schematic diagram showing an example of the overall configuration of a distribution system according to Embodiment 2 of the present disclosure.
- FIG. 2 is a block diagram illustrating an example of a functional configuration of a distribution server according to a second embodiment.
- FIG. 3 is a schematic diagram showing an example of chapter management information.
- FIG. 7 is a schematic diagram showing an example of a viewing screen according to Embodiment 2.
- FIG. 7 is a flowchart for explaining distribution processing according to the second embodiment.
- FIG. 1 is a schematic diagram showing an example of the overall configuration of a distribution system 1 according to Embodiment 1 of the present disclosure.
- a distribution server 100 that distributes live video
- a distributor terminal 200 used by a distributor and a viewer terminal 300 used by a viewer can communicate via the Internet 900. It is connected to the. It is assumed that there are a large number of distributor terminals 200 and viewer terminals 300, depending on the number of distributors and viewers who use the system.
- the distribution server 100 is, for example, a server device (server computer, etc.), and distributes live video provided by a distributor to the viewer terminal 300. Furthermore, the distribution server 100 transmits comments posted during live video distribution to the distributor terminal 200 and the viewer terminal 300.
- the distributor terminal 200 is, for example, a terminal such as a PC (Personal Computer), a smartphone, or a tablet, and is used by a distributor who performs live distribution. For example, a distributor shoots a live video to introduce a product.
- the distributor terminal 200 provides the live video to the distribution server 100, so that the live video is distributed from the distribution server 100 to the viewer terminal 300.
- the broadcaster can view comments posted by viewers on the viewer terminal 300 while broadcasting a live video, and can mention the comments in the live video in response to a predetermined comment. It has become.
- the viewer terminal 300 is, for example, a terminal such as a smartphone, a tablet, or a PC, and is used by a viewer who views the live video being distributed. For example, the viewer starts a video viewing application (or browser application) on the viewer terminal 300, logs into the distribution server 100, and then views a live video distributed from the distribution server 100. Additionally, viewers can post comments addressed to the distributor of the live video they are viewing. That is, the screen of a video viewing application or the like is provided with a video area for displaying live video and a comment area for displaying comments, as will be described later. Note that a predetermined number of the latest comments can be displayed in the comment area.
- the information processing device 400 includes a CPU (Central Processing Unit) 401, a ROM (Read Only Memory) 402, a RAM (Random Access Memory) 403, an NIC (Network Interface Card) 404, and an image processing unit. It includes a processing section 405, an audio processing section 406, an auxiliary storage section 407, an interface 408, a photographing unit 409, an audio unit 410, an operation unit 411, and a display unit 412.
- CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- NIC Network Interface Card
- a CPU 401 controls the operation of the entire information processing device 400, and is connected to each component to exchange control signals and data.
- the ROM 402 records an IPL (Initial Program Loader) that is executed immediately after the power is turned on, and when this is executed, the program stored in the auxiliary storage unit 407 is read out to the RAM 403, and the CPU 401 executes the program. Execution begins.
- IPL Initial Program Loader
- the RAM 403 is for temporarily storing data and programs, and holds programs and data read from the auxiliary storage unit 407, as well as other data necessary for communication.
- the NIC 404 is for connecting the information processing device 400 to a computer communication network such as the Internet, and may be one that conforms to the 10BASE-T/100BASE-T standard used when configuring a LAN (Local Area Network). Consists of an analog modem for connecting to the Internet using a telephone line, an ISDN (Integrated Services Digital Network) modem, an ADSL (Asymmetric Digital Subscriber Line) modem, a cable modem for connecting to the Internet using a cable television line, etc. be done.
- a computer communication network such as the Internet
- LAN Local Area Network
- the image processing unit 405 processes the image data read from the auxiliary storage unit 407 etc. using the CPU 401 and an image calculation processor (not shown) included in the image processing unit 405, and then processes the image data. It is recorded in a frame memory (not shown). The image data recorded in the frame memory is converted into a video signal at predetermined synchronization timing and output to the display unit 412 via the interface 408 or the like. That is, under the control of the CPU 401, the image processing unit 405 generates an image that is necessary during the progress of the processing performed by the information processing device 400, and causes the display unit 412 to display the image.
- the audio processing unit 406 converts the music data and audio data read from the auxiliary storage unit 407 etc. into audio signals and outputs them to the outside via the interface 408 etc. Note that in the case where the information processing device 400 includes a speaker inside, the audio processing unit 406 outputs the converted audio signal to the speaker. In other words, under the control of the CPU 401, the audio processing unit 406 generates music sounds and voices to be generated during the progress of processing performed by the information processing device 400, and outputs the music sounds etc. from internal or external speakers. let
- the auxiliary storage unit 407 is a hard disk, an SSD (Solid State Drive), or the like, and stores various programs and various data necessary for controlling the operation of the entire information processing device 400.
- the auxiliary storage unit 407 stores a program for realizing the distribution server 100 and the like according to the embodiment. Under the control of the CPU 401, the auxiliary storage unit 407 reads the stored programs and data as appropriate, and temporarily stores them in the RAM 403 or the like.
- the interface 408 is compliant with standards such as HDMI (registered trademark), USB (Universal Serial Bus), and I2C (Inter-Integrated Circuit), and is compatible with the photographing unit 409, the audio unit 410, the operation unit 411, and the display. Unit 412 is connected. Note that the interface 408 may transmit and receive necessary information to and from other connected external devices.
- HDMI registered trademark
- USB Universal Serial Bus
- I2C Inter-Integrated Circuit
- the photographing unit 409 is, for example, a single-focus lens and an image sensor (CMOS; Complementary Metal Oxide Semiconductor; CCD; Charge Coupled Device), etc., and photographs still images or moving images.
- CMOS Complementary Metal Oxide Semiconductor
- CCD Charge Coupled Device
- the audio unit 410 is, for example, a microphone, and inputs the voice (utterance) of a worker or the like using the information processing device 400.
- the operation unit 411 receives operation input from a worker or the like who uses the information processing device 400.
- the display unit 412 draws an image according to the image data output by the image processing unit 405 and presents it to a worker using the information processing device 400.
- the information processing device 400 may include a drive unit such as a DVD (Digital Versatile Disc)-ROM instead of the auxiliary storage unit 407.
- the information processing device 400 reads programs and data from a DVD-ROM etc. installed in the drive unit and operates in the same manner as described above.
- the functions of the distribution server 100, the distributor terminal 200, and the viewer terminal 300 realized in the above information processing device 400 will be explained with reference to FIGS. 3 to 8.
- a program that causes the distribution server 100 according to the first embodiment, the distributor terminal 200, and the viewer terminal 300 to function is executed, and the distribution server 100 according to the first embodiment and the distribution A viewer terminal 200 and a viewer terminal 300 are realized.
- FIG. 3 is a block diagram showing an example of the functional configuration of the distribution server 100 according to the first embodiment.
- the distribution server 100 includes a transmitting section 110, a receiving section 120, a storage section 130, and a control section 140.
- the transmitter 110 transmits various information to the viewer terminal 300 and the like via the Internet 900.
- the transmitter 110 distributes a live video provided from the distributor terminal 200 to the viewer terminal 300.
- the transmitter 110 transmits comments posted from the viewer terminal 300 to the distributor terminal 200 and the viewer terminal 300.
- the transmitter 110 transmits command information for changing the display mode of comments to the viewer terminal 300 and the like.
- the above-mentioned NIC 404 can function as such a transmitter 110.
- the receiving unit 120 receives various information sent from the distributor terminal 200 and the viewer terminal 300 via the Internet 900. For example, the receiving unit 120 receives a live video provided from the distributor terminal 200. Further, the receiving unit 120 receives comments posted from the viewer terminal 300. Note that the above-mentioned NIC 404 can function as such a receiving unit 120.
- the storage unit 130 stores various information necessary for processing in the distribution server 100.
- the storage unit 130 stores comment management information 131.
- the comment management information 131 is information for managing comments posted by viewers during live video distribution, and includes information as shown in FIG. 4 as an example. That is, the comment management information 131 includes information such as a comment ID 131a, a reception time 131b, a comment 131c, a display flag 131d, and a reaction flag 131e.
- the display flag 131d is a flag indicating whether or not a comment is currently being displayed in the comment area for displaying a predetermined number of comments on the viewer terminal 300. In other words, when the display flag 131d is "1", it indicates that the comment is to be displayed, and on the other hand, when the display flag 131d is "0", it indicates that the comment is not to be displayed. ing.
- reaction flag 131e is a flag indicating whether or not the distributor has responded to the comment. In other words, when the reaction flag 131e is "1", it indicates that the distributor has responded to the comment, and on the other hand, when the reaction flag 131e is "0", it indicates that the distributor has responded to the comment. This indicates that it has not reacted (unreacted).
- the storage unit 130 stores various information necessary for the processing of the control unit 140.
- the storage unit 130 stores the ID, password, etc. of the viewer who uses the viewer terminal 300.
- the storage unit 130 also stores a video management ID, video title, video summary, distribution start time, etc. as information regarding live video.
- the above-mentioned auxiliary storage unit 407 and the like can function as such a storage unit 130.
- the control unit 140 controls the entire distribution server 100.
- the control unit 140 includes, for example, a distribution control unit 141, a comment management unit 142, a voice recognition unit 143, a specification unit 144, and a display control unit 145.
- the distribution control unit 141 distributes the live video received from the distributor terminal 200 to the viewer terminal 300. That is, when the receiving unit 120 receives the live video provided from the distributor terminal 200, the distribution control unit 141 controls the transmitting unit 110 to distribute the received live video to the viewer terminal 300.
- the comment management unit 142 manages comments posted by viewers watching the live video. That is, when the receiving unit 120 receives a comment posted from the viewer terminal 300, the comment management unit 142 controls the transmitting unit 110 to transmit the received comment to the distributor terminal 200 and the viewer terminal 300.
- the comment management unit 142 also updates the comment management information 131 shown in FIG. 4 described above. In other words, the comment management unit 142 adds the newly posted comment to the comment management information 131 (setting the display flag 131d to "1" and setting the reaction flag 131e to "0") and , among the comments whose display flag 131d is "1", the display flag 131d of the comment with the oldest reception time 131b is changed to "0". Furthermore, when the specifying unit 144 (described later) specifies a comment, the comment managing unit 142 changes the reaction flag 131e of the comment to "1".
- the voice recognition unit 143 performs voice recognition in real time on the voice uttered by the broadcaster in the live video, and converts it into uttered text. For example, every time the distributor speaks, the voice recognition unit 143 divides the voice data into phoneme units, identifies each phoneme by comparing it with the characteristic distribution of sample phonemes, and performs pattern matching to words, etc. Finally, the utterance text uttered by the distributor is generated.
- the specifying unit 144 identifies the converted spoken text and each comment currently displayed in the comment area of the viewer terminal 300. By comparing these, we identify comments that the broadcaster has responded to (comments mentioned by the broadcaster in the live video). More specifically, the specifying unit 144 first performs morphological analysis on the spoken text (natural sentence) to extract keywords (for example, nouns, noun phrases, etc.). Next, the specifying unit 144 refers to the comment management information 131 shown in FIG. 4, morphologically analyzes each comment whose display flag 131d is "1", and extracts each keyword.
- the identifying unit 144 compares the keywords extracted from the uttered text (keywords included in the uttered text) and the keywords extracted from each comment (keywords included in each comment), and the matching keywords are included.
- the comments that are received are identified as comments that the broadcaster responded to.
- the broadcaster says, "The battery life was approximately 4 hours.”
- the comments (comment 131c) for which the display flag 131d is set to "1" in the comment management information 131 include "You explain well,” “I see,” and “Maybe you prefer the old model.” ”, “I was waiting for that function”, and “How long does it run?”.
- the specifying unit 144 extracts the keywords “battery”, “driving time”, and “4 hours” from the uttered text converted by the speech recognition unit 143, and also extracts the keywords “good at explaining”, “good at explaining”, and “4 hours” from each comment.
- the identifying unit 144 then compares each keyword extracted from the uttered text with each keyword extracted from each comment. In this case, since the keyword "driving time” matches, the specifying unit 144 identifies the comment "How long is the driving time?" that includes the keyword “driving time” as a comment to which the distributor has responded.
- the specifying unit 144 performs a character search for each comment whose display flag 131d is "1" using the keyword extracted from the uttered text as a key, and searches for the searched comment (that is, a comment that includes the keyword). may be specified as a comment to which the distributor has responded.
- the display control section 145 controls the display on the viewer terminal 300 of the comment specified by the above-mentioned specifying section 144.
- the display control unit 145 transmits command information for changing the display mode of the comment specified by the specifying unit 144 to the viewer terminal 300, so that the specified comment ( In other words, the display mode of comments (to which the broadcaster responded) is made different.
- the display control unit 145 transmits command information for changing the font color and background color of this comment to the viewer terminal 300, for example.
- the display mode of the comment DC ("How long is the driving time?") is changed in the comment area CA.
- changing the display mode is not limited to changing the font color and background color, but may also include changing the font, font size, etc.
- the CPU 401 and the like described above can function as the control unit 140 having such a configuration.
- FIG. 6 is a block diagram showing an example of the functional configuration of the distributor terminal 200.
- the distributor terminal 200 includes a photographing section 210, an audio input section 220, a transmitting/receiving section 230, an operation receiving section 240, a storage section 250, a control section 260, and a display section 270.
- the photographing unit 210 is, for example, a camera placed on the distributor terminal 200, and photographs the distributor etc. during distribution. That is, the imaging unit 210 outputs a video including the distributor during distribution. Note that the above-described photographing unit 409 can function as such a photographing section 210.
- the audio input unit 220 inputs the distributor's audio.
- the audio input unit 220 inputs audio uttered by a distributor during distribution.
- the audio unit 410 described above can function as such an audio input section 220.
- the transmitting/receiving unit 230 transmits and receives various information to and from the distribution server 100 via the Internet 900.
- the transmitting/receiving unit 230 is controlled by the control unit 260 (distribution unit 262 described later) and adds an object to a video shot by the shooting unit 210 (more specifically, a video including audio input by the audio input unit 220).
- the combined video is transmitted to the distribution server 100 (distributed to the viewer terminal 300 via the distribution server 100).
- the transmitting/receiving unit 230 also receives comments sent from the distribution server 100 (comments posted from the viewer terminals 300).
- the above-mentioned NIC 404 can function as such a transmitter/receiver 230.
- the operation reception unit 240 is a touch panel or a pointing device, and accepts various operations from the distributor.
- the operation accepting unit 240 accepts an operation directed to an object to be combined with the video image photographed by the photographing unit 210.
- the operation unit 411 described above can function as such an operation reception section 240.
- the storage unit 250 stores various information necessary for processing at the distributor terminal 200.
- the storage unit 250 stores information about objects to be combined with a photographed video, a combination position of the objects, and the like.
- the object is a subtitle (banner) that includes text information for notifying viewers in a live video.
- the compositing position is a position at which objects in the video are to be composited. Note that the above-mentioned auxiliary storage section 407 and the like can function as such a storage section 250.
- the control unit 260 controls the entire distributor terminal 200.
- This control section 260 includes, for example, a composition section 261 and a distribution section 262.
- the compositing unit 261 composites the object into the video shot by the imaging unit 210.
- the synthesizing section 261 synthesizes text information for informing the viewer into the photographed video according to the object information and the synthesis position stored in the storage section 250.
- the distribution unit 262 transmits the video with the objects synthesized by the composition unit 261 to the distribution server 100 for distribution to the viewer terminal 300. That is, the distribution unit 262 controls the transmission/reception unit 230 to transmit the video in which the objects are combined to the distribution server 100, and distributes the video to the viewer terminal 300 via the distribution server 100.
- CPU 401 and the like described above can function as the control unit 260 having such a configuration.
- the display unit 270 displays a video in which objects have been synthesized by the above-mentioned compositing unit 261. Further, the display section 270 has a comment area, similar to the display section 350 of the viewer terminal 300 described later, and displays comments received by the transmitting/receiving section 230. Note that the display unit 412 described above can function as such a display section 270.
- FIG. 7 is a block diagram showing an example of the functional configuration of the viewer terminal 300.
- the viewer terminal 300 includes a transmitting/receiving section 310, an operation receiving section 320, a storage section 330, a control section 340, and a display section 350.
- the transmitting/receiving unit 310 transmits and receives various information to and from the distribution server 100 via the Internet 900.
- the transmitter/receiver 310 is controlled by the controller 340 and receives live video distributed from the distribution server 100.
- the transmitting/receiving unit 310 also transmits comments received from the operation receiving unit 320 to the distribution server 100, and also transmits comments and command information (command information for changing the display mode of comments) sent from the distribution server 100.
- Receive Note that the above-mentioned NIC 404 can function as such a transmitter/receiver 310.
- the operation reception unit 320 is a touch panel or a pointing device, and accepts various operations from the viewer. For example, the operation reception unit 320 accepts comments input from viewers. Note that the operation unit 411 described above can function as such an operation reception section 320.
- the storage unit 330 stores various information necessary for processing in the viewer terminal 300.
- the storage unit 330 stores various applications including a video viewing application and a browser application. More specifically, various applications are installed in the storage unit 330.
- the video viewing application is, for example, an application for viewing videos distributed from the distribution server 100.
- the browser application may also be able to view videos distributed from the distribution server 100.
- the above-mentioned auxiliary storage unit 407 and the like can function as such a storage unit 330.
- the control unit 340 controls the entire viewer terminal 300.
- the control unit 340 executes a video viewing application stored in the storage unit 330 and displays live video etc. distributed from the distribution server 100 on the display unit 350.
- the display unit 350 is provided with a video area for displaying live videos and a comment area for displaying comments
- the control unit 340 can display live videos received by the transmitter/receiver 310.
- the video is displayed in the video area
- the comment received by the transmitter/receiver 310 is displayed in the comment area.
- This comment area can display a predetermined number of the latest comments.
- the control unit 340 sequentially adds the received comments to the comment area every time the transmitting/receiving unit 310 receives a comment. After the number of comments reaches a predetermined number, the control unit 340 deletes old comments from the comment area in a last-in, first-out manner every time the transmitting/receiving unit 310 receives a comment, and inserts new comments into the comment area. to add. Further, when the transmitting/receiving unit 310 receives the command information, the control unit 340 changes the display mode of the target comment in the comment area according to the command information. Note that the CPU 401 and the like described above can function as the control unit 340 having such a configuration.
- the display unit 350 displays a screen corresponding to the application executed by the control unit 340 described above. For example, when a video viewing application is executed by the control unit 340, the display unit 350 displays a viewing screen VG1 as shown in FIG.
- This viewing screen VG1 includes a video area VA for displaying live video and a comment area CA for displaying a predetermined number of posted comments. Note that in the comment area CA, the comment DC to which the distributor has responded is displayed in a different display mode from other comments.
- FIG. 9 is a flowchart for explaining distribution processing according to the first embodiment. This distribution process is executed by the distribution server 100, for example, when the distributor terminal 200 starts providing a live video.
- the distribution server 100 starts distributing live video (step S11). That is, when the receiving unit 120 receives the live video provided from the distributor terminal 200, the control unit 140 (distribution control unit 141) controls the transmitting unit 110 to send the received live video to the viewer terminal 300. To deliver.
- the distribution server 100 determines whether a new comment has been received (step S12). That is, the control unit 140 (comment management unit 142) determines whether the receiving unit 120 has received a comment posted from the viewer terminal 300.
- step S12 determines that no new comment has been received (step S12; No)
- the distribution server 100 advances the process to step S14, which will be described later.
- the distribution server 100 updates the comment management information and transmits the received comment to each terminal (step S13). That is, the control unit 140 (comment management unit 142) updates the comment management information 131 shown in FIG. 4 described above. That is, the comment management unit 142 adds a new comment to the comment management information 131 (setting the display flag 131d to "1" and setting the reaction flag 131e to "0"), and also sets the display flag 131d to "0". Among the comments whose 131d is "1", the display flag 131d of the comment whose reception time 131b is the oldest is changed to "0". Then, the control unit 140 transmits the new comment to the distributor terminal 200 and the viewer terminal 300.
- the distribution server 100 determines whether or not there is an utterance by the distributor (step S14). That is, the control unit 140 (speech recognition unit 143) determines whether the distributor has spoken in the live video.
- step S14 determines that there is no utterance by the distributor (step S14; No)
- the distribution server 100 advances the process to step S19, which will be described later.
- the distribution server 100 performs voice recognition on the distributor's voice and converts it into uttered text (step S15). That is, the control unit 140 (speech recognition unit 143), for example, divides the audio data uttered by the distributor into phoneme units, identifies each phoneme while comparing it with the characteristic distribution of sample phonemes, and performs pattern matching to words. Finally, the utterance text uttered by the distributor is generated.
- the distribution server 100 compares the uttered text with each comment to be displayed (step S16). That is, the control unit 140 (specification unit 144) compares the utterance text converted in step S15 described above with each comment currently displayed in the comment area of the viewer terminal 300. More specifically, the control unit 140 first performs morphological analysis on the uttered text to extract keywords (for example, nouns, noun phrases, etc.). Next, the control unit 140 refers to the comment management information 131 shown in FIG. 4, morphologically analyzes each comment whose display flag 131d is "1", and extracts each keyword. Then, the control unit 140 compares the keywords extracted from the uttered text and the keywords extracted from each comment.
- the control unit 140 compares the keywords extracted from the uttered text and the keywords extracted from each comment.
- the distribution server 100 determines whether there is a matching comment (step S17). For example, the control unit 140 (specification unit 144) determines whether there is a comment that includes a keyword that matches the keyword included in the uttered text, based on the comparison in step S16 described above.
- step S17 determines that there is no matching comment (step S17; No)
- the distribution server 100 advances the process to step S19, which will be described later.
- the distribution server 100 instructs each terminal to change the display for the matching comment (step S18). That is, the control unit 140 (display control unit 145) transmits instruction information for changing the display mode of the matching comment to the viewer terminal 300, etc., so that the broadcaster can The display mode of the comment that responded to is different. For example, the viewer terminal 300 that has received the command information changes and displays the comment DC (“How long is the drive time?”) in the comment area CA of the viewing screen VG1 shown in FIG. 8 described above.
- the distribution server 100 determines whether distribution of the live video has ended (step S19). That is, the control unit 140 (distribution control unit 141) determines whether the live video provided from the distributor terminal 200 has ended.
- step S19 If the distribution server 100 determines that the distribution of the live video has not ended (step S19; No), the process returns to step S12 described above.
- step S19 if it is determined that the live video distribution has ended (step S19; Yes), the distribution server 100 ends the distribution process.
- the display control unit 145 may display the comment specified by the specifying unit 144 (the comment to which the distributor has reacted) in the comment area for a longer time than standard.
- the display control unit 145 transmits command information to the viewer terminal 300 to set the reception time of the comment specified by the specifying unit 144 a certain amount of time later than the original time. , the specified comment is displayed longer in the comment area of the viewer terminal 300.
- this command information includes first command information for changing the comment display format and second command information for delaying the comment reception time by a certain period of time from the original time, so that the display format can be changed.
- a comment that has been changed may be displayed in the comment area for a longer time than the standard one. In these cases, comments to which the distributor has responded can be displayed with priority.
- FIG. 10 is a schematic diagram showing an example of the overall configuration of a distribution system 2 according to Embodiment 2 of the present disclosure.
- a distribution server 500 that distributes live video
- a distributor terminal 200 used by a distributor and a viewer terminal 300 used by a viewer can communicate via the Internet 900. It is connected to the.
- the distributor terminal 200 and the viewer terminal 300 have the same configuration as the distribution system 1 according to the first embodiment described above. In other words, only the distribution server 500 is different from the distribution system 1 of FIG.
- the distribution server 500 is also realized by the information processing device 400 in FIG. 2 described above. That is, when the information processing device 400 is powered on, a program for functioning as the distribution server 500 according to the second embodiment is executed, and the distribution server 500 according to the second embodiment is realized.
- FIG. 11 is a block diagram showing an example of the functional configuration of the distribution server 500 according to the second embodiment.
- the distribution server 500 includes a transmitting section 110, a receiving section 120, a storage section 530, and a control section 540.
- the transmitter 110 and the receiver 120 have the same configuration as the transmitter 110 and the receiver 120 in the distribution server 100 of FIG. 3 described above.
- the storage unit 530 stores various information necessary for processing in the distribution server 500.
- the storage unit 530 stores comment management information 131 and chapter management information 531.
- the comment management information 131 is the same information as the comment management information 131 in FIG. 4 described above.
- the storage unit 530 stores (records) the live video in parallel with the distribution of the live video. That is, the control unit 540 (distribution control unit 141) stores the live video in the storage unit 530 while distributing the live video. As a result, as will be described later, even if a live video is being distributed, the control unit 540 performs so-called follow-up playback so that a viewer who starts viewing late can watch from the scene he/she missed.
- control unit 540 performs distribution using the live video stored in the storage unit 530. be able to.
- the chapter management information 531 is information for managing chapters for dividing a live video, and includes information as shown in FIG. 12 as an example. That is, the chapter management information 531 includes information such as a chapter number 531a, a relative time 531b, a keyword 531c, and an address 531d.
- the relative time 531b is time information indicating the start position of a chapter in the live video, and is indicated as a relative time (time elapsed from the beginning) based on the start time of the live video.
- the keyword 531c is a phrase for identifying the chapter, and is also a phrase mentioned by the distributor within the chapter.
- URL Uniform Resource Locator
- the storage unit 530 stores various information necessary for the processing of the control unit 540.
- the storage unit 530 stores the ID, password, etc. of the viewer who uses the viewer terminal 300.
- the storage unit 530 also stores information regarding live video. Note that the above-mentioned auxiliary storage unit 407 and the like can function as such a storage unit 530.
- control unit 540 controls the entire distribution server 500.
- This control section 540 includes, for example, a distribution control section 141, a comment management section 142, a voice recognition section 143, a specifying section 144, and a setting section 541.
- the comment management unit 142, voice recognition unit 143, and identification unit 144 are the same as the comment management unit 142, voice recognition unit 143, and identification unit 144 in the distribution server 100 (control unit 140) in FIG. 3 described above. It is the composition.
- the distribution control unit 141 further has the following functions.
- the distribution control unit 141 stores the live video in the storage unit 530 while distributing the live video to the viewer terminal 300. Furthermore, after the setting unit 541 (described below) sets chapters in a live video, when a viewer plays the live video in pursuit or on-demand, the distribution control unit 141 controls the playback position of the live video. Display the chapter in the seek bar that shows. As a result, in addition to operating the chapter information (chapter information CD displayed in the summary area SA), which will be described later, the viewer can also view the live video from the start position of the chapter by moving the seek bar to the chapter. be able to.
- chapter information displayed in the summary area SA
- the setting unit 541 sets chapters for dividing the live video based on the relative time in the live video corresponding to the time when the comment specified by the specifying unit 144 is received (that is, the relative time based on the start time of the live video). Set. For example, the setting unit 541 creates chapter management information 531 as shown in FIG. 12 described above, and sets a chapter by adding the created chapter management information 531 to the summary information of the live video.
- the identifying unit 144 extracts keywords such as "driving time” from the uttered text, and also identifies the comment "How long is the driving time?" from the comments currently displayed in the comment area.
- keywords such as "driving time” from the uttered text
- the comment "How long is the driving time?" from the comments currently displayed in the comment area.
- the start time of the live video is "20:20:00" and the address of the live video is "https://XXXX.com/AbCd1eFgH2IjK”.
- the setting unit 541 first subtracts the start time of the live video from the reception time 131b of the corresponding comment (comment 131c "How long is the drive time?") in the comment management information 131 shown in FIG. By doing so, the relative time in the live video is calculated.
- the setting unit 541 subtracts "20:20:00” from “20:21:43” and obtains "0:01:43”, and then sets the relative time 531b in the chapter management information 531 shown in FIG. set.
- the setting unit 541 sets the keyword used by the identifying unit 144 to identify the comment (that is, the keyword “driving time”) to the keyword 531c in the chapter management information 531.
- Chapters are set by adding the chapter management information 531 generated in this way to the summary information about the live video.
- a viewing screen VG2 as shown in is displayed.
- This viewing screen VG2 includes a video area VA for displaying a live video, a summary area SA for displaying an overview of the live video, and a comment area CA for displaying a predetermined number of posted comments.
- chapter information CD is added to the summary area SA.
- This chapter information CD is linked to the address 531d in the chapter management information 531, and by touching the chapter information CD, the viewer can view the live video from the starting position of that chapter. ing.
- FIG. 14 is a flowchart for explaining distribution processing according to the second embodiment. This distribution process is executed by the distribution server 500, for example, when the distributor terminal 200 starts providing a live video. Note that steps S11 to S17 and step S19 in the distribution process in FIG. 14 are the same as steps S11 to S17 and step S19 in the distribution process in FIG. 9 described above. Therefore, the same processing contents will be briefly explained.
- the distribution server 500 starts distributing the live video (step S11), and determines whether a new comment has been received (step S12).
- step S12 determines that no new comment has been received (step S12; No)
- the distribution server 500 advances the process to step S14, which will be described later.
- step S12; Yes if it is determined that a new comment has been received (step S12; Yes), the distribution server 500 updates the comment management information and transmits the received comment to each terminal (step S13).
- the distribution server 500 determines whether or not there is an utterance by the distributor (step S14).
- step S14 determines that there is no utterance by the distributor (step S14; No)
- the distribution server 500 advances the process to step S19, which will be described later.
- step S14; Yes if it is determined that there is an utterance by the distributor (step S14; Yes), the distribution server 500 performs voice recognition on the distributor's voice and converts it into uttered text (step S15).
- the distribution server 500 compares the uttered text with each comment to be displayed (step S16), and determines whether there is a matching comment (step S17).
- step S17 determines that there is no matching comment (step S17; No)
- the distribution server 500 advances the process to step S19, which will be described later.
- the distribution server 500 sets chapters for dividing the live video (step S21). That is, the control unit 540 (setting unit 541) divides the live video based on the relative time in the live video corresponding to the time when the matching comment is received (that is, the relative time based on the start time of the live video). Set a chapter for. For example, the control unit 540 creates chapter management information 531 as shown in FIG. 12 described above, and sets a chapter by adding the created chapter management information 531 to the summary information of the live video.
- the distribution server 500 determines whether distribution of the live video has ended (step S19).
- step S19; No the distribution server 500 determines that the distribution of the live video has not ended.
- step S19; Yes the distribution server 500 returns the process to step S12 described above.
- step S19; Yes the distribution server 500 ends the distribution process.
- Embodiments 1 and 2 In Embodiments 1 and 2 above, a case was explained in which the uttered text obtained by voice recognition of the broadcaster's voice in a live video is compared with each comment being displayed to identify the comment to which the broadcaster has responded. Other methods may be used to identify comments to which the distributor has responded. For example, the distributor terminal 200 may allow the distributor to arbitrarily select posted comments, and the comment selected by the distributor may be identified as the comment to which the distributor has responded.
- the display section 270 of the broadcaster terminal 200 also has a comment area, similar to the display section 350 of the viewer terminal 300, in which comments received by the transmitting/receiving section 230 (posted comments) are displayed. Display. Then, when the distributor during distribution selects any comment displayed in the comment area, the control unit 260 transmits selection information indicating the selected comment to the distribution server 100, 500 through the transmitting/receiving unit 230. do. In the distribution server 100, 500 that has received this selection information, the specifying unit 144 specifies the comment to which the distributor has responded based on the selection information. In this case, the comment to which the distributor responded can be identified without error.
- the control unit 140, 540 of the distribution server 100, 500 includes the voice recognition unit 143, the identification unit 144, etc.
- the program executed by the distribution server 100, 500, etc. is a CD-ROM (Compact Disc Read Only Memory), DVD, MO (Magneto-Optical Disk), USB memory, memory card, etc. It is also possible to store and distribute it on a computer-readable recording medium. By installing such a program on a specific or general-purpose computer, it is also possible to cause the computer to function as the distribution server 100, 500 in the first and second embodiments described above.
- the above program may be stored in a disk device included in a server device on a communication network such as the Internet, and may be superimposed on a carrier wave and downloaded to a computer, for example.
- the above processing can also be achieved by starting and executing the program while transferring it via a communication network.
- the above-mentioned processing can also be achieved by executing all or part of the program on a server device, and executing the program while the computer transmits and receives information regarding the processing via a communication network.
- a live video provided by a broadcaster is distributed to a viewer terminal that has a comment area where a predetermined number of comments can be displayed, Receive comments posted from the viewer terminal during the distribution of the live video, transmitting the received comment to the viewer terminal to add it to the comment area in a last-in, first-out manner;
- the live video being distributed, each time the broadcaster speaks, the uttered text obtained by voice recognition of the broadcaster's voice is compared with each comment currently displayed in the comment area. to identify the comment that the broadcaster responded to, controlling the display of the identified comment;
- a server device that executes processing.
- the display control is a control that changes the display mode of the specified comment to be different from the display mode of other comments.
- the server device according to any one of [1] to [3], characterized in that: [5]
- the computer is A live video provided by a broadcaster is distributed to a viewer terminal that has a comment area where a predetermined number of comments can be displayed, Receive comments posted from the viewer terminal during the distribution of the live video, transmitting the received comment to the viewer terminal to add it to the comment area in a last-in, first-out manner;
- the live video being distributed, each time the broadcaster speaks, the uttered text obtained by voice recognition of the broadcaster's voice is compared with each comment currently displayed in the comment area.
- a display control method characterized by: [6] to the computer, A live video provided by a broadcaster is distributed to a viewer terminal that has a comment area where a predetermined number of comments can be displayed, Receive comments posted from the viewer terminal during the distribution of the live video, transmitting the received comment to the viewer terminal to add it to the comment area in a last-in, first-out manner; In the live video being distributed, each time the broadcaster speaks, the uttered text obtained by voice recognition of the broadcaster's voice is compared with each comment currently displayed in the comment area. to identify the comment that the broadcaster responded to, controlling the display of the identified comment; A computer-readable recording medium that records a program for executing processing.
- the present disclosure can be suitably adopted for video distribution that controls the display of comments posted during distribution.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
配信制御部(141)は、配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信する。受信部(120)は、ライブ動画の配信中に、視聴者端末から投稿されたコメントを受信する。送信部(110)は、受信部(120)が受信したコメントを、コメント領域へ後入れ先出し方式にて追加させるために視聴者端末へ送信する。特定部(144)は、配信中のライブ動画において、配信者が発話する度に、配信者の音声を音声認識して得られた発話テキストと、コメント領域に現在表示されている各コメントとを比較することにより、配信者が反応したコメントを特定する。そして、表示制御部(145)は、特定したコメントの表示を制御する。
Description
本開示は、配信中に投稿されたコメントの表示を制御する動画配信に関する。
近年、配信者が提供するライブ動画を視聴者端末に配信する配信システムが広く普及している。このような配信システムでは、例えば、ライブ動画を視聴している視聴者がコメントを投稿できるようになっている。そして、配信者が、投稿されたコメントに反応し、ライブ動画において、そのコメントについて言及(発話)することもある。これにより、ライブ動画に参加しているという一体感が視聴者に生まれるため、視聴者が配信システムをより多く利用することも期待できる。
このような配信システムの先行技術の一例として、特許文献1には、投稿されたコメントを適切に処理する配信システムについて開示されている。この配信システムでは、動画に重畳させて表示するコメントを、投稿者の属性情報に応じて制限することで、大量のコメントが投稿された場合でも、動画を見易く表示させている。
上述した特許文献1に開示された配信システムでは、投稿されたコメントをコメント欄にも表示させている。しかしながら、このコメント欄には、各コメントが単純に一覧表示されるだけである。そのため、コメント欄に、配信者が反応したコメントが含まれていても、視聴者はそのコメントを識別することができなかった。
本開示は、上述のような課題を解決するためになされたものであり、配信中に投稿されたコメントの表示を制御する動画配信を提供することを目的とする。
本開示の第1の観点に係るサーバ装置は、
1以上のプロセッサを備え、
前記1以上のプロセッサの少なくとも一つによって、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
処理が実行されることを特徴とする。
1以上のプロセッサを備え、
前記1以上のプロセッサの少なくとも一つによって、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
処理が実行されることを特徴とする。
本開示の第2の観点に係る表示制御方法は、
コンピュータが、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
ことを特徴とする。
コンピュータが、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
ことを特徴とする。
本開示の第3の観点に係る記録媒体は、
コンピュータに、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
処理を実行させるためのプログラムを記録したことを特徴とする。
コンピュータに、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
処理を実行させるためのプログラムを記録したことを特徴とする。
本開示によれば、配信中に投稿されたコメントの表示を制御する動画配信を提供することができる。
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。また、以下では、配信サーバ(サーバ装置)が、コメント(配信者が反応したコメント)を特定する場合について説明するが、後述するように、配信者端末が、コメントを特定する場合でも、同様に本開示を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本開示の範囲を制限するものではない。従って、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本開示の範囲に含まれる。
(実施形態1)
図1は、本開示の実施形態1に係る配信システム1の全体構成の一例を示す模式図である。この配信システム1は、一例として、ライブ動画を配信する配信サーバ100と、配信者に使用される配信者端末200と、視聴者に使用される視聴者端末300とがインターネット900を介して通信可能に接続されている。なお、配信者端末200、及び、視聴者端末300は、システムを利用する配信者、及び、視聴者の数に応じて、多数存在しているものとする。
図1は、本開示の実施形態1に係る配信システム1の全体構成の一例を示す模式図である。この配信システム1は、一例として、ライブ動画を配信する配信サーバ100と、配信者に使用される配信者端末200と、視聴者に使用される視聴者端末300とがインターネット900を介して通信可能に接続されている。なお、配信者端末200、及び、視聴者端末300は、システムを利用する配信者、及び、視聴者の数に応じて、多数存在しているものとする。
配信サーバ100は、例えば、サーバ装置(サーバ用のコンピュータ等)であり、配信者から提供されるライブ動画を視聴者端末300に向けて配信する。また、配信サーバ100は、ライブ動画の配信中に投稿されたコメントを配信者端末200及び視聴者端末300へ送信する。
配信者端末200は、例えば、PC(Personal Computer)、スマートフォン、タブレット等の端末であり、ライブ配信を行う配信者に使用される。例えば、配信者は、商品を紹介するためのライブ動画を撮影する。配信者端末200は、ライブ動画を配信サーバ100へ提供することにより、配信サーバ100から視聴者端末300へライブ動画の配信が行われる。なお、配信者は、ライブ動画の配信中において、視聴者端末300の視聴者から投稿されたコメントを閲覧でき、所定のコメントに反応して、ライブ動画において、そのコメントについて言及することが可能となっている。
視聴者端末300は、例えば、スマートフォン、タブレット、PC等の端末であり、配信されるライブ動画を視聴する視聴者に使用される。例えば、視聴者は、視聴者端末300において動画閲覧アプリ(若しくは、ブラウザアプリ)を起動させ、配信サーバ100へログインするなどした後に、配信サーバ100から配信されるライブ動画を視聴する。また、視聴者は、視聴しているライブ動画の配信者に宛てたコメントを投稿可能である。つまり、動画閲覧アプリ等の画面には、後述するように、ライブ動画を表示するための動画領域、及び、コメントを表示するためのコメント領域が設けられている。なお、コメント領域には、最新のコメントが所定数だけ表示可能となっている。つまり、コメントが所定数に満たない間は、コメントが投稿される度に、コメント領域に順次追加されていく。そして、コメントが所定数に達した後は、コメントが投稿されると、後入れ先出し方式にて、古いコメントがコメント領域から外れ、新しいコメントがコメント領域に追加される。
(情報処理装置400の概要構成)
実施形態1に係る配信サーバ100、配信者端末200、及び、視聴者端末300が実現される典型的な情報処理装置400について説明する。
実施形態1に係る配信サーバ100、配信者端末200、及び、視聴者端末300が実現される典型的な情報処理装置400について説明する。
情報処理装置400は、図2に示すように、CPU(Central Processing Unit)401と、ROM(Read Only Memory)402と、RAM(Random Access Memory)403と、NIC(Network Interface Card)404と、画像処理部405と、音声処理部406と、補助記憶部407と、インターフェース408と、撮影ユニット409と、音声ユニット410と、操作ユニット411と、表示ユニット412とを備える。
CPU 401は、情報処理装置400全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。
ROM 402には、電源投入直後に実行されるIPL(Initial Program Loader)が記録され、これが実行されることにより、補助記憶部407に記憶されたプログラムをRAM 403に読み出してCPU 401による当該プログラムの実行が開始される。
RAM 403は、データやプログラムを一時的に記憶するためのもので、補助記憶部407から読み出されたプログラムやデータ、その他、通信に必要なデータ等が保持される。
NIC 404は、情報処理装置400をインターネット等のコンピュータ通信網に接続するためのものであり、LAN(Local Area Network)を構成する際に用いられる10BASE-T/100BASE-T規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ISDN(Integrated Services Digital Network)モデム、ADSL(Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等から構成される。
画像処理部405は、補助記憶部407等から読み出された画像データをCPU 401や画像処理部405が備える画像演算プロセッサ(図示せず)によって加工処理した後、これを画像処理部405が備えるフレームメモリ(図示せず)に記録する。フレームメモリに記録された画像データは、所定の同期タイミングでビデオ信号に変換され、インターフェース408等を介して表示ユニット412に出力される。つまり、画像処理部405は、CPU 401の制御の下、情報処理装置400が行う処理の進行の中で必要となる画像を生成し、その画像を表示ユニット412に表示させる。
音声処理部406は、補助記憶部407等から読み出された音楽データや音声データを音声信号に変換し、インターフェース408等を介して外部に出力する。なお、情報処理装置400が内部にスピーカを備えている場合において、音声処理部406は、変換した音声信号を当該スピーカに出力する。つまり、音声処理部406は、CPU 401の制御の下、情報処理装置400が行う処理の進行の中で発生させるべき楽曲音や音声を生成し、その楽曲音等を内部又は外部のスピーカから出力させる。
補助記憶部407は、ハードディスク、SSD(Solid State Drive)等であり、情報処理装置400全体の動作制御に必要な各種のプログラムや各種のデータを記憶する。例えば、補助記憶部407には、実施形態に係る配信サーバ100等を実現するためのプログラムが記憶される。そして、CPU 401の制御によって、補助記憶部407は、記憶されたプログラムやデータを適宜読み出し、これらをRAM 403等に一時的に記憶させる。
インターフェース408は、例えば、HDMI(登録商標)、USB(Universal Serial Bus)、I2C(Inter-Integrated Circuit)等の規格に準拠しており、撮影ユニット409、音声ユニット410、操作ユニット411、及び、表示ユニット412が接続される。なお、インターフェース408は、この他に接続された外部機器との間で必要な情報を送受信してもよい。
撮影ユニット409は、例えば、単焦点のレンズ、及び、所定画素数の撮像素子(CMOS;Complementary Metal Oxide SemiconductorやCCD;Charge Coupled Device)等であり、静止画又は動画を撮影する。
音声ユニット410は、例えば、マイクロフォン等であり、情報処理装置400を利用する作業者等の音声(発話)を入力する。
操作ユニット411は、情報処理装置400を利用する作業者等の操作入力を受け付ける。
表示ユニット412は、画像処理部405により出力された画像データに応じた画像を描画し、情報処理装置400を利用する作業者等に提示する。
この他に、情報処理装置400は、補助記憶部407の代わりに、DVD(Digital Versatile Disc)-ROM等のドライブユニットを備えるようにしてもよい。この場合、情報処理装置400は、ドライブユニットに装着されるDVD-ROM等からプログラムやデータを読み出して、上記と同様に動作する。
以下、上記の情報処理装置400において実現される配信サーバ100、配信者端末200、及び、視聴者端末300の機能等について、図3~図8を参照して説明する。情報処理装置400に電源が投入されると、実施形態1に係る配信サーバ100、配信者端末200、及び、視聴者端末300として機能させるプログラムが実行され、実施形態1に係る配信サーバ100、配信者端末200、及び、視聴者端末300が実現される。
(配信サーバ100の機能構成)
図3は、実施形態1に係る配信サーバ100の機能構成の一例を示すブロック図である。図示するように、配信サーバ100は、送信部110と、受信部120と、記憶部130と、制御部140とを備える。
図3は、実施形態1に係る配信サーバ100の機能構成の一例を示すブロック図である。図示するように、配信サーバ100は、送信部110と、受信部120と、記憶部130と、制御部140とを備える。
送信部110は、視聴者端末300等に向けた種々の情報を、インターネット900を介して送信する。例えば、送信部110は、配信者端末200から提供されたライブ動画を視聴者端末300へ配信する。また、送信部110は、視聴者端末300から投稿されたコメントを配信者端末200及び視聴者端末300へ送信する。更に、送信部110は、コメントの表示態様を変更するための指令情報を視聴者端末300等に送信する。なお、上述したNIC 404が、このような送信部110として機能しうる。
受信部120は、インターネット900を介して配信者端末200及び視聴者端末300から送られる種々の情報を受信する。例えば、受信部120は、配信者端末200から提供されたライブ動画を受信する。また、受信部120は、視聴者端末300から投稿されたコメントを受信する。なお、上述したNIC 404が、このような受信部120として機能しうる。
記憶部130は、配信サーバ100における処理に必要な種々の情報を記憶する。例えば、記憶部130は、コメント管理情報131を記憶する。
コメント管理情報131は、ライブ動画の配信中に視聴者から投稿されたコメントを管理するための情報であり、一例として、図4に示すような情報を含んでいる。つまり、コメント管理情報131には、コメントID131a、受信時刻131b、コメント131c、表示フラグ131d、及び、反応フラグ131e等の情報が含まれている。なお、表示フラグ131dは、視聴者端末300において、所定数のコメントを表示するためのコメント領域にて、そのコメントが現在表示されているかどうかを示すフラグである。つまり、表示フラグ131dが「1」の場合に、そのコメントが表示対象であることを示しており、一方、表示フラグ131dが「0」の場合に、そのコメントが表示対象外であることを示している。また、反応フラグ131eは、そのコメントに対して、配信者が反応したかどうかを示すフラグである。つまり、反応フラグ131eが「1」の場合に、そのコメントに対して配信者が反応したことを示しており、一方、反応フラグ131eが「0」の場合に、そのコメントに対して配信者が反応していない(未反応)であることを示している。
記憶部130は、この他にも、制御部140の処理に必要な種々の情報を記憶する。例えば、記憶部130は、視聴者端末300を使用する視聴者のIDやパスワード等を記憶する。また、記憶部130は、ライブ動画に関する情報として、動画管理ID、動画タイトル、動画概要、配信開始時刻等も記憶する。なお、上述した補助記憶部407等が、このような記憶部130として機能しうる。
図3に戻って、制御部140は、配信サーバ100全体を制御する。この制御部140は、例えば、配信制御部141、コメント管理部142、音声認識部143、特定部144、及び、表示制御部145を含んでいる。
配信制御部141は、配信者端末200から受信したライブ動画を視聴者端末300へ配信する。すなわち、配信制御部141は、受信部120が配信者端末200から提供されたライブ動画を受信すると、送信部110を制御して、受信したライブ動画を視聴者端末300へ配信する。
コメント管理部142は、ライブ動画を視聴している視聴者から投稿されたコメントを管理する。すなわち、コメント管理部142は、受信部120が視聴者端末300から投稿されたコメントを受信すると、送信部110を制御して、受信したコメントを配信者端末200及び視聴者端末300へ送信する。また、コメント管理部142は、上述した図4に示すコメント管理情報131を更新する。つまり、コメント管理部142は、新たに投稿されたコメントをコメント管理情報131に追加する(表示フラグ131dには、「1」をセットし、反応フラグ131eには、「0」をセットする)と共に、表示フラグ131dが「1」のコメントのうちで、受信時刻131bが最も古いコメントの表示フラグ131dを「0」に変更する。また、コメント管理部142は、後述する特定部144がコメントを特定すると、そのコメントの反応フラグ131eを「1」に変更する。
音声認識部143は、ライブ動画において、配信者が発話した音声をリアルタイムに音声認識して、発話テキストに変換する。例えば、音声認識部143は、配信者が発話する度に、音声データを音素単位にそれぞれ分割し、標本音素の特徴分布と比較しつつ各音素を特定し、単語へのパターンマッチング等を経て、最終的に、配信者が発話した発話テキストを生成する。
特定部144は、配信者の音声が上記の音声認識部143によって発話テキストに変換される度に、変換された発話テキストと、視聴者端末300のコメント領域にて現在表示されている各コメントとを比較することにより、配信者が反応したコメント(配信者がライブ動画において言及したコメント)を特定する。より詳細に、特定部144は、まず、発話テキスト(自然文)を形態素解析してキーワード(一例として、名詞、名詞句等)を抽出する。次に、特定部144は、図4に示すコメント管理情報131を参照し、表示フラグ131dが「1」となっている各コメントを形態素解析してそれぞれのキーワードを抽出する。そして、特定部144は、発話テキストから抽出したキーワード(発話テキストに含まれるキーワード)と、各コメントからそれぞれ抽出したキーワード(各コメントにそれぞれ含まれるキーワード)とを比較して、一致したキーワードが含まれるコメントを、配信者が反応したコメントとして特定する。
より具体的に、配信者が「バッテリーの駆動時間は、だいたい4時間くらいでした」と発話した場合について説明する。なお、この発話時点で、コメント管理情報131にて表示フラグ131dが「1」となっているコメント(コメント131c)が、「説明上手だね」、「なるほどね」、「旧型の方が好きかも」、「その機能を待っていた」、及び、「駆動時間はどれくらい?」であったものとする。この場合、特定部144は、音声認識部143によって変換された発話テキストから「バッテリー」、「駆動時間」、及び、「4時間」のキーワードを抽出し、また、各コメントから「説明上手」、「-(キーワードなし)」、「旧型の方」、「機能」、及び、「駆動時間」のキーワードを抽出する。そして、特定部144は、発話テキストから抽出した各キーワード毎に、各コメントから抽出した各キーワードと比較する。この場合、「駆動時間」というキーワードが一致するため、特定部144は、この「駆動時間」というキーワードを含む「駆動時間はどれくらい?」というコメントを、配信者が反応したコメントとして特定する。
なお、特定部144は、発話テキストから抽出したキーワードをキーにして、表示フラグ131dが「1」となっている各コメントを文字検索するようにし、検索されたコメント(つまり、キーワードを含むコメント)を、配信者が反応したコメントとして特定するようにしてもよい。
表示制御部145は、上記の特定部144が特定したコメントについて、視聴者端末300における表示を制御する。例えば、表示制御部145は、特定部144が特定したコメントの表示態様を変更するための指令情報を、視聴者端末300へ送信することで、視聴者端末300のコメント領域において、特定したコメント(つまり、配信者が反応したコメント)の表示態様を異ならせる。
より具体的に、上記の特定部144が、「駆動時間はどれくらい?」というコメントを特定した場合について説明する。この場合、表示制御部145は、例えば、このコメントの文字色、及び、背景色を変更するための指令情報を、視聴者端末300へ送信する。この指令情報を受信した視聴者端末300では、例えば、図5に示すように、コメント領域CAにおいて、コメントDC(「駆動時間はどれくらい?」)の表示態様が変更される。なお、表示態様の変更は、このような文字色、及び、背景色を変更するものに限られず、他に、フォントの変更、文字サイズ等を変更するものであってもよい。
上述したCPU 401等が、これらのような構成からなる制御部140として機能しうる。
(配信者端末200の機能構成)
図6は、配信者端末200の機能構成の一例を示すブロック図である。図示するように、配信者端末200は、撮影部210と、音声入力部220と、送受信部230と、操作受付部240と、記憶部250と、制御部260と、表示部270とを備える。
図6は、配信者端末200の機能構成の一例を示すブロック図である。図示するように、配信者端末200は、撮影部210と、音声入力部220と、送受信部230と、操作受付部240と、記憶部250と、制御部260と、表示部270とを備える。
撮影部210は、例えば、配信者端末200に配置されたカメラであり、配信中に配信者等を撮影する。つまり、撮影部210は、配信中において、配信者を含んだ映像を出力する。なお、上述した撮影ユニット409が、このような撮影部210として機能しうる。
音声入力部220は、配信者の音声を入力する。例えば、音声入力部220は、配信者が配信中に発話した音声を入力する。なお、上述した音声ユニット410が、このような音声入力部220として機能しうる。
送受信部230は、インターネット900を介した配信サーバ100との間で種々の情報を送受信する。例えば、送受信部230は、制御部260(後述する配信部262)により制御され、撮影部210によって撮影された映像(より詳細には、音声入力部220によって入力した音声も含む動画)にオブジェクトを合成した映像を配信サーバ100へ送信する(配信サーバ100を介して視聴者端末300へ配信する)。また、送受信部230は、配信サーバ100から送られるコメント(視聴者端末300から投稿されたコメント)を受信する。なお、上述したNIC 404が、このような送受信部230として機能しうる。
操作受付部240は、タッチパネルやポインティングデバイスであり、配信者からの各種の操作を受け付ける。例えば、操作受付部240は、撮影部210によって撮影された映像に合成されるオブジェクトに向けた操作を受け付ける。なお、上述した操作ユニット411が、このような操作受付部240として機能しうる。
記憶部250は、配信者端末200における処理に必要な種々の情報を記憶する。例えば、記憶部250は、撮影された映像に合成するためのオブジェクトについての情報やオブジェクトの合成位置等を記憶する。一例として、オブジェクトは、ライブ動画において、視聴者へ報知するための文字情報を含んだ字幕(バナー)である。また、合成位置は、映像内におけるオブジェクトを合成する位置である。なお、上述した補助記憶部407等が、このような記憶部250として機能しうる。
制御部260は、配信者端末200全体を制御する。この制御部260は、例えば、合成部261、及び、配信部262を含んでいる。
合成部261は、撮影部210により撮影された映像内にオブジェクトを合成する。例えば、合成部261は、記憶部250に記憶されたオブジェクトの情報及び合成位置に従って、視聴者へ報知するための文字情報を撮影された映像内に合成する。
配信部262は、合成部261によりオブジェクトが合成された映像を視聴者端末300に向けた配信のために配信サーバ100へ送信する。すなわち、配信部262は、送受信部230を制御して、オブジェクトが合成された映像を配信サーバ100へ送信し、その配信サーバ100を介して視聴者端末300へ映像を配信する。
なお、上述したCPU 401等が、このような構成からなる制御部260として機能しうる。
表示部270は、上述した合成部261によりオブジェクトが合成された映像を表示する。また、表示部270は、視聴者端末300の後述する表示部350と同様に、コメント領域を有しており、送受信部230が受信したコメントを表示する。なお、上述した表示ユニット412が、このような表示部270として機能しうる。
(視聴者端末300の機能構成)
図7は、視聴者端末300の機能構成の一例を示すブロック図である。図示するように、視聴者端末300は、送受信部310と、操作受付部320と、記憶部330と、制御部340と、表示部350とを備える。
図7は、視聴者端末300の機能構成の一例を示すブロック図である。図示するように、視聴者端末300は、送受信部310と、操作受付部320と、記憶部330と、制御部340と、表示部350とを備える。
送受信部310は、インターネット900を介した配信サーバ100との間で種々の情報を送受信する。例えば、送受信部310は、制御部340により制御され、配信サーバ100から配信されたライブ動画を受信する。また、送受信部310は、操作受付部320から受け付けたコメントを配信サーバ100へ送信し、また、配信サーバ100から送られたコメントや指令情報(コメントの表示態様を変更するための指令情報)を受信する。なお、上述したNIC 404が、このような送受信部310として機能しうる。
操作受付部320は、タッチパネルやポインティングデバイスであり、視聴者からの各種の操作を受け付ける。例えば、操作受付部320は、視聴者から入力されたコメントを受け付ける。なお、上述した操作ユニット411が、このような操作受付部320として機能しうる。
記憶部330は、視聴者端末300における処理に必要な種々の情報を記憶する。例えば、記憶部330は、動画閲覧アプリやブラウザアプリを含む各種のアプリケーションを記憶する。より詳細には、各種のアプリケーションが記憶部330にインストールされている。なお、動画閲覧アプリは、例えば、配信サーバ100から配信される動画を閲覧するためのアプリケーションである。また、ブラウザアプリでも、配信サーバ100から配信される動画を閲覧可能であってもよい。なお、上述した補助記憶部407等が、このような記憶部330として機能しうる。
制御部340は、視聴者端末300全体を制御する。例えば、制御部340は、記憶部330に記憶された動画閲覧アプリを実行し、配信サーバ100から配信されたライブ動画等を表示部350に表示する。後述するように、表示部350には、ライブ動画を表示するための動画領域と、コメントを表示するためのコメント領域とが設けられているため、制御部340は、送受信部310が受信したライブ動画を動画領域に表示し、また、送受信部310が受信したコメントをコメント領域に表示する。このコメント領域は、最新のコメントが所定数だけ表示可能となっている。そのため、コメントが所定数に満たない間において、制御部340は、送受信部310がコメントを受信する度に、コメント領域に受信したコメントを順次追加する。そして、コメントが所定数に達した後において、制御部340は、送受信部310がコメントを受信する度に、後入れ先出し方式にて、古いコメントをコメント領域から消去し、新しいコメントをコメント領域に追加する。また、制御部340は、送受信部310が指令情報を受信した際に、その指令情報に従って、コメント領域における対象のコメントの表示態様を変更する。なお、上述したCPU 401等が、このような構成からなる制御部340として機能しうる。
表示部350は、上記の制御部340が実行するアプリケーションに応じた画面を表示する。例えば、制御部340にて動画閲覧アプリが実行されると、表示部350は、図8に示すような閲覧画面VG1を表示する。この閲覧画面VG1には、ライブ動画を表示するための動画領域VAと、投稿された所定数のコメントを表示するためのコメント領域CAとが含まれている。なお、コメント領域CAにおいて、配信者が反応したコメントDCには、他のコメントとは異なる表示態様にて表示されている。
(配信サーバ100の動作)
以下、配信サーバ100の動作について図9を参照して説明する。図9は、実施形態1に係る配信処理を説明するためのフローチャートである。この配信処理は、例えば、配信者端末200からライブ動画の提供が開始されると、配信サーバ100によって実行される。
以下、配信サーバ100の動作について図9を参照して説明する。図9は、実施形態1に係る配信処理を説明するためのフローチャートである。この配信処理は、例えば、配信者端末200からライブ動画の提供が開始されると、配信サーバ100によって実行される。
まず、配信サーバ100は、ライブ動画の配信を開始する(ステップS11)。すなわち、制御部140(配信制御部141)は、配信者端末200から提供されたライブ動画を受信部120にて受信すると、送信部110を制御して、受信したライブ動画を視聴者端末300へ配信する。
配信サーバ100は、新たなコメントを受信したか否かを判別する(ステップS12)。すなわち、制御部140(コメント管理部142)は、視聴者端末300から投稿されたコメントを受信部120にて受信したかどうかを判別する。
配信サーバ100は、新たなコメントを受信していないと判別すると(ステップS12;No)、後述するステップS14に処理を進める。
一方、新たなコメントを受信したと判別した場合(ステップS12;Yes)に、配信サーバ100は、コメント管理情報を更新し、受信したコメントを各端末へ送信する(ステップS13)。すなわち、制御部140(コメント管理部142)は、上述した図4に示すコメント管理情報131を更新する。つまり、コメント管理部142は、新たなコメントをコメント管理情報131に追加する(表示フラグ131dには、「1」をセットし、反応フラグ131eには、「0」をセットする)と共に、表示フラグ131dが「1」のコメントのうちで、受信時刻131bが最も古いコメントの表示フラグ131dを「0」に変更する。そして、制御部140は、新たなコメントを配信者端末200及び視聴者端末300へ送信する。
配信サーバ100は、配信者による発話があったか否かを判別する(ステップS14)。すなわち、制御部140(音声認識部143)は、ライブ動画において、配信者が発話したかどうかを判別する。
配信サーバ100は、配信者による発話がなかったと判別すると(ステップS14;No)、後述するステップS19に処理を進める。
一方、配信者による発話があったと判別した場合(ステップS14;Yes)に、配信サーバ100は、配信者の音声を音声認識して、発話テキストに変換する(ステップS15)。すなわち、制御部140(音声認識部143)は、例えば、配信者が発話した音声データを音素単位にそれぞれ分割し、標本音素の特徴分布と比較しつつ各音素を特定し、単語へのパターンマッチング等を経て、最終的に、配信者が発話した発話テキストを生成する。
配信サーバ100は、発話テキストと表示対象の各コメントとを比較する(ステップS16)。すなわち、制御部140(特定部144)は、上記のステップS15にて変換された発話テキストと、視聴者端末300のコメント領域にて現在表示されている各コメントとを比較する。より詳細に、制御部140は、まず、発話テキストを形態素解析してキーワード(一例として、名詞、名詞句等)を抽出する。次に、制御部140は、図4に示すコメント管理情報131を参照し、表示フラグ131dが「1」となっている各コメントを形態素解析してそれぞれのキーワードを抽出する。そして、制御部140は、発話テキストから抽出したキーワードと、各コメントからそれぞれ抽出したキーワードとを比較する。
配信サーバ100は、一致するコメントがあったか否かを判別する(ステップS17)。例えば、制御部140(特定部144)は、上記のステップS16での比較により、発話テキストに含まれるキーワードと一致するキーワードが含まれるコメントがあったかどうかを判別する。
配信サーバ100は、一致するコメントがなかったと判別すると(ステップS17;No)、後述するステップS19に処理を進める。
一方、一致するコメントがあったと判別した場合(ステップS17;Yes)に、配信サーバ100は、一致したコメントに対する表示の変更を各端末に指令する(ステップS18)。すなわち、制御部140(表示制御部145)は、一致したコメントの表示態様を変更するための指令情報を、視聴者端末300等へ送信することで、視聴者端末300のコメント領域において、配信者が反応したコメントの表示態様を異ならせる。例えば、指令情報を受信した視聴者端末300は、上述した図8に示す閲覧画面VG1のコメント領域CAにおいて、コメントDC(「駆動時間はどれくらい?」)の表示態様を変更して表示する。
配信サーバ100は、ライブ動画の配信が終了したか否かを判別する(ステップS19)。すなわち、制御部140(配信制御部141)は、配信者端末200から提供されるライブ動画が終了したかどうかを判別する。
配信サーバ100は、ライブ動画の配信が終了していないと判別すると(ステップS19;No)、上述したステップS12に処理を戻す。
一方、ライブ動画の配信が終了したと判別した場合(ステップS19;Yes)に、配信サーバ100は、配信処理を終了する。
このような配信処理によって、視聴者に投稿されたコメントのうち、配信者が反応したコメントを識別可能に表示することができる。しかも、配信者が反応したコメントを特定するに際して、コメント領域に表示されているコメントのみを対象とするため、発話テストとのマッチング精度を高めると共に、マッチングの処理をより高速に行うことができる。この結果、投稿されたコメントに配信者が反応したか否かを、高い精度で、かつ、低い演算負荷で判定することができる。
上記の実施形態1では、配信者が反応したコメントの表示態様を変更する場合について説明したが、他の観点でコメントの表示を制御してもよい。例えば、表示制御部145は、特定部144が特定したコメント(配信者が反応したコメント)を、標準よりも長時間に亘ってコメント領域に表示させるようにしてもよい。
より詳細に説明すると、表示制御部145は、特定部144が特定したコメントの受信時刻を本来の時刻よりも一定時間遅くする(新しくする)ための指令情報を視聴者端末300へ送信することで、視聴者端末300のコメント領域に特定したコメントがより長く表示されるようにする。また、この指令情報に、コメントの表示態様を変更するための第1指令情報と、コメントの受信時刻を本来の時刻よりも一定時間遅くするための第2指令情報とを含ませて、表示態様を変更したコメントが、標準よりも長時間に亘ってコメント領域に表示させるようにしてもよい。これらの場合、配信者が反応したコメントを優先して表示させることができる。
(実施形態2)
上記の実施形態1では、配信者が反応したコメントを特定した際に、そのコメントの表示を変更する場合について説明したが、配信者が反応したコメントをチャプタの設定に利用してもよい。以下、配信者が反応したコメントをチャプタの設定に利用することを特徴とする配信システムについて説明する。
上記の実施形態1では、配信者が反応したコメントを特定した際に、そのコメントの表示を変更する場合について説明したが、配信者が反応したコメントをチャプタの設定に利用してもよい。以下、配信者が反応したコメントをチャプタの設定に利用することを特徴とする配信システムについて説明する。
図10は、本開示の実施形態2に係る配信システム2の全体構成の一例を示す模式図である。この配信システム2は、一例として、ライブ動画を配信する配信サーバ500と、配信者に使用される配信者端末200と、視聴者に使用される視聴者端末300とがインターネット900を介して通信可能に接続されている。なお、配信者端末200、及び、視聴者端末300は、上記の実施形態1に係る配信システム1と同じ構成である。つまり、配信サーバ500だけが、図1の配信システム1と異なっている。
配信サーバ500も、上述した図2の情報処理装置400にて実現される。すなわち、情報処理装置400に電源が投入されると、実施形態2に係る配信サーバ500として機能させるプログラムが実行され、実施形態2に係る配信サーバ500が実現される。
(配信サーバ500の機能構成)
図11は、実施形態2に係る配信サーバ500の機能構成の一例を示すブロック図である。図示するように、配信サーバ500は、送信部110と、受信部120と、記憶部530と、制御部540とを備える。なお、送信部110、及び、受信部120は、上述した図3の配信サーバ100における送信部110、及び、受信部120と同じ構成である。
図11は、実施形態2に係る配信サーバ500の機能構成の一例を示すブロック図である。図示するように、配信サーバ500は、送信部110と、受信部120と、記憶部530と、制御部540とを備える。なお、送信部110、及び、受信部120は、上述した図3の配信サーバ100における送信部110、及び、受信部120と同じ構成である。
記憶部530は、配信サーバ500における処理に必要な種々の情報を記憶する。例えば、記憶部530は、コメント管理情報131とチャプタ管理情報531とを記憶する。なお、コメント管理情報131は、上述した図4のコメント管理情報131と同じ情報である。また、記憶部530は、ライブ動画の配信と並行してライブ動画を保存(録画)する。つまり、制御部540(配信制御部141)は、ライブ動画を配信しながら、記憶部530にライブ動画を保存する。これにより、後述するように、制御部540は、ライブ動画の配信中であっても、遅れて視聴を開始した視聴者が見逃した場面から視聴するために、いわゆる追いかけ再生を行った場合に、記憶部530に保存した分のライブ動画を用いた配信を行うことができる。この他も、ライブ動画の配信が終了した後に、視聴者がそのライブ動画(過去動画)をオンデマンド再生した場合に、制御部540は、記憶部530に保存したライブ動画を用いた配信を行うことができる。
チャプタ管理情報531は、ライブ動画を区切るためのチャプタを管理するための情報であり、一例として、図12に示すような情報を含んでいる。つまり、チャプタ管理情報531には、チャプタ番号531a、相対時刻531b、キーワード531c、及び、アドレス531d等の情報が含まれている。なお、相対時刻531bは、ライブ動画におけるチャプタの開始位置を示す時刻情報であり、ライブ動画の開始時点を基準とした相対的な時刻(先頭からの経過時刻)で示されている。また、キーワード531cは、チャプタを識別するための語句であり、また、チャプタ内で配信者によって言及される語句でもある。そして、アドレス531dは、チャプタの開始位置を指定してライブ動画を閲覧するためのURL(Uniform Resource Locator)である。なお、このURLの末尾に付加されている「?t=103」は、引数の一例であり、そのライブ動画の先頭から103秒(相対時刻531bの値を秒に変換したもの)が経過した位置から閲覧を開始することを規定している。
記憶部530は、この他にも、制御部540の処理に必要な種々の情報を記憶する。例えば、記憶部530は、視聴者端末300を使用する視聴者のIDやパスワード等を記憶する。また、記憶部530は、ライブ動画に関する情報も記憶する。なお、上述した補助記憶部407等が、このような記憶部530として機能しうる。
図11に戻って、制御部540は、配信サーバ500全体を制御する。この制御部540は、例えば、配信制御部141、コメント管理部142、音声認識部143、特定部144、及び、設定部541を含んでいる。なお、コメント管理部142、音声認識部143、及び、特定部144は、上述した図3の配信サーバ100(制御部140)におけるコメント管理部142、音声認識部143、及び、特定部144と同じ構成である。また、配信制御部141は、上述した配信サーバ100の配信制御部141の機能に加えて、以下の機能を更に有している。
配信制御部141は、ライブ動画を視聴者端末300へ配信しながら、記憶部530にライブ動画を保存する。また、以下に説明する設定部541が、ライブ動画にチャプタを設定した後において、そのライブ動画を、視聴者が追いかけ再生やオンデマンド再生した場合に、配信制御部141は、ライブ動画の再生位置を示すシークバーに、チャプタを表示する。これにより、後述するチャプタ情報(概要領域SAに表示されるチャプタ情報CD)への操作以外にも、視聴者が、シークバーをチャプタまで移動させることで、そのチャプタの開始位置からライブ動画を閲覧することができる。
設定部541は、特定部144が特定したコメントを受信した時刻に対応するライブ動画における相対時刻(つまり、ライブ動画の開始時刻を基準とした相対時刻)に基づいて、ライブ動画を区切るためのチャプタを設定する。例えば、設定部541は、上述した図12に示すようなチャプタ管理情報531を作成し、作成したチャプタ管理情報531をライブ動画の概要情報に付加することで、チャプタを設定する。
より具体的に、特定部144が、発話テキストから「駆動時間」等のキーワードを抽出しており、また、コメント領域にて現在表示されているコメントから「駆動時間はどれくらい?」というコメントを特定している場合を一例として説明する。なお、ライブ動画の開始時刻は「20:20:00」であり、ライブ動画のアドレスは「https://XXXX.com/AbCd1eFgH2IjK」であるものとする。この場合、設定部541は、まず、図4に示すコメント管理情報131における該当するコメント(コメント131cの「駆動時間はどれくらい?」というコメント)の受信時刻131bから、ライブ動画の開始時刻を減算することにより、ライブ動画における相対時刻を算出する。つまり、設定部541は、「20:21:43」から「20:20:00」を減算し、「0:01:43」を得ると、図12に示すチャプタ管理情報531における相対時刻531bにセットする。次に、設定部541は、特定部144がコメントを特定する際に用いたキーワード(つまり、「駆動時間」というキーワード)を、チャプタ管理情報531におけるキーワード531cにセットする。最後に、設定部541は、ライブ動画のアドレスに、引数の「?t=103」(先頭から103秒が経過した位置から閲覧を開始する)を付加し、チャプタ管理情報531におけるアドレス531dにセットする。
このようにして生成されたチャプタ管理情報531を、ライブ動画についての概要情報に付加することで、チャプタを設定する。例えば、図12に示すようなチャプタ管理情報531がライブ動画についての概要情報に付加された後に、視聴者端末300によってライブ動画が閲覧されると、視聴者端末300の表示部350は、図13に示すような閲覧画面VG2を表示する。この閲覧画面VG2には、ライブ動画を表示するための動画領域VAと、ライブ動画の概要を表示するための概要領域SAと、投稿された所定数のコメントを表示するためのコメント領域CAとが含まれている。なお、概要領域SAには、チャプタ情報CDが付加されている。このチャプタ情報CDには、チャプタ管理情報531におけるアドレス531dがリンク付けされており、視聴者がチャプタ情報CDをタッチ操作することで、そのチャプタの開始位置からライブ動画を閲覧することが可能となっている。
(配信サーバ500の動作)
以下、配信サーバ500の動作について図14を参照して説明する。図14は、実施形態2に係る配信処理を説明するためのフローチャートである。この配信処理は、例えば、配信者端末200からライブ動画の提供が開始されると、配信サーバ500によって実行される。なお、図14の配信処理におけるステップS11~S17、及び、ステップS19は、上述した図9の配信処理におけるステップS11~S17、及び、ステップS19と同じ処理内容である。そのため、同じ処理内容については、簡単に説明する。
以下、配信サーバ500の動作について図14を参照して説明する。図14は、実施形態2に係る配信処理を説明するためのフローチャートである。この配信処理は、例えば、配信者端末200からライブ動画の提供が開始されると、配信サーバ500によって実行される。なお、図14の配信処理におけるステップS11~S17、及び、ステップS19は、上述した図9の配信処理におけるステップS11~S17、及び、ステップS19と同じ処理内容である。そのため、同じ処理内容については、簡単に説明する。
まず、配信サーバ500は、ライブ動画の配信を開始し(ステップS11)、新たなコメントを受信したか否かを判別する(ステップS12)。
配信サーバ500は、新たなコメントを受信していないと判別すると(ステップS12;No)、後述するステップS14に処理を進める。一方、新たなコメントを受信したと判別した場合(ステップS12;Yes)に、配信サーバ500は、コメント管理情報を更新し、受信したコメントを各端末へ送信する(ステップS13)。
配信サーバ500は、配信者による発話があったか否かを判別する(ステップS14)。
配信サーバ500は、配信者による発話がなかったと判別すると(ステップS14;No)、後述するステップS19に処理を進める。一方、配信者による発話があったと判別した場合(ステップS14;Yes)に、配信サーバ500は、配信者の音声を音声認識して、発話テキストに変換する(ステップS15)。
配信サーバ500は、発話テキストと表示対象の各コメントとを比較し(ステップS16)、一致するコメントがあったか否かを判別する(ステップS17)。
配信サーバ500は、一致するコメントがなかったと判別すると(ステップS17;No)、後述するステップS19に処理を進める。
一方、一致するコメントがあったと判別した場合(ステップS17;Yes)に、配信サーバ500は、ライブ動画を区切るためのチャプタを設定する(ステップS21)。すなわち、制御部540(設定部541)は、一致するコメントを受信した時刻に対応するライブ動画における相対時刻(つまり、ライブ動画の開始時刻を基準とした相対時刻)に基づいて、ライブ動画を区切るためのチャプタを設定する。例えば、制御部540は、上述した図12に示すようなチャプタ管理情報531を作成し、作成したチャプタ管理情報531をライブ動画の概要情報に付加することで、チャプタを設定する。
配信サーバ500は、ライブ動画の配信が終了したか否かを判別する(ステップS19)。
配信サーバ500は、ライブ動画の配信が終了していないと判別すると(ステップS19;No)、上述したステップS12に処理を戻す。一方、ライブ動画の配信が終了したと判別した場合(ステップS19;Yes)に、配信サーバ500は、配信処理を終了する。
このような配信処理によって、配信者が反応したコメントを特定し、特定したコメントの受信時刻に対応するライブ動画の相対時刻に基づいて、ライブ動画を区切るためのチャプタを容易に設定することができる。つまり、配信者が反応した時刻ではなく、配信者が反応したコメントを受信した時刻を使用するため、コメントに反応する前の話題が分かる位置でチャプタが設定される。この結果、ライブ動画を区切るためのチャプタを、適切に設定することができる。また、従来では、配信者や視聴者等が手動でチャプタを設定していたため、大きな負担となっていたが、本実施形態によれば、自動的にチャプタを設定することが可能となるため、このような人的負担を解消することができる。
上記の実施形態2では、生成したチャプタ管理情報に基づいて、図13に示すような概要領域SAにチャプタ情報CDを付加する場合について説明したが、このようなチャプタ情報CDを含んだメッセージをSNS(Social Networking Service)に投稿できるようにしてもよい。チャプタ情報CDを含んだメッセージがSNSに投稿された後において、そのメッセージを閲覧した利用者が、チャプタ情報CDを操作することで、例えば、動画閲覧アプリが起動され、上記と同様に、チャプタの開始位置からライブ動画を閲覧することができる。
(他の実施形態)
上記の実施形態1,2では、ライブ動画における配信者の音声を音声認識した発話テキストと、表示中の各コメントとを比較して、配信者が反応したコメントを特定する場合について説明したが、他の手法で、配信者が反応したコメントを特定してもよい。例えば、配信者端末200にて、配信者が投稿されたコメントを任意に選択できるようにし、配信者によって選択されたコメントを、配信者が反応したコメントとして特定してもよい。
上記の実施形態1,2では、ライブ動画における配信者の音声を音声認識した発話テキストと、表示中の各コメントとを比較して、配信者が反応したコメントを特定する場合について説明したが、他の手法で、配信者が反応したコメントを特定してもよい。例えば、配信者端末200にて、配信者が投稿されたコメントを任意に選択できるようにし、配信者によって選択されたコメントを、配信者が反応したコメントとして特定してもよい。
より詳細に説明すると、配信者端末200の表示部270にも、視聴者端末300の表示部350と同様に、コメント領域を有しており、送受信部230が受信したコメント(投稿されたコメント)を表示する。そして、配信中の配信者が、コメント領域に表示されている何れかのコメントを選択すると、制御部260は、選択されたコメントを示す選択情報を、送受信部230を通じて配信サーバ100,500へ送信する。この選択情報を受信した配信サーバ100,500は、特定部144が、選択情報に基づいて、配信者が反応したコメントを特定する。この場合、配信者が反応したコメントを誤りなく特定することができる。
上記の実施形態1、2では、配信サーバ100,500の制御部140,540に、音声認識部143及び特定部144等が含まれており、配信サーバ100,500が、コメント(配信者が反応したコメント)を特定する場合について説明したが、音声認識部143及び特定部144等の構成を、配信者端末200の制御部260に追加することで、配信者端末200が、コメントを特定するようにしてもよい。
上記の実施形態1,2では、配信サーバ100,500等によって実行されるプログラムは、CD-ROM(Compact Disc Read Only Memory),DVD,MO(Magneto-Optical Disk),USBメモリ,メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、かかるプログラムを特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを上記の実施形態1,2における配信サーバ100,500として機能させることも可能である。
また、上記のプログラムをインターネットといった通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。また、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。さらに、プログラムの全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。
なお、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを上記の記録媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。
[1]
1以上のプロセッサを備え、
前記1以上のプロセッサの少なくとも一つによって、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
処理が実行されることを特徴とするサーバ装置。
[2]
前記表示の制御は、前記特定したコメントの表示態様を、他のコメントの表示態様とは異ならせるように変化させる制御である、
ことを特徴とする[1]に記載のサーバ装置。
[3]
前記表示の制御は、前記特定したコメントを前記コメント領域に標準よりも長時間に亘って表示させる制御である、
ことを特徴とする[1]又は[2]に記載のサーバ装置。
[4]
前記コメントの特定では、前記発話テキストに含まれるキーワードと、前記各コメントにそれぞれ含まれるキーワードとを比較して一致したキーワードが含まれるコメントを、前記配信者が反応したコメントとして特定する、
ことを特徴とする[1]乃至[3]の何れか1つに記載のサーバ装置。
[5]
コンピュータが、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
ことを特徴とする表示制御方法。
[6]
コンピュータに、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
1以上のプロセッサを備え、
前記1以上のプロセッサの少なくとも一つによって、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
処理が実行されることを特徴とするサーバ装置。
[2]
前記表示の制御は、前記特定したコメントの表示態様を、他のコメントの表示態様とは異ならせるように変化させる制御である、
ことを特徴とする[1]に記載のサーバ装置。
[3]
前記表示の制御は、前記特定したコメントを前記コメント領域に標準よりも長時間に亘って表示させる制御である、
ことを特徴とする[1]又は[2]に記載のサーバ装置。
[4]
前記コメントの特定では、前記発話テキストに含まれるキーワードと、前記各コメントにそれぞれ含まれるキーワードとを比較して一致したキーワードが含まれるコメントを、前記配信者が反応したコメントとして特定する、
ことを特徴とする[1]乃至[3]の何れか1つに記載のサーバ装置。
[5]
コンピュータが、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
ことを特徴とする表示制御方法。
[6]
コンピュータに、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
本開示は、配信中に投稿されたコメントの表示を制御する動画配信に好適に採用され得る。
1,2 配信システム
100,500 配信サーバ
110 送信部
120 受信部
130,530 記憶部
131 コメント管理情報
531 チャプタ管理情報
140,540 制御部
141 配信制御部
142 コメント管理部
143 音声認識部
144 特定部
145 表示制御部
541 設定部
200 配信者端末
210 撮影部
220 音声入力部
230 送受信部
240 操作受付部
250 記憶部
260 制御部
261 合成部
262 配信部
270 表示部
300 視聴者端末
310 送受信部
320 操作受付部
330 記憶部
340 制御部
350 表示部
400 情報処理装置
401 CPU
402 ROM
403 RAM
404 NIC
405 画像処理部
406 音声処理部
407 補助記憶部
408 インターフェース
409 撮影ユニット
410 音声ユニット
411 操作ユニット
412 表示ユニット
900 インターネット
100,500 配信サーバ
110 送信部
120 受信部
130,530 記憶部
131 コメント管理情報
531 チャプタ管理情報
140,540 制御部
141 配信制御部
142 コメント管理部
143 音声認識部
144 特定部
145 表示制御部
541 設定部
200 配信者端末
210 撮影部
220 音声入力部
230 送受信部
240 操作受付部
250 記憶部
260 制御部
261 合成部
262 配信部
270 表示部
300 視聴者端末
310 送受信部
320 操作受付部
330 記憶部
340 制御部
350 表示部
400 情報処理装置
401 CPU
402 ROM
403 RAM
404 NIC
405 画像処理部
406 音声処理部
407 補助記憶部
408 インターフェース
409 撮影ユニット
410 音声ユニット
411 操作ユニット
412 表示ユニット
900 インターネット
Claims (6)
- 1以上のプロセッサを備え、
前記1以上のプロセッサの少なくとも一つによって、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
処理が実行されることを特徴とするサーバ装置。 - 前記表示の制御は、前記特定したコメントの表示態様を、他のコメントの表示態様とは異ならせるように変化させる制御である、
ことを特徴とする請求項1に記載のサーバ装置。 - 前記表示の制御は、前記特定したコメントを前記コメント領域に標準よりも長時間に亘って表示させる制御である、
ことを特徴とする請求項1に記載のサーバ装置。 - 前記コメントの特定では、前記発話テキストに含まれるキーワードと、前記各コメントにそれぞれ含まれるキーワードとを比較して一致したキーワードが含まれるコメントを、前記配信者が反応したコメントとして特定する、
ことを特徴とする請求項1に記載のサーバ装置。 - コンピュータが、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
ことを特徴とする表示制御方法。 - コンピュータに、
配信者から提供されるライブ動画を、所定数のコメントが表示可能となるコメント領域を有している視聴者端末へ配信し、
前記ライブ動画の配信中に、前記視聴者端末から投稿されたコメントを受信し、
前記受信したコメントを、前記コメント領域へ後入れ先出し方式にて追加させるために前記視聴者端末へ送信し、
配信中の前記ライブ動画において、前記配信者が発話する度に、前記配信者の音声を音声認識して得られた発話テキストと、前記コメント領域に現在表示されている各コメントとを比較することにより、前記配信者が反応したコメントを特定し、
前記特定したコメントの表示を制御する、
処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/025649 WO2024004007A1 (ja) | 2022-06-28 | 2022-06-28 | 配信中に投稿されたコメントの表示を制御する動画配信 |
JP2024524383A JPWO2024004007A1 (ja) | 2022-06-28 | 2022-06-28 | |
US17/921,519 US20240223842A1 (en) | 2022-06-28 | 2022-06-28 | Video distribution in which display of comments posted during distribution is controlled |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/025649 WO2024004007A1 (ja) | 2022-06-28 | 2022-06-28 | 配信中に投稿されたコメントの表示を制御する動画配信 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024004007A1 true WO2024004007A1 (ja) | 2024-01-04 |
Family
ID=89381803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/025649 WO2024004007A1 (ja) | 2022-06-28 | 2022-06-28 | 配信中に投稿されたコメントの表示を制御する動画配信 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240223842A1 (ja) |
JP (1) | JPWO2024004007A1 (ja) |
WO (1) | WO2024004007A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019216249A1 (ja) * | 2018-05-07 | 2019-11-14 | 株式会社エクシヴィ | 所定のコンテンツを有する仮想空間を提供する方法 |
JP2021087789A (ja) * | 2021-01-26 | 2021-06-10 | 株式会社コロプラ | 視聴プログラム、配信プログラム、視聴プログラムを実行する方法、配信プログラムを実行する方法、情報処理装置、および情報処理システム |
JP2021124809A (ja) * | 2020-02-03 | 2021-08-30 | 靖宜 下岡 | eラーニング、ファンクラブ及びクラウドファンディングの連携方法及びシステム |
-
2022
- 2022-06-28 JP JP2024524383A patent/JPWO2024004007A1/ja active Pending
- 2022-06-28 WO PCT/JP2022/025649 patent/WO2024004007A1/ja active Application Filing
- 2022-06-28 US US17/921,519 patent/US20240223842A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019216249A1 (ja) * | 2018-05-07 | 2019-11-14 | 株式会社エクシヴィ | 所定のコンテンツを有する仮想空間を提供する方法 |
JP2021124809A (ja) * | 2020-02-03 | 2021-08-30 | 靖宜 下岡 | eラーニング、ファンクラブ及びクラウドファンディングの連携方法及びシステム |
JP2021087789A (ja) * | 2021-01-26 | 2021-06-10 | 株式会社コロプラ | 視聴プログラム、配信プログラム、視聴プログラムを実行する方法、配信プログラムを実行する方法、情報処理装置、および情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2024004007A1 (ja) | 2024-01-04 |
US20240223842A1 (en) | 2024-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019205872A1 (zh) | 视频流处理方法、装置、计算机设备及存储介质 | |
US10019989B2 (en) | Text transcript generation from a communication session | |
CN104869467B (zh) | 媒体播放中的信息输出方法、装置和*** | |
US9736552B2 (en) | Authoring system for IPTV network | |
CN111050201B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
US20120033133A1 (en) | Closed captioning language translation | |
CN110913241B (zh) | 一种视频检索方法、装置、电子设备及存储介质 | |
CN102802044A (zh) | 视频处理方法、终端及字幕服务器 | |
US9386278B2 (en) | Teleconference method, storage medium storing program for teleconference, and terminal apparatus | |
CN106572395A (zh) | 一种视频处理方法和装置 | |
WO2020207080A1 (zh) | 视频拍摄方法、装置、电子设备及存储介质 | |
CN109474843A (zh) | 语音操控终端的方法、客户端、服务器 | |
GB2510116A (en) | Translating the language of text associated with a video | |
US20240107087A1 (en) | Server, terminal and non-transitory computer-readable medium | |
CN113992926B (zh) | 界面显示方法、装置、电子设备和存储介质 | |
TW201225669A (en) | System and method for synchronizing with multimedia broadcast program and computer program product thereof | |
CN110149528B (zh) | 一种过程录制方法、装置、***、电子设备、及存储介质 | |
WO2024004007A1 (ja) | 配信中に投稿されたコメントの表示を制御する動画配信 | |
US20230336842A1 (en) | Information processing apparatus, information processing method, and program for presenting reproduced video including service object and adding additional image indicating the service object | |
WO2024004008A1 (ja) | 配信中における配信者の反応に基づいてチャプタを設定する動画配信 | |
CN114341866A (zh) | 同声传译方法、装置、服务器和存储介质 | |
CN112004100B (zh) | 将多路音视频源集合成单路音视频源的驱动方法 | |
CN115243087A (zh) | 音视频合拍处理方法、装置、终端设备及存储介质 | |
CN115315960A (zh) | 内容修正装置、内容发布服务器、内容修正方法以及记录介质 | |
CN112584225A (zh) | 视频录制处理方法、视频播放控制方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 17921519 Country of ref document: US |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22949286 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2024524383 Country of ref document: JP Kind code of ref document: A |