WO2022163023A1 - コンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、および、記録媒体 - Google Patents
コンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、および、記録媒体 Download PDFInfo
- Publication number
- WO2022163023A1 WO2022163023A1 PCT/JP2021/036472 JP2021036472W WO2022163023A1 WO 2022163023 A1 WO2022163023 A1 WO 2022163023A1 JP 2021036472 W JP2021036472 W JP 2021036472W WO 2022163023 A1 WO2022163023 A1 WO 2022163023A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- content
- complaint
- data
- information
- subject
- Prior art date
Links
- 238000012937 correction Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title abstract description 11
- 238000003860 storage Methods 0.000 claims abstract description 56
- 238000009826 distribution Methods 0.000 claims description 99
- 230000004048 modification Effects 0.000 claims description 4
- 238000003702 image correction Methods 0.000 description 48
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 239000000470 constituent Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
- H04N21/2743—Video hosting of uploaded data from client
Definitions
- the present invention relates to a content correction device, a content distribution server, a content generation method, and a recording medium.
- a distributor when a distributor uploads video content to a distribution server and starts distributing the content, they may receive complaints about the contents of the content. For example, if a copyrighted song is used without permission in the content, or if a person who did not want to appear in the content appears in the video of the content, a complaint will be sent to the content. .
- Such complaints can be delivered to the distributor by, for example, submitting a complaint to the distribution server by a person who wishes to raise an objection to the contents of the content, or by sending a message raising an objection on SNS or the like.
- the easiest and simplest response is to delete the content itself that has received complaints, but some distributors may want to continue to distribute the content by modifying a part of the content. many.
- the distributor may edit the target content by himself, apply mosaic to a part, delete the corresponding frame, or superimpose a sound effect or self-restraint sound (such as a beep sound) on a part of the sound. may be modified by
- Uniformly correcting part of the content as described above could result in the loss of the content's dignity and interest.
- the present invention has been made in view of the above circumstances, and provides a content correction device, a content distribution server, a content correction method, and a recording medium for correcting a content subject to claims without impairing the quality and interest of the content. intended to provide
- a content correction device includes an acquisition unit that acquires complaint information including at least information to be complained and identification information of the content to be complained, and data of a plurality of distributed contents are recorded. Acquiring the data of the content subject to the complaint from the storage unit based on the identification information of the content subject to the complaint, and modifying the time line of the content subject to the complaint based on the information of the content subject to the complaint to include the subject of the complaint. and a first content data for correcting the claim target included in the correction target period from the storage unit, and using at least a part of the first content to determine the claim target a modified content generating unit that generates second content that is not included and records the data of the second content in the storage unit as the data of the content.
- the information subject to complaint includes at least one of image information subject to complaint, information about sound subject to complaint, and period subject to complaint.
- the specifying unit specifies timing at which a predetermined operation is started in the correction target period
- the corrected content generation unit includes the Data of the first content including a predetermined action is obtained from the storage unit, and the timing of the predetermined action in the first content is trimmed so as to match the timing of the predetermined action in the correction target period.
- the correction target period is corrected using at least one of an image and a sound of the part of the first content.
- the specifying unit specifies the feature to be claimed
- the corrected content generation unit specifies the feature to be claimed.
- at least one of the first contents is selected from data of the plurality of contents that have already been distributed and recorded in the storage unit.
- the specifying unit associates the complaint information with the data of the content specified as the content subject to the complaint. and the corrected content generation unit records the content in a storage unit, and the corrected content generation unit generates the content for which a predetermined period or more has passed since the start of distribution and does not have the complaint information, among the plurality of distributed contents recorded in the storage unit; Alternatively, the content having a number of viewing times equal to or greater than a predetermined number and having no complaint information is taken as a candidate for the first content.
- the claim target is a claim target image
- the specifying unit comprises the claim target image in a frame of the correction target period.
- the modified content generation unit trims an image corresponding to the complaint target area from the frame of the first content, and uses the trimmed image to define the complaint target area. generating the modified second content;
- a content distribution server is a content correction device according to any one of the first to sixth aspects, a distribution unit capable of distributing data of the content recorded in the storage unit, and requesting distribution a distribution control unit that controls the distribution unit to distribute the data of the content to viewer terminals.
- a content correction method obtains complaint information including at least information to be complained and identification information of the content to be complained, obtaining data of the content subject to the complaint based on the identification information of the content subject to the complaint, and specifying a correction target period including the subject of the complaint on the timeline of the content subject to the complaint based on the information of the subject of the complaint. obtaining data of a first content for correcting the object of complaint included in the period to be corrected from the storage unit, and using at least a part of the first content to obtain second content that does not include the object of complaint; and records the data of the second content in the storage unit as the data of the content.
- a computer-readable recording medium comprises: a computer; an acquisition function for acquiring claim information including at least claim-target information and claim-target content identification information; Acquiring the data of the content subject to the complaint based on the identification information of the content subject to the complaint from the storage unit in which the data of the content is recorded, and acquiring the data of the content subject to the complaint based on the information subject to the complaint on the timeline of the content subject to the complaint.
- a content correction device it is possible to provide a content correction device, a content distribution server, a content correction method, and a recording medium for correcting a content subject to complaints without impairing the quality and interest of the content.
- FIG. 1 is a diagram schematically showing one configuration example of a content distribution system including a content correction device and a content distribution server according to one embodiment.
- FIG. 2 is a diagram schematically showing a configuration example of the content distribution server shown in FIG. 1.
- FIG. 3 is a flowchart for explaining an example of a content correction method according to one embodiment.
- FIG. 4 is a diagram for explaining an example of operations for correcting content by the content correction device and the content distribution server according to the embodiment.
- FIG. 5 is a diagram for explaining an example of operations for correcting content by the content correction device and the content distribution server according to the embodiment.
- FIG. 6 is a diagram for explaining an example of operations for correcting content by the content correction device and the content distribution server according to the embodiment.
- FIG. 7 is a diagram for explaining an example of operations for correcting content by the content correction device and the content distribution server according to the embodiment.
- FIG. 8 is a diagram for explaining an example of operations for correcting content by the content correction device and the content distribution server according
- FIG. 1 is a diagram schematically showing one configuration example of a content distribution system including a content correction device and a content distribution server according to one embodiment.
- the content distribution system of this embodiment includes a distributor terminal 10 and a content distribution server 20 .
- the distributor terminal 10 can be communicatively connected to the content distribution server 20 via a network.
- the distributor terminal 10 is an electronic device such as a computer connected to a video source such as a video camera, such as a television receiver (including Internet television), a PC (Personal Computer), a mobile terminal (such as a tablet, a smartphone, laptops, feature phones, portable game machines, digital music players, electronic book readers, etc.), VR (Virtual Reality) terminals, AR (Augmented Reality) terminals, etc., but are not limited to these.
- the distributor terminal 10 can sequentially transmit the encoded video data output from the video source to the content distribution server 20 .
- the content distribution server 20 can be communicatively connected to the distributor terminal 10 and the viewer terminal 30 via a network.
- the content distribution server 20 can include a processor that executes programs that implement various functions described later, and a memory that stores the programs.
- the processor is typically a CPU (Central Processing Unit) and/or GPU (Graphics Processing Unit), but may be a microcomputer, FPGA (Field Programmable Gate Array), or DSP (Digital Signal Processor), etc. .
- the memory also records a program executed by the processor to realize the operation of the content distribution server 20, and temporarily stores data used by the processor.
- the program may be recorded on a recording medium readable by the content distribution server (computer) 20 .
- the processor can realize various functions by executing the program read from the recording medium.
- the content distribution server 20 of this embodiment may include a content correction device.
- the viewer terminal 30 can be communicatively connected to the content distribution server 20 via a network.
- the viewer terminal 30 is an electronic device such as a computer, such as a television receiver (including Internet television), a PC (Personal Computer), a mobile terminal (for example, a tablet, a smartphone, a laptop, a feature phone, Portable game machines, digital music players, electronic book readers, smart watches, etc.), VR (Virtual Reality) terminals, AR (Augmented Reality) terminals, etc., but are not limited to these.
- the number of viewer terminals 30 connected to the network may be zero, or may be increased or decreased at any time.
- FIG. 2 is a diagram schematically showing a configuration example of the content distribution server shown in FIG. 1.
- the content distribution server 20 includes an acquisition unit 21 (first acquisition unit 211 and second acquisition unit 212), a distribution control unit 22, a generation unit 23, a distribution unit 24, a specification unit 26, and a corrected content generation unit 27. , and a storage unit 25 .
- the content correction device of this embodiment can include at least the second acquisition unit 212 , the identification unit 26 , and the correction content generation unit 27 .
- the content correction device may be configured integrally with the content distribution server 20, and the content correction device and the content distribution server 20 may share one or more configurations. Also, the content correction device may be externally attached to the content distribution server 20 and connected to the content distribution server 20 so as to be communicable.
- the content distribution server 20 may further include a communication unit (not shown) connectable to a network.
- the communication unit can communicate with the distributor terminal 10 and the viewer terminal 30 via the network, and can include a first acquisition unit 211 and a second acquisition unit 212 .
- the communication unit receives video data from the distributor terminal 10, receives a distribution request from the viewer terminal 30, and communicates with the distributor terminal 10 for approval of the second content. or
- the communication unit transmits the distribution request received from the viewer terminal 30 to the distribution control unit 22 .
- the storage unit 25 may be built in the content distribution server 20 or may be externally attached to the content distribution server 20 .
- the storage unit 25 may include, for example, a non-volatile storage medium such as a HDD (Hard Disk Drive) or an SSD (Solid State Drive).
- the storage unit 25 may include an area for accumulating data of a plurality of content such as video and audio distributed in the past.
- content data associates content data with content tag information, distributor identification information, category information, distribution start date and time information, editing history information, number of views, number of viewers, comment information, and complaint information. can be recorded in the storage unit 25.
- the storage unit 25 may be shared by the content distribution server 20 and the content correction device, or the storage unit 25 may be provided in each of the content distribution server 20 and the content correction device. Further, the content data stored in the storage unit 25 is not limited to the data of the content distributed by the content distribution server 20. For example, the data of the distributed content is processed or edited. Alternatively, content data corrected by a content correction device or content data before distribution may be stored.
- the first acquisition unit 211 can receive content data sequentially transmitted from the distributor terminal 10 via the network.
- the first acquisition unit 211 can receive content data such as video data and audio data for real-time distribution from the distributor terminal 10 .
- the first acquisition unit 211 can receive input information such as comments that are sequentially transmitted from the viewer terminal 30 via the network.
- the first acquisition unit 211 transmits input information such as received content data and comments to the generation unit 23 .
- the generation unit 23 receives the content data and the input information from the first acquisition unit 211, and generates distribution content data that enables the viewer terminal 30 to generate content data in which the input information is superimposed on the video data. can be done. Further, the generation unit 23 may generate, for example, moving image data in which input information is superimposed on moving image data as content data for distribution. The generation unit 23 may synthesize the input information with the moving image data using, for example, known techniques such as alpha blending and picture-in-picture. The generation unit 23 transmits the generated content data for distribution to the distribution unit 24 . Further, the generation unit 23 can record the generated distribution content data in the storage unit 25 .
- the generation unit 23 may resize part or all of the screen of the reproduced video of the moving image data, or trim a part of the screen so that it can be combined with the input information. may be combined with the input information so that part of is exposed and the rest is hidden.
- the generating unit 23 generates and distributes a plurality of distribution content data with different images to be displayed in order to enable distribution by switching between a plurality of distribution content data in response to a distribution request from the viewer terminal 30. You may transmit to the part 24.
- the generating unit 23 generates, for example, content data for distribution generated without superimposing the input information on the image data and content data for distribution generated by superimposing the input information on the image data, and sends them to the distribution unit 24. You may send.
- the distribution unit 24 is communicably connected to the network, receives distribution content data from the generation unit 23, and can distribute it to the viewer terminal 30 that has received a distribution request for the distribution content data. Also, the distribution unit 24 can acquire distribution content data recorded in the storage unit 25 and distribute it to the viewer terminal 30 that has received a distribution request for the distribution content data.
- the delivery unit 24 is controlled by the delivery control unit 22, for example, the delivery destination of the content data for delivery.
- the distribution unit 24 may immediately discard the distribution content data that has already been distributed, but may buffer the data for a predetermined period of time to enable replay or slow-motion reproduction, for example.
- the distribution control unit 22 controls distribution of distribution data.
- the distribution control unit 22 includes, for example, a clock (not shown), compares time information obtained from the clock with a time frame allocated for image data distribution, and manages the start and end of image data distribution.
- the distribution control unit 22 also receives a distribution request from the viewer terminal 30 from the communication unit and controls the distribution unit 24 so that the image data is distributed to the viewer terminal 30 .
- the second acquisition unit 212 receives complaint information about the distributed content.
- the second acquisition unit 212 transmits the received complaint information to the identification unit 26 .
- the complaint information acquired by the second acquisition unit 212 may include, for example, at least identification information of the content subject to the complaint and information of the subject of the complaint. It may further include detailed information such as
- the claim information may include identification information indicating that the claim is determined to be valid based on the Copyright Act, the Digital Millennium Copyright Act (DMCA), etc. in advance.
- the complaint target information includes at least one of complaint target image information, complaint target audio information, and complaint target period information.
- the second acquisition unit 212 may receive only complaint information that satisfies a predetermined condition.
- the second acquisition unit 212 may, for example, receive only complaint information from a pre-registered complaint originator, or may receive only complaint information that has been determined to be a valid complaint, for example.
- the identifying unit 26 identifies the content subject to complaint based on the complaint information received from the second acquisition unit 212, and also determines the correction target period of the identified content subject to complaint (at least one of the image correction target period and the audio correction target period). (including A plurality of correction target periods may be included in one complaint target content.
- the identification unit 26 can identify the content in question from the content data stored in the storage unit 25 by using the identification information of the content in question included in the complaint information.
- the identifying unit 26 may record corresponding complaint information in the storage unit 25 in association with the identified content data.
- the specifying unit 26 can specify the image correction target period on the timeline of the complaint subject content, for example, based on the complaint subject image information included in the complaint information. Further, for example, when the complaint information includes an image targeted for complaint, the identification unit 26 recognizes the image targeted for complaint included in the image of the content targeted for complaint, and recognizes the image targeted for complaint included in the image targeted for complaint in the timeline of the content. The period corresponding to the frame in which the Furthermore, the specifying unit 26 may specify an area (a part) of a frame that includes the image for complaint within the image correction target period. In that case, the information on the image correction target period includes information on the claim target area in the frame within the image correction target period.
- the specifying unit 26 may detect the timing at which an arbitrary action of the complaint target image starts at the timing at which the image correction target period starts. For example, at the timing when the image correction target period starts, it may be detected that a person starts talking, starts dancing, starts walking, starts running, or eats. An action to start, an action to start playing a game, an action of an image displayed on a game play screen, and the like may be detected.
- the identifying unit 26 includes identification information for identifying the detected motion in the information of the image correction target period.
- the specifying unit 26 may detect the timing at which the image movement starts over the entire period of the image correction target period. In this case, the specifying unit 26 includes identification information for identifying the detected motion and information on the start timing of the motion in the information on the image correction target period.
- the identification unit 26 determines the gender, age group, height, clothes color, hair, eye, skin color, etc. of the person or character to be the object of the objection from the objectionable object image or the image of the entire frame including the objectionable object image.
- a feature, or a feature such as the background of the image may be identified.
- the specifying unit 26 selects the complaint target image. characteristics such as category, color, size, etc. of the object may be specified.
- the identification unit 26 when the identification unit 26 identifies the features of a person or object that is the subject of a complaint and the features of an image that is not the subject of a complaint, the identification unit 26 can include identification information for identifying the identified features in the information of the image correction target period.
- the specifying unit 26 can specify the audio correction target period on the timeline of the content subject to complaint, for example, based on the information about the voice subject to complaint included in the complaint information. For example, when the complaint information includes the complaint-targeted voice, the specifying unit 26 recognizes the complaint-targeted voice included in the complaint-targeted content, and determines whether the complaint-targeted voice is included in the timeline of the content data. Let the period be the period for voice correction.
- the information of the sound subject to the complaint includes the producer of the media such as records and CDs, information on the director, date of production, information on the composer and lyricist, information on the performer or singer in another performance of the song, and the performance It may include information such as performers and singers, label information, titles of songs, lyrics or part of lyrics, common names and common names of songs, and information such as TV programs and movies in which the songs are used.
- the identification unit 26 may obtain the necessary information via the network.
- the content subject to the complaint may, for example, use arranged versions of copyrighted music, or may include audio that covers copyrighted music.
- game music may be arranged in a jazz style or played by an orchestra, or a male singer's song may be covered by a female.
- the identification unit 26 not only recognizes the voice subject to the complaint but also recognizes the voice that arranges or covers the voice subject to the complaint. It may be a period.
- the identifying unit 26 can identify the sound that arranges or covers the sound that is the subject of the complaint, for example, by analyzing the melody (morphological analysis) or recognizing the lyrics from the sound of the content that is the subject of the complaint.
- the related rights to the musical composition may not be included in the audio data of the subject content.
- the system may specify the timeline including the performance by the specifying unit 26, and set it as the voice correction target period. The same applies to other embodiments in that a piece of music for which copyright related rights exist is subject to correction.
- the identifying unit 26 may detect, for example, the characteristics of the complaint target voice (conversation, music genre, gender, language) at the timing when the voice correction target period starts.
- the identifying unit 26 can include identification information for identifying the identified feature in the information on the sound correction target period.
- the identification unit 26 includes a trained model that identifies the behavior and features of the complaint target image during the image correction target period, or the features of the arranged or covered (arranged, etc.) voice and voice during the sound correction target period.
- a trained model for example, uses deep learning such as a convolution neural network (CNN) to input content data that satisfies predetermined conditions, and identifies actions, arrangements, etc., and features in reproduced images or sounds of the content data. It is a trained model that When a plurality of actions, arrangements, etc., and features are assumed in the content data, the identifying unit 26 may have a plurality of trained models corresponding to the plurality of actions, arrangements, etc., and features, respectively.
- CNN convolution neural network
- the specifying unit 26 may set the period corresponding to the complaint target period on the timeline of the complaint target content as the image correction target period and the audio correction target period, for example, based on the complaint target period included in the complaint information.
- the specifying unit 26 transmits information on at least one of the image correction target period and the audio correction target period and the data of the content subject to the complaint to the correction content generation unit 27 .
- the correction content generation unit 27 Based on the information of at least one of the image correction target period and the audio correction target period received from the specifying unit 26 and the data of the target content, the correction content generation unit 27 generates the first content (correction content) used for correction. set the conditions for
- the corrected content generation unit 27 generates content that has been delivered for a predetermined period of time or more and has no complaints, or content that has been viewed more than a predetermined number of times. Contents without complaints are candidates for the first content.
- the corrected content generation unit 27 selects the first content from among the candidates for the first content, using information such as the genre, tag, and distributor of the content subject to complaint, and information regarding the image correction target period and the audio correction target period. Select at least one.
- the modified content generator 27 may select multiple pieces of the first content.
- the corrected content generation unit 27 may select content having the same genre and tag as the content subject to complaint as the first content, or may select content from the same distributor as the content subject to complaint as the first content. good.
- the correction content generation unit 27 generates an image similar to the complaint target image in the image correction target period (common actions and features are more common) based on the action information and feature information of the complaint target image included in the image correction target period information.
- a content that includes at least a portion of a large number of images) may be selected as the first content.
- the correction content generating unit 27 includes sound close to the complaint-targeted sound in the sound correction target period (sound with more common features) based on the characteristic information of the complaint-targeted sound included in the information on the sound correction target period. Content may be selected as the first content.
- it is desirable that the corrected content generation unit 27 selects content sufficiently longer than the image correction target period and the audio correction target period as the first content.
- the corrected content generating unit 27 may include a trained model that identifies content having predetermined motions or features of images or features of audio from candidates for the first content.
- a trained model for example, by deep learning such as a convolution neural network (CNN: Convolution Neural Network), is input with content data that satisfies predetermined conditions, and is trained to identify actions and features in the reproduced image or sound of the content data.
- CNN Convolution Neural Network
- the modified content generator 27 can have a plurality of trained models corresponding to a plurality of actions and features.
- the correction content generation unit 27 may synthesize the content subject to complaint and the partial image of the content for correction by replacing the frame of the image correction target period with the image of the partial period of the content for correction. .
- the corrected content generation unit 27 may synthesize a part of the image of the first content with the part of the image to be claimed in the image correction target period using a known technique such as alpha blending or picture-in-picture. good.
- the correction content generation unit 27 cuts the frame of the image correction target period of the content subject to complaint, trims the frame of the period corresponding to the image correction target period from the selected content for correction, and generates the frame of the image correction target period. (or by superimposing the trimmed frame on the frame of the image correction target period), the second content (corrected content) corrected so as not to include the claim target image can be generated.
- the modified content generation unit 27 can generate a plurality of second contents using a partial period of each of the plurality of first contents. Further, the corrected content generating section 27 may generate a plurality of second contents by trimming images of a plurality of periods from one first content.
- the correction content generation unit 27 causes the start timing of the predetermined action corresponding to the image of the first content to match the start timing of the action of the image correction target period. set the period for trimming the image from the first content, and replace the frame of the image correction target period (or the image subject to complaint) with the trimmed image from the content for correction (or superimpose the trimmed image) and) may generate secondary content.
- the correction content generation unit 27 trims the area corresponding to the feature of the complaint target image from the image of the first content
- the second content may be generated by replacing (or superimposing) an area trimmed from the image of the first content on the complaint target area in the frame of the image correction target period.
- the corrected content generation unit 27 may adjust the size by enlarging or reducing the image trimmed from the image of the first content according to the size of the complaint target area in the image correction target period.
- the correction content generation unit 27 cuts the sound in the sound correction target period of the content subject to complaint, trims the sound in the period corresponding to the sound correction target period trimmed from the selected correction content, and reproduces the sound in the period corresponding to the sound correction target period.
- a second content modified so as not to include the complained audio can be generated.
- the modified content generating section 27 can generate a plurality of second contents using a partial period of each of the plurality of first contents. Further, the modified content generating section 27 may generate a plurality of second contents using a plurality of periods of one first content.
- the correction content generation unit 27 trims part of the sound from the correction content so that, for example, the start timing of the conversation or music in the sound of the first content coincides with the start timing of the conversation or music in the image correction target period. Then, the content may be corrected by replacing the audio in the image correction target period with the trimmed portion of the first content.
- the modified content generation unit 27 records at least one piece of data of the generated second content in the storage unit 25 .
- the corrected content generation unit 27 deletes the original content data before correction when recording the second content data, and records the second content data in the storage unit 25 as content data instead of the original content.
- the data of the second content may be recorded in the storage unit 25 in association with the original content before correction.
- the corrected content generation unit 27 may record information indicating that the complaint information has been dealt with in the storage unit 25 together with the data of the second content.
- the modified content generation unit 27 may present the generated second content to the distributor terminal 10 so that the distributor can select whether or not to modify it.
- the modified content generator 27 can present one or more second contents to the distributor terminal 10 .
- the modified content generation unit 27 may present at least the modified part of the second content to the distributor terminal 10 .
- the distributor terminal 10 transmits, to the corrected content generation unit 27, information about whether or not the content can be corrected, and the second content to be selected if the content can be corrected.
- the modified content generation unit 27 can record the selected second content in the storage unit 25 .
- FIG. 3 is a flowchart for explaining an example of a content correction method according to one embodiment.
- 4 to 8 are diagrams for explaining an example of operations for correcting content by the content correction device and the content distribution server according to one embodiment.
- second content modified by synthesizing a part of the frame or image of the first content with at least a part of the frame of the image correction target period of the content subject to complaint will be described below.
- 4 and 8 show an example of correcting a part of the image of the content subject to complaint. Modification is also possible.
- the second acquisition unit 212 of the content distribution server 20 acquires complaint information (step S1).
- the second acquisition unit 212 may receive, for example, only complaint information from a pre-registered complaint originator, or may receive only complaint information that has been determined to be a valid complaint, for example. .
- the second acquisition unit 212 transmits the received complaint information to the identification unit 26 .
- the specifying unit 26 uses the identification information of the complained content included in the complaint information received from the second acquisition unit 212 to specify the target content from the content data stored in the storage unit 25 (step S2).
- the specifying unit 26 specifies the image correction target period of the content subject to complaint based on the information of the image subject to complaint included in the complaint information, for example. Note that, for example, if the complaint information includes information on a complaint target period (a time slot for a complaint on the timeline) in advance, the specifying unit 26 may set the complaint target period as the image correction target period (step S3 ).
- Fig. 4 shows an example of a complaint target image included in the complaint information.
- the complained image is an image of a person.
- the specifying unit 26 specifies a frame in which the image to be complained in the content to be complained is included, for example, using the image of the person included in the image to be complained, and sets the period corresponding to the specified frame as the image correction target period. do.
- FIG. 5 shows an example of the frame FR of the image correction target period specified by the specifying unit 26 using the complaint target image of FIG.
- the specifying unit 26 specifies a period including a frame FR including an image of the person to be complained as an image correction target period. Note that, for example, even if one or more frames that do not include the image subject to the complaint exist between the first frame and the second frame that include the image subject to the complaint, the first frame and the second frame If the period between is shorter than the predetermined period, the specifying unit 26 may set the period corresponding to all the frames from the first frame to the second frame as the image correction target period.
- the specifying unit 26 when specifying the period to be corrected by using the information of the complaint-targeted audio, not only specifies the period in which the complaint-targeted audio itself is included, but also the audio that arranges or covers the complaint-targeted audio.
- a period including may also be a period for voice correction.
- the identifying unit 26 determines the sex, age group, height, clothes color, hair, eye, skin color, etc. of the person or character subject to complaint from the image subject to complaint or the image of the entire frame including the image subject to complaint. , or features such as the background of the image.
- the specifying unit 26 may specify features such as the category, color, size, etc. of the object of the image of the object of the complaint.
- the identification unit 26 can include identification information for identifying the identified characteristics in the information of the image correction target period.
- FIG. 6 shows an example of the complaint target area (part) AR1 of the frame FR containing the complaint target image in the frame FR of the image correction target period of FIG.
- the identifying unit 26 may also identify a partial area AR1 in which the complaint-target image is displayed in the frame FR including the complaint-target image. In that case, the specifying unit 26 includes the information of the complaint target area AR1 in the information of the image correction target period.
- the specifying unit 26 transmits the information of the specified image correction target period and the data of the complaint content to the correction content generation unit 27 .
- the corrected content generation unit 27 sets the conditions of the first content based on the received information of the image correction target period and the data of the content subject to the complaint, and selects the content that satisfies the conditions from the content recorded in the storage unit 25. (step S4). At this time, the corrected content generation unit 27 selects, from among the plurality of contents recorded in the storage unit 25, contents that have been delivered for a predetermined period of time or longer and that have no complaints, content that has been viewed for a predetermined number of times or more. and no complaints are candidates for the first content (correction content) to be used for correction.
- information such as the genre, tag, and distributor of the content subject to complaint, and the person (or object) subject to complaint included in the information on the image correction target period. ) can be used.
- the corrected content generation unit 27 sets the acquired partial image of the first content as the image of the correction target period of the content subject to complaint, and generates the second content that does not include the image subject to complaint (step S5).
- the modified content generation unit 27 may generate the second content that does not include the image subject to the complaint by setting the frame of the period subject to modification of the content subject to the complaint as the frame of the first content.
- the corrected content generation unit 27 can generate the second content that does not include the objected image by using the entire frame FR shown in FIG. 5 as the frame of the first content as shown in FIG. 7, for example.
- the corrected content generation unit 27 may generate the second content by using only the complaint target area AR1 including the complaint target image in the frame of the image correction target period as a partial image of the frame of the first content. For example, in the frame of the first content shown in FIG. 7, the corrected content generation unit 27 selects an area AR2 corresponding to the characteristics of the object image of the complaint, and replaces (or superimposes) the image of the area AR2 with the area AR1 of the frame FR. ), it is possible to generate the second content that does not include the claimed image.
- FIG. 8 is a diagram for explaining an example of second content in which part of the frame FR of the content subject to complaint is corrected as an image of part of the first content.
- part of the frame FR of the content subject to complaint is corrected as an image of part of the first content.
- only a part of the frame FR of the content subject to the complaint is the image of the area AR2 of the first content. It is possible to generate a second content (modified content) that does not contain images.
- the corrected content generation unit 27 records the generated data of the second content in the storage unit 25 as data of the distribution content (step S6). At this time, the corrected content generation unit 27 presents the generated second content to the distributor terminal 10, and stores the data of the second content in the storage unit 25 only when permission for correction is obtained from the distributor terminal 10. may be recorded. Further, when the corrected content generation unit 27 generates a plurality of second contents, it is sufficient to record data of at least one second content in the storage unit 25, and only the data of the second content selected by the distributor is stored. It may be recorded in the section 25 .
- the content correction device and the content distribution server of the present embodiment instead of simply deleting part of the content or applying mosaic to the image, other content images and sounds are used to Contents can be corrected without impairing the quality and interest of the contents. That is, according to this embodiment, it is possible to provide a content correction device, a content distribution server, a content correction method, and a recording medium for correcting a content subject to complaints without impairing the quality and interest of the content.
- the distributor does not need to determine which part of which content is not complained about, so it is possible to save the trouble and time required to correct the content subject to complaint.
- the present invention is not limited to the above-described embodiments, and can be variously modified in the implementation stage without departing from the gist of the present invention. Further, each embodiment may be implemented in combination as appropriate, in which case the combined effect can be obtained. Furthermore, various inventions are included in the above embodiments, and various inventions can be extracted by combinations selected from a plurality of disclosed constituent elements. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiments, if the problem can be solved and effects can be obtained, the configuration with the constituent elements deleted can be extracted as an invention.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
品位や興趣性を損なわずにコンテンツのクレーム対象箇所を修正するコンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、および、記録媒体を提供する。実施形態によるコンテンツ修正装置は、クレーム情報を取得する取得部(212)と、配信済みの複数のコンテンツのデータが記録された記憶部(25)から、クレーム対象コンテンツのデータを取得するとともに、クレーム対象コンテンツのタイムラインにおいてクレーム対象が含まれる修正対象期間を特定する特定部(26)と、記憶部(26)から修正対象期間を修正するための第1コンテンツのデータを取得し、第1コンテンツの少なくとも一部を用いてクレーム対象が含まれない第2コンテンツを生成し、第2コンテンツのデータを記憶部(25)に記録する修正コンテンツ生成部(27)と、を備える。
Description
本発明は、コンテンツ修正装置、コンテンツ配信サーバ、コンテンツ生成方法、および、記録媒体に関する。
従来、ネットワークを介して様々なコンテンツを配信する技術が提供されている。また、携帯通信端末が普及したことや高速通信が可能となったこと等に伴い、より多くの人が自身で撮影した動画や録音した音声を、容易に配信することが可能である。この結果、過去に配信されたコンテンツが多数蓄積されている。
例えば、配信者が、映像コンテンツを配信サーバへアップロードし、コンテンツの配信が開始されると、コンテンツの内容に対するクレームを受けることがある。例えば、コンテンツ内で著作権が存在する楽曲を無断で使用している場合や、映り込みを望まなかった人物がコンテンツの映像中に現れている場合などに、コンテンツに対してクレームが送信される。
このようなクレームは、例えば、コンテンツの内容に異議を唱えたいものが配信サーバへクレームを出したり、SNSなどで異議を唱えるメッセージが発信されたりすることで、配信者に届けられる。
配信者にとってクレームを受けた対象のコンテンツそのものを削除する対応が最も容易で安易であるが、配信者の中にはコンテンツの一部を修正することで対象コンテンツを引き続き配信することを望む場合も多い。その場合、配信者は、自ら対象コンテンツを編集して、一部分にモザイクをかけたり、あるいは対応するフレームを削除したり、一部の音声に効果音や自主規制音(ピー音など)を重ねたりして修正する場合がある。
上記のようにコンテンツの一部を一様に修正すると、コンテンツの品位や興趣性が損なわれてしまう可能性があった。これに対し、単にコンテンツの一部分を削除したり、画像にモザイクをかけたりするのではなく、例えば他のコンテンツ画像や音声を用いてクレーム対象部分が含まれないように修正できれば、コンテンツの品位や興趣性を損なうことなくコンテンツを修正できる可能性がある。
しかしながら、配信者自身が、どのコンテンツのどの部分がクレームのない部分であるのか判断することは困難であり、選択したコンテンツにクレーム対象の箇所が含まれていた場合には、再度、クレームを受けてしまう。そのため、配信者が膨大な数のコンテンツの中から自身のコンテンツを修正するために用いることができる他のコンテンツを選択し、クレームの対象コンテンツを修正することは手間と時間を要する作業となってしまう。
本発明は上記事情を鑑みて成されたものであって、コンテンツの品位や興趣性を損なわずにコンテンツのクレーム対象箇所を修正するコンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、および、記録媒体を提供することを目的とする。
本発明の第1態様によるコンテンツ修正装置は、クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得する取得部と、配信済みの複数のコンテンツのデータが記録された記憶部から、前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定する特定部と、前記修正対象期間に含まれる前記クレーム対象を修正するための第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第2コンテンツを生成し、前記第2コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する修正コンテンツ生成部と、を備える。
本発明の第2態様によるコンテンツ修正装置では、第1態様において、前記クレーム対象の情報は、クレーム対象画像の情報と、クレーム対象音声の情報と、クレーム対象期間と、の少なくともいずれかを含む。
本発明の第3態様によるコンテンツ修正装置では、第1又は第2態様において、前記特定部は、前記修正対象期間において所定の動作が開始されるタイミングを特定し、前記修正コンテンツ生成部は、前記所定の動作が含まれる前記第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツにおける前記所定の動作のタイミングが前記修正対象期間における前記所定の動作のタイミングと一致するようにトリミングされた前記第1コンテンツの一部の画像および音声の少なくとも一方を用いて、前記修正対象期間を修正するものである。
本発明の第4態様によるコンテンツ修正装置では、第1乃至第3態様のいずれかにおいて、前記特定部は、前記クレーム対象の特徴を特定し、前記修正コンテンツ生成部は、前記クレーム対象の特徴の情報を用いて、前記記憶部に記録された配信済みの複数の前記コンテンツのデータの中から少なくとも一つの前記第1コンテンツを選択する。
本発明の第5態様によるコンテンツ修正装置では、第1乃至第4態様のいずれかにおいて、前記特定部は、前記クレーム対象コンテンツであると特定した前記コンテンツのデータと関連付けて、前記クレーム情報を前記記憶部に記録し、前記修正コンテンツ生成部は、前記記憶部に記録された配信済みの複数の前記コンテンツの中で、配信開始されてから所定期間以上経過しかつ前記クレーム情報がない前記コンテンツ、又は、視聴回数が所定数以上であってかつ前記クレーム情報がない前記コンテンツを、前記第1コンテンツの候補とする。
本発明の第6態様によるコンテンツ修正装置では、第1乃至第5態様のいずれかにおいて、前記クレーム対象はクレーム対象画像であって、前記特定部は、前記修正対象期間のフレームにおいて前記クレーム対象画像が含まれるクレーム対象エリアを更に特定し、前記修正コンテンツ生成部は、前記第1コンテンツのフレームから前記クレーム対象エリアに対応する画像をトリミングし、トリミングされた前記画像を用いて前記クレーム対象エリアを修正した前記第2コンテンツを生成する。
本発明の第7態様によるコンテンツ配信サーバは、第1乃至第6態様のいずれかのコンテンツ修正装置と、前記記憶部に記録された前記コンテンツのデータを配信可能な配信部と、配信を要求した視聴者端末に対して前記コンテンツのデータを配信するよう前記配信部を制御する配信制御部と、を備える。
本発明の第8態様によるコンテンツ修正方法は、クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得し、配信済みの複数のコンテンツのデータが記録された記憶部から、前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定し、前記修正対象期間に含まれる前記クレーム対象を修正するための第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第2コンテンツを生成し、前記第2コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する。
本発明の第9態様によるコンピュータにより読み取り可能な記録媒体は、コンピュータに、クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得する取得機能と、配信済みの複数のコンテンツのデータが記録された記憶部から、前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定する特定機能と、前記修正対象期間に含まれる前記クレーム対象を修正するための第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第2コンテンツを生成し、前記第2コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する修正コンテンツ生成機能と、を実行させるコンテンツ修正プログラムを記録する。
本発明によれば、コンテンツの品位や興趣性を損なわずにコンテンツのクレーム対象箇所を修正するコンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、および、記録媒体を提供することができる。
以下、本発明の複数の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、既に説明済みである構成と同一又は類似した構成および要素については、同一の符号を付して説明を省略する。
第1実施形態のコンテンツ修正装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一例について、図面を参照して以下に説明する。
図1は、一実施形態のコンテンツ修正装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一構成例を概略的に示す図である。
本実施形態のコンテンツ配信システムは、配信者端末10と、コンテンツ配信サーバ20と、を備えている。
図1は、一実施形態のコンテンツ修正装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一構成例を概略的に示す図である。
本実施形態のコンテンツ配信システムは、配信者端末10と、コンテンツ配信サーバ20と、を備えている。
配信者端末10は、ネットワークを介してコンテンツ配信サーバ20と通信可能に接続できる。配信者端末10は、例えばビデオカメラなどの動画ソースに接続されたコンピュータなどの電子デバイス、例えば、テレビ受像機(インターネットテレビを含む)、PC(Personal Computer)、モバイル端末(例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、デジタルミュージックプレイヤー、電子書籍リーダなど)、VR(Virtual Reality)端末、AR(Augmented Reality)端末などであり得るが、これらに限られない。配信者端末10は、動画ソースから出力されるエンコード済みの映像データをコンテンツ配信サーバ20へ逐次送信することができる。
コンテンツ配信サーバ20は、ネットワークを介して、配信者端末10、および、視聴者端末30と通信可能に接続できる。コンテンツ配信サーバ20は、後述する種々の機能を実現するプログラムを実行するプロセッサおよびプログラムを格納したメモリ、を備え得る。プロセッサは、典型的にはCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であるが、マイコン、FPGA(Field Programmable Gate Array)、またはDSP(Digital Signal Processor)、などであってもよい。また、メモリは、コンテンツ配信サーバ20の動作を実現するためにプロセッサによって実行されるプログラムが記録されるとともに、当該プロセッサによって使用されるデータなどを一時的に格納する。なお、プログラムは、コンテンツ配信サーバ(コンピュータ)20により読み取り可能な記録媒体に記録されてもよい。その場合には、プロセッサは、記録媒体から読み取ったプログラムを実行することにより、種々の機能を実現することが出来る。本実施形態のコンテンツ配信サーバ20は、コンテンツ修正装置を含み得る。
視聴者端末30は、ネットワークを介してコンテンツ配信サーバ20と通信可能に接続することができる。なお、視聴者端末30は、コンピュータなどの電子デバイスであって、例えば、テレビ受像機(インターネットテレビを含む)、PC(Personal Computer)、モバイル端末(例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、デジタルミュージックプレイヤー、電子書籍リーダ、スマートウォッチなど)、VR(Virtual Reality)端末、AR(Augmented Reality)端末などであり得るが、これらに限られない。なお、ネットワークに接続している視聴者端末30の数はゼロであることもあり得るし、随時増減し得る。
図2は、図1に示すコンテンツ配信サーバの一構成例を概略的に示す図である。
コンテンツ配信サーバ20は、取得部21(第1取得部211および第2取得部212)と、配信制御部22と、生成部23と、配信部24と、特定部26と、修正コンテンツ生成部27と、記憶部25と、を備えている。なお、本実施形態のコンテンツ修正装置は、第2取得部212と、特定部26と、修正コンテンツ生成部27とを少なくとも含み得る。コンテンツ修正装置は、コンテンツ配信サーバ20と一体に構成されていてもよく、コンテンツ修正装置とコンテンツ配信サーバ20とは、一又は複数の構成を共有していてもよい。また、コンテンツ修正装置はコンテンツ配信サーバ20に外付けされ、コンテンツ配信サーバ20と通信可能に接続される構成であっても構わない。
コンテンツ配信サーバ20は、取得部21(第1取得部211および第2取得部212)と、配信制御部22と、生成部23と、配信部24と、特定部26と、修正コンテンツ生成部27と、記憶部25と、を備えている。なお、本実施形態のコンテンツ修正装置は、第2取得部212と、特定部26と、修正コンテンツ生成部27とを少なくとも含み得る。コンテンツ修正装置は、コンテンツ配信サーバ20と一体に構成されていてもよく、コンテンツ修正装置とコンテンツ配信サーバ20とは、一又は複数の構成を共有していてもよい。また、コンテンツ修正装置はコンテンツ配信サーバ20に外付けされ、コンテンツ配信サーバ20と通信可能に接続される構成であっても構わない。
コンテンツ配信サーバ20は、さらに、ネットワークに接続可能な通信部(図示せず)を備え得る。通信部は、ネットワークを介して、配信者端末10、および、視聴者端末30と、通信可能であり、第1取得部211と、第2取得部212と、を含み得る。例えば、通信部は、配信者端末10から動画データを受信したり、視聴者端末30からの配信要求を受信したり、配信者端末10との間で第2コンテンツの承認のための通信をしたりする。通信部は、視聴者端末30から受信した配信要求を配信制御部22へ送信する。
記憶部25は、コンテンツ配信サーバ20に内蔵されてもよいし、コンテンツ配信サーバ20に外付けされてもよい。記憶部25は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの不揮発性記憶媒体を含み得る。なお、記憶部25は、過去に配信された動画や音声の複数のコンテンツのデータを蓄積する領域を含んでいてもよい。コンテンツのデータは、例えば、コンテンツデータと、コンテンツのタグ情報、配信者の識別情報、カテゴリ情報、配信開始日時情報、編集履歴情報、視聴回数、視聴者数、コメント情報、クレーム情報などとを関連付けて、記憶部25に記録され得る。
記憶部25は、コンテンツ配信サーバ20とコンテンツ修正装置とに共有されてもよく、コンテンツ配信サーバ20とコンテンツ修正装置とのそれぞれに記憶部25が設けられてもよい。また、記憶部25に蓄積されているコンテンツのデータは、コンテンツ配信サーバ20により配信されたコンテンツのデータに限定されるものではなく、例えば配信されたコンテンツのデータを加工したり編集したりしたものや、コンテンツ修正装置による修正後のコンテンツのデータや、配信前のコンテンツのデータが記憶されても構わない。
第1取得部211は、ネットワークを介して配信者端末10から逐次送信されるコンテンツデータを受信可能である。例えば、第1取得部211は、配信者端末10からリアルタイム配信用の動画データや音声データなどのコンテンツデータを受信することができる。また、第1取得部211は、ネットワークを介して視聴者端末30から逐次送信されるコメントなどの入力情報を受信可能である。第1取得部211は、受信したコンテンツデータおよびコメントなどの入力情報を生成部23へ送信する。
生成部23は、第1取得部211からコンテンツデータと入力情報とを受信し、例えば視聴者端末30において動画データに入力情報を重畳したコンテンツデータを生成可能とする配信用コンテンツデータを生成することができる。また、生成部23は、例えば、動画データに入力情報を重畳した動画データを配信用コンテンツデータとして生成してもよい。生成部23は、例えば、アルファブレンド、ピクチャーインピクチャーなどの公知の技法を用いて、動画データに入力情報を合成してもよい。生成部23は、生成した配信用コンテンツデータを配信部24へ送信する。また、生成部23は、生成した配信用コンテンツデータを記憶部25へ記録することができる。
生成部23は、例えば、動画データの再生映像の画面の一部または全部をリサイズして、または画面の一部をトリミングして入力情報と合成可能としてもよいし、動画データの再生映像の画面の一部が露出し、残部が隠れるように入力情報と合成可能としてもよい。また、生成部23は、視聴者端末30からの配信要求に応じて複数の配信用コンテンツデータを切り替えて配信可能とするために、表示する画像が異なる複数の配信用コンテンツデータを生成して配信部24へ送信してもよい。生成部23は、例えば、入力情報を画像データに重畳せずに生成した配信用コンテンツデータと、入力情報を画像データに重畳して生成した配信用コンテンツデータとを生成して、配信部24へ送信してもよい。
配信部24は、ネットワークと通信可能に接続し、生成部23から配信用コンテンツデータを受信し、配信用コンテンツデータの配信要求を受けた視聴者端末30へ配信することができる。また、配信部24は、記憶部25に記録された配信用コンテンツデータを取得し、配信用コンテンツデータの配信要求を受けた視聴者端末30へ配信することができる。配信部24は、例えば配信用コンテンツデータの配信先などを配信制御部22によって制御される。
なお、配信部24は、配信済みの配信用コンテンツデータを直ちに破棄してもよいが、例えばリプレイまたはスローモーション再生を可能とするために所定期間バッファリングしていてもよい。
配信制御部22は、配信用データの配信を制御する。配信制御部22は、例えば図示しない時計を含み、時計から得られる時間情報と、画像データの配信に割り当てられた時間枠とを比較し、画像データの配信の開始および終了を管理する。また、配信制御部22は、視聴者端末30による配信要求を通信部から受け取り、視聴者端末30へ画像データが配信されるように配信部24を制御する。
第2取得部212は、配信されたコンテンツに対するクレーム情報を受信する。第2取得部212は、受信したクレーム情報を特定部26へ送信する。第2取得部212が取得するクレーム情報は、例えば、クレーム対象コンテンツの識別情報、および、クレーム対象の情報を少なくとも含み得、クレーム発信元の識別情報、クレーム対象となるタイムライン情報や、クレーム内容の詳細情報などを更に含み得る。また、クレーム情報は、予め著作権法やデジタルミレニアム著作権法(DMCA: Digital Millennium Copyright Act)などに基づいて正当なクレームであると判断されたことを示す識別情報を含んでいてもよい。また、クレーム対象の情報は、クレーム対象画像の情報と、クレーム対象音声の情報と、クレーム対象期間の情報との少なくともいずれかを含む。
第2取得部212は、所定の条件を満たすクレーム情報のみを受信してもよい。第2取得部212は、例えば予め登録されたクレーム発信元からのクレーム情報のみを受信してもよく、例えば正当なクレームであると判断済であるクレーム情報のみを受信してもよい。
特定部26は、第2取得部212から受信したクレーム情報に基づいて、クレーム対象コンテンツを特定するとともに、特定したクレーム対象コンテンツの修正対象期間(画像修正対象期間と音声修正対象期間との少なくとも一方を含む)を特定する。なお、修正対象期間は、1つのクレーム対象コンテンツに複数含まれ得る。
特定部26は、クレーム情報に含まれるクレーム対象コンテンツの識別情報を用いて、記憶部25に記憶されたコンテンツデータの中から対象コンテンツを特定することができる。特定部26は、特定したコンテンツデータと関連付けて、対応するクレーム情報を記憶部25に記録してもよい。
特定部26は、例えばクレーム情報に含まれるクレーム対象画像の情報に基づいて、クレーム対象コンテンツのタイムラインにおける画像修正対象期間を特定することができる。また、特定部26は、例えばクレーム情報にクレーム対象画像が含まれている場合には、クレーム対象コンテンツの画像に含まれるクレーム対象画像を認識し、コンテンツのタイムラインの中でクレーム対象画像が含まれているフレームに対応する期間を画像修正対象期間とする。さらに、特定部26は、画像修正対象期間内のクレーム対象画像が含まれているフレームのエリア(一部分)を特定してもよい。その場合には、画像修正対象期間の情報は、画像修正対象期間内のフレームにおけるクレーム対象エリアの情報を含む。
特定部26は、画像修正対象期間が開始するタイミングにおいて、クレーム対象画像の任意の動作が開始するタイミングを検出してもよい。例えば、画像修正対象期間が開始するタイミングで人物が話し始めたり、ダンスを開始したり、歩き始めたり、走り始めたり、食事をしたりする動作を検出してしてもよく、例えば乗り物が動き始める動作や、ゲームのプレイが開始される動作や、ゲームのプレイ画面に表示される画像の動作などを検出してもよい。特定部26は、画像修正対象期間が開始するタイミングにおける動作を検出したときには、検出された動作を識別する識別情報を画像修正対象期間の情報に含める。なお、特定部26は、画像修正対象期間の全期間にわたって画像の動作が開始するタイミングを検出してもよい。この場合には、特定部26は、検出された動作を識別する識別情報とその動作の開始タイミングとの情報とを画像修正対象期間の情報に含める。
また、特定部26は、クレーム対象画像やクレーム対象画像を含むフレーム全体の画像から、クレーム対象の人物やキャラクターの性別、年齢層、背格好、服の色、髪や目や肌の色などの特徴や、画像の背景などの特徴を特定してもよい。また、クレーム対象画像が、未公開の車や鉄道車両などの移動体や、スマートフォンやタブレット端末等の電子機器など未公開の製品などの画像である場合には、特定部26は、クレーム対象画像の物のカテゴリ、色、大きさ等の特徴を特定してもよい。例えば、特定部26は、クレーム対象である人物や物の特徴およびクレーム対象以外の画像の特徴を特定したときには、特定した特徴を識別する識別情報を画像修正対象期間の情報に含めることができる。
また特定部26は、例えばクレーム情報に含まれるクレーム対象音声の情報に基づいて、クレーム対象コンテンツのタイムラインにおける音声修正対象期間を特定することができる。特定部26は、例えばクレーム情報にクレーム対象音声が含まれている場合には、クレーム対象コンテンツに含まれるクレーム対象音声を認識し、コンテンツデータのタイムラインの中でクレーム対象音声が含まれている期間を音声修正対象期間とする。クレーム対象音声の情報は、レコードやCDなどの媒体の作製者、演出家の情報、作製の日付、作曲者や作詞者の情報、その楽曲の別な演奏における演奏者あるいは歌手の情報、その演奏の演奏者や歌手の情報、レーベルなどの情報や、楽曲のタイトル、歌詞あるいは歌詞の一部、楽曲の俗称や通称、楽曲が用いられたテレビ番組や映画などの情報を含んでいてもよい。例えばネットワークを介して、クレーム対象音声の認識に必要な情報を取得することができる場合には、特定部26は、ネットワークを介して必要な情報を取得してもよい。
なお、クレーム対象コンテンツにおいて、例えば、著作権のある楽曲がアレンジされて用いられていたり、著作権のある楽曲をカバーする音声が含まれていたりすることも考えられる。具体的には、例えばゲーム音楽がジャズ風にアレンジされたりオーケストラにより演奏されたりする可能性や、例えば男性歌手の楽曲を女性がカバーする可能性もあり得る。このような場合に対応するために、特定部26は、クレーム対象音声そのものが認識された期間だけでなく、クレーム対象音声をアレンジしたりカバーしたりする音声が認識された期間も、音声修正対象期間としてもよい。特定部26は、例えば、クレーム対象コンテンツの音声からメロディの解析(形態素解析)や歌詞を認識することにより、クレーム対象音声をアレンジしたりカバーしたりする音声を特定することができる。
同様にして、著作権の消滅した楽曲であるが、その楽曲の著作隣接権を、例えば実演家、レコード製作者、放送事業者等が保有する場合であっても、対象コンテンツの音声データに含まれるメロディ等を解析し、クレーム対象に対応する演奏であれば、特定部26によりその演奏が含まれるタイムラインをシステムが特定して、音声修正対象期間としてもよい。このように著作隣接権が存在する楽曲についても、修正の対象とする点は他の実施例においても同様である。
また、特定部26は、例えば音声修正対象期間が開始するタイミングにおけるクレーム対象音声の特徴(会話、音楽のジャンル、性別、言語)を検出してもよい。特定部26は、音声修正対象期間のクレーム対象音声の特徴を特定したときには、特定した特徴を識別する識別情報を音声修正対象期間の情報に含めることができる。
例えば、特定部26は、画像修正対象期間のクレーム対象画像の動作や特徴、又は、音声修正対象期間のアレンジやカバー(アレンジ等)された音声や音声の特徴を特定する学習済みモデルを備えていてもよい。学習済みモデルは、例えば、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)などの深層学習により、所定の条件を満たすコンテンツデータを入力とし、コンテンツデータの再生画像又は音声における動作やアレンジ等や特徴を特定する学習済みのモデルである。コンテンツデータにおける動作やアレンジ等や特徴が複数想定される場合には、特定部26は、複数の動作やアレンジ等や特徴のそれぞれに対応する複数の学習済みモデルを備え得る。
また、特定部26は、例えばクレーム情報に含まれるクレーム対象期間に基づいて、クレーム対象コンテンツのタイムラインにおけるクレーム対象期間に対応する期間を、画像修正対象期間および音声修正対象期間としてもよい。
特定部26は、画像修正対象期間と音声修正対象期間との少なくとも一方の情報と、クレーム対象コンテンツのデータとを修正コンテンツ生成部27へ送信する。
特定部26は、画像修正対象期間と音声修正対象期間との少なくとも一方の情報と、クレーム対象コンテンツのデータとを修正コンテンツ生成部27へ送信する。
修正コンテンツ生成部27は、特定部26から受信した画像修正対象期間と音声修正対象期間との少なくとも一方の情報と、対象コンテンツのデータとに基づいて、修正に用いる第1コンテンツ(修正用コンテンツ)の条件を設定する。
修正コンテンツ生成部27は、例えば、記憶部25に記録されたコンテンツの中で、配信開始されてから所定期間以上が経過していてかつクレームがないコンテンツや、視聴回数が所定数以上であってかつクレームがないものを第1コンテンツの候補とする。修正コンテンツ生成部27は、第1コンテンツの候補の中から、クレーム対象コンテンツのジャンル、タグ、配信者などの情報や、画像修正対象期間と音声修正対象期間との情報を用いて第1コンテンツを少なくとも1つ選択する。修正コンテンツ生成部27は、第1コンテンツを複数選択してもよい。
修正コンテンツ生成部27は、例えば、クレーム対象コンテンツのジャンルとタグとが共通のコンテンツを第1コンテンツとして選択してもよく、クレーム対象コンテンツと同じ配信者のコンテンツを第1コンテンツとして選択してもよい。また、修正コンテンツ生成部27は、画像修正対象期間の情報に含まれるクレーム対象画像の動作情報や特徴情報に基づいて、画像修正対象期間のクレーム対象画像に近い画像(共通の動作や特徴がより多い画像)を少なくとも一部に含むコンテンツを第1コンテンツとして選択してもよい。また、修正コンテンツ生成部27は、音声修正対象期間の情報に含まれるクレーム対象音声の特徴情報に基づいて、音声修正対象期間のクレーム対象音声に近い音声(共通の特徴がより多い音声)を含むコンテンツを第1コンテンツとして選択してもよい。なお、修正コンテンツ生成部27は、画像修正対象期間および音声修正対象期間よりも十分に長いコンテンツを第1コンテンツとして選択することが望ましい。
例えば、修正コンテンツ生成部27は、第1コンテンツの候補の中から、画像の所定の動作や特徴又は音声の特徴を有するコンテンツを特定する学習済みモデルを備えていてもよい。学習済みモデルは、例えば、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)などの深層学習により、所定の条件を満たすコンテンツデータを入力とし、コンテンツデータの再生画像又は音声における動作や特徴を特定する学習済みのモデルである。修正コンテンツ生成部27は、複数の動作や特徴のそれぞれに対応する複数の学習済みモデルを備え得る。
修正コンテンツ生成部27は、画像修正対象期間のフレームと修正用のコンテンツの一部期間の画像とを差し替えることにより、クレーム対象コンテンツと修正用のコンテンツの一部の画像とを合成してもよい。また、修正コンテンツ生成部27は、例えば、アルファブレンド、ピクチャーインピクチャーなどの公知の技法を用いて、画像修正対象期間のクレーム対象画像の部分に第1コンテンツの一部の画像を合成してもよい。
例えば、修正コンテンツ生成部27は、クレーム対象コンテンツの画像修正対象期間のフレームをカットし、選択した修正用のコンテンツから画像修正対象期間に対応する期間のフレームをトリミングして画像修正対象期間のフレームと差し替えて(若しくは画像修正対象期間のフレームにトリミングしたフレームを重畳して)、クレーム対象画像を含まないように修正された第2コンテンツ(修正済コンテンツ)を生成することができる。
第1コンテンツが複数ある場合には、修正コンテンツ生成部27は複数の第1コンテンツのそれぞれ一部の期間を用いて、複数の第2コンテンツを生成することができる。また、修正コンテンツ生成部27は、1つの第1コンテンツから複数の期間の画像をトリミングして複数の第2コンテンツを生成してもよい。
修正コンテンツ生成部27は、画像修正対象期間の情報が動作の情報を含む場合には、第1コンテンツの画像で対応する所定の動作の開始タイミングが、画像修正対象期間の動作の開始タイミングと一致するように、第1コンテンツから画像をトリミングする期間を設定し、画像修正対象期間のフレーム(若しくはクレーム対象画像)と修正用のコンテンツからトリミングした画像とを差し替えて(若しくはトリミングした画像を重畳して)第2コンテンツを生成してもよい。
また、修正コンテンツ生成部27は、画像修正対象期間の情報にクレーム対象エリアの情報が含まれている場合には、第1コンテンツの画像からクレーム対象画像の特徴に応じたエリアをトリミングして、画像修正対象期間のフレームにおけるクレーム対象エリアに第1コンテンツの画像からトリミングしたエリアを差し替えて(若しくは重畳して)、第2コンテンツを生成してもよい。このとき、修正コンテンツ生成部27は、画像修正対象期間のクレーム対象エリアの大きさに合わせて、第1コンテンツの画像からトリミングした画像を拡大又は縮小して大きさを調整しても構わない。
修正コンテンツ生成部27は、例えば、クレーム対象コンテンツの音声修正対象期間の音声をカットして、選択した修正用のコンテンツからトリミングした音声修正対象期間に対応する期間の音声を、音声修正対象期間の音声部分と差し替えて、クレーム対象音声を含まないように修正した第2コンテンツを生成することができる。第1コンテンツが複数ある場合には、修正コンテンツ生成部27は複数の第1コンテンツのそれぞれ一部の期間を用いて複数の第2コンテンツを生成することができる。また、修正コンテンツ生成部27は、1つの第1コンテンツの複数の期間を用いて複数の第2コンテンツを生成してもよい。
修正コンテンツ生成部27は、例えば、第1コンテンツの音声における会話や音楽の開始タイミングが、画像修正対象期間における会話や音楽の開始タイミングとなるように、修正用のコンテンツから音声の一部をトリミングして、画像修正対象期間の音声と第1コンテンツのトリミングされた部分とを差し替えてコンテンツを修正してもよい。
修正コンテンツ生成部27は、生成した第2コンテンツの少なくとも一つのデータを記憶部25に記録する。修正コンテンツ生成部27は、第2コンテンツのデータを記録する際に修正前の元のコンテンツのデータを削除し、元のコンテンツに代えて第2コンテンツのデータをコンテンツデータとして記憶部25に記録してもよく、修正前の元のコンテンツと関連付けて第2コンテンツのデータを記憶部25に記録してもよい。また、修正コンテンツ生成部27は、第2コンテンツのデータと合わせて、クレーム情報に対応済みである旨の情報を記憶部25に記録してもよい。
修正コンテンツ生成部27は、生成した第2コンテンツを配信者端末10へ提示し、配信者が修正の可否を選択可能としてもよい。この場合、修正コンテンツ生成部27は、一又は複数の第2コンテンツを配信者端末10へ提示することができる。このとき、修正コンテンツ生成部27は、少なくとも第2コンテンツにおける修正された部分を配信者端末10へ提示すればよい。配信者端末10は、配信者の操作に基づいて、コンテンツの修正の可否と、修正可の場合に選択される第2コンテンツとの情報を修正コンテンツ生成部27へ送信する。修正コンテンツ生成部27は、配信者端末10より修正可として選択された第2コンテンツがある場合には、選択された第2コンテンツを記憶部25に記録することができる。
以下に、上記コンテンツ修正装置およびコンテンツ配信サーバ20の動作の一例について図面を参照して説明する。
図3は、一実施形態のコンテンツ修正方法の一例を説明するためのフローチャートである。
図4乃至図8は、一実施形態のコンテンツ修正装置およびコンテンツ配信サーバがコンテンツを修正する動作の一例を説明するための図である。
図3は、一実施形態のコンテンツ修正方法の一例を説明するためのフローチャートである。
図4乃至図8は、一実施形態のコンテンツ修正装置およびコンテンツ配信サーバがコンテンツを修正する動作の一例を説明するための図である。
ここでは、図4および図8を参照して、クレーム対象コンテンツの画像修正対象期間のフレームの少なくとも一部のエリアに、第1コンテンツの一部のフレーム又は画像を合成して修正した第2コンテンツを生成する際の、コンテンツ修正装置およびコンテンツ配信サーバ20の動作について説明する。なお、図4および図8では、クレーム対象コンテンツの画像の一部を修正する例を示しているが、音声を修正する際も同様の動作であり、同様の動作で画像と音声との両方を修正することも可能である。
まず、コンテンツ配信サーバ20の第2取得部212が、クレーム情報を取得する(ステップS1)。このとき、第2取得部212は、例えば予め登録されたクレーム発信元からのクレーム情報のみを受信してもよく、例えば正当なクレームであると判断済であるクレーム情報のみを受信してもよい。第2取得部212は、受信したクレーム情報を特定部26へ送信する。
特定部26は、第2取得部212から受信したクレーム情報に含まれるクレーム対象コンテンツの識別情報を用いて、記憶部25に記憶されたコンテンツデータの中から対象コンテンツを特定する(ステップS2)。
続いて、特定部26は、例えばクレーム情報に含まれるクレーム対象画像の情報に基づいて、クレーム対象コンテンツの画像修正対象期間を特定する。なお、例えばクレーム情報に予めクレーム対象期間(タイムラインにおけるクレーム対象の時間帯)の情報が含まれている場合には、特定部26は、クレーム対象期間を画像修正対象期間としてもよい(ステップS3)。
図4には、クレーム情報に含まれるクレーム対象画像の一例を示している。この例では、クレーム対象画像は人物の画像である。特定部26は、例えばクレーム対象画像に含まれる人物の画像を用いて、クレーム対象コンテンツにおいてクレーム対象の画像が含まれているフレームを特定し、特定したフレームに対応する期間を画像修正対象期間とする。
図5には、特定部26が図4のクレーム対象画像を用いて特定した画像修正対象期間のフレームFRの一例を示している。特定部26は、クレーム対象の人物の画像が含まれるフレームFRを含む期間を画像修正対象期間として特定する。なお、例えば、クレーム対象画像を含む第1フレームと第2フレームとの間に、クレーム対象画像を含まない一又は複数のフレームが存在する場合であっても、第1フレームと第2フレームとの間の期間が所定期間よりも短い場合には、特定部26は、第1フレームから第2フレームまでの全てのフレームに対応する期間を画像修正対象期間としてもよい。
なお、特定部26は、クレーム対象音声の情報を用いて音声修正対象期間を特定する場合には、クレーム対象音声そのものが含まれる期間だけでなく、クレーム対象音声をアレンジしたりカバーしたりした音声を含む期間も音声修正対象期間としてもよい。
なお、特定部26は、クレーム対象音声の情報を用いて音声修正対象期間を特定する場合には、クレーム対象音声そのものが含まれる期間だけでなく、クレーム対象音声をアレンジしたりカバーしたりした音声を含む期間も音声修正対象期間としてもよい。
また、特定部26は、クレーム対象画像や、クレーム対象画像を含むフレーム全体の画像から、クレーム対象の人物やキャラクターの性別、年齢層、背格好、服の色、髪や目や肌の色などの特徴や、画像の背景などの特徴を特定してもよい。なお、クレーム対象が物であるときには、特定部26は、クレーム対象画像の物のカテゴリ、色、大きさ等の特徴を特定してもよい。例えば、特定部26は、クレーム対象である人物や物の特徴および背景の特徴を特定したときには、特定した特徴を識別する識別情報を画像修正対象期間の情報に含めることができる。
図6は、図4の画像修正対象期間のフレームFRにおけるクレーム対象画像が含まれているフレームFRのクレーム対象エリア(一部分)AR1の一例を示している。特定部26は、クレーム対象画像を含むフレームFRにおいて更にクレーム対象画像が表示されている一部のエリアAR1を特定してもよい。その場合には、特定部26は、画像修正対象期間の情報にクレーム対象エリアAR1の情報を含める。
特定部26は、特定した画像修正対象期間の情報と、クレーム対象コンテンツのデータとを修正コンテンツ生成部27へ送信する。
修正コンテンツ生成部27は、受信した画像修正対象期間の情報とクレーム対象コンテンツのデータとに基づいて、第1コンテンツの条件を設定し、記憶部25に記録されたコンテンツの中から条件を満たすコンテンツを取得する(ステップS4)。このとき、修正コンテンツ生成部27は、記憶部25に記録された複数のコンテンツの中で、配信開始されてから所定期間以上が経過していてかつクレームがないコンテンツや、視聴回数が所定数以上であってかつクレームがないものを修正に用いる第1コンテンツ(修正用コンテンツ)の候補とする。また、修正コンテンツ生成部27にて設定される第1コンテンツの条件として、クレーム対象コンテンツのジャンル、タグ、配信者などの情報や、画像修正対象期間の情報に含まれるクレーム対象の人物(又は物)の特徴など用いることができる。
修正コンテンツ生成部27は、取得した第1コンテンツの一部の画像を、クレーム対象コンテンツの修正対象期間の画像とし、クレーム対象画像を含まない第2コンテンツを生成する(ステップS5)。
修正コンテンツ生成部27は、クレーム対象コンテンツの修正対象期間のフレームを第1コンテンツのフレームとすることによりクレーム対象画像を含まない第2コンテンツを生成してもよい。この場合、修正コンテンツ生成部27は、例えば図5に示すフレームFR全体を、図7に示すような第1コンテンツのフレームとして、クレーム対象画像を含まない第2コンテンツを生成することができる。
また、修正コンテンツ生成部27は、画像修正対象期間のフレームにおいてクレーム対象画像を含むクレーム対象エリアAR1のみを第1コンテンツのフレームの一部の画像として第2コンテンツを生成してもよい。修正コンテンツ生成部27は、例えば図7に示す第1コンテンツのフレームにおいて、クレーム対象画像の特徴に応じたエリアAR2を選択し、エリアAR2の画像をフレームFRのエリアAR1と差し替えて(若しくは重畳して)、クレーム対象画像を含まない第2コンテンツを生成することができる。
図8は、クレーム対象コンテンツのフレームFRの一部を第1コンテンツの一部の画像として修正した第2コンテンツの例を説明するための図である。この場合、例えば図8に示すように、クレーム対象コンテンツのフレームFRの一部分のみが、第1コンテンツのエリアAR2の画像となるため、コンテンツの全体的な品位や興趣性を損なわずに、クレーム対象画像を含まない第2コンテンツ(修正済コンテンツ)を生成することが可能である。
修正コンテンツ生成部27は、生成した第2コンテンツのデータを配信用コンテンツのデータとして記憶部25に記録する(ステップS6)。このとき、修正コンテンツ生成部27は、生成した第2コンテンツを配信者端末10に提示して、配信者端末10から修正の許可を得られた場合にのみ第2コンテンツのデータを記憶部25に記録してもよい。また、修正コンテンツ生成部27が複数の第2コンテンツを生成したときには、少なくとも1つの第2コンテンツのデータを記憶部25に記録すればよく、配信者により選択された第2コンテンツのデータのみを記憶部25に記録しても構わない。
上記のように、本実施形態のコンテンツ修正装置およびコンテンツ配信サーバによれば、単にコンテンツの一部分を削除したり、画像にモザイクをかけたりするのではなく、他のコンテンツ画像や音声を用いて、コンテンツの品位や興趣性を損なうことなくコンテンツを修正することができる。すなわち、本実施形態によれば、コンテンツの品位や興趣性を損なわずにコンテンツのクレーム対象箇所を修正するコンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、および、記録媒体を提供することができる。
また、本実施形態では、配信者自身がどのコンテンツのどの部分がクレームのない部分であるのか判断する必要がないため、クレーム対象コンテンツの修正に要する手間と時間を省くことができる。
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
10…配信者端末、20…コンテンツ配信サーバ、21…取得部、211…第1取得部、212…第2取得部、22…配信制御部、23…生成部、24…配信部、25…記憶部、26…特定部、27…修正コンテンツ生成部、30…視聴者端末、FR…フレーム、AR1…クレーム対象エリア、AR2…エリア
Claims (9)
- クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得する取得部と、
配信済みの複数のコンテンツのデータが記録された記憶部から、前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定する特定部と、
前記修正対象期間に含まれる前記クレーム対象を修正するための第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第2コンテンツを生成し、前記第2コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する修正コンテンツ生成部と、を備えたコンテンツ修正装置。 - 前記クレーム対象の情報は、クレーム対象画像の情報と、クレーム対象音声の情報と、クレーム対象期間と、の少なくともいずれかを含む、請求項1に記載のコンテンツ修正装置。
- 前記特定部は、前記修正対象期間において所定の動作が開始されるタイミングを特定し、
前記修正コンテンツ生成部は、前記所定の動作が含まれる前記第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツにおける前記所定の動作のタイミングが前記修正対象期間における前記所定の動作のタイミングと一致するようにトリミングされた前記第1コンテンツの一部の画像および音声の少なくとも一方を用いて、前記修正対象期間を修正する、請求項1に記載のコンテンツ修正装置。 - 前記特定部は、前記クレーム対象の特徴を特定し、
前記修正コンテンツ生成部は、前記クレーム対象の特徴の情報を用いて、前記記憶部に記録された配信済みの複数の前記コンテンツのデータの中から少なくとも一つの前記第1コンテンツを選択する、請求項1乃至請求項3のいずれか1項に記載のコンテンツ修正装置。 - 前記特定部は、前記クレーム対象コンテンツであると特定した前記コンテンツのデータと関連付けて、前記クレーム情報を前記記憶部に記録し、
前記修正コンテンツ生成部は、前記記憶部に記録された配信済みの複数の前記コンテンツの中で、配信開始されてから所定期間以上経過しかつ前記クレーム情報がない前記コンテンツ、又は、視聴回数が所定数以上であってかつ前記クレーム情報がない前記コンテンツを、前記第1コンテンツの候補とする、請求項1乃至請求項4のいずれか1項に記載のコンテンツ修正装置。 - 前記クレーム対象はクレーム対象画像であって、
前記特定部は、前記修正対象期間のフレームにおいて前記クレーム対象画像が含まれるクレーム対象エリアを更に特定し、
前記修正コンテンツ生成部は、前記第1コンテンツのフレームから前記クレーム対象エリアに対応する画像をトリミングし、トリミングされた前記画像を用いて前記クレーム対象エリアを修正した前記第2コンテンツを生成する、請求項1乃至請求項5のいずれか1項に記載のコンテンツ修正装置。 - 請求項1乃至請求項6のいずれか1項に記載のコンテンツ修正装置と、
前記記憶部に記録された前記コンテンツのデータを配信可能な配信部と、
配信を要求した視聴者端末に対して前記コンテンツのデータを配信するよう前記配信部を制御する配信制御部と、を備えたコンテンツ配信サーバ。 - クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得し、
配信済みの複数のコンテンツのデータが記録された記憶部から、前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定し、
前記修正対象期間に含まれる前記クレーム対象を修正するための第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第2コンテンツを生成し、前記第2コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する、コンテンツ修正方法。 - コンピュータに、
クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得する取得機能と、
配信済みの複数のコンテンツのデータが記録された記憶部から、前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定する特定機能と、
前記修正対象期間に含まれる前記クレーム対象を修正するための第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第2コンテンツを生成し、前記第2コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する修正コンテンツ生成機能と、
を実行させるコンテンツ修正プログラムを記録した、コンピュータにより読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/911,817 US12028560B2 (en) | 2021-01-29 | 2021-10-01 | Content correction device, content delivery server, content correction method, and recording medium |
CN202180023510.9A CN115315960B (zh) | 2021-01-29 | 2021-10-01 | 内容修正装置、内容发布服务器、内容修正方法以及记录介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021013968A JP7130073B2 (ja) | 2021-01-29 | 2021-01-29 | 配信サーバ、コンテンツ配信方法、コンテンツ配信プログラム、および、記録媒体 |
JP2021-013968 | 2021-01-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022163023A1 true WO2022163023A1 (ja) | 2022-08-04 |
Family
ID=82654295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/036472 WO2022163023A1 (ja) | 2021-01-29 | 2021-10-01 | コンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、および、記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US12028560B2 (ja) |
JP (2) | JP7130073B2 (ja) |
CN (1) | CN115315960B (ja) |
WO (1) | WO2022163023A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7130073B2 (ja) * | 2021-01-29 | 2022-09-02 | 株式会社ドワンゴ | 配信サーバ、コンテンツ配信方法、コンテンツ配信プログラム、および、記録媒体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014042156A (ja) * | 2012-08-22 | 2014-03-06 | Nikon Corp | 映像編集装置 |
JP2014067131A (ja) * | 2012-09-25 | 2014-04-17 | Zenrin Datacom Co Ltd | 画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラム |
US20170242558A1 (en) * | 2015-01-05 | 2017-08-24 | Google Inc. | Perceptual characteristic similarity for item replacement in media content |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4649053B2 (ja) * | 2001-04-23 | 2011-03-09 | 株式会社ビデオリサーチ | 著作物コンテンツモニタリングシステムおよび著作物コンテンツモニタリングプログラム |
CN105657479B (zh) * | 2014-11-10 | 2021-06-11 | 腾讯数码(天津)有限公司 | 一种视频处理方法及装置 |
CN107959863B (zh) | 2016-10-14 | 2020-04-03 | 北京酷我科技有限公司 | 一种视频审核方法及*** |
KR102660511B1 (ko) * | 2017-02-10 | 2024-04-24 | 삼성전자주식회사 | 디스플레이 장치 및 방법 |
JP6305614B1 (ja) | 2017-09-04 | 2018-04-04 | 株式会社ドワンゴ | コンテンツ配信サーバ、コンテンツ配信方法およびコンテンツ配信プログラム |
US20190207993A1 (en) | 2017-12-29 | 2019-07-04 | Facebook, Inc. | Systems and methods for broadcasting live content |
US10791353B2 (en) * | 2018-02-13 | 2020-09-29 | Ernest Huang | Systems and methods for content management of live or streaming broadcasts and video publishing systems |
US11636183B2 (en) * | 2018-12-30 | 2023-04-25 | DISH Technologies L.L.C. | Automated piracy detection |
EP3691277A1 (en) * | 2019-01-30 | 2020-08-05 | Ubimax GmbH | Computer-implemented method and system of augmenting a video stream of an environment |
JP7130073B2 (ja) * | 2021-01-29 | 2022-09-02 | 株式会社ドワンゴ | 配信サーバ、コンテンツ配信方法、コンテンツ配信プログラム、および、記録媒体 |
-
2021
- 2021-01-29 JP JP2021013968A patent/JP7130073B2/ja active Active
- 2021-10-01 WO PCT/JP2021/036472 patent/WO2022163023A1/ja active Application Filing
- 2021-10-01 CN CN202180023510.9A patent/CN115315960B/zh active Active
- 2021-10-01 US US17/911,817 patent/US12028560B2/en active Active
-
2022
- 2022-05-09 JP JP2022077098A patent/JP2022117505A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014042156A (ja) * | 2012-08-22 | 2014-03-06 | Nikon Corp | 映像編集装置 |
JP2014067131A (ja) * | 2012-09-25 | 2014-04-17 | Zenrin Datacom Co Ltd | 画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラム |
US20170242558A1 (en) * | 2015-01-05 | 2017-08-24 | Google Inc. | Perceptual characteristic similarity for item replacement in media content |
Non-Patent Citations (1)
Title |
---|
BILL JULIAN: "More information and better tools to resolve manual Content ID claims", YOUTUBE BLOG, 9 July 2019 (2019-07-09), XP055954412, Retrieved from the Internet <URL:https://blog.youtube/news-and-events/better-tools-to-resolve-manual-Content-ID-claims/> * |
Also Published As
Publication number | Publication date |
---|---|
CN115315960B (zh) | 2024-07-09 |
US20230133367A1 (en) | 2023-05-04 |
US12028560B2 (en) | 2024-07-02 |
JP2022122295A (ja) | 2022-08-23 |
JP7130073B2 (ja) | 2022-09-02 |
CN115315960A (zh) | 2022-11-08 |
JP2022117505A (ja) | 2022-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5767108B2 (ja) | 媒体生成システム及び方法 | |
US20150020086A1 (en) | Systems and methods for obtaining user feedback to media content | |
US8782176B2 (en) | Synchronized video system | |
KR101963753B1 (ko) | 음악의 분절별 동영상 재생 방법 및 장치 | |
EP1788570A1 (en) | Recording medium, recording device, recording method, data outputting device, data outputting method, and data distributing/circulating system | |
JPWO2007000949A1 (ja) | 再生開始位置制御付きコンテンツ再生方法および装置 | |
JP2014082582A (ja) | 視聴装置、コンテンツ提供装置、視聴プログラム、及びコンテンツ提供プログラム | |
US20090192637A1 (en) | Dynamically serving altered sound content | |
JP2009004999A (ja) | 映像データ管理装置 | |
WO2022163023A1 (ja) | コンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、および、記録媒体 | |
US20240205515A1 (en) | Information processing system, information processing method, and storage medium | |
JP4030440B2 (ja) | メッセージ再生装置、メッセージ記録および再生方法、およびプログラム | |
CN105763923A (zh) | 一种影音、影音模板编辑方法及其装置 | |
US20150373395A1 (en) | Systems And Methods For Merging Media Content | |
WO2021111872A1 (ja) | コンテンツ提供システム、コンテンツ提供方法、及び記憶媒体 | |
JP5043711B2 (ja) | ビデオ評価装置及び方法 | |
JP5291448B2 (ja) | コンテンツ制作サーバ及びコンテンツ制作プログラム | |
JP5544030B2 (ja) | 動画シーンのクリップ構成システム、方法および記録メディア | |
JP6110731B2 (ja) | ジェスチャーによるコマンド入力識別システム | |
US20160127807A1 (en) | Dynamically determined audiovisual content guidebook | |
WO2022209648A1 (ja) | 情報処理装置、情報処理方法および非一時的なコンピュータ可読記憶媒体 | |
Cremer et al. | Machine-assisted editing of user-generated content | |
JP4796466B2 (ja) | コンテンツ管理サーバ、コンテンツ提示装置、コンテンツ管理プログラム、及びコンテンツ提示プログラム | |
JP7051923B2 (ja) | 動画生成装置、動画生成方法、動画生成プログラム、再生装置、動画配信装置、及び動画システム | |
JP7237927B2 (ja) | 情報処理装置、情報処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21923030 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21923030 Country of ref document: EP Kind code of ref document: A1 |