WO2022190446A1 - 制御装置、制御方法、および、プログラム - Google Patents

制御装置、制御方法、および、プログラム Download PDF

Info

Publication number
WO2022190446A1
WO2022190446A1 PCT/JP2021/037485 JP2021037485W WO2022190446A1 WO 2022190446 A1 WO2022190446 A1 WO 2022190446A1 JP 2021037485 W JP2021037485 W JP 2021037485W WO 2022190446 A1 WO2022190446 A1 WO 2022190446A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
type
information
control
type information
Prior art date
Application number
PCT/JP2021/037485
Other languages
English (en)
French (fr)
Inventor
永 一宮
雄祐 前川
英雄 中西
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023505092A priority Critical patent/JP7499459B2/ja
Priority to US18/280,402 priority patent/US20240155192A1/en
Priority to EP21930293.2A priority patent/EP4307693A4/en
Publication of WO2022190446A1 publication Critical patent/WO2022190446A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness

Definitions

  • the present disclosure relates to control devices, control methods, and programs.
  • the present disclosure provides a control device or the like that appropriately controls the presentation effect based on the type of content.
  • the control device includes an acquisition unit that acquires content and first type information indicating the type of the content, and performs type determination processing on the content acquired by the acquisition unit, When the first type information and the second type information match with the determination unit that acquires the second type information indicating the type of the content, the first type information and the second type information do not match. and a generating unit configured to generate and output control information for increasing the strength of the presentation effect to be given when presenting the content than when presenting the content.
  • a control method acquires content, acquires first type information indicating the type of the content, and performs type determination processing on the obtained content, thereby obtaining the first type information indicating the type of the content.
  • the content is presented rather than when the first-type information and the second-type information do not match.
  • the control device can appropriately control the presentation effect based on the type of content.
  • FIG. 1 is an explanatory diagram showing the appearance of a device provided with a control device according to an embodiment.
  • FIG. 2 is a block diagram showing the functional configuration of the control device according to the embodiment.
  • FIG. 3 is an explanatory diagram illustrating an example of a type acquired by an acquisition unit and a type determined by a determination unit for content according to the embodiment.
  • FIG. 4 is an explanatory diagram illustrating an example of training data used for learning for type determination by the determining unit according to the embodiment.
  • FIG. 5 is an explanatory diagram of an example of type information indicating a result of type determination by the determining unit according to the embodiment.
  • FIG. 6 is an explanatory diagram illustrating an example of temporal changes in match or mismatch between an acquisition result obtained by an obtaining unit and a type determination result obtained by a determination unit according to the embodiment.
  • FIG. 7 is an explanatory diagram illustrating an example of the strength of the presentation effect indicated by the control information generated by the generating unit according to the embodiment.
  • FIG. 8 is an explanatory diagram of frames used for calculation of filter processing executed by the generation unit according to the embodiment.
  • FIG. 9 is an example of indices used for filtering performed by the generation unit according to the embodiment.
  • 10 is an example of the strength of the presentation effect obtained by the filtering process executed by the generating unit according to the embodiment;
  • FIG. 11 is an explanatory diagram illustrating an example of an image of an operation bar used for user setting of presentation effects according to the embodiment.
  • FIG. 12 is a flow diagram showing a control method of the control device according to the embodiment.
  • the inventors of the present application have found that the following problems arise with conventional control of presentation effects based on the type of content.
  • the types of content are classified, for example, based on official program information (also called SI (Service Information)) given to broadcast programs.
  • SI Service Information
  • the type is, for example, sports, music, talk, cinema, or the like.
  • part of a broadcast program that mainly includes soccer matches includes scenes where soccer players speak in the studio.
  • the broadcast programs as a whole are classified into the sports category, and presentation effects suitable for the sports category are given to the overall broadcast programs.
  • presentation effects suitable for the sports category are given to the overall broadcast programs.
  • a presentation effect suitable for the content of the talk type it is appropriate to give a presentation effect suitable for the content of the talk type, but a presentation effect suitable for the content of the sports type is given, in other words, an inappropriate presentation. effect is granted.
  • the present disclosure provides a control device or the like that appropriately controls the presentation effect based on the type of content.
  • a control device includes an acquisition unit that acquires content and first type information indicating a type of the content, and performs type determination processing on the content acquired by the acquisition unit.
  • the determination unit that acquires the second type information indicating the type of the content and the first type information and the second type information match, the first type information and the second type information and a generating unit configured to generate and output control information for increasing the strength of the presentation effect to be given when presenting the content than when the content is not matched.
  • the control device since the control device uses the type information acquired by the acquisition unit and the type information acquired by the determination unit through the type determination process, the presentation effect corresponding to the type determined more appropriately can be obtained more effectively. It can be controlled to apply at high intensity. Therefore, the control device can appropriately control the presentation effect based on the content type.
  • the determination unit inputs the content to a recognition model constructed by machine learning, and determines the type information of the content output by inputting the content to the recognition model, It may be acquired as the second type information.
  • the determination unit acquires the type of content using the recognition model constructed by machine learning, so that the type of content can be acquired more appropriately. Therefore, the control device can more appropriately control the presentation effect based on the content type.
  • the first type information may indicate the type of the entire content
  • the determination unit may determine the type of each of a plurality of partial contents included in the content.
  • the control device increases the strength of the presentation effect to be imparted when presenting a partial content whose type information of the entire content matches the type of the partial content among the plurality of partial content included in the content. to control. Therefore, the control device can appropriately control the presentation effect based on the content type for each partial content.
  • the acquisition unit may acquire information set as information indicating the type of content from a device different from the control device as the first type information.
  • the control device acquires the information set as the information indicating the content type as the first type information, so that the first type information can be obtained more easily.
  • the control device can obtain the first type information without performing the process of determining the type of content. Therefore, power consumption required for the processing or resources such as hardware used for the processing are unnecessary. Therefore, the control device can more easily and appropriately control the presentation effect based on the type of content.
  • the acquisition unit may acquire, as the first type information, the content type information obtained by analyzing the acquired content.
  • the control device acquires the information obtained by analyzing the content as the first type information, so even if there is no other device that provides the information indicating the content type , the first type information can be obtained. Therefore, the control device can appropriately control the presentation effect based on the content type.
  • control information may include information indicating the strength of the presentation effect when presenting the content in chronological order.
  • control device can control the presentation effect in chronological order using the control information shown in chronological order. Therefore, the control device can more appropriately control the presentation effect based on the content type.
  • the generating unit when generating the control information, may perform a process of suppressing a sudden change in the strength of the presentation effect when presenting the content.
  • the control device controls the presentation effect using the control information in which a rapid change in the intensity of the presentation effect is suppressed. be. Therefore, the control device can appropriately control the presentation effect based on the type of content while suppressing its rapid change.
  • the generation unit has correspondence information in which type information indicating a type of content and presentation effects to be imparted when presenting the content of the type are associated in advance, and the control information is generated by: At the time of generation, control information for imparting a presentation effect previously associated with the first type information may be generated as the control information.
  • control device can apply the presentation effect pre-associated with the type of content while controlling the intensity thereof. Therefore, the control device can appropriately control the presentation effect while appropriately imparting the presentation effect corresponding to the type of content.
  • the generation unit may generate, as the control information, control information for increasing the strength of at least one of a sound effect and a video effect as a presentation effect when presenting the content.
  • control device controls at least one of the sound effect and the video effect as the presentation effect. Therefore, the control device can appropriately control the sound effect or the video effect based on the content type.
  • the generation unit may receive an operation from the user to set the intensity range of the presentation effect, and generate the control information for controlling the presentation effect within the intensity range set by the operation.
  • the control device controls the strength of the presentation effect within the range received from the user. Therefore, the control device can more appropriately control the presentation effect based on the type of content, with the intensity reflecting the user's preference for the strength of the presentation effect.
  • a control method acquires content, acquires first type information indicating a type of the content, and performs a type determination process on the acquired content to determine whether the content Second type information indicating a type is acquired, and when the first type information and the second type information match, the content is more likely than the case where the first type information and the second type information do not match.
  • control method has the same effect as the above control device.
  • a program according to one aspect of the present disclosure is a program that causes a computer to execute the control method described above.
  • control method has the same effect as the above control device.
  • FIG. 1 is an explanatory diagram showing the appearance of a device provided with a control device 10 according to this embodiment.
  • An example of a device that includes the control device 10 is the television receiver 1 .
  • the television receiver 1 receives a signal containing content including sound and video, and presents the sound and video included in the content.
  • the signal includes, for example, a signal contained in a broadcast wave transmitted from a broadcasting station, a signal transmitted from various transmission sources via a communication line, or a signal transmitted by an external device.
  • Various transmission sources include, for example, a server for a video providing service on the Internet.
  • the external device is, for example, a recording device, a computer, a game machine, or the like.
  • a case where the television receiver 1 receives a signal included in a broadcast wave will be described as an example.
  • the television receiver 1 includes a tuner (not shown), a speaker 5, and a screen 6.
  • the speaker 5 outputs sound obtained through the tuner from a signal included in the broadcast wave, and the sound is included in the broadcast wave. An image obtained from the signal through the tuner is displayed on the screen 6 .
  • Content includes data or signals of a certain length of time, including at least video. Content may also be data of some length of time, including sound and video.
  • the content may correspond to one broadcast program, or may correspond to a portion of a predetermined length of time included in one broadcast program.
  • the time length of the content is, for example, equal to or longer than the time corresponding to one frame of video and is equal to or shorter than several seconds to several hours.
  • the content may further include meta information.
  • the meta information may include official program information (also called SI (Service Information)).
  • control device 10 receives broadcast waves, stores content, and then plays back the content. may be provided on the machine.
  • the control device 10 outputs control information for controlling presentation effects to be given when the television receiver 1 reproduces content.
  • the control device 10 acquires the broadcast wave received by the television receiver 1, and determines which type of content among a plurality of predetermined types the content obtained from the signal included in the broadcast wave is. Then, the control device 10 generates and outputs control information for controlling presentation effects when presenting the content.
  • the control information includes information indicating the type of content and information indicating the strength of the presentation effect when presenting the content (described later).
  • Types of content include, for example, sports, music, talk, cinema, and the like. Note that the type that does not correspond to any of the above types will be referred to as default.
  • FIG. 2 is a block diagram showing the functional configuration of the control device 10 according to this embodiment.
  • the control device 10 includes an acquisition unit 11, a determination unit 12, and a generation unit 13.
  • the control device 10 is also connected to a sound control section 21 and a video control section 22 provided in the television receiver 1 .
  • the functional units provided in the control device 10 can be realized by a processor (eg, a CPU (Central Processing Unit)) (not shown) provided in the control device 10 executing a predetermined program using a memory (not shown).
  • a processor eg, a CPU (Central Processing Unit)
  • the acquisition unit 11 is a functional unit that acquires content and also acquires type information (corresponding to first type information) indicating the type of the content.
  • the content acquired by the acquisition unit 11 is content acquired by the television receiver 1 from broadcast waves or the like. Acquisition unit 11 provides the acquired content to determination unit 12 and generation unit 13 .
  • the type information acquired by the acquisition unit 11 is information indicating the type of the entire content acquired by the acquisition unit 11, in other words, information given to the entire content.
  • the type information acquired by the acquisition unit 11 may be meta information (for example, SI) set by a device external to the control device 10 as information indicating the type of content acquired by the acquisition unit 11 .
  • the external device may be a device owned by a television station that provides broadcast programs, or a device owned by a third party that generates meta information. may be a device dedicated to
  • the type information is acquired from the HDMI (registered trademark) content type (Content Type).
  • the type information acquired by the acquisition unit 11 may be type information obtained by analyzing the content acquired by the acquisition unit 11 .
  • the acquisition unit 11 executes a process of analyzing features in the video data, audio data and meta information of the content. Specifically, the acquisition unit 11 detects a human line of sight included in the video of the content, detects the movement of an object included in the video of the content, detects a specific sound included in the sound of the content, or , the type of the content is specified by executing a pattern detection process of an object included in the image of the content.
  • Well-known image recognition technology and sound recognition technology can be used for analysis of video data and sound data.
  • the acquisition unit 11 determines the type of content based on detection of predetermined information or data in the video, sound, or meta information of the content.
  • the type of content is determined to be "talk”.
  • the content type is determined to be "sports”
  • the content type is determined to be "talk”.
  • the sound detection process when a singing voice or a sound played by a musical instrument is detected, the content type is determined as "music”.
  • the object pattern detection process when an image of a uniform is detected, the type of content is determined to be "sports”, and when an image of a musical instrument is detected, the type of content is determined to be "music". judge.
  • the determination unit 12 is a functional unit that acquires type information (equivalent to second type information) indicating the type of content by performing type determination processing on the content acquired by the acquisition unit 11 .
  • the determination unit 12 inputs the content to a recognition model constructed in advance by machine learning, and acquires the type information of the content output by inputting the content as the second type information. good.
  • the determination unit 12 determines the type of each of a plurality of partial contents included in the content.
  • the partial content is a portion having a predetermined number of frames included in the content, for example, a portion having 1 frame, 10 frames, or 30 frames.
  • the partial content may be a portion that has a predetermined time length (for example, 1 second, 5 seconds, or 10 seconds) included in the content.
  • the determining unit 12 acquires the type of content acquired by the acquiring unit 11 by a method different from the method by which the acquiring unit 11 acquires the type of content through the type determination process. More specifically, it can be said that the determination unit 12 acquires the type of content acquired by the acquisition unit 11 without using meta information, for example.
  • the generating unit 13 is a functional unit that generates and outputs control information for controlling the strength of the presentation effect when presenting content.
  • the generation unit 13 performs more To generate control information for increasing the intensity of a presentation effect to be given when content is presented.
  • Presentation effects include at least one of sound effects and visual effects.
  • the control information is output to the sound control section 21 and the video control section 22 .
  • control information includes information indicating the strength of the presentation effect to be given when presenting the content in chronological order.
  • the control information imparts a stronger presentation effect when presenting the partial content when the first type information about the content matches the second type information for each of the plurality of partial content included in the content. It is shown that.
  • the generation unit 13 has correspondence information in which type information indicating the type of content and presentation effects to be given when presenting content of the type are associated in advance. Then, when generating the control information, the generation unit 13 generates the control information for imparting the presentation effect preliminarily associated with the first type information.
  • the association information has, for example, the following information as associations between type information and sound effects.
  • a sound effect that increases the spread of sound and changes the output direction of the sound so that the viewer feels as if they are surrounded by the sound is associated.
  • audio signal processing is applied to change the way people hear sounds so as to increase the spread of sound, and vocals are emphasized.
  • a sound effect that changes the audio amplitude is associated with each output frequency band.
  • the content of the type “talk” is associated with a sound effect that changes the audio amplitude for each output frequency band so that the viewer can easily hear the performer's voice.
  • association information has, for example, the following information as associations between type information and video effects.
  • “sports” type content is associated with a video effect that increases the brightness and sharpness of the video so as to make the video brighter and more vivid.
  • content of the type “cinema” is associated with a video effect that increases the contrast while suppressing the brightness of the video so that the texture can be expressed richly.
  • the generation unit 13 may perform processing for suppressing rapid changes in the strength of the presentation effect when generating the control information.
  • the above processing is also called filtering processing.
  • the above processing is so-called low-pass filter processing, and can also be called noise removal processing or smoothing processing.
  • the sound control unit 21 is a functional unit that acquires control information output by the generation unit 13 and controls sound output from the speaker 5 based on the control information.
  • the sound control unit 21 controls output of the sound included in the content acquired by the acquisition unit 11 from the speaker 5 .
  • the sound control unit 21 processes the sound to be output so as to apply a sound effect according to the intensity of the presentation effect included in the control information.
  • the video control unit 22 is a functional unit that acquires control information output by the generation unit 13 and controls display of images on the screen 6 based on the control information.
  • the image control unit 22 controls displaying on the screen 6 an image included in the content acquired by the acquisition unit 11 . At that time, the image control unit 22 processes the image to be displayed so as to apply an image effect according to the intensity included in the control information.
  • control device 10 In the following, the processing of the control device 10 will be described in more detail.
  • FIG. 3 is an explanatory diagram showing an example of the type acquired by the acquisition unit 11 and the type determined by the determination unit 12 for content according to the present embodiment.
  • the content shown in FIG. 3 is an example of the content acquired by the acquisition unit 11, and is the content of a soccer match broadcast program. More specifically, the contents include partial contents of opening, competition, CM (commercial message), competition, audience, competition, and interview in this order.
  • CM commercial message
  • the acquisition unit 11 acquires information indicating "sports” as the type of the entire content (hereinafter also simply referred to as "sports").
  • the determination unit 12 acquires information indicating the type of each of the plurality of partial contents by determining the type of each of the plurality of partial contents included in the content. Specifically, the determination unit 12 acquires "default” as the type of the partial content of the opening or CM, "sports” as the type of the partial content of the competition or the audience, and "default” as the type of the partial content of the interview. Get Talk.
  • FIG. 4 is an explanatory diagram showing an example of training data used for learning for type determination by the determining unit 12 according to the present embodiment.
  • the training data shown in FIG. 4 is training data in which one partial content and one type are associated.
  • partial content including an image showing a player playing soccer is associated with "sports" as the type of the partial content.
  • partial content including an image showing a singer singing on stage is associated with "music" as the type of the partial content.
  • partial content including an image showing a performer having a dialogue is associated with "talk" as the type of the partial content.
  • training data may include not only images but also sounds.
  • the training data may include thousands to tens of thousands of contents.
  • the type associated with each partial content is one of a plurality of predetermined types.
  • the plurality of predetermined types include, but are not limited to, "sports,” “music,” and "talk.”
  • the determination unit 12 builds a recognition model in advance by machine learning using training data.
  • the recognition model is, for example, a neural network recognition model.
  • the determination unit 12 extracts features of the image or sound of the input partial content by training using the training data, and outputs the type corresponding to the input partial content.
  • a recognition model is constructed by adjusting the coefficients of the nodes.
  • the recognition model trained in this way outputs type information indicating the type of the content based on the image and sound features of the input partial content.
  • the type information output by the recognition model is, for example, information specifying which of a plurality of predetermined types the input partial content belongs to, and this case will be described as an example.
  • the type information to be output may be information including a score that is the probability that the input partial content is classified into each of a plurality of predetermined types.
  • FIG. 5 is an explanatory diagram showing an example of type information indicating the result of type determination by the determination unit 12 according to this embodiment.
  • the determination unit 12 acquires the type information output by inputting the partial content included in the content acquired by the acquisition unit 11 into the recognition model.
  • the recognition model when the partial content 31 shown in FIG. 5 is input to the recognition model, the recognition model outputs "sports" as the type of the input partial content 31 .
  • FIG. 6 is an explanatory diagram showing an example of temporal changes in match or mismatch between the acquisition result by the acquisition unit 11 and the type determination result by the determination unit 12 according to the present embodiment. Specifically, FIG. 6 is a graph showing in chronological order whether or not the type of partial content determined by the determination unit 12 matches the type of the entire content acquired by the acquisition unit 11 .
  • the type of the entire content is "sports”
  • the type of the partial content is determined to be “sports” by the determining unit 12
  • the type is “match” in the period corresponding to the partial content
  • the type of the partial content is “match”.
  • the type is “mismatched” in the period corresponding to the partial content.
  • the scale of the horizontal axis in FIG. 6 is arbitrary, for example, one scale corresponds to the time of 20 frames.
  • FIG. 7 is an explanatory diagram showing an example of the intensity I of the presentation effect indicated in the control information by the generation unit 13 according to the present embodiment.
  • the generation unit 13 generates control information indicating the intensity I of the presentation effect based on the match or mismatch of the types shown in FIG.
  • the intensity I is set to 100% during the period when the types match, and the intensity I during the period when the types do not match is set to 0%.
  • a strength of 0% means that no special presentation effect is given, in other words, normal presentation is made. Note that 100% and 0% in the above are examples, and in the intensity information, the intensity I in the period in which the types match is set higher than the intensity I in the period in which the types do not match.
  • the intensity may be changed by combining the first type information and the second type information.
  • the control information shown in FIG. 7 controls the strength of the acoustic effect by the sound control unit 21, and the speaker 5 outputs the sound to which the controlled strength of the acoustic effect is added. Further, the intensity of the image effect is controlled by the image control unit 22 according to the output control information, and the image to which the image effect of the controlled intensity is applied is displayed on the screen 6 .
  • control device 10 can appropriately control the presentation effect based on the type of content.
  • a method using a weighted moving average can be used for filtering.
  • FIG. 8 is an explanatory diagram showing frames used for calculation of filter processing executed by the generation unit 13 according to the present embodiment.
  • FIG. 9 is an example of indexes used for filtering executed by the generation unit 13 according to the present embodiment.
  • FIG. 10 is an example of the strength of the presentation effect obtained by the filtering process executed by the generation unit 13 according to the present embodiment.
  • a frame at time t shown in FIG. 8 is a frame that is a partial content subject to type determination.
  • Weighted moving average using k+1 frames from time t ⁇ k to time t in the filtering process is multiplied by Gain, which is a number greater than 0 is used as the evaluation value E.
  • Gain is a number greater than 0 and indicates a calculation interval.
  • Gain functions as a parameter for adjusting the sensitivity of changes in the strength of the presentation effect. If the evaluation value E exceeds 1, it is set to 1, so that the evaluation value E falls within a range of greater than 0 and 1 or less.
  • FIG. 9 shows temporal changes in the evaluation value E calculated in this way.
  • the temporal change in the evaluation value E as shown in FIG. 9 corresponds to the temporal change in the intensity I shown in FIG. 7 in which abrupt changes are suppressed.
  • the intensity I(t) at time t is expressed as follows using the intensity I(t-1) immediately before time t, that is, at time t-1.
  • p is a numerical value greater than 0 and less than 1, and whether the evaluation value E or the intensity I(t ⁇ 1) at time t ⁇ 1 is more heavily reflected in the intensity I(t) at time t functions as a parameter for adjusting the
  • Fig. 10 shows temporal changes in intensity I calculated in this way.
  • the temporal change in the intensity I shown in FIG. 10 corresponds to the rapid change in the temporal change in the evaluation value E shown in FIG. 9 that is further suppressed.
  • the strength of the presentation effect can also be controlled by reflecting the settings made by the user.
  • FIG. 11 is an explanatory diagram showing an image 40 as an example of an operation bar used for user setting of presentation effects according to the present embodiment.
  • an operation bar image 40 shows an operation bar extending left and right.
  • the image 40 has a scale 41 indicating 0, a scale 42 indicating 10, and a marking 43 movable between the scales.
  • the mark 43 When the image 40 is displayed on the touch panel display, the mark 43 is moved left and right by the user's touch operation, and indicates a numerical value within the range of 0 to 10 depending on the position of the mark 43.
  • the position of the solid line marking 43 indicates the numerical value of seven
  • the position of the dashed marking 43 indicates the numerical value of four.
  • the generation unit 13 By reading the position of the mark 43 on the operation bar, the generation unit 13 receives the setting of the intensity range of the presentation effect from the user. Then, the generation unit 13 generates control information for controlling the presentation effect within the intensity range set by the above operation.
  • the generation unit 13 uses the numerical value read as the position of the mark 43 on the operation bar as the upper limit of the presentation effect. For example, when the mark 43 indicates a numerical value of 7 in the operation bar indicating the range from 0 to 10, the intensity of the presentation effect calculated by the generation unit 13 is multiplied by 0.7 to give a presentation effect, make a presentation.
  • control device 10 can provide the presentation effect with an intensity that reflects the user's preference for the intensity of the presentation effect.
  • the operation bar is not limited to the example in which it is arranged so as to extend left and right, and may be arranged so as to extend in a vertical or oblique direction. Further, the shape of the operation bar is not limited to the above example, and any shape may be used as long as the user can recognize that the image is used for changing the intensity of the presentation effect. good too.
  • buttons or keys when the image 40 is displayed on a normal display that is not a touch panel display, the user can operate buttons or keys to perform operations similar to those described above.
  • control device 10 configured as above will be described.
  • FIG. 12 is a flow chart showing the control method of the control device 10 according to the embodiment. The control method shown in FIG. 12 may be executed for each frame of content.
  • step S101 the acquisition unit 11 acquires content.
  • step S102 the acquisition unit 11 acquires type information indicating the type of the entire content of the content acquired in step S101.
  • step S103 the determination unit 12 performs type determination processing on the content acquired in step S101, thereby acquiring type information for each of a plurality of partial contents included in the content.
  • steps S104, S105 and S111 are executed for each of the plurality of partial contents.
  • step S104 the generation unit 13 determines whether or not the type information of the entire content acquired in step S101 matches the type information of each of the plurality of partial contents acquired in step S102. If the above two pieces of type information match (Yes in step S104), the process proceeds to step S105, otherwise (No in step S104), the process proceeds to step S111.
  • step S105 the generation unit 13 generates control information for increasing the strength of the presentation effect for the partial content to be processed.
  • the control information for increasing the strength of the presentation effect is, in other words, control information for increasing the strength of the presentation effect higher than when the strength of the presentation effect is normal (step S111).
  • Control information for increasing the strength of the presentation effect is, for example, control information indicating 100% in FIG.
  • step S111 the generation unit 13 generates control information that sets the strength of the presentation effect to normal (that is, does not add a special presentation effect) for the partial content to be processed.
  • the control information that sets the strength of the presentation effect to normal is, in other words, control information that sets the strength of the presentation effect to be reduced compared to when the strength of the presentation effect is increased (step S105).
  • Control information that sets the strength of the presentation effect to normal is, for example, control information indicating 0% in FIG.
  • the generation unit 13 acquires the temporal change of the intensity I illustrated in FIG. 7 by executing step S105 or step S111 for each of the plurality of partial contents.
  • step S106 the generating unit 13 performs filtering to suppress rapid changes in the strength of the presentation effect. Thereby, the generation unit 13 acquires the temporal change of the intensity I illustrated in FIG. 10 .
  • step S106 does not have to be executed. Note that when step S106 is executed, it is necessary to calculate the intensity of the presentation effect for a predetermined period before the partial content to be processed.
  • step S107 the generation unit 13 outputs control information.
  • the output control information includes type information indicating the type of the presentation effect and information indicating the intensity I of the presentation effect.
  • Intensity I is the intensity I acquired in step S105 or step S111, and is the intensity I after the filtering process is performed when the filtering process in step S106 is performed.
  • the control information output in step S107 controls the strength of the sound effect by the sound control unit 21, and the speaker 5 outputs sound accompanied by the sound effect of the controlled strength. Also, the intensity of the image effect by the image control unit 22 is controlled by the output control information, and the image accompanied by the image effect of the controlled intensity is displayed on the screen 6 .
  • the present disclosure is applicable to television receivers, recording devices, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

制御装置（１０）は、コンテンツを取得し、かつ、コンテンツの種別を示す第一種別情報を取得する取得部（１１）と、取得部（１１）が取得したコンテンツに対して種別判定処理を行うことで、コンテンツの種別を示す第二種別情報を取得する判定部（１２）と、第一種別情報と第二種別情報とが一致する場合に、第一種別情報と第二種別情報とが一致しない場合よりも、コンテンツを提示する際に付与する提示効果の強度を高くする制御情報を生成して出力する生成部（１３）とを備える。

Description

制御装置、制御方法、および、プログラム
　本開示は、制御装置、制御方法、および、プログラムに関する。
　従来、動画像データであるコンテンツを種別ごとに分類し、種別に基づいて提示効果を制御する技術がある。
　例えば、動画像データに含まれる画像の特徴を分析することで、画像を種別ごとに分類する技術がある（特許文献１参照）。
特開２００６－２７７２３２号公報
　しかし、画像の特徴に基づく種別の分類に誤りが生じ、コンテンツの提示効果の制御が適切でなくなることがあるという問題がある。
　そこで、本開示は、コンテンツの種別に基づく提示効果の制御を適切に行う制御装置等を提供する。
　本開示における制御装置は、コンテンツを取得し、かつ、前記コンテンツの種別を示す第一種別情報を取得する取得部と、前記取得部が取得した前記コンテンツに対して種別判定処理を行うことで、前記コンテンツの種別を示す第二種別情報を取得する判定部と、前記第一種別情報と前記第二種別情報とが一致する場合に、前記第一種別情報と前記第二種別情報とが一致しない場合よりも、前記コンテンツを提示する際に付与する提示効果の強度を高くする制御情報を生成して出力する生成部とを備える制御装置である。
　本開示における制御方法は、コンテンツを取得し、かつ、前記コンテンツの種別を示す第一種別情報を取得し、取得した前記コンテンツに対して種別判定処理を行うことで、前記コンテンツの種別を示す第二種別情報を取得し、前記第一種別情報と前記第二種別情報とが一致する場合に、前記第一種別情報と前記第二種別情報とが一致しない場合よりも、前記コンテンツを提示する際に付与する提示効果の強度を高くする制御情報を生成して出力する制御方法である。
　本開示における制御装置は、コンテンツの種別に基づく提示効果の制御を適切に行うことができる。
図１は、実施の形態に係る制御装置を備える装置の外観を示す説明図である。 図２は、実施の形態に係る制御装置の機能構成を示すブロック図である。 図３は、実施の形態に係るコンテンツについて取得部が取得する種別と、判定部が判定する種別との一例を示す説明図である。 図４は、実施の形態に係る判定部による種別判定のための学習に用いられる訓練データの一例を示す説明図である。 図５は、実施の形態に係る判定部による種別判定の結果を示す種別情報の一例を示す説明図である。 図６は、実施の形態に係る、取得部による取得結果と判定部による種別判定の結果の一致または不一致の時間的変化の一例を示す説明図である。 図７は、実施の形態に係る生成部が制御情報に示される提示効果の強度の一例を示す説明図である。 図８は、実施の形態に係る生成部が実行するフィルタ処理の算出に用いられるフレームを示す説明図である。 図９は、実施の形態に係る生成部が実行するフィルタ処理に用いられる指標の例である。 図１０は、実施の形態に係る生成部が実行するフィルタ処理により得られた提示効果の強度の例である。 図１１は、実施の形態に係る提示効果のユーザ設定に用いられる操作バーの画像の一例を示す説明図である。 図１２は、実施の形態に係る制御装置の制御方法を示すフロー図である。
　本願発明者は、従来のコンテンツの種別に基づく提示効果の制御に関し、以下の問題が生じることを見出した。
　コンテンツの種別は、例えば、放送番組に付与される公式番組情報（ＳＩ（Ｓｅｒｖｉｃｅ　Ｉｎｆｏｒｍａｔｉｏｎ）ともいう）に基づいて分類される。種別は、例えば、スポーツ、ミュージック、トークまたはシネマなどである。
　しかし、ＳＩに基づいてコンテンツの種別の分類を行う場合、複数の種別に分類されるべき部分が一の放送番組に含まれているときに、適切な分類がなされないという問題がある。その場合、コンテンツの提示の際に適切な提示効果の制御がなされないという問題がある。
　例えば、サッカーの試合をメインに含む放送番組の一部に、サッカー選手がスタジオで話す場面が含まれることがある。この場合、放送番組は、全体としては、スポーツの種別に分類され、放送番組全体においてスポーツの種別の番組に適した提示効果が付与される。サッカー選手が話す場面では、トークの種別のコンテンツに適した提示効果が付与されるのが適切であるが、スポーツの種別のコンテンツに適した提示効果が付与されてしまい、言い換えれば、適切でない提示効果が付与されてしまう。
　そこで、本開示は、コンテンツの種別に基づく提示効果の制御を適切に行う制御装置等を提供する。
　本開示の一態様に係る制御装置は、コンテンツを取得し、かつ、前記コンテンツの種別を示す第一種別情報を取得する取得部と、前記取得部が取得した前記コンテンツに対して種別判定処理を行うことで、前記コンテンツの種別を示す第二種別情報を取得する判定部と、前記第一種別情報と前記第二種別情報とが一致する場合に、前記第一種別情報と前記第二種別情報とが一致しない場合よりも、前記コンテンツを提示する際に付与する提示効果の強度を高くする制御情報を生成して出力する生成部とを備える制御装置である。
　上記態様によれば、制御装置は、取得部が取得した種別情報と、判定部が種別判定処理によって取得した種別情報とを用いるので、より適切に判定された種別に応じた提示効果を、より高い強度で付与する制御をすることができる。よって、制御装置は、コンテンツの種別に基づく提示効果の制御を適切に行うことができる。
　例えば、前記判定部は、前記種別判定処理において、機械学習によって構築された認識モデルに、前記コンテンツを入力し、前記認識モデルに前記コンテンツを入力することで出力された前記コンテンツの種別情報を、前記第二種別情報として取得してもよい。
　上記態様によれば、制御装置は、判定部が機械学習によって構築された認識モデルを用いてコンテンツの種別を取得するので、コンテンツの種別をより適切に取得することができる。よって、制御装置は、コンテンツの種別に基づく提示効果の制御を、より適切に行うことができる。
　例えば、前記第一種別情報は、前記コンテンツ全体の種別を示しており、前記判定部は、前記コンテンツに含まれる複数の部分コンテンツそれぞれの種別を判定してもよい。
　上記態様によれば、制御装置は、コンテンツに含まれる複数の部分コンテンツのうち、コンテンツ全体の種別情報が当該部分コンテンツの種別と一致する部分コンテンツを提示する際に付与する提示効果の強度を高くする制御をする。よって、制御装置は、コンテンツの種別に基づく提示効果の制御を、部分コンテンツごとに適切に行うことができる。
　例えば、前記取得部は、前記コンテンツの種別を示す情報として設定された情報を前記制御装置と異なる装置から、前記第一種別情報として取得してもよい。
　上記態様によれば、制御装置は、コンテンツの種別を示す情報として設定された情報を第一種別情報として取得するので、より容易に、第一種別情報を得ることができる。言い換えれば、制御装置は、コンテンツの種別を判定する処理を行うことなく、第一種別情報を得ることができる。そのため、その処理をするとすれば必要となる消費電力、または、処理に用いられるハードウェアなどの資源が不要である。よって、制御装置は、より容易に、コンテンツの種別に基づく提示効果の制御を適切に行うことができる。
　例えば、前記取得部は、取得した前記コンテンツを分析することで得られる前記コンテンツの種別情報を、前記第一種別情報として取得してもよい。
　上記態様によれば、制御装置は、コンテンツを分析することで得られた情報を第一種別情報として取得するので、コンテンツの種別を示す情報を提供する装置が他に存在しない場合であっても、第一種別情報を得ることができる。よって、制御装置は、コンテンツの種別に基づく提示効果の制御を適切に行うことができる。
　例えば、前記制御情報は、前記コンテンツを提示する際の提示効果の強度を時系列で示す情報を含んでもよい。
　上記態様によれば、制御装置は、時系列で示されている制御情報を用いて、提示効果を時系列で制御することができる。よって、制御装置は、コンテンツの種別に基づく提示効果の制御を、より適切に行うことができる。
　例えば、前記生成部は、前記制御情報を生成するときに、前記コンテンツを提示する際の提示効果の強度の急激な変化を抑制する処理を施してもよい。
　上記態様によれば、制御装置は、提示効果の強度の急激な変化が抑制された制御情報を用いて提示効果を制御するので、付与される提示効果の強度が急激に変化することが抑制される。よって、制御装置は、コンテンツの種別に基づく提示効果の制御を、その急激な変化を抑制しながら、適切に行うことができる。
　例えば、前記生成部は、コンテンツの種別を示す種別情報と、当該種別のコンテンツを提示する際に付与すべき提示効果とが予め対応付けられた対応付け情報を有しており、前記制御情報を生成する際には、前記第一種別情報に予め対応付けられた提示効果を付与する制御情報を、前記制御情報として生成してもよい。
　上記態様によれば、制御装置は、コンテンツの種別に予め対応付けられた提示効果を、その強度を制御しながら付与することができる。よって、制御装置は、コンテンツの種別に対応する提示効果を適切に付与しながら、その提示効果の制御を適切に行うことができる。
　例えば、前記生成部は、前記コンテンツを提示する際の提示効果として、音響効果および映像効果の少なくとも一方の強度を高くする制御情報を、前記制御情報として生成してもよい。
　上記態様によれば、制御装置は、提示効果として、音響効果および映像効果の少なくとも一方を制御する。よって、制御装置は、コンテンツの種別に基づく音響効果または映像効果の制御を適切に行うことができる。
　例えば、前記生成部は、提示効果の強度の範囲を設定する操作をユーザから受け、前記操作により設定される強度の範囲内で提示効果を制御する前記制御情報を生成してもよい。
　上記態様によれば、制御装置は、ユーザから受けた範囲内で提示効果の強度を制御する。よって、制御装置は、提示効果の強弱についてのユーザの嗜好を反映した強度で、コンテンツの種別に基づく提示効果の制御をより適切に行うことができる。
　本開示の一態様に係る制御方法は、コンテンツを取得し、かつ、前記コンテンツの種別を示す第一種別情報を取得し、取得した前記コンテンツに対して種別判定処理を行うことで、前記コンテンツの種別を示す第二種別情報を取得し、前記第一種別情報と前記第二種別情報とが一致する場合に、前記第一種別情報と前記第二種別情報とが一致しない場合よりも、前記コンテンツを提示する際に付与する提示効果の強度を高くする制御情報を生成して出力する制御方法である。
　上記態様によれば、制御方法は、上記制御装置と同様の効果を奏する。
　本開示の一態様に係るプログラムは、上記の制御方法をコンピュータに実行させるプログラムである。
　上記態様によれば、制御方法は、上記制御装置と同様の効果を奏する。
　以下、適宜図面を参照しながら実施の形態を説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、本願発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態）
　本実施の形態において、コンテンツの種別に基づく提示効果の制御を適切に行う制御装置について説明する。
　図１は、本実施の形態に係る制御装置１０を備える装置の外観を示す説明図である。制御装置１０を備える装置の一例は、テレビジョン受像機１である。
　テレビジョン受像機１は、音および映像を含むコンテンツを含む信号を受信して、コンテンツに含まれる音および映像を提示する。上記信号は、例えば、放送局から放送波により送信される放送波に含まれる信号、各種送信源から通信回線を経由して送信される信号、または、外部装置が送信する信号を含む。各種送信源は、例えば、インターネット上の動画提供サービスのサーバ等を含む。外部装置は、例えば、録画装置、コンピュータまたはゲーム機等である。以降では、テレビジョン受像機１が放送波に含まれる信号を受信する場合を例として説明する。
　テレビジョン受像機１は、チューナ（不図示）とスピーカ５と画面６とを備え、放送波に含まれる信号からチューナを介して得られた音をスピーカ５により出力するとともに、放送波に含まれる信号からチューナを介して得られた画像を画面６に表示する。
　なお、コンテンツは、少なくとも映像を含む、ある時間長のデータまたは信号を含んでいる。また、コンテンツは、音および映像を含む、ある時間長のデータであってもよい。コンテンツは、一の放送番組に対応するものであってもよいし、一の放送番組に含まれる所定時間長の部分に対応するものであってもよい。コンテンツの時間長は、例えば、映像の１フレームに相当する時間以上であり、かつ、数秒～数時間以下の時間である。
　また、コンテンツは、さらにメタ情報を含んでもよい。メタ情報は、公式番組情報（ＳＩ（Ｓｅｒｖｉｃｅ　Ｉｎｆｏｒｍａｔｉｏｎ）ともいう）を含んでもよい。
　なお、制御装置１０がテレビジョン受像機１に備えられる場合を例として説明するが、これに限られず、制御装置１０は、放送波を受信してコンテンツを記憶し、その後にコンテンツを再生する録画機に備えられてもよい。
　制御装置１０は、テレビジョン受像機１がコンテンツを再生するときに付与する提示効果を制御する制御情報を出力する。制御装置１０は、テレビジョン受像機１が受信した放送波を取得し、放送波に含まれる信号から得られるコンテンツが、所定の複数の種別のうちのどの種別のコンテンツであるかを判定する。そして、制御装置１０は、そのコンテンツを提示する際の提示効果を制御するための制御情報を生成して出力する。制御情報には、そのコンテンツの種別を示す情報と、そのコンテンツを提示する際の提示効果の強度を示す情報とが含まれている（後述）。コンテンツの種別には、例えばスポーツ、ミュージック、トークまたはシネマなどが含まれる。なお、上記のどの種別にも該当しないものの種別をデフォルトということにする。
　図２は、本実施の形態に係る制御装置１０の機能構成を示すブロック図である。
　図２に示されるように、制御装置１０は、取得部１１と、判定部１２と、生成部１３とを備える。また、制御装置１０は、テレビジョン受像機１が備える音制御部２１と、映像制御部２２とに接続されている。制御装置１０が備える機能部は、制御装置１０が備えるプロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ））（不図示）がメモリ（不図示）を用いて所定のプログラムを実行することで実現され得る。
　取得部１１は、コンテンツを取得し、かつ、そのコンテンツの種別を示す種別情報（第一種別情報に相当）を取得する機能部である。
　取得部１１が取得するコンテンツは、テレビジョン受像機１が放送波などから取得したコンテンツである。取得部１１は、取得したコンテンツを、判定部１２と生成部１３とに提供する。
　取得部１１が取得する種別情報は、取得部１１が取得するコンテンツ全体の種別を示す情報であり、言い換えれば、コンテンツ全体に対して１つ付与される情報である。取得部１１が取得する種別情報は、取得部１１が取得するコンテンツの種別を示す情報として制御装置１０の外部の装置により設定されたメタ情報（例えばＳＩ）であってもよい。上記外部の装置は、放送番組を提供するテレビ局が有する装置であってもよいし、メタ情報を生成する第三者が有する装置であってもよいし、制御装置１０にメタ情報を提供するための専用の装置であってもよい。
　なお、取得部１１が取得するコンテンツが、テレビジョン受像機１がＨＤＭＩ（登録商標）規格に従って受信したコンテンツである場合には、ＨＤＭＩ（登録商標）コンテンツタイプ（Ｃｏｎｔｅｎｔ　Ｔｙｐｅ）から種別情報を取得してもよい。
　また、取得部１１が取得する種別情報は、取得部１１が取得したコンテンツを分析することで得られる種別情報であってもよい。その場合、取得部１１は、コンテンツの映像データ、音データおよびメタ情報における特徴を分析する処理を実行する。具体的には、取得部１１は、コンテンツの映像に含まれる人間の目線の検出処理、コンテンツの映像に含まれる物体の動きの検出処理、コンテンツの音に含まれる特定の音の検出処理、または、コンテンツの映像に含まれる物体のパターン検出処理などを実行することで、コンテンツの種別を特定する。映像データおよび音データの解析には、周知の画像認識技術、音認識技術（音声認識技術）が用いられ得る。取得部１１は、コンテンツの映像、音またはメタ情報に、所定の情報またはデータが検出されることに基づいてコンテンツの種別を判定する。
　例えば、目線の検出処理において、出演者のカメラ目線を検出した場合には、コンテンツの種別を「トーク」と判定する。また、物体の動きの検出処理において、比較的速い動きを検出した場合には、コンテンツの種別を「スポーツ」と判定し、一方、比較的遅い動きを検出した場合には、コンテンツの種別を「トーク」と判定する。また、音の検出処理において、歌唱する歌声または楽器が奏でる音を検出した場合には、コンテンツの種別を「ミュージック」と判定する。また、物体のパターン検出処理において、ユニフォームの画像を検出した場合には、コンテンツの種別を「スポーツ」と判定し、一方、楽器の画像を検出した場合には、コンテンツの種別を「ミュージック」と判定する。
　判定部１２は、取得部１１が取得したコンテンツに対して種別判定処理を行うことで、コンテンツの種別を示す種別情報（第二種別情報に相当）を取得する機能部である。
　判定部１２は、種別判定処理において、事前に機械学習によって構築された認識モデルにコンテンツを入力し、コンテンツを入力することで出力されたコンテンツの種別情報を、第二種別情報として取得してもよい。
　判定部１２は、より具体的には、コンテンツに含まれる複数の部分コンテンツそれぞれの種別を判定する。ここで、部分コンテンツとは、コンテンツに含まれる所定のフレーム数を有する部分であり、例えば、１フレーム、１０フレームまたは３０フレームを有する部分である。なお、部分コンテンツは、コンテンツに含まれる所定の時間長（例えば、１秒間、５秒間または１０秒間など）を有する部分としてもよい。
　判定部１２は、種別判定処理により、取得部１１がコンテンツの種別を取得する方法とは異なる方法で、取得部１１が取得するコンテンツの種別を取得する、ともいえる。より具体的には、判定部１２は、例えばメタ情報を用いることなく、取得部１１が取得するコンテンツの種別を取得する、ともいえる。
　生成部１３は、コンテンツを提示する際の提示効果の強度を制御するための制御情報を生成して出力する機能部である。生成部１３は、取得部１１が取得した第一種別情報と判定部１２が取得した第二種別情報とが一致する場合に、第一種別情報と第二種別情報とが一致しない場合よりも、コンテンツを提示する際に付与する提示効果の強度を高くする制御情報を生成する。提示効果は、音響効果および映像効果の少なくとも一方を含む。制御情報は、音制御部２１および映像制御部２２に出力される。
　制御情報は、具体的には、コンテンツを提示する際に付与する提示効果の強度を時系列で示す情報を含む。制御情報は、コンテンツについての第一種別情報と、当該コンテンツに含まれる複数の部分コンテンツごとの第二種別情報とが一致する場合に、当該部分コンテンツの提示に際してより高い強度の提示効果を付与することを示している。
　生成部１３は、コンテンツの種別を示す種別情報と、当該種別のコンテンツを提示する際に付与すべき提示効果とが予め対応付けられた対応付け情報を有している。そして、生成部１３は、制御情報を生成する際には、第一種別情報に予め対応付けられた提示効果を付与する制御情報を生成する。
　対応付け情報は、例えば、種別情報と音響効果との対応付けとして以下の情報を有する。
　例えば、「スポーツ」の種別のコンテンツに対しては、音の広がりを大きくし、また、視聴者が音に包まれる感じを抱くように、音の出力方向を変更する音響効果が対応付けられる。また、例えば、「ミュージック」の種別のコンテンツに対しては、音の広がりを大きくするように、人が感じる音の聴こえ方を変更する音声信号処理を施し、また、ボーカルの声が強調されるように、出力される周波数帯域ごとに音声振幅を変化させる音響効果が対応付けられる。また、「トーク」の種別のコンテンツに対しては、視聴者が出演者の声を聞き取りやすいように、出力される周波数帯域ごとに音声振幅を変化させる音響効果が対応付けられる。
　また、対応付け情報は、例えば、種別情報と映像効果との対応付けとして以下の情報を有する。
　例えば、「スポーツ」の種別のコンテンツに対しては、映像を明るく鮮やかにするように、映像の輝度およびシャープネスを上げる映像効果が対応付けられる。例えば、「シネマ」の種別のコンテンツに対しては、質感が豊かに表現されるように、映像の輝度を抑えながらコントラストを上げる映像効果が対応付けられる。
　なお、生成部１３は、制御情報を生成するときに、提示効果の強度の急激な変化を抑制する処理を施してもよい。上記処理をフィルタ処理ともいう。上記処理は、いわゆるローパスフィルタ処理であり、ノイズ除去処理または平滑化処理とも呼ばれ得る。
　音制御部２１は、生成部１３が出力した制御情報を取得し、制御情報に基づいてスピーカ５による音の出力を制御する機能部である。音制御部２１は、取得部１１が取得したコンテンツに含まれる音をスピーカ５により出力する制御をする。その際、音制御部２１は、制御情報に含まれる提示効果の強度に従って音響効果を付与するように、出力する音を加工する。
　映像制御部２２は、生成部１３が出力した制御情報を取得し、制御情報に基づいて画面６による画像の表示を制御する機能部である。映像制御部２２は、取得部１１が取得したコンテンツに含まれる映像を画面６に表示する制御をする。その際、映像制御部２２は、制御情報に含まれる強度に従って映像効果を付与するように、表示する映像を加工する。
　以降において、制御装置１０の処理についてより詳細に説明する。
　図３は、本実施の形態に係るコンテンツについて取得部１１が取得する種別と、判定部１２が判定する種別との一例を示す説明図である。
　図３に示されるコンテンツは、取得部１１が取得したコンテンツの一例であり、サッカーの試合の放送番組のコンテンツである。コンテンツは、より詳細には、オープニング、競技、ＣＭ（コマーシャルメッセージ）、競技、観衆、競技、および、インタビューの各部分コンテンツをこの順に含んでいる。
　このコンテンツのＳＩは、このコンテンツの種別が「スポーツ」であることを示しているとする。
　取得部１１は、コンテンツのＳＩを取得することで、このコンテンツ全体の種別として「スポーツ」を示す情報（以降、単に「スポーツ」ともいう）を取得する。
　判定部１２は、コンテンツに含まれる複数の部分コンテンツそれぞれの種別を判定することで、複数の部分コンテンツそれぞれの種別を示す情報を取得する。具体的には、判定部１２は、オープニングまたはＣＭの部分コンテンツの種別として「デフォルト」を取得し、競技または観衆の部分コンテンツの種別として「スポーツ」を取得し、インタビューの部分コンテンツの種別として「トーク」を取得する。
　図４は、本実施の形態に係る判定部１２による種別判定のための学習に用いられる訓練データの一例を示す説明図である。
　図４に示される訓練データは、１つの部分コンテンツと１つの種別とが対応付けられた訓練データである。
　例えば、図４に示される訓練データ＃１では、サッカーをプレイしている選手を示す画像を含む部分コンテンツと、当該部分コンテンツの種別としての「スポーツ」とが対応付けられている。
　また、訓練データ＃２では、ステージで歌唱している歌手を示す画像を含む部分コンテンツと、当該部分コンテンツの種別としての「ミュージック」とが対応付けられている。
　また、訓練データ＃３では、対話をしている出演者を示す画像を含む部分コンテンツと、当該部分コンテンツの種別としての「トーク」とが対応付けられている。
　なお、訓練データには、画像だけでなく、音声も含まれてよい。
　訓練データには、図４に具体的に示される３つの部分コンテンツの他にも、数千～数万以上のコンテンツが含まれ得る。また、各部分コンテンツに対応付けられる種別は、所定の複数の種別のうちのいずれかの種別である。所定の複数の種別は、例えば「スポーツ」、「ミュージック」および「トーク」を含むが、これに限られない。
　判定部１２は、訓練データを用いた機械学習によって、事前に認識モデルを構築しておく。認識モデルは、例えば、ニューラルネットワークによる認識モデルである。その場合、判定部１２は、訓練データを用いた訓練によって、入力された部分コンテンツの画像または音声の特徴を抽出し、入力された部分コンテンツに対応する種別を出力するように、ニューラルネットワークにおける各ノードの係数を調整することで、認識モデルを構築する。
　このように訓練された認識モデルは、未知の部分コンテンツが入力された場合に、入力された部分コンテンツの画像および音の特徴に基づいて、そのコンテンツの種別を示す種別情報を出力する。
　認識モデルにより出力される種別情報は、一例として、入力された部分コンテンツが所定の複数の種別のうちのどの種別であるかを特定する情報であり、この場合を例として説明する。なお、出力される種別情報は、入力された部分コンテンツが所定の複数の種別それぞれに分類される確率であるスコアを含む情報であってもよい。
　図５は、本実施の形態に係る判定部１２による種別判定の結果を示す種別情報の一例を示す説明図である。
　判定部１２は、取得部１１が取得したコンテンツに含まれる部分コンテンツを認識モデルに入力することで出力される種別情報を取得する。
　例えば、図５に示される部分コンテンツ３１が認識モデルに入力された場合、認識モデルは、入力された部分コンテンツ３１の種別として「スポーツ」を出力する。
　図６は、本実施の形態に係る、取得部１１による取得結果と判定部１２による種別判定の結果の一致または不一致の時間的変化の一例を示す説明図である。具体的には、図６は、取得部１１が取得したコンテンツ全体の種別に、判定部１２が判定した部分コンテンツの種別が一致するか、または、一致しないかを時系列で示すグラフである。
　例えば、コンテンツ全体の種別が「スポーツ」である場合、部分コンテンツの種別が判定部１２によって「スポーツ」と判定されたときには、その部分コンテンツに対応する期間において種別が「一致」であり、部分コンテンツの種別が「スポーツ」以外の種別であると判定されたときには、その部分コンテンツに対応する期間において種別が「不一致」である。
　なお、図６の横軸のスケールは任意であるが、例えば、１目盛りが２０フレーム分の時間に相当する。
　図７は、本実施の形態に係る生成部１３が制御情報に示される提示効果の強度Ｉの一例を示す説明図である。
　生成部１３は、図６に示される種別の一致または不一致に基づいて、提示効果の強度Ｉを示す制御情報を生成する。
　図７に示される強度情報において、種別が一致である期間における強度Ｉが１００％と設定されており、種別が不一致である期間における強度Ｉが０％と設定されている。なお、０％の強度とは、特別の提示効果が付与されないことを意味しており、言い換えれば、通常の提示がなされることを意味している。なお、上記における１００％および０％は例示であり、強度情報において、種別が一致である期間における強度Ｉが、種別が不一致である期間における強度Ｉより高く設定されていればよい。
　なお、種別が不一致の場合に、第一種別情報と第二種別情報の組み合わせにより強度を変えるようにしてもよい。
　図７に示される制御情報によって、音制御部２１による音響効果の強度が制御され、制御された強度の音響効果が付与された音がスピーカ５により出力される。また、出力された制御情報によって、映像制御部２２による映像効果の強度が制御され、制御された強度の映像効果が付与された映像が画面６に表示される。
　このようにして、制御装置１０は、コンテンツの種別に基づく提示効果の制御を適切に行うことができる。
　以降において、生成部１３が実行する、提示効果の強度の急激な変化を抑制するフィルタ処理を説明する。フィルタ処理は、加重移動平均を用いた方法が用いられ得る。
　図８は、本実施の形態に係る生成部１３が実行するフィルタ処理の算出に用いられるフレームを示す説明図である。図９は、本実施の形態に係る生成部１３が実行するフィルタ処理に用いられる指標の例である。図１０は、本実施の形態に係る生成部１３が実行するフィルタ処理により得られた提示効果の強度の例である。
　図８に示される時刻ｔのフレームが、種別の判定の対象である部分コンテンツであるフレームである。フィルタ処理において、時刻ｔ－ｋから時刻ｔまでのｋ＋１個のフレームを用いた加重移動平均
Figure JPOXMLDOC01-appb-M000001
 に、０より大きな数値であるＧａｉｎを乗じた
Figure JPOXMLDOC01-appb-M000002
 を評価値Ｅとして用いる。ここで、ｋは１より大きな整数であり算出区間を示す。また、Ｇａｉｎは、提示効果の強度の変化の感度を調整するためのパラメータとして機能する。評価値Ｅが１を超える場合には、１とすることで、評価値Ｅを０より大きく１以下の範囲に収める。
　このように算出された評価値Ｅの時間的変化を図９に示す。
　図９に示されるように評価値Ｅの時間的変化は、図７に示される強度Ｉの時間的変化における急激な変化が抑制されたものに相当する。
　この評価値Ｅを用いて、時刻ｔにおける強度Ｉ（ｔ）は、時刻ｔの直前つまり時刻ｔ－１における強度Ｉ（ｔ－１）を用いて以下のように表される。
　　Ｉ（ｔ）＝Ｅ×ｐ＋Ｉ（ｔ－１）×（１－ｐ）
　ここで、ｐは、０より大きく１より小さい数値であり、時刻ｔにおける強度Ｉ（ｔ）に、評価値Ｅと時刻ｔ－１における強度Ｉ（ｔ－１）とのどちらを重く反映するかを調整するパラメータとして機能する。
　このように算出された強度Ｉの時間的変化を図１０に示す。
　図１０に示される強度Ｉの時間的変化は、図９に示される評価値Ｅの時間的変化における急激な変化が、より一層抑制されたものに相当する。
　このように導出された強度Ｉを提示効果の強度として用いてコンテンツの提示をすることで、部分コンテンツごとの提示効果の制御を実現するとともに、提示効果の急激な変化を抑えることができる。
　なお、提示効果の強度は、ユーザによる設定を反映して制御することもできる。
　図１１は、本実施の形態に係る提示効果のユーザ設定に用いられる操作バーの一例である画像４０を示す説明図である。
　図１１に示されるように操作バーの画像４０は、左右に延びる操作バーを示す。画像４０は、０を示す目盛り４１と、１０を示す目盛り４２とを有し、また、これらの目盛りの間を移動可能である印４３を有する。
　画像４０がタッチパネルディスプレイに表示される場合、印４３は、ユーザによるタッチ操作によって左右に移動され、印４３の位置によって０から１０までの範囲内の数値を示すようになっている。例えば、実線の印４３の位置は、７の数値を示し、破線の印４３の位置は、４の数値を示す。
　生成部１３は、操作バーの印４３の位置を読み取ることによって、提示効果の強度の範囲の設定をユーザから受ける。そして、生成部１３は、上記操作により設定される強度の範囲内で提示効果を制御する制御情報を生成する。
　具体的には、生成部１３は、操作バーの印４３の位置として読み取った数値を提示効果の上限として用いる。例えば、０から１０までの範囲を示す操作バーにおいて印４３が７の数値を示す場合には、生成部１３が算出した提示効果の強度を０．７倍した強度の提示効果を付与して、提示を行う。
　このようにすることで、制御装置１０は、提示効果の強弱についてのユーザの嗜好を反映した強度で提示効果を付与することができる。
　なお、提示効果の強度を示す数値（上記における０、４、７および１０）は例示であり、他の数値を用いることも可能である。
　なお、操作バーは、左右に延びて配置される例に限られず、上下または斜め方向に延びて配置されてもよい。また、操作バーの形状は、上記の例に限定されず、提示効果の強度の変更の操作の用に供される画像であることがユーザにわかるものであれば、どのようなものであってもよい。
　また、画像４０がタッチパネルディスプレイではない、通常のディスプレイに表示される場合には、ユーザによるボタンまたはキーの操作によって上記と同様の操作がなされ得る。
　以上のように構成された制御装置１０の処理を説明する。
　図１２は、実施の形態に係る制御装置１０の制御方法を示すフロー図である。図１２に示される制御方法は、コンテンツのフレームごとに実行され得る。
　ステップＳ１０１において、取得部１１は、コンテンツを取得する。
　ステップＳ１０２において、取得部１１は、ステップＳ１０１で取得したコンテンツの、コンテンツ全体の種別を示す種別情報を取得する。
　ステップＳ１０３において、判定部１２は、ステップＳ１０１で取得したコンテンツに対して種別判定処理を行うことで、上記コンテンツに含まれる複数の部分コンテンツごとの種別情報を取得する。
　以降のステップＳ１０４、Ｓ１０５およびＳ１１１の処理は、複数の部分コンテンツそれぞれについて実行される。
　ステップＳ１０４において、生成部１３は、ステップＳ１０１で取得したコンテンツ全体の種別情報と、ステップＳ１０２で取得した複数の部分コンテンツそれぞれの種別情報とが一致するか否かを判定する。上記２つの種別情報が一致する場合（ステップＳ１０４でＹｅｓ）にはステップＳ１０５に進み、そうでない場合（ステップＳ１０４でＮｏ）にはステップＳ１１１に進む。
　ステップＳ１０５において、生成部１３は、処理の対象となっている部分コンテンツについて、提示効果の強度を高くする制御情報を生成する。提示効果の強度を高くする制御情報は、言い換えれば、提示効果の強度を通常とする場合（ステップＳ１１１）よりも高い提示効果の強度する制御情報である。提示効果の強度を高くする制御情報は、例えば、図７における１００％を示す制御情報である。
　ステップＳ１１１において、生成部１３は、処理の対象となっている部分コンテンツについて、提示効果の強度を通常とする（つまり、特別の提示効果を付与しない）制御情報を生成する。提示効果の強度を通常とする制御情報は、言い換えれば、提示効果の強度を高くする場合（ステップＳ１０５）よりも低減された提示効果の強度とする制御情報である。提示効果の強度を通常とする制御情報は、例えば、図７における０％を示す制御情報である。
　生成部１３は、複数の部分コンテンツそれぞれについてステップＳ１０５またはステップＳ１１１を実行することで、図７に例示される強度Ｉの時間的変化を取得する。
　ステップＳ１０６において、生成部１３は、提示効果の強度の急激な変化を抑制するフィルタ処理を実行する。これにより、生成部１３は、図１０に例示される強度Ｉの時間的変化を取得する。
　なお、ステップＳ１０６は、実行されなくてもよい。なお、ステップＳ１０６が実行される場合、処理の対象となっている部分コンテンツ以前の所定期間の提示効果の強度が算出されていることが必要である。
　ステップＳ１０７において、生成部１３は、制御情報を出力する。出力される制御情報には、提示効果の種別を示す種別情報と、提示効果の強度Ｉを示す情報とが含まれている。強度Ｉは、ステップＳ１０５またはステップＳ１１１で取得された強度Ｉであり、ステップＳ１０６のフィルタ処理が実行された場合には、そのフィルタ処理が施された強度Ｉである。
　ステップＳ１０７で出力された制御情報によって、音制御部２１による音響効果の強度が制御され、制御された強度の音響効果を伴った音がスピーカ５により出力される。また、出力された制御情報によって、映像制御部２２による映像効果の強度が制御され、制御された強度の映像効果を伴った映像が画面６に表示される。
　図１２に示される一連の処理により、コンテンツの種別に基づく提示効果の制御を適切に行うことができる。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、テレビジョン受像機、または、録画装置などに適用可能である。
　　１　　テレビジョン受像機
　　５　　スピーカ
　　６　　画面
　　１０　　制御装置
　　１１　　取得部
　　１２　　判定部
　　１３　　生成部
　　２１　　音制御部
　　２２　　映像制御部
　　３１　　部分コンテンツ
　　４０　　画像
　　４１、４２　　目盛り
　　４３　　印

Claims (12)

  1. 　コンテンツを取得し、かつ、前記コンテンツの種別を示す第一種別情報を取得する取得部と、
    　前記取得部が取得した前記コンテンツに対して種別判定処理を行うことで、前記コンテンツの種別を示す第二種別情報を取得する判定部と、
    　前記第一種別情報と前記第二種別情報とが一致する場合に、前記第一種別情報と前記第二種別情報とが一致しない場合よりも、前記コンテンツを提示する際に付与する提示効果の強度を高くする制御情報を生成して出力する生成部とを備える
    　制御装置。
  2. 　前記判定部は、前記種別判定処理において、
    　機械学習によって構築された認識モデルに、前記コンテンツを入力し、
    　前記認識モデルに前記コンテンツを入力することで出力された前記コンテンツの種別情報を、前記第二種別情報として取得する
    　請求項１に記載の制御装置。
  3. 　前記第一種別情報は、前記コンテンツ全体の種別を示しており、
    　前記判定部は、前記コンテンツに含まれる複数の部分コンテンツそれぞれの種別を判定する
    　請求項２に記載の制御装置。
  4. 　前記取得部は、前記コンテンツの種別を示す情報として設定された情報を前記制御装置と異なる装置から、前記第一種別情報として取得する
    　請求項１～３のいずれか１項に記載の制御装置。
  5. 　前記取得部は、取得した前記コンテンツを分析することで得られる前記コンテンツの種別情報を、前記第一種別情報として取得する
    　請求項１～３のいずれか１項に記載の制御装置。
  6. 　前記制御情報は、前記コンテンツを提示する際の提示効果の強度を時系列で示す情報を含む
    　請求項１～５のいずれか１項に記載の制御装置。
  7. 　前記生成部は、前記制御情報を生成するときに、前記コンテンツを提示する際の提示効果の強度の急激な変化を抑制する処理を施す
    　請求項１～６のいずれか１項に記載の制御装置。
  8. 　前記生成部は、
    　コンテンツの種別を示す種別情報と、当該種別のコンテンツを提示する際に付与すべき提示効果とが予め対応付けられた対応付け情報を有しており、
    　前記制御情報を生成する際には、前記第一種別情報に予め対応付けられた提示効果を付与する制御情報を、前記制御情報として生成する
    　請求項１～７のいずれか１項に記載の制御装置。
  9. 　前記生成部は、前記コンテンツを提示する際の提示効果として、音響効果および映像効果の少なくとも一方の強度を高くする制御情報を、前記制御情報として生成する
    　請求項１～８のいずれか１項に記載の制御装置。
  10. 　前記生成部は、提示効果の強度の範囲を設定する操作をユーザから受け、
    　前記操作により設定される強度の範囲内で提示効果を制御する前記制御情報を生成する
    　請求項１～９のいずれか１項に記載の制御装置。
  11. 　コンテンツを取得し、かつ、前記コンテンツの種別を示す第一種別情報を取得し、
    　取得した前記コンテンツに対して種別判定処理を行うことで、前記コンテンツの種別を示す第二種別情報を取得し、
    　前記第一種別情報と前記第二種別情報とが一致する場合に、前記第一種別情報と前記第二種別情報とが一致しない場合よりも、前記コンテンツを提示する際に付与する提示効果の強度を高くする制御情報を生成して出力する
    　制御方法。
  12. 　請求項１１に記載の制御方法をコンピュータに実行させるプログラム。
PCT/JP2021/037485 2021-03-11 2021-10-08 制御装置、制御方法、および、プログラム WO2022190446A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023505092A JP7499459B2 (ja) 2021-03-11 2021-10-08 制御装置、制御方法、および、プログラム
US18/280,402 US20240155192A1 (en) 2021-03-11 2021-10-08 Control device, control method, and recording medium
EP21930293.2A EP4307693A4 (en) 2021-03-11 2021-10-08 CONTROL DEVICE, CONTROL METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021039093 2021-03-11
JP2021-039093 2021-03-11

Publications (1)

Publication Number Publication Date
WO2022190446A1 true WO2022190446A1 (ja) 2022-09-15

Family

ID=83227697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037485 WO2022190446A1 (ja) 2021-03-11 2021-10-08 制御装置、制御方法、および、プログラム

Country Status (4)

Country Link
US (1) US20240155192A1 (ja)
EP (1) EP4307693A4 (ja)
JP (1) JP7499459B2 (ja)
WO (1) WO2022190446A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158941A (ja) * 2000-11-16 2002-05-31 Sharp Corp 画質制御装置
JP2006277232A (ja) 2005-03-29 2006-10-12 Kddi Corp 動画像データの分類装置
JP2008153895A (ja) * 2006-12-15 2008-07-03 Canon Inc 放送受信装置及びその制御方法
WO2011037147A1 (ja) * 2009-09-25 2011-03-31 シャープ株式会社 表示装置、プログラム及びプログラムが記録されたコンピュータ読み取り可能な記憶媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206493A1 (en) * 2009-10-27 2012-08-16 Sharp Kabushiki Kaisha Display device, control method for said display device, program, and computer-readable recording medium having program stored thereon
KR102229156B1 (ko) * 2014-03-05 2021-03-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158941A (ja) * 2000-11-16 2002-05-31 Sharp Corp 画質制御装置
JP2006277232A (ja) 2005-03-29 2006-10-12 Kddi Corp 動画像データの分類装置
JP2008153895A (ja) * 2006-12-15 2008-07-03 Canon Inc 放送受信装置及びその制御方法
WO2011037147A1 (ja) * 2009-09-25 2011-03-31 シャープ株式会社 表示装置、プログラム及びプログラムが記録されたコンピュータ読み取り可能な記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4307693A4

Also Published As

Publication number Publication date
EP4307693A1 (en) 2024-01-17
JP7499459B2 (ja) 2024-06-14
EP4307693A4 (en) 2024-07-10
US20240155192A1 (en) 2024-05-09
JPWO2022190446A1 (ja) 2022-09-15

Similar Documents

Publication Publication Date Title
JP6573870B2 (ja) オーディオ分類および処理のための装置および方法
JP2019216408A (ja) 情報を出力するための方法、及び装置
JP2020003537A5 (ja) オーディオ抽出装置、オーディオ再生装置、オーディオ抽出方法、オーディオ再生方法、機械学習方法及びプログラム
US11011187B2 (en) Apparatus for generating relations between feature amounts of audio and scene types and method therefor
CN109348274B (zh) 一种直播互动方法、装置及存储介质
JP2016523006A (ja) ボリューム平準化器コントローラおよび制御方法
JP2016519493A (ja) 等化器コントローラおよび制御方法
JP6203003B2 (ja) 信号処理装置、信号処理方法およびプログラム
JP7453712B2 (ja) オーディオ再生方法、装置、コンピュータ可読記憶媒体及び電子機器
US11756571B2 (en) Apparatus that identifies a scene type and method for identifying a scene type
JP2014089420A (ja) 信号処理装置、方法およびプログラム
US7203558B2 (en) Method for computing sense data and device for computing sense data
US20140181273A1 (en) Information system, information reproducing apparatus, information generating method, and storage medium
CN114615534A (zh) 显示设备及音频处理方法
CN114466242A (zh) 显示设备及音频处理方法
WO2022190446A1 (ja) 制御装置、制御方法、および、プログラム
CN116996702A (zh) 演唱会直播处理方法、装置、存储介质和电子设备
JP2006254187A (ja) 音場判定方法及び音場判定装置
JP7466087B2 (ja) 推定装置、推定方法、及び、推定システム
CN110097618A (zh) 一种音乐动画的控制方法、装置、车辆及存储介质
US20230353800A1 (en) Cheering support method, cheering support apparatus, and program
JP6619072B2 (ja) 音合成装置、音合成方法、及びそのプログラム
KR20220036210A (ko) 영상의 음질을 향상시키는 디바이스 및 방법
US20240038207A1 (en) Live distribution device and live distribution method
CN112992186B (zh) 音频处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21930293

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023505092

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18280402

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2021930293

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021930293

Country of ref document: EP

Effective date: 20231011