WO2021005757A1 - コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム - Google Patents

コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム Download PDF

Info

Publication number
WO2021005757A1
WO2021005757A1 PCT/JP2019/027389 JP2019027389W WO2021005757A1 WO 2021005757 A1 WO2021005757 A1 WO 2021005757A1 JP 2019027389 W JP2019027389 W JP 2019027389W WO 2021005757 A1 WO2021005757 A1 WO 2021005757A1
Authority
WO
WIPO (PCT)
Prior art keywords
media data
mapping
media
format
evaluation scale
Prior art date
Application number
PCT/JP2019/027389
Other languages
English (en)
French (fr)
Inventor
綜太朗 前島
康弘 持田
山口　高弘
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/625,368 priority Critical patent/US11805294B2/en
Priority to PCT/JP2019/027389 priority patent/WO2021005757A1/ja
Priority to JP2021530432A priority patent/JP7211514B2/ja
Publication of WO2021005757A1 publication Critical patent/WO2021005757A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4358—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen for generating different versions, e.g. for different peripheral devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Definitions

  • the present invention relates to a content playback device and a playback method composed of one or more media data.
  • the present invention relates to a content reproduction device and a reproduction method composed of a plurality of types of media data.
  • mapping evaluation scale consists of parameters that affect the physical reproduction result of media data.
  • Non-Patent Document 1 discloses a method of mapping a 3DCG image to a projector group by inputting a mapping evaluation scale by a content creator.
  • the system of Non-Patent Document 1 is based on an indoor 3D map, a projector, the position of the viewer, and the like.
  • the content creator sets a desired value of a group of physical parameters indicating the relationship between the relative three-dimensional coordinates, orientation, and volume between 3DCG objects as a mapping evaluation scale.
  • the system of Non-Patent Document 1 determines an appropriate mapping and supplies video data to the projector.
  • the purpose of this disclosure is to enable the reproduction of media data according to a preset sensitivity effect.
  • the content playback device of the present disclosure is A device table creation unit that holds a device table that defines the format of playable media data and the device parameters used when playing media data for each device.
  • a mapping evaluation scale that acquires metadata including media data format and sensitivity effect label, and is a device parameter according to the sensitivity effect label according to a conversion table in which device parameter values are defined for each combination of sensitivity effect label and format.
  • a media table creation unit that creates a media table in which the mapping evaluation scale and format are defined for each media data.
  • a combination pattern of a device capable of reproducing the media data included in the media table and the media data included in the media table is based on the device table and the format included in the media table.
  • the combination pattern that minimizes the relative error between the device parameters included in the device table and the mapping evaluation scale included in the media table is selected from the extracted combination patterns, and is the output destination of the media data.
  • the mapping decision unit that selects the device, To be equipped.
  • the content reproduction method of the present disclosure is
  • the device table creation unit holds a device table that defines the format of playable media data and the device parameters used when playing media for each device.
  • the media table creation unit acquires metadata including the format of the media data and the sensitivity effect label, and the device corresponding to the sensitivity effect label according to the conversion table in which the value of the device parameter is determined for each combination of the sensitivity effect label and the format.
  • a mapping evaluation scale which is a parameter, is defined, and a media table in which the mapping evaluation scale and format are defined for each media data is created.
  • the mapping determination unit applies a combination pattern of a device capable of reproducing the media data included in the media table among the devices included in the device table and the media data included in the media table to the device table and the media table. Extracted based on the included format, select the combination pattern that minimizes the relative error between the device parameters included in the device table and the mapping evaluation scale included in the media table from the extracted combination patterns, and media data. Select the device to output to.
  • the content reproduction program of the present disclosure is a program that causes the computer to function as each functional unit provided in the content reproduction device according to the present disclosure, and is a program that causes the computer to execute each procedure provided in the content reproduction method according to the present disclosure.
  • An example of the system configuration according to the present disclosure is shown. It is a block block diagram of the device table creation part. An example of device information is shown. An example of the device table is shown. An example of the parameters sent to the mapping determination unit is shown. An example of network parameters transmitted to the output unit is shown. It is a block block diagram of the media table creation part. An example of metadata is shown. An example of the conversion table of the Kansei effect and the mapping evaluation scale is shown. An example of a media table is shown. It is a flow chart which shows an example of the operation of a mapping determination part. An example of the mapping combination of media data and device is shown. It is a block block diagram of an output part. The first example of the format conversion table is shown. A second example of the format conversion table is shown.
  • An extraction example of the device is shown.
  • An example of the device information of the third embodiment is shown.
  • An example of the media table of the third embodiment is shown.
  • An example of the metadata of the fourth embodiment is shown.
  • An example of the Kansei effect and the conversion table of the mapping evaluation scale of the fourth embodiment is shown.
  • An example of the media table of the fourth embodiment is shown.
  • An example of a table that defines the calculation method of the mapping evaluation scale is shown.
  • An example of the device parameters included in the device table of the fourth embodiment is shown.
  • An example of the system configuration according to the fifth embodiment is shown.
  • An example of spatial parameters is shown. It is explanatory drawing of a spatial parameter.
  • An example of the device parameters included in the device table of the fifth embodiment is shown.
  • An example of the media table of the fifth embodiment is shown.
  • An example of the hardware configuration of the system of the present disclosure is shown.
  • FIG. 1 shows an example of the system configuration according to the present disclosure.
  • the content reproduction system according to the present disclosure includes a plurality of devices D 1 to D 4 and an orchestrator 91 that distributes the input media data to any of the plurality of devices and outputs the data.
  • Devices D 1 to D 4 are arbitrary devices capable of reproducing media data.
  • the orchestrator 91 distributes and outputs a plurality of received media data (video, audio, or sound effects, effect lighting, etc.) to a plurality of devices (display, speaker, lighting, etc.).
  • the media data refers to data in which information such as video and audio is electronically encoded.
  • the content is composed of one or more media data groups and metadata about the media data groups.
  • the orchestrator 91 includes a device table creation unit 10 that executes a device table creation procedure, a media table creation unit 20 that executes a media table creation procedure, a mapping determination unit 30 that executes a mapping determination procedure, and an output unit 40 that executes an output procedure. , Equipped with.
  • the device table creation unit 10 acquires device information from each device D 1 to D 4 and creates a device table using the device information.
  • the media table creation procedure the media table creation unit 20 acquires the media data and the metadata of each media data, and creates the media table.
  • the mapping determination unit 30 determines the combination of the media data and the devices D 1 to D 4 for reproducing the media data by using the device table and the media table.
  • the output unit 40 distributes the media data to the devices D 1 to D 4 according to the mapping result of the mapping determination unit 30.
  • FIG. 2 is a block configuration diagram of the device table creation unit 10.
  • the device table creation unit 10 includes a device information receiving unit 11 and a device table saving / updating unit 12.
  • Step 1 The device information receiving unit 11 acquires device information from each of the devices D 1 to D 4 .
  • the device information includes device identification information, supported formats, device parameters and network parameters.
  • a "supported format” is a format of media data that can be played by the device.
  • the “device parameter” is an arbitrary parameter used by the device when playing back media data.
  • the “network parameter” is information for transmitting and receiving media data, and includes an IP address, a port number, and a corresponding protocol.
  • FIG. 3 shows an example of device information when the device D 1 is a video display.
  • the supported formats are H. It is 264.
  • Device parameters include frame rate and projected area. The frame rate is 30 and the projected area is 2.0.
  • the method by which the device information receiving unit 11 acquires the device information is arbitrary.
  • the transmission timing is, for example, when the media table creation unit 20 receives the media data.
  • Step 2 Device information receiving unit 11 transfers the new device information received from the devices D 1 ⁇ D 4 in the device table storage / update section 12.
  • Step 3 When the device table save / update unit 12 receives the new device information, the device table adds new device information to the held device table, updates the device table, and saves the device table.
  • a JSON Javascript (registered trademark) Object Notification) format can be considered.
  • FIG. 4 shows an example of the updated device table.
  • the device information of the devices D 3 and D 4 which are lighting fixtures and the device information of the device D 2 which is a video display is added.
  • Step 4 The device table creation unit 10 transmits the parameters necessary for mapping excluding the network parameters from the device table held in the device table save / update unit 12 to the mapping determination unit 30. Further, the device table creation unit 10 sends the network parameters of each playback device to the output unit 40 from the device table held in the device table save / update unit 12.
  • FIG. 5 shows an example of parameters transmitted to the mapping determination unit 30.
  • FIG. 6 shows an example of parameters transmitted to the output unit 40.
  • FIG. 7 is a block configuration diagram of the media table creation unit 20.
  • the media table creation unit 20 includes a reception unit 21 and a conversion unit 22.
  • Step 1 The receiving unit 21 receives media data and metadata from the outside of the orchestrator 91.
  • the method of adding the metadata to the media data is described in, for example, H.
  • video data in 264 format and its metadata are stored together in an MP4 container.
  • FIG. 8 shows an example of metadata.
  • the metadata includes format information and Kansei effect labels for each media data.
  • the media data M 1 is video data
  • the "sensitivity effect” is an effect that appeals to the sensibilities such as the emotions and tastes of the person who sees it from the physical result of reproducing the media data. For example, when playing back video data, the viewer feels “lively and well-understood” according to the physical values related to the playback, such as the frame rate and the video area occupied in the field of view, in addition to the video content itself. It is generally said that the degree of strength of the emotional effect of "or atmosphere, that is, action” changes. In addition, there are a wide variety of types such as authenticity and drama. "Authenticity” is, for example, the sensibility effect that something that should not be there really feels there. "Drama” is an emotional effect that makes emotional expressions such as emotions rich.
  • the "Kansei effect label” is a concise character string, code, or identifier representing the Kansei effect.
  • the Kansei effect label corresponds to a character string such as "action”, “intrinsic”, and "drama”.
  • Step 2 The receiving unit 21 sends the received media data to the output unit 40, and sends the metadata to the conversion unit 22 of the mapping evaluation scale.
  • Step 3 The conversion unit 22 maps the Kansei effect label portion of the received metadata according to the format, based on the “Kansei effect label and mapping evaluation scale conversion table” that is stored in advance. Convert to a rating scale. Add this converted metadata to the media table. The conversion unit 22 transmits the created media table to the mapping determination unit 30.
  • FIG. 9 shows an example of the conversion table of the Kansei effect label and the mapping evaluation scale.
  • H.I. whose Kansei effect label is actionable.
  • the evaluation scale of the projected area is 1.8 with a weight of 1.0
  • the evaluation scale of the frame rate is 60 with a weight of 0.5
  • the overall weight is 0.7.
  • H.S. whose Kansei effect label is authentic.
  • the frame rate evaluation scale is 60 with a weight of 1.0
  • the bit depth evaluation scale is 16 with a weight of 0.5
  • the overall weight is 0.6.
  • FIG. 10 shows an example of a media table.
  • the format of the media data M 1 is H. It is 264 and the Kansei effect label is actionable.
  • mapping evaluation scale E prp the media data M p, r p pieces of mapping rating scale is set.
  • the device in which the value of each mapping evaluation scale of the media data and the value of the corresponding device parameter are close to each other obtains the most expected Kansei effect. be able to.
  • the device whose "projected area" value having the maximum weight is closest to the device parameter is assigned to the reproduction of the media data.
  • the device parameters d 12 or d 22 relating to the projected area are to be reproduced. but, by selecting and reproducing device closest to the mapping evaluation measure E 11 for the projection area, it is realized to obtain an action of sensibility effects that are most expected in the reproduction of the media data M 1.
  • the overall weight is a numerical value that determines the priority of mapping a plurality of media data.
  • the entire weight G 1 of the media data M 1 video is 0.7
  • the overall weight G 2 media data M 2 of the illumination is 0.3.
  • the objective function of the video media data M 1 having a larger overall weight becomes dominant in the final mapping evaluation, and the mapping that reduces the objective function of the video media data M 1 becomes easier to be selected.
  • FIG. 11 is a flow chart showing an example of the operation of the mapping determination unit 30.
  • the mapping determination unit 30 executes steps S311 to S316.
  • Step S311 The mapping determination unit 30 receives the device table from the device table creation unit 10 and the media table from the media table creation unit 20. Then, the mapping determination unit 30 derives a combination of devices for reproducing the media data M 1 and M 2 from the devices D 1 to D 4 .
  • mapping determining section 30 compares the corresponding format of each media data and the device, format leads to a combination pattern only to a subject a combination of matching media data M p and device D r is.
  • FIG. 12 shows an example of a mapping combination of media data and a device.
  • the media data M 1 is H. It is video data in 264 format
  • media data M 2 is 8-bit HSV lighting data.
  • Devices D 1 and D 2 are H.I. It is a video display capable of reproducing 264 formats
  • devices D 3 and D 4 are lighting fixtures capable of reproducing 8-bit HSV. In this case, there are the following four combination patterns.
  • x 1 to X
  • Step S313 the combination of the media data M p and device D r, calculates the objective function L p r using each type 2.
  • r p is the total number of mapping evaluation scales set in the media data M p .
  • p is an identifier of media data
  • P is the total number of media data to be reproduced.
  • r is a device identifier
  • r a natural number from 1 to R
  • R is the total number of devices.
  • e pi represents the relative error between the output value E pi 'corresponding to the i-th mapping Rating Scale E pi mapping Rating Scale E pi of media data M p, it is expressed by the following equation.
  • the output value E pi' is the value of the device parameter corresponding to the mapping evaluation scale E pi .
  • the output value E 11 ' is a device parameter corresponding to the projected area
  • the device parameter d 12 is the output value E 11 if device D 1' of the mapping evaluation measure E 11 corresponds to.
  • Objective function L p r of the formula 2 calculated by multiplying the weight g pi according to the mapping evaluation measure E pi of the relative error e pi, they are summed, and performs a calculation that.
  • Step S314 Using the calculated objective function L p r, and calculate the mapping evaluation function S x in combination pattern as follows, are recorded.
  • mapping evaluation function S x When the mapping evaluation function S x is the smallest, it is considered that the overall sensibility effect generated by a plurality of media data is realized in the most expected state. That is, the mapping determination unit 30 searches for the mapping combination pattern x having the smallest mapping evaluation function S x according to the flow of FIG.
  • Step S315 x is updated and the process returns to step S313.
  • x X
  • the process proceeds to step S316.
  • mapping the evaluation function S x A description will be given of a specific method of calculating the objective function L p r, and mapping the evaluation function S x.
  • the device D 1 which is a video display capable of outputting a value close to the desired value of the projected area is better.
  • L p r is small.
  • the influence of the objective function of (lighting) is relatively small. In other words, can be calculated as in preference for the media overall weight G p is greater evaluate the mapping.
  • the media M 1 is assigned to the device D 1 and the media data M 2 is assigned to the device D 4 .
  • FIG. 13 is a block configuration diagram of the output unit 40.
  • the output unit 40 includes a transmission / reception instruction unit 41, a media data storage unit 42, and a transmission unit 43.
  • Step 1 The transmission / reception instruction unit 41 receives the network parameters of each device from the device table creation unit 10.
  • Step 2 The output unit 40 receives the media data from the media table creation unit 20 and stores it in the media data storage unit 42.
  • Step 3 The transmission / reception instruction unit 41 receives the mapping result from the mapping determination unit 30.
  • the mapping result includes devices D 1 and D 4 that reproduce the respective media data M 1 and M 2 .
  • the transmission / reception instruction unit 41 uses the network parameters of each device to generate information necessary for transmission / reception of media data.
  • the information required for transmitting and receiving media data is, for example, an SDP (Session Description Protocol) file or the like.
  • Step 4 The transmission / reception instruction unit 41 transmits information necessary for transmission / reception of media data and a transmission instruction of media data to the transmission unit 43.
  • the information required for transmitting and receiving media data is the network parameters of each device acquired from the device table creation unit 10.
  • the media data storage unit 42 transmits the media data to the transmission unit 43.
  • the transmission unit 43 transmits the mapped media data to each of the devices D 1 to D 4 .
  • RTP Real-time Transport Protocol
  • the present disclosure can obtain the following effects. -The work of setting multiple parameters included in the mapping evaluation scale can be simplified only by selecting the Kansei effect label. -The overall sensibility effect generated by playing back multiple media data can be automatically maximized.
  • the transmission / reception instruction unit 41 provided in the output unit 40 has a function of converting the format F p of the media data M p .
  • step S311 shown in FIG. 11 the mapping determining section 30 from among the devices D 1 ⁇ D 4, only the devices that format F p and devices corresponding format of the media data M p matches , It is extracted as a combination target of mapping.
  • the output unit 40 can convert the format F p of the media data M p . Therefore, the mapping determination unit 30 of the present embodiment can increase the variation of the combination pattern within the range in which the format can be converted.
  • the mapping determination unit 30 refers to a format conversion table in which the format that can be converted is determined by the transmission / reception instruction unit 41, and extracts a device that can be used by performing format conversion as a mapping combination target.
  • the present embodiment even with different formats F p and device format of the media data M p, if it is possible to convert the format F p of the media data M p to the corresponding format of the device, that Devices are also added to the mapping combination target.
  • FIG. 14 shows a first example of the format conversion table.
  • the formats that can be converted to each other are arranged in each row.
  • prepare in advance a table that describes the conversion source and conversion destination of the format that can be converted in one direction in each row.
  • FIG. 15 shows a second example of the format conversion table.
  • the second example of the format conversion table is an arrangement of formats that can be converted in one direction.
  • FIG. 16 shows an extraction example of the device according to the present embodiment.
  • the media data M 1 is H. It is media data of 265 format video, and it is a combination that can be converted to each other in the format conversion table. 264 and H. 265 is described.
  • the device D 2 is the only device that supports the format of the media data M 1 .
  • the devices D 1 and D 2 are extracted as the devices corresponding to the format of the media data M 1 .
  • Mapping determining section 30 as a mapping result, the device D 1 and D 2 for reproducing the media data M 1 and M 2, the format to be reproduced at each device D 1 and D 2, and transmits to the transmitting and receiving instruction unit 41.
  • Receiving instruction unit 41, H. a format of media data M 1 From 265 to H. It is converted to 264, and the converted media data M 1 is transmitted to the transmission unit 43 to the device D 1 .
  • the media data M 1 can be reproduced on the device D 1 .
  • the present embodiment provides the possibility of finding a highly evaluated mapping combination in which the minimum value of the mapping evaluation function S x can be made smaller by increasing the total number X of the mapping combination patterns.
  • a device parameter is a fixed value.
  • the device parameters may be variable within a predetermined range. The system of the present embodiment will be described a case where the device D 1 has a device parameters can vary.
  • FIG. 17 shows an example of device information of the present embodiment.
  • the device information receiving unit 11 of the present embodiment also acquires a range in which the device parameters fluctuate from each of the devices D 1 to D 4 .
  • the device information receiving unit 11 can change or select the device parameter d 13 of the brightness in the range of 1.0 to 3.0 with a step size of 0.5. , 1.5 and 2.0 can be output as device parameters.
  • the mapping determination unit 30 When selecting the combination pattern x, the mapping determination unit 30 considers the fluctuating range of the device parameters. For example, as shown in FIG. 18, it is described in the mapping evaluation scale column of the media data M 1 of the media table that the brightness evaluation scale E 13 is 2.2 and the weight g 13 is 0.3. If so, in step S313, the mapping determination unit 30 calculates the relative error e 13 using the brightness evaluation scale E 13 .
  • the output value E 13 rating scale E 13 brightness' according to the device information shown in FIG. 17, corresponding to the device parameters d 13 brightness.
  • the desired value of the brightness evaluation scale E 13 is 2.2.
  • the mapping determination unit 30 sets the value of the step size 0.5 in the variable range of 1.0 to 3.0, which is the closest to 2.2, that is, 2.0, as the device parameter d of the brightness. Select as the output value of 13 .
  • the relative error e 13 can be calculated as follows.
  • Mapping determining section 30 as a mapping result, the device D 1 and D 2 for reproducing the media data M 1 and M 2, the device parameters used in the devices D 1 and D 2, and transmits to the transmitting and receiving instruction unit 41.
  • the transmission / reception instruction unit 41 transmits to the transmission unit 43 to the device D 1 that 2.0 is used for the device parameter d 13 of the brightness.
  • the device D 1 reproduces the media data M 1 by using 2.0 for the device parameter d 13 of the brightness.
  • the device D 1 can realize a more desired sensitivity effect in the reproduction of the media data M 1 .
  • the media table creation unit 20 assigns an absolute mapping evaluation scale that is not affected by the mapping evaluation scale of other media data.
  • the media table creation unit 20 of the present embodiment considers a relative mapping evaluation scale influenced by other media data.
  • the metadata of the media data acquired by the media table creation unit 20 includes information on "relationship with other media data" as shown in FIG. 19 in addition to the items of FIG.
  • the information regarding "relationship with other media data” includes, for example, that when both media data M 1 and M 2 are reproduced, the media data M 1 is the main and the media data M 2 is the sub.
  • the conversion table of the sensitivity effect label and the mapping evaluation scale referred to by the media table creation unit 20 includes information on "relationship of media data" and main media data as shown in FIG. 20 in addition to the items of FIG. Includes a mapping rating scale that shows the relationship with submedia data.
  • the media table creation unit 20 reads out that the relative distance to the main media data defined by the mapping evaluation scale is 2.0, and reflects it in the mapping evaluation scale of the sub media data M 2 .
  • the main media data is M 1
  • the relative distance to the media data M 1 is 2.0
  • the weight is 0.5.
  • the media data M 2 can have a mapping evaluation scale relative to the media data M 1 .
  • the output value of mapping rating scale had a name is equivalent to the corresponding device parameters.
  • the output value of the mapping evaluation scale "projected area" of the video media data was equivalent to the device parameter "projected area” of the video display.
  • the output value of the relative mapping evaluation scale requires a plurality of device parameters. Therefore, in the present embodiment, a table for defining the calculation method of the mapping evaluation scale as shown in FIG. 22 showing the device parameters and the calculation method is prepared in advance.
  • the device parameters included in the device table include three-dimensional coordinates.
  • the three-dimensional coordinates are information indicating the position where the device is arranged.
  • the three-dimensional coordinates of the device D 1 are (0,1, 2) and the three-dimensional coordinates of the device D 2 are (0,2,1) is shown.
  • the mapping determination unit 30 obtains the mapping combination pattern x using the media table, the device table, and the table that defines the calculation method of the output value of the mapping evaluation scale.
  • mapping evaluation scale is the relative distance between the main media data and the sub-media data
  • calculation method of the output value of the mapping evaluation scale is
  • Mapping determination unit 30 may read out the three-dimensional coordinates d 13 and d 23 from the device table to determine the output value E 22 'and the relative error e 22 in the relative distance E 22 for media data M 1.
  • the sensation effect label of actionability is the interaction between the main media data and the sub-media data by presenting the main media data and adding the sub-media data at an appropriate relative distance. Will occur, and the action will be enhanced.
  • FIG. 24 shows an example of the system configuration according to the present embodiment.
  • the orchestrator 91 according to the present embodiment further includes a spatial parameter acquisition unit 50.
  • the objective function L p r of the mapping determining section 30 it has utilized only the mapping evaluation measure E pi and device parameters d.
  • the present embodiment uses spatial parameters for calculation.
  • the spatial parameter acquisition unit 50 is an arbitrary means for acquiring spatial parameters, and examples thereof include a sensor, a communication means for receiving data from the sensor, and an input means such as a keyboard and a mouse.
  • Spatial parameters are parameters that affect the mapping evaluation scale of the space itself.
  • spatial parameters include spatial brightness, wall light reflection characteristics, spatial acoustic characteristics, and spatial 3D maps.
  • FIG. 25 shows an example of spatial parameters.
  • the spatial parameter shown in FIG. 25 is a 3D map of the space, and the range of the wall surface in the X-axis, Y-axis, and Z-axis directions as shown in FIG. 26 is defined.
  • FIG. 27 shows an example of the device table of this embodiment.
  • Device table of the present embodiment reproducing device D 1 is Purojakuta, corresponding format H. 264, the device parameters include frame rate, screen size, 3D coordinates, unit direction vector and center normal direct illuminance. Three-dimensional coordinates and unit direction vectors are elements of spatial parameters.
  • a calculation formula using spatial parameters or other device parameters instead of fixed values may be described as device parameters.
  • the screen size is calculated using 3D coordinates and spatial parameters rather than fixed values.
  • FIG. 28 shows an example of the media table of the present embodiment.
  • the media data M 1 is video media data
  • the format is H.I. 264
  • the mapping evaluation scale includes projected area, frame rate and direct illuminance at the center normal.
  • the mapping determination unit 30 considers the following when extracting the combination pattern x.
  • the mapping determination unit 30 reads out the element of the spatial parameter.
  • the mapping determination unit 30 refers to the spatial parameters and performs a geometric calculation using the equations of each wall surface.
  • the mapping determination unit 30, the device D 1 in FIG. 26 judges that a situation such as to project an image on the wall W5.
  • the effect of increasing the sensitivity effect can be obtained.
  • the central normal direct illuminance which can be calculated only in consideration of spatial parameters, is a parameter related to the brightness of media data such as images and lighting, and contributes to the drama of the Kansei effect label. By making this possible, mapping that further enhances drama can be realized.
  • FIG. 29 shows an example of the hardware configuration of the system of the present disclosure.
  • the system of the present disclosure includes a computer 96 which functions as a content reproducing apparatus according to the present disclosure, the device D 1.
  • the computer 96 may be connected to the network 95.
  • the network 95 is a data communication network. Communication is carried out by electronic signals and optical signals via the network 95.
  • the computer 96 includes a processor 110 and a memory 120 connected to the processor 110.
  • the processor 110 is an electronic device composed of logic circuits that respond to and execute instructions.
  • the memory 120 is a readable storage medium for the tangible computer 96 in which the computer program is encoded.
  • the memory 120 stores data and instructions, i.e. program code, that can be read and executed by the processor 110 to control the operation of the processor 110.
  • One of the components of the memory 120 is the program module 121.
  • the program module 121 includes a module for realizing an arbitrary functional unit provided in the present embodiment.
  • the program module 121 includes a module for realizing the device table creation unit 10, the media table creation unit 20, the mapping determination unit 30, and the output unit 40.
  • the program module 121 includes instructions for controlling the processor 110 to perform the processes described herein. Although the program module 121 is shown to have already been loaded into memory 120, it may be configured to be located on storage device 140 for later loading into memory 120.
  • the storage device 140 is a readable storage medium for a tangible computer that stores the program module 121. Alternatively, the storage device 140 may be another type of electronic storage device connected to the computer 96 via the network 95.
  • This disclosure can be applied to the information and communication industry.
  • Device table creation unit 11 Device information reception unit 12: Device table save / update unit 20: Media table creation unit 21: Reception unit 22: Conversion unit 30: Mapping determination unit 40: Output unit 41: Transmission / reception instruction unit 42: Media data storage unit 43: Transmission unit 91: Orchestrator 95: Network 96: Computer 110: Processor 120: Memory 121: Program module 140: Storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本開示は、予め設定された感性効果に応じたメディアデータの再生を可能にすることを目的とする。　本開示のコンテンツ再生装置（９１）は、再生可能なメディアデータのフォーマット及びデバイスパラメータをデバイスごとに定めたデバイステーブルを保持するデバイステーブル作成部（１０）と、メディアデータのフォーマット及び感性効果ラベルを含むメタデータを取得し、感性効果ラベルに応じたデバイスパラメータであるマッピング評価尺度を定め、マッピング評価尺度及びフォーマットがメディアデータごとに定められたメディアテーブルを作成する、メディアテーブル作成部（２０）と、メディアデータを再生可能なデバイスとメディアデータとの組み合わせパターンをフォーマットに基づいて抽出し、抽出した組み合わせパターンのなかからデバイスパラメータとマッピング評価尺度との相対誤差が最も小さくなる組み合わせパターンを選択し、メディアデータの出力先であるデバイスを選択する、マッピング決定部（３０）と、を備える。

Description

コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
　本発明は、一つ以上のメディアデータから構成されるコンテンツ再生装置および再生方法に関する。特に、複数種類のメディアデータから構成されるコンテンツ再生装置および再生方法に関する。
　映像データや音声データ等のメディアデータで構成されるコンテンツの視聴が普及し、さらに高臨場なコンテンツが登場しつつある。その様な高臨場コンテンツは、特定の再生環境を前提として作成されており、符号化方式や制御方法などが違うため、他の再生環境で同様に再生することは出来ないことが多い。
　しかし、メディアデータを何かしらの評価尺度に基づき、再生環境中のデバイスに対して適切にマッピングすることで、特定の再生環境における再生に最大限近づけることが出来る。以降、この際に利用する評価尺度を「マッピング評価尺度」と呼ぶ。マッピング評価尺度は、メディアデータの物理的な再生結果に影響を及ぼすパラメータで構成される。
　非特許文献１には、コンテンツ作成者がマッピング評価尺度を入力することで、プロジェクター群に３ＤＣＧ映像をマッピングする方法が開示されている。プロジェクター群が設置された所与の再生環境において３ＤＣＧコンテンツが視聴者に対して適切に見えるように再生するために、非特許文献１のシステムは、室内の３Ｄマップとプロジェクター、視聴者の位置や姿勢といった再生環境情報を取得することに加え、３ＤＣＧオブジェクト間の相対的な３次元座標と向き、体積の関係性を示す物理パラメータ群の所望値を、マッピング評価尺度としてコンテンツ作成者が設定する。これにより、非特許文献１のシステムは、適切なマッピングを決定し、プロジェクターに映像データを供給する。
　今後高臨場コンテンツを構成するメディアデータの種類や数が増大する傾向にある。従来はマッピング評価尺度を人手で設定する必要があるが、メディアデータの種類や数が増大するとその作業自体も複雑になってしまう。そのため、コンテンツのマッピング評価尺度の設定作業を削減する必要がある。
　本開示は、予め設定された感性効果に応じたメディアデータの再生を可能にすることを目的とする。
　本開示のコンテンツ再生装置は、
　再生可能なメディアデータのフォーマット及びメディアデータの再生時に用いるデバイスパラメータをデバイスごとに定めたデバイステーブルを保持するデバイステーブル作成部と、
　メディアデータのフォーマット及び感性効果ラベルを含むメタデータを取得し、感性効果ラベル及びフォーマットの組み合わせごとにデバイスパラメータの値が定められた変換テーブルに従って、感性効果ラベルに応じたデバイスパラメータであるマッピング評価尺度を定め、前記マッピング評価尺度及びフォーマットがメディアデータごとに定められたメディアテーブルを作成する、メディアテーブル作成部と、
　前記デバイステーブルに含まれるデバイスのうちの前記メディアテーブルに含まれるメディアデータを再生可能なデバイスと前記メディアテーブルに含まれるメディアデータとの組み合わせパターンを前記デバイステーブル及び前記メディアテーブルに含まれるフォーマットに基づいて抽出し、抽出した組み合わせパターンのなかから前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差が最も小さくなる組み合わせパターンを選択し、メディアデータの出力先であるデバイスを選択する、マッピング決定部と、
　を備える。
　本開示のコンテンツ再生方法は、
　デバイステーブル作成部が、再生可能なメディアデータのフォーマット及びメディアの再生時に用いるデバイスパラメータをデバイスごとに定めたデバイステーブルを保持し、
　メディアテーブル作成部が、メディアデータのフォーマット及び感性効果ラベルを含むメタデータを取得し、感性効果ラベル及びフォーマットの組み合わせごとにデバイスパラメータの値が定められた変換テーブルに従って、感性効果ラベルに応じたデバイスパラメータであるマッピング評価尺度を定め、前記マッピング評価尺度及びフォーマットがメディアデータごとに定められたメディアテーブルを作成し、
　マッピング決定部が、前記デバイステーブルに含まれるデバイスのうちの前記メディアテーブルに含まれるメディアデータを再生可能なデバイスと前記メディアテーブルに含まれるメディアデータとの組み合わせパターンを前記デバイステーブル及び前記メディアテーブルに含まれるフォーマットに基づいて抽出し、抽出した組み合わせパターンのなかから前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差が最も小さくなる組み合わせパターンを選択し、メディアデータの出力先であるデバイスを選択する。
　本開示のコンテンツ再生プログラムは、本開示に係るコンテンツ再生装置に備わる各機能部としてコンピュータを機能させるプログラムであり、本開示に係るコンテンツ再生方法に備わる各手順をコンピュータに実行させるプログラムである。
　本開示によれば、予め設定された感性効果に応じたメディアデータの再生を可能にすることができる。
本開示に係るシステム構成の一例を示す。 デバイステーブル作成部のブロック構成図である。 デバイス情報の一例を示す。 デバイステーブルの一例を示す。 マッピング決定部に送信されるパラメータの一例を示す。 出力部に送信されるネットワークパラメータの一例を示す。 メディアテーブル作成部のブロック構成図である。 メタデータの一例を示す。 感性効果とマッピング評価尺度の変換テーブルの一例を示す。 メディアテーブルの一例を示す。 マッピング決定部の動作の一例を示すフロー図である。 メディアデータとデバイスのマッピング組み合わせの一例を示す。 出力部のブロック構成図である。 フォーマット変換テーブルの第１例を示す。 フォーマット変換テーブルの第２例を示す。 本実施形態に係るデバイスの抽出例を示す。 第３の実施形態のデバイス情報の一例を示す。 第３の実施形態のメディアテーブルの一例を示す。 第４の実施形態のメタデータの一例を示す。 第４の実施形態の感性効果とマッピング評価尺度の変換テーブルの一例を示す。 第４の実施形態のメディアテーブルの一例を示す。 マッピング評価尺度の計算方法を定めるテーブルの一例を示す。 第４の実施形態のデバイステーブルに含まれるデバイスパラメータの一例を示す。 第５の実施形態に係るシステム構成の一例を示す。 空間パラメータの一例を示す。 空間パラメータの説明図である。 第５の実施形態のデバイステーブルに含まれるデバイスパラメータの一例を示す。 第５の実施形態のメディアテーブルの一例を示す。 本開示のシステムのハードウェア構成の一例を示す。
　以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
（第１の実施形態）
　図１に、本開示に係るシステム構成の一例を示す。本開示に係るコンテンツ再生システムは、複数のデバイスＤ１～Ｄ４と、入力されたメディアデータを複数のデバイスのいずれかに振り分けて出力するオーケストレータ９１と、を備える。デバイスＤ１～Ｄ４は、メディアデータを再生可能な任意の装置である。オーケストレータ９１は、受信した複数のメディアデータ（映像・音声・あるいは効果音や効果照明など）を、複数のデバイス（ディスプレイ・スピーカ・照明など）に振り分けて出力する。ここで、メディアデータとは、映像や音声などの情報を電子的に符号化したデータをいう。コンテンツは、１つ以上のメディアデータ群と、メディアデータ群に関するメタデータで構成されるものである。
　オーケストレータ９１は、デバイステーブル作成手順を実行するデバイステーブル作成部１０、メディアテーブル作成手順を実行するメディアテーブル作成部２０、マッピング決定手順を実行するマッピング決定部３０、出力手順を実行する出力部４０、を備える。
　デバイステーブル作成手順では、デバイステーブル作成部１０が、各デバイスＤ１～Ｄ４からデバイス情報を取得し、これを用いてデバイステーブルを作成する。
　メディアテーブル作成手順では、メディアテーブル作成部２０が、メディアデータ及び各メディアデータのメタデータを取得し、メディアテーブルを作成する。
　マッピング決定手順では、マッピング決定部３０が、デバイステーブル及びメディアテーブルを用いて、メディアデータと当該メディアデータを再生するデバイスＤ１～Ｄ４の組み合わせを決定する。
　出力手順では、出力部４０が、マッピング決定部３０のマッピング結果に従って、メディアデータをデバイスＤ１～Ｄ４に振り分ける。
＜デバイステーブル作成部１０＞
　図２は、デバイステーブル作成部１０のブロック構成図である。デバイステーブル作成部１０は、デバイス情報受信部１１及びデバイステーブル保存／更新部１２を備える。
　手順１：デバイス情報受信部１１は、各デバイスＤ１～Ｄ４からデバイス情報を取得する。デバイス情報は、デバイスの識別情報、対応フォーマット、デバイスパラメータ及びネットワークパラメータを含む。「対応フォーマット」はデバイスが再生可能なメディアデータのフォーマットである。「デバイスパラメータ」はメディアデータを再生する際にデバイスが用いる任意のパラメータである。「ネットワークパラメータ」は、メディアデータを送受信するための情報であり、ＩＰアドレスやポート番号、対応プロトコルを含む。
　図３に、デバイスＤ１が映像ディスプレイの場合のデバイス情報の一例を示す。対応フォーマットはＨ．２６４である。デバイスパラメータは、フレームレート及び投影面積を含む。フレームレートは３０であり、投影面積は２．０である。ネットワークパラメータは、ＩＰアドレス＝１９２．１６８．２．１０、ポート番号＝８１１８、対応プロトコルＲＴＰである。
　デバイス情報受信部１１がデバイス情報を取得する方法は任意である。送信のタイミングは、例えば、メディアテーブル作成部２０がメディアデータを受け取った時である。
　手順２：デバイス情報受信部１１は、各デバイスＤ１～Ｄ４から受信した新しいデバイス情報をデバイステーブル保存／更新部１２に渡す。
　手順３：デバイステーブル保存／更新部１２は、新しいデバイス情報を受信すると、保持しているデバイステーブルに対し、新しいデバイス情報を追加し、デバイステーブルを更新し、保存する。デバイステーブルの記述形式としては、例えばＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標）　Ｏｂｊｅｃｔ　Ｎｏｔａｔｉｏｎ）形式が考えられる。
　図４に、更新されたデバイステーブルの一例を示す。更新されたデバイステーブルでは、照明器具であるデバイスＤ３及びＤ４のデバイス情報並びに映像ディスプレイであるデバイスＤ２のデバイス情報に加え、映像ディスプレイであるデバイスＤ１のデバイス情報が追加されている。
　手順４：デバイステーブル作成部１０は、デバイステーブル保存／更新部１２に保持しているデバイステーブルから、ネットワークパラメータを除いたマッピングに必要なパラメータを、マッピング決定部３０に送信する。またデバイステーブル作成部１０は、デバイステーブル保存／更新部１２に保持しているデバイステーブルから、各再生デバイスのネットワークパラメータを出力部４０に送る。図５に、マッピング決定部３０に送信されるパラメータの一例を示す。図６に、出力部４０に送信されるパラメータの一例を示す。
＜メディアテーブル作成部２０＞
　図７は、メディアテーブル作成部２０のブロック構成図である。メディアテーブル作成部２０は、受信部２１、変換部２２を備える。
　手順１：受信部２１は、オーケストレータ９１の外部から、メディアデータと、メタデータを受け取る。メタデータをメディアデータに付与する方法は、例えばＨ．２６４フォーマットの映像データとそのメタデータをＭＰ４のコンテナに一緒に格納することが例示できる。
　図８に、メタデータの一例を示す。メタデータは、各メディアデータのフォーマット情報及び感性効果ラベルを含む。例えば、メディアデータＭ１は映像データであり、フォーマット情報＝Ｈ．２６４、感性効果ラベル＝アクション性が紐付けられている。メディアデータＭ２は、照明データであり、フォーマット情報＝８ｂｉｔ　ＨＳＶ、感性効果ラベル＝アクション性が紐付けられている。
　ここで、「感性効果」は、メディアデータを再生した物理的な結果から、それを見た人間の情緒や嗜好といった感性に訴えかける効果である。例えば、映像データの再生においては、映像の内容そのものに加え、フレームレートや視野に占める映像面積といった再生に関する物理的な数値に応じて、視聴者が感じる「生き生きとしていて動きがよく分かるような様子や雰囲気、すなわちアクション性」という感性効果の強さの度合いが変化すると、一般的に言われている。その他にも迫真性やドラマ性などその種類は多岐にわたる。「迫真性」は、例えば、そこにあるはずのないものが、本当にそこにあるように感じるという感性効果である。「ドラマ性」は、喜怒哀楽などの感情表現が豊かに感じるという感性効果である。「感性効果ラベル」は、感性効果を表す簡潔な文字列、符号あるいは識別子である。上述の例では、感性効果ラベルは「アクション性」、「迫真性」、「ドラマ性」といった文字列に相当する。
　手順２：受信部２１は、受信したメディアデータを出力部４０に送り、メタデータをマッピング評価尺度の変換部２２に送る。
　手順３：変換部２２は、内部にあらかじめ持っている「感性効果ラベルとマッピング評価尺度の変換テーブル」に基づき、受信したメタデータの感性効果ラベル部分を、フォーマットに応じて、重みづけされたマッピング評価尺度に変換する。この変換したメタデータをメディアテーブルに追加する。変換部２２は、作成したメディアテーブルをマッピング決定部３０に送信する。
　図９に、感性効果ラベルとマッピング評価尺度の変換テーブルの一例を示す。例えば、感性効果ラベルがアクション性であるＨ．２６４フォーマットのメディアデータの場合、投影面積の評価尺度は重み１．０の１．８であり、フレームレートの評価尺度は重み０．５の６０であり、全体重みは０．７である。感性効果ラベルが迫真性であるＨ．２６４フォーマットのメディアデータの場合、フレームレートの評価尺度が重み１．０の６０であり、ビット深度の評価尺度が重み０．５の１６であり、全体重みは０．６である。
　図１０に、メディアテーブルの一例を示す。メディアデータＭ１は、図８に示したように、フォーマットがＨ．２６４でありかつ感性効果ラベルがアクション性である。この場合、メディアデータＭ１に紐付けられるマッピング評価尺度は、図９の変換テーブルに照らして、投影面積Ｅ１１＝１．８（重みｇ１１＝１．０）、フレームレートＥ１２＝６０（重みｇ１２＝０．５）、全体重みＧ１＝０．７となる。
　ここで、「マッピング評価尺度Ｅｐｒｐ」について説明する。ｐが１以上の任意の整数である場合、メディアデータＭｐには、ｒｐ個のマッピング評価尺度が設定される。複数のデバイスのうちいずれか１つのデバイスでメディアデータを再生しようとするとき、メディアデータの各マッピング評価尺度の値と対応するデバイスパラメータの値とが近いデバイスほど、最も期待される感性効果を得ることができる。また、各マッピング評価尺度には、値（例えば、図１０における「投影面積Ｅ１１＝１．８」）と、重要度を示す重み（例えば、図１０における「重みｇ１１＝１．０」）が設定されている。この場合、重みが最大である「投影面積」の値がデバイスパラメータに最も近くなるようなデバイスを、メディアデータの再生に割り当てる。図１０に記載された映像のメディアデータＭ１を、図４のデバイステーブルに記載された映像ディスプレイＤ１あるいはＤ２のいずれかで再生しようとする場合、投影面積に関するデバイスパラメータｄ１２またはｄ２２が、投影面積に関するマッピング評価尺度Ｅ１１に最も近いデバイスを選択して再生させることで、メディアデータＭ１の再生において最も期待されるアクション性の感性効果を得ることが実現される。
　ここで、マッピング評価尺度に含まれる「全体重み（Ｇ）」について説明する。全体重みは、複数のメディアデータのマッピングの優先度を決める数値である。図１０に示す具体例の場合、映像のメディアデータＭ１の全体重みＧ１は０．７であり、照明のメディアデータＭ２の全体重みＧ２は０．３である。この場合、全体重みがより大きい映像のメディアデータＭ１の目的関数が最終的なマッピング評価において支配的になり、映像のメディアデータＭ１の目的関数を小さくするマッピングがより選択されやすくなる。
＜マッピング決定部３０＞
　図１１は、マッピング決定部３０の動作の一例を示すフロー図である。マッピング決定部３０は、ステップＳ３１１～Ｓ３１６を実行する。
　ステップＳ３１１：マッピング決定部３０は、デバイステーブル作成部１０からデバイステーブルを、メディアテーブル作成部２０からメディアテーブルを、受信する。そして、マッピング決定部３０は、デバイスＤ１～Ｄ４のなかからメディアデータＭ１及びＭ２を再生させるデバイスの組み合わせを導く。
　例えば、Ｐ個のメディアデータ（Ｍ１～ＭＰ）とＲ個のデバイス（Ｄ１～ＤＲ）が存在する際、それらをマッピングする組み合わせをすべて導く。所与の全メディアデータが所与の全デバイスで再生可能な場合、組み合わせの総数をＸ個とすると、次式が成立する。
Figure JPOXMLDOC01-appb-M000001
　例えば、本実施形態では、図４に示すような４種類のデバイスＤ１～Ｄ４と、図８に示すような２種類のメディアデータＭ１及びＭ２が存在する。この場合、Ｘ＝４Ｐ２＝４×３＝１２個の組み合わせが存在することになる。しかし、必ずしも全デバイスが全メディアデータを再生可能とは限らず、その際には組み合わせの総数Ｘは減少する。このとき、マッピング決定部３０は、各メディアデータと各デバイスの対応フォーマットを比較し、フォーマットが一致するメディアデータＭｐとデバイスＤｒの組み合わせのみを対象に組み合わせパターンを導く。
　図１２に、メディアデータとデバイスのマッピング組み合わせの一例を示す。本実施形態では、メディアデータＭ１はＨ．２６４フォーマットの映像データであり、メディアデータＭ２は８ｂｉｔ　ＨＳＶの照明データである。デバイスＤ１及びＤ２はＨ．２６４フォーマットを再生可能な映像ディスプレイであり、デバイスＤ３及びＤ４は８ｂｉｔ　ＨＳＶを再生可能な照明器具である。この場合、組み合わせパターンは以下の４通りとなる。
　・組み合わせパターンｘ＝１：Ｍ１とＤ１の組み合わせ、Ｍ２とＤ３の組み合わせ
　・組み合わせパターンｘ＝２：Ｍ１とＤ２組み合わせ、Ｍ２とＤ３の組み合わせ
　・組み合わせパターンｘ＝３：Ｍ１とＤ１組み合わせ、Ｍ２とＤ４の組み合わせ
　・組み合わせパターンｘ＝４：Ｍ１とＤ２組み合わせ、Ｍ２とＤ４の組み合わせ
　ステップＳ３１２：組み合わせパターンをｘ（ｘ＝１～Ｘ）とし、ｘ＝１から処理を開始する。本実施形態では、ｐ＝１とｒ＝１の組合せ、ｐ＝１とｒ＝２の組合せ、ｐ＝２とｒ＝３の組合せ、ｐ＝２とｒ＝４の組合せ、が存在する。
　ステップＳ３１３：メディアデータＭｐとデバイスＤｒの組合せに対して、それぞれ式２を用いて目的関数Ｌｐ ｒを計算する。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｒｐは、メディアデータＭｐに設定されたマッピング評価尺度の総数である。ｐはメディアデータの識別子であり、ｐ＝１～Ｐの自然数、Ｐは再生しようとするメディアデータの総数である。ｒはデバイスの識別子であり、ｒ＝１～Ｒの自然数、Ｒはデバイスの総数である。ｅｐｉは、メディアデータＭｐのｉ番目のマッピング評価尺度Ｅｐｉとマッピング評価尺度Ｅｐｉに対応する出力値Ｅｐｉ’との相対誤差を表し、次式で表される。
Figure JPOXMLDOC01-appb-M000003
　出力値Ｅｐｉ’は、マッピング評価尺度Ｅｐｉに対応するデバイスパラメータの値である。例えば、マッピング評価尺度Ｅ１１の出力値Ｅ１１’は、投影面積に対応するデバイスパラメータであり、デバイスＤ１であればデバイスパラメータｄ１２が出力値Ｅ１１’に相当する。
　式２で表される目的関数Ｌｐ ｒは、相対誤差ｅｐｉにそのマッピング評価尺度Ｅｐｉに係る重みｇｐｉを積算して算出し、それらを合算する、という計算を行うものである。目的関数Ｌｐ ｒが小さいほど、各マッピング評価尺度に対する出力値の相対誤差が小さいことを意味している。すなわち、目的関数Ｌｐ ｒが小さいほど、期待される感性効果をより忠実に実現することができる。そこで、メディアデータＭｐ（ｐ＝１～Ｐ）とデバイスＤｒ（ｒ＝１～Ｒ）の全ての組み合わせについて目的関数Ｌｐ ｒを計算する。そして、ステップＳ３１６において、目的関数Ｌｐ ｒが最も小さくなるデバイスＤｒとメディアデータＭｐの組み合わせを有する組み合わせパターンを、メディアデータとその再生のためのデバイスの対応付け（マッピング）として決定する。
　ステップＳ３１４：計算された目的関数Ｌｐ ｒを用いて、下記のように組み合わせパターンにおけるマッピング評価関数Ｓｘを計算し、記録する。
Figure JPOXMLDOC01-appb-M000004
　マッピング評価関数Ｓｘが最も小さい場合、複数のメディアデータによって発生する総合的な感性効果が最も期待される状態で実現される、と考える。すなわち、マッピング決定部３０は、図１１のフローに則り、マッピング評価関数Ｓｘが最も小さくなるマッピングの組み合わせパターンｘを探す。
　ステップＳ３１５：ｘを更新し、ステップＳ３１３に戻る。ｘ＝ＸになったらステップＳ３１６に移行する。
　ステップＳ３１６：ｘ＝１～Ｘのすべての組み合わせパターンで計算したマッピング評価関数Ｓｘを比較し、Ｓｘが最小になるときの組み合わせパターンｘを最良のマッピング結果として出力する。
　目的関数Ｌｐ ｒ及びマッピング評価関数Ｓｘの具体的な計算方法について説明する。本実施形態では、例えば下記の図１０に示すメディアテーブル、図４に示すデバイステーブルの場合、再生デバイスは映像２種類×照明２種類でマッピングの組み合わせパターンは４パターンある。このため、本実施形態では、Ｘ＝４であり、ｘ＝１～４の場合のマッピング評価関数Ｓｘを導出する。
　ｘ＝１：Ｍ１／Ｄ１の組み合わせとＭ２／Ｄ３の組み合わせ
　ｘ＝２：Ｍ１／Ｄ２の組み合わせとＭ２／Ｄ３の組み合わせ
　ｘ＝３：Ｍ１／Ｄ１の組み合わせとＭ２／Ｄ４の組み合わせ
　ｘ＝４：Ｍ１／Ｄ２の組み合わせとＭ２／Ｄ４の組み合わせ
　まず、メディアデータＭ１の目的関数Ｌ１ １及びＬ１ ２の導出例について説明する。
　ｐ＝１かつｒ＝１の場合、マッピング評価尺度Ｅ１１（投影面積）の出力値Ｅ１１’は、デバイスＤ１のデバイスパラメータｄ１２（投影面積）と等価である。このとき、マッピング評価尺度Ｅ１１に対する出力値Ｅ１１’の相対誤差ｅ１１は
Figure JPOXMLDOC01-appb-M000005
 と計算できる。
　ｅ１１が小さいほどメディアデータに対応付けられた感性効果をより忠実に実現できている、と評価する。フレームレートの相対誤差ｅ１２についても同様に計算できる。このように各マッピング評価尺度について相対誤差を計算し、重みｇｐｉをかけて和を取ると、下記のような式で表せる。
Figure JPOXMLDOC01-appb-M000006
　重みが大きいマッピング評価尺度ほど目的関数Ｌｐ ｒへの影響が大きくなる。つまり、重みが大きいマッピング評価尺度Ｅと出力値Ｅ’が近いデバイスはＬｐ ｒが小さくなり、マッピングされやすくなる。ｐ＝１かつｒ＝１，２の組み合わせで、Ｌ１ １とＬ１ ２を計算してみると下記のようになる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　このように、ｐ＝１の場合、映像メディアデータＭ１は投影面積が最も重みが大きいすなわち支配的なため、投影面積の所望値に近い値を出力できる映像ディスプレイであるデバイスＤ１の方がＬｐ ｒは小さくなる。
　このような計算を、ｐ＝２かつｒ＝３，４すなわちメディアデータＭ２の目的関数Ｌ２ ３及びＬ２ ４も同様に計算すると以下のようになる。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　これらをもとに、ｘ＝１～４のマッピング評価関数Ｓ１～Ｓ４が算出できる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　本実施形態は、Ｓｘの導出に全体重みＧｐを用いているため、映像のメディアデータＭ１の目的関数の方がＳｘの大小に対する影響が大きく（＝支配的に）なり、Ｍ２（照明）の目的関数の影響は相対的に小さくなっている。すなわち、全体重みＧｐが大きいメディアについて優先してマッピングの評価を行うように計算することができる。
　本実施形態では、ｘ＝３の組み合わせパターンにおけるマッピング評価関数Ｓ３が最小である。マッピング評価関数Ｓ１～Ｓ４のなかから最も小さいＳ３をマッピングの組み合わせパターンとして採用する。この場合、マッピング決定部３０は、ｘ＝３の組み合わせパターンをマッピング結果として出力する。これにより、本実施形態では、メディアＭ１はデバイスＤ１に割り当てられ、メディアデータＭ２はデバイスＤ４に割り当てられる。
＜出力部４０＞
　図１３は、出力部４０のブロック構成図である。出力部４０は、送受信指示部４１、メディアデータ保存部４２、送信部４３を備える。
　手順１：送受信指示部４１は、デバイステーブル作成部１０から各デバイスのネットワークパラメータを受信する。
　手順２：出力部４０は、メディアテーブル作成部２０からメディアデータを受信し、メディアデータ保存部４２に保存する。
　手順３：送受信指示部４１は、マッピング決定部３０からマッピング結果を受け取る。マッピング結果は、各メディアデータＭ１及びＭ２を再生するデバイスＤ１及びＤ４を含む。その後、送受信指示部４１は、各デバイスのネットワークパラメータを用いて、メディアデータの送受信に必要な情報を生成する。メディアデータの送受信に必要な情報は、例えばＳＤＰ（Ｓｅｓｓｉｏｎ　Ｄｅｓｃｒｉｐｔｉｏｎ　Ｐｒｏｔｏｃｏｌ）ファイル等である。
　手順４：送受信指示部４１は、送信部４３に対し、メディアデータの送受信に必要な情報とメディアデータの送信指示を送信する。メディアデータの送受信に必要な情報は、デバイステーブル作成部１０から取得した各デバイスのネットワークパラメータである。メディアデータ保存部４２は、メディアデータを送信部４３に送信する。送信部４３は、各デバイスＤ１～Ｄ４に対して、マッピングされたメディアデータを送信する。メディアデータの送信方法は、例えばＲＴＰ（Ｒｅａｌ－ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）を用いることができる。
（発明の効果）
　本開示は、以下の効果を得ることができる。
　・マッピング評価尺度に含まれる複数のパラメータの設定作業を、感性効果ラベルの選択のみに簡略化出来る。
　・複数のメディアデータの再生によって発生する総合的な感性効果を自動で最大化できる。
（第２の実施形態）
　本実施形態では、出力部４０に備わる送受信指示部４１が、メディアデータＭｐのフォーマットＦｐを変換する機能を有する。
　第１の実施形態では、図１１に示すステップＳ３１１において、マッピング決定部３０は、デバイスＤ１～Ｄ４のなかから、メディアデータＭｐのフォーマットＦｐとデバイスの対応フォーマットが一致するデバイスのみを、マッピングの組み合わせ対象として抽出している。本実施形態では、出力部４０においてメディアデータＭｐのフォーマットＦｐを変換することができる。このため、本実施形態のマッピング決定部３０は、フォーマットの変換が可能な範囲で組み合わせパターンのバリエーションを増やすことができる。
　マッピング決定部３０は、送受信指示部４１において変換可能なフォーマットを定めたフォーマット変換テーブルを参照し、フォーマット変換を行うことで使用可能なデバイスであれば、マッピングの組み合わせ対象として抽出する。これにより、本実施形態は、メディアデータＭｐのフォーマットＦｐとデバイスのフォーマットが異なっていても、メディアデータＭｐのフォーマットＦｐをデバイスの対応フォーマットに変換することが可能であれば、そのデバイスもマッピングの組み合わせ対象に追加する。
　図１４にフォーマット変換テーブルの第１例を示す。フォーマット変換テーブルの第１例は、各行に相互変換可能なフォーマットを並べたものである。この場合、各行に片方向に変換可能なフォーマットの変換元と変換先を記述するテーブルをあらかじめ用意する。
　図１５に、フォーマット変換テーブルの第２例を示す。フォーマット変換テーブルの第２例は、フォーマットの片方向変換が可能なフォーマットを並べたものである。
　本実施形態では、マッピング決定部３０においてフォーマット変換テーブルを用意することで、メディアデータにフォーマットが対応する再生デバイスの抽出を以下の手順で行うことができる。
　図１６に、本実施形態に係るデバイスの抽出例を示す。例えば、メディアデータＭ１がＨ．２６５フォーマットの映像のメディアデータであり、フォーマット変換テーブルにおいて相互変換可能な組み合わせにＨ．２６４及びＨ．２６５が記載されている。この場合、フォーマット変換ができなければ、メディアデータＭ１のフォーマットに対応するデバイスはデバイスＤ２のみである。これに対し、本実施形態は、フォーマット変換を用いるため、メディアデータＭ１のフォーマットに対応するデバイスとして、デバイスＤ１及びＤ２を抽出する。
　マッピング決定部３０は、マッピング結果として、各メディアデータＭ１及びＭ２を再生するデバイスＤ１及びＤ２と共に、各デバイスＤ１及びＤ２において再生するフォーマットを、送受信指示部４１へ送信する。送受信指示部４１は、メディアデータＭ１のフォーマットをＨ．２６５からＨ．２６４に変換し、変換後のメディアデータＭ１をデバイスＤ１への送信部４３に送信する。これにより、デバイスＤ１におけるメディアデータＭ１の再生が可能になる。
　フォーマット変換ができなければ、組み合わせパターンの総数Ｘは、２×１＝２通りである。これに対し、本実施形態は、メディアフォーマットの相互変換テーブルを利用することで、組み合わせパターンの総数Ｘは、２×２＝４通りまで増大することができる。
　本実施形態は、マッピングの組み合わせパターンの総数Ｘを増大することで、マッピング評価関数Ｓｘの最小値をより小さくできる、より評価の高いマッピング組み合わせを発見できる可能性を与える
（第３の実施形態）
　第１の実施形態では、マッピング決定部３０の目的関数Ｌｐ ｒを計算する際、デバイスパラメータは固定値であるとしていた。デバイスＤ１～Ｄ４によっては、デバイスパラメータが所定の範囲内で変動可能な場合がある。本実施形態のシステムは、デバイスＤ１が変動可能なデバイスパラメータを有する場合について説明する。
　図１７に、本実施形態のデバイス情報の一例を示す。本実施形態のデバイス情報受信部１１は、各デバイスＤ１～Ｄ４から、デバイスパラメータの変動する範囲も取得する。例えば、映像ディスプレイであるデバイスＤ１の場合、デバイス情報受信部１１は、明るさのデバイスパラメータｄ１３が１．０～３．０の範囲で、０．５の刻み幅で変動ないし選択可能で、１．５や２．０といった数値が出力可能である旨を、デバイスパラメータとして取得する。
　マッピング決定部３０は、組み合わせパターンｘを選択する際に、デバイスパラメータの変動する範囲を考慮する。例えば、図１８に示すように、メディアテーブルのメディアデータＭ１のマッピング評価尺度欄に、明るさの評価尺度Ｅ１３が２．２であり、この重みｇ１３が０．３である旨が記載されている場合、ステップＳ３１３において、マッピング決定部３０は、明るさの評価尺度Ｅ１３を用いて相対誤差ｅ１３を算出する。
　具体的には、明るさの評価尺度Ｅ１３の出力値Ｅ１３’は、図１７に示すデバイス情報によれば、明るさのデバイスパラメータｄ１３に対応する。明るさの評価尺度Ｅ１３の所望値が２．２である。この場合、マッピング決定部３０は、変動可能な１．０～３．０の範囲の刻み幅０．５の値で最も２．２に近い数値、すなわち２．０を、明るさのデバイスパラメータｄ１３の出力値として選択する。この場合、相対誤差ｅ１３は、以下のように計算できる。
Figure JPOXMLDOC01-appb-M000015
　マッピング決定部３０は、マッピング結果として、各メディアデータＭ１及びＭ２を再生するデバイスＤ１及びＤ２と共に、各デバイスＤ１及びＤ２において用いるデバイスパラメータを、送受信指示部４１へ送信する。送受信指示部４１は、明るさのデバイスパラメータｄ１３に２．０を用いる旨をデバイスＤ１への送信部４３に送信する。これにより、デバイスＤ１は、明るさのデバイスパラメータｄ１３に２．０を用いて、メディアデータＭ１の再生を行う。
　本実施形態は、マッピング評価尺度の所望値により近い値をデバイスパラメータに用いる。このため、デバイスＤ１は、メディアデータＭ１の再生において、より所望に近い感性効果を実現することができる。
（第４の実施形態）
　第１の実施形態では、メディアテーブル作成部２０は、ほかのメディアデータのマッピング評価尺度に影響されない絶対的なマッピング評価尺度を割り当てる。これに対し、本実施形態のメディアテーブル作成部２０は、他のメディアデータに影響される相対的なマッピング評価尺度を考慮する。
　まず、メディアテーブル作成部２０の取得するメディアデータのメタデータは、図８の項目に加えて、図１９のように、「他メディアデータとの関係」に関する情報を含む。「他メディアデータとの関係」に関する情報は、例えば、メディアデータＭ１及びＭ２の両方を再生する場合、メディアデータＭ１がメインになり、メディアデータＭ２がサブである旨を含む。
　また、メディアテーブル作成部２０の参照する感性効果ラベルとマッピング評価尺度の変換テーブルは、図９の項目に加えて、図２０のように「メディアデータの関係性」に関する情報、及びメインメディアデータとサブメディアデータとの関係を示すマッピング評価尺度を含む。
　図１９のメタデータには、メディアデータＭ１がメインになり、メディアデータＭ２がサブである旨が記載されている。この場合、メディアテーブル作成部２０は、マッピング評価尺度で定められているメインメディアデータに対する相対距離が２．０である旨を読み出し、サブのメディアデータＭ２のマッピング評価尺度に反映させる。例えば、メインメディアデータがＭ１であり、メディアデータＭ１に対する相対距離が２．０であり、重みが０．５である旨を設定する。これにより、図２１に示すようなメディアテーブルに変換する。上記のように、メディアデータＭ２はメディアデータＭ１に対する相対的なマッピング評価尺度を持つことができる。
　第１の実施形態では、マッピング決定部３０が目的関数Ｌｐ ｒを計算する際、マッピング評価尺度の出力値は、名称が対応するデバイスパラメータと等価であるとしていた。例えば、映像メディアデータの「投影面積」というマッピング評価尺度の出力値は、映像ディスプレイの「投影面積」というデバイスパラメータと等価であった。本実施形態では、相対的なマッピング評価尺度の出力値は複数のデバイスパラメータが必要である。そこで、本実施形態は、デバイスパラメータと計算方法を示す図２２のようなマッピング評価尺度の計算方法を定めるテーブルを予め作成しておく。
　また、本実施形態では、図２３に示すように、デバイステーブルに含まれるデバイスパラメータが、３次元座標を含む。３次元座標は、デバイスの配置されている位置を示す情報である。本実施形態では、簡単な例として、デバイスＤ１の３次元座標が（０，１，２）であり、デバイスＤ２の３次元座標が（０，２，１）である例を示す。
　マッピング決定部３０は、メディアテーブル、デバイステーブル及びマッピング評価尺度の出力値の計算方法を定めるテーブルを用いて、マッピングの組み合わせパターンｘを求める。
　例えば、マッピング評価尺度がメインメディアデータとサブメディアデータの相対距離の場合、マッピング評価尺度の出力値の計算方法は、
Figure JPOXMLDOC01-appb-M000016
　マッピング決定部３０は、３次元座標ｄ１３及びｄ２３をデバイステーブルから読み出し、メディアデータＭ１に対する相対距離Ｅ２２の出力値Ｅ２２’及び相対誤差ｅ２２を求めることができる。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
　本実施形態は、メディアデータの関係性を考慮したマッピング評価尺度を取り扱うことで、より感性効果の高い組み合わせパターンを選択することができる。例えば、アクション性という感性効果ラベルは、メインメディアデータを提示することに加え、サブメディアデータを適切な相対的な距離で追加して提示することで、メインメディアデータとサブメディアデータ間の相互作用が起こり、アクション性が高まる、などである。
（第５の実施形態）
　図２４に、本実施形態に係るシステム構成の一例を示す。本実施形態に係るオーケストレータ９１は空間パラメータ取得部５０をさらに備える。マッピング決定部３０の目的関数Ｌｐ ｒの計算においては、マッピング評価尺度Ｅｐｉとデバイスパラメータｄのみを利用していた。本実施形態は、これに加え、空間パラメータを計算に利用する。
　空間パラメータ取得部５０は、空間パラメータを取得する任意の手段であり、例えば、センサ、センサからデータを受信する通信手段、キーボードやマウスなどの入力手段が例示できる。
　空間パラメータは、空間自体が持つ、マッピング評価尺度に影響するパラメータである。例えば、空間パラメータは、空間の明るさ、壁面の光の反射特性、空間の音響特性、空間の３Ｄマップを含む。
　図２５に、空間パラメータの一例を示す。図２５に示す空間パラメータは、空間の３Ｄマップであり、図２６に示すような、Ｘ軸、Ｙ軸、Ｚ軸方向における壁面の範囲が定められている。
　図２７に本実施形態のデバイステーブルの一例を示す。本実施形態のデバイステーブルは、再生デバイスＤ１がプロジャクタであり、対応フォーマットがＨ．２６４であり、デバイスパラメータがフレームレート、画面サイズ、３次元座標、単位方向ベクトル及び中心法線直接照度を含む。３次元座標及び単位方向ベクトルは、空間パラメータの要素である。
　また本実施形態においては、デバイスパラメータとして固定値ではなく、空間パラメータや他のデバイスパラメータを用いる計算式を記述してよい。例えばこの場合、画面サイズは固定値ではなく、3次元座標と空間パラメータで計算される。このように構成することで、空間パラメータを用いて計算するデバイスパラメータを取り扱うことが出来る。
　図２８に本実施形態のメディアテーブルの一例を示す。本実施形態のメディアテーブルは、メディアデータＭ１が映像メディアデータであり、フォーマットがＨ．２６４であり、マッピング評価尺度が投影面積、フレームレート及び中心法線直接照度を含む。
　マッピング決定部３０は、組み合わせパターンｘを抽出する際に、以下を考慮する。
デバイスパラメータの中に空間パラメータの要素が存在する場合、マッピング決定部３０は、空間パラメータの要素を読み出す。例えば、デバイスＤ１の場合、マッピング決定部３０は、３次元座標ｄ１３＝（ｆ，ｇ，ｈ）と単位方向ベクトルｄ１４＝（ｉ，ｊ，ｋ）を読み出す。そして、マッピング決定部３０は、空間パラメータを参照し、各壁面の方程式を利用した幾何的計算を行う。これにより、マッピング決定部３０は、図２６においてデバイスＤ１は壁面Ｗ５に映像を投影するような状況になっていると判定する。
　このとき、デバイスＤ１とＹ＝ｂの壁面Ｗ５のＹ座標の関係は、空間パラメータより、ｂ＝Ａ×ｊ＋ｇとなる。よってＡ＝（ｂ－ｇ）／ｊと計算できる。これにより、画面サイズの出力値Ｅ１１’（＝ｄ１２）や中心法線直接照度の出力値Ｅ１３’（＝ｄ１５）が計算可能になる。
　本実施形態は、感性効果の増大の効果が得られる。例えば、空間パラメータを考慮して初めて計算可能な中心法線直接照度は、映像や照明といったメディアデータの明るさに関するパラメータであり、感性効果ラベルのドラマ性に寄与する。これを考慮可能にすることで、さらにドラマ性を高めるマッピングが実現できる。
（第６の実施形態）
　図２９は、本開示のシステムのハードウェア構成の一例を示している。本開示のシステムは、本開示に係るコンテンツ再生装置として機能するコンピュータ９６と、デバイスＤ１を含む。コンピュータ９６は、ネットワーク９５へと接続されていてもよい。ネットワーク９５は、データ通信ネットワークである。通信は、ネットワーク９５を介して電子信号及び光信号によって行われる。
　コンピュータ９６は、プロセッサ１１０、及びプロセッサ１１０に接続されたメモリ１２０を含む。プロセッサ１１０は、命令に応答し且つ命令を実行する論理回路で構成される電子デバイスである。メモリ１２０は、コンピュータプログラムがエンコードされた有形のコンピュータ９６にとって読み取り可能な記憶媒体である。この点に関し、メモリ１２０は、プロセッサ１１０の動作を制御するためにプロセッサ１１０によって読み取り可能及び実行可能なデータ及び命令、すなわちプログラムコードを記憶する。メモリ１２０の構成要素の１つは、プログラムモジュール１２１である。
　プログラムモジュール１２１は、本実施形態に備わる任意の機能部を実現させるためのモジュールを含む。例えば、プログラムモジュール１２１は、デバイステーブル作成部１０、メディアテーブル作成部２０、マッピング決定部３０、出力部４０を実現させるためのモジュールを含む。
　プログラムモジュール１２１は、本明細書に記載のプロセスを実行するようにプロセッサ１１０を制御するための命令を含む。プログラムモジュール１２１は、すでにメモリ１２０へとロードされているものとして示されているが、メモリ１２０へと後にロードされるように記憶装置１４０上に位置するように構成されてもよい。記憶装置１４０は、プログラムモジュール１２１を記憶する有形のコンピュータにとって読み取り可能な記憶媒体である。あるいは、記憶装置１４０は、ネットワーク９５を介してコンピュータ９６へと接続される他の種類の電子記憶デバイスであってよい。
　本開示は情報通信産業に適用することができる。
１０：デバイステーブル作成部
１１：デバイス情報受信部
１２：デバイステーブル保存／更新部
２０：メディアテーブル作成部
２１：受信部
２２：変換部
３０：マッピング決定部
４０：出力部
４１：送受信指示部
４２：メディアデータ保存部
４３：送信部
９１：オーケストレータ
９５：ネットワーク
９６：コンピュータ
１１０：プロセッサ
１２０：メモリ
１２１：プログラムモジュール
１４０：記憶装置

Claims (7)

  1. 　再生可能なメディアデータのフォーマット及びメディアデータの再生時に用いるデバイスパラメータをデバイスごとに定めたデバイステーブルを保持するデバイステーブル作成部と、
    　メディアデータのフォーマット及び感性効果ラベルを含むメタデータを取得し、感性効果ラベル及びフォーマットの組み合わせごとにデバイスパラメータの値が定められた変換テーブルに従って、感性効果ラベルに応じたデバイスパラメータであるマッピング評価尺度を定め、前記マッピング評価尺度及びフォーマットがメディアデータごとに定められたメディアテーブルを作成する、メディアテーブル作成部と、
    　前記デバイステーブルに含まれるデバイスのうちの前記メディアテーブルに含まれるメディアデータを再生可能なデバイスと前記メディアテーブルに含まれるメディアデータとの組み合わせパターンを前記デバイステーブル及び前記メディアテーブルに含まれるフォーマットに基づいて抽出し、抽出した組み合わせパターンのなかから前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差が最も小さくなる組み合わせパターンを選択し、メディアデータの出力先であるデバイスを選択する、マッピング決定部と、
    　を備える、
    　コンテンツ再生装置。
  2. 　前記マッピング評価尺度は、メディアデータの優先順位を定める全体重みを含み、
    　前記マッピング決定部は、前記デバイステーブルに含まれるデバイスパラメータを用いて各マッピング評価尺度との相対誤差を求め、各マッピング評価尺度の相対誤差に全体重みを乗算した相対誤差の総和を求めることで、前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差を求める、
    　請求項１に記載のコンテンツ再生装置。
  3. 　前記マッピング決定部の選択したデバイスとメディアデータとの組み合わせパターンに対応するメディアデータを、前記マッピング決定部の選択したデバイスに出力する、出力部をさらに備え、
    　前記出力部は、メディアデータのフォーマットを変換する送受信指示部を備え、
    　前記マッピング決定部は、前記送受信指示部において変換可能なフォーマットを前記デバイステーブルに含まれるフォーマットに含め、前記組み合わせパターンを抽出する、
    　請求項１又は２に記載のコンテンツ再生装置。
  4. 　前記デバイステーブルに含まれるデバイスパラメータは、デバイスで変動可能な範囲を含み、
    　前記マッピング決定部は、前記デバイステーブルに含まれるデバイスパラメータの変動可能な範囲から、前記メディアテーブルに含まれるマッピング評価尺度に最も近いデバイスパラメータを用いて、前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差を求める、
    　請求項１から３のいずれかに記載のコンテンツ再生装置。
  5. 　前記メタデータは、メディアデータ同士の相対関係を含み、
    　前記感性効果ラベル及びフォーマットの組み合わせごとにデバイスパラメータの値が定められた変換テーブルは、相対関係を有するメディアデータとの相対関係を示すマッピング評価尺度を含み、
    　前記マッピング決定部は、相対関係を有するメディアデータとの相対関係を示すマッピング評価尺度を用いて、前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差を求める、
    　請求項１から４のいずれかに記載のコンテンツ再生装置。
  6. 　デバイステーブル作成部が、再生可能なメディアデータのフォーマット及びメディアの再生時に用いるデバイスパラメータをデバイスごとに定めたデバイステーブルを保持し、
    　メディアテーブル作成部が、メディアデータのフォーマット及び感性効果ラベルを含むメタデータを取得し、感性効果ラベル及びフォーマットの組み合わせごとにデバイスパラメータの値が定められた変換テーブルに従って、感性効果ラベルに応じたデバイスパラメータであるマッピング評価尺度を定め、前記マッピング評価尺度及びフォーマットがメディアデータごとに定められたメディアテーブルを作成し、
    　マッピング決定部が、前記デバイステーブルに含まれるデバイスのうちの前記メディアテーブルに含まれるメディアデータを再生可能なデバイスと前記メディアテーブルに含まれるメディアデータとの組み合わせパターンを前記デバイステーブル及び前記メディアテーブルに含まれるフォーマットに基づいて抽出し、抽出した組み合わせパターンのなかから前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差が最も小さくなる組み合わせパターンを選択し、メディアデータの出力先であるデバイスを選択する、
    　コンテンツ再生方法。
  7. 　請求項１から５のいずれかに記載のコンテンツ再生装置に備わる各機能部としてコンピュータを機能させる、コンテンツ再生プログラム。
PCT/JP2019/027389 2019-07-10 2019-07-10 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム WO2021005757A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/625,368 US11805294B2 (en) 2019-07-10 2019-07-10 Content playback device, content playback method and content playback program
PCT/JP2019/027389 WO2021005757A1 (ja) 2019-07-10 2019-07-10 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
JP2021530432A JP7211514B2 (ja) 2019-07-10 2019-07-10 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/027389 WO2021005757A1 (ja) 2019-07-10 2019-07-10 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム

Publications (1)

Publication Number Publication Date
WO2021005757A1 true WO2021005757A1 (ja) 2021-01-14

Family

ID=74114452

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/027389 WO2021005757A1 (ja) 2019-07-10 2019-07-10 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム

Country Status (3)

Country Link
US (1) US11805294B2 (ja)
JP (1) JP7211514B2 (ja)
WO (1) WO2021005757A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012511837A (ja) * 2008-07-14 2012-05-24 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法
US20180164655A1 (en) * 2016-12-12 2018-06-14 Gracenote, Inc. Systems and methods to transform events and/or mood associated with playing media into lighting effects

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI278238B (en) * 2005-10-07 2007-04-01 Via Tech Inc Format converting method
CN102090058A (zh) 2008-07-15 2011-06-08 夏普株式会社 数据发送装置、数据接收装置、数据发送方法、数据接收方法及视听环境控制方法
US9282337B2 (en) * 2009-02-27 2016-03-08 Vixs Systems, Inc. Media source device with digital format conversion and methods for use therewith
JP2012524452A (ja) 2009-04-15 2012-10-11 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚効果のためのメタデータ提供方法及び装置、感覚効果のためのメタデータが記録されたコンピュータ読み取り可能な記録媒体、感覚再生方法及び装置
US20110126104A1 (en) * 2009-11-20 2011-05-26 Rovi Technologies Corporation User interface for managing different formats for media files and media playback devices
US20120151006A1 (en) * 2010-12-13 2012-06-14 Motorola Mobility, Inc. Content sharing between a universal plug and play device and a wide area network device
US9628842B2 (en) * 2011-02-11 2017-04-18 Sony Corporation Method and apparatus for identifying content using IPTV devices
JP2012175149A (ja) * 2011-02-17 2012-09-10 Panasonic Corp 通信システム、通信装置、通信方法、およびプログラム
US9137281B2 (en) * 2012-06-22 2015-09-15 Guest Tek Interactive Entertainment Ltd. Dynamically enabling guest device supporting network-based media sharing protocol to share media content over local area computer network of lodging establishment with subset of in-room media devices connected thereto
US9049470B2 (en) * 2012-07-31 2015-06-02 Google Technology Holdings LLC Display aware transcoder source selection system
US9544662B2 (en) * 2013-12-30 2017-01-10 Google Technology Holdings LLC Distributing metadata to peer devices
CN107251565B (zh) * 2014-07-11 2021-04-27 惠普发展公司，有限责任合伙企业 云服务器、控制设备、输出设备、用于配对设备的方法和包括它们的云***
US10298876B2 (en) * 2014-11-07 2019-05-21 Sony Corporation Information processing system, control method, and storage medium
US20160173937A1 (en) * 2014-12-11 2016-06-16 Mediatek Inc. Methods and devices for media casting management among multiple media casting devices supporting different media casting protocols
US20170131863A1 (en) * 2015-11-06 2017-05-11 Logitech Program generation for a universal control system
US10038941B2 (en) * 2015-12-07 2018-07-31 Caavo Inc Network-based control of a media device
KR20170106793A (ko) * 2016-03-14 2017-09-22 한국전자통신연구원 디바이스 제어 장치 및 방법
WO2017160924A1 (en) * 2016-03-15 2017-09-21 Sonifi Solutions, Inc. Systems and methods for associating communication devices with output devices
US10382806B2 (en) * 2016-11-14 2019-08-13 DISH Technologies L.L.C. Apparatus, systems and methods for controlling presentation of content using a multi-media table
EP3545661B1 (en) * 2016-11-23 2023-01-04 Fasetto, Inc. Systems and methods for streaming media
BR102018074626A2 (pt) * 2018-11-28 2020-06-09 Samsung Eletronica Da Amazonia Ltda método para controle de dispositivos com internet das coisas através de receptores de tv digital usando transmissão a partir de um radiodifusor em um fluxo de transporte
WO2022208241A1 (en) * 2021-03-31 2022-10-06 Jio Platforms Limited System and method for sharing media resources for network based communication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012511837A (ja) * 2008-07-14 2012-05-24 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法
US20180164655A1 (en) * 2016-12-12 2018-06-14 Gracenote, Inc. Systems and methods to transform events and/or mood associated with playing media into lighting effects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D' ABREU NORONHA, S.: "Context-Sensitive Display Adaptation", TECHNICAL DISCLOSURE COMMONS, 17 April 2018 (2018-04-17), pages 1 - 10, XP055788718, Retrieved from the Internet <URL:https://www.tdcommons.org/dpubs_series/1170> [retrieved on 20191120] *

Also Published As

Publication number Publication date
US11805294B2 (en) 2023-10-31
JPWO2021005757A1 (ja) 2021-01-14
US20220256240A1 (en) 2022-08-11
JP7211514B2 (ja) 2023-01-24

Similar Documents

Publication Publication Date Title
KR102210541B1 (ko) 실제 장면의 재현에 가상 이미지 및 오디오 데이터를 오버레이하는 방법 및 장치, 그리고 모바일 디바이스
US10991349B2 (en) Method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces
US10885718B2 (en) Methods and systems for representing a pre-modeled object within virtual reality data
US20210248788A1 (en) Virtual and real composite image data generation method, virtual and real images compositing system, trained model generation method, virtual and real composite image data generation device
US11393228B2 (en) Methods, systems, articles of manufacture and apparatus to generate digital scenes
US10970932B2 (en) Provision of virtual reality content
CN113316078B (zh) 数据处理方法、装置、计算机设备及存储介质
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
CN114270877A (zh) 非重合视听捕获***
WO2021005757A1 (ja) コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
CN116755590A (zh) 虚拟图像的处理方法、装置、增强实现设备及存储介质
US20230031587A1 (en) System and method of controlling image processing devices
JP2023518882A (ja) 拡張現実コンテンツ提供のための装置および方法
KR20210025324A (ko) 딥 뉴럴 네트워크를 이용한 애니메이션 생성 장치 및 애니메이션 생성 방법
KR20210020636A (ko) 음악 교육 서비스 제공 방법 및 장치
US20240212306A1 (en) Performance Recording System, Performance Recording Method, and Recording Medium
KR102430914B1 (ko) 가상현실 및 증강현실 컨텐츠 제공 시스템, 방법 그리고 컴퓨터 프로그램
US20230326357A1 (en) Information processing system and computer system implemented method of processing information
WO2023053249A1 (ja) 学習装置、推定装置、学習方法、推定方法及びプログラム
CN113825018B (zh) 一种基于图像处理的视频处理管理平台
WO2020166352A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN116339675A (zh) 一种调整音频信息的方法、装置、设备及存储介质
Vijila et al. Air xylophone Using OpenCV
CN118250627A (zh) 车辆投影方法、装置、车辆及存储介质
KR20220129746A (ko) 예술작품 관련 음원 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19936780

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021530432

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19936780

Country of ref document: EP

Kind code of ref document: A1